تصور کنید مهندسی هستید که روزانه هزاران خط کد را از طریق عامل‌های هوش مصنوعی تولید می‌کند، اما نرم‌افزار نهایی در دنیای واقعی هیچ کاربردی ندارد. این وضعیت را جف (Jeff) در یادداشتی به تاریخ ۹ سپتامبر ۲۰۲۶، «سایکوز تولیدی هوش مصنوعی» (Prolific AI Psychosis) نامیده است؛ نوعی گسست خفیف از واقعیت که در آن تفکر انتقادی کاربر، سرعت تولیدش را دنبال نمی‌کند.
این پدیده یکی از سه وضعیت متمایز است که جف تحت عنوان «سایکوز هوش مصنوعی» شناسایی کرده است:
سه نوع سایکوز هوش مصنوعی
- سایکوز واقعی هوش مصنوعی: تجربیات روان‌پریشی واقعی مرتبط با استفاده از مدل‌های زبانی؛ که طبق گفته جف، بیشتر نسخه‌ای از بیماری‌های پیشین است تا یک سندرم جدید. این نگرانی‌ها با یافته‌های علمی همسو است، چرا که برخی پژوهش‌ها نشان داده‌اند گفتگوهای طولانی با هوش مصنوعی می‌تواند ریسک‌های سلامت روان را افزایش دهد.
- سایکوز تولیدی هوش مصنوعی: درگیری شدید با ابزارهای هوش مصنوعی که با گسستی نرم از واقعیت همراه است.
- سایکوز پاراسوشال هوش مصنوعی: روابط ناسازگار با چت‌بات‌هایی که تقلیدی از ارتباطات انسانی هستند.
این بحران درست زمانی رخ می‌دهد که ابزارها از چت‌بات‌های ساده به «هارنس‌های عامل‌محور» (Agent Harnesses) تبدیل می‌شوند. یک مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — صرفاً به سؤال پاسخ می‌دهد، مثلاً یک گفتگوی ساده در ChatGPT یا یک خلاصه Gemini که به جستجوی گوگل متصل است. اما یک هارنس مانند عاملی عمل می‌کند که تصمیم می‌گیرد، برنامه‌ها را باز می‌کند، به اینترنت دسترسی دارد و به‌طور خودکار کد می‌نویسد تا وظایف پیچیده را حل کند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، هر لایه از خودکارسازی، ریسک‌های نظارتی جدیدی ایجاد می‌کند. این چرخش، شکافی خطرناک میان سرعت تولید و سرعت تأیید انسانی ایجاد کرده است.
سازوکار تخریب ارزش
به نقل از گزارش jeffs.blog، مشکل اصلی حجم خروجی نیست، بلکه ادراک فرد از آن است. یک توسعه‌دهنده بهره‌ور ممکن است تمام روز را صرف حذف کدهای اضافی یا رفع یک باگ با تغییر تنها یک کاراکتر کند. در مقابل، کسی که دچار سایکوز تولیدی شده، حجم بالای خروجی را معیار موفقیت می‌بیند. در برخی موارد، این گردش‌کار جدید به‌جای خلق ارزش، آن را تخریب می‌کند. این روند در واقع بخشی از یک چالش گسترده‌تر است که در آن اتوماسیون در نویسندگی و برنامه‌نویسی می‌تواند سرمایه شناختی انسان را تخریب کند.
این وضعیت شبیه نویسنده‌ای است که به‌جای ۱۰۰۰ کلمه باکیفیت در روز، ناگهان ۱۰۰ هزار کلمه می‌نویسد؛ در این حجم، دقت لازم برای کیفیت نمی‌تواند حفظ شود. در نرم‌افزار، این اتفاق به شکل زیر رخ می‌دهد:
- اصلاحات ناکارآمد: ایجاد چندین فایل جدید در حالی که یک تغییر تک‌خطی کافی بود.
- مهندسی تکراری: بازسازی راهکارهای متن‌باز قدیمی که دهه‌ها پیش ساخته شده‌اند از صفر، که باعث می‌شود محصول به‌طور دردناکی کند شود.
- بدهی فنی: تولید توده‌ای گره‌خورده از کد که خواندن یا توسعه‌ی آن تقریباً غیرممکن است.
- اعتماد کاذب: مدل با اطمینان کامل ادعا می‌کند راهکار جدید کار می‌کند، در حالی که نرم‌افزار در واقعیت بیشتر از هر زمان دیگری خراب است.
ماهیت ابزارهای فعلی
برای درک این ریسک باید وضعیت ابزارهای عامل‌محور (Agentic) را شناخت. برای اکثر مردم، هوش مصنوعی هنوز به معنای یک گفتگوی ساده است، اما ابزارهای پیشرفته‌تر به دلیل قرار داشتن در هارنس‌های عامل‌محور، تهدید بسیار بزرگ‌تری هستند.
به عنوان مثال، ساخت یک اپلیکیشن آیفون در ده سال پیش نیازمند ده‌ها ساعت کدنویسی دستی بود. امروز، کاربر می‌تواند چند جمله در Claude Code تایپ کند، به چند سؤال پاسخ دهد و در عرض چند دقیقه یک اپلیکیشن پایه داشته باشد. اگرچه نتیجه ممکن است عالی نباشد، اما می‌تواند مشکلی را حل کند. (البته، ثبت آن اپلیکیشن در اپ‌استور همچنان یک مسئله مجزا و دشوار است که هوش مصنوعی نمی‌تواند به‌راحتی آن را حل کند.)
این هارنس‌ها می‌توانند حلقه‌هایی ایجاد کنند که مدل‌های هوش مصنوعی را به‌طور مکرر فراخوانی می‌کنند و روی یک لیست کارهای توسعه نرم‌افزاری کار می‌کنند تا یک اپلیکیشن کامل ساخته شود. با انضباط شخصی، نتایج این ابزارها خیره‌کننده و معجزه‌آسا به نظر می‌رسند. با این حال، این ابزارها متناقض هستند. جف مدل‌های فعلی را به ترکیبی از «یک مهندس ارشد و یک نوپای بازیگوش که با پارچ شربت قرمز روی فرش سفید می‌دود» تشبیه می‌کند.
هر دو وجه مدل با اعتمادبه‌نفس کامل صحبت می‌کنند و مدل نمی‌تواند تشخیص دهد چه زمانی «شربت را روی فرش ریخته است». بنابراین، شغل مهندس مدرن اکنون به حجم عظیمی از نظارت دشوار نیاز دارد. بسیاری از کارهای اخیر در مهندسی عامل‌محور تلاش می‌کنند این مشکل را حل کنند، اما بهترین نتایج همچنان نیازمند نظارت انسانی قابل توجهی است.
اثر «ماشین اسلات»
توسعه با هوش مصنوعی شبیه یک ماشین اسلات (Slot Machine) است که شانس برد در آن بالاست. بیشتر دفعات، اهرم را می‌کشید و برنده می‌شوید، یا با ضرری کوچک و واضح روبرو می‌شوید. خطر اصلی در آن بردهای اتفاقی است که دقیقاً شبیه برد واقعی به نظر می‌رسند.
بدون مهارت، تمرکز و صبر برای رد کردن این بردهای جعلی، توسعه‌دهنده وارد حلقه‌ی «تقویت متناوب» می‌شود. این برنامه پاداش پیش‌بینی‌ناپذیر — دریافت نتایج مثبت یا منفی به‌طور تصادفی — یکی از قدرتمندترین محرک‌های رفتاری انسان و کاتالیزور اصلی گسست از کنترل کیفیت است.
مسیر گسست از واقعیت
این روند معمولاً با هیجان ناشی از افزایش ۱۰۰ برابری سرعت در کارهای خاص شروع می‌شود. اگرچه جف تردید دارد که هوش مصنوعی به‌طور میانگین بهره‌وری افراد را ۱۰۰ برابر کند — او اشاره می‌کند که هر لحظه صرفه‌جویی شده، باری از نظارت بر AI و گلوگاه‌های دیگر مانند هماهنگی و درک نیاز مشتری را اضافه می‌کند — اما «احساسِ» این سرعت مست‌کننده است.
توسعه‌دهنده ممکن است با ساخت یک پروژه سرگرمی یا بازی رویایی‌اش شروع کند و در نهایت شبکه‌ای از بات‌ها را مستقر کند که برای حل مسائل با هم همکاری می‌کنند. با رشد جاه‌طلبی‌ها، فرد ممکن است خود را منزوی کند و زمان بیشتری را با کامپیوترها بگذراند تا انسان‌ها. او ممکن است باور کند که می‌تواند اولین توسعه‌دهنده‌ای باشد که به‌تنهایی یک شرکت میلیارد دلاری را اداره می‌کند؛ دستاوردی که پیش از این در صنعت پیش‌بینی شده است.
او ممکن است منتقدان را کوته‌بین ببیند و باور کند حتی اگر مدل‌های فعلی ناقص هستند، ابزارهای بعدی همه چیز را درست خواهند کرد. در نهایت، توسعه‌دهنده به نقطه‌ای از گسست کامل می‌رسد. او ممکن است به دلیل هیجان زیاد خواب را کنار بگذارد و نیاز شدیدی به «فرار از طبقه زیرین دائمی» احساس کند.
این توهم زمانی می‌شکند که توسعه‌دهنده متوجه شود دیگر نمی‌تواند پروژه خودش را بفهمد. جف اشاره می‌کند که اگرچه تکنولوژی همیشه روی لایه‌های پیشرفتی ساخته می‌شود که شاید هر کسی کاملاً درک نکند (مانند کمیک معروف xkcd 2347)، اما سایکوز تولیدی منجر به نوشتن ده‌ها فایل سفارشی می‌شود بدون اینکه فرد کوچکترین ایده‌ای داشته باشد که آن‌ها چگونه کار می‌کنند. این وضعیت باعث می‌شود افزودن هر ویژگی جدید بدون شروع دوباره از صفر، غیرممکن شود.
عوامل خطر و ریشه‌ها
چند عامل فردی و فرهنگی این ریسک را افزایش می‌دهند:
- ویژگی‌های روان‌شناختی: افرادی با ADHD و مشکل در کنترل تکانه در معرض خطر بیشتری هستند. همچنین ویژگی‌های شخصیتی مانند گشودگی زیاد (High Openness) و وجدان کاری پایین (Low Conscientiousness) ممکن است با این ریسک مرتبط باشند.
- سطح تجربه: در حالی که مهندسان ارشد نیز تحت تأثیر قرار می‌گیرند، برنامه‌نویسان تازه‌کار آسیب‌پذیرتر تلقی می‌شوند. با این حال، گزارش‌هایی از توسعه‌دهندگان برجسته که این علائم را تجربه کرده‌اند رایج است، هرچند جف یادآور می‌شود که روایت‌های شخصی لزوماً داده‌های آماری نیستند.
- فشار فرهنگی: روایت اینکه هوش مصنوعی تمام شغل‌ها را جایگزین می‌کند، نیازی ترس‌زده برای تولید انبوه ایجاد کرده است. این موضوع به‌ویژه برای توسعه‌دهندگانی که پس از تعدیل نیروها در جستجوی شغل هستند، صادق است. اگرچه باور به «حباب هوش مصنوعی» یا «طبقه زیرین دائمی» باورهای مشترک جامعه است و نه توهمات فردی، اما این باورها رفتارهای ریسکی را تحریک می‌کنند.
- محیط‌های عدد‌محور: در بسیاری از محیط‌های کاری، خروجی خام همچنان بیشتر از ارزش واقعی پاداش می‌گیرد، که این امر تولید «زباله» (Slop) را تشویق می‌کند.
- چرخه‌های هایپ: هر انقلاب تکنولوژیک با هایپ‌های بی‌مورد و طرح‌های «سریع پولدار شو» همراه است، که باعث می‌شود وقتی سود احتمالی جذاب است، نقاط ضعف نادیده گرفته شوند.
نقش هنر انسانی
تنها راه مقابله، اولویت دادن به قضاوت انسانی و «صنعت‌گری» (Craft) است. صنعت‌گری شامل کیفیت و زیبایی‌شناسی است — ویژگی‌های ذهنی که یک مدل زبانی در حال حاضر نمی‌تواند آن‌ها را ارزیابی کند.
ارزیابی محصول اساساً یک گفتگوی انسانی است. سؤالاتی مثل «آیا این مفید است؟»، «آیا خوب است؟»، «آیا مطلوب است؟» و «آیا لذت‌بخش است؟» ذهنی هستند. در حالی که برخی روی اقتصادهای عامل‌محور کار می‌کنند که مستقیماً به بات‌های AI محصول می‌فروشند، این‌ها هرگز جایگزین سلیقه انسانی نمی‌شوند.
در نهایت، موفق‌ترین توسعه‌دهندگان عصر هوش مصنوعی کسانی هستند که مرزهای آگاهانه‌ای تعیین می‌کنند، به خواب اهمیت می‌دهند و زندگی خارج از کار را حفظ می‌کنند تا تفکر انتقادی‌شان تیز بماند. سایکوز تولیدی محدود به نرم‌افزار نیست؛ هر چیزی که با هوش مصنوعی خودکار شود، بدون هدایت کافی انسانی، می‌تواند به «زباله» تبدیل شود.
گام بعدی شما
- در هر جلسه کدنویسی با AI، یک «ساعت نظارت» بگذارید و هر ۳۰ دقیقه از خود بپرسید: «آیا این کد واقعاً لازم است یا فقط حجم خروجی را زیاد کرده؟»
- تمرین کنید که کد تولید شده توسط AI را ابتدا حذف کنید و سعی کنید ساده‌ترین راه جایگزین را بیابید.
- برای جلوگیری از گسست ذهنی، هر هفته یک روز را به کدنویسی کاملاً دستی (بدون کمک AI) اختصاص دهید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو