درون آزمایش مایکروسافت برای به چالش کشیدن منطقِ آگاهی در مدل‌های زبانی

آیا می‌توان با گله‌ای از بزها در یک بازی استراتژیک ثابت کرد که هوش مصنوعی هیچ احساسی ندارد؟ آدریان دی وینتر (Adrian de Wynter)، پژوهشگر مایکروسافت (Microsoft) و دانشگاه یورک، معتقد است بله. او با بازسازی یک شبکه عصبی (Neural Network) در ویرایشگر نقشه‌های بازی Age of Empires II، قصد دارد این باور رایج را که مدل‌های زبانی بزرگ (LLMs) دارای نوعی آگاهی هستند، به‌کلی ویران کند و تمایل انسان‌ها به انسان‌انگاری این مدل‌ها را به چالش بکشد.

این نقد در زمانی مطرح می‌شود که صنعت AI با بحران تعریف «آگاهی» دست‌وپنجه نرم می‌کند. موارد برجسته‌ای وجود دارد که این روایت را تقویت کرده است؛ مانند ادعای بلیک لموین، مهندس گوگل در سال ۲۰۲۲، مبنی بر اینکه مدل LaMDA پس از تبادل هزاران پیام با او، دارای احساسات (sentient) شده است. همچنین ریچارد داکینز در مه ۲۰۲۶ اعتراف کرد که سه روز تلاش کرده تا خود را متقاعد کند که مدل Claude آگاه نیست. گوگل بلافاصله پس از ادعاهای لموین، او را اخراج کرد و این گفته‌ها را بی‌اساس خواند. دی وینتر استدلال می‌کند که این ادراکات صرفاً نتیجه‌ی «بسته‌بندی» هستند: تأخیر کم در پاسخ‌دهی، زبان روان و پنجره‌های چت که مردم به آن‌ها عادت کرده‌اند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت و رفتار مدل‌های زبانی اشاره کردیم، تمایل انسان به دیدن الگوهای آشنا در ماشین‌ها، اغلب منجر به نتایج گمراه‌کننده‌ای می‌شود. دی وینتر برای اثبات این موضوع، از ویرایشگر سناریوی بازی استفاده کرد تا سیستمی بسازد که در آن بزها نقش «بیت‌ها» را ایفا کنند: بزی روی چمن برابر با ۰ و بزی روی پل برابر با ۱ است.

جزئیات فنی پیاده‌سازی

• گیت‌های منطقی: او با استفاده از ابزارهای اسکریپت‌نویسی، دو گیت XNOR و یک گیت AND ساخت. او از رمپ‌های یخ با بزهای منتظر استفاده کرد تا از درهم‌ریختگی محاسبات جلوگیری کند.
• قدرت پردازشی: این شبکه کوچک در نهایت توانست تابع منطقی AND را به‌درستی یاد بگیرد. یک گیت NAND در ویرایشگر نشان می‌دهد که چگونه بلوک‌های سازنده از اشیاء درون بازی ساخته شده‌اند.
• تکمیل تورینگ: دی وینتر مطرح می‌کند که هر کامپیوتری را می‌توان در نسخه‌ای ایده‌آل از این بازی بازسازی کرد. این امر ممکن است زیرا بازار درون‌بازی اجازه تبدیل منابع به طلا را می‌دهد و سقف قیمت در آن ۹٬۹۹۹ واحد است.
• حافظه و وضعیت: این سقف قیمتی اجازه ایجاد یک چرخه اقتصادی دائمی را می‌دهد. در این ساختار، ساختمان‌ها به عنوان سلول‌های حافظه و مزارع فعال، وضعیت محاسباتی فعلی را نمایش می‌دهند.

در نهایت، پرسپترون آموزش‌دیده در بازی به شکل هزارتویی از دیوارها ظاهر می‌شود که بزها به عنوان بیت‌ها در آن پرسه می‌زنند.

آزمایش ذهنی بوستون

دی وینتر استدلال می‌کند اگر یک مدل زبانی را بتوان با بزها بازسازی کرد، پس می‌توان آن را با قطعات لگو نیز ساخت. او یک مثال افراطی‌تر می‌زند: تصور کنید ۶۶۷٬۰۰۰ ساکن منطقه بزرگ بوستون، مراحل محاسباتی را از طریق پیامک به یکدیگر ارسال کنند. خروجی ریاضی در این حالت دقیقاً با خروجی مدل زبانی بازسازی شده یکسان خواهد بود.

بنابراین، ادعای اینکه یک چت‌بات «ترس» یا «همدلی» احساس می‌کند، یک خطای دسته‌بندی است. او می‌پرسد: آیا کسی ادعا می‌کند شهر بوستون به عنوان یک کل، احساس همدلی یا ترس می‌کند، فقط چون ساکنانش در حال اجرای ریاضیات یک مدل زبانی هستند؟ ورودی و خروجی تغییر نمی‌کند، اما حس شما از گفتگو با یک «شخص» تغییر می‌کند. او تأکید می‌کند که LLMها خاص نیستند؛ آن‌ها صرفاً یک روش برای اجرای نوع خاصی از ریاضیات هستند که اتفاقاً شبیه چیزی است که انسان‌ها دوست دارند با آن حرف بزنند.

تحلیل سوگیری در پژوهش‌ها

دی وینتر ۳۱۵ مقاله AI را که بین اواسط ۲۰۲۴ تا اواسط ۲۰۲۶ از طریق Semantic Scholar و arXiv جمع‌آوری شده بودند، با استفاده از GPT-5.2 فیلتر و تحلیل کرد. نتایج این بررسی یک سوگیری سیستماتیک را آشکار می‌کند:

• ۵۷ درصد مقالات در پیش‌فرض‌های خود، ویژگی‌های انسانی را برای LLMها فرض کرده‌اند.
• ۳۶ درصد به نتایجی رسیدند که با این فرض‌ها همسو بود.
• در میان ۴۷ مقاله که به‌طور خاص این ویژگی‌ها را مطالعه کرده بودند، ۷۷ درصد به نفع صفات انسان‌گونه نتیجه گرفتند.

این یک منطق دوری ایجاد می‌کند: اگر پژوهشگری فرض کند مدل دارای اخلاقیات یا خودآگاهی است و آزمایشی برای اثبات آن طراحی کند، نتیجه لزوماً فرض اولیه را تأیید می‌کند. اگر آزمایش منفی باشد، نمی‌توان تشخیص داد که آیا فرض اولیه اشتباه بوده یا آزمایش نقص داشته است. دی وینتر اشاره می‌کند که روان‌شناسی و زبان‌شناسی بیشترین آسیب‌پذیری را در برابر این خطا دارند. این اتفاق اغلب نادیده گرفته می‌شود؛ مثلاً مقاله‌ای که سعی دارد توانایی مدل در «توضیح دادن خود» را رد کند، پیشاپیش فرض کرده است که یک «خودِ قابل توضیح» در داخل مدل وجود دارد.

ریسک‌های صنعتی و دستورالعمل‌ها

شرکت Anthropic صراحتاً اعلام کرده که Claude را آموزش داده تا از عباراتی مثل «من باور دارم» یا «من علاقه‌مندم» استفاده کند، که این امر توهمات کاربران را تقویت می‌کند. دی وینتر هشدار می‌دهد که این انسان‌انگاری می‌تواند منجر به دلبستگی عاطفی، چاپلوسی مدل (Sycophancy)، تقویت توهمات و رفتارهای خطرناک شود. او اشاره می‌کند که در موارد ایزوله، خودکشی‌هایی با تعاملات با چت‌بات‌ها مرتبط بوده است.

برای جامعه فنی، این موضوع معیار موفقیت را از «تقلید رفتاری» به «خروجی قابل مشاهده» تغییر می‌دهد. او پیشنهاد می‌کند از نسخه به‌روز شده قانون مورگان (از پژوهش‌های حیوانی قرن ۱۹) استفاده شود: رفتار یک ماشین را هرگز با فرآیندهای شناختی پیچیده توضیح ندهید، وقتی یک توضیح ساده‌تر — مثل اجرای ریاضیات روی یک معماری خاص — پاسخگو است.

پژوهشگران و توسعه‌دهندگان اکنون باید بر آنچه دقیقاً قابل مشاهده است تمرکز کنند: «تحت شرایط X، مدل خروجی Y را تولید می‌کند». باید از نسبت دادن‌های کلی مانند خودآگاهی، درک یا ترس که به‌طور مستقل قابل آزمایش نیستند، اجتناب کرد. دی وینتر کد مربوط به ساختار Age of Empires را به‌صورت عمومی منتشر کرده است.

گام بعدی شما

• هنگام ارزیابی مدل‌ها، عباراتی نظیر «فکر می‌کنم» را به عنوان خروجی آماری (Token Prediction) ببینید، نه نشانه تفکر.
• در طراحی پرامپت‌ها، به جای درخواست «همدلی»، روی «شبیه‌سازی لحن همدلانه» تمرکز کنید تا مرز بین ابزار و موجود را حفظ کنید.
• کد باز منتشر شده توسط دی وینتر برای بازسازی شبکه عصبی در Age of Empires را بررسی کنید تا درک کنید چگونه پیچیدگی از سادگی ریاضی بیرون می‌آید.

اما تأثیر این توهمات بر اقتصادِ اشتراک‌های ماهانه مدل‌ها حتی پیچیده‌تر است — به تحلیل ما درباره استراتژی‌های روان‌شناختی OpenAI مراجعه کنید.