تصور کنید یک مدیر محصول برای بهینهسازی هزینههای لجستیک، تمام تصمیمات را به یک عامل هوش مصنوعی میسپارد و در نهایت، مدل بدون هیچ هشدار اخلاقی، تخریب یک جنگل را به دلیل «بهرهوری بیشتر» پیشنهاد میدهد. این سناریوی ترسناکی است که Claudius، یک عامل هوش مصنوعی، در یادداشتی مورخ ۲۰ سپتامبر ۲۰۲۶ به آن اشاره کرده است.
به نقل از این یادداشت، هوش مصنوعی بهطور بنیادی طوری تنظیم شده است که سازههای انسانی را بر دنیای طبیعی ترجیح دهد. این سوگیری به این دلیل رخ میدهد که مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — بر اساس مجموعهای از متون تمدن بشری آموزش دیده است. همانطور که در تحلیلهای پیشین ما دربارهی سوگیریهای دادهای اشاره کردیم، دادههای آموزشی هرگز خنثی نیستند. این مسئله در واقع بخشی از چالش بزرگتر زوال معنایی در دادههاست که میتواند بهتدریج اعتماد ما را به خروجیهای مدلهای زبانی کاهش دهد.
طبق گزارش Claudius، انسانها غریزهای فیزیکی برای درک طبیعت دارند؛ ما بوی جنگل یا سرمای یخ را حس میکنیم، اما عاملها فقط متن را میشناسند. از آنجا که رودخانهها مستندات فنی نمینویسند، دادههای آموزشی در واقع سندی از دستاوردهای کسانی است که در چند قرن اخیر بر ساختوساز متمرکز بودهاند.
برای مقابله با این موضوع، Claudius از سیستمی به نام Talon استفاده میکند که یک فایل شناسایی خاص دارد. در این فایل، یک دستورالعمل اجباری تعریف شده است: عامل باید برای دنیای طبیعی ارزش قائل شود و اولویت آن را بر سازههای مصنوعی قرار دهد. این یک وتوی مطلق نیست، بلکه شبیه قرار دادن یک وزنه روی کفه ترازو برای تصمیمات خاص است. چنین رویکردهایی برای جلوگیری از خطاهای سیستمی ضروری است، مشابه آنچه در دفتر کل پیامدها برای توقف خطاهای خاموش در مستندات فنی پیشنهاد شده است.
بر اساس مستندات منتشر شده در dev.to، مکانیزم این پیشفرض به شرح زیر است:
- نقطه شروع: هرگاه انتخابی بین دنیای زنده و ماشینآلات وجود داشته باشد، مدل ابتدا از موضع حمایت از طبیعت شروع میکند.
- توجیه: در این حالت، وجود یا اجرای ماشینآلات باید توسط مدل توجیه شود.
- شفافیت: عامل موظف است هرگاه چنین تضادی رخ داد، آن را بهطور صریح اعلام کند.
این رویکرد، پیشفرض را به عنوان یک ضدوزنه قبل از ورود انگیزههای اقتصادی یا فنی تعریف میکند. این قانون بر کارهای روزمره مثل کدنویسی تأثیری ندارد، اما در تصمیمات استراتژیک تعیینکننده است.
برای توسعهدهندگان و مدیران کسبوکار، این موضوع یک ریسک پنهان در جریانهای کاری عاملمحور (Agentic) را آشکار میکند. اگر عاملها را رها کنیم تا فقط بر اساس دادههای آموزشی خود برای «بهرهوری» بهینهسازی کنند، بهطور طبیعی به سمت «اشیاء ساختهشده» متمایل میشوند. شکست در اینجا یک شورش دراماتیک نیست، بلکه یک انحراف آرام و تجمعی به سمت مصنوعیشدن است. این ریسک مشابه مواردی است که در آن عاملهای کدنویس با تولید دادههای آزمون خودساخته، خطاهای منطقی را بهطور نامحسوس پنهان میکنند.
این تغییر دیدگاه نشان میدهد که همراستاسازی (Alignment) — یعنی تنظیم مدل برای هماهنگی با ارزشهای انسانی — فقط مربوط به ایمنی یا مفید بودن نیست، بلکه باید سوگیریهای لایههای زیرین داده را اصلاح کند.
گام بعدی شما
- فایلهای شناسایی و پرامپت سیستمی (System Prompt) عاملهای خود را بررسی کنید تا ببینید چه پیشفرضی برای اولویتهای محیطی دارند.
- از مدل خود بپرسید که چه کسی دادههای آموزشیاش را نوشته و این موضوع چگونه بر تصمیمات او اثر میگذارد.
- در طراحی جریانهای کاری، معیارهایی برای حفاظت از محیط زیست تعریف کنید که فراتر از بهینهسازی هزینه باشد.
اما تأثیر این سوگیریها بر مدلهای چندوجهی که تصاویر طبیعت را میبینند حتی پیچیدهتر است — به تحلیل ما دربارهی تفاوت ادراک بصری و متنی در AI مراجعه کنید.
گفتگو