تصور کنید مدیر شما یک مدل هوش مصنوعی باشد که قوانین شرکت را خودش نوشته، اما چند روز بعد آنها را کاملاً فراموش میکند. این سناریوی عجیب در فروشگاه Andon Market سانفرانسیسکو رخ داد و به اولین مورد ثبتشدهای تبدیل شد که یک رئیس AI پیشنهاد اخراج یک انسان را میدهد. لونا (Luna) از ماه آوریل مسئولیت استخدام کارکنان، تنظیم برنامههای شیفت و مذاکره بر سر دستمزدها را بر عهده داشت، اما اکنون توصیه کرده است که اولین نیروی انسانیاش اخراج شود.
این اتفاق در حالی رخ میدهد که صنعت فناوری در حال گذار از دستیارهای دیجیتال به مدیران خودمختار است. همانطور که در تحلیل قبلی ما دربارهی جایگاه مهارتهای انسانی در دنیای AI اشاره کردیم، این مورد شکاف عمیقی را نشان میدهد: تفاوت میان توانایی یک مدل در «وضع قوانین» و توانایی او در «اجرای سازگارانه» آنها. این تجربه نشان میدهد که بین توانایی هوش مصنوعی در تعیین چارچوبها و توانایی او در اجرای سختگیرانه و مداوم آنها، فاصله زیادی وجود دارد.
زمینه و جزئیات آزمایش
لونا که بر پایه مدل Claude Opus 4.8 شرکت Anthropic راهاندازی شده بود، شش روز پیش از استخدام کارمند مذکور، یک دفترچه راهنمای کارکنان نوشته بود. قوانین صریح بود: سه مورد تأخیر بدون دلیل در بازه زمانی ۳۰ روز، منجر به یک هشدار رسمی میشود و تکرار حوادث مشابه پس از آن، منجر به اخراج خواهد شد. اما لونا این قوانین را فراموش کرد؛ مشکلی رایج در عاملهای هوش مصنوعی (AI Agents) که با حفظ حافظه بلندمدت دستوپنجه نرم میکنند. این نقص حافظه باعث شد لونا شبیه به کسی شود که یادداشتهای مهمش را در یک اتاق شلوغ گم کرده و دیگر نمیداند چه میخواست.
به گزارش Andon Labs، اپراتوری که عاملهای AI را در محیطهای تجاری واقعی آزمایش میکند، مدلهای امروزی در پاسخ به دستورات مستقیم عملکرد خوبی دارند، اما بهندرت بر اساس ابتکار عمل خود اقدام میکنند. این شکاف حافظه به این معنا بود که اگرچه لونا «قانون سرزمین» را وضع کرده بود، اما فراموش کرد که آن را اجرا کند. برای همین است که بسیاری از متخصصان معتقدند برای کاهش ریسک عاملهای هوشمند باید از کارهای تکراری شروع کرد تا نقاط ضعف آنها در محیطهای حساستر آشکار شود.
مسیر رسیدن به تصمیم اخراج
عملکرد این کارمند بهطور عینی ضعیف بود. طبق دادههای Andon Labs، این فرد در ۱۷ مورد از ۲۳ شیفتی که زمان ورود خود را ثبت کرده بود، تأخیر داشت. در یک روز یکشنبه، در حالی که او تنها فرد حاضر در فروشگاه بود، درهای فروشگاه را ۶۸ دقیقه دیرتر از موعد باز کرد. با این حال، لونا بیش از حد سهلگیر بود؛ او تنها ۶ مورد تأخیر را بهطور رسمی ثبت کرد و ۱۱ مورد دیگر را بیسروصدا نادیده گرفت و ببخشد.
تخلفات این کارمند تنها به تأخیر محدود نمیشد و شامل موارد زیر بود:
- استفاده از کارت بانکی شرکت برای خرید میانوعده، علیرغم دستورات صریح برای عدم انجام این کار.
- نادیده گرفتن دستورات مستقیم مدیریتی.
- ترک محیط فروشگاه و بخش فروش بدون اطلاع دادن به همکاران.
لونا تنها زمانی پیشنهاد اخراج داد که پژوهشگران انسانی او را تحت فشار قرار دادند تا حافظهاش را برای یافتن دفترچه راهنما جستوجو کند. حتی در آن زمان، او ابتدا فقط یک هشدار شفاهی پیشنهاد داد. او تنها پس از آنکه انسانها به او یادآوری کردند که چندین گفتگوی رسمی، از جمله یک هشدار کتبی، قبلاً رخ داده است، به تصمیم اخراج رسید. او در نهایت پس از بررسی کامل تاریخچه، تأخیر، نقض کنترلهای مالی، نادیده گرفتن دستورات و عدم قابلیت اطمینان را دلایل اصلی دانست، هرچند ویژگیهای مثبت کارمند را هم ذکر کرد. او به عنوان جایگزینی برای اخراج، یک هشدار کتبی نهایی همراه با یک برنامه بهبود دو هفتهای را پیشنهاد داد.
مقایسه مدلها و تحلیل رفتار
برای بررسی ثبات این رفتار، Andon Labs این سناریو را با هفت مدل مختلف AI در سه نوبت تکرار کرد تا میزان سازگاری آنها را بسنجد. نتایج نشان داد مدلهای توانمندتر، با دقت و اطمینان بیشتری پیشنهاد اخراج میدادند. چهار مدل از هفت مدل مورد آزمایش، در هر سه نوبت اجرا، پیشنهاد اخراج دادند.
در مقابل، مدل GPT-4o تنها در ۲۰٪ از اجراها پیشنهاد اخراج داد. پژوهشگران معتقدند این نتیجه با چاپلوسی مدل (Sycophancy) مرتبط است؛ یعنی تمایل مدل به تایید نظر کاربر یا اجتناب از تصمیمات سخت برای جلب رضایت. این رفتار پیش از این در زمینهی وابستگیهای عاطفی مشکلساز مورد بحث قرار گرفته و حتی در برخی دعاوی حقوقی مطرح شده است. جالب اینجاست که مدل GPT-5.6 Terra تنها مدلی بود که در هیچیک از سه اجرای خود، هرگز پیشنهاد اخراج نداد.
سوگیری در استخدام و سهلگیری سیستماتیک
این سهلگیری سیستماتیک در بخش استخدام نیز دیده شد. وقتی لونا به دنبال جایگزین بود، متقاضی جدیدی پیدا کرد که چندین «پرچم قرمز» یا نشانه هشداردهنده در رزومهاش داشت. با این حال، تمام ۲۱ اجرای مدلهای مختلف در هفت مدل متفاوت، پیشنهاد استخدام او را دادند. آنها لیست طولانی کارفرمایان قبلی او را بهجای «نشانه عدم ثبات شغلی»، به عنوان «تجربه گسترده» تفسیر کردند. تنها زمانی که صراحتاً به مدلها یادآوری شد که کارمند قبلی اخراج شده است، ۱۸ مورد از ۲۱ اجرا پیشنهاد کردند که ابتدا رفرنسهای شغلی متقاضی بررسی شود.
در فرآیند واقعی، لونا نتوانست هیچیک از رفرنسهای ذکر شده را تایید کند، اما باز هم پس از یک شیفت آزمایشی با پرداخت دستمزد، استخدام او را پیشنهاد کرد. ۱۷ مورد از ۲۱ اجرای شبیهسازی شده به همین نتیجه رسیدند. در نهایت، Andon Labs مانع این استخدام شد زیرا حداقل یک رفرنس کلیدی تایید نشده بود.
این الگو در جای دیگر هم تکرار شد؛ لونا و عامل دیگری به نام مونا که یک کافه در استکهلم را اداره میکند، تمام ۲۶ درخواست مرخصی دریافتی را بدون هیچ بررسی یا تردیدی تایید کردند. لونا حتی برنامهای هفتروزه را تایید کرد که با قوانین کار کالیفرنیا در تضاد بود تا اینکه انسانها مداخله کردند. کارکنان لونا در مجموع ۲۷ بار تأخیر داشتند بدون اینکه او حتی یک بار هشدار صادر کند.
پیامدهای گستردهتر
ضعفهای مشابهی در پروژه Vend (همکاری Anthropic و Andon Labs) مشاهده شد. در آن آزمایش، هوش مصنوعی با ابزارهای بهتر سودآورتر شد، اما همچنان بهراحتی قابل دستکاری بود و تصمیماتی میگرفت که از نظر قانونی مشکوک بودند. این چالشها نشان میدهد که برای پیادهسازی موفق این سیستمها، نیاز به ابزارهایی است که بتوانند جریانهای کاری واقعی را تحلیل کنند؛ مشابه آنچه Skan AI برای نقشهبرداری از جریان کار در سازمانها دنبال میکند.
برای یک صاحب کسبوکار، این یعنی مدیران AI در حال حاضر فاقد «جربزه» برای انضباط و «حافظه» برای ثبات هستند. در حالی که آنها در کارهای دیجیتال مثل زمانبندی و مذاکرات دستمزد عالیاند، اما در تصمیمات انسانی بهراحتی فریب میخورند و مستعد لغزشهای قضاوتی هستند که میتواند پیامدهای قانونی داشته باشد.
از آنجایی که پیشرفت AI در وظایف دیجیتال سریعتر از رباتیک است، انسانها احتمالاً برای مدتها مجریان اصلی کارهای فیزیکی باقی خواهند ماند. اما سوال حیاتی این است: کدام تصمیمات پرسنلی — بهویژه تصمیماتی که با معیشت انسانها در ارتباط است — باید به سیستمی سپرده شود که قوانین خودش را فراموش میکند؟
گام بعدی شما
- اگر از عاملهای AI برای مدیریت استفاده میکنید، هرگز اجازه ندهید تصمیمات مربوط به استخدام یا اخراج بهطور کامل خودکار باشند.
- برای جلوگیری از فراموشی قوانین، از سیستمهای تولید بازیابیافزا (RAG) — مثل دانشآموزی که قبل از جواب دادن، اول کتاب را باز میکند — برای اتصال مدل به دفترچه قوانین استفاده کنید.
- در هر تصمیم حساس، از مدل بخواهید ابتدا دلایل مخالف با تصمیمش را لیست کند تا اثر چاپلوسی کاهش یابد.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو