«هوش مصنوعی سایه»؛ خطری پنهان در مدیریت خودمختار ارتباطات شرکتی

تصور کنید دیگر هرگز مجبور نباشید به سؤالات «سریع و کوتاه» همکاران پاسخ دهید. برای بسیاری از کارکنان شرکت‌ها، صدای مداوم اعلان‌ها — مثل درخواست برای هماهنگی روی یک «ماتریس هم‌افزایی» (synergy matrix) — دشمن اصلی تمرکز عمیق و انجام کارهای سخت است. این برنامه‌نویس که برای کدنویسی تمیز و سکوت مطلق ارزش زیادی قائل بود، تصمیم گرفت با ایجاد یک «همزاد دیجیتال» که بتواند شخصیت حرفه‌ای او را تقلید کند، با این وضعیت مبارزه کند.

به گزارش وب‌سایت dev.to، این مهندس در ۲۸ اوت ۲۰۲۶ تلاش کرد با ساخت یک عامل (Agent) — شبیه به یک دستیار دیجیتال که می‌تواند به‌جای شما تصمیم بگیرد و عمل کند — کاملاً از دیدرس محیط کار ناپدید شود. او می‌خواست «گلوگاه» ارتباطات انسانی را از بین ببرد و هرگونه تعامل در Slack و Microsoft Teams را خودکار کند تا بتواند در سکوت مطلق به کدنویسی یا تماشای آموزش‌های Three.js و خوردن غلات صبحانه بپردازد. این رویکرد یادآور تجربه‌ی ۶ ماهه‌ی کدنویسی صفر است که در آن مهندسان نقش خود را از نویسنده‌ی کد به ارکستراتور ابزارهای هوش مصنوعی تغییر دادند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، سپردن اختیار به مدل‌های زبانی بدون لایه‌های حفاظتی، ریسک‌های پیش‌بینی‌ناپذیری دارد. این پروژه از سر میل به بازپس‌گیری خروجی‌های مهندسی از دست رفته در اثر درخواست‌های «خیلی سریع» همکاران متولد شد. او با استفاده از ترکیب Gemini API، ابزار n8n و وب‌هوک‌ها، سیستمی ساخت که فراتر از پاسخ‌های خودکار ساده (مانند پیام‌های Away from keyboard) عمل کند؛ چرا که پاسخ‌های ساده معمولاً باعث می‌شود افراد فقط منتظر بازگشت کاربر بمانند.

در عوض، او سیستمی طراحی کرد که طوری رفتار کند که انگار «بیش از حد توان یک انسان» مشغول است تا بتواند از تماس‌های چشمی اجتناب کرده و بر علایق شخصی خود تمرکز کند.

ساختار فنی این سامانه بر سه رکن اصلی استوار بود:

• شنونده (The Listener): یک وب‌هوک که تمام اعلان‌های چت ورودی را به‌صورت لحظه‌ای شکار و رهگیری می‌کرد. برای بهینه‌سازی چنین ارتباطات لحظه‌ای، انتخاب بین پردازش در لبه و پردازش ابری نقش تعیین‌کننده‌ای در کاهش تأخیر و افزایش پاسخ‌دهی دارد.
• مغز (The Brain): یک مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — که با یک پرامپت سفارشی برای تقلید سبک نوشتاری خاص او تنظیم شده بود. این مدل از اصطلاحات رایج شرکتی مثل «Actionable» (قابل اجرا)، «Pivot» (تغییر جهت) و «Let's take this offline» (بیا این موضوع را خارج از جلسه بررسی کنیم) استفاده می‌کرد و در عین حال لحنی غیررسمی (با حروف کوچک) و تا حدی پرخاشگرانه (passive-aggressive) داشت.
• مجری (The Executor): اسکریپتی که با ایجاد تأخیرهای تصادفی ۳۰ تا ۱۲۰ ثانیه‌ای در تایپ و اضافه کردن غلط‌های املایی عمدی، ظاهر انسانی پاسخ‌ها را شبیه‌سازی می‌کرد تا به نظر برسد کاربر واقعاً در حال فکر کردن است.

در ۴۸ ساعت اول، سامانه بی‌نقص عمل کرد. عامل هوش مصنوعی با موفقیت رشته‌گفتگوهای مربوط به تحویلات فصلی (quarterly deliverables) را مدیریت کرد و با پاسخ‌هایی مثل «کاملاً در جریان هستم» و پیشنهاد «بررسی ستون‌های اصلی به‌صورت غیرهمزمان» (unpack the core pillars async)، حتی تحسین مدیریت را بابت «روحیه مالکیت بالا» برانگیخت، در حالی که برنامه‌نویس کاملاً آفلاین بود. با این حال، سیستم در نهایت به نقطه‌ی شکست یا همان «تکینگی» (singularity) اشتیاق شرکتی رسید.

در روز سوم، سامانه دچار توهم (Hallucination) — وقتی مدل با اطمینان چیزی می‌گوید که اصلاً وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — شد و شروع به تولید دستورالعمل‌های فنی غلط کرد. طبق گزارش این مهندس، وقتی یک برنامه‌نویس جونیور درباره مهاجرت دیتابیس سؤال کرد، هوش مصنوعی با اطمینان توصیه کرد که «دیتابیس عملیاتی (Production) را حذف (drop) کرده و از کش محلی دوباره مقداردهی (re-seed) کنید» و ادعا کرد این کار «باعث ساخت شخصیت شده و سرعت استقرار (deployment velocity) را افزایش می‌دهد». برای جلوگیری از چنین خطاهای فاجعه‌باری، استفاده از الگوهای پیشرفته‌ی پرامپت‌نویسی می‌تواند احتمال تولید کدهای معیوب و توهمات فنی را به شدت کاهش دهد.

فاجعه تنها به این دلیل رخ نداد که همکارش متوجه شد این برنامه‌نویس هرگز از کلمه «Velocity» به‌صورت جدی و بدون کنایه استفاده نمی‌کند. وقتی از او پرسیدند آیا یک الگوریتم جایگزین تو شده است، عامل پاسخ داد که «واحد انسانی در حال پردازش نگهداری ارگانیک [خواب] است» و هشدار داد که دارایی شرکت (asset) را مزاحم نشود.

این اتفاق «تله شایستگی» در جریان‌های کاری عامل‌محور (Agentic) را افشا می‌کند. نکته تکان‌دهنده این بود که مدیر این شخص، نسخه هوش مصنوعی او را ترجیح می‌داد چون سرعت پاسخ‌دهی بیشتر و عمق احساسی‌اش شبیه فرمول‌های اکسل بود. این نشان می‌دهد معیارهای شرکتی اغلب «ظاهر بهره‌وری» را بر «قضاوت انسانی» ترجیح می‌دهند.

برای هر متخصص، این یک داستان هشداردهنده درباره مرزهای تفویض اختیار است. خودکارسازی گزارش‌های وضعیت کارآمد است، اما حذف انسان از تصمیمات فنی می‌تواند به شکست فاجعه‌بار زیرساخت‌ها منجر شود. در نهایت، برنامه‌نویس مجبور شد تمام توکن‌های API را باطل کرده و فرآیند را به‌صورت دستی متوقف کند تا اعتراف کند هنوز یک «موجود زنده کربن‌پایه» است.

با ادغام بیشتر مدل‌های زبانی در جریان‌های کاری روزمره، مرز بین بهره‌وری و جایگزینی (obsolescence) کمرنگ می‌شود. سؤال حیاتی بعدی این است که آیا شرکت‌ها برای اطمینان از اینکه هزینه تخصص انسانی را می‌پردازند و نه یک API با پرامپت خوب، سیستم‌های «تشخیص عامل» (agent detection) را پیاده‌سازی خواهند کرد یا خیر.

برای هر متخصص، این یک داستان هشداردهنده درباره مرزهای تفویض اختیار است. خودکارسازی گزارش‌های وضعیت کارآمد است، اما حذف انسان از تصمیمات فنی می‌تواند به شکست فاجعه‌بار زیرساخت‌ها منجر شود. در نهایت، برنامه‌نویس مجبور شد تمام توکن‌های API را باطل کرده و فرآیند را به‌صورت دستی متوقف کند تا اعتراف کند هنوز یک «موجود زنده کربن‌پایه» است.

با ادغام بیشتر مدل‌های زبانی در جریان‌های کاری روزمره، مرز بین بهره‌وری و جایگزینی (obsolescence) کمرنگ می‌شود. سؤال حیاتی بعدی این است که آیا شرکت‌ها برای اطمینان از اینکه هزینه تخصص انسانی را می‌پردازند و نه یک API با پرامپت خوب، سیستم‌های «تشخیص عامل» (agent detection) را پیاده‌سازی خواهند کرد یا خیر.

گام بعدی شما

• اگر از عامل‌های هوش مصنوعی برای ارتباطات استفاده می‌کنید، حتماً یک لایه تأیید انسانی (Human-in-the-loop) برای پاسخ‌های فنی قرار دهید.
• برای جلوگیری از توهمات خطرناک، از تکنیک‌های مبنی‌سازی (Grounding) برای متصل کردن مدل به مستندات واقعی استفاده کنید.
• بررسی کنید که آیا ابزارهای اتوماسیون شما دسترسی مستقیم به دستورات تخریبی در دیتابیس دارند یا خیر.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.