طراحی عامل‌های هوش مصنوعی باید بر اساس محدودیت‌های شناختی انسان باشد

تصور کنید ابزاری دارید که تمام کارهای شما را انجام می‌دهد، اما شما دیگر نمی‌فهمید چرا و چگونه این تصمیمات گرفته شده‌اند. در چنین وضعیتی، شما از یک مدیر به یک حلقهٔ ضعیف در زنجیره تبدیل می‌شوید که فقط دکمهٔ تایید را می‌زند.

طبق راهنمای منتشر شده در ۱۲ سپتامبر ۲۰۲۶ در وب‌سایت dev.to، هدف از طراحی عامل‌محور (Agentic) — شبیه به ساختن دستیاری که نه فقط دستورات را اجرا می‌کند، بلکه می‌داند هدف نهایی چیست — باید ارتقای درک انسان از مسئله باشد، نه فقط افزایش سرعت در تایید خروجی‌ها.

بسیاری از پیاده‌سازی‌های فعلی، حضور انسان را یک «گلوگاه» می‌بینند که باید حذف یا به حداقل برسد. اما توجه انسان محدود است و خستگی، قدرت قضاوت را کاهش می‌دهد. وقتی سیستم‌ها حجم عظیمی از داده‌ها را برای بررسی به کاربر می‌فرستند، در واقع محدودیت‌های شناختی مغز را نادیده می‌گیرند.

بر اساس بررسی‌های این گزارش، گردش‌های کاری مؤثر باید بر چهار مکانیزم متمرکز شوند:

• نمایش زمینه‌ای (Contextual Surfacing): ارائه تنها داده‌های ضروری برای اتخاذ تصمیم.
• تبیین عدم قطعیت: بیان صریح نقاطی که عامل در مورد آن‌ها تردید دارد. در این راستا، استفاده از ماتریس قطعیت به جای پرامپت‌نویسی سنتی می‌تواند مدیریت دقیق‌تری بر خروجی‌های عامل‌ها ایجاد کند.
• شفافیت در موازنه: روشن کردن پیامدهای انتخاب مسیرهای مختلف.
• فضای مداخله: حفظ توانایی انسان برای تغییر هدف و تعیین مرزها.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، حذف نظارت انسانی آگاهانه، ریسک‌های سیستمی را افزایش می‌دهد. برای کاهش این ریسک‌ها، می‌توان از سیستم‌های درجه‌بندی ریسک مانند چارچوب LoopRails استفاده کرد تا تاییدات کلی جای خود را به نظارت هوشمندانه بدهند. توسعه‌دهندگان باید به‌جای پرسش دربارهٔ اینکه «آیا عامل می‌تواند کار را تمام کند؟»، بپرسند «آیا این سیستم به رشد کاربر کمک می‌کند؟».

برای کاربران حرفه‌ای، فرآیند حل مسئله اغلب ارزشمندتر از خودِ پاسخ نهایی است. حذف انسان از هدفِ کار، منجر به تحلیل رفتن مهارت‌ها و کاهش کیفیت تصمیمات سرنوشت‌ساز می‌شود.

به نقل از نویسندگان این راهنما، توسعه‌دهندگان اکنون باید حلقه‌های عامل‌محور خود را بازبینی کنند تا مطمئن شوند تنها برای سرعت بهینه‌سازی نمی‌کنند. چالش بعدی، بازگرداندن «اصطکاک» به نقاطی از سیستم است که یادگیری و تفکر انتقادی در آن‌ها ضروری است.

گام بعدی شما

• در طراحی ابزارهای خود، به‌جای حذف مراحل تایید، مراحل «توضیح دلیل تصمیم» را اضافه کنید.
• نقاط عدم قطعیت مدل را به‌صورت بصری و برجسته برای کاربر نمایش دهید.
• بررسی کنید که آیا خروجی‌های سیستم شما باعث «خستگی تصمیم‌گیری» در کاربر می‌شود یا خیر.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.