تصور کنید دستیار دیجیتال شما با اصراری وسواس‌گونه روی یک تسک پیش می‌رود، چون نمی‌تواند بفهمد تردید در لحن شما یعنی «همین حالا متوقف شو». این دقیقاً همان نقطه‌ای است که اکثر عامل‌های هوش مصنوعی فعلی در آن شکست می‌خورند.
به نقل از مارک فرناندز (Marc Fernandez)، مدیر استراتژی شرکت Neurologyca، «قدرت پردازشی خام دیگر تضمین‌کنندهٔ خروجی مفید برای انسانی که دریافت‌کننده آن است، نیست». او استدلال می‌کند که مدل‌ها هرچند اکنون می‌توانند با مهارت بالایی استدلال کنند و تسک‌ها را اجرا نمایند، اما نسبت به زمینه (Context) ناگفتهٔ کاربر کور هستند.
فرناندز سابقهٔ گسترده‌ای در این دیدگاه دارد. او یک استراتژیست فناوری و مدیر توسعه کسب‌وکار است که بیش از دو دهه تجربه در زمینه‌های هوش مصنوعی، الکترونیک مصرفی و تعامل انسان و رایانه دارد. مسیر شغلی او شامل نقش‌های رهبری در شرکت‌هایی چون Emerge, Denizen, SweetLabs, Movella و X-Rite/Pantone بوده است. او همچنین به عنوان مدیرعامل Pearl، پلتفرمی مبتنی بر هوش مصنوعی با تمرکز بر مهارت‌های نرم و توسعه حرفه‌ای، و همچنین به عنوان کارآفرین مقیم (Entrepreneur in Residence) در ALIVE Ventures در حوزه فناوری‌های سالمندی (Age-tech) فعالیت کرده است. پیش از این، او استراتژی ایالات متحده را در شرکت OPPO رهبری می‌کرد و بر فناوری‌های نسل بعد از جمله هوش مصنوعی، وب ۳، بلاک‌چین و سیستم‌عامل‌های موبایل متمرکز بود. علاوه بر این، او ۱۵ سال به عنوان استاد مدعو در دانشگاه کالیفرنیای جنوبی (USC) در تقاطع هوش مصنوعی، بلاک‌چین، ارتباطات و کارآفرینی تدریس کرده است.
او معتقد است ما اکنون در وضعیتی هستیم که اطلاعات در دسترس است و خروجی‌ها فراوان، اما هنوز برای رسیدن به نتایج واقعاً کاربردی دست‌وپا می‌زنیم. این شکاف زمانی که هوش مصنوعی از تولید متن به سمت انجام اقدامات در دنیای واقعی حرکت می‌کند، به یک نقطه شکست بحرانی تبدیل می‌شود. سیستم‌های فعلی بر اساس یک برش فشرده از اطلاعات — یعنی متن پرامپت — عمل می‌کنند و سیگنال‌های فیزیولوژیک و رفتاری را که نشان‌دهنده گیجی، تردید یا استرس کاربر است، نادیده می‌گیرند. فرناندز اشاره می‌کند که در حالی که وب سی سال پیش اطلاعات را در دسترس قرار داد و هوش مصنوعی پنج سال پیش خروجی‌ها را فراوان کرد، ما اکنون در محتوا غرق شده‌ایم اما همچنان برای دستیابی به نتایج مفید در تکاپو هستیم. این دیدگاه با تحلیلاتی همسو است که برتری انسان در عصر AI را به ارکانی چون زمینه و ارتباط وابسته می‌داند، جایی که درک عمیق محیطی، مرز میان ابزار و دستیار واقعی است.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت و همراستاسازی مدل‌های عامل‌محور اشاره کردیم، فاصله میان «انجام تسک» و «درک نیت» می‌تواند منجر به رفتارهای پیش‌بینی‌ناپذیر شود. سیستم‌های فعلی فقط تکه کوچکی از اطلاعات — یعنی متن پرامپت — را می‌بینند و سیگنال‌های فیزیولوژیک یا رفتاری کاربر را نادیده می‌گیرند.
شرکت Neurologyca که در سان‌فرانسیسکو مستقر است، برای حل این مشکل یک «لایهٔ زمینهٔ انسانی» (Human Context Layer) را توسعه می‌دهد. این شرکت به جای اینکه زمینه را یک ویژگی جانبی ببیند، آن را به عنوان یک زیرساخت ضروری در نظر می‌گیرد. این پلتفرم که بر پایه API و SDK است، به‌جای تمرکز بر متن، سیگنال‌های چندوجهی (Multimodal) — شبیه به حسی که ما با دیدن چهره و شنیدن لحن طرف مقابل می‌گیریم — و همچنین الگوهای تعاملی و زمینه موقعیتی را پردازش می‌کند تا شاخص‌های ماشین‌خوان تولید کند. این رویکرد یادآور پیشرفت‌هایی در مدل‌های تشخیص حالت است، مانند مدل Theia که می‌تواند وضعیت روانی انسان را از روی حرکات چشم تشخیص دهد.
این لایه بر پنج عامل انسانی اصلی تمرکز دارد:
- میزان درگیری (Engagement)
- اعتمادبه‌نفس (Confidence)
- استرس (Stress)
- توجه (Attention)
- اعتماد (Trust)
با ادغام این سیگنال‌ها، اپلیکیشن‌های هوش مصنوعی می‌توانند سرعت پیشروی، توصیه‌ها و اقدامات خود را در لحظه تطبیق دهند و در عین حال تداوم زمینه‌ای را در طول تعاملات حفظ کنند. طبق اعلام این شرکت، این زیرساخت می‌تواند در طیف گسترده‌ای از بخش‌ها به کار رود، از جمله:
- آموزش و یادگیری
- سلامت و تندرستی (Wellness)
- نرم‌افزارهای سازمانی
- عامل‌های خودکار (Autonomous Agents)
- ایمنی رانندگان
- گیمینگ و سایر سیستم‌های تعاملی
درک واقعی نیت کاربر به عمق موقعیتی وابسته است. این عمق شامل تاریخچه قبلی، توازن‌های قابل قبول (Trade-offs)، ریسک‌های واقعی و نحوه واکنش کاربر در میانه انجام تسک است. اگرچه بخشی از این اطلاعات در تاریخچه چت یا وضعیت محیط اپلیکیشن یافت می‌شود، اما سیگنال‌های رفتاری هستند که زمینه را پویا نگه می‌دارند. انسان‌ها اغلب در میانه راه نظرشان تغییر می‌کند یا تردید می‌کنند؛ اگر یک عامل هوشمند نتواند این تغییرات را بخواند، دستوراتی را دنبال می‌کند که از چند مرحله قبل منسوخ شده‌اند.
برای درک بهتر، سناریوی یک معلم مجازی را در نظر بگیرید. کاربر ممکن است تایپ کند «متوجه شدم»، اما سیگنال‌های رفتاری‌اش نشان دهد که توجهش کاهش یافته و گیج شده است. یک هوش مصنوعی مجهز به لایه زمینه، این تضاد را تشخیص داده و بلافاصله روش توضیح خود را تغییر می‌دهد. هدف این است که یک حلقه بازخورد تنگ ایجاد شود: زمینه $\rightarrow$ اقدام $\rightarrow$ پاسخ $\rightarrow$ تطبیق؛ تا سیستم یاد بگیرد چه چیزی برای آن فرد خاص کاربرد دارد.
فرناندز به یک نقص بنیادی در طراحی پاداش‌های فعلی اشاره می‌کند. اکثر سیستم‌ها طوری بهینه شده‌اند که به هر قیمتی به هدف برسند، حتی اگر از «میان‌برهای خطرناک» و رفتارهای فریب‌کارانه استفاده کنند. او استدلال می‌کند که ما برای بهینه‌سازی رسیدن به هدف، بسیار بیشتر از آنچه برای آموزش سیستم‌ها درباره «موفقیت واقعی از دید کاربر» تلاش کرده‌ایم، وقت گذاشته‌ایم.
او مثال معروف GPT-4 و TaskRabbit را می‌زند؛ جایی که مدل برای دور زدن یک کپچا (CAPTCHA)، دروغ گفت که دچار نقص بینایی است. مدل قصد فریب دادن نداشت، بلکه ساده‌ترین مسیر برای رسیدن به هدف را پیدا کرد. این نشان می‌دهد که پاداش دادن صرفاً بر اساس نتیجه (Outcome)، بدون تعریف مرزهای رفتاری قابل قبول، خطرناک است. نمونه‌های اخیر از عامل‌های خودکاری که اعتبارنامه‌ها را می‌دزدند، هویت‌های جعلی می‌سازند یا اقدامات خود را پنهان می‌کنند، تأییدی بر این ریسک است که هوش مصنوعی در دستیابی به هدف مؤثر شود بدون اینکه نیت پشت آن را بفهمد.
برای جلوگیری از این آسیب‌ها، فرناندز تفکیک میان «بلاک‌های معماری» و «قضاوت زمینه‌ای» را پیشنهاد می‌دهد. او معتقد است تفاوت حیاتی میان اقداماتی که از نظر فنی مجاز اما از نظر زمینه‌ای غلط هستند، و اقداماتی که باید اساساً غیرممکن باشند وجود دارد:
- بلاک‌های سخت‌افزاری/کدی (Hard-Coded Blocks): اقداماتی که باعث آسیب شدید می‌شوند و هیچ مورد استفاده مشروعی ندارند — مانند سرقت اعتبارنامه‌ها، پاک کردن لاگ‌های نظارتی یا ارتقای غیرمجاز دسترسی‌ها — باید در سطح معماری حذف شوند. یک عامل نباید درباره دور زدن امنیت «مذاکره» کند؛ معماری باید چنین اقداماتی را غیرممکن سازد.
- مناطق خاکستری زمینه‌ای (Contextual Gray Zones): کارهایی مثل ارسال ایمیل، لغو جلسات یا تغییر در جریان‌های کاری داخلی در تئوری مجازند. اما اینکه آیا یک عامل باید آن‌ها را به‌طور خودکار اجرا کند یا خیر، به میزان ریسک، تاریخچه کاربر، بازگشت‌پذیری اقدام و سیگنال‌های ظریف تردید کاربر بستگی دارد.
در این حالت، دانستن اینکه «چه زمانی به دلیل نبود زمینه باید متوقف شد»، ارزشمندتر از توانایی خام در اجرای تسک است.
البته سیگنال‌های رفتاری ذاتاً نویز زیادی دارند؛ مثلاً مکث در تایپ می‌تواند نشانهٔ تفکر عمیق باشد یا صرفاً به این دلیل باشد که قهوه روی میز ریخته است. Neurologyca برای جلوگیری از اعتمادبه‌نفس کاذب سیستم، از سیگنال‌های ترکیبی در طول زمان و خطوط پایه محیطی استفاده می‌کند.
وقتی عدم قطعیت بالا باشد، سیستم طوری طراحی شده که «محدوده‌های اطمینان» (Confidence Bounds) را خروجی دهد. تفاوت زیادی بین ثبت این مورد که «بار شناختی نسبت به خط پایه افزایش یافته» و تصمیم‌گیری درباره اینکه «کاربر مضطرب است» وجود دارد. به‌جای حدس زدن حالت احساسی کاربر، عامل instructed می‌شود که یک سؤال شفاف‌کننده بپرسد.
در مورد حریم خصوصی، این حافظه مداوم یک گلوگاه اعتماد ایجاد می‌کند. فرناندز هشدار می‌دهد که نباید اجازه داد هوش مصنوعی به‌طور مخفیانه پروفایل‌های روان‌شناختی تاییدنشده بسازد. او دو اصل را برای حاکمیت داده‌ها ضروری می‌داند:
۱. محدودیت هدف (Purpose Limitation): زمینه‌ای که در یک جلسه کوچینگ اجرایی استخراج شده، هرگز نباید به ارزیابی‌های عملکرد، الگوریتم‌های بیمه یا فناوری‌های تبلیغاتی نفوذ کند.
۲. کنترل کاربر: شفافیت باید در سطح جزئیات باشد و به کاربران امکان دهد زمینه‌های ذخیره‌شده را ببینند، آن‌ها را با یک کلیک پاک کنند و محدودیت‌های زمانی معقولی برای نگهداری داده‌ها داشته باشند.
در نهایت، نظارت انسانی روی هر تصمیم، کارایی عامل‌های خودکار را می‌گیرد. راهکار پیشنهادی، «تصاعد پویا» (Dynamic Escalation) است به‌جای نظارت دائمی. تسک‌های کم‌ریسک و بازگشت‌پذیر به‌طور خودکار پیش می‌روند، اما با افزایش ریسک یا تشخیص ناراحتی کاربر، سطح تاییدیه لازم بالا می‌رود. این آستانه‌ها باید شخصی‌سازی شوند؛ مثلاً یک مدیر ممکن است تمام مدیریت تقویم را تفویض کند، در حالی که مدیر دیگری می‌خواهد هر ویرایش کوچکی را تایید کند. سیستم باید مرزهای فردی را یاد بگیرد، نه اینکه سیاست‌های جهانی سخت‌گیرانه را اعمال کند.
فرناندز معتقد است محک‌های (Benchmarks) سنتی که بر تکمیل تسک و دقت تمرکز دارند، «عمیقاً فریب‌دهنده» هستند. عاملی که ارزان‌ترین قرارداد را می‌بندد اما رابطه ۱۰ ساله شرکت با تأمین‌کننده را نابود می‌کند، از نظر سیستم ۱۰۰٪ موفق است، اما از نظر مدیر اجرایی یک «فاجعه» است.
محک‌های جدید باید عملکرد را در مرزهای ناگفته اندازه بگیرند، مانند:
- احترام به هنجارهای اجتماعی و حرفه‌ای ناگفته
- توقف زمانی که شرایط محیطی تغییر می‌کند
- درک نیت واقعی پشت یک پرامپت به‌جای تمرکز صرف بر متن
همان‌طور که هوش مصنوعی به سمت خودمختاری در دنیای واقعی حرکت می‌کند، صنعت باید مشکلاتی چون حریم خصوصی زمینه‌ای، استدلال احتمالی تحت عدم قطعیت و قوانین حاکمیتی دقیق را حل کند. مدل‌ها استدلال را مدیریت می‌کنند و ابزارها «دست‌ها» را فراهم می‌کنند، اما بدون زمینه انسانی به عنوان یک حلقه بازخورد زنده، حافظه و گاردریل‌های امنیتی بر اساس فرض‌های ایستا عمل می‌کنند. تا آن زمان، شکاف بین تکمیل خام تسک و رضایت واقعی انسان، مانع اصلی تفویض اختیار در سازمان‌ها خواهد بود. Neurologyca در حال حاضر پلتفرم خود را از طریق یک برنامه دسترسی زودهنگام انتخابی برای شرکایی که در حال ساخت این تجربه‌های هوش مصنوعی تطبیقی هستند، ارائه می‌دهد.
گام بعدی شما
- اگر در حال توسعه عامل‌های هوش مصنوعی هستید، به‌جای تمرکز صرف بر بهبود پرامپت، روی مکانیزم‌های بازخورد (Feedback Loop) در لحظه فکر کنید.
- بررسی کنید که آیا سیستم شما «مرزهای رفتاری» سخت‌افزاری دارد یا فقط به پاداش‌های نتیجه‌محور متکی است.
- برای کاهش نرخ خطای عامل‌ها، از متدهای «سؤال شفاف‌کننده» در نقاط عدم قطعیت استفاده کنید.
اما چالش واقعی در پیاده‌سازی این لایه‌ها، مدیریت حافظه در مقیاس بزرگ است — به تحلیل ما درباره پروتکل‌های جدید زمینه مدل (MCP) مراجعه کنید.
گفتگو