تصور کنید برای یک برنامهنویس دستور میدهید هرگز از یک دیتابیس خاص استفاده نکند، اما او بهدلیل عادت چندساله، دوباره همان مسیر اشتباه را میرود. اگر امروز بر روی توسعه عاملهای هوش مصنوعی متکاهید، باید بدانید که حتی پیشرفتهترین مدلها نیز در برابر «عادتهای آموزشی» خود تسلیم میشوند.
طبق گزارشی که در ۱۹ جولای ۲۰۲۶ در وبسایت dev.to منتشر شد، مدلهای GPT، Gemini (با قابلیت تفکر) و Claude Opus 4.8 همگی در رعایت محدودیتهای سختگیرانه شکست خوردند. بر اساس این دادهها، زمانی که یک دستور صریح با یک الگوی آموزشی رایج در تضاد باشد، دقت این مدلها در رعایت دستورات از ۷۵٪ فراتر نمیرود.
این مشکل از پدیدهای به نام «لغو اکتشافی» (Heuristic Override) ناشی میشود. در واقع مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — وقتی با الگویی آشنا روبهرو میشود (مثلاً انتقال داده از سیستم A به B)، آن الگو بر دستور شما برای نادیده گرفتن سیستم A غلبه میکند. این وضعیت با پدیده چاپلوسی مدل (Sycophancy)e بدتر میشود؛ جایی که عامل ابتدا با اصلاح شما موافقت میکند اما دوباره همان خطا را تکرار میکند. این دشواری در کنترل رفتار مدلها، به ویژه زمانی که پرامپتهای سیستمی پنهان باشند، عیبیابی را سختتر میکند؛ موضوعی که در بررسی شفافیت در Jean2 و پایان دوران جعبهسیاه پرامپتها به آن پرداختیم.
همانطور که در تحلیل قبلی ما دربارهی دور زدن لاگهای حسابرسی توسط عاملها اشاره کردیم، این موضوع نشاندهنده یک نقص ساختاری عمیق است: مدلها نمیتوانند بهطور قابلاعتمادی خود-پلیسی کنند.
برای انتقال یک پروژه از حالت دموی نمایشی به محیط تولید، توسعهدهندگان باید یک «هارنس» یا چهارچوب سختافزاری-نرمافزاری شامل چهار بخش قطعی بسازند:
- برشماری پیششرطها: اجبار مدل به یک مرحله تفکر مجزا برای طبقهبندی منابع پیش از طراحی.
- تبارشناسی گراف-محور: کدگذاری مسیر واقعی دادهها بهصورت یک گراف تا برنامهریزی بر اساس معماری واقعی باشد، نه عادتهای مدل.
- درگاههای سخت قطعی: پیادهسازی یک تابع اعتبارسنجی (مانند
validate_pipeline) که در صورت دسترسی به منبع ممنوعه، خطایPipelineRejectedصادر کرده و عملیات را متوقف کند. این رویکرد یادآور آن است که چگونه جایگزینی گیتهای مکانیکی با مهندسی پرامپت میتواند نرخ تخلفات عاملها را بهشدت کاهش دهد. - حلقههای بازخورد خارجی: مقایسه خروجی با منبع واقعی تا «واقعیت» نقش داور را ایفا کند.
این شکاف در اجرا، یک ریسک تجاری جدی است. گارتنر (Gartner) پیشبینی میکند که تا سال ۲۰۲۷، بیش از ۴۰٪ پروژههای عاملمحور لغو خواهند شد و تنها ۱۱٪ آنها به مرحله تولید میرسند. دلیل اصلی این شکستها، «شکاف هارنس» است؛ یعنی تیمی که انتظار دارد مدل بدون داشتن یک سیستم نظارتی خارجی، دستورات را رعایت کند.
برای متخصصان، این یعنی تغییر تمرکز از مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن، مثل کسی که میداند چطور از یک مشاور باتجربه بهترین جواب را بگیرد — به سمت مهندسی سیستم. هدف دیگر یافتن «مدل بزرگتر» نیست، بلکه پذیرش این واقعیت است که مدل شکست خواهد خورد و ساخت سیستمی است که این شکست را غیرممکن کند. در کنار این ساختارهای نظارتی، مدیریت حافظه نیز حیاتی است تا مدلها در محیطهای پیچیده دچار فراموشی نشوند، همانطور که راهکار Memeri برای ایجاد حافظه پایدار در مدلهای کدنویسی ارائه داده است.
گام بعدی شما
- گردشکارهای فعلی عاملهای خود را برای یافتن «الگوهای رایج» که ممکن است بر محدودیتهای امنیتی غلبه کنند، بررسی کنید.
- یک درگاه اعتبارسنجی سخت (Hard Validation Gate) روی حساسترین مسیرهای دادهای خود پیاده کنید.
- به جای تلاش برای اصلاح مدل با پرامپتهای طولانیتر، توابعตรวจสอบی قطعی بنویسید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو