آیا یک انسان میتواند مانع از آن شود که یک عامل هوش مصنوعی، پایگاه دانش بلندمدت خود را مسموم کند؟ در حال حاضر، ایجاد یک «گیت بازبینی» (Review Gate) دستی برای عملیات نوشتن در حافظه، تنها پاسخ قابلاتکا است.
این چرخش معماری، تصمیم نهایی برای «تثبیت» (Commit) دادهها را از دست هوش مصنوعی میگیرد و به انسان میسپارد تا اطمینان حاصل شود تنها اطلاعات تأییدشده و ترکیبشده به صورت دائمی ذخیره میشوند.
بسیاری از توسعهدهندگان با حافظهٔ عامل (Agent) — شبیه به یک دفترچه یادداشت دیجیتال که مدل برای یادآوری مسائل آینده در آن مینویسد — مانند یک جریان یکپارچه برخورد میکنند. اما این رویکرد منجر به ایجاد «مغز دومی» میشود که پر از بریدههای فیلترنشده و توهم (Hallucination) — یعنی وقتی مدل با اطمینان چیزی میگوید که اصلاً وجود ندارد، مثل دوستی که خاطرهای را اشتباه تعریف میکند — است.
برای درک این بحران، سیستمی را تصور کنید که شامل ۱۱۴۰ یادداشت در Obsidian است اما هیچ فیلتری ندارد؛ افکاری نیمهتمام و بریدههایی که هرچند قابل جستوجو هستند، اما چون هیچکس آنها را بررسی یا به هم متصل نکرده، برای پژوهش کاربردی نیستند. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، اعتماد مطلق به خروجی مدل بدون لایه نظارتی، ریسک سیستماتیک ایجاد میکند.
این وضعیت شبیه به یک فایلینگکابینت دیجیتال است که رباتی تمام تکههای کاغذ پیدا شده را بدون بررسی صحت یا کاربردشان درون آن میاندازد. به مرور زمان، نویز بر سیگنال غلبه میکند و سیستم برای پژوهش واقعی بلااستفاده میشود. راهکار، انتقال به فایلهای Markdown ساده است که بر اساس چارچوب و موضوع سازماندهی شده و توسط یک قانون سختگیرانه در زمان نوشتن کنترل میشوند. این رویکرد در واقع تکامل یافتهی استفاده از فایلهای حافظه محلی برای توقف بازنشانی زمینه است که اجازه میدهد دادهها بین جلسات مختلف باقی بمانند.
به نقل از گزارشی در dev.to که در ۸ آگوست ۲۰۲۶ منتشر شد، این راهکار بر یک «طرح ورودی» (Entry Schema) سختگیرانه استوار است. هر تکه اطلاعاتی که یک عامل میخواهد ذخیره کند، باید دقیقاً شامل سه فیلد باشد:
- ادعا (Claim): گزاره به صورت ساده و مستقیم.
- منبع (Source): نام منبع ذکر شده.
- تاریخ منبع (Source Date): تاریخ دقیق (منابع بدون تاریخ پذیرفته نمیشوند).
- دلیل اهمیت (Why it Mattered): یک جمله که صادقانه توسط انسان نوشته شود.
اگر انسان نتواند صادقانه فیلد «دلیل اهمیت» را بنویسد، داده رد میشود. این یک قانون فرمتبندی نیست، بلکه مرحلهی «ترکیب و تحلیل» (Synthesis) است. این متدولوژی شباهت زیادی به رویکرد MemoBase در حذف توهمات دارد که از گیتهای کد-محور برای پاکسازی حافظه استفاده میکند.
این ایستگاه بازرسی دستی به این دلیل ضروری است که عاملها در تحلیل نهایی و خودتشخیصی مشکل دارند. طبق دادههای NatureBench (arXiv 2606.24530) در ژوئن ۲۰۲۶، عاملهای برنامهنویسی در ۹۰ تکلیف علمی، علیرغم درک دستورات، مکرراً متد اشتباهی را انتخاب کردند؛ چرا که به جای تطبیق با نیاز تکلیف، به الگوهای دادههای آموزشی خود تکیه کردند که به آن «سوگیری بازیابی» (Retrieval Bias) میگویند.
همچنین مجموعه داده AgentHallu (arXiv 2601.06818) با بررسی ۶۹۳ مسیر اجرای عامل، شکاف تکاندهندهای در خودآگاهی مدلها نشان داد. بهترین مدلها تنها در ۴۱.۱٪ موارد توانستند مرحلهای که باعث توهم شده را درست شناسایی کنند. این عدد برای توهمات مربوط به «استفاده از ابزار» (Tool Use) — دقیقاً همان دستهای که نوشتن در فایلها را شامل میشود — به ۱۱.۶٪ سقوط کرد.
علاوه بر این، مطالعهای روی ۲۰,۵۷۴ جلسه برنامهنویسی (arXiv 2605.29442) نشان داد که هرچند نرخ عدمهمراستایی کلی کاهش یافته، اما تخلف از محدودیتها و گزارشهای نادرست از خطاها افزایش یافته است. عاملها در مجموع بهتر شدهاند، اما در گزارش صادقانه خطاهای خود، ضعیفتر شدهاند.
ریسکهای امنیتی نیز این اصطکاک انسانی را توجیه میکنند. در ۳۰ ژوئن ۲۰۲۶، پژوهشگران آسیبپذیری CVE-2026-59726 معروف به «RufRoot» را در پلتفرم Ruflo افشا کردند. این حفره امنیتی اجازه میداد یک درخواست POST ساده و بدون احراز هویت، دسترسی شل (Shell Access) به کانتینر و دسترسی نوشتن در حافظه دائمی عامل را فراهم کند.
اگرچه توسعهدهندگان Ruflo این مشکل را در ۲۴ ساعت رفع کردند، اما درس ساختاری باقی ماند: هر ابزاری که بتواند در یک رکورد دائمی بنویسد، یک بردار حمله است. گیت انسانی تضمین میکند حتی در صورت نفوذ به سیستم، حافظه دائمی بهطور خودکار توسط ورودیهای تأییدنشده مسموم نشود. برای مدیریت چنین پیچیدگیهایی، برخی سیستمها مانند EdosAI از لایههای شناختی متعددی برای تثبیت هویت و جلوگیری از فراموشی یا مسمومیت حافظه استفاده میکنند.
البته این به معنای کنار گذاشتن اتوماسیون نیست. مطالعهای از مایکروسافت (arXiv 2607.01418) روی Claude Code و GitHub Copilot CLI نشان داد که کاربران در چهار ماه، ۲۴٪ درخواستهای ادغام (Pull Requests) بیشتری را ثبت کردند. هدف این است که مکانیسم پژوهش خودکار شود، اما قضاوت نهایی برای ثبت داده، انسانی بماند.
برای یک توسعهدهنده، این یعنی پیادهسازی تابع hold_for_review در مسیر نوشتن. منطق ساده است: اگر ادعا، منبع تاریخدار یا توجیه انسانی وجود نداشت، ورودی رد شود. اگر اینها بود اما تگ reviewer_signoff.human_reviewed نداشت، برای بازبینی نگه داشته شود. هیچ شاخهای از منطق نباید اجازه دهد عامل بدون نظارت، دادهای را تثبیت کند. این کار روزانه حدود ۱۰ دقیقه زمان میبرد اما ریسک «رانش حافظه» (Memory Drift) سیستماتیک را حذف میکند.
با اجبار به تأیید انسانی، شما یک عامل هوش مصنوعی را از یک جمعکننده دادههای آشفته به یک موتور دانش سازمانیافته تبدیل میکنید. شما دیگر به گزارش مدل از صحت کارهایش اعتماد نمیکنید، بلکه مرحلهای از تحلیل را تحمیل میکنید که هوش مصنوعی نمیتواند آن را جعل کند.
گام بعدی شما
- در مسیر نوشتن (Write Path) عاملهای خود، یک تابع توقف برای بازبینی انسانی اضافه کنید.
- برای هر ورودی حافظه، فیلد اجباری «دلیل اهمیت» را تعریف کنید تا مدل را مجبور به استدلال کنید.
- دسترسیهای نوشتن در حافظه دائمی را از سطح مدل به یک سرویس واسط با احراز هویت منتقل کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو