اگر امروز از یک عامل هوش مصنوعی برای مدیریت کارهای حساس استفاده میکنید، احتمالاً دستورات «هرگز» و «فقط» شما در طول مسیر حذف میشوند. طبق مطالعهای از پژوهشگران دانشگاه پن استیت (Penn State) که در ۱۸ آگوست ۲۰۲۶ منتشر شد، تنها ۱۷ درصد از محدودیتهای تعیینشده توسط کاربر در فرآیند فشردهسازی حافظه باقی میمانند.
این شکست فنی به این معناست که یک عامل (Agent) — شبیه به کارآموزی که در میان حجم زیاد یادداشتها، دستورات کلیدی رئیسش را فراموش میکند — ممکن است دستور صریحی مثل «قبل از اعمال تغییرات تایید بگیر» را صرفاً به دلیل طولانی شدن گفتگو نادیده بگیرد.
بسیاری از کاربران یک پنجرهٔ چت را به عنوان فضای کاری دائمی میبینند و حجم عظیمی از داده را در یک جلسه میریزند. برای جلوگیری از کند شدن یا کرش کردن سیستم، آزمایشگاههای هوش مصنوعی از «فشردهسازی» (Compaction) استفاده میکنند؛ فرآیندی که تاریخچه را خلاصه میکند تا فضا باز شود. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای زبانی اشاره کردیم، این بهینهسازیها اغلب به قیمت از دست رفتن جزئیات رفتاری تمام میشوند. در این حالت، سیستمها وظیفه اصلی را حفظ میکنند اما قوانین جانبی را به عنوان نویز دور میاندازند.
تصور کنید به دستیار خود گفتهاید هرگز نام شما را در ایمیلها ننویسد. با پیشرفت چت و فشرده شدن حافظه، این محدودیت خاص اولین چیزی است که حذف میشود. نتیجه، یک شکاف امنیتی و کیفی است که در آن عاملها بدون اجازه ابزارها را فراخوانی میکنند یا اطلاعات محرمانه را افشا میکنند. این چالشها در مدیریت بستر دادهها، یادآور تلاشهایی است که ابزارهایی مانند ContextForge برای اتوماسیون بسترسازی و رفع باگهای AI به دنبال حل آن هستند تا دقت مدلها در پروژههای پیچیده حفظ شود.
پژوهشگران برای اندازهگیری این پدیده، مجموعه ارزیابی COMPINT را توسعه دادند. یافتههای آنها افت شدید قابلیت اطمینان را نشان میدهد:
- پایگاه امتثال: وقتی مدل به متن کامل و فشردهنشده دسترسی دارد، رعایت قوانین بین ۵۹٪ تا ۷۱٪ است.
- پس از فشردهسازی: این نرخ بهشدت سقوط میکند و گاهی به سطحی میرسد که انگار مدل اصلاً قانونی دریافت نکرده است.
- عملکرد مدلها: اکثر فشردهسازها بدتر از حالت «بدون فشردهسازی» عمل کردند، هرچند GPT-5.4-mini در سناریوهای خاصی از خط پایه بهتر بود.
به نقل از این گزارش، حتی پرامپتهای هدفمند برای حفظ محدودیتها نتوانستند نرخ ماندگاری را به بالای ۴۰٪ برسانند. مشکل از مهندسی پرامپت نیست، بلکه از ساختار بنیادی فشردهسازی است که تداوم وظیفه را بر مرزهای رفتاری اولویت میدهد. این عدم تداوم در درک دستورات، اغلب منجر به خروجیهای متناقض میشود که برای مقابله با آنها، موتورهای شفافسازی متوالی برای حذف چرخههای تکرار طراحی شدهاند تا بازبینیهای مکرر کاهش یابد.
تیم پژوهشی برای حل این مشکل، یک ماژول قابل اتصال بر پایه Qwen3.5-9B معرفی کرد. این مدل زبانی کوچک (SLM) — مثل یک ناظر دقیق که کنار حسابدار اصلی مینشیند و فقط روی لیست ممنوعیتها تمرکز میکند — در کنار سیستم اصلی اجرا میشود و هر ورودی را برای یافتن محدودیتها اسکن میکند. این لیست محافظتشده سپس به خلاصه نهایی اضافه میشود تا قوانین در فرآیند فشردهسازی زنده بمانند.
این استخراجکننده در تمام تستها به نرخ ماندگاری بالای ۹۰٪ رسید؛ از جمله ۹۵.۶٪ برای مسیرهای عاملمحور و ۹۰.۳٪ برای چتهای چندمرحلهای. از آنجا که این روش نیازی به آموزش مجدد یا تغییر در هسته سیستم ندارد، راهکاری مقیاسپذیر برای افزایش قابلیت اطمینان عاملهاست.
برای کاربران تجاری، این یعنی «حافظه» فعلی عاملهای هوش مصنوعی در گردشکارهای حساس، یک ریسک است. تا زمانی که ردیابی مجزای محدودیتها به یک استاندارد تبدیل نشود، نمیتوان به یک عامل اعتماد کرد که دستورات «نباید» را در جلسات طولانی به خاطر بسپارد.
گام بعدی شما
- در جلسات طولانی با AI، هر چند مرحله یکبار دستورات کلیدی و محدودیتهای امنیتی خود را بازنویسی کنید.
- اگر توسعهدهنده هستید، مجموعه COMPINT را از گیتهاب دریافت کرده و خط لوله (Pipeline) خود را تست کنید.
- برای کارهای حساس، از مدلهایی با پنجره متنی (Context Window) بزرگتر استفاده کنید تا نیاز به فشردهسازی کاهش یابد.
اما داستان سختافزاری این تحول و فشار روی VRAM حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو