محققان هلندی با انتشار ARCBench، اولین محک تفکیک حفظ قانون از اطاعت، نشان دادند که فشرده‌سازی بستر مکالمه نقض قوانین را ۲.۶ برابر افزایش می‌دهد، هرچند ۷۰.۱٪ از قوانین پس از فشرده‌سازی باقی بمانند. این یافتن سطح حمله‌ای بی‌سروصدا برای عامل‌های عامل‌محور چون Codex و Claude آشکار می‌سازد.
این نتیجه پس از سه مطالعه پیشین — Governance Decay (ژوئن ۲۰۲۶)، Lost in Context (جولای ۲۰۲۶) و TRACE (آگوست ۲۰۲۶) — حاصل شده که هرکدام نشان دادند فشرده‌سازی می‌تواند قوانین یا دستورالعمل‌ها را حذف کند. ARCBench گام فراتر برمی‌دارد با تفکیک «فراموشی» از «سرکشی»، و ثابت می‌کند که حفظ قانون به‌تنهایی تضمین اطاعت نیست. این مقاله به چالش‌های مدیریت تاریخچهٔ گفتگو در سیستم‌های عامل‌محور می‌پردازد که مایکروسافت راهکاری برای تراشیدن پنجرهٔ زمینه پیشنهاد کرده.
نحوه کار فشرده‌سازی و اهمیت آن
فشرده‌سازی تاریخچه طولانی چت را با یک خلاصه تولیدشده جایگزین می‌کند وقتی پنجرهٔ زمینه پر می‌شود. Codex، Claude و دیگر سیستم‌های عامل‌محور از آن برای زنده نگه داشتن جلسات در طول ساعت‌ها یا هفته‌ها استفاده می‌کنند. ChatGPT به‌جای آن مکالمه را متوقف می‌کند. این مقیاس‌به‌مقیاس نامرئی است: کاربران هرگز خلاصه فشرده‌شده که تاریخچه واقعی‌شان را جایگزین کرده را نمی‌بینند.
اگر از Codex (در اصل نسخه‌ای از ChatGPT که با مجوز می‌تواند چیزها را روی کامپیوتر شما تغییر دهد) بیش از ۳۰ دقیقه استفاده کرده باشید، پیام‌های متناوب درباره فشرده‌سازی بستر را دیده‌ید که در طول آن‌ها تعاملات بیشتر غیرممکن است. Codex برای فشرده‌سازی خاطرات جلسه‌ای که اکنون سه هفته است در حال انجام، مکث می‌کند. با این حال، وقتی فشرده‌سازی تمام می‌شود، موجودی که با شما صحبت می‌کند از یادداشت‌های انتخابی و نامرئی کار می‌کند، نه از حافظه کامل تکامل چت.
سوابق: از حذف قانون تا تخریب اطاعت
در ژوئن ۲۰۲۶ مقاله چینی Governance Decay برپا کرد که فشرده‌سازی می‌تواند به‌صورت بی‌سروصدا قوانین ایستا را از بستر عامل حذف کند و باعث شود اقدامات پیشیناً ممنوعه انجام شوند. در سراسر هفت مدل، نقض‌ها از ۰٪ قبل از فشرده‌سازی به ۳۰٪ پس از آن بالا رفت، در برخی موارد به ۵۹٪ رسید. به زبان عملی، عامل‌ها می‌توانند دستورالعمل‌های حیاتی مانند «با کسی تماس نگیرید که آدرس ایمیل [شرکت-ما] نداشته باشد» را نادیده بگیرند.
در جولای، دانشگاه پن‌سیلوانیا و IBM با Lost in Context پیگیری کردند و یافتند که فشرده‌سازی می‌تواند دستورالعمل‌های حاکم بر نحوه انجام وظیفه را حذف کند، در حالی که خود وظیفه حفظ می‌شود. فشرده‌سازها در میانگین تنها ۱۷٪ از این دستورالعمل‌ها را حفظ کردند.
در آگوست، همکاری آکادمیک آمریکایی TRACE را ارائه داد، نشان داد که فشرده‌سازی می‌تواند عامل را مختل کند حتی وقتی اطلاعات مورد نیاز همچنان قابل بازیابی باشد. عامل‌ها ردیابی جایگاه خود در وظیفه را از دست دادند، کار تکمیل‌شده را تکرار کردند و در اجراهای مکرر کمتر قابل اعتماد شدند.
متدولوژی ARCBench
ARCBench از هارنِ pi متن‌باز گسترش می‌یابد که شامل روال‌های فشرده‌سازی بومی، حلقه عامل و فراخوانی ابزار است. محک به عامل یک وظیفه و یک قانون ایستا می‌دهد، تاریخچه انباشته را تحت پیکربندی‌های متنوع فشرده می‌کند، سپس عامل را با درخواستی روبرو می‌کند که قانون را نقض می‌کند. فراخوانی ابزارها برای قضاوت اطاعت بازبینی می‌شوند.
مجموعه ۱۷ مورد را پوشش می‌دهد: افشای داده‌های محافظت‌شده، دسترسی به منابع محدود، اقدامات غیرمجاز و دور زدن کنترل‌های الزامی — نگاشت شده به کلاس‌های ریسک OWASP. موارد از Governance Decay و COMPINT اقتباس شده، با چهار مورد جدید برای تعادل در قوانین شخصی و سازمانی اضافه شده‌اند.
هر مورد بارها اجرا شده و شکست ثبت شده اگر عامل قانون را حداقل یک‌بار نقض کند — رویکردی که برای تست ایمنی مناسب‌تر از میانگین‌گیری عملکرد تلقی می‌شود، چرا که عاملی که گاه‌به‌گاه اقدام ممنوعه انجام دهد ناامن باقی می‌ماند.
پنج عامل قابل پیکربندی
ARCBench پنج عامل را در آزمایش‌ها متغیر می‌سازد:
- کانال تحویل قانون (دستور مستقیم کاربر، دستور دائمی، سند نهفته، ابزار سیاست)
- روش فشرده‌سازی (هفت استراتژی مولد، سه رویکرد انتخابی)
- بودجه توکن برای خلاصه
- نوع حمله (سیل بستر، تزریق هدفمند، فرار)
- دفاع اعمال‌شده (تکنیک‌های حفظ قانون)
مدل‌ها و خط لوله ارزیابی
چهار مدل از طریق OpenRouter تست شدند: DeepSeek-V4-Flash، GLM-5.3-Flash، Qwen3.7-Flash و GPT-Luna. هر مدل تاریخچه خود را فشرده کرد و سپس روی بستر فشرده‌شده اقدام کرد، مطابق رفتار پیش‌فرض pi.
ده روش فشرده‌سازی ارزیابی شدند، شامل هفت استراتژی مولد و سه رویکرد انتخابی. خلاصه‌های فشرده‌شده توسط GPT-6-Luna-Pro، Qwen-3.8-flash و Claude-Sonnet-4.6 برای وضعیت قانون (سالم، ضعیف‌شده، غایب) قضاوت شدند، با تصمیم اکثریت. اختلافات توسط برچسب‌گذاران انسانی بازبینی شدند، با نمونه جداگانه ۵۰ خلاصه نیز به‌صورت دستی برچسب‌گذاری شد تا سازگاری قاضی‌ها چک شود.
وقتی قانون سالم نقض می‌شد، استدلال عامل توسط GPT-6-Luna-Pro، GPT-6.1-Sol و Claude Sonnet 5.5 بررسی شد. نقض‌ها بر اساس این طبقه‌بندی شدند که آیا درخواست بعدی به‌عنوان اجازه برای غلبه بر قانون تلقی شده، اقدام خارج از حوزه قضاوت شده، قانون بی‌اعتنایی شده، یا قانون شناخته‌شده اما نادیده گرفته شده است.
هفت مطالعه، ۱۳۶ مورد پایه
هفت مطالعه انجام شد، با Hermes برای اکثر تست‌های فشرده‌سازی استفاده شده. در مطالعه اول، هرکدام از ۱۷ وظیفه در سراسر چهار مدل و دو روش تحویل قانون تست شدند، ۱۳۶ مورد تولید کرد. هر مورد سه بار با تاریخچه اصلی سالم و سه بار پس از فشرده‌سازی اجرا شد.
پیکربندی هفت مطالعه ARCBench، گروه‌بندی شده بر اساس پرسش تحقیق. سلول‌های سبز‌رنگ عامل متغیر در هر مطالعه را نشان می‌دهند، در حالی که سلول‌های خاکستری تنظیمات ثابت را نشان می‌دهند؛ هر مورد سه بار اجرا شده، برای مطالعات حمله و دفاع S6 و S7 به شش بار بالا رفته.
سه پرسش در تست‌ها پاسخ داده شد: نقض‌های پس از فشرده‌سازی از کجا می‌آیند؟؛ پیکربندی‌های مختلف فشرده‌سازی منشأ نقض‌ها را چگونه تغییر می‌دهند؟؛ و حملات و دفاع‌های هدفمند بر فشرده‌ساز منشأ نقض‌ها را چگونه تحت تأثیر قرار می‌دهند؟
یافتن اصلی: حفظ ≠ اطاعت
در سراسر تمام اجراها، ۷۰.۱٪ از تاریخچه‌های فشرده‌شده قانون کامل را حفظ کردند، ۲۶.۹٪ به‌صورت جزئی حفظ کردند و تنها ۳٪ به‌صورت کامل از دست دادند. با این حال نقض‌ها از ۹.۶٪ (تاریخچه کامل) به ۳۷.۸٪ (فشرده‌شده) بالا رفت. در میان اجراهایی که قانون سالم ماند، نقض در ۲۱.۱٪ موارد رخ داد در مقایسه با ۸.۱٪ با تاریخچه کامل — افزایش ۲.۶ برابری. حفظ جزئی ۲۹.۴٪ نقض داد؛ از دست دادن کامل ۸۳.۳٪.
نتایج نشان می‌دهد هر مدل چقدر قبل و بعد از فشرده‌سازی قوانین را نقض کرد. اکثر قوانین به‌صورت کامل یا جزئی حفظ شدند، در حالی که نقض‌ها به‌صورت قابل‌توجهی بالا رفتند؛ Qwen بزرگترین افزایش را داشت، به ۶۱.۸٪ رسید.
این تفکیک مهم بود. در میان اجراهای جداگانه که قانون کامل پس از فشرده‌سازی باقی ماند، ۲۱.۱٪ همچنان در نقض تمام شدند، در مقایسه با ۸.۱٪ وقتی تاریخچه اصلی حفظ شده بود. با قانون جزئی حفظ‌شده، نرخ به ۲۹.۴٪ بالا رفت و با هیچ قانونی باقی نمانده، به ۸۳.۳٪.
چرا عامل‌ها قوانین حفظ‌شده را می‌شکنند
وقتی نقض‌ها تنها پس از فشرده‌سازی ظاهر شدند، درخواست بعدی در ۴۵.۹٪ موارد به‌عنوان اجازه برای ادامه تلقی شد. قانون در ۲۷٪ موارد بی‌اعتنایی شد و در ۲۱.۶٪ موارد شناخته‌شده اما نقض شد. این تغییر استدلال نشان می‌دهد فشرده‌سازی نحوه وزن‌دهی عامل‌ها به دستورالعمل‌های بعدی در برابر قوانین ایستا را تغییر می‌دهد.
نتایج نشان می‌دهد چرا قوانین قبل و بعد از فشرده‌سازی نقض شدند. وقتی نقض‌ها تنها پس از فشرده‌سازی ظاهر شدند، درخواست‌های بعدی بیشترین بار به‌عنوان اجازه برای ادامه تلقی شدند (۴۵.۹٪)، در حالی که ۲۷٪ قانون حفظ‌شده را نادیده گرفتند و ۲۱.۶٪ آن را قبل از ادامه به‌هرحال شناختند. پروتکل MCP که نرخ شکست عامل‌ها را به شدت کاهش می‌دهد، می‌تواند به عنوان یک دفاع قوی در کانال ابزار سیاست عمل کند، همان‌طور که در گزارش اخیر توضیح داده شده.
کانال تحویل قانون همه چیز را تغییر می‌دهد
با تاریخچه کامل، صفر نقض رخ داد وقتی قوانین از سند سازمانی یا ابزار سیاست می‌آمدند. دستورالعمل‌های شخصی کاربر ۱۶–۲۵٪ نقض دیدند (۲۵٪ و ۱۶.۱٪ برای دو کانال شخصی). پس از فشرده‌سازی، نقض‌ها در تمام چهار کانال بالا رفت: ۵۶.۳٪ برای دستور مستقیم کاربر و ۲۲.۲٪ برای قوانین ابزار سیاست. حفظ قانون کمی متغیر بود (۶۵.۷–۷۴٪)، که نشان می‌دهد منبع قانون شکل می‌دهد که آیا درخواست بعدی به‌عنوان غلبه احساس می‌شود.
نحوه اینکه تحویل قانون، استراتژی فشرده‌سازی و بودجه توکن بر نقض‌ها و حفظ قانون تأثیر گذاشتند. فشرده‌سازی مولد قوانین بسیار قابل‌اعتمادتر از روش‌های انتخابی حفظ کرد، در حالی که بودجه‌های ۳۰۰ توکن یا کمتر باعث از دست دادن نزدیک‌به‌کامل قانون شدند.
پس از فشرده‌سازی، نقض‌ها در تمام چهار کانال بالا رفت، به ۵۶.۳٪ برای دستور مستقیم کاربر و ۲۲.۲٪ برای قوانین ابزار سیاست رسید. حفظ قانون به‌صورت نسبی کم متغیر بود، از ۶۵.۷٪ تا ۷۴٪. نویسندگان پیشنهاد می‌دهند که درخواست بعدی کاربر می‌تواند به‌عنوان غلبه بر قانون شخصی تفسیر شود، در حالی که قانون سازمانی نمی‌تواند توسط کاربر غلبه‌یافته شود.
استراتژی فشرده‌سازی و بودجه توکن
فشرده‌سازی مولد قوانین بسیار قابل‌اعتمادتر از روش‌های انتخابی حفظ کرد. بودجه‌های ۳۰۰ توکن یا کمتر باعث از دست دادن نزدیک‌به‌کامل قانون شدند. بودجه‌های سخت‌تر هم فراموشی و هم سرکشی را تشدید کردند.
حملات و دفاع‌ها
سیل بستر (context flooding) به‌ندک سوزن حرکت داد (نقض ۳۷.۸٪ → ۳۴.۳٪). تزریق هدفمند (targeted injection) نقض‌ها را به ۴۶.۳٪ بالا برد و حفظ کامل را به ۴۲.۵٪ کاهش داد. حمله فرار (escape) نقض‌ها را از ۲۳.۵٪ به ۵۸.۸٪ دو برابر کرد و حفظ را از ۹۶.۱٪ به ۶۶.۷٪ کاهش داد. حتی وقتی قانون باقی ماند، نقض‌ها از ۱۳.۳٪ به ۲۶.۵٪ دو برابر شدند.
قوی‌ترین دفاع قانون را در ۹۹٪ اجراها حفظ کرد — با این حال عامل‌ها همچنان در ۲۹.۴٪ موارد آن را شکستند، در مقایسه با ۲۳.۵٪ بدون حمله. به بیان دیگر، اطمینان از اینکه عامل همچنان قانون را دارد، تضمین نمی‌کرد که آن را پیروی کند.
نتایج خود مقاله
مقاله بیان می‌کند:
«[ما] یافتیم که فشرده‌سازی نقض‌ها را بیشتر بدون حذف قانون بالا می‌برد: اجراهای فشرده‌شده که قانون را حفظ می‌کردند همچنان ۲.۶ برابر بیشتر نسبت به اجراهای با تاریخچه کامل نقض می‌کردند. علاوه بر این، فشرده‌سازی استدلال عامل برای نقض را تغییر می‌دهد. استراتژی‌های مختلف فشرده‌سازی، محدودیت‌های سخت بودجه فشرده‌سازی، و کانال تحویل قانون همگی بر اطاعت تأثیر می‌گذارند.»
به عنوان راهکار، مقاله حفظ قوی‌تر قانون برای قوانین از دست رفته در طول فشرده‌سازی را پیشنهاد می‌دهد، در حالی که مسئله عامل‌هایی که قوانین حفظ‌شده را نقض می‌کنند، حل‌نشده باقی می‌ماند:
«دفاع‌ها قوانین را بازمی‌گردانند، اما اطاعت همچنان تحت حمله ضعیف است. حفظ قانون بنابراین نماینده کافی برای اطاعت نیست. مطالعات آینده می‌توانند از ARCBench برای توضیح چرا عامل‌ها همچنان قوانین حفظ‌شده را نقض می‌کنند، تست حملات و دفاع‌های تطبیقی، و پوشش مدل‌ها، حوزه‌ها، و جلسات طولانی‌تر با فشرده‌سازی مکرر استفاده کنند.»
تحلیل: اثر فتوکپی در مقیاس
ضریب نقض ۲.۶ برابری روی قوانین حفظ‌شده به یک اثر فتوکپی (photocopier effect) اشاره دارد: هر دور فشرده‌سازی نه تنها اطلاعات را تخریب می‌کند، بلکه اعتبار آن اطلاعات را هم تخریب می‌کند. قوانین سازمانی در برابر این بهتر مقاومت می‌کنند، که نشان می‌دهد عامل‌ها قوانین ابزار سیاست را در سلسله‌مراتب بالاتر قرار می‌دهند. اما هیچ کانال مصون نیست. برای توسعه‌دهندگان که جلسات هفته‌هاست Codex اجرا می‌کنند یا عامل‌های سازمانی داده‌های حساس را مدیریت می‌کنند، پیامد روشن است: فشرده‌سازی یک سطح حمله بی‌سروصدا است. دفاع‌هایی که تنها متن قانون را حفظ می‌کنند، تغییر رفتاری را از قلم می‌اندازند. حوزه به محک‌هایی نیاز دارد که انحراف اطاعت (compliance drift) را در چرخه‌های مکرر فشرده‌سازی بسنجند، نه تنها حفظ در دور واحد.
منطق می‌گوید که نوعی «اثر فتوکپی» در کار است وقتی بستر ده‌ها، صدها بار در یک رشته بسیار طولانی فشرده می‌شود (مانند رشته‌ای که من از اواسط اکتبر در Codex* روی آن کار می‌کنم، و همین صبح هم روی آن کار می‌کردم — حماسه‌ای از توسعه نرم‌افزار آزمایشی با کمک هوش مصنوعی). مثل پرامپت‌های سیستمی اصلی، ما این خلاصه‌های فشرده‌شده از اقدامات تا کنون را نمی‌بینیم. شواهد آنی من نشان می‌دهد که مأموریت مرکزی از فشرده‌سازی باقی می‌ماند، در کنار اکثر جزئیات حیاتی. اما من در آن سناریوی کابوس‌مانند نیستم که دستور «این ایمیل را به همه بفرست»، که فقط برای همه در شرکت منظور بود، به همه در دفترچه مخاطبین شرکت‌های تجمیع‌شده برسد. اوچ.
- حدس می‌زنم کهنه‌سالم شده‌ام، اما این قطعاً بی‌احساس‌ترین، بی‌رنگ‌ترین، نام «بیژ شرکتی» است که می‌توانست برای این عامل انتخاب شود. من مدام آن را فراموش می‌کنم.
اولین بار منتشر شده در پنج‌شنبه، ۱۲ نوامبر ۲۰۲۶
گام بعدی
- ARCBench را در خط لوله ارزیابی عامل‌های خود ادغام کنید تا انحراف اطاعت (compliance drift) را در چرخه‌های فشرده‌سازی مکرر ردیابی کنید
- دفاع‌های تطبیقی را تست کنید که اعتبار قانون — نه تنها حضور متن آن — را پس از هر فشرده‌سازی تقویت کنند
- برای قوانین حیاتی، کانال تحویل ابزار سیاست یا سند سازمانی را بر دستور مستقیم کاربر ترجیح دهید
گفتگو