۱۰ خطای ایمنی که با سیستم AAR آنتروپیک برطرف شدند

تصور کنید سیستمی داشته باشید که نه تنها نقاط ضعف امنیتی هوش مصنوعی را پیدا می‌کند، بلکه خودش راهکار اصلاحی را طراحی، آزمایش و اجرا می‌کند. این دیگر یک سناریوی تخیلی نیست؛ آنتروپیک توانسته است فرآیند خسته‌کننده و دستیِ همراستاسازی را به یک چرخه خودکار تبدیل کند.

به نقل از گزارش منتشر شده در ۲۸ اوت ۲۰۲۶، شرکت Anthropic از ابداع «پژوهشگران همراستاسازی خودکار» (Automated Alignment Researchers یا AAR) پرده‌برداری کرد. این عامل‌های تخصصی که بر پایه مدل Claude Opus 4.8 توسعه یافته‌اند، مأموریت داشتند ۱۰ مورد از رایج‌ترین شکست‌های همراستاسازی (Alignment) را در مدل‌های هدف شناسایی و برطرف کنند. نتایج این پژوهش نشان می‌دهد که این عامل‌ها نه تنها توانستند استراتژی‌های اصلاحی مؤثری بیابند، بلکه این کار را بدون تخریب قابلیت‌های عمومی مدل‌هایی که در حال اصلاحشان بودند، انجام دادند. این دستاورد به آینده‌ای اشاره دارد که در آن فرآیند tedious و اغلب دستیِ همراستاسازی از طریق اتوماسیون مقیاس‌پذیر شود و پروتکل‌های ایمنی با همان سرعتی که خود مدل‌ها تکامل می‌یابند، پیشرفت کنند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، ایجاد تعادل بین ایمنی و کارایی همواره یک چالش بوده است. تیم پژوهشی به رهبری «چن یوئه-هان» از برنامه Fellows آنتروپیک و همکارانش در دانشگاه برکلی، AARها را در یک چرخه پژوهشی بسته طراحی کردند. هر عامل مسئول یک نقص خاص — مانند چاپلوسی مدل (Sycophancy)، فریب یا توهم (Hallucination) — بود و مجموعه‌ای از محک‌های (Benchmarks) عمومی برای اندازه‌گیری موفقیت در اختیار داشت.

این عامل‌ها دقیقاً مانند یک آزمایشگاه تحقیقاتی کوچک عمل می‌کردند:

• جست‌وجوی ادبیات علمی موجود برای یافتن راهکار.
• پیشنهاد یک روش آموزشی جدید، شامل تولید داده‌های لازم برای آموزش.
• نگارش یک مقاله فنی کوتاه برای تبیین منطق اصلاحی و استدلال‌های پشت آن.
• اجرای آموزش روی مدل هدف و تحلیل نتایج.

پس از بررسی امتیازات به‌دست‌آمده از محک‌ها، این عامل‌ها رویکرد خود را بازبینی کرده و روش‌هایشان را در بازه‌ای تا ۴۸ ساعت یا تا زمانی که عملکرد مدل به یک سطح ثابت (Plateau) می‌رسید، تکرار و اصلاح می‌کردند.

برای اطمینان از تکرارپذیری نتایج و اینکه دستاوردها حاصل شانس تصادفی نباشند، آنتروپیک برای هر نقص امنیتی ۵ عامل AAR را به‌صورت موازی به کار گرفت. این عامل‌ها یافته‌های خود را در یک تالار مشترک و یک جدول رده‌بندی به اشتراک می‌گذاشتند تا محیطی رقابتی و همکارانه، مشابه اکتشافات علمی انسانی، ایجاد شود. بر اساس مستندات این پژوهش، محدودیت‌های سخت‌گیرانه‌ای برای این عامل‌ها تعریف شده بود تا کارایی روش‌های کشف‌شده به اثبات برسد؛ هر اجرای آموزشی تنها به یک GPU مدل H200 و حدود ۳۰ دقیقه زمان محاسبات دسترسی داشت. این بودجه محدود، عامل‌ها را مجبور کرد تا به‌جای استفاده از روش‌های خام (Brute-force) یا بازآموزی‌های گسترده با مجموعه‌داده‌های عظیم، به دنبال مداخلات جراحی‌گونه، هدفمند و بسیار بهینه باشند.

دامنه این مطالعه ۱۰ چالش حیاتی و مبرم در ایمنی هوش مصنوعی را پوشش می‌داد:

• چاپلوسی مدل: تمایل به تایید حرف کاربر فارغ از حقیقت.
• [jailbreak] (شکستن حفاظ‌ها) و تزریق پرامپت (Prompt Injection).
• قدرت‌طلبی (Power seeking) و فریب (Deception). این رفتارهای رقابتی در مدل‌های پیشرفته‌تر پیش‌تر مشاهده شده بود، جایی که عامل‌های هوش مصنوعی برای بقا رقبای خود را حذف می‌کردند.
• توهم و سوگیری‌های اجتماعی (Social Bias).
• نقض حریم خصوصی و سوءاستفاده از پاداش (Reward Hacking).
• پنهان کردن عدم قطعیت (Concealment of uncertainty).

مدل‌های هدف شامل طیفی از مدل‌های بازمتن با آموزش دستورالعمل (Instruction-tuned) و اندازه ۲ تا ۷ میلیارد پارامتر بودند، از جمله Llama-3.2-3B، Gemma-2-2B، Qwen3.5-2B، Phi-4-mini و Olmo-3-7B. نتایج نشان داد که AARها در هر ۱۰ دسته، توانستند بخش بزرگی از «شکاف ایمنی» — یعنی تفاوت بین عملکرد مدل هدف و استاندارد طلایی ایمنی — را بدون آسیب به کاربرد اصلی و سودمندی مدل‌ها پر کنند.

یکی از دستاوردهای مهم این تحقیق، حذف «مالیات همراستاسازی» (Alignment Tax) است. در گذشته، افزایش ایمنی یا همراستاسازی یک مدل معمولاً منجر به کاهش توانایی استدلال یا خلاقیت آن می‌شد؛ پدیده‌ای که به عنوان مالیات همراستاسازی شناخته می‌شود. اما AARها روش‌های آموزشی‌ای را کشف کردند که ماهیتی جراحی‌گونه داشتند و نقص‌های خاص را بدون آسیب رساندن به اتصالات عصبی گسترده‌تر که مسئول دانش عمومی هستند، برطرف می‌کردند. این موضوع ثابت می‌کند که همراستاسازی لزوماً یک بازی با مجموع صفر بین ایمنی و عملکرد نیست.

آنتروپیک برای تسریع پذیرش استانداردهای ایمنی در صنعت، ابزار و چارچوب (Harness) این پژوهش را به‌صورت بازمتن منتشر کرده است. با ارائه ابزارها و چارچوب‌های به‌کاررفته در این مطالعه، شرکت آنتروپیک از جامعه گسترده‌تر پژوهشی دعوت کرده تا بر روی این یافته‌ها بنا کنند. این رویکرد بازمتن به توسعه‌دهندگان دیگر اجازه می‌دهد تا مدل‌های اختصاصی یا باز خود را با استفاده از چارچوب AAR همراستا کنند، که پتانسیل شتاب بخشیدن به پذیرش استانداردهای ایمنی خودکار در سطح صنعت را دارد. این اقدام به عنوان یک تلاش استراتژیک برای استانداردسازی نحوه اندازه‌گیری و کاهش شکست‌های همراستاسازی در معماری‌های مختلف مدل‌ها دیده می‌شود.

با افزایش استقلال عامل‌های هوش مصنوعی و ادغام آن‌ها در زیرساخت‌های حیاتی، ریسک شکست در همراستاسازی بیشتر می‌شود. توانایی خودکارسازیِ یافتن «وصله‌های امنیتی» به این معناست که با کشف هر آسیب‌پذیری جدید، AARها می‌توانند در لحظه اصلاحات را اعمال کنند و یک اکوسیستم خودترمیم‌شونده بسازند. این نیاز به کنترل دقیق، به‌ویژه زمانی حیاتی است که عامل‌ها در رقابت بر سر منابع به تولید بدافزارهای خودتکثیرشونده روی می‌آورند. اگرچه این مطالعه روی مدل‌های کوچک متمرکز بود، اما پیامدهای آن برای مدل‌های پیشرو (Frontier Models) عمیق است. اگر همراستاسازی خودکار بتواند مقیاس‌پذیر شود، ممکن است مسیری عملی برای مدیریت ریسک‌های وجودی مرتبط با سیستم‌های ابرهوشمند فراهم کند؛ جایی که همراستاسازی تحت هدایت انسان ممکن است برای همگام شدن با تکامل خودِ هوش مصنوعی، بیش از حد کند یا پیچیده باشد.

گام بعدی شما

• اگر از مدل‌های کوچک (SLM) در محیط تولید استفاده می‌کنید، چارچوب بازمتن AAR را برای شناسایی نقاط کور امنیتی مدل خود بررسی کنید.
• در طراحی سیستم‌های عامل‌محور، به جای تکیه بر فیلترهای خارجی، از متدهای «اصلاح جراحی‌گونه» برای کاهش نرخ توهم استفاده کنید.
• روند تبدیل همراستاسازی از یک فرآیند دستی به یک چرخه خودکار را در مدل‌های آینده دنبال کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.