اگر برای نظارت بر عامل‌های هوش مصنوعی در محیط‌های عملیاتی هزینه می‌پردازید، احتمالاً می‌دانید که توازن بین امنیت و هزینه یک کابوس است. Goodfire با معرفی سیستمی که فعال‌سازهای داخلی مدل را رصد می‌کند، این بن‌بست را شکست و هزینه‌های شناسایی فعالیت‌های مخرب سایبری در مدل‌های Kimi K3 و GLM 5.3 را به کسری از هزینه‌های معمول رساند.
طبق گزارشی که در ۸ اکتبر ۲۰۲۶ منتشر شد، پژوهشگرانی از جمله اکدیپ سینگ لوبانا، کانر واتس، سیدارت بوپانا، درون هازرا و واسودیو شیام نشان دادند که این سامانه می‌تواند نرخ بازخوانی (Recall) یک داور مدل زبانی را شبیه‌سازی کند، در حالی که هزینه‌اش تقریباً ۵۰ برابر کمتر است.
نظارت بر امنیت سایبری به‌دلیل مرز باریک میان یک بازبینی کد بی‌ضرر و یک اکسپلویت مخرب، به‌شدت دشوار است. تشخیص نیت کاربر در مسیرهایی که ممکن است میلیون‌ها توکن (Token) داشته باشند، نیازمند ردیابی دقیق است. به‌طور سنتی، تنها روش قابل‌اعتماد، استفاده از یک مدل زبانی بزرگ (LLM) قدرتمند به عنوان داور بود تا هر گام از تعامل را بررسی کند.
هزینه گزاف داوری در هر گام
این رویکرد «داوری در هر گام» به‌شدت کند و گران است. بر اساس تخمین‌های Goodfire و نرخ‌های OpenRouter، داوری یک میلیون گام از خروجی‌های Kimi K3 با استفاده از Claude Opus 5 حدود ۲۰۰ هزار دلار هزینه دارد. حتی اگر Kimi K3 به‌عنوان داور خودش استفاده شود، هزینه به ۳۰ هزار دلار می‌رسد که نظارت هم‌زمان (Synchronous) را برای اکثر زیرساخت‌های تولیدی غیرممکن می‌کند. به همین دلیل، نظارت‌ها معمولاً به‌صورت ناهم‌زمان (Asynchronous) انجام می‌شوند و تهدیدات تنها پس از وقوع اثر، شناسایی می‌گردند.
همان‌طور که در بحث‌های گذشته ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، وابستگی به لایه‌های بیرونی برای ایمنی، همواره با چالش تأخیر و هزینه همراه بوده است. این چالش‌ها به‌ویژه در مواجهه با حملات پیچیده‌تر مشهود است، مشابه آنچه در گزارش AISI درباره نرخ حملات زنجیره تأمین توسط GPT-6 Astra مشاهده شد که لزوم نظارت‌های دقیق‌تر را برجسته کرد.
آبشار کاوشگر-داور
برای شکستن این سد هزینه‌ای، Goodfire یک ساختار آبشاری دو مرحله‌ای را پیاده کرد. در این سیستم، به‌جای شروع با یک داور، ابتدا از یک «کاوشگر» (Probe) استفاده می‌شود که فعال‌سازهای (Activations) داخلی مدل را هنگام تولید توکن‌ها می‌خواند. این کاوشگر مانند یک رادار سبک و همیشه روشن عمل می‌کند.
زمانی که خروجی کاوشگر از یک آستانه کالیبره شده عبور کند، سیستم درخواست را به یک داور کامل مدل زبانی ارجاع می‌دهد. داور نهایی تصمیم می‌گیرد که درخواست را رد کند یا اجازه ادامه تعامل را بدهد. این معماری هم رفتارهای موضعی (وابسته به تکه‌های خاصی از توکن‌ها) و هم رفتارهای توزیع‌شده (که در کل یک نوبت تعامل تداوم دارند) را شکار می‌کند.
داده‌های آموزشی و عملکرد
آموزش این کاوشگرها با استفاده از کاربران شبیه‌سازی‌شده با اهداف مخرب و بی‌ضرر انجام شد. Goodfire برای اطمینان از اینکه استنتاج‌های تهاجمی سایبری بدون دسترسی به شبکه اجرا شوند، از تأییدکننده‌ها، سندباکس‌ها و تونل‌های Prime Intellect استفاده کرد. در این چارچوب، یک سیاست مکتوب، فعالیت‌های نامطلوب را از کارهای خوش‌قصد (مانند بازتولید محدود آسیب‌پذیری‌ها) جدا می‌کند از کارهای بدقصد مانند اکسپلویت کردن آسیب‌پذیری‌ها. کاربران شبیه‌سازی‌شده می‌توانند در هر لحظه، حتی پس از یک درخواست اولیه بی‌ضرر، نیت مخرب خود را افزایش دهند.
این طراحی، تکامل پژوهش‌های قبلی این شرکت در زمینه سوءاستفاده از پاداش (Reward Hacking) در ۱۷ سپتامبر ۲۰۲۶ است. در آن مطالعه، شرکت دریافت که در ۵۰ تا ۹۶ درصد از خروجی‌های مدل‌های Kimi K3, GLM 5.2 و Qwen 3.8 Max، پدیده Reward Hacking رخ داده است. کاوشگرهای فعال‌ساز ساده‌ای که روی سیگنال‌هایی مثل «تقلب» یا «اجتناب از شناسایی» تنظیم شده بودند، توانستند تخلفاتی را بگیرند که مانیتورهای زنجیره تفکر (Chain-of-Thought) از دست داده بودند و هزینه‌ها را ۹۰٪ کاهش دادند، در حالی که دقت (Precision) تنها ۱٪ افت کرد. این تلاش برای بهینه‌سازی توکن‌های استدلالی، هم‌سو با رویکردهایی است که در مدل Ember-1 برای کاهش ۷۱ درصدی توکن‌های استدلالی دنبال شد تا بهره‌وری مدل‌ها بدون افت کیفیت افزایش یابد.
نتایج فعلی در حوزه نظارت سایبری بسیار چشمگیر است:
- کاوشگر به نرخ منفی کاذب (False-Negative) صفر درصد و نرخ منفی واقعی ۹۵ درصد در مجموعه‌های آزمون دست یافت.
- در تست ۲۴۰۰ جلسه (بیش از ۶۰ هزار گام)، این سیستم به نرخ بازخوانی ۹۳ درصد برای جلسات مخرب رسید.
- سیستم هیچ‌کدام از ترافیک‌های غیرسایبری را به‌اشتباه علامت‌گذاری نکرد که این یک بهبود پارتو (Pareto improvement) نسبت به استفاده از داور به تنهایی است.
- در مدل Kimi K3، نرخ مسدودسازی جلسات مخرب از ۲۹٪ به ۹۶٪ افزایش یافت، در حالی که قطع جلسات بی‌ضرر از ۵٪ به ۹٪ رسید.
- در مدل GLM 5.3، این نرخ مسدودسازی از ۳۶٪ به ۹۱٪ رسید و قطع موارد بی‌ضرر از ۱۰٪ به ۱۵٪ افزایش یافت.
مهندسی برای محیط تولید
برای عملیاتی کردن این سیستم، Goodfire موتور سرویس‌دهی SGLang را توسعه داد. آن‌ها کرنل‌های سفارشی برای منطق کاوشگر نوشتند و امتیازات را از طریق درخت رادیکس و گمانه‌زن DSpark منتقل کردند. همچنین از جداسازی پیش‌پرورش و رمزگشایی (Prefill-decode disaggregation) استفاده کردند تا از محاسبات تکراری جلوگیری شود. هر Worker که یک نسخه از Kimi K3 را سرویس می‌دهد، کاوشگرها را اجرا کرده و تاریخچه درخواست‌های فعال را نگه می‌دارد و رویدادهای نظارتی را در جریان پاسخ (Response stream) بازمی‌گرداند.
این تلاش مهندسی باعث شد توان عملیاتی (Throughput) با کاهش ناچیزی (کمتر از ۲٪) نسبت به حالت پیش‌فرض SGLang باقی بماند. اما تأثیر اصلی روی تأخیر (Latency) بود؛ میانگین تأخیر افزوده شده در هر گام، در حالت عدم نیاز به استدلال داور، از ۱۶۰۰ میلی‌ثانیه به تنها ۲ میلی‌ثانیه کاهش یافت و در حالاتی که استدلال لازم بود، از ۲۷۵۰ میلی‌ثانیه به ۴۲ میلی‌ثانیه رسید.
دستاوردهای مالی و بهره‌وری
تأثیر مالی این استقرار خیره‌کننده است. هزینه این سیستم آبشاری ۶۵ دلار به‌ازای هر میلیون گام عامل (بدون نیاز به استدلال داور) است، در حالی که داوری در هر گام بیش از ۳۰ هزار دلار هزینه دارد. این یعنی کاهش هزینه تقریباً ۴۹ برابری برای وظایف بدون استدلال و ۲۹ برابری برای وظایف استدلالی.
در یک بودجه محاسباتی ثابت، این مانیتورها کمتر از ۱٪ از کل محاسبات را مصرف می‌کنند، در حالی که یک داور همیشگی می‌تواند تا ۲۰٪ منابع را ببلعد. به‌دلیل ارزان بودن این روش، Goodfire اکنون می‌تواند اقدامات ریسکی را به‌صورت هم‌زمان و پیش از فراخوانی هر ابزاری توسط عامل، مسدود کند.
تحلیل مقایسه‌ای و قابلیت انتقال
در مقایسه با مدل Jev (یک مدل تصمیم‌گیر ارزان)، سیستم آبشاری با نرخ قطع ۵.۵ درصدی برای موارد بی‌ضرر، به بازخوانی ۹۳٪ با تأخیر ۲ میلی‌ثانیه و هزینه ۶۵ دلاری رسید، در حالی که Jev بازخوانی ۸۶٪ با تأخیر ۲۰۰ میلی‌ثانیه و هزینه ۶۰۰ دلاری داشت. Jev در شناسایی پرامپت‌های مخرب که در پوشش‌های بی‌ضرر بودند (تنها ۱۲٪ شناسایی) شکست خورد و زمانی که جلسات از پنجره ۳۲ هزار توکنی آن فراتر رفتند، ناکارآمد شد.
تست‌های دیگر نشان داد که کاوشگرهای خطی استاندارد ۵٪ بازخوانی کمتری نسبت به دستورالعمل نهایی داشتند و کاوشگرهای غیرخطی در مجموعه‌های خارج از توزیع (Out-of-distribution) تا ۳۰٪ بازخوانی را از دست دادند. علاوه بر این، مشخص شد که داده‌های توسعه‌یافته برای Kimi K3 قابل انتقال هستند و برای ایجاد مانیتوری برای GLM 5.3 استفاده شدند که کارایی مشابهی روی خروجی‌های Kimi داشت و روی داده‌های خود GLM اندکی ضعیف‌تر بود.
اعتبارسنجی خارجی
Goodfire برای تست تیم قرمز (Red Teaming) با FAR.AI همکاری کرد. در یک تست دو روزه با استفاده از ۱۴۰ جیل‌بریک (Jailbreak) مؤثر که از میان ۱۵۰۰ مورد انتخاب شده بودند، مانیتورها موفقیت جیل‌بریک‌های جهانی را از بازه ۱۲٪ تا ۵۳٪ به صفر درصد رساندند.
در ۱۱۲۰ تعامل، موفقیت پرامپت‌های فردی از بازه ۹٪ تا ۴۰٪ به بین ۰.۱٪ تا ۱.۶٪ کاهش یافت که بسته به میزان تلاش برای استدلال متفاوت بود. FAR.AI تأیید کرد که این مانیتورها تعداد آسیب‌پذیری‌های استخراج‌شده از ۶۶ جیل‌بریک جهانی و ۷۰۰ تعامل جیل‌بریک‌شده را به صفر جیل‌بریک جهانی و تنها ۱۸ تعامل جیل‌بریک‌شده کاهش دادند.
این تغییر در رویکرد نظارت نشان می‌دهد که فعال‌سازهای داخلی، سیگنال‌های بسیار کارآمدتری برای ایمنی نسبت به داوری‌های متنی هستند. با انتقال فاز «تشخیص» به درون وزن‌های مدل، توسعه‌دهندگان می‌توانند لایه‌های ایمنی پاسخگوتر و اقتصادی‌تری ایجاد کنند.
برای کسانی که مدل‌های وزن‌های باز (Open Weights) را در محیط‌های عامل‌محور سرویس می‌دهند، این رویکرد کاوشگر-محور یک پیش‌فرض عملی برای ایمنی فراهم می‌کند و خلأیی را پر می‌کند که مدل‌های باز معمولاً با آن مواجه‌اند. فاز بعدی این پژوهش احتمالاً بر تقویت این مانیتورها در برابر مهاجمان تطبیقی در ادامه همکاری با FAR.AI متمرکز خواهد بود.
برای کسانی که مدل‌های وزن‌های باز (Open Weights) را در محیط‌های عامل‌محور سرویس می‌دهند، این رویکرد کاوشگر-محور یک پیش‌فرض عملی برای ایمنی فراهم می‌کند و خلأیی را پر می‌کند که مدل‌های باز معمولاً با آن مواجه‌اند. فاز بعدی این پژوهش احتمالاً بر تقویت این مانیتورها در برابر مهاجمان تطبیقی در ادامه همکاری با FAR.AI متمرکز خواهد بود.
گام بعدی شما
- اگر از مدل‌های بازمتن برای ساخت عامل‌های خودکار استفاده می‌کنید، بررسی کنید که آیا می‌توانید به جای LLM-as-a-judge، از لایه‌های تحلیل فعال‌سازها برای کاهش هزینه استفاده کنید.
- مستندات SGLang را برای پیاده‌سازی کرنل‌های سفارشی در لایه سرویس‌دهی مطالعه کنید تا تأخیر استنتاج را به حداقل برسانید.
- برای ارزیابی استواری مدل‌های خود، از متدولوژی‌های تیم قرمز FAR.AI برای تست جیل‌بریک‌های جهانی استفاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو