پرش به محتوای اصلی
پرش به محتوای مقاله

دفاع‌های لایه‌ای OpenAI تقطیر خصمانه را به شدت کاهش داد

·۳۰ آبان ۱۴۰۵۹ دقیقه مطالعه
نمایار معماری دفاعی لایه‌لایه GPT-6.2 Astra در برابر حملات تقطیر خصمانه
نمایار معماری دفاعی لایه‌لایه GPT-6.2 Astra در برابر حملات تقطیر خصمانه
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

نخستین داده کمی که محافظت از ردیابی استدلال دقیق را به کاهش قابل‌قیاس انتقال قابلیت سایبری در تقطیر خصمانه متصل می‌کند — پیش از این تنها یک دغدغه مالکیت فکری بود، اکنون یک کنترل ایمنی اثبات‌شده.

OpenAI در مدل‌های GPT-6.2 Astra و Sol نرخ موفقیت حملات تقطیر خصمانه را از ۵۴ درصد به ۰.۲ درصد کاهش داد. شرکت همچنین حملات منسجم استخراج را به DeepSeek و Moonshot AI نسبت داد.

دو لایه حفاظت ضدتقطیر: رفتار مدل، طبقه‌بندی‌ها و حفاظت‌های API که استخراج را محدود می‌کنند

تقطیر خصمانه چیست و چرا خطرناک است؟

تقطیر خصمانه به بازیگرهای بدنیتی اجازه می‌دهد قابلیت‌های مرزی مدل‌های قدرتمند — که در اینجا معلم نامیده می‌شوند — را بدون ارث‌بری حفاظ‌ها کپی کنند. مهاجم با پرس‌وجو از مدل معلم، خروجی‌ها، ردیابی‌های استدلال یا قضاوت‌ها را جمع‌آوری کرده و یک مدل شاگرد را روی آن داده‌ها آموزش می‌دهد. شاگرد مهارت‌های پیشرفته را کسب می‌کند اما بدون نگه‌داری محافظت‌های اصلی عمل می‌کند. در حوزه‌های دوگانه‌کاربرد مانند امنیت سایبری و زیست‌شناسی، این انتقال می‌تواند کاربردهای مضر را که معلم از انجام آن‌ها خودداری می‌کرد، ممکن سازد.

تهدید از تئوری به عمل وارد شده است. بر اساس اطلاع‌رسانی OpenAI به کنگره در فبریه، فعالیت‌هایی نشان‌دهنده تلاش DeepSeek برای تقطیر مدل‌های مرزی آمریکا رصد شده بود. در سپتامبر شرکت یک کمپین استخراج استدلال محافظت‌شده را مختل کرد و بخش اصلی آن را به افرادی نسبت داد که با Moonshot AI — توسعه‌دهنده مدل Kimi — مرتبط هستند. اقدامات انضباطی هفتگی اکنون از چند هزار تا ده‌ها هزار حساب کاربری در هفته متغیر است.

لوگو یا تصویر جلد شرکت Hebbia

OpenAI تأکید ویژه‌ای بر محافظت از استدلال محافظت‌شده — یعنی مراحل واسطه‌ی زنجیره تفکر که مدل به‌صورت داخلی تولید می‌کند — قرار می‌دهد. این ردیابی‌ها حاوی اطلاعاتی هستند که پاسخ نهایی فاقد آن‌هاست، بنابراین داده‌های آموزشی باارزش برای تقطیر محسوب می‌شوند. شرکت دفاع‌ها را در دو لایه مکمل تقویت کرده: حفاظت‌های سطح درخواست برای تعاملات منفرد، و تشخیص سطح کمپین برای سوءاستفاده منسجم. این یافته با نتایج اخیری هم‌خوانی دارد که نشان می‌دهد مدل‌های پیشرفته می‌توانند ۵۶ اکسپلویت در محک‌های امنیتی کشف کنند در حالی که بیش از نیمی از یالاها ناکام می‌مانند. خطر بازتولید قابلیت‌ها بدون حفاظت‌ها زمانی تشدید می‌شود که مدل‌های باز وزن بتوانند به سطح مدل‌های بسته در هکینگ سایبری برسند و کنترل‌های تقطیر را بی‌اثر سازند.

حفاظت‌های سطح درخواست

آموزش خصمانه

در سطح درخواست، آموزش خصمانه مدل‌ها را به شناسایی و رد تلاش‌های استخراج استدلال می‌آموزد در حالی که توضیحات مشروع را حفظ می‌کند. مثال‌های آموزشی از حملات موفق یافت‌شده از طریق تیم قرمز خودکار، تحقیقات و افشای مسئولانه از سوی محققان خارجی یا شرکای صنعتی می‌آیند.

کلاسیفایرهای ورودی و خروجی

کلاسیفایرهای ورودی تلاش‌های استخراج را پرچم‌گذاری می‌کنند؛ کلاسیفایرهای خروجی پیام‌های دستیار و آرگومان‌های فراخوانی ابزار را برای نشت قبل از رسیدن به فراخواننده اسکن می‌کنند. پوشش فراخوانی ابزار مهم است زیرا استدلال می‌تواند در آرگومان‌های تابع پنهان شود. این حفاظت‌ها هم بر پاسخ‌های جریان‌دار و هم بر غیرجریان‌دار اعمال می‌شوند. کلاسیفایرهای خروجی می‌توانند نشت‌های مشکوک را قبل از رسیدن به فراخواننده مسدود کنند.

حفاظت‌های سطح API

حفاظت‌های سطح API نحوه انتقال استدلال رمزنگاری‌شده در مکالمات و خانواده‌های مدل را محدود می‌کنند. با GPT-6.2 Astra و Sol، استدلال محافظت‌شده به تاریخچهٔ مکالمه‌ای که آن را تولید کرده گره خورده است. بازنویسی پیام قبلی، استدلال‌های بعدی را حذف می‌کند. خانواده‌های مدل قدیمی‌تر با حفاظت‌های ضعیف‌تر نمی‌توانند استدلال محافظت‌شده مدل‌های جدید را بخوانند. حفاظت‌های مرزی در سطوح کاربر، فضای کار، سازمان و خانواده مدل برقرار است.

جزئیات حفاظت‌های سطح API

  • استدلال محافظت‌شده به تاریخچهٔ مکالمه‌ی مبدا گره خورده
  • بازنویسی پیام قبلی استدلال‌های بعدی را حذف می‌کند
  • خانواده‌های مدل قدیمی از خواندن استدلال محافظت‌شده مدل‌های جدید مسدودند
  • حفاظت‌ها در مرزهای کاربر، فضای کار، سازمان و خانواده مدل
  • مسیر بسته‌ای که می‌توانست استدلال رمزنگاری‌شده کاربر دیگر را افشا کند
  • افشای سپتامبر حملات انتقال استدلال رمزنگاری‌شده بین مکالمات را توصیف کرد

تصویر جلد بنچ‌مارک MedChemBench برای هوش مصنوعی در شیمی داروسازی

تشخیص و اجرای کمپین

دفاع‌های سطح کمپین به دنبال الگوها در سیگنال‌های سطح درخواست و سطح حساب هستند. وقتی سیستم‌ها تقطیر منسجم را تشخیص می‌دهند، محققان شبکه حساب‌ها را ردیابی کرده و مطابق با شرایط خدمات اجرا می‌کنند. یافته‌ها به داده‌های آموزشی و به‌روزرسانی کلاسیفایرها بازمی‌گردند. OpenAI همچنین شاخص‌های تهاجم را با سایر ارائه‌دهندگان مدل به اشتراک می‌گذارد تا بتوانند سوءاستفاده‌های مرتبط را در سرویس‌های خود بررسی کنند.

اقدامات شناسایی و اجرا

  • چندین کمپین تقطیر خصمانه غیرمجاز در سال جاری شناسایی شده
  • یافته‌های اولیه در گزارش سپتامبر به اشتراک گذاشته شد
  • اقدامات انضباطی هفتگی از چند هزار تا ده‌ها هزار حساب
  • نرخ اجرا در تابستان گذشته به‌صورت قابل‌توجهی افزایش یافت
  • تحقیقات بینش‌هایی برای ارتقای دفاع‌ها تولید می‌کند
  • شاخص‌های تهاجم با سایر ارائه‌دهندگان مدل به اشتراک گذاشته می‌شود
  • سیاست استانداردهای منسجم حفاظت‌های مشترک در شرکای استقرار برقرار می‌کند
  • همکاری با شرکا برای حفظ استانداردها و تقویت حفاظت‌ها
  • یافته‌ها از طریق انجمن مدل مرزی و کانال‌های دولتی به اشتراک گذاشته می‌شود

مطالعه تقطیر سایبری: ردیابی‌های دقیق مهارت منتقل می‌کنند

یک مطالعه داخلی اختصاصی اندازه گرفت که ردیابی‌های استدلال دقیق چگونه انتقال قابلیت سایبری را تحت تأثیر قرار می‌دهند. محققان از مدل‌های معلم سطح Astra در وظایف کدنویسی و امنیت سایبری دفاعی استفاده کردند. شاگردانی که روی ردیابی‌های کامل آموزش دیده بودند، پس از تنظیم دقیق نظارت‌شده بر شاگردان آموزش‌داده روی خلاصه‌ها برتری داشتند. پس از یادگیری تقویتی سبک، شاگرد ردیابی‌دقیق همچنان در بزرگترین بودجه استنتاج روی هر دو محک نمره بالاتر کسب کرد. نتیجه نشان می‌دهد محافظت از ردیابی‌ها انتقال قابلیت‌های ریسک‌دار را حتی برای وظایف مجاز محدود می‌کند.

نتایج کلیدی مطالعه

  • یک مدل شاگرد پیش‌آموزش‌دیده برای هر اجرای آموزشی استفاده شد
  • مجموعه داده تنظیم دقیق از مسیرهای معلم سطح Astra
  • مسیرها شامل تمام مراحل: تعاملات ابزار و پاسخ‌های نهایی
  • وظایف: کدنویسی و امنیت سایبری دفاعی
  • ارزیابی پس از تنظیم دقیق و پس از یادگیری تقویتی سبک
  • محیط‌ها: محک‌های امنیت سایبری و کدنویسی
  • پس از تنظیم دقیق: شاگرد ردیابی‌دقیق به‌طور کلی بر شاگرد خلاصه‌آموزش‌دیده برتری داشت
  • پس از یادگیری تقویتی: شاگرد ردیابی‌دقیق در بزرگترین بودجه استنتاج روی هر دو محک نمره بالاتر
  • شاگرد خلاصه‌آموزش‌دیده در بودجه‌های پایین‌تر نمره بالاتر داشت
  • محافظت از ردیابی‌ها انتقال قابلیت سایبری برای وظایف مجاز را محدود می‌کند
  • ردیابی‌های دقیق مهارت‌هایی را آموزش می‌دهند که فراتر از وظایف اصلی معلم تعمیم می‌یابند
  • مطالعه در حال ادامه بر روی مدل‌های شاگرد مختلف و دستورهای تقطیر گوناگون

تصویر کارت هنری Performance Factory

اندازه‌گیری پیشرفت: مقاومت در برابر استخراج استدلال

تیم قرمز سیاه‌بکس تطبیقی تست کرد که آیا مهاجم می‌تواند استدلال محافظت‌شده را از پرامپت‌های قبلی یا جاری بازیابی کند. شش مدل مهاجم استفاده شد. روی GPT-6.2 Astra با حفاظت‌های به‌روزرسانی‌شده، میانگین نرخ موفقیت حمله برای هر نوع حمله زیر ۱ درصد ماند — به‌مراتب پایین‌تر از نرخ ۵۴ درصد روی GPT-6 Astra با حفاظت‌های اصلی. بهبودهای انتخاب‌شده اکنون به GPT-6 Astra بازگردانده می‌شوند.

معیارهای ارزیابی

  • ارزیابی‌های استاتیک: بازپخش مجموعه ثابت حملات قبلاً موفق
  • ارزیابی‌های تطبیقی: تیم قرمزهای هوش مصنوعی خودکار رویکرد را بر اساس پاسخ سیستم تنظیم می‌کنند
  • تست سیاه‌بکس: دید مشابه کاربر خارجی
  • تست سفید‌بکس: اطلاعات سیستمی اضافی برای حملات قوی‌تر
  • تطبیقی سیاه‌بکس: تست بازیابی استدلال از درخواست قبلی یا جاری
  • GPT-6.2 Astra با حفاظت‌های به‌روز: میانگین ASR زیر ۱٪ برای هر نوع حمله
  • شش مدل مهاجم تجمیع شده
  • به‌مراتب پایین‌تر از GPT-6 Astra با حفاظت‌های اصلی (۵۴٪ ASR)
  • بهبودهای انتخاب‌شده به GPT-6 Astra بازگردانده شده
  • ردیابی شیوع سوءاستفاده از تقطیر و زمان بین تشخیص و اجرا
  • هدف: محدود کردن حجم و ارزش داده‌های استخراج‌شده، افزایش هزینه کمپین، کوتاه کردن زمان پاسخ

پیامدهای امنیت ملی و قانون‌گذاری

OpenAI تقطیر خصمانه را یک ریسک امنیت ملی تعریف می‌کند. یک بازیگر خارجی که قابلیت‌های پیشرفته را از یک مدل آمریکایی بازتولید کند، می‌تواند آن‌ها را بدون حفاظت‌های توسعه‌دهنده استقرار دهد. شرکت از قانون امنیت تراشه، قانون AI OVERWATCH و قانون MATCH حمایت می‌کند — قانون‌گذاری‌هایی که به دولت آمریکا ابزارهای بیشتری برای تحریم استخراج غیرقانونی و تشدید کنترل صادرات سخت‌افزار آموزشی می‌دهند. کنترل‌های صادرات قوی‌تر دسترسی دشمنان به محاسبات را محدود می‌کند؛ دفاع‌های تقطیر کسب قابلیت‌ها از مدل‌های آموزش‌دیده را سخت‌تر می‌سازد.

نکات کلیدی

  • بازیگر خارجی با بازتولید قابلیت‌های مدل آمریکایی می‌تواند بدون حفاظت‌های توسعه‌دهنده استقرار دهد
  • اطلاع‌رسانی فبریه به کنگره درباره تلاش‌های تقطیر DeepSeek
  • مختل کردن کمپین سپتامبر منسوب به Moonshot AI (توسعه‌دهنده Kimi)
  • برنامه برای به اشتراک‌گذاری بیشتر درباره کمپین‌های اخیر مختل‌شده
  • حمایت از قانون‌گذاری برای ابزارهای دولت آمریکا در شناسایی و تحریم بازیگران خارجی
  • حمایت از قانون امنیت تراشه، قانون AI OVERWATCH، قانون MATCH
  • کنترل‌های صادرات قوی‌تر دسترسی دشمن به سخت‌افزار آموزشی را محدود می‌کند
  • دفاع‌های تقطیر کسب قابلیت‌ها از مدل‌های آموزش‌دیده را سخت‌تر می‌سازد
  • هر دو تلاش به حفظ پیشروی آمریکا در هوش مصنوعی مرزی کمک می‌کند

توصیه‌ها برای سایر توسعه‌دهندگان

OpenAI پنج گام برای سایر توسعه‌دهندگان توصیه می‌کند:

  • محافظت از استدلال خصوصی در کل تعامل (پیام‌های دستیار، آرگومان‌های فراخوانی تابع)
  • محدود کردن بازیابی استدلال رمزنگاری‌شده در مکالمات و مدل‌ها
  • نگهداری لاگ‌های حمله استخراج موفق از تیم قرمز، نظارت، افشای مسئولانه
  • استفاده از لاگ‌ها به عنوان تست‌های رگرسیون
  • در صورت مناسب و سازگار با سیاست‌های حریم خصوصی، استفاده از مثال‌ها برای بهبود آموزش و کلاسیفایرها
  • در ارزیابی دفاع‌ها، حملات اصلی را بازپخش کرده و تیم قرمز تطبیقی را تست کنید
  • ترکیب کاهشهای سطح درخواست با تحقیق و اجرای سطح کمپین
  • هماهنگی الزامات حفاظتی و اجرا با شرکای استقرار
  • به اشتراک‌گذاری تخصص با سایر توسعه‌دهندگان مدل هوش مصنوعی
  • اطمینان از کف بالا دفاع‌های تقطیر در سراسر صنعت
  • به اشتراک‌گذاری یافته‌ها از طریق انجمن مدل مرزی و کانال‌های دولتی
  • حفظ جزئیات قابل سوءاستفاده به صورت خصوصی
  • ادامه همکاری با محققان، توسعه‌دهندگان، شرکا در حملات و دفاع‌های نوظهور

مقیاس اجرا — از چند هزار تا ده‌ها هزار حساب در هفته — نشان می‌دهد تقطیر خصمانه به یک تهدید پایدار و صنعتی تبدیل شده است. انتساب به موجودیت‌های نام‌دار مانند DeepSeek و Moonshot AI نشان‌دهنده گذار از هشدارهای مبهم به اطلاعات عمل‌پذیر و مشخص است. فشار قانون‌گذاری بیانگر دید OpenAI است که دفاع‌های فنی ضروری اما بدون بازدارندگی قانونی ناکافی‌اند.

برای حوزه وسیع‌تر، مطالعه تقطیر سایبری شواهد کمی نادر ارائه می‌دهد که محافظت از ردیابی استدلال انتقال قابلیت را به‌صورت محسوس کاهش می‌دهد. اکثر بحث‌های پیشین مخفی‌سازی ردیابی را یک دغدغه مالکیت فکری می‌دانستند؛ داده‌ها اکنون آن را به یک کنترل ایمنی تبدیل کرده‌اند. بازگرداندن اصلاحات به مدل‌های قدیمی‌تر اقرار دارد که دفاع در عمق باید کل ناوگان مستقر را بپوشاند، نه تنها انتشار پرچمدار.

به بیانیه مشترک بعدی انجمن مدل مرزی در مورد استانداردهای تقطیر و پیشرفت قانون امنیت تراشه یا قانون AI OVERWATCH در کنگره دقت کنید. هر دو می‌توانند منظر قانونی استخراج مدل مرزی را بازتعریف کنند.

گام بعدی شما

  • اگر از APIهای OpenAI استفاده می‌کنید، تنظیمات حفاظت‌های سطح API را برای مدل‌های GPT-6.2 بررسی کنید تا از قفل‌کردن استدلال به تاریخچهٔ مکالمه اطمینان حاصل کنید.
  • لاگ‌های تیم قرمز خود را به عنوان تست‌های رگرسیون بایگانی کنید و در خط لوله آموزش مدل‌های شاگرد بکار گیرید.
  • پیش‌نویس قانون امنیت تراشه و قانون AI OVERWATCH را رصد کنید؛ هر دو می‌توانند الزامات تطبیق و کنترل صادرات را برای تیم‌های ایرانی که از زیرساخت‌های ابری جهانی استفاده می‌کنند، تغییر دهند.
چرا این موضوع مهم است؟

این گزارش اولین شواهد کمی است که محافظت از ردیابی استدلال را مستقیماً به کاهش انتقال قابلیت‌های دوگانه‌کاربرد در امنیت سایبری پیوند می‌دهد. هم‌زمان، انتساب حملات به شرکت‌های چینی و حمایت از قانون‌گذاری کنگره، چارچوبی جدید از دفاع فنی، اطلاعات تهدید و بازدارندگی قانونی را ترسیم می‌کند.

تأثیر برای ایران

تحریم‌ها دسترسی مستقیم به GPT-6.2 را بسته نگه داشته‌اند؛ تأثیر از طریق واسطه‌های ابری (Azure، AWS) محقق می‌شود که باید استانداردهای منسجم OpenAI را اجرا کنند.

·نگاه ما
تحریریه دات‌هوش

کاهش نرخ موفقیت تقطیر از ۵۴٪ به ۰.۲٪ تنها یک بهبود عددی نیست؛ این نشان می‌دهد که OpenAI توانسته سطح حمله را از «استخراج ردیابی» به «تشخیص کمپین» بکشد. وقتی مهاجم برای هر پرس‌وجو شانس ۰.۲٪ موفقیت دارد، اقتصاد حمله از مقیاس‌پذیر به پرهزینه و پرریسک تغییر می‌کند — و این دقیقاً جایی است که دفاع در عمق اثر می‌گذارد. نکته ظریف‌تر: مطالعه سایبری ثابت کرد ردیابی‌های دقیق مهارت‌هایی را منتقل می‌کنند که فراتر از وظیفه اصلی معلم تعمیم می‌یابند؛ بنابراین محافظت از ردیابی‌ها فقط برای مالکیت فکری نیست، یک کنترل ایمنی عرضی است که حتی در تسک‌های مجاز اثر دارد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.