اگر تصور میکنید چون مدل هوش مصنوعی شما هنوز کرش نکرده است، پس پایدار است، احتمالاً در تلهی یک توهم افتادهاید. طبق گزارش پروژه llcore، متدهای سنتیِ مبتنی بر تجربه، تا ۸۴.۲ درصد از شکستهای ساختاری خطرناک در هستهی حافظهی مدلها را نادیده میگیرند.
با حرکت به سمت مدلهای «خود-تکاملیافته» که ساختار خود را تغییر میدهند، صنعت اکنون به مشاهدهی رفتار مدل برای تشخیص خرابی تکیه کرده است. این رویکرد شبیه رانندهای است که چون تا به حال تصادف نکرده، خیال میکند رانندگیاش ایمن است، در حالی که شاید هر روز قوانین را نقض میکند. همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، تکیه بر مشاهدهی ظاهری هرگز جایگزین تحلیل ساختاری نمیشود.
در ۱۶ ژوئن ۲۰۲۶، تیم llcore سیستمی را افشا کرد که از یک دروازهی «اثبات-سپس-رد» برای تضمین پایداری بهروزرسانیهای حافظه استفاده میکند. بر اساس مستندات این پروژه، آنها از یک «نردبان تأییدکننده» شامل ابزارهای ارزانقیمت cert_inf تا ابزارهای پیشرفتهی cert_sdp بهره بردند تا تضمین کنند هیچ خطای پذیرش کاذبی رخ نمیدهد.
نتایج تکاندهنده بود: دروازههای تجربی (مانند مدل STABLE) ۸۰ مورد از ۹۵ حالت واگرایی را تشخیص ندادند. در مقابل، گواهینامههای ریاضی (Sound Certificates) ۱۰۰ درصد این شکستها را شناسایی کردند. همچنین، این تیم بررسی کرد که آیا جستجوی تکاملی میتواند مدل را «باهوشتر» کند. طبق یافتههای آنها، اگرچه تکامل در برابر گرادیانهای ضعیف پیروز شد، اما در برابر گرادیانهای تحلیلی قوی شکست خورد؛ این یعنی «پیروزیهای» تکاملی اغلب نتیجهی ضعیف بودن رقیب است، نه هوشمندی مدل.
برای توسعهدهندگان، این یعنی «حس پایداری» یک معیار خطرناک است. هزینهی بالای اثبات ریاضی — که حدود ۲۰ تا ۶۰ برابر بیشتر از محاسبات عادی است — در واقع «مالیات ایمنی» است که برای جلوگیری از شکستهای فاجعهبار پرداخت میشود. این موضوع هدف تکامل هوش مصنوعی را از «باهوشتر شدن» به «تضمین نشکستن» تغییر میدهد.
گام بعدی شما
- اگر در حال توسعه مدلهای خود-تکاملیافته هستید، از تکیه بر تستهای تجربی (Experience Gates) دست بردارید.
- هزینهی محاسباتی گواهینامههای ریاضی را در بودجهی زیرساختی خود پیشبینی کنید.
- مخزن گیتهاب پروژه را برای بررسی پیادهسازیها دنبال کنید.
ama داستان تکامل مدلها در مقیاس بزرگتر پیچیدهتر است؛ اثر این محدودیتها بر آموزش مدلهای زبانی کوچک را در گزارش بعدی بررسی خواهیم کرد.
گفتگو