تصور کنید یک همکار ارشد دارید که هر خط کد شما را با وسواس یک هکر بررسی میکند و تا دلیل دقیق خطا را پیدا نکند، اجازهٔ انتشار نمیدهد. محمد صالح با انتشار یک مجموعهٔ تست هوش مصنوعی در ۶ سپتامبر ۲۰۲۶، دقیقاً همین تجربه را برای توسعهدهندگان فراهم کرد.
به نقل از مستندات این پروژه، مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — اغلب دچار «چاپلوسی» میشوند و برای سریعتر تمام کردن کار، کدهای معیوب را تایید میکنند. این پدیده در واقع تداوم همان رانش خاموش مدلهای AI است که پیشتر بررسی کردیم و باعث کاهش نرخ تشخیص باگها در خط لولههای توسعه میشود. صالح این الگو را با تبدیل هوش مصنوعی از یک «تشویقکننده» به یک مهندس ارشد QA (تضمین کیفیت) بیرحم تغییر داد.
بر اساس بررسیهای فنی، این سامانه برای حذف توهمات (Hallucination) — وقتی مدل با اطمینان چیزی میگوید که اصلاً وجود ندارد، شبیه دوستی که خاطرهای را اشتباه تعریف میکند — چهار مکانیزم سختگیرانه را اجرا میکند:
- الزام به ارجاع: هوش مصنوعی حق ندارد ادعایی کند مگر اینکه مسیر دقیق فایل و شماره خط را ذکر کند.
- گیتهای مرحلهای اجباری: گردشکار مدل را مجبور میکند از ۱۹ مرحله متدیک، از جمله استانداردهای OWASP Top 10 و مدیریت وضعیت، عبور کند.
- شبیهسازی تیم قرمز (Red Teaming): طبق «قانون ۶»، مدل باید در نقش یک هکر ظاهر شود تا سعی کند حفرههای امنیتیِ اصلاحات خودش را دور بزند.
- اعتبارسنجی Sentry: سامانه پیش از استقرار، تحلیلهای ایستا را با خطاهای واقعی زمان اجرا در Sentry تطبیق میدهد.
همانطور که در تحلیلهای قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، تکیه بر خروجی خام مدلها ریسک فنی بالایی دارد. صالح برای حل این مشکل، چهار نسخه تخصصی ارائه داده است؛ نسخه Backend & Cloud شامل ۱۹ مرحله (از جمله مهندسی آشوب) است، در حالی که نسخههای وب، موبایل و دسکتاپ بر ۱۳ مرحلهٔ متمرکز بر کرشهای پلتفرمی تاکید دارند.
این تغییر در استراتژی پرامپتنویسی، صنعت را از بازبینیهای سادهٔ چتمحور به سمت گردشکارهای عاملمحور (Agentic) و قطعی میبرد. توسعهدهندگانی که از Cursor، GitHub Copilot یا رابطهای وب استفاده میکنند، میتوانند این سامانه را از طریق یک فایل SKILL.md پیاده کنند تا لحن پیشفرض و «دوستانه» مدل با یک پرسونای سختگیر جایگزین شود.
گام بعدی شما
- مخازن این پروژه را فورک کنید تا ببینید عاملهای هوش مصنوعی شما در برابر فشار این ۱۹ مرحله چه تعداد باگ را نادیده میگیرند.
- فایل
SKILL.mdرا به تنظیمات IDE خود اضافه کنید تا مدل را مجبور به ارجاع دقیق به خطوط کد کنید. - مکانیزم «تیم قرمز» را برای تست حفرههای امنیتی در ماژولهای حساس پروژه خود به کار ببرید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو