تصور کنید یک برنامهنویس ارشد در یک شرکت مالی، مجبور است سیستمی بسازد که هرگز اشتباه نکند؛ در چنین محیطی، اعتماد به «شهود» یک مدل هوش مصنوعی یک ریسک غیرقابلپذیر است. این نیاز به کنترل مطلق، دلیل پیدایش SAFi است؛ معماری حاکمیتی که مدل زبانی را از صندلی رانندگی پایین میکشد تا پیشبینیپذیری در محیطهای عملیاتی تضمین شود.
بسیاری از چارچوبهای فعلی مانند Claude Code، لایهای از ابزارها و حافظه را دور مدل میپیچند، اما در نهایت این مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — است که تصمیم میگیرد چه مسیری طی شود. طبق گزارش منتشر شده در ۱۲ سپتامبر ۲۰۲۶، این ساختار باعث ایجاد ریسک «جعبه سیاه» میشود؛ جایی که استدلال مدل میتواند به مسیرهای اجرایی غیرقابلپیشبینی منجر شود.
همانطور که در تحلیلهای قبلی ما دربارهی حفاظهای ایمنی مدلهای بازمتن اشاره کردیم، کنترل خروجیها به تنهایی کافی نیست. SAFi منطق را وارونه میکند و مدل را به زیرمجموعهای از یک خط لوله قطعی تبدیل میکند. بر اساس مستندات dev.to، این سیستم در پنج مرحله مجزا عمل میکند:
- فاز صفر: تنظیمات قطعی (Deterministic).
- عقل (Intellect): استدلال معنایی با قدرت LLM.
- اراده (Will): منطق اجرای قطعی.
- وجدان (Conscience): بازبینی معنایی توسط LLM.
- روح (Spirit): اجرای قطعی نهایی.
در این معماری، تنها فازهای «عقل» و «وجدان» از مدل زبانی استفاده میکنند. هر اقدامی که توسط ماژول استدلال پیشنهاد شود، باید توسط یک ماژول مستقل و «کور» که با زبان پایتون نوشته شده، تأیید شود. این ماژول تأییدکننده توانایی استدلال ندارد و صرفاً بر اساس قوانین سختافزاری و قطعی عمل میکند.
این تغییر، فرض بنیادی دربارهی عاملهای هوش مصنوعی (AI Agents) را از «استدلال خودمختار» به «پیشنهاد محدودشده» تغییر میدهد. این رویکرد در واقع پاسخی به چالشهای تعمیمپذیری عاملهای هوش مصنوعی در محیطهای جدید است که پیشتر نشان داد استدلال خالص مدلها در مواجهه با شرایط پیشبینی نشده دچار شکست میشود. برای شما به عنوان توسعهدهنده، این یعنی تفاوت بین عاملی که ممکن است یک دستور اشتباه را به دلیل توهم (Hallucination) — شبیه دوستی که خاطرهای را اشتباه تعریف میکند — اجرا کند، و عاملی که فیزیکی قادر نیست هیچ دستوری خارج از تأیید اسکریپت پایتون را اجرا نماید.
گام بعدی شما
- بررسی کنید که آیا استک فعلی شما بر «اعتماد به عامل» متکی است یا «حاکمیت قطعی».
- برای فرآیندهای حساس، لایهی تأیید (Approval Layer) را از مدل زبانی جدا کرده و به کد پایتون منتقل کنید.
- ارزیابی کنید که آیا این ساختار سختگیرانه، انعطافپذیری مدل را که دلیل اصلی استفاده از آن بود، از بین میبرد یا خیر.
اما چالش اصلی اکنون این است که آیا این rigidity باعث کاهش بهرهوری مدلها میشود یا خیر؛ این موضوع را در بررسی اثرات محدودیتهای استدلالی دنبال خواهیم کرد.
گفتگو