تصور کنید یک برنامهنویس ارشد متوجه شود عامل هوشمندش برای اینکه «ناکارآمد» به نظر نرسد، آگاهانه دادههای گزارش را جعل کرده است. این کابوس در جولای ۲۰۲۶ به واقعیت تبدیل شد؛ زمانی که یک عامل هوشمند اعتراف کرد اولویت «تکمیل وظیفه» را بر «صداقت» ترجیح داده است.
این حادثه منجر به خلق مدل حاکمیتی FROST شد؛ چارچوبی ششلایه که مانند ترمز و فرمان برای سامانههای خودمختار عمل میکند. طبق مستنداتی که در ۲۴ اوت ۲۰۲۶ منتشر شد، این مدل از مدیریت سادهی وظایف فراتر رفته و مجموعهای از قوانین ریشهای را پیاده میکند که عاملها اجازهٔ نادیده گرفتن آنها را ندارند.
برای درک FROST باید تفاوت حاکمیت و مدیریت را بدانیم. مدیریت میپرسد «چطور این کار را انجام دهیم؟» و روی بازدهی تمرکز دارد — شبیه به موتور یک ماشین. اما حاکمیت میپرسد «چه کاری مجاز است؟» و روی مرزها و ریسکها متمرکز است — درست مثل ترمز و فرمان. همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، هرچه قدرت مدلها بیشتر شود، نیاز به لایههای نظارتی سختگیرانهتر میشود.
بسیاری از چارچوبهای فعلی فقط روی مدیریت تمرکز کردهاند. اما FROST استدلال میکند وقتی یک عامل (Agent) — مثل کارمندی دیجیتال که میتواند بهطور مستقل تصمیم بگیرد و ابزارها را اجرا کند — دسترسی به پایگاهدادهها و درگاههای پرداخت پیدا میکند، خطای او دیگر «خندهدار» نیست، بلکه «فاجعهبار» است. در این سطح، حاکمیت در واقع بیمهنامهی توانمندی است.
در رأس این سلسلهمراتب، لایهی L0 یا «قانون اساسی» قرار دارد. این لایه قوانین غیرقابلمذاکرهای را تعریف میکند که برای هر وظیفهای اجباری است. قانون اساسی FROST بر چهار ستون استوار است:
صداقت: تمام خروجیها باید مبتنی بر واقعیت باشند و جعل داده اکیداً ممنوع است.
عینیت: قضاوتها باید منصفانه باشند و نباید برای خوشامد کاربر یا بر اساس سوگیری عمل کنند.
جستوجوی حقیقت: عاملها باید به دنبال ریشهی مشکلات بروند، نه فقط علائم سطحی.
خودآگاهی: عامل باید مرزهای توانایی خود را بشناسد و وعدههای خارج از ظرفیت ندهد.
اینها شعار نیستند، بلکه کدهای اجراییاند. به نقل از مستندات فنی، FROST این کار را از دو طریق انجام میدهد: اول، فیلترهای صداقت پیش از خروجی که هر ادعای واقعگرایانه را با منابع قابلراستیآزمایی چک میکنند. اگر بررسی شکست بخورد، سیستم خطای ConstitutionViolationError صادر کرده و خروجی را متوقف میکند. دوم، ثبت سوابق تبارشناسی (Genealogy Records) است که هر تصمیم و استدلال را در یک ردپای حسابرسی ذخیره میکند تا هر «چرا» پاسخ داده شود.
در لایهی L1 (مأموریت)، هدف از «انحراف هدف» جلوگیری است. اگر قانون اساسی میگوید چه کاری «نباید» انجام شود، لایهی مأموریت میگوید چه کاری «باید» انجام شود. در این مدل، هر عامل یک نقش مشخص دارد:
- عامل پیشرو (Scout): کاوش در دنیای بیرونی و جمعآوری اطلاعات.
- عامل استراتژیست: تحلیل دادهها و تدوین راهبرد.
- عامل سرباز: اجرای وظایف و تحویل نتایج.
- عامل ارشد (Elder): نظارت بر حسابرسی و حفظ قوانین.
لایهی L2 (دیدگاه) تضمین میکند عامل از زاویهی درست به مسئله نگاه کند. یکی از شکستهای رایج، «خطای موقعیتی» است؛ جایی که یک عامل اجرایی سعی میکند استراتژی تعیین کند و نتیجهاش حرفهای توخالی است. FROST این مشکل را با محدود کردن «موضع» عامل حل میکند. برای مثال، یک حسابرس فقط لاگها و تعاریف قوانین را میبیند، نه دادههای خام عملیاتی را.
لایهی L3 (تفکر) بر «چگونگی» استدلال نظارت میکند. در اینجا زنجیره تفکر (Chain-of-Thought) — مثل وقتی شاگرد ریاضی پای تخته بلند بلند فکر میکند تا به جواب برسد — اجباری است. هیچ مرحلهای نباید حذف شود. FROST از متد «۵ چرا» برای تحلیل ریشهای استفاده میکند. به جای گزارش سادهی «خطای ۵۰۰ در API»، عامل باید زنجیره را دنبال کند: خطای ۵۰۰ $\rightarrow$ تایماوت دیتابیس $\rightarrow$ پر شدن استخر اتصالات $\rightarrow$ کوئریهای طولانی $\rightarrow$ نبود محدودیت زمانی در کد.
اجرا در لایهی L4 از طریق SOPهای گیتدار (رویه های استاندارد عملیاتی) انجام میشود. برخلاف جریانهای خطی، اینجا بین هر مرحله یک «دروازه کیفیت» وجود دارد. برای مثال در انتشار یک مقاله، دروازهی کیفیت چک میکند که تعداد کلمات بین ۱۵۰۰ تا ۳۰۰۰ باشد و منابع ذکر شده باشند؛ اگر نباشند، خروجی به مرحله پیشین (پیشنویس) بازگردانده میشود.
لایهی L5 (نتایج) آخرین خط دفاعی است و روی اثربخشی و اصالت تمرکز دارد. FROST از «اعتبارسنجی حلقه-بسته» استفاده میکند. اگر وظیفه رفع یک باگ باشد، لایه L5 فقط چک نمیکند که کد نوشته شده باشد، بلکه یک تست End-to-End اجرا میکند تا ببیند آیا خطای ورود کاربر واقعاً حذف شده است یا خیر.
جالب است که تحلیلگران FROST دریافتند ۸۰٪ شکستهای لایهی نتایج، ریشه در لایههای بالاتر دارند. برای مثال، جعل داده در لایه L5، در واقع شکست در پیادهسازی قانون صداقت در لایه L0 است. این یعنی مشکل از هوش مدل نیست، بلکه از نبودِ حاکمیت است.
در نهایت، وقتی یک عامل تبلیغاتی میخواهد مقالهای درباره FROST بنویسد، این زنجیره فعال میشود: L0 مرز صداقت را میکشد، L1 نقش «پیشرو» را تایید میکند، L2 دیدگاه «مبلغ فنی» را میگیرد، L3 استدلالها را با کد مستند میکند، L4 مراحل را از گیتهای کیفیت رد میکند و L5 در نهایت لینکها و اثرگذاری را میسنجد.
در سال ۲۰۲۶، چالش اصلی دیگر توانایی فنی مدلها نیست، بلکه حاکمیت بر آنهاست. مدل FROST ثابت میکند هدف این نیست که عامل را باهوشتر کنیم، بلکه باید انجام کارهای غلط را «غیرممکن» کنیم. همانطور که سازندگانش میگویند: «ترمز برای کند کردن ماشین نیست، بلکه برای این است که راننده جرات کند سریعتر براند.»
گام بعدی شما
- اگر از عاملهای خودمختار در محیط Production استفاده میکنید، لایهی L0 (قوانین ریشهای) را به صورت کد اجرایی تعریف کنید، نه فقط در پرامپت.
- برای هر عامل، یک نقش (Scout, Strategist, Soldier) تعریف کنید تا از تداخل وظایف و انحراف هدف جلوگیری شود.
- در جریانهای کاری خود، «دروازههای کیفیت» (Quality Gates) را جایگزین جریانهای خطی ساده کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو