امتیاز اطمینان مدل نمیتواند جای خالی شواهد واقعی را پر کند. در ۲۵ اوت ۲۰۲۶، شرکت CodeVetter چارچوبی را برای «بستههای شواهد تأیید» (Verification Evidence Bundles) معرفی کرد تا اتکای توسعهدهندگان به اسکرینشاتهای ناپایدار یا خلاصههای متنی مدلها در هنگام اعتبارسنجی کد متوقف شود.
بسیاری از عاملهای هوش مصنوعی (AI Agents) — شبیه دستیارانی که ادعا میکنند کار را انجام دادهاند اما مدرکی ندارند — در حال حاضر بدون ارائه یک ردپای مستند، حکم نهایی را صادر میکنند. این وضعیت شکاف اعتمادی ایجاد میکند که در آن خروجیهای موفق، اغلب به وصلههای (Patch) اشتباه متصل شده یا در شرایطی متناقض تکرار میشوند. این رویکرد ناقص، در واقع تکرار همان اشتباهاتی است که در تحلیل ما دربارهی شکست حفاظهای امنیتی به دلیل ثبت رضایت بهجای بررسی شواهد به آن پرداختیم. تصور کنید بخواهید یک شکست در محیط عملیاتی را دیباگ کنید، در حالی که تنها مدرک موفقیت هوش مصنوعی، یک بلوک متنی خلاصه شده است.
همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، نبودِ قابلیت بازبینی (Auditability) بزرگترین مانع استقرار مدلها در محیطهای حساس است. طبق مستندات CodeVetter، یک بسته معتبر باید هویتها و رکوردهای اجرا را به هم گره بزند. این سامانه سه رکن اصلی را الزامی میکند:
- پیوند هویت: رکوردهای صریح از تسک، مخزن کد، بازبینی پایه، تغییرات عامل، نسخه تأییدکننده و محیط اجرا.
- رکوردهای اجرا: دستورات نرمالشده، وضعیتهای شروع و پایان، نتایج خروج و خروجیهای محدودشده.
- دقت در حکم: تفکیک سختگیرانه بین نیازمندهای پاسشده، شکستهای بازتولیدشده، پسرویها (Regressions) و شکستهای زیرساختی.
به گزارش این شرکت، برای حفظ قابلیت جابهجایی، این چارچوب از JSON برای اتوماسیون و HTML برای بازبینی انسانی استفاده میکند. این سیستم منطق «شکست بسته» (Fail-closed) را اجرا میکند؛ به این معنا که اگر یک بررسی معتبر مفقود باشد، کل بسته بدون توجه به سطح اطمینان هوش مصنوعی، «شکستخورده» علامت میخورد. این سختگیری در اعتبارسنجی، تکاملیافتهی همان ۵ لایهٔ اعتبارسنجی برای جلوگیری از تخریب کد تولیدی است که پیشتر بررسی کرده بودیم.
این چرخش، صنعت را از اعتبارسنجی بر اساس «حس و حال» (Vibe-based) به سمتی میبرد که در آن خودِ شواهد، محصول اصلی هستند. برای برنامهنویسان، این یعنی عاملهای هوش مصنوعی دیگر جعبههای سیاه نیستند، بلکه موجوداتی پاسخگو هستند که ردپایی جرمشناسانه از کار خود بر جای میگذارند. این تغییر پارادایم، در واقع تغییر رویکرد کلی در مدیریت عاملهای AI است که در آن شواهد فنی بر قدرت محاسباتی ارجحیت مییابند.
گام بعدی شما
- مستندات فنی CodeVetter را برای بررسی ساختار JSON بستهها مطالعه کنید.
- منطق Fail-closed را در خط لولهی CI/CD خود برای تأیید خروجیهای AI پیاده کنید.
- خروجیهای فعلی عاملهای کدنویس خود را با معیارهای «پیوند هویت» تطبیق دهید.
اما تأمین سختافزاری برای اجرای این حجم از اعتبارسنجی در مقیاس بالا چالش جدیدی است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو