اگر امروز تمام اعتماد خود را به یک مدل برای بازبینی کد سپرده‌اید، احتمالاً با حفره‌های امنیتی یا توهماتی روبرو هستید که هیچ‌کس آن‌ها را نمی‌بیند. تصور کنید یک تیم حقوقی را داشته باشید که در آن تنها یک وکیل قراردادها را بررسی می‌کند؛ در چنین شرایطی، حضور چشم دوم یک انتخاب نیست، بلکه یک ضرورت ایمنی است.
بسیاری از برنامه‌نویسان در حال حاضر تنها از یک عامل (Agent) — مثل دستیاری که هر چه شما بگویید را بدون چون و چرا می‌پذیرد — برای بازبینی کد استفاده می‌کنند. این رویکرد یک نقطه کور خطرناک ایجاد می‌کند که می‌تواند منجر به شکاف‌های هماهنگی در پروژه‌های مقیاس‌بزرگ شود، جایی که تک‌عامل‌ها در مدیریت پیچیدگی‌ها شکست می‌خورند. طبق گزارش منتشر شده در ۲۸ جولای ۲۰۲e۶، یک موتور ارکستراسیون متن‌باز جدید این مشکل «اعتماد به تک‌مدل» را با مجبور کردن مدل‌های متنوع به بحث درباره کیفیت کد تا رسیدن به یک اجماع واقعی حل کرده است.
همان‌طور که در تحلیل‌های قبلی ما درباره امنیت مدل‌های بازمتن اشاره کردیم، تنوع در دیدگاه مدل‌ها می‌تواند پوشش خطاها را به‌شدت افزایش دهد. این ابزار با تبدیل تضادهای مدل‌ها از یک عامل اعصاب‌خردکن به یک مزیت رقابتی، دقت بازبینی را بالا می‌برد. این رویکرد یادآور راهکار Hermes Agent در استفاده از ترکیبی از عامل‌هاست که برای حل مسائل دشوار هوش مصنوعی، چندین مدل را با هم ترکیب می‌کند.
معماری سامانه
این ابزار از یک فایل ساده با مسیر .claude/agents/*.md برای تعریف عامل بازبینی استفاده می‌کند. به جای بازنویسی این عامل برای هر پلتفرم، موتور مذکور آن را به‌طور بومی روی رابط‌های خط فرمان (CLI) مدل‌های مختلف از جمله Grok، Codex و Claude اجرا می‌کند. به نقل از مستندات پروژه، این روش نیازی به کلیدهای API ندارد؛ تا زمانی که CLI نصب و وارد شده باشد، عامل از طریق زمان اجرای خود فعال می‌شود تا به جای تکرار محض، تنوع در یافته‌ها تضمین شود.
مکانیزم Arena
بر اساس مستندات سایت dogrubakar.com، این سامانه از طریق یک تورنمنت قطعی عمل می‌کند:
- دور اول: مدل‌هایی نظیر Grok، Codex و Claude به‌طور مستقل و با استفاده از یک مشخصات مشترک، کد را بازبینی می‌کنند.
- دور دوم: مدل‌ها وارد فاز نقد متقابل می‌شوند. هر مدل باید به بخش خاصی از کد ارجاع دهد و تصمیم بگیرد که ادعاهای قبلی را حفظ کند، پس بگیرد، بپذیرد یا ادعاهای جدیدی مطرح کند. چنین قابلیت بازنگری در تصمیمات، مشابه سیستم‌های Agno و Shepherd است که امکان بازگشت به عقب در گردش‌های کاری را فراهم کرده‌اند تا صحت خروجی‌ها تضمین شود.
- گیت همگرایی: دورهای بعدی (۳، ۴ و بیشتر) تنها زمانی فعال می‌شوند که مدلی تغییر موضع دهد. اگر هیچ ادعایی پذیرفته یا پس گرفته نشود، بحث متوقف می‌شود تا از «نمایش توکن» (Token Theater) — یعنی زمانی که مدل‌ها فقط جملات قبلی را با کلمات جدید تکرار می‌کنند تا فعال به نظر برسند — جلوگیری شود.
- حکم نهایی: یک داور کد واقعی را باز می‌کند تا هر ادعای مورد مناقشه را تأیید یا رد کند و در نهایت یک جدول امتیازات ایجاد می‌کند.
به دلیل اینکه این سامانه بر پایه سیستم گردش‌کار Claude Code ساخته شده است، مدل Claude به عنوان میزبان و داور پیش‌فرض عمل می‌کند. موتور ارکستراسیون با پایتون نوشته شده و مستقل از میزبان است، هرچند پوشش‌های بومی برای Grok و Codex هنوز به‌طور کامل عرضه نشده‌اند.
امتیازدهی و قانون گودهارت
یک نکته حیاتی این است که مدل‌ها هرگز نمی‌دانند در حال امتیازگیری هستند. نویسنده پروژه اشاره می‌کند که اگر مدلی بداند در رقابت است، انگیزه‌هایش «می‌پوسد»؛ یعنی ممکن است از یک یافته ضعیف دفاع کند چون پس گرفتن آن شبیه به شکست است، یا برای کسب امتیاز بیشتر، ایرادات بی‌ربط به رقبایش بگیرد.
برای مقابله با این موضوع، رتبه‌بندی به‌صورت مخفیانه و بر اساس نتایج تایید شده توسط داور محاسبه می‌شود. قوانین امتیازدهی به این صورت است:
- یافته‌های تأیید شده بر اساس میزان شدت خطا، امتیاز می‌گیرند.
- مثبت‌های کاذب (خطاهای نداشته) منجر به کسر امتیاز می‌شوند.
- یافتن موارد نادر و پذیرش صادقانه اشتباهات، امتیاز اضافی دارد.
برای برنامه‌نویس، این یعنی تغییر از اعتماد کورکورانه به یک «متخصص AI» به مدیریت یک هیئت منصفه دیجیتال. با این حال، این دقت هزینه‌ای دارد: اجرای کامل حالت تخاصمی سنگین است و ممکن است از چند دقیقه تا ده‌ها دقیقه زمان ببرد و توکن‌های زیادی مصرف کند، زیرا سیستم باید منتظر کندترین مدل در حلقه بماند. برای کارهای سریع‌تر، کاربران می‌توانند بازبینی تک‌مدلی زنده را انتخاب کنند.
در حال حاضر کاربران می‌توانند از طریق گیت‌هاب و تحت لایسنس MIT به این پروژه دسترسی پیدا کرده و این گردش‌کارهای چندمدلی را در خط لوله نرم‌افزاری خود پیاده کنند.
گام بعدی شما
- اگر از بازبینی‌های خودکار استفاده می‌کنید، یک مدل دوم را به‌عنوان «منتقد» در کنار مدل اصلی قرار دهید تا نقاط کور شناسایی شوند.
- بررسی کنید آیا مدل‌های شما در صورت دانستنِ رقابت، شروع به «چاپلوسی» یا «سخت‌گیری بی‌مورد» می‌کنند یا خیر.
- برای کاهش هزینه، ابتدا از بازبینی تک‌مدلی استفاده کرده و فقط برای کدهای حساس (Critical Path) از حالت Arena استفاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ به تحلیل ما درباره تأثیر توکن‌های مصرفی در مدل‌های استدلالی مراجعه کنید.
گفتگو