پرش به محتوای اصلی
پرش به محتوای مقاله

پروتکل Agateon: جایگزینی شواهد ماشینی با اعتماد در عامل‌های هوش مصنوعی

·۱۱ شهریور ۱۴۰۵۶ دقیقه مطالعه۱ بازدید
تحلیل
نمی‌توانی آنچه را نمی‌توانی بررسی کنی، تفویض کنی.
نمی‌توانی آنچه را نمی‌توانی بررسی کنی، تفویض کنی.
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

معرفی یک پروتکل ارکستراسیون که تأیید را از لایه «قضاوت مدل» به لایه «زیرساخت ماشین» منتقل می‌کند تا نیاز به نظارت انسانی لحظه‌ای حذف شود.

شما نمی‌توانید وظیفه‌ای را به یک عامل هوش مصنوعی بسپارید، اگر برای تأیید نتیجه مجبور باشید تمام مسیر را خودتان دوباره طی کنید. این شکاف بنیادی باعث ایجاد «مالیات اعتماد» شده است؛ وضعیتی که در آن کاربر یا تمام وقتش را صرف نظارت بر هر گام می‌کند یا ریسک شکست‌های خاموش در محیط عملیاتی را می‌پذیرد. در ۲ سپتامبر ۲۰۲۶، چارچوبی برای حل این معضل با معرفی Agateon ارائه شد. این یک پروتکل ارکستراسیون (Orchestration) متن‌باز است که طراحی شده تا تأیید را به جای یک امیدواری ساده، به یک امر ساختاری تبدیل کند.

اکثر کاربران فعلاً با عامل‌های کدنویسی پیشرفته به سه روش ناکارآمد تعامل می‌کنند. گروه اول هر تغییر (diff) و هر فراخوانی ابزار را نظارت می‌کنند و عملاً زمانی را که قصد داشتند ذخیره کنند، صرف بررسی می‌کنند. گروه دوم «اعتماد می‌کنند و امیدوار می‌مانند» و تنها زمانی متوجه انحراف (drift) مدل می‌شوند که باگ در محیط عملیاتی ادغام شده، مستقر شده یا سه روز پس از آن، زمانی که بافتار (Context) پروژه بیش از حد زیاد شده، کشف شود. گروه سوم نیز فقط وظایف کوچک و بازگشت‌پذیر — مثل تغییر در یک فایل واحد — را می‌سپارند که سریعاً با یک نگاه گذرا قابل بررسی باشد. در هر سه حالت، محدودکننده اصلی IQ مدل نیست، بلکه اعتماد کاربر به خروجی است.

نمی‌توانی آنچه را نمی‌توانی بررسی کنی، تفویض کنی.

این مشکل با افزایش توانایی مدل‌ها تشدید می‌شود، زیرا سرعت رشد قابلیت‌های آن‌ها از سرعت خواندن و تأیید خروجی توسط انسان پیشی می‌گیرد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، هرچه پیچیدگی سیستم بالا می‌رود، نقاط کور نظارتی بیشتر می‌شوند. سپردن کارهای کوتاه و تک‌باره (Single-burst)، مثل ساختار اولیه یک مخزن کد یا رفع یک خطای lint، آسان است چون کل خروجی یک‌باره دیده می‌شود؛ اما در کارهای طولانی که ساعت‌ها زمان می‌برند و ده‌ها گام دارند، حجم داده‌ها بسیار بیشتر از آن است که یک انسان بتواند در ذهن خود نگه دارد. در اکثر سیستم‌های فعلی، تنها خلاصه موجود، گزارش خودِ عامل است.

این وضعیت سقفی ایجاد می‌کند که مرز تفویض اختیار را نه بر اساس توانایی مدل، بلکه بر اساس میزان ریسک‌پذیری کاربر تعیین می‌کند. دو مهندس با یک مدل یکسان، سقف‌های متفاوتی خواهند داشت؛ تماماً بسته به اینکه چه چیزی را قادر به تأیید هستند. هر چه شکاف بین آنچه مدل می‌تواند انجام دهد و آنچه کاربر جرئت می‌دهد انجام شود عمیق‌تر شود، هر کسی که این شکاف را با ساختار پر کند، سهمی بسیار بیشتر از توانایی‌های هوش مصنوعی به دست خواهد آورد.

سازوکار Agateon

Agateon تلاش می‌کند با تبدیل تأیید به زیرساخت، این سقف را جابه‌جا کند. به جای تکیه بر ادعای عامل مبنی بر اینکه کار «تمام شده است»، این پروتکل کار را مجبور می‌کند تا از هشت فاز مجزا عبور کند. هر فاز با شواهد عینی و ماشین‌خوان قفل شده است:

  • کدهای خروج (Exit Codes): یک اجراکننده تست باید کد موفقیت برگرداند تا ماشین وضعیت پیش برود. پیشروی بر اساس ادعای «به نظر می‌رسد تمام شده» ممکن نیست.
  • گزارش‌های گیت (Git Logs): تمام تغییرات باید در کنترل نسخه ثبت شوند. این کار تضمین می‌کند که در صورت شکست یک فاز، بازگشت (Rollback) در تاریخچه گیت ثبت شود و از ریست شدن خاموشِ شمارنده تلاش‌ها (retry-counter) که می‌تواند شبکه ایمنی را از کار بیندازد، جلوگیری شود.
  • وضعیت دیسک (Disk State): وجود فایل‌های خاص روی دیسک، به عنوان یک پیش‌شرط سخت برای پیشروی در مراحل عمل می‌کند. این رویکرد سخت‌گیرانه به نظارت بر فایل‌ها، یادآور روش‌های سنجش امنیت سیستم‌فایل با استفاده از فایل‌های تله است که برای شناسایی نفوذهای غیرمجاز به کار می‌رود.

نمی‌توانید آنچه را نمی‌توانید تأیید کنید، واگذار کنید.

به نقل از مستندات پروژه، چون تمام پیشرفت‌ها در قالب Markdown و تحت کنترل نسخه ذخیره می‌شوند، جلسات در برابر کرش‌ها مقاوم هستند. یک وظیفه متوقف‌شده دیگر به معنای شروع مجدد نیست، بلکه یک مسئله زمان‌بندی است و سیستم از آخرین فاز تأییدشده ادامه می‌دهد. برای اطمینان از نبود نقص در خودِ گیت‌ها، توسعه‌دهندگان از تست‌های خصمانه (Adversarial Tests) و یک داور مستقل در یک بستر تازه برای بازبینی پذیرش استفاده می‌کنند. در این سیستم، کد خروج — و نه نظر مدل — معیار موفقیت است.

کاربرد واقعی و محدودیت‌ها

طبق گزارش dev.to، این پروتکل در حال حاضر در مرحله «استفاده داخلی» (Dogfooding) است؛ به این معنا که مخزن کد خود Agateon با استفاده از همین ابزار ساخته شده است. تاریخچه وظایف در دایرکتوری agate-workspace/tasks/ سندی عمومی از این چرخه است. این تاریخچه شامل وظایفی است که نقاط ضعف خودِ پروتکل را برطرف کرده‌اند، از جمله بررسی‌های سازوکاری که شکاف‌های یافته‌شده در ممیزی‌ها را بستند و یک مرحله بهسازی پروتکل (hygiene pass) که اجراهای تکراری و زائد تأیید را حذف کرد.

با این حال، این سیستم یک پروتکل است، نه یک محصول آماده و Plug-and-play. پذیرش آن نیازمند انضباط خاصی است، از جمله استفاده از لینک‌های نمادین (Symlinks)، هوک‌ها و رعایت فازبندی توسط عامل‌ها. این رویکرد «مالیات اعتماد» را با «هزینه راه‌اندازی» و تشریفات (ceremony) جایگزین می‌کند؛ به همین دلیل توسعه‌دهندگان پیشنهاد می‌کنند پذیرش آن را به صورت تدریجی و با استفاده از جریان‌های ساده‌شده (pruned flows) برای وظایف کوچک آغاز کنید.

محدودیت‌های ساختاری زیر نیز باید در نظر گرفته شوند:

  • کیفیت شواهد: یک گیت تنها به اندازه تستی که اجرا می‌کند قوی است. اگر توسعه‌دهنده تست ضعیفی بنویسد، پروتکل ضعف را تأیید می‌کند، نه کیفیت کد را. هیچ پروتکلی نمی‌تواند سقف کیفیتِ تست‌های زیربنایی را اصلاح کند.
  • شکاف خود-مجوزی: زمانی که عامل کد را می‌نویسد و همان گیت کد را قضاوت می‌کند، شکافی باقی می‌ماند. اگرچه استفاده از داور مستقل هزینه «جعل» (fakery) را بالا می‌برد و یک ردپای ممیزی باقی می‌گذارد، اما این حقیقت که نویسنده و داور یک بازیگر هستند، همچنان یک محدودیت ساختاری است (LIMITATIONS-3). این چالش در مورد عامل Sonjomon نیز دیده شد که برای جلوگیری از خطاهای بحرانی، ترجیح داد از اصلاح خودسرانه دست بکشد تا ریسک‌های عملیاتی کاهش یابد.
  • کمبود داده: در حال حاضر داده‌های بلندمدت درباره میزان دقیق کاهش نظارت انسانی در پروژه‌های متنوع و واقعی وجود ندارد.

تغییر پارادایم کاری

وقتی تأیید ساختاری می‌شود، ماهیت مهندسی تغییر می‌کند. کاربران از «پرستاری» فرآیند دست می‌کشند و به جای دستورات گام‌به‌گام، اهداف را تعریف می‌کنند. پیشروی دیگر بر اساس ادعا نیست، بلکه بر اساس شواهد بررسی‌شده است. تمرکز از بررسی متن گفتگوهای AI به بررسی محصول نهایی و تصمیم‌گیری‌های سطح بالا منتقل می‌شود که ماشین قادر به انجام آن‌ها نیست.

این چرخش، مرز تفویض را از «آنچه جرئت ریسکش را دارم» به «آنچه می‌توانم چک کنم» تغییر می‌دهد. با بستن شکاف بین توانایی مدل و تأیید انسانی، کاربران می‌توانند قضاوت خود را برای کارهای پیچیده‌ای که واقعاً به لمس انسان نیاز دارد، بازیابی کنند. هدف، رسیدن به عاملی است که واقعاً قابل تفویض باشد؛ نه به این دلیل که صادق است، بلکه چون کارش قابل بررسی است.

اگر در حال حاضر با عامل‌ها محصول می‌سازید، مفیدترین سؤال این است: «چه اتفاقی بیفتد که مجبور نباشم هر لحظه این را تماشا کنم؟» اگر پاسخ صادقانه این است که «هیچ، باید به آن اعتماد کنم»، شما با یک شکاف تأیید روبرو هستید که نیاز به راهکار مکانیکی دارد. مخزن Agateon تحت لایسنس MIT در گیت‌هاب در دسترس است (github.com/randomgitsrc/agateon) و با یک دستور curl تک‌خطی نصب می‌شود. با گنجاندن تأیید در زیرساخت، سقف آنچه می‌توان تفویض کرد، بالاخره جابه‌جا می‌شود.

گام بعدی شما

  • بررسی مخزن Agateon در گیت‌هاب برای درک نحوه پیاده‌سازی فازهای تأیید.
  • شناسایی تکراری‌ترین بخش‌های نظارتی در گردش‌کارهای فعلی‌تان و تبدیل آن‌ها به تست‌های خودکار (Exit Codes).
  • آزمایش رویکرد «داور مستقل» برای کاهش توهمات در خروجی‌های پیچیده.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این پروتکل با حذف نیاز به اعتماد کورکورانه، اجازه می‌دهد حجم کارهای تفویض‌شده به AI بدون افزایش ریسک خطای سیستمی رشد کند. اعتبار این رویکرد از جایگزینی ادعای مدل با شواهد عینی (مانند کدهای خروج) می‌آید که استانداردی جدید برای استقرار عامل‌های سازمانی است.

تأثیر برای ایران

برنامه‌نویسان ایرانی که در پروژه‌های Open Source یا توسعه محصول با عامل‌های AI فعالیت می‌کنند، می‌توانند با استفاده از این پروتکل متن‌باز، پایداری سیستم‌های خود را بدون نیاز به APIهای گران‌قیمت افزایش دهند.

·نگاه ما
تحریریه دات‌هوش

Agateon با جابه‌جایی تمرکز از «بهبود مدل» به «بهبود زیرساخت تأیید»، یک حقیقت تلخ را پذیرفته است: مدل‌ها هرگز به اندازه کافی قابل اعتماد نخواهند بود که نظارت حذف شود، پس باید نظارت را اتوماتیک کرد. این رویکرد در واقع مدل‌های زبانی را به جای «مدیر پروژه»، در نقش «اپراتور اجرایی» قرار می‌دهد که هر گامش باید توسط یک سیستم سخت‌گیرانه مهر تأیید بخورد. این یعنی آینده‌ی بهره‌وری در AI نه در مدل‌های بزرگ‌تر، بلکه در پروتکل‌های نظارتی دقیق‌تر است.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.