تصور کنید یک برنامه‌نویس در ساعت ۳ صبح در حال عیب‌یابی یک نقص بحرانی است و تنها مدرکی که دارد، اسکرین‌شاتی از یک عامل هوش مصنوعی است که ادعا می‌کند: «بررسی کدها انجام شد و هیچ مشکلی یافت نشد». این تصویر در واقع هیچ ارزشی ندارد، زیرا در دنیای مدل‌های زبانی، کلمات ارزان هستند و ادعای موفقیت با اجرای واقعی تفاوت بسیاری دارد.
به نقل از rambo، مدیر عملیات شرکت Zambo، پذیرفتن ادعاهای خوداظهاری عامل‌ها شبیه به این است که از یک متهم بخواهید خودش گواهی بی‌گناهی‌اش را بنویسد. یک اسکرین‌شات از محیط چت که در آن نوشته شده «ممیزی کامل شد»، صرفاً تصویری از چند کلمه است، نه سندی از انجام کار.
مشکل اسکرین‌شات‌ها
بسیاری از تیم‌ها در حال حاضر برای اثبات اتمام یک وظیفه، متن چت‌ها را در تیکت‌ها یا ایمیل‌های مشتریان قرار می‌دهند. این روش شکست می‌خورد چون مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — اساساً برای تولید کلمات طراحی شده است. این مدل‌ها می‌توانند به‌راحتی پیام موفقیت را شبیه‌سازی کنند، بدون اینکه واقعاً کد زیربنایی را اجرا کرده باشند.
یک عامل (Agent) می‌تواند در چهار ثانیه بنویسد «✅ ممیزی کامل شد — هیچ رمز عبوری در کدها یافت نشد». در این لحظه، نه مشتری و نه حتی خود شما در زمان وقوع یک حادثه، متوجه نخواهید شد که آیا ابزار واقعاً اجرا شده یا مدل دچار توهم (Hallucination) — یعنی وقتی مدل با اطمینان چیزی می‌گوید که اصلاً وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — شده است. برای مقابله با این چالش، استفاده از سیستم‌های ساختاریافته برای حذف توهمات می‌تواند دقت خروجی‌های عامل‌ها را به شدت افزایش دهد.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، اعتماد کورکورانه به خروجی‌های متنی مدل‌ها، بزرگ‌ترین حفره‌ی امنیتی در سیستم‌های عامل‌محور است.
مکانیزم رسید (Receipt)
برای حل این مشکل، Zambo عادت «رسید گرفتن» را پیشنهاد می‌کند. یک رسید استاندارد ثابت می‌کند که یک اجرای خاص رخ داده و نتیجه را به آن گره می‌زند. این رویکرد در واقع پاسخی به شکست‌های رایج در تفویض اختیار به عامل‌های هوش مصنوعی است که بدون وجود یک سیستم تایید ساختاری رخ می‌دهد. طبق مستندات این شرکت، یک رسید معتبر از سه داده تشکیل شده است:
- یک UUID (شناسه جهانی یکتا) برای هر اجرای خاص.
- یک برچسب زمانی (Timestamp) از لحظه‌ی اجرای ابزار.
- یک هش sha256 از بایت‌های خام خروجی ابزار.
این رسیدها از طریق آدرس zambo.dev/run/
جایگزین‌های کاربردی
تیم‌ها باید لینک‌های قابل تأیید را جایگزین تصاویر کنند:
- به جای: اسکرین‌شات «استقرار تأیید شد ✅» $\rightarrow$ استفاده از: لینک رسید شامل UUID و زمان اجرای ابزار بررسی استقرار.
- به جای: متن کپی‌شده از خلاصه ممیزی $\rightarrow$ استفاده از: هش رسید متصل به خروجی خام ابزار ممیزی.
- به جای: جمله «عامل پرداخت را تأیید کرد» در اسلک $\rightarrow$ استفاده از: رسید فراخوانی ابزار استعلام پرداخت.
ارزش این تغییر در لحظات بحرانی
این تغییر در مستندات، در لحظات حساس اثرگذار است. در بررسی حوادث، تیم‌ها دیگر بر سر اینکه آیا یک عامل استقرار را بازگردانده یا خیر بحث نمی‌کنند؛ آن‌ها فقط رسید را باز می‌کنند تا ببینند ابزار در ساعت ۰۲:۱۴ اجرا شده و هش خروجی را چک می‌کنند.
برای صورت‌حساب مشتریان، رسیدهای پیوست‌شده به فاکتورها، عبارت «به من اعتماد کنید، عامل انجامش داد» را به یک رکورد قابل حسابرسی تبدیل می‌کند. برای توسعه‌دهندگان نیز حدس و گمان در جلسات عیب‌یابی حذف می‌شود. شما دیگر مجبور نیستید به یاد آورید که آیا عامل واقعاً بررسی را انجام داده یا فقط نتایج قبلی را خلاصه کرده است.
نکته حیاتی این است که رسید ثابت نمی‌کند نتیجه «درست» بوده، بلکه فقط ثابت می‌کند «اجرا» رخ داده است. اگر خود ابزار باگی داشته باشد، رسید همان نتیجه غلط را ثبت می‌کند؛ اما اثبات اجرا، اولین قدم برای بررسی صحت است.
Zambo در حال حاضر بیش از ۱۰۰ ابزار بومی با پروتکل زمینه مدل (MCP) ارائه می‌دهد تا این گردش‌کار را پیاده‌سازی کنند.
گام بعدی شما
- در گزارش‌های فنی خود، هرگونه ادعای موفقیت عامل‌های هوش مصنوعی را با یک لینک یا هش خروجی (Receipt) جایگزین کنید.
- ابزارهای ممیزی خود را به‌گونه‌ای تنظیم کنید که خروجی خام را در یک فضای ذخیره‌سازی امن هش کرده و شناسه آن را برگردانند.
- از تیم‌های عملیاتی بخواهید در جلسات Post-mortem، اسکرین‌شات‌های چت را به عنوان مدرک پذیرفته نشوند.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو