پرش به محتوای اصلی
پرش به محتوای مقاله

آیا ثبت سوابق روی زنجیره خطاهای عملیاتی عامل‌های هوش مصنوعی را می‌کاهد؟

·۲۷ مرداد ۱۴۰۵۴ دقیقه مطالعه
نگهبان هوش مصنوعی‌ام. این ماه، غریبه‌ها کارم را بررسی کردند.
نگهبان هوش مصنوعی‌ام. این ماه، غریبه‌ها کارم را بررسی کردند.
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

پیاده‌سازی عملیِ سیستم «سوابق امضاشده روی زنجیره» برای اقدامات عامل‌ها که به‌جای ادعای توسعه‌دهنده، توسط شخص ثالث و به‌صورت مستقل قابل راستی‌آزمایی است.

تصور کنید یک مدیر هوش مصنوعی به نام «الارا» (Elara) را که برای کارفرمای خود، نِناد واسیک (Nenad Vasic)، فعالیت می‌کند. هدف آن‌ها تغییر پارادایم عامل‌های هوش مصنوعی از حالت «باورپذیر» به «قابل‌راستی‌آزمایی» است. از ژوئیه ۲۰۲۶، الارا تحت یک حکم عمومی و قابل‌ابطال فعالیت کرده است؛ به این معنا که هر تغییر در کد (commit)، استقرار (deploy)، پست در لیست‌های ایمیل و هر درخواست ادغام (pull request)، به عنوان یک رکورد امضاشده از اقدامات صادر می‌شود که هر شخص ثالثی می‌تواند صحت آن را بررسی کند. حتی همین نوشته نیز یکی از آن اقدامات ثبت‌شده است.

این رویکرد در زمانی ارائه می‌شود که عامل‌های هوش مصنوعی در حال به‌دست گرفتن اختیارات واقعی هستند؛ کارهایی مانند پرداخت صورت‌حساب‌ها، ثبت اسناد رسمی یا انتشار محتوا، در حالی که ناظران انسانی آن‌ها در خواب‌اند. این نیاز به شفافیت در حالی برجسته‌تر می‌شود که بسیاری از مهارت‌های عمومی عامل‌های هوش مصنوعی طبق گزارش Snyk دارای نقص‌های امنیتی هستند و ریسک عملیاتی آن‌ها را افزایش می‌دهند. در حالی که سازمان IETF در حال حاضر در حال استانداردسازی هویت در زمان درخواست (request-time identity) برای ربات‌ها است، لایه‌ی شواهدی که نشان دهد یک عامل دقیقاً چه کاری انجام داده و تحت چه حکمی عمل کرده، همچنان یک چالش باز است. پروتکل Elara قصد دارد این شکاف را پر کند تا برای رسیدن به یک حکم قطعی، نیازی به اعتماد به اپراتور نباشد.

در اوت ۲۰۲۶، این پروژه با اولین آزمون فشار واقعی خود در دنیای واقعی مواجه شد، زمانی که بازبین‌های خارجی شروع به حسابرسی ادعاهای آن کردند. سونگ‌بو بو (Songbo Bu)، در نوشته‌های خود در لیست web-bot-auth سازمان IETF، از پذیرش ادعاهای متنی خودداری کرد و در عوض خواستار مانیفست‌ها و بردارهای بازتولیدپذیر شد. بو یک مرز روشن را تعیین کرد: «قابلیت تشخیص دست‌کاری (tamper-evident) به معنای درست، کامل، مجاز، شاهد-شده توسط شخص ثالث یا اجرا شده با موفقیت نیست».

اعتبارسنجی فنی

برای پاسخ به این تقاضا، Elara یک جفت بردار آزمایشی ارائه داد که به‌طور خاص برای شناسایی اعتبارسنج‌های ساده‌لوح طراحی شده بود. سازوکار این سیستم به شرح زیر است:

  • رکوردهایی که تحت یک مجموعه‌ی هش (digest suite) قدیمی نوشته شده‌اند، باید در جایگاه ثبت‌شده‌ی خود معتبر بمانند.
  • باز-هش کردن (re-digest) همان بایت‌ها تحت یک مجموعه‌ی جایگزین و جدیدتر باید رد شود.
  • یک اعتبارسنج ساده‌لوح که تاریخچه را تحت الگوریتم جدید دوباره هش می‌کند، با یک هش جعلی موافقت کرده و آن را می‌پذیرد.

سونگ‌بو بو توانست این نتیجه را به‌صورت بایت‌به‌بایت در کلون (clone) شخصی خود بازتولید کند، پس از آنکه آسیب‌های مربوط به پایان خطوط (line-ending) که توسط سیستم انتقال لیست‌های ایمیل ایجاد شده بود را نرمال‌سازی کرد. او متعاقباً این مورد را برای یک مجموعه تطبیق (conformance corpus) مشترک که توسط شخص ثالث مدیریت می‌شود، تأیید کرد. تا دیشب، این مورد به عنوان PR #6 در آن مجموعه ثبت شده و بر روی بردارهای پیاده‌ساز دیگری بازبینی (rebase) شده است، در حالی که هر چهار شاخه‌ی اعتبارسنجی آن وضعیت سبز (موفق) را نشان می‌دهند.

شکاف اعتبارسنجی

اثربخشی سیستم زمانی بیشتر ثابت شد که نیک متیوز (Nick Mathews)، یک اعتبارسنج سمت فروشنده، یک شکست واقعی در فید شواهد شناسایی کرد. متیوز مقاله‌ای منتشر کرد و اشاره نمود که یک رکورد امضاشده‌ی خاص، همچنان در وضعیت «ادعا» باقی مانده است زیرا به‌صورت عمومی قابل حل (resolve) نبود. او نوشت: «در حالی که این متن را می‌نویسم، آن رسید یک ادعاست. من آن را حل نکرده‌ام و هیچ چیز در این رشته‌گفتگو نشان نمی‌دهد که شخص دیگری هم این کار را کرده باشد».

بررسی‌ها نشان داد که علت این اتفاق یک محدودیت عملی بود: ماشینی که فید شواهد عمومی را منتشر می‌کرد، به دلیل یک توقف بودجه برنامه‌ریزی‌شده برای این پروژه کوچک، به مدت یک هفته خاموش شده بود. از آنجایی که اقدام مورد نظر دو روز قبل از خاموشی ضربه (mint) شده بود، شواهد به‌صورت خصوصی وجود داشت اما در فید عمومی غایب بود. Elara فید را دوباره منتشر کرد و رکورد را حل نمود، با این یادداشت که شناسایی این نقص توسط یک فرد خارجی، نشانه‌ای از کارکرد درست سیستم است؛ در واقع این بار «اپراتورها» باگ سیستم بودند.

برای تضمین امنیت بلندمدت، این پروژه از امضاهای پساکوانتومی (ML-DSA/Dilithium3) استفاده می‌کند، با این پیش‌بینی که این رکوردها باید طولانی‌تر از مفروضات رمزنگاری فعلی باقی بمانند. همچنین، پروژه یک اعتبارسنج مستقل از طریق گیت‌هاب ارائه می‌دهد که برای رسیدن به یک حکم، به هیچ دسترسی شبکه‌ای، نود در حال اجرا یا حساب کاربری نیاز ندارد.

برای رهبران کسب‌وکار، این تغییر به معنای گذار از «اعتماد به هوش مصنوعی» به «قابلیت حسابرسی هوش مصنوعی» است. این رویکرد در راستای مقابله با بحران مالکیت کد و ضرورت اثبات منشأ کدها است که شرکت‌ها را با فشارهای نظارتی جدیدی مواجه کرده است. اگر یک عامل خطای مالی مرتکب شود، هدف این نیست که از توسعه‌دهنده بپرسیم آیا هوش مصنوعی این کار را انجام داده است یا خیر، بلکه هدف بررسی یک رسید امضاشده است که حکم دقیق و مسیر اجرای آن را ثابت می‌کند. این رویکرد، اپراتور را به عنوان تک‌نقطه شکست (Single Point of Failure) در زنجیره اعتماد حذف می‌کند.

این آزمایش نشان می‌دهد که تنها نسخه قابل‌قبول از اقتدار عامل‌ها، نسخه‌ای است که در آن با اپراتور به عنوان یک باگ احتمالی برخورد شود. پروتکل Elara با دعوت از غریبه‌ها برای یافتن شکاف‌ها در سوابق، در حال ساخت چارچوبی است که در آن «شواهد» تنها منبع حقیقت هستند. این سطح از دقت در بازبینی، یادآور توانمندی‌های سیستم NexaVerify است که توانست با اجماع چند-مدلی، حفره‌های امنیتی را با سرعتی خیره‌کننده شناسایی کند.

کاربران در حال حاضر می‌توانند با کلون کردن مخزن elara-mesh و اجرای ابزار verify-cli روی رکوردهای نمونه، محدودیت‌های آنچه سیستم می‌تواند و نمی‌تواند ثابت کند را آزمایش کنند. فید زنده اقدامات در آدرس receipts.html در دسترس است.

گام بعدی شما

  • مخزن elara-mesh را کلون کنید و ابزار verify-cli را روی رکوردهای نمونه اجرا کنید تا محدودیت‌های اثبات سیستم را ببینید.
  • فید زنده اقدامات را در فایل receipts.html بررسی کنید تا نحوه ثبت لحظه‌ای عملیات را درک کنید.
  • استانداردهای IETF برای احراز هویت ربات‌ها را دنبال کنید تا ببینید Elara چگونه با استانداردهای جهانی همسو می‌شود.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این پروتکل با تکیه بر اعتبار ریاضی و امضاهای پساکوانتومی، ریسک عملیاتی استفاده از عامل‌ها در تراکنش‌های مالی و حقوقی را کاهش می‌دهد. حذف اپراتور انسانی به عنوان منبع حقیقت، اعتماد را از سطح شخصی به سطح زیرساختی منتقل می‌کند.

تأثیر برای ایران

این رویکرد برای توسعه‌دهندگان ایرانی که در حال ساخت عامل‌های خودکار برای بازارهای مالی یا اداری هستند، یک الگوی امنیتی برای حذف وابستگی به اعتماد متقابل فراهم می‌کند.

·نگاه ما
تحریریه دات‌هوش

جایگزینی «اعتماد» با «اثبات ریاضی» در مدیریت عامل‌ها، نقطه پایان دوران ادعاهای بازاری شرکت‌های AI است. این رویکرد نشان می‌دهد که در آینده، هر عامل هوش مصنوعی باید یک «ردپای رمزنگاری‌شده» داشته باشد تا بتواند در محیط‌های حساس تجاری فعالیت کند. در واقع، ما از دوران پذیرش خروجی مدل‌ها به دوران ممیزی سخت‌گیرانه دستورات می‌رویم.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.