پرش به محتوای اصلی
پرش به محتوای مقاله

استاندارد AEL شکاف اعتماد به عامل‌های هوش مصنوعی را با لایه‌بندی شواهد پر می‌کند

·۱۳ تیر ۱۴۰۵۳ دقیقه مطالعه
سطوح شواهد عامل (AEL): درجه‌بندی شواهدی که عامل هوش مصنوعی شما بر جای می‌گذارد
سطوح شواهد عامل (AEL): درجه‌بندی شواهدی که عامل هوش مصنوعی شما بر جای می‌گذارد
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

معرفی اولین مقیاس درجه‌بندی‌شده (از ۰ تا ۴) برای تأیید دست‌نخورده بودن تاریخچه عامل‌ها، که فراتر از لاگ‌های ساده رفته و از لنگرهای خارجی برای جلوگیری از جعل تاریخچه استفاده می‌کند.

تصور کنید یک عامل هوش مصنوعی در سیستم بانکی شما تغییری ایجاد کند و وقتی دلیلش را می‌پرسید، مدل با اطمینان ادعا کند که هیچ اتفاقی نیفتاده است. در دنیای عملیاتی، تکیه به «گزارش‌های دست‌نخورده» شرکت‌های سازنده دیگر برای امنیت پیشرفته کافی نیست.

طبق اعلام شرکت luckyPipewrench در ۴ ژوئیه ۲۰۲۶، چارچوب Agent Evidence Levels (AEL) به عنوان یک استاندارد متن‌باز معرفی شد تا تعیین کند چه مقدار از فعالیت‌های یک عامل (Agent) — ابزاری هوشمند که می‌تواند به‌جای کاربر اقدام کند — توسط یک شخص ثالث بدون نیاز به اعتماد به فروشنده قابل تأیید است.

بسیاری از توسعه‌دهندگان با یک شکاف بحرانی روبه‌رو هستند: دانستن اینکه عامل یک حمله را متوقف کرده یک چیز است، اما اثبات اینکه این اتفاق بدون حذف هیچ بخشی از تاریخچه رخ داده، موضوع دیگری است. این چالش با نرخ بالای شکست در محیط‌های عملیاتی همسو است، چرا که بسیاری از مدل‌های آزمایشی عامل‌ها به دلیل نبود شواهد دقیق در اجرا شکست می‌خورند. AEL این مشکل را حل می‌کند؛ به جای ادعاهای مبهم، شواهد را به صورت یک «رده یا نمره» قابل نمایش ارائه می‌دهد. برای تضمین صداقت، این سیستم همراه با یک بررسی‌کننده مرجع و مجموعه‌ای از داده‌های تطبیق عرضه می‌شود تا هر کسی بتواند ادعاهای فروشنده را حسابرسی کند.

همان‌طور که در تحلیل قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، شفافیت در لایه اجرا کلید اعتماد است. این رویکرد یادآور تلاش‌های پیشین برای ایجاد خروجی‌های غیرقابل‌تغییر از طریق گواهی‌های رمزنگاری است که اکنون در AEL به صورت لایه‌بندی شده پیاده شده است. این چارچوب پنج سطح مختلف از قابلیت اطمینان شواهد را تعریف می‌کند:

  • AEL-0: اصالت پایه. رکوردها امضا شده و با هش (Hash) به هم متصل‌اند؛ بنابراین حذف داده‌های داخلی قابل شناسایی است، اما بریدن انتهای تاریخچه همچنان ممکن است.
  • AEL-1: ضربان‌های قلب (Heartbeats) امضاشده و تیک‌های پایانی، باعث می‌شوند شکاف‌های خاموش یا نبود بخش انتهایی تاریخچه کاملاً آشکار شود.
  • AEL-2: شناسایی حذف در دامنه‌های متقاطع. یک ثبت‌کننده دوم با کلید امضا متفاوت، شکاف‌هایی را پیدا می‌کند که توسط یک طرف ثبت شده اما طرف دیگر نادیده گرفته است.
  • AEL-3: لنگر خارجی. سرهای زنجیره در یک گزارش خارجیِ «فقط-افزودنی» ثبت می‌شوند تا از ارائه نسخه‌های متناقض تاریخچه جلوگیری شود.
  • AEL-4: تأیید طرف مقابل. مقصد دقیقاً گواهی می‌دهد که چه چیزی دریافت کرده است، حتی اگر تأیید کند که «هیچ‌چیزی» دریافت نکرده است.

علاوه بر این، در صورتی که یک تصمیم بتواند از روی ورودی‌های ثبت‌شده دوباره استنتاج شود، پسوند R (تکرارپذیری) به رده اضافه می‌شود. بر اساس مستندات luckyPipewrench، هیچ سطحی کامل‌بودن مطلق را در برابر دارنده‌ی کلید ثابت نمی‌کند؛ بلکه با افزودن شواهد امضاشده‌ی مستقل، رده‌ی مدل «خریداری» می‌شود.

این تغییر، حسابرسی عامل‌ها را از یک وضعیت دوتایی (داشتن یا نداشتن لاگ) به طیفی دقیق از قابلیت تأیید تبدیل می‌کند. برای توسعه‌دهندگان، این یعنی گفتگو با فروشنده حالا به دو پرسش مشخص تبدیل شده است: این شواهد در بررسی‌کننده مرجع چه نمره‌ای می‌گیرند و چه کسی خارج از دامنه‌ی اعتماد می‌تواند یک رکورد حذف‌شده را شناسایی کند؟

نویسنده پروژه قصد دارد پس از پذیرش گسترده، این واژگان را به یک نهاد بی‌طرف واگذار کند. در حال حاضر می‌توانید مشخصات فنی و ابزار بررسی را در github.com/luckyPipewrench/agent-evidence-levels برای تست عامل‌های خود بیابید.

گام بعدی شما

  • اگر از عامل‌های اجرایی در محیط عملیاتی استفاده می‌کنید، سطح شواهد فعلی خود را با استانداردهای AEL تطبیق دهید.
  • در قراردادهای سطح خدمات (SLA) با فروشندگان AI، رده AEL مورد نیاز برای اهداف امنیتی خود را تعیین کنید.
  • ابزار بررسی مرجع AEL را روی لاگ‌های فعلی خود اجرا کنید تا نقاط کور امنیتی را بیابید.

این تنها آغاز ماجراست؛ اثر موج‌گونه‌ی این استاندارد بر نحوه طراحی سیستم‌های چندعاملی را در گزارش بعدی بررسی خواهیم کرد.

چرا این موضوع مهم است؟

این استاندارد با ایجاد یک زبان مشترک برای اندازه‌گیری شفافیت، اعتماد به سیستم‌های خودکار را از سطح ادعایی به سطح اثباتی می‌برد. اعتبار این مدل بر پایه ریاضیات رمزنگاری است و نه وعده‌های تجاری شرکت‌های سازنده.

تأثیر برای ایران

این چارچوب به‌دلیل متن‌باز بودن، برای توسعه‌دهندگان ایرانی که در حال ساخت عامل‌های محلی هستند، مسیری رایگان برای ارتقای استانداردهای امنیتی و جلب اعتماد مشتریان سازمانی فراهم می‌کند.

·نگاه ما
تحریریه دات‌هوش

جایگزینی «اعتماد به فروشنده» با «رده‌بندی ریاضی شواهد»، نقطه‌ی پایان دوران چک‌های سفید در امنیت AI است. این رویکرد باعث می‌شود امنیت از یک ویژگی بازاریابی به یک پارامتر مهندسی تبدیل شود که می‌توان آن را خرید یا ارتقا داد. به نظر ما، این استاندارد پیش‌نیاز تبدیل شدن عامل‌ها به موجودات قابل حسابرسی در محیط‌های حساس مالی و حقوقی است.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.