تصور کنید یک اختلال بحرانی در زیرساخت شما رخ داده و شما به جای یک مهندس SRE باسابقه، یک عامل هوش مصنوعی را برای یافتن علت خطا به کار می‌گیرید؛ احتمال شکست این سیستم در سناریوهای متوسط، ۷۴.۷٪ است.
طبق داده‌های منتشر شده در ۳۰ جولای ۲۰۲۶، عامل‌های پیشرو هنوز برای مدیریت پایداری محیط‌های عملیاتی قابل‌اعتماد نیستند. محک ORCA-bench (ORCA-bench) یک شکاف استدلالی بحرانی را افشا کرده است: مدل‌ها اگرچه می‌توانند کد بنویسند، اما در تشخیص حوادث با استفاده از داده‌های تله‌متری (Telemetry) نویزی و واقعی شکست می‌خورند. این چالش‌ها در ادامه‌ی بحث‌هایی است که درباره‌ی نقص‌های ساختاری در معیارهای ارزیابی مدل‌ها داشتیم، جایی که OpenAI پیش‌تر درباره‌ی معیوب بودن بخشی از سناریوهای محک کدنویسی هشدار داده بود.
تحلیل ریشه یا RCA (Root Cause Analysis) با کدنویسی استاندارد متفاوت است؛ زیرا نیازمند ترکیب گزارش‌های مبهم کاربران با داده‌های پراکنده است. در یک محیط شبیه‌ساز عملیات، عامل‌ها (Agents) باید در میان متریک‌ها، لاگ‌ها و ردپاها (Traces) جست‌وجو کنند تا منشأ شکست را بیابند، آن هم در حالی که احتمالاً چندین ساعت از شروع حادثه گذشته است. در این راستا، برخی رویکردها برای خودکارسازی RCA با استفاده از ابزارهای نظارتی پیشنهاد شده‌اند، اما نتایج ORCA-bench نشان می‌دهد فاصله تا بهره‌برداری واقعی هنوز زیاد است.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی محدودیت‌های استدلالی مدل‌های زبانی اشاره کردیم، دسترسی به کد به تنهایی برای حل مسائل سیستمی کافی نیست. برای اثبات این موضوع، پژوهشگران یک سیستم میکروسرویس مجهز به OpenTelemetry طراحی کردند که شامل موارد زیر است:
- ۶ روز داده‌های تله‌متری واقعی از طریق Prometheus، Jaeger و OpenSearch (با دسترسی از طریق Grafana).
- ۱٬۰۷۹ تسک منتخب RCA که توسط مهندسین ارشد SRE تأیید شده‌اند.
- دسترسی کامل به کد منبع سیستم.
به گزارش arxiv.org، در میان پنج عامل پیشرو، از جمله Claude Fable 5، بالاترین نرخ صحت در تسک‌های متوسط تنها ۲۵.۳٪ بود و این رقم در تسک‌های سخت به ۱۰.۰٪ سقوط کرد. فاجعه‌بارترین نقطه، توهم (Hallucination) مدل‌ها بود؛ ضعیف‌ترین مدل در ۴۰٪ گزارش‌ها، علل ریشه‌ای تخیلی و نامحتمل را ابداع کرد. همچنین بر اساس مستندات این پژوهش، حذف دسترسی به کد منبع، تمامی معیارهای عملکرد را در تمام مدل‌ها کاهش داد.
این نتایج، این فرض رایج در صنعت را که «مهارت کدنویسی عمومی به معنای توانایی SRE است» به چالش می‌کشد. با توجه به اینکه این محیط آزمونی ۵۰ گیگابایتی، بسیار کوچک‌تر از سیستم‌های واقعی تولید است، نرخ شکست‌های مشاهده‌شده تنها «حداقلِ» تلاش مهندسی مورد نیاز برای رسیدن به مدیریت ایمن زیرساخت توسط هوش مصنوعی است.
گام بعدی شما
- مجموعه‌داده‌های عمومی ORCA-bench را برای ارزیابی عامل‌های داخلی خود در سناریوهای واقعی بررسی کنید.
- در طراحی عامل‌های عملیاتی، بر ترکیب داده‌های تله‌متری و کد منبع به‌جای اتکای صرف به یکی از آن‌ها تمرکز کنید.
- نرخ توهم مدل‌ها را در گزارش‌های RCA به طور جداگانه مانیتور کنید تا از تصمیمات خطرناک جلوگیری شود.
اما این شکست در استدلال، تنها بخشی از چالش است؛ تأثیر معماری‌های جدید استنتاج بر کاهش این نرخ‌های خطا را در گزارش بعدی بررسی خواهیم کرد.
گفتگو