ساختار Jev در برابر عامل‌های خودمختار؛ سرعت ۷ برابری در تشخیص خطا

اگر امروز برای عیب‌یابی زیرساخت‌های ابری خود به عامل‌های گران‌قیمت هوش مصنوعی متکی هستید، باید بدانید که یک جایگزین بسیار ارزان‌تر و سریع‌تر پیدا شده است. طبق گزارش ۷ اکتبر ۲۰۲۶ در وب‌سایت sregym.com، یک خط لوله‌ی تشخیص برنامه‌ریزی‌شده با مدل Jev توانسته است در ۲۱ مورد از خطاهای SREGym-Lite به نرخ موفقیت ۷۶.۲٪ دست یابد.

این نتیجه ثابت می‌کند که انتخاب ساختاریافته‌ی شواهد می‌تواند با مدل‌های استدلالی (Reasoning Model) — شبیه شطرنج‌بازی که چند حرکت جلوتر را می‌بیند — رقابت کند و نتایجی تقریباً یکسان با GPT-5.6 Sol ارائه دهد، در حالی که هزینه‌ی آن به شدت کمتر است.

مهندسی قابلیت اطمینان سایت یا SRE (Site Reliability Engineering) در حال حاضر اغلب بر عامل‌های گران‌قیمت مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — تکیه دارد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، این عامل‌ها گاهی در مسیر بررسی‌ها دچار سردرگمی می‌شوند. این مدل‌ها دستورات و گزارش‌های خود را تولید می‌کنند که باعث افزایش تأخیر و هزینه‌ی توکن‌ها می‌شود. رویکرد Jev بار اصلی را از دوش مدل به یک جمع‌کننده برنامه‌ریزی‌شده منتقل می‌کند و با هوش مصنوعی صرفاً به‌عنوان یک تصمیم‌گیرنده‌ی سریع برخورد می‌کند، نه یک نویسنده‌ی خلاق. این استراتژی مشابه رویکردی است که در کاهش نرخ توهم در تحلیل آسیب‌پذیری‌های npm از طریق اولویت‌دهی به شواهد مشاهده شد و دقت تشخیص را افزایش می‌دهد.

تصور کنید سیستمی دارید که حدس نمی‌زند چه چیزی را بررسی کند، بلکه منویی از شواهد خوشه‌ای را می‌بیند و فقط باید محتمل‌ترین مقصر را انتخاب کند. این روش ریسک توهم (Hallucination) — وقتی مدل با اطمینان چیزی می‌گوید که اصلاً وجود ندارد، مثل دوستی که خاطره‌ای را اشتباه تعریف می‌کند — در تولید دستورات را حذف کرده و آن را با مجموعه‌ای از قضاوت‌های چندگزینه‌ای جایگزین می‌کند.

سازوکار تشخیص

این خط لوله از یک توالی سخت‌گیرانه برای جمع‌آوری و انتخاب شواهد پیروی می‌کند. برخلاف یک عامل (Agent)، مدل Jev دستوراتی را تولید نمی‌کند یا گزارش نهایی را نمی‌نویسد؛ بلکه در هر مرحله از میان گزینه‌های ارائه‌شده انتخاب می‌کند.

• جمع‌آوری اولیه: یک جمع‌کننده برنامه‌ریزی‌شده، اشیاء کوبرنتیز، رویدادها، لاگ‌های اخیر پادها و میزان مصرف منابع را می‌خواند.
• خلاصه‌سازی اجزا: مشاهدات بر اساس هر جزء (مثلاً یک Deployment) گروه‌بندی می‌شوند تا نشانه‌های شکست برجسته شوند.
• انتخاب هدف: مدل Jev این خلاصه‌ها را دریافت کرده و محتمل‌ترین منبع خطا را برای بررسی دقیق‌تر انتخاب می‌کند.
• بررسی عمیق: جمع‌کننده جزئیات دقیق‌تری از جزء انتخاب‌شده می‌گیرد و موارد شواهدی را به‌صورت شماره‌دار آماده می‌کند.
• حکم نهایی: Jev تصمیم می‌گیرد که آیا این جزء منشأ خطا است، قربانیِ یک خطای بالادستی است یا اصلاً ارتباطی ندارد و سپس شواهدی را که بهترین پشتیبان پاسخ اوست، انتخاب می‌کند.

اگر شواهد نتوانند فرضیه را تأیید کنند، خط لوله کاندیدای بعدی را بررسی می‌کند. در این نسخه، کاندیداها یکی‌یکی بررسی می‌شوند.

بنچمارک‌های عملکرد

بر اساس مستندات مربوط به تست‌های ۴ سپتامبر روی گروه SREGym-Lite با استفاده از نسخه jev-1.13.0، این سامانه ثبات عجیبی از خود نشان داد. برای هر خطای تست‌شده، سیستم یا در هر ۵ تلاش موفق بود یا در هر ۵ تلاش شکست خورد. این یعنی نتیجه بیشتر به شواهد ارائه‌شده وابسته است تا تصادفی بودن مدل. در ۱۸ مورد از ۲۱ خطا، هر ۵ تلاش دقیقاً امتیاز تشخیص یکسانی گرفتند.

تشخیص‌ها توسط gpt-6-astra با تلاش استدلالی بالا و بر اساس معیار ۹ پرسشی SREGym با آستانه قبولی ۰.۷۰ امتیازدهی شدند. این تست روی گروه تاریخی ۲۱ خطایی انجام شد، نه روی لیدربورد فعلی.

شاخص‌های کلیدی عملکرد عبارت‌اند از:

• صحت (Accuracy): ۸۰ مورد از ۱۰۵ تشخیص پذیرفته شد (۷۶.۲٪).
• قابلیت اطمینان: ۱۶ مورد از ۲۱ خطا در هر ۵ تلاش پاس شدند؛ ۵ مورد در هر ۵ تلاش شکست خوردند.
• سرعت: میانه زمان تشخیص ۱۴.۶ ثانیه بود.
• کارایی: میانه مجموع تأخیر API در هر تلاش تنها ۰.۵۳ ثانیه بود.
• مقیاس: در مجموع ۲۵۲ فراخوانی Jev (به‌طور متوسط ۲.۴ مورد در هر تلاش) و ۳.۴۸ میلیون توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — مصرف شد.
• هزینه: کل هزینه استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، مثل خودِ آشپزی نه دوره‌ی آموزش آشپز — برای این اجرا بر اساس قیمت‌های TypeSafe حدود ۰.۱۵ دلار تخمین زده شد.

در مقایسه با GPT-5.6 Sol (medium) که نرخ قبولی ۷۷.۸٪ دارد، Jev حدود ۷ برابر سریع‌تر است و هزینه هر تشخیص آن تقریباً ۲۰۰ برابر کمتر است.

مطالعه موردی: خطای Webhook

یکی از تشخیص‌های موفق مربوط به خطای mutating_webhook_resource_limits_social_network در اپلیکیشن Social Network بود. در این سناریو، پادهای nginx-thrift به دلیل تغییر محدودیت حافظه از ۲۵۶ مگابایت به ۱۶ مگابایت توسط یک mutating admission webhook در حال کرش کردن بودند.

پیدا کردن علت دشوار بود چون چهار پیکربندی دیگر برای وب‌هوک وجود داشت و جست‌وجو بر اساس نام به‌تنهایی کافی نبود. جمع‌کننده ۲۷ Deployment را در فضای نام social-network شناسایی کرد و عدم تطابق بین پاد و قالب آن را تشخیص داد.

سپس Jev به دو سؤال چندگزینه‌ای بر اساس خلاصه پاسخ داد. خط لوله ۲۶ مورد شواهد دقیق را ارائه کرد و Jev مورد E10 را به‌عنوان شاهد کلیدی انتخاب کرد. در نهایت سامانه استنتاج کرد که وب‌هوک مربوطه باعث تغییر محدودیت حافظه شده است. هر ۵ تلاش برای این خطا، معیار قبولی را پاس کردند.

حالت‌های شکست و محدودیت‌ها

با وجود نرخ موفقیت بالا، خط لوله در دو حالت شکست خورد. نخست اینکه Jev گاهی سرنخ اشتباه را ترجیح داد. در خطای edge_request_filter_cpu_saturation در Astronomy Shop، درخواست‌های مهندسی‌شده WAF باعث اجرای یک regex سنگین در frontend-proxy و اشباع CPU شد. جمع‌کننده هم تغییر regex و هم محدودیت جدید ۱۰۰ میلی‌کره CPU را به‌عنوان شاهد ارائه کرد. Jev در هر ۵ تلاش، محدودیت CPU (مورد E8) را انتخاب کرد و امتیاز ۰.۶۷ گرفت چون داور توضیح را رد کرد.

دوم اینکه سیستم در تعاملات چندسرویسه مشکل داشت. در خطای search_rate_retry_collapse_hotel_reservation در Hotel Reservation، انفجار ترافیک باعث پر شدن صف rate شد و search تماس‌های تایم-اوت شده را مجدداً تلاش کرد و سیستم را در وضعیت اورلود نگه داشت. Jev روی rate و محدودیت ۲۰-QPS بک‌اند آن تمرکز کرد. خط لوله شکست خورد چون از Jev خواست تنها یک جزء ریشه را انتخاب کند، در حالی که خطا در تعامل بین دو سرویس بود. همچنین جمع‌کننده معیارهای حیاتی عمق صف و تعداد تلاش‌های مجدد را حذف کرده بود.

این موضوع نشان می‌دهد که جزئیات وضعیت خوشه — یعنی آنچه جمع‌کننده تصمیم می‌گیرد به مدل نشان دهد — به اندازه توانایی استدلال مدل حیاتی است. مقدار زیاد YAML سیگنال را دفن می‌کند و مقدار کم، علت را می‌پوشاند.

برای تیم‌های SRE، این یک چرخش به سمت ادغام AI در دو سطح «سیستم ۱» (سریع و شهودی) و «سیستم ۲» (کند و تحلیلی) است. Jev به‌عنوان ابزار خط اول سریع عمل می‌کند و مدل‌های پیچیده‌تر LLM را می‌توان برای ۲۳.۸٪ از مواردی که نیاز به بررسی گسترده‌تر بین‌سرویسی دارند، رزرو کرد.

توسعه‌دهندگان قصد دارند خط لوله را برای خطاهایی که بین سرویس‌ها پخش شده‌اند یا در طول زمان تکامل می‌یابند، گسترش دهند. این کار شامل جمع‌آوری سیگنال‌های سطح درخواست و تغییرات متریک‌هاست. آن‌ها همچنین قصد دارند مدل‌های تخصصی مانند GPT-6 Luna را برای تبدیل تله‌متری ساختاریافته به زبان طبیعی برای مصرف توسط Jev ادغام کنند.

گام بعدی شما

• اگر از معماری‌های میکروسرویس استفاده می‌کنید، فرآیند جمع‌آوری شواهد (Evidence Collection) را از تولید دستورات توسط LLM جدا کنید تا هزینه و توهمات کاهش یابد.
• برای عیب‌یابی‌های سریع، از مدل‌های کوچک‌تر و سریع‌تر (SLM) به‌عنوان فیلتر اول و مدل‌های استدلالی سنگین را برای موارد پیچیده رزرو کنید.
• روی استخراج دقیق‌تر متریک‌های تعاملی بین سرویس‌ها (مانند عمق صف و نرخ Retry) تمرکز کنید تا نقاط کور مدل‌های تشخیص برطرف شود.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.