پرش به محتوای اصلی
پرش به محتوای مقاله

«جلوگیری از توهمات AI»؛ هدف لایه‌ی جدید اعتبارسنجی در گردش‌کار Gemini

·۸ تیر ۱۴۰۵۳ دقیقه مطالعه
راهنما
تحلیل‌گر خودمختار SOC با Microsoft Sentinel، Azure Log Analytics و Gemini
تحلیل‌گر خودمختار SOC با Microsoft Sentinel، Azure Log Analytics و Gemini
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

جداسازی کامل لایه‌ی تصمیم‌گیرنده (LLM) از لایه‌ی اجراکننده از طریق Allow-list؛ این یعنی مدل دیگر مجوز نوشتن کد دلخواه را ندارد و فقط می‌تواند از میان گزینه‌های تأییدشده انتخاب کند.

تصور کنید یک تحلیل‌گر امنیتی ساعت‌ها وقت خود را صرف نوشتن کدهای پیچیده برای یافتن یک اثر حمله می‌کند، در حالی که می‌توانست فقط سؤال خود را بپرسد. شکاف میان فرضیه‌ی یک شکارچی تهدید و دسترسی به داده‌های عملیاتی، دقیقاً جایی است که یک عامل (Agent) — شبیه دستیاری که دستورات شفاهی را به زبان فنی ماشین ترجمه می‌کند — وارد عمل می‌شود.

طبق گزارشی که در ۲۹ ژوئن ۲۰۲۶ منتشر شد، این پروژه از Gemini برای خودکارسازی فرآیند خسته‌کننده‌ی نوشتن زبان پرس‌وجوی کوستو (KQL) برای Microsoft Sentinel و Azure Log Analytics استفاده می‌کند. یافتن تهدیدات در داده‌های تله‌متری امنیتی معمولاً به دلیل کمبود داده شکست نمی‌خورد، بلکه به دلیل زمان زیادی است که برای نوشتن پرس‌وجوهای دقیق لازم است.

همان‌طور که در بحث‌های گذشته‌ی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، ریسک اجرای کدهای تولیدشده توسط AI در محیط‌های حساس بسیار بالاست. این گردش‌کار برای حل این مشکل، نقشه‌برداری دستی از فعالیت‌ها به تکنیک‌های حمله را با یک خط‌لوله ساختاریافته جایگزین می‌کند.

به نقل از راهنمای فنی dev.to، معماری این سامانه از یک توالی سخت پیروی می‌کند: ابتدا Gemini اهداف را انتخاب می‌کند، سپس حفاظ‌ها (Guardrails) آن‌ها را تأیید می‌کنند و در نهایت یک پرس‌وجوی KQL محدود اجرا می‌شود. ویژگی‌های فنی کلیدی این سیستم عبارت‌اند از:

  • اعتبارسنجی قطعی: هر جدول و فیلد پیش از اجرا با یک «فهرست مجاز» بررسی می‌شود تا از اجرای پرس‌وجوهای حاصل از توهم (Hallucination) — زمانی که مدل با اطمینان چیزی می‌گوید که وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — جلوگیری شود.
  • نگاشت تهدید: همراستاسازی خودکار یافته‌ها با چارچوب MITRE ATT&CK.
  • تست مصنوعی: استفاده از ابزارهای سفارشی برای تولید لاگ‌های جعلی Entra ID و شبکه جهت آزمایش عامل بدون افشای داده‌های حساس تولیدی.
  • سنجش عملیاتی: ردیابی داخلی برای میزان مصرف توکن (Token) — تکه‌های کوچکی از متن شبیه برش‌های کیک که مدل می‌خورد — تخمین هزینه و امتیاز اطمینان.

این رویکرد این فرض قدیمی را می‌شکند که عامل‌های AI برای مفید بودن باید دسترسی نامحدود به سیستم داشته باشند. با جداسازی «تصمیم‌گیری» (Gemini) از «اجرا» (کدهای قطعی)، ایمنی سیستم بدون کاهش سرعت رابط‌های زبان طبیعی تأمین شده است. برای کاربر عملیاتی، این بدان معناست که هوش مصنوعی به‌جای یک اپراتور جعبه‌سیاه، مانند یک مترجم سریع عمل می‌کند؛ تحلیل‌گر همچنان خلبان است و عامل تنها سینتکس و فیلتراسیون اولیه داده‌ها را مدیریت می‌کند.

گام بعدی شما

  • بررسی ساختار لاگ‌های (Schema) سازمان خود برای ایجاد فهرست‌های مجاز (Allow-lists).
  • آزمایش ابزارهای تولید داده مصنوعی برای تست عامل‌ها پیش از استقرار در محیط Production.
  • مطالعه‌ی مستندات KQL برای نظارت بر کیفیت خروجی‌های Gemini.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این رویکرد با تکیه بر اعتبار چارچوب MITRE و اعتبارسنجی سخت‌گیرانه، ریسک تخریب زیرساخت‌ها توسط AI را حذف می‌کند. در نتیجه، سرعت پاسخ به تهدیدات (MTTR) بدون به مخاطره انداختن پایداری سیستم افزایش می‌یابد.

تأثیر برای ایران

به‌دلیل محدودیت‌های API گوگل و مایکروسافت، پیاده‌سازی این گردش‌کار برای شرکت‌های ایرانی نیازمند زیرساخت‌های واسط است؛ با این حال، منطق اعتبارسنجی قطعی برای تیم‌های SOC داخلی بسیار کاربردی است.

·نگاه ما
تحریریه دات‌هوش

جایگزینی دسترسی مستقیم عامل با یک لایه اعتبارسنجی قطعی (Deterministic)، نقطه پایان دوران اعتماد کورکورانه به خروجی LLMها در محیط‌های Critical است. این معماری ثابت می‌کند که برای بهره‌وری از AI در امنیت، نیاز به مدل‌های هوشمندتر نیست، بلکه نیاز به لایه‌های نظارتی سخت‌گیرانه‌تر است که خروجی مدل را فیلتر کنند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.