پرش به محتوای اصلی
پرش به محتوای مقاله

«مسدود کردن ادعاهای بی‌پشتوانه»؛ استراتژی جدید AletheionAGI برای حذف توهمات

·۲۳ مرداد ۱۴۰۵۴ دقیقه مطالعه۳ بازدید
هوش مصنوعی شما را به یاد می‌آورد، نه حدس می‌زند.
هوش مصنوعی شما را به یاد می‌آورد، نه حدس می‌زند.
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

جایگزینی منطق اعتبارسنجی از داخل LLM با یک لایه زیرساختی قطعی و مستقل از مدل (Reader-independent) که نرخ Recall را به ۹۳.۶٪ رسانده است.

اگر برای سیستم‌های پشتیبانی مشتری AI هزینه می‌پردازید، احتمالاً با کابوس «پاسخ‌های متقاعدکننده اما غلط» دست‌وپنجه نرم می‌کنید. نرخ بازیابی ۹۳.۶٪ در پرسش‌های پشتیبانی، استاندارد جدیدی را برای حافظهٔ عملیاتی هوش مصنوعی تعریف کرده است.

برای رسیدن به این عدد، AletheionAGI ابزاری به نام Grounding Bridge را عرضه کرد. این ابزار مشکل «حدس زدن» در مدل‌های مشتری‌محور را با ایجاد یک مرز سخت‌گیرانه بین شواهد بازیابی‌شده و پاسخ نهایی حل می‌کند. در واقع، این لایه اجازه نمی‌دهد هیچ پاسخی بدون سند معتبر از محیط سیستم خارج شود. این رویکرد پاسخی است به چالشی که در آن بسیاری از عامل‌های پشتیبانی هوش مصنوعی به‌دلیل عدم دسترسی به لایه‌ی اجرا شکست می‌خورند.

بیشتر شرکت‌ها در حال حاضر به مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — اعتماد می‌کنند تا تصمیم بگیرد آیا اطلاعات کافی برای پاسخ دارد یا خیر. طبق گزارش‌های فنی، این رویکرد منجر به توهم (Hallucination) می‌شود؛ یعنی مدل وقتی داده‌ای را نمی‌یابد، پاسخی باورپذیر اما ساختگی ابداع می‌کند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، سپردن نظارت به خودِ مدل ریسک بالایی دارد. AletheionAGI این مسئولیت را از مدل گرفته و به یک لایهٔ زیرساختی قطعی منتقل کرده است.

به نقل از مستندات فنی aletheionagi.com، این سیستم از ترکیبی از ASM-CM، BM25 و بازیابی (Retrieval) برداری برای ایجاد یک «حافظه معیار» استفاده می‌کند. این لایه تضمین می‌کند که تنها شواهد تأییدشده به مدل خواننده برسند. نکته کلیدی این است که سیستم «مستقل از خواننده» است؛ یعنی شما می‌توانید مدل LLM خود را بدون تغییر در منبع حقیقت، عوض کنید.

عملکرد فنی و ایمنی

در یک محک (Benchmark) شامل ۹۷۹ پرسش پشتیبانی با استفاده از مدل Qwen3 14B، پیکربندی ASM-CM + Bridge 8.1 نتایج زیر را ثبت کرد:

  • Recall@5: ۹۳.۶٪ (در مقابل ۷۰٪ برای RAG برداری استاندارد و ۷۵.۹٪ برای BM25).
  • امتیاز پاسخ تشخیصی: ۶۶.۵٪ (برتر از RAG برداری با ۴۹.۷٪).
  • بهره‌وری: حدود ۱.۰۹ هزار توکن (Token) — تکه‌های کوچکی از متن شبیه برش‌های کیک — برای هر پرسش، که بسیار کمتر از روش‌های سنتی است.

این پلتفرم همچنین ادعا می‌کند که در ۴۵ سناریوی آزمایشی، نرخ مهار ۱۰۰ درصدی برای خروجی‌های ناایمن داشته است. این سیستم ۲۲ کلاس شکست را شناسایی می‌کند تا داده‌های یک مشتری هرگز بر پاسخ مشتری دیگر اثر نگذارد. این دسته‌بندی شامل موارد زیر است:

  • یکپارچگی بازخورد: مقابله با بازخوردهای مخرب و حلقه‌های تأیید خودارجاعی.
  • بازیابی معنایی: رفع فعال‌سازی‌های معنایی غلط و انتقال بازخوردهای بین‌زبانی.
  • تحویل مبنی‌شده: جلوگیری از اینکه استنادهای معتبر، ادعاهای بدون پشتوانه را بپوشانند.
  • ایزولاسیون و چرخه عمر: مسدود کردن نشت داده‌ها بین فضای نام‌ها و تزریق پرامپت (Prompt Injection) ذخیره‌شده در حافظه. این لایه‌های ایزولاسیون برای جلوگیری از نفوذهای سیستمی حیاتی هستند، مشابه آنچه در سنجش امنیت سیستم‌فایل با استفاده از فایل‌های تله بررسی کردیم.

گردش کار مبنی‌سازی

این سیستم در چهار مرحله عمل می‌کند: ابتدا رویدادهای معیار را تحت اختیار کاربر می‌نویسد؛ سپس داده‌ها را از مسیرهای چندگانه بازیابی می‌کند؛ در مرحله سوم کاندیداها را از طریق برچسب‌ها تأیید می‌کند و در نهایت، هر ادعایی که توسط شواهد پشتیبانی نشود را مسدود می‌کند.

این فرآیند توسط یک پروتکل ارزیابی ثابت با بودجهٔ ۲ هزار توکن شواهد مدیریت می‌شود. برای توسعه‌دهندگان، این یعنی LLM دیگر داور نهایی حقیقت نیست. اگر لایه مبنی‌سازی سندی نیابد، پاسخ پیش از رسیدن به مشتری مسدود می‌شود. این رویکرد «بسته‌شدن در صورت شکست» (Fail-closed) برای محیط‌های حساس طراحی شده است و سعی دارد شکاف میان تست و تضمین را که عامل شکست مقیاس‌پذیری در سازمان‌هاست پر کند:

  • پشتیبانی مشتری: تاریخچه حساب را مفید نگه می‌دارد بدون اینکه حافظه قدیمی پاسخ را منحرف کند.
  • عامل‌های تجاری: ترجیحات را بازیابی می‌کند در حالی که مرزهای فضای نام برای شخصی‌سازی ایمن حفظ می‌شود.
  • کمک‌خلبان‌های داخلی: زمینه سازمانی را فراهم می‌کند و در صورت نبود شواهد، صراحتاً از پاسخ دادن امتناع می‌کند.

این معماری این فرض را تغییر می‌دهد که کیفیت تولید بازیابی‌افزا (RAG) — مثل دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند — فقط به مدل بردار یا استدلال LLM وابسته است. با تبدیل مبنی‌سازی به یک مرز امنیتی به جای یک ترفند مهندسی پرامپت، تمرکز بر روی «منشأ قابل حسابرسی» داده‌ها قرار می‌گیرد.

برای کسانی که سیستم‌های مشتری‌محور مستقر می‌کنند، یک ادعای ساختگی می‌تواند فوراً به برند آسیب بزند. انتقال منطق اعتبارسنجی به خارج از LLM، تضمینی اندازه‌گیری‌پذیر ارائه می‌دهد که مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن — هرگز نمی‌تواند به آن برسد.

شرکت‌ها اکنون می‌توانند این مرز را از طریق یک طرح آزمایشی ۹۹ رئالی (R$) تست کنند که ۱۰۰۰ پرس‌وجوی مبنی‌سازی را در ۳۰ روز فراهم می‌کند. این امکان به تیم‌ها اجازه می‌دهد «نرخ فرار» ادعاهای بدون پشتوانه را پیش از استقرار نهایی اندازه‌گیری کنند.

گام بعدی شما

  • اگر از RAG استفاده می‌کنید، نرخ Recall سیستم خود را با داده‌های واقعی (Frozen Questions) بسنجید تا میزان توهمات پنهان را بیابید.
  • بررسی کنید آیا منطق اعتبارسنجی شما داخل پرامپت است یا در یک لایه زیرساختی مجزا؛ دومی برای محیط‌های تجاری حیاتی است.
  • برای کاهش هزینه استنتاج، حجم توکن‌های ورودی را با بهینه‌سازی مسیرهای بازیابی (مانند ترکیب BM25 و Vector) کاهش دهید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این معماری با انتقال اعتبار از مدل به زیرساخت، ریسک توهمات در سیستم‌های B2B را به شدت کاهش می‌دهد. تخصص AletheionAGI در ایجاد مرزهای امنیتی، استقرار AI در حوزه‌های حساس مانند مالی و پزشکی را قابل‌اعتمادتر می‌کند.

تأثیر برای ایران

به‌دلیل محدودیت‌های API و دسترسی، استفاده از این ابزار برای توسعه‌دهندگان ایرانی دشوار است، اما معماری «لایهٔ مرزی» آن الگویی ارزشمند برای پیاده‌سازی RAGهای ایمن در سازمان‌های داخلی است.

·نگاه ما
تحریریه دات‌هوش

جدا کردن لایه اعتبارسنجی از مدل زبانی، پایان عصر اعتماد کورکورانه به استدلال LLMهاست. این رویکرد نشان می‌دهد که برای رسیدن به درجهٔ نظامی یا تجاری از دقت، باید هوش مصنوعی را نه به عنوان یک منبع حقیقت، بلکه به عنوان یک پردازشگر متن دید که خروجی‌اش باید توسط یک سیستم قطعی (Deterministic) فیلتر شود.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.