تصور کنید برای دانستن اینکه آیا یک مرطوبکننده باعث حساسیت شدید پوستی شما میشود به هوش مصنوعی اعتماد کنید و مدل با اطمینان کامل، پاسخی غلط و «ایمن» دریافت کنید. همین ریسک حیاتی باعث شد تا AllerBot در ۱۷ ژوئن ۲۰۲۶ معرفی شود تا تضمین کند احکام ایمنی هرگز توسط مدل زبانی ابداع نشوند.
بیشتر چتباتها شبیه به شاعر هستند و متن را بر اساس احتمال میسازند؛ اما در حوزه سلامت، این خلاقیت یک نقطه ضعف است. به نقل از بررسیهای فنی در dev.to، AllerBot با یک چرخش ساختاری این مشکل را حل کرده است: مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — اکنون از بیان اینکه آیا محصولی ایمن است یا خیر منع شده است. در عوض، مدل باید یک ابزار تخصصی را فراخوانی کند تا ترکیبات محصول را با پروفایل حساسیت کاربر در دیتابیس تطبیق دهد. این رویکرد یادآور استراتژیهای پیشرفتهای است که در پروژه E.L.L.A برای جایگزینی اعتماد با معماری صلب به منظور توقف نشت دادهها به کار گرفته شد.
همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، کنترل خروجی مدلها حیاتی است. این سامانه بر پایه مدلهای Gemini Flash و Flash-Lite و با استفاده از فراخوانی تابع (Function Calling) بنا شده است. طبق مستندات پروژه، سه محدودیت سختگیرانه برای حفظ ایمنی اعمال شده است:
- دروازهبانی ابزار: فقط توابع خاصی مثل
scan_ingredientsوcheck_product_safetyاجازه صدور حکم ایمنی دارند. این لایه محافظتی شباهت زیادی به پروتکل Aegis-Layer دارد که به عنوان یک سد ریاضی برای توقف نشت دادههای عاملهای هوش مصنوعی طراحی شده است. - همگرایی ورودی: چه کاربر ترکیبات را تایپ کند و چه عکسی را از طریق Gemini Vision (با پشتیبانی doctr) آپلود کند، هر دو مسیر به یک ابزار قطعی و غیرتصادفی ختم میشوند.
- سقف تکرار: محدودیت ۵ مرحلهای برای جلوگیری از ایجاد حلقههای تکراری در فراخوانی ابزارها.
از دیدگاه کاربردی، این رویکرد تعریف ما از عاملهای هوش مصنوعی را تغییر میدهد. توسعهدهنده با تبدیل LLM به یک «راوی» به جای «منبع حقیقت»، هوشمندی را به لایه سازماندهی و حقیقت را به دیتابیس منتقل کرد. این کار مانع از آن میشود که مدل برای راضی کردن کاربر، پاسخی را حدس بزند. این تغییر پارادایم در استفاده از ابزارهای تخصصی به جای مدلهای عمومی، مشابه تحولی است که ابزارهای تخصصی نویسندگی در برابر چتباتهای کلی ایجاد کردند تا بهرهوری را افزایش دهند.
علاوه بر منطق، یک درس زیرساختی مهم در این پروژه نهفته است: باز نگه داشتن اتصالات دیتابیس در زمان پاسخهای کند مدلهای زبانی، اشتباه است. استفاده از نشستهای (Sessions) کوتاهمدت باعث حذف خطاهای تایماوت در PgBouncer شد.
گام بعدی شما
- عملکرد این رویکرد «عدم حدس» را در سایت allernote.com/allerbot تست کنید.
- تفاوت میان مبنیسازی (Grounding) کدی را با روشهای استاندارد تولید بازیابیافزا (RAG) مقایسه کنید.
- منتظر یکپارچهسازی دیتابیسهای پزشکی بهروزرسانی شده در لحظه برای شناسایی آلرژنهای جدید باشید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو