حذف توهمات مدل‌های زبانی در حوزه‌های حساس با تکیه بر تایید رسمی

اگر در حوزه‌ی پزشکی یا حقوق فعالیت می‌کنید، یک توهم (Hallucination) — شبیه دوستی که با اطمینان خاطره‌ای را اشتباه تعریف می‌کند — برای شما یک نقص فنی ساده نیست، بلکه یک ریسک حقوقی مرگبار است. Pramaana Labs معتقد است تنها راه رسیدن به قابلیت اطمینان مطلق، تبدیل خروجی‌های هوش مصنوعی به اثبات‌های ریاضی است.

طبق گزارش TechCrunch، این استارت‌آپ در ۱۷ ژوئن ۲۰۲۶ اعلام کرد که ۲۷ میلیون دلار سرمایه در مرحله‌ی Seed جذب کرده است و هدایت این دور از تأمین مالی بر عهده‌ی Khosla Ventures بود. این جذب سرمایه در موجی از سرمایه‌گذاری‌های کلان برای زیرساخت‌های هوش مصنوعی رخ می‌دهد؛ به‌طوری که پیش از این، استراتژی ۶۶ میلیون دلاری NewCore برای شناسنامه‌دار کردن عامل‌های هوش مصنوعی نیز توجهات بازار را به خود جلب کرده بود.

بسیاری از سازمان‌ها برای انتقال مدل‌ها از نسخه‌ی آزمایشی به تولید واقعی مشکل دارند، زیرا مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب می‌دهد — ذاتاً غیرقابل‌پیش‌بینی است. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن دیدیم، مقابله با خطاهای مدل دشوار است. در حالی که شرکت‌هایی مثل Probably سعی می‌کنند خطاها را «بعد از وقوع» شکار کنند، Pramaana با کدگذاری قوانین سخت‌گیرانه‌ی هر حوزه، از وقوع خطا جلوگیری می‌کند. تصور کنید یک هوش مصنوعی مالیاتی، قانون را پیش‌بینی نکند، بلکه آن را با یک چارچوب ریاضی دقیق محاسبه کند.

به نقل از مستندات این شرکت، معماری آن‌ها ترکیبی است از:

• موتور LLM: برای درک پرسش‌های طبیعی و حل مسائل پیچیده.
• لایه‌ی قطعی (Deterministic Layer): استفاده از زبان برنامه‌نویسی متن‌باز LEAN برای تأیید اینکه خروجی مدل با اثبات‌های ریاضی تطابق دارد.
• تخصص دامنه: نظارت متخصصانی چون دنی ورفل (کمیسر سابق IRS) برای قوانین مالیاتی و اساتید یو‌سی برکلی برای کشف دارو.

این رویکرد، پارادایم هوش مصنوعی را از «حدس‌های احتمالی» به «تأیید قطعی» تغییر می‌دهد. به زبان ساده، خروجی مدل پیش از نمایش در صفحه، با یک دفترچه قانون کدگذاری‌شده تطبیق داده می‌شود. این یعنی خطرناک‌ترین بخش هوش مصنوعی به یک «باگ نرم‌افزاری» تبدیل شده که می‌توان آن را با ابزارهای مهندسی حل کرد.

گام بعدی شما

• اگر در صنایع تنظیم‌شده (Regulated) فعالیت می‌کنید، قابلیت‌های ادغام زبان LEAN را بررسی کنید.
• تفاوت بین «پیش‌بینی خروجی» و «اثبات خروجی» را در استراتژی استقرار مدل‌های خود لحاظ کنید.
• منتظر به‌روزرسانی‌های Pramaana در مورد مقیاس‌پذیری این روش در حوزه‌های غیرریاضی بمانید.

اما چالش اصلی اینجاست که آیا این سخت‌گیری ریاضی در حوزه‌هایی که قوانین منعطف‌تری دارند هم جواب می‌دهد یا خیر؛ بررسی این موضوع در گزارش‌های آتی ما درباره‌ی مدل‌های استدلالی ادامه خواهد داشت.