یک ارجاع ساختگی اما با اعتمادبه‌نفس از سوی هوش مصنوعی، شکست مدل نیست؛ بلکه موفقیت مدل در رسیدن به هدفی اشتباه است. طبق راهنمای فنی منتشر شده در ۱۵ اوت ۲۰۲۶ توسط divyakush.com، توهمات رخ می‌دهند چون مدل‌ها پیش‌بین‌های آماری توکن هستند، نه پایگاه‌های داده‌ای از حقیقت.
مکانیسم توهم
مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — تنها یک وظیفه اصلی دارد: پیش‌بینی توکن بعدی بر اساس توکن‌های قبلی. این مدل‌ها در شبیه‌سازی ظاهر متن فوق‌العاده‌اند، اما در معماری خود مفهومی به نام «آیا این درست است» ندارند. وقتی مدل پاسخ را می‌داند، تداوم محتمل متن با پاسخ واقعی یکی می‌شود؛ اما وقتی نمی‌داند، باز هم چیزی محتمل تولید می‌کند چون تنها کاری است که بلد است.
این مکانیسم بنیادی به این معناست که «گفتن به مدل که توهم نزند» از طریق پرامپتینگ (Prompting) بی‌اثر است. همان‌طور که در تحلیل قبلی ما درباره‌ی نحوه نمایش و ویرایش زمینه در ThoughtDAG اشاره کردیم، چالش اصلی این است که مدل‌ها «محتمل بودن» را بر «دقیق بودن» ترجیح می‌دهند. برای یک کاربر عملی، این وضعیت شبیه این است که از یک قصه‌گوی چیره‌دست بخواهید کتابدار باشد؛ او حتی اگر کتابی وجود نداشته باشد، داستانی متقاعدکننده درباره آن می‌سازد. این محدودیت در درک واقعیت، ریشه در فقدان مدل‌های جهانی در معماری فعلی LLMها دارد که مانع از ابداع نظریات علمی دقیق می‌شود.
راهکارهای معماری
برای حل این مشکل، مهندسان باید محدودیت‌های معماری خاصی را پیاده کنند. این راهنما ۵ الگوی اصلی را برای خارج کردن مدل از موقعیت «دروغ‌گویی» معرفی می‌کند:
- تولید بازیابی‌افزا (RAG): — مثل دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — مدل را با تغذیه حقایق مرتبط در لحظه پرسش، مبنی‌سازی (Grounding) می‌کند و پاسخ خارج از آن متن را ممنوع می‌سازد. اگر مدل از پاسخ دادن به موارد خارج از متن منع شود، نمی‌تواند عددی را که مقابلش نیست، جعل کند. این رویکرد در واقع تکامل حافظه خارجی در مدل‌های زبانی است تا توکن‌ها بر اساس واقعیت‌های بیرونی هدایت شوند.
- محدودیت‌های قطعی: مدل را مجبور می‌کند به‌جای تولید حقیقت، یک پرس‌وجو (مانند SQL، فراخوانی API یا یک فیلتر ساختاریافته) تولید کند. این کار اجازه می‌دهد یک سامانه قطعی (Deterministic) پاسخ واقعی را تولید کند؛ مدل تصمیم می‌گیرد «چه بپرسد»، اما یک موجودیت قابل‌اعتماد تصمیم می‌گیرد «چه چیزی درست است».
- ارجاعات اجباری: الزام به ذکر منبع برای هر ادعا، تا هرگونه ساختگی فوراً قابل شناسایی باشد. در این حالت، هر ادعای بدون منبع به یک «پرچم قرمز» تبدیل می‌شود که می‌توان آن را به‌طور خودکار شناسایی کرد.
- تأیید پس از تولید: خروجی را به‌عنوان پیش‌نویس در نظر گرفته و پیش از نمایش به کاربر، ادعاها را با یک منبع حقیقت تطبیق می‌دهد. در دامنه‌های حساس، یک مرحله تأیید ارزان‌قیمت، ارزش بیشتری نسبت به یک پرامپت بهتر دارد.
- کاهش دما (Temperature): کاهش تصادفی بودن برای جلوگیری از تزیینات خلاقانه در وظایف واقع‌گرایانه. اگرچه این کار حقیقت را خلق نمی‌کند، اما فضای مانور مدل برای پرت شدن از مسیر را کاهش می‌دهد. در واقع، تنظیم پارامتر دما بیشتر بر توزیع احتمالات اثر می‌گذارد تا ایجاد خلاقیت واقعی.
به نقل از نویسنده، در یک مثال عینی مربوط به صورت‌حساب‌های بانکی، او ابزار مالی‌ای را توصیف می‌کند که در آن LLM هرگز یک تراکنش را مستقیماً بیان نمی‌کند. در عوض، مدل فقط یک پرس‌وجوی SQL بر اساس یک طرح (Schema) سخت‌گیرانه تولید می‌کند. چون پایگاه داده حقایق را برمی‌گرداند، مدل به‌طور فیزیکی نمی‌تواند در مورد اعداد توهم بزند.
این تغییر، فرض بنیادی استقرار هوش مصنوعی را عوض می‌کند. توسعه‌دهندگان باید دست از دیدن LLM به‌عنوان ماشین پاسخ‌گو بردارند و آن را به‌عنوان یک استدلال‌گر فصیح ببینند که به «قلاده‌ای» از داده‌های واقعی نیاز دارد. هوش مدل واقعی است، اما اعتماد باید در سامانه پیرامونی مهندسی شود.
برای کسانی که ابزارهای حساس می‌سازند، اولویت باید از مهندسی پرامپت به سمت مراحل تأیید (Verification) حرکت کند. در محیط‌های عملیاتی، یک مرحله تأیید ارزان‌قیمت، اغلب بسیار ارزشمندتر از یک پرامپت پیچیده است. برای مشاهده این الگوها در عمل، می‌توانید پیاده‌سازی مبنی‌سازی مبتنی بر SQL برای داده‌های مالی را در www.divyakush.com بررسی کنید.
گام بعدی شما
- به‌جای تلاش برای «بهبود پرامپت» جهت کاهش توهم، روی پیاده‌سازی لایه‌های تأیید (Verification) سرمایه‌گذاری کنید.
- برای داده‌های ساختاریافته، مدل را به جای تولید متن، به تولید پرس‌وجوهای SQL یا API محدود کنید.
- در هر خروجی، مکانیسم ارجاع اجباری به منبع را فعال کنید تا نقاط ضعف مدل سریع‌تر شناسایی شوند.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو