راستی‌آزمایی: چطور گول خروجیِ مطمئن را نخوریم

تا اینجا یاد گرفتید چطور خروجیِ خوب بگیرید. حالا یک قدمِ مهم‌تر: از کجا بفهمید آن خروجی درست هم هست؟ چون مدل، با اطمینان، گاهی چیزی می‌سازد که اصلاً وجود ندارد.

#چرا مدل «توهم» می‌زند

یادتان باشد مدل چطور کار می‌کند: کلمه‌ی محتملِ بعدی را پیش‌بینی می‌کند، نه اینکه جایی را «نگاه» کند. پس وقتی پاسخِ دقیق را در الگوهایی که یاد گرفته ندارد، به‌جای گفتنِ «نمی‌دانم»، چیزی می‌سازد که محتمل و درست‌به‌نظر می‌رسد. به این، «توهم» (hallucination) می‌گویند — یک باگِ گاه‌به‌گاه نیست، بلکه نتیجه‌ی طبیعیِ همان چیزی است که مدل را مفید می‌کند.

#کجا بیشتر باید شک کنید

توهم همه‌جا یکسان نیست. در این دسته‌ها احتمالش به‌شدت بالاتر می‌رود؛ اینجاها پیش‌فرض را بر شک بگذارید:

• عدد، تاریخ و آمارِ دقیق: «۲۳٪»، «در سال ۲۰۱۹»، «۴.۲ میلیارد» — مدل اغلب رقمی محتمل می‌سازد، نه رقمِ واقعی.
• منبع و ارجاع: مدل می‌تواند نامِ کتاب، مقاله یا لینکی بسازد که اصلاً وجود ندارد ولی کاملاً واقعی به‌نظر می‌رسد.
• نقل‌قول و انتساب: «فلانی گفت…» — ممکن است جمله را خودش ساخته باشد.
• رویدادهای تازه: مدل تا تاریخِ مشخصی آموزش دیده؛ درباره‌ی بعد از آن یا چیزی نمی‌داند یا حدس می‌زند.
• جزئیاتِ محلی و کم‌منبع: واقعیت‌های ریزِ ایران، اسم‌های فارسی، قانون و رویه‌ی محلی — چون داده‌ی کمتری دیده، بیشتر اشتباه می‌کند.

و برعکس: برای بازنویسیِ متنِ خودتان، ایده‌پردازی، خلاصه‌کردنِ چیزی که جلوِ چشمش گذاشته‌اید، یا توضیحِ مفاهیمِ عمومی و جاافتاده، خطر کم است. آنجا می‌توانید راحت‌تر اعتماد کنید.

#روالِ راستی‌آزمایی

1. بپرسید «مطمئنی؟ منبعت چیست؟» — گاهی مدل خودش عقب می‌نشیند و می‌گوید مطمئن نیست.
2. ادعاهای مشخص (عدد، نقل‌قول، اسم) را با یک منبعِ واقعی چک کنید؛ به خودِ جوابِ مدل بسنده نکنید.
3. هرچه تصمیم مهم‌تر است — پزشکی، حقوقی، مالی — شکتان بیشتر باشد و حتماً از منبعِ انسانیِ معتبر هم بپرسید.

سه آمارِ دقیق درباره‌ی میزانِ استفاده از هوش مصنوعی در ایران بده، هرکدام با منبع و سال.

(بعد از گرفتنِ جواب، در همان گفت‌وگو بنویس:)
برای هر آمار دقیقاً بگو این عدد را از کجا آورده‌ای، و اگر مطمئن نیستی صریح بگو کدام را حدس زده‌ای.

#بهترین دفاع: خودتان منبع را بدهید

مؤثرترین راهِ کم‌کردنِ توهم این است که به مدل اجازه ندهید از حافظه‌اش حدس بزند. متنِ منبع — مقاله، گزارش، سند — را داخلِ پرامپت بگذارید و بخواهید «فقط بر اساسِ همین متن جواب بده و اگر چیزی در متن نبود، بگو نیست». این کار جوابِ ساختگی را به‌شدت کم می‌کند، چون مدل دیگر مجبور نیست خلأ را با حدس پر کند.

جمع‌بندی: با خروجیِ هوش مصنوعی مثلِ پیش‌نویسِ یک همکارِ باهوش ولی گاهی نامطمئن رفتار کنید، نه مثلِ یک مرجعِ خطاناپذیر. هرچه را مهم است بررسی کنید — همین یک عادت، تفاوتِ میانِ استفاده‌ی حرفه‌ای و گول‌خوردن است.