تصور کنید سیستمی ساختهاید که بهطور خودکار محتوا تولید میکند، اما ناگهان متوجه میشوید مدل شما بهجای گزارش حقیقت، در حال نوشتن داستانهایی است که فقط «درست به نظر میرسند». این دقیقاً همان نقطهای است که یک توسعهدهنده در مدیریت آرشیو اسپانیایی استیون کینگ با آن مواجه شد: ۵۰ اجرای متوالی یک عامل هوش مصنوعی که هیچ پست جدیدی منتشر نکرد. این توقف، یک نقص فنی نبود؛ بلکه نتیجهی مستقیم یک پروتکل سختگیرانهی «حقیقتسنجی» بود تا جلوی اختراع فکتها توسط ماشین گرفته شود. طبق گزارش این توسعهدهنده، مدلها تمایل دارند برای ارضای پرامپت، جملاتی بسازند که از نظر آهنگ و لحن پذیرفتنی باشند، حتی اگر کاملاً غلط باشند.
جزئیات ساختار پروژه
این پروژه یک آرشیو عظیم و متصلبههم است که روی لایهی رایگان Vercel با استفاده از Next.js و Sanity اجرا میشود. از ۲۵ مارس ۲۰۲۶، مالک سایت — که تنها یک نفر است — ۳۴۶ تغییر (Commit) برای مدیریت ۶۷۲ لینک فعال ثبت کرده است. عمق دادههای مرجع در این سایت بسیار قابل توجه است: ۹۰ کتاب، ۱۳۹ داستان کوتاه، ۱۲۸ اقتباس سینمایی، ۱۲۹ شخصیت و ۱۸ مکان ثبت شده است.
در لایهی عملیاتی، روی این دادههای ساختاریافته، ۱۶۷ قطعه محتوای منتشر شده قرار دارد. بیشتر این متون توسط یک عامل (Agent) نوشته شده است؛ عاملی که هر چهار ساعت یکبار بیدار میشود تا تصمیم بگیرد سایت چه محتوایی کم دارد، درباره آن موضوع تحقیق کند، آن را به زبان اسپانیایی بنویسد و بدون بازبینی انسانی، مستقیماً در محیط عملیاتی (Production) منتشر کند. این سیستم همچنین پستهای اینستاگرام و تردز (Threads) را از دل آرشیو استخراج کرده و هر جمعه یک خبرنامه (Newsletter) آماده میکند.
در این چرخه، انسان تنها چهار وظیفه خاص بر عهده دارد: تصمیمگیری درباره اینکه کدام کتابها اجازه نقد شدن دارند، فشردن دکمه «ارسال» برای خبرنامه، پاسخ دادن به نظرات کاربران و پذیرش مسئولیت هرگونه اصلاحیه. همچنین، تمام تصاویر تولید شده توسط هوش مصنوعی بهطور صریح روی کارتهای مربوطه به عنوان «تولید شده توسط AI» برچسبگذاری شدهاند.
همانطور که در تحلیل قبلی ما دربارهی استفاده توسعهدهندگانی مثل Jev-Leftpad از هوش مصنوعی برای کارهای فوقتخصصی اشاره کردیم، این مورد مطالعه خطر «توهمات پذیرفتنی» را آشکار میکند. وقتی به یک هوش مصنوعی دستور داده میشود محتوا تولید کند، این مدل اولویت را به محتملترین ادامهی یک جمله میدهد تا حقیقت واقعی؛ و در نتیجه، خطاهایی «بهینهشده» ایجاد میکند که بهراحتی از فیلتر بازبینی انسانی عبور میکنند.
تلهی پذیرفتنی بودن (The Plausibility Trap)
مالک سایت متوجه شد که هوش مصنوعی صرفاً اشتباهات تصادفی نمیکند، بلکه «توهمات مناسبی» میسازد که با آهنگ موضوعی اثرات استیون کینگ سازگارتر از واقعیتها هستند.
برای مثال، در ۱۱ ژوئن، این عامل جملهای معروف از ویلیام فاکنر («گذشته هرگز نمیمیرد؛ حتی گذشته هم نیست») از کتاب Requiem for a Nun را به اشتباه به کتاب Gerald's Game اثر کینگ نسبت داد. در موردی دیگر، در ۲۸ ژوئیه، یکی از خوانندگان متوجه شد جملهای که مدل به کتاب The Green Mile نسبت داده بود، اصلاً در کتاب وجود ندارد.
بررسی دقیق فایل نقلقولها نشان داد که این یک مورد تک اتفاقی نبوده است. تعداد نقلقولهای معتبر از ۹۰ به ۷۰ کاهش یافت و ۳۴ مورد به دلیل ساختگی بودن، بازنویسی یا نسبت دادن اشتباه حذف شدند. برخی از این نقلقولهای «کینگی»، در واقع متعلق به کریستین نستل بووی یا لرد چسترفیلد بودند. در سیستم مدیریت محتوا (CMS)، از ۱۶ نقلقول منتخب کتابها، ۱۵ مورد اصلاً وجود خارجی نداشتند.
یک خطای بهشدت تکاندهنده در مورد رمان Cujo رخ داد. هوش مصنوعی معنای یک جمله را کاملاً وارونه کرد و سگی را که «همیشه سعی کرده بود سگ خوبی باشد» به ضد آن تبدیل کرد. نکته ترسناک اینجا بود که چون جملهی ساختگی مدل از نظر آهنگین بهتر از نثر اصلی کینگ بود و «قابلیت نقل شدن» بیشتری داشت، نویسنده اعتراف میکند که اگر بازبینی دستی انجام میشد، احتمالاً آن را تأیید میکرد. مدل شکست نخورده بود؛ بلکه محتملترین ادامهی متن را در محیطی تولید کرده بود که در آن «محتمل بودن» با «حقیقت بودن» متفاوت است.
شکست اعتبارسنجی مبتنی بر پرامپت
برای مقابله با این وضعیت، توسعهدهنده ابتدا یک «پروتکل حقیقتسنجی» را امتحان کرد؛ مجموعهای از دستورات ۴۰ خطی که بالاتر از تمام دستورات دیگر عامل قرار داشت. این پروتکل چندین قانون مکانیکی را وضع کرد:
- اولویت حقیقت: این پروتکل صراحتاً بر دستور تولید محتوا برتری دارد. اگر عامل نتواند منبع را پیدا کند، اکیداً منع شده است که برای ارضای پرامپت، فکتها را اختراع کند. نویسنده این خط را «حیاتیترین خط در کل سیستم» مینامد.
- ارجاع مکانیکی: یک نقلقول تنها زمانی معتبر است که عامل بتواند منبع دقیق را در داخل جمله ذکر کند (مثلاً: «او در سال ۲۰۱۴ به رولینگ استون گفت»). قانون مکانیکی است: اگر منبع نتواند در متن نوشته شود، جمله حذف میشود. این کار یک حالت درونی غیرقابل اثبات را به یک اثر قابل مشاهده روی صفحه تبدیل میکند.
- ضد-اختراع: عامل از اختراع روز ممنوع است. اگر فقط ماه مشخص باشد، باید فقط ماه را بنویسد. یک جای خالی در تاریخ، نقص محسوب نمیشود.
- برچسبگذاری تفسیری: هنگام تفسیر متن، عامل باید از عباراتی مانند «میتوان آن را اینگونه خواند» بهجای «این هست» استفاده کند.
- تغییر لحن: مراحل تأیید بهطور داخلی انجام میشوند و هرگز منتشر نمیشوند. نویسنده اشاره کرد که روایتِ سختکوشیِ خود (مثلاً نوشتن این جمله در فوتر که تاریخها چک شدهاند) شبیه به یک موضع دفاعی است و فرض میکند خواننده از ابتدا مشکوک است.
با وجود این قوانین، سیستم باز هم شکست خورد. هوش مصنوعی دچار «دقت ساختگی» شد؛ مثلاً تاریخ انتشار رمان Misery (۸ ژوئن ۱۹۸۷) را در ژانویه ثبت کرد. همچنین «دانش عامیانهی متقاعدکننده» از خود نشان داد و ادعا کرد کینگ فوبیای دلقکها را دارد (در حالی که کینگ دقیقاً عکس این را گفته و دلیل انتخاب دلقکها را این دانسته که کودکان از پیش از آنها میترسند). همچنین ادعا کرد کینگ شخصاً علیه دولت بابت مسدود شدن توییتر شکایت کرده است، در حالی که این شکایت توسط مؤسسه Knight First Amendment و هفت شاکی دیگر رهبری میشد.
در ۲۵ اوت، نویسنده مقالهای یافت که از عنوانی اسپانیایی برای کتاب The Stand استفاده کرده بود که در هیچ زبانی وجود نداشت. این خطا سه ماه روی سایت فعال بود چون از عامل خواسته شده بود کارهایش را خودش تأیید کند؛ یعنی اساساً استفاده از نثر برای تأیید نثر.
گذار از پرامپت به کد
نقطه عطف زمانی رخ داد که توسعهدهنده از تکیه بر «جدی بودن» مدل دست کشید و شروع به استفاده از اسکریپتهای قطعی (Deterministic) کرد تا ادعاها را با دادههای ساختاریافته بسنجد. او دریافت که نمیتوان یک مدل را با همان مدل در لحنی جدیتر تأیید کرد.
او سیستمی پیاده کرد که در آن ادعاها باید با یک دفتر کل (Ledger) نسخهبندی شده برخورد کنند. اسکریپت بازرس، استیون کینگ را «نمیشناسد»؛ بلکه میداند اگر متنی بنویسد «عنوان X (The Stand, 1978)»، نسخه انگلیسی باید کتاب را شناسایی کند. اگر عنوان اسپانیایی با کاتالوگ مطابقت نداشته باشد، اجرای برنامه با کد غیرصفر (خطا) متوقف میشود. این رویکرد بهجای تمرکز بر «درست بودن»، روی «تضاد» تمرکز میکند.
سایر حفاظهای ساختاری عبارت بودند از:
- گیتهای انسانی سخت: عامل نمیتواند کتابی را نقد کند مگر اینکه انسانی بهطور دستی آن را در سیستم «خوانده شده» علامت زده باشد. این یک فیلتر کوئری سخت است؛ اگر پرچم خالی باشد، کتاب برای عامل نامرئی است. یک نظر امضا شده درباره کتابی که هیچکس نخوانده، یک «اختراع» است، نه یک «نقد».
- حذف تکرار بر اساس معنا: برای جلوگیری از اینکه AI یک مقاله را دو بار با کلمات متفاوت بنویسد (که اتفاق افتاده بود و دو مقاله درباره یک کارگردان، یکی ۳۱۹ کلمه و دیگری ۶۸۸ کلمه تولید شده بود)، اسکریپت «موجودیت + زاویه دید» را با تمام قطعات منتشر شده و پیشنویسها مقایسه میکند.
- روابط نسخهبندی شده: هر لینک بین یک شخصیت و یک کتاب اکنون در یک دفتر کل نسخهبندی شده در Git با حکم، منبع و URL قرار دارد. این کار جلوی خطاهایی مثل ادعای حضور «رندال فلگ» در کتاب Desperation (که حضور ندارد) را میگیرد. با استفاده از فایل نسخهبندی شده، هر ادعا به یک تغییر قابل مشاهده در Diff تبدیل میشود. این دفتر کل از ۴۹ ادعای پشتیبانی شده از میان ۳۶۹ مورد، به ۳۶۲ مورد از ۳۶۲ مورد رسید.
این انتقال، خطر محتوای «کششده» (Cached) را آشکار کرد. نویسنده متوجه شد اصلاح دادههای منبع، لزوماً FAQ را اصلاح نمیکند چون پاسخ یکبار استخراج و بهصورت متن ذخیره شده بود. در یک مورد، جملهای که ادعا میکرد رمانی شخصیتهای تکرار شونده دارد، با استفاده از هر شخصیتی در فایل تولید شده بود بدون اینکه چک شود آیا واقعاً تکرار شدهاند یا خیر؛ این خطا در ۴۹ صفحه از ۹۰ کتاب ظاهر شده بود و در ۳۲ صفحه از آنها، هیچکدام از شخصیتهای نامبرده واقعاً تکرار نشده بودند.
هزینه خویشتنداری
از ۳۱ اوت، سیستم ۱۲۴ بار اجرا شده است. تنها ۵۳ مورد از این اجراها منجر به انتشار محتوا شدند. ۷۱ اجرای باقیمانده هیچ خروجیای نداشتند چون یا ورودیها تمام شده بود یا ادعاها در اعتبارسنجی اسکریپت رد شده بودند. در واقع، ۵۰ اجرای آخر بهطور متوالی هیچ محتوایی تولید نکردند.
این موضوع یک سقف بنیادی برای هوش مصنوعی عاملمحور را نشان میدهد: ماشین نمیتواند تقاضای واقعی یا حقیقت را اختراع کند. او تنها زمانی میتواند منتشر کند که انسان یک «بذر حقیقت» فراهم کند. وقتی عامل یک کوئری جستوجو را ۴۰ بار رد میکند چون «بیش از حد رقابتی است» یا دادههای کافی ندارد، سیستم دقیقاً طبق برنامه عمل میکند.
همچنین ریسک خط لولههای شکننده وجود دارد. در ۲۰ سپتامبر، یک ارائهدهنده تصویر شروع به دریافت هزینه کرد و خطای ۴۰۲ برگرداند. چون این فراخوانی در یک بلوک حفاظتی (Wrap) نبود، کل اسکریپت انتشار را از کار انداخت و حتی انتشار قطعات متنی را هم متوقف کرد. درس این است: یک خط لوله محتوا باید به حالت «بدون تصویر» تنزل یابد، نه «بدون محتوا».
با این حال، این خط لوله همچنان نتیجه میدهد. در ۲۸ روز منتهی به ۲۰ سپتامبر، سایت ۲۴,۱۰۳ بازدید (Impression) و ۳۳۷ کلیک از جستوجو دریافت کرد؛ در حالی که در ۲۸ روز قبلی، این ارقام ۱۱,۵۴۳ بازدید و ۱۶۷ کلیک بود. ترافیک جستوجو تقریباً ۱۲ برابر بیشتر از ترافیک شبکههای اجتماعی است.
تحلیل: شکاف شواهد
این آزمایش گفتگو را از «مهندسی پرامپت» به «مهندسی سیستم» تغییر میدهد. ثابت میکند که برای نشر در سطح حساس، پرامپت صرفاً یک «قصد» است، در حالی که اسکریپت تنها «شاهد» واقعی بر صحت است.
برای هر کسی که خط لولههای AI میسازد، درس روشن است: شما نمیتوانید یک مدل را با همان مدل تأیید کنید. تنها شکل پایدار اعتبار در سرعت ماشین، تبدیل ادعاها به چیزی است که توسط متنی غیر از نثر (مثلاً کد یا دیتابیس) قابل بررسی باشد. به همین دلیل است که هر نقلقول در سایت (lectoresflotantes.com) نسخه انگلیسی اصلی را بهعنوان یک فیلد اجباری در زیر خود دارد تا هر خوانندهای بتواند متن را تأیید کند.
اگر امروز در حال استقرار عاملها هستید، مراحل «تأیید» خود را بازبینی کنید. اگر عامل شما صرفاً از خودش میپرسد «آیا مطمئنی این درست است؟»، شما در حال اعتبارسنجی نیستید؛ بلکه فقط از هوش مصنوعی میخواهید در توهماتش با اعتمادبهنفستر باشد.
منتظر ظهور «بازرسان قطعی» (Deterministic Auditors) باشید؛ اسکریپتهای کوچک غیر-LLM که بهعنوان دروازهبان نهایی خروجیهای مولد عمل میکنند. پروتکل مانع از نوشته شدن خطا میشود، اما تنها یک اسکریپت است که مانع از بقای آن میشود.
گام بعدی شما
- اگر از عاملهای هوش مصنوعی برای تولید محتوا استفاده میکنید، تمام مراحل «تأیید» را بازبینی کنید؛ اگر مدل از خودش میپرسد «آیا مطمئنی درست است؟»، شما در حال اعتبارسنجی نیستید، بلکه فقط از مدل میخواهید در توهماتش با اعتمادبهنفستر باشد.
- برای هر ادعای حساس، یک لایه اعتبارسنجی غیر-زبانی (مثلاً اسکریپت پایتون یا کوئری دیتابیس) اضافه کنید تا خروجی متن با دادههای سخت برخورد کند.
- ساختار محتوای خود را بهگونهای طراحی کنید که در صورت شکست یک API (مثل تولید تصویر)، کل فرآیند انتشار متوقف نشود.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو