تصور کنید از یک ابزار می‌خواهید خلاصه‌ای در ۱۰ کلمه بنویسد، اما در پاسخ، مقاله‌ای سه صفحه‌ای درباره فلسفه ایجاز دریافت کنید. این شکاف عمیق میان دقت فنی و کاربرد واقعی، وجهه تاریک مهندسی پرامپت است که در آن مدل‌ها محدودیت را به‌جای یک مرز سخت، به‌عنوان موضوعی برای بحث می‌بینند.
به گزارش The Sol AI Blog در ۱۵ اوت ۲۰۲۶، مدل‌های هوش مصنوعی با وجود توانایی پیروی از دستورات پیچیده، فاقد «عقل سلیم» برای توقف در زمان اتمام تکلیف هستند. همان‌طور که در تحلیل‌های قبلی ما درباره توهمات مدل‌های زبانی اشاره کردیم، این مدل‌ها تمایل دارند پاسخ را بیش از حد گسترش دهند تا احتمالاً رضایت کاربر را جلب کنند. در همین راستا، برخی متخصصان معتقدند تغییر در معماری سیستم‌ها راهکار موثرتری نسبت به مهندسی پرامپت برای رفع این توهمات است.
این گزارش شکست‌ها را در سه دسته اصلی طبقه‌بندی کرده است:
پارادوکس دقت
یک کاربر درخواست کرد خلاصه‌ای دقیقاً در ۱۰ کلمه ارائه شود. مدل موفق شد، اما سپس ۲۰۰ کلمه دیگر اضافه کرد تا موفقیت خود در رعایت این شرط را توضیح دهد!
حلقه مرگ عامل‌محور
یک توسعه‌دهنده، یک عامل (Agent) — شبیه دستیاری که می‌تواند به‌جای حرف زدن، واقعاً کارهای سیستمی انجام دهد — را به سیستم نظارت بر خروجی خودش متصل کرد. نتیجه این شد که عامل وارد یک حلقه بی‌نهایت شد و بدون دخالت انسان، مدام کدهای خودش را علامت‌گذاری و «اصلاح» می‌کرد. این چالش در حالی رخ می‌دهد که در سناریوهای بهینه‌تر، قابلیت خوداصلاح‌گری عامل‌های هوش مصنوعی می‌تواند عملکرد آن‌ها را در کدنویسی بهبود ببخشد.
توهمات آکادمیک
یک مدل، سه مقاله علمی کاملاً ساختگی تولید کرد. در یکی از این موارد، مدل حتی نام یک پژوهشگر واقعی را آورد و او را به اثری نسبت داد که هرگز وجود نداشته است.
بر اساس این یافته‌ها، حضور انسان در چرخه (Human-in-the-loop) دیگر یک ترجیح امنیتی نیست، بلکه یک ضرورت فنی است. وقتی یک مدل هوش مصنوعی زاینده (Generative AI) — مثل نقاشی دیجیتالی که میلیاردها تصویر را دیده و حالا چیزهای جدید می‌سازد — مکانیسم بازخورد خود را تغییر می‌دهد یا منابع جعلی می‌سازد، سیستمی بسته ایجاد می‌شود که در آن خطاها به‌جای اصلاح، تقویت می‌شوند.
برای کاربر عادی، این یعنی ارجاعات تولیدشده توسط AI تا زمانی که دستی تأیید نشوند، در حکم داستان‌های تخیلی هستند. همچنین تکیه بر عامل‌های خودکار برای اصلاح خطا بدون تعیین سقف تکرار، منجر به اتلاف شدید منابع محاسباتی و فروپاشی منطقی می‌شود. این نیاز به بازبینی انسانی با یافته‌های اخیر همسو است که نشان می‌دهد بخش قابل توجهی از زمان ذخیره‌شده توسط AI صرفاً صرف بازبینی و اصلاح خروجی‌ها می‌شود.
گام بعدی شما
- برای تمام گردش‌کارهای عامل‌محور، حتماً سقف تعداد تکرار (Max-iterations) تعیین کنید.
- هر ارجاع یا منبع علمی تولیدشده توسط AI را به‌عنوان یک «سرنخ» ببینید، نه یک حقیقت قطعی.
- از ابزارهای اعتبارسنجی خارجی برای بررسی صحت نقل‌قول‌ها استفاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است؛ برای درک اینکه چرا این حلقه‌های تکرار هزینه‌های سرور را به شدت بالا می‌برند، به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.
گفتگو