یک مطالعه جدید از یک کنسرسیون تحقیقاتی آمریکا نشان میدهد که مدلهای زبانی بزرگ در نقد مقالات علمی بیش از حد به بخش ضمیمه توجه میکنند. این مدلها اغلب بیشتر از نگاههای انتقادی خود را به مواد تکمیلی اختصاص میدهند، نه به یافتههای اصلی مقاله. GPT‑6.1‑Sol و GPT‑6‑Astra، دو مدل اوپنایآی که در ۲۰۲۶ منتشر شدند، حدود ۵۰ تا ۷۰ درصد نظرات انتقادی خود را از ضمیمه استخراج میکنند. مدل قبلی GPT‑5 این نسبت را کمتر از ۳۰ درصد داشت. تحقیق دو هزار مقاله از چهار کنفرانس بزرگ علوم کامپیوتر را بررسی کرد. محققان نسبت نظرات ضمیمهای در نقد انسانی را در پنج سال گذشته پیگیری کردند. این نسبت مدت طولانی زیر ۱۱ درصد بود، اما در دوره نقد اخیر به ۲۷٫۶ درصد رسید. این افزایش همزمان با انتشار مدلهای جدید رخ داد. نویسندگان تأکید میکنند که این bias فقط نتیجه افزایش ظرفیت خواندن مدلها نیست. مدلهای جدید سند را کاملتر میخوانند، اما وزن متن اصلی را به درستی تعیین نمیکنند. این نشان میدهد که مکانیزم توجه مدلها با اولویتهای معرفی ارتباط علمی سازگار نیست. تیم تحقیق روشهای مختلف دریافت مقاله را مقایسه کرد. مسیرهای API، کدکس و چت وب فایلهای PDF را به همان شکل پردازش نمیکنند. مسیر کدکس بخش میانی مقالات متوسط طول را نادیده میگیرد و هر دو بخش مقدمه و ضمیمه را بیش از حد نمایش میدهد. این نقطه کور ساختاری bias ضمیمه را تشدید میکند. ناقدین انسانی که از خلاصههای هوش مصنوعی استفاده میکنند، همین الگو را تکرار میکنند. پیامد این موضوع بیشتر از کیفیت نقد فردی است. اگر سیستم نقد به طور سیستماتیک مواد تکمیلی را بیش از حد بررسی کند، محققان ممکن است ضمیمهها را پر از جزئیات حاشیهای کنند و نتایج اصلی کمتر روشن شود. در طول زمان، این میتواند شفافیت و تکرارپذیری علمی را آسیب ببیند. کارشناسان غیرمربوط به تحقیق هشدار میدهند که همارتباط به معنای علت و معلولی نیست. تغییرات فرهنگی، مانند تأکید بیشتر بر دادههای باز و اسناد تکمیلی گسترده، ممکن است هر دو روند را تحت تأثیر قرار دهد. با این حال، همزمانی زمانی انتشار مدلها و افزایش ارجاعات به ضمیمه، نشاندهنده یک حلقه بازخورد است. تیم تحقیق چندین راهکار پیشنهاد داد. اول، توسعهدهندگان باید مدلها را بر روی مجموعههای نقد برچسبگذاریشده تنظیم دقیق کنند. دوم، سازمانهای کنفرانس میتوانند فرمهای نقد ساختاریافته الزامی کنند. سوم، لاگهای شفافیت باید مقاطعی را که مدل برای نقد استفاده کرده است، ثبت کنند. آزمایشهای اولیه در دو مکان بزرگ انجام شد. فرم ساختاریافته تست شد و دادههای اولیه کاهش جزئی را نشان دادند. نظرات متمرکز بر ضمیمه از ۲۷٫۶ درصد به حدود ۲۰ درصد در یک دوره کاهش یافت. حجم نمونه محدود است، اما جهتگیری این فرض را تقویت میکند. راهنمای صریح میتواند tendency پیشفرض انسانها و مدلها را خنثی کند. این یافتهها پرسشهای فلسفی ایجاد میکنند. واگذار کردن قضاوت معرفی به سیستمهای آماری نامفهوم، نگرانی است. نقد علمی به عنوان محافظت جمعی عمل میکند و دیدگاههای متخصصان مختلف در اعتبارسنجی دانش جدید جای دارد. وقتی یک وکیل الگوریتمی تعریف نقاط ضعف را تغییر میدهد، جامعه در خطر از دست دادن گفتمان پیچیده است. نویسندگان مطالعه از یک برنامه تحقیق هماهنگی شده درخواست میکنند. نقد کمکشده هوش مصنوعی باید به عنوان یک سیستم اجتماعی-فنی در نظر گرفته شود. این شامل نظارت طولانی بر محتوای نقد، کارگاههای بینرشتهای و توسعه معیارهای باز است. محققان یک مجموعه داده باز منتشر کردهاند که شامل نقدهای برچسبگذاریشده، نسبتهای توجه به ضمیمه و لاگهای انتقادات تولید شده توسط مدل است. این بسته را میتوان از مخزن GitHub پروژه دانلود کرد. این الگوهای تمرکز بر ضمیمه همخوانی دارد با نتایج مطالعهای که شش الگوی دردسرساز متن هوش مصنوعی را در ۱۴ مدل شناسایی کرده است.
GPT‑6.1‑Sol و GPT‑6‑Astra بیش از نیمی از انتقادات را از ضمیمه استخراج میکنند

واقعاً چه چیز جدید است؟
نخستین شواهد مستند شد که GPT‑6.1‑Sol و GPT‑6‑Astra بیش از نیمی از نقد خود را به ضمیمه اختصاص میدهند. این نسبت برای GPT‑5 کمتر بود.
چرا این موضوع مهم است؟
این یافته نشان میدهد که ابزارهای هوش مصنوعی میتوانند نحوه نقد مقالات علمی را تغییر دهند. اگر ناقدین انسانی الگوهای مدلها را تکرار کنند، اهمیت یافتههای اصلی مقاله نادیده گرفته میشود.
تأثیر برای ایران
در حال حاضر اثر مستقیمی بر کاربران ایرانی ندارد.
·نگاه ما
تحریریه داتهوش
نقشهٔ توجه مدلهای زبانی بزرگ از متن اصلی فاصله گرفت. این نشان میدهد که ظرفیت خواندن بدون وزندهی معنادار است. راهحل باید تنظیم دقیق و ساختارهای سنجش باشد.
منابع
راهنماهای داتهوش
راهنماهای کاربردیِ داتهوش برای کار با هوش مصنوعی — از همینجا شروع کنید:
- راهنمای پرامپتنویسیچطور درست بپرسی تا جوابِ بهتری بگیری
- ۱۰ پرامپتِ آمادهٔ فارسیقالبهای آماده برای کارهای روزمره
- ابزارهای رایگانِ هوش مصنوعیکدامها از داخلِ ایران باز میشوند
- معلمِ انگلیسیِ هوش مصنوعیهوش مصنوعی را به معلمِ خصوصیِ زبانت تبدیل کن
- تشخیصِ عکس و ویدیوی جعلینشانههای جعلِ هوش مصنوعی و دفاعِ پایدار
- امنیتِ داده در هوش مصنوعیچه چیزهایی را هرگز نباید وارد کنی
- اجرای هوش مصنوعی روی کامپیوترِ خودتراهنمای عملیِ مدلهای متنباز
- پرداخت برای هوش مصنوعیِ خارجیواقعیت، خطرها و جایگزینِ رایگان
- هوش مصنوعی و تکلیفِ درسیمرزِ کمکگرفتن و تقلب کجاست
- چرا هوش مصنوعیِ ایران عقب ماندریشههای عقبماندگی و راهِ واقعبینانهٔ جبران
داتهوش
راهنمای فارسی هوش مصنوعی — با نگاه به ایران
اخبار روزانه، معرفی ابزارها و مدلها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار میکند و چه چیزی نه.



گفتگو