پرش به محتوای اصلی
پرش به محتوای مقاله

GPT‑6.1‑Sol و GPT‑6‑Astra بیش از نیمی از انتقادات را از ضمیمه استخراج می‌کنند

·۲۵ آبان ۱۴۰۵۱۰ دقیقه مطالعه
نمایشگر هوش مصنوعی و داوران انسانی که مقالات علمی با پیوست‌های گسترده را بررسی می‌کنند
نمایشگر هوش مصنوعی و داوران انسانی که مقالات علمی با پیوست‌های گسترده را بررسی می‌کنند
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

نخستین شواهد مستند شد که GPT‑6.1‑Sol و GPT‑6‑Astra بیش از نیمی از نقد خود را به ضمیمه اختصاص می‌دهند. این نسبت برای GPT‑5 کمتر بود.

یک مطالعه جدید از یک کنسرسیون تحقیقاتی آمریکا نشان می‌دهد که مدل‌های زبانی بزرگ در نقد مقالات علمی بیش از حد به بخش ضمیمه توجه می‌کنند. این مدل‌ها اغلب بیشتر از نگاه‌های انتقادی خود را به مواد تکمیلی اختصاص می‌دهند، نه به یافته‌های اصلی مقاله. GPT‑6.1‑Sol و GPT‑6‑Astra، دو مدل اوپن‌ای‌آی که در ۲۰۲۶ منتشر شدند، حدود ۵۰ تا ۷۰ درصد نظرات انتقادی خود را از ضمیمه استخراج می‌کنند. مدل قبلی GPT‑5 این نسبت را کمتر از ۳۰ درصد داشت. تحقیق دو هزار مقاله از چهار کنفرانس بزرگ علوم کامپیوتر را بررسی کرد. محققان نسبت نظرات ضمیمه‌ای در نقد انسانی را در پنج سال گذشته پیگیری کردند. این نسبت مدت طولانی زیر ۱۱ درصد بود، اما در دوره نقد اخیر به ۲۷٫۶ درصد رسید. این افزایش هم‌زمان با انتشار مدل‌های جدید رخ داد. نویسندگان تأکید می‌کنند که این bias فقط نتیجه افزایش ظرفیت خواندن مدل‌ها نیست. مدل‌های جدید سند را کامل‌تر می‌خوانند، اما وزن متن اصلی را به درستی تعیین نمی‌کنند. این نشان می‌دهد که مکانیزم توجه مدل‌ها با اولویت‌های معرفی ارتباط علمی سازگار نیست. تیم تحقیق روش‌های مختلف دریافت مقاله را مقایسه کرد. مسیرهای API، کدکس و چت وب فایل‌های PDF را به همان شکل پردازش نمی‌کنند. مسیر کدکس بخش میانی مقالات متوسط طول را نادیده می‌گیرد و هر دو بخش مقدمه و ضمیمه را بیش از حد نمایش می‌دهد. این نقطه کور ساختاری bias ضمیمه را تشدید می‌کند. ناقدین انسانی که از خلاصه‌های هوش مصنوعی استفاده می‌کنند، همین الگو را تکرار می‌کنند. پیامد این موضوع بیشتر از کیفیت نقد فردی است. اگر سیستم نقد به طور سیستماتیک مواد تکمیلی را بیش از حد بررسی کند، محققان ممکن است ضمیمه‌ها را پر از جزئیات حاشیه‌ای کنند و نتایج اصلی کمتر روشن شود. در طول زمان، این می‌تواند شفافیت و تکرارپذیری علمی را آسیب ببیند. کارشناسان غیرمربوط به تحقیق هشدار می‌دهند که هم‌ارتباط به معنای علت و معلولی نیست. تغییرات فرهنگی، مانند تأکید بیشتر بر داده‌های باز و اسناد تکمیلی گسترده، ممکن است هر دو روند را تحت تأثیر قرار دهد. با این حال، هم‌زمانی زمانی انتشار مدل‌ها و افزایش ارجاعات به ضمیمه، نشان‌دهنده یک حلقه بازخورد است. تیم تحقیق چندین راهکار پیشنهاد داد. اول، توسعه‌دهندگان باید مدل‌ها را بر روی مجموعه‌های نقد برچسب‌گذاری‌شده تنظیم دقیق کنند. دوم، سازمان‌های کنفرانس می‌توانند فرم‌های نقد ساختاریافته الزامی کنند. سوم، لاگ‌های شفافیت باید مقاطعی را که مدل برای نقد استفاده کرده است، ثبت کنند. آزمایش‌های اولیه در دو مکان بزرگ انجام شد. فرم ساختاریافته تست شد و داده‌های اولیه کاهش جزئی را نشان دادند. نظرات متمرکز بر ضمیمه از ۲۷٫۶ درصد به حدود ۲۰ درصد در یک دوره کاهش یافت. حجم نمونه محدود است، اما جهت‌گیری این فرض را تقویت می‌کند. راهنمای صریح می‌تواند tendency پیش‌فرض انسان‌ها و مدل‌ها را خنثی کند. این یافته‌ها پرسش‌های فلسفی ایجاد می‌کنند. واگذار کردن قضاوت معرفی به سیستم‌های آماری نامفهوم، نگرانی است. نقد علمی به عنوان محافظت جمعی عمل می‌کند و دیدگاه‌های متخصصان مختلف در اعتبارسنجی دانش جدید جای دارد. وقتی یک وکیل الگوریتمی تعریف نقاط ضعف را تغییر می‌دهد، جامعه در خطر از دست دادن گفتمان پیچیده است. نویسندگان مطالعه از یک برنامه تحقیق هماهنگی شده درخواست می‌کنند. نقد کمک‌شده هوش مصنوعی باید به عنوان یک سیستم اجتماعی-فنی در نظر گرفته شود. این شامل نظارت طولانی بر محتوای نقد، کارگاه‌های بین‌رشته‌ای و توسعه معیارهای باز است. محققان یک مجموعه داده باز منتشر کرده‌اند که شامل نقد‌های برچسب‌گذاری‌شده، نسبت‌های توجه به ضمیمه و لاگ‌های انتقادات تولید شده توسط مدل است. این بسته را می‌توان از مخزن GitHub پروژه دانلود کرد. این الگوهای تمرکز بر ضمیمه هم‌خوانی دارد با نتایج مطالعه‌ای که شش الگوی دردسرساز متن هوش مصنوعی را در ۱۴ مدل شناسایی کرده است.

چرا این موضوع مهم است؟

این یافته نشان می‌دهد که ابزارهای هوش مصنوعی می‌توانند نحوه نقد مقالات علمی را تغییر دهند. اگر ناقدین انسانی الگوهای مدل‌ها را تکرار کنند، اهمیت یافته‌های اصلی مقاله نادیده گرفته می‌شود.

تأثیر برای ایران

در حال حاضر اثر مستقیمی بر کاربران ایرانی ندارد.

·نگاه ما
تحریریه دات‌هوش

نقشهٔ توجه مدل‌های زبانی بزرگ از متن اصلی فاصله گرفت. این نشان می‌دهد که ظرفیت خواندن بدون وزن‌دهی معنادار است. راه‌حل باید تنظیم دقیق و ساختارهای سنجش باشد.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.