اگر امروز از پرامپتهای چندنمونهای برای استقرار مدلهای خود استفاده میکنید، احتمالاً متوجه شدهاید که جابهجایی سادهی دو مثال در متن میتواند نتایج را بهشدت تغییر دهد. این نوسان، یکی از مخفیترین و خطرناکترین نقاط ضعف در مهندسی پرامپت است که میتواند دقت سیستم شما را بدون هیچ تغییری در محتوا، بهشدت کاهش دهد.
بر اساس یافتههایی که در ۱۹ اوت ۲۰۲۶ منتشر شد، بررسی ۷۲۰ جایگشت مختلف از یک پرامپت ۶-نمونهای نشان داد که تنها تغییر در ترتیب قرارگیری محتوای یکسان، باعث ایجاد اختلاف ۳۲ امتیازی در عملکرد مدل شده است. این مطالعه به عنوان یک آزمون سختگیرانه برای پرامپتنویسی چندنمونهای عمل میکند و ثابت میکند که کالیبراسیون زمینهای (Contextual Calibration) میتواند ۱۰۰٪ از این پراکندگی دقت را که ناشی از ترتیب نمونههاست، حذف کند.
بسیاری از توسعهدهندگان تصور میکنند پرامپتنویسی با چند نمونه (Few-shot Prompting) — شبیه به دادن چند مثال از یک مسئله به دانشآموز برای یادگیری الگوی پاسخ — صرفاً به کیفیت مثالها بستگی دارد. این رویکرد در بسیاری از موارد، بهویژه در شبیهسازی لحن، کارآمدتر از تنظیم دقیق (Fine-tuning) عمل میکند. اما به گزارش وبسایت dev.to، ترتیب این مثالها اغلب تأثیری بیشتر از خودِ کلمات دارد. این پدیده با یافتههای Lu و همکاران در سال ۲۰۲۱ همسو است که نشان داد صحت پاسخها در جایگشتهای مختلف، از سطحی نزدیک به تصادفی تا استانداردهای پیشرو در صنعت نوسان میکند.
همانطور که در تحلیلهای پیشین ما دربارهی پایداری مدلهای زبانی اشاره کردیم، اندازهگیری جامع در این حوزه حیاتی است؛ زیرا نمونهگیری تصادفی معمولاً «دم» توزیع خطاها را پنهان میکند. در محیط عملیاتی، توسعهدهنده نمونهگیری نمیکند، بلکه یک ترتیب خاص را انتخاب و منتشر میکند. اگر این یک ترتیب خاص، بدترین جایگشت ممکن باشد، مدل با وجود داشتن محتوای درست، شکست میخورد. علاوه بر دقت، اشتباه در ترتیب قرارگیری دستورات میتواند هزینههای استنتاج را در عاملهای هوش مصنوعی بهشدت افزایش دهد.
طبق این پژوهش، سه عامل اصلی این ناپایداری شناسایی شدهاند که به جای یک اثر مبهم، به عنوان ضرایب مجزا در نظر گرفته شدهاند:
- سوگیری تازگی (Recency Bias): آخرین مثال بیشترین وزن را دارد. اندازهگیری تأثیر جایگاه نشان داد که این مقدار از ۰.۰۵ در موقعیت اول به ۰.۳۸ در موقعیت ششم افزایش یافت.
- سوگیری برچسب اکثریت (Majority Label Bias): این بزرگترین اثر تکعاملی است. پرامپتی با ۵ مثال مثبت و ۱ منفی، در مجموعههای متوازن ۶۷٪ مواقع پاسخ مثبت میدهد، در حالی که پرامپتی با ۱ مثبت و ۵ منفی، تنها در ۷.۵٪ موارد پاسخ مثبت تولید میکند.
- سوگیری توکنهای رایج (Common Token Bias): برخی رشتههای متنی برچسبها بهدلیل رایجتر بودن توکن در دادههای آموزشی، در موارد تردید و تصمیمات نزدیک، شانس پیروزی بیشتری دارند.
پژوهش نشان داد وقتی اثر تازگی به صفر میرسد، پراکندگی ناشی از ترتیب دقیقاً به صفر میرسد که ثابت میکند این سوگیریها از یکدیگر تفکیکپذیر هستند.
برای حل این مشکل، نویسنده از کالیبراسیون زمینهای استفاده کرد. در این روش، یک ورودی بدون محتوا — به معنای واقعی کلمه "N/A" — به مدل داده میشود تا سوگیری خالص اندازهگیری شود و سپس این مقدار از نتیجه نهایی کسر میگردد. این فرآیند ۱۰۰٪ از پراکندگی ناشی از ترتیب را تا آخرین رقم اعشار حذف کرد. این یک باگ نیست، بلکه یک نتیجه ساختاری است: سوگیریای که به صورت یک مقدار ثابت افزایشی در فضای لاجیتها (Logits) ظاهر میشود، دقیقاً همان چیزی است که یک کاوش بدون محتوا اندازهگیری میکند.
با این حال، این تحقیق یک محدودیت جدی برای این تکنیک یافت. کالیبراسیون نمیتواند «سوگیری تعاملی» را حذف کند؛ یعنی زمانی که سوگیری با محتوای واقعی ورودی تداخل پیدا کند. در تلاش دوم، نویسنده سعی کرد سوگیری را بر اساس ابهام ورودی مقیاسبندی کند. اما چون "N/A" مبهمترین ورودی ممکن است، این کاوش ترم مورد نظر را بهطور کامل حذف کرد و یک مقدار باقیمانده (Residual) به جای گذاشت.
بر اساس مستندات این تحقیق، برخی اثرات حتی پس از کالیبراسیون باقی میمانند، مشروط بر اینکه سه شرط داشته باشند: اول اینکه برای وجود نیاز به محتوا داشته باشند (و در زمان کاوش N/A ناپدید شوند)، دوم اینکه وابسته به ترتیب باشند (مثلاً آخرین نمونه را بخوانند) و سوم اینکه بهجای مقیاسپذیری با قدرت ورودی، به حالت اشباع برسند.
در این سناریوی خاص، کالیبراسیون ۹۷٪ از پراکندگی را حذف کرد و تنها ۱.۵ امتیاز باقی ماند. یک ترم که متناسب با قطبیت ورودی باشد، صرفاً بازمقیاسبندی سیگنال است و نمیتواند تصمیم را تغییر دهد؛ برای ایجاد یک باقیمانده در دقت، این ترم باید افزایشی باشد و علامتی داشته باشد که ورودی کنترلی روی آن ندارد.
برای متخصصان، این بدان معناست که کالیبراسیون ابزاری قدرتمند است اما درمان قطعی نیست. مؤثرترین استراتژی یک خط لوله سهمرحلهای است: ابتدا برچسبها را متوازن کنید تا بزرگترین اثر بهصورت رایگان حذف شود، سپس کالیبراسیون زمینهای را اعمال کنید و در نهایت، چندین ترتیب مختلف را پیش از انتشار ارزیابی نمایید. این رویکرد ساختاریافته، جایگزینی بهینه برای روشهای سنتی کپی-پیست در مهندسی پرامپت است.
این تغییر در درک ما، معیار مهندسی پرامپت را از «کالیبره کن و امیدوار باش» به «حذف ساختاریافتهی سوگیریهای ثابت» تغییر میدهد. این موضوع برجسته میکند که خطرناکترین خطاها آنهایی هستند که تنها زمانی ظاهر میشوند که ورودیهای خاص کاربر با ترتیب انتخابشدهی پرامپت تداخل پیدا کنند.
گام بعدی شما
- در پرامپتهای چندنمونهای خود، تعداد مثالهای مثبت و منفی را دقیقاً برابر کنید تا سوگیری برچسب اکثریت حذف شود.
- برای مدلهای حساس، یک تست استرس با جابهجایی ترتیب مثالها اجرا کنید تا میزان نوسان دقت را بسنجید.
- از متد کالیبراسیون با ورودیهای خنثی (N/A) برای شناسایی سوگیریهای ساختاری مدل استفاده کنید.
اما داستان سختافزاری این تحول و تأثیر حافظه روی استنتاج حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو