مقاله پژوهشی جدیدی که در arxiv.org منتشر شده، چالشی مهم را در فرضیه رایج درباره توانایی عاملهای LLM در پیروی از دستورات سلسلهمراتبی مطرح میکند. این مطالعه الگوی سلسلهمراتب دستورات چندلایه (ManyIH) را بهعنوان جایگزینی برای مدل سنتی سلسلهمراتب دستورات (IH) پیشنهاد میدهد که معمولاً بر مجموعهای ثابت از کمتر از پنج سطح اختیار با برچسبهای نقشی سختگیرانه مانند «سیستم > کاربر» تکیه دارد.
مشکل اصلی مورد بررسی این است که عاملهای LLM مدرن دستورات را از منابع متنوعی دریافت میکنند: پیامهای سیستمی، درخواستهای کاربر، خروجی ابزارها، سایر عاملها و غیره. هر منبع سطوح اعتماد و اختیار متفاوتی دارد، و زمانی که این دستورات با هم تداخل پیدا میکنند، عاملها باید تعیین کنند کدام دستور اولویت دارد. پژوهشگران استدلال میکنند که الگوی غالب فعلی برای کاربردهای عاملی پیچیده که تعارضات میتوانند از منابع و زمینههای بسیار بیشتری نسبت به مدلهای موجود نشأت بگیرند، ناکافی است.
ManyIH-Bench که بهعنوان اولین معیار سنجش برای این مشکل معرفی شده، از مدلها میخواهد تا تا ۱۲ سطح از دستورات متعارض با اختیارات متفاوت را مدیریت کنند. این معیار شامل ۸۵۳ وظیفه عاملی است—۴۲۷ وظیفه برنامهنویسی و ۴۲۶ وظیفه پیروی از دستورات—که با استفاده از محدودیتهای توسعهیافته توسط LLMها طراحی و توسط انسانها تأیید شدهاند. این موارد آزمایشی ۴۶ عامل دنیای واقعی را در بر میگیرند تا سناریوهای واقعگرایانه و دشوار ایجاد کنند.
نتایج تجربی چشمگیر است: حتی پیشرفتهترین مدلهای مرزی عملکرد ضعیفی دارند و تنها حدود ۴۰ درصد دقت در مقیاس تعارض دستورات به دست میآورند. این شکاف عملکردی بر نیاز فوری به روشهایی تأکید میکند که بهطور صریح حل تعارض دستورات ظریف و مقیاسپذیر را در محیطهای عاملی هدف قرار دهند. این پژوهش نشان میدهد که با خودمختارتر شدن سیستمهای هوش مصنوعی و تعامل آنها در ابزارها و عاملهای متعدد، توانایی مدیریت صحیح دستورات متعارض برای ایمنی و اثربخشی حیاتی میشود.
گفتگو