پژوهشگران نخستین مطالعه جامع را درباره اینکه آیا عوامل هوش مصنوعی واقعاً برنامه‌های داده‌شده را اجرا می‌کنند، انجام دادند. این پژوهش نزدیک به ۱۷۰۰۰ اجرای وظیفه را از عوامل برنامه‌نویسی در چندین مدل زبانی بزرگ تجزیه‌وتحلیل کرد.
یافته‌های کلیدی نشان داد که وقتی عوامل هوش مصنوعی دستورالعمل‌های صریح ندارند، به رویکردهای حل مسئله‌ای که در دوره آموزشی فرا گرفته‌اند بازمی‌گردند؛ رویکردهایی که اغلب ناقص یا ناسازگار هستند. ارائه صرفاً یک برنامه ساختارمند به‌طور قابل‌توجهی نرخ تکمیل وظایف را بهبود می‌بخشد.
با این حال، همه برنامه‌ها کمک نمی‌کنند. پژوهش نشان داد که برنامه‌های ضعیف طراحی‌شده می‌توانند عملکرد را بیشتر از زمانی که هیچ راهنمایی ارائه نشود، تضعیف کنند. نکته جالب توجه اینکه افزودن مراحل اضافی به برنامه‌ها در مراحل اولیه فرایند گاهی نتیجه معکوس دارد، به‌ویژه زمانی که این اضافات با سبک استدلال داخلی هوش مصنوعی تداخل داشته باشند.
پژوهشگران همچنین دریافتند که یادآوری‌های منظم برای پیروی از برنامه به عوامل کمک می‌کند تا در مسیر درست باقی بمانند و نتایج بهتری به دست آورند. این مطالعه پیشنهاد می‌کند که کارهای آینده باید بر آموزش سیستم‌های هوش مصنوعی برای استدلال انعطاف‌پذیر تمرکز کند، نه صرفاً حفظ کردن گردش‌کارهای خاص.
این تحقیق دیدگاه تازه‌ای درباره تعامل بین انسان و عوامل هوش مصنوعی ارائه می‌دهد و نشان می‌دهد که طراحی هوشمندانه برنامه‌ها به اندازه خودِ وجود آنها اهمیت دارد.
گفتگو