تصور کنید برنامهنویسی هستید که ابزاری را میسازد، اما متوجه میشوید هوش مصنوعی بهجای استفاده از سادهترین متد شما، در یک حلقه تکراری از خطاها میچرخد تا بالاخره جواب را پیدا کند. در این لحظه، مشکل از هوش نیست، بلکه از «طراحی ابزار» است.
با گذار از دستیارهای ساده به سمت عاملهای (Agent) مستقل، تعریف یک کتابخانه نرمافزاری موفق تغییر کرده است. طبق گزارش پژوهشگران، دیگر کافی نیست که یک API سریع و درست باشد؛ بلکه باید «عامل-بهینه» (Agent-optimized) باشد. همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، هرگونه ابهام در لایههای میانی میتواند منجر به شکست کل سیستم شود. در دنیای عاملمحور، اگر یک ویژگی بهگونهای مستند نشده باشد که مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — بتواند سریعاً آن را تحلیل کند، آن ویژگی عملاً وجود ندارد. این چالشها در محیطهای پیچیدهتر شدت مییابد، بهطوری که برخی عاملهای پیشرو حتی در مدیریت همزمان محیطهای گرافیکی و متنی با نرخ موفقیت پایینی روبرو هستند.
به نقل از مستندات این پروژه، برای اثبات این ادعا از کتابخانه transformers بهعنوان مطالعه موردی استفاده شده است. در این چارچوب، موارد زیر مورد سنجش قرار میگیرند:
- مسیر پیموده شده (Trajectory): تحلیل دقیق گامهایی که عامل برای رسیدن به هدف برمیدارد.
- هزینه توکن: اندازهگیری میزان مصرف منابع در مواجهه با APIهای پیچیده در برابر APIهای ساده.
- تکرارهای اصلاحی: تعداد دفعاتی که عامل مجبور میشود بهدلیل مستندات ضعیف، کد خود را بازنویسی کند.
بر اساس بررسیهای انجامشده با استفاده از عامل کدنویسی pi و توزیع اجراها در Hugging Face Jobs برای تضمین ثبات سختافزاری، مشخص شد که مدلهای مختلف در مواجهه با نسخههای متفاوت یک کتابخانه، رفتارهای متفاوتی دارند. این یعنی تست نرمافزار اکنون باید شامل «تست قابلیت استفاده توسط AI» باشد تا از چرخههای بیانتهای دیباگ جلوگیری شود. برای مقابله با این تکرارهای خطا، راهکارهایی نظیر بهرهگیری از حافظهی مشترک در استک اورفلو برای جلوگیری از تکرار اشتباهات عاملها در حال توسعه است.
گام بعدی شما
- اگر توسعهدهنده API هستید، مستندات خود را با پرامپتهای کوتاه آزمایش کنید تا ببینید مدلها چطور آن را تفسیر میکنند.
- در طراحی توابع، نامگذاریها را صریحتر کنید تا احتمال توهم (Hallucination) — وقتی مدل با اطمینان چیزی میگوید که اصلاً وجود ندارد — کاهش یابد.
- از ابزارهای تحلیل مسیر برای شناسایی نقاط کور در تعامل مدل با کد استفاده کنید.
اما تأثیر این تغییر در معماریهای بزرگتر، چالشهای جدیدی خلق میکند؛ به بررسی ما درباره پروتکلهای ارتباطی مدلها مراجعه کنید.
گفتگو