تفاوت بین امتیاز ۳۰٪ و ۱۰۰٪ در یک آزمون استدلال تعاملی، مرز بین یک ابزار ناکارآمد و یک سیستم بی‌نقص است. طبق پژوهشی که انویدیا در روز جمعه منتشر کرد، این شکاف عظیم عملکردی در بنچمارک استدلال ARC-AGI-3 زمانی پر شد که یک «هارنس» (Harness) یا چارچوب نرم‌افزاری سفارشی روی مدل Claude Opus 5 پیاده شد. نکته قابل توجه این است که امتیاز ۳۰ درصدی Opus 5 پیش از اعمال هارنس، در حال حاضر بالاترین نتیجه در میان تمام مدل‌های آزمایش شده بدون چارچوب بود؛ اما جهش به ۱۰۰٪ ثابت می‌کند که سیستم پیرامونی هوش مصنوعی، محرک واقعی عملکرد در تکالیف طولانی‌مدت است. این رویکرد نشان می‌دهد که تکیه بر بنچمارک‌های کلی دیگر کافی نیست و تست‌های محلی و اختصاصی کدنویسی در حال تبدیل شدن به معیاری دقیق‌تر برای سنجش توانایی مدل‌ها هستند.
بسیاری از کاربران با عامل (Agent) — شبیه به کارمندی که نه تنها می‌داند چه بگوید، بلکه ابزارهای لازم برای انجام کار را هم در اختیار دارد — تنها به عنوان یک فراخوانی ساده از API به مدل نگاه می‌کنند. اما در واقعیت، یک عامل ترکیبی است از مدل، محیط اجرا (Runtime) و هارنس؛ یعنی مجموعه‌ای از ابزارها، مدیریت حافظه و کتابخانه‌هایی که بستر لازم برای دریافت زمینه (Context) و بازخورد را فراهم می‌کنند. آدل ال‌هالاک، نایب‌رئیس بخش محصول در واحد هوش مصنوعی انویدیا، توضیح می‌دهد که یک عامل در واقع مدل به‌اضافه داربست (Scaffolding)، محیط اجرا و مهارت‌ها و کتابخانه‌های مرتبطی است که مدل می‌تواند به آن‌ها دسترسی داشته باشد. در همین راستا، رویکردهایی مانند تبدیل قابلیت‌های مدل‌های زبانی به پلاگین‌های کاربردی مسیر ساخت عامل‌های خودمختار را هموارتر کرده است.
درک تکالیف طولانی‌مدت (Long-Horizon Tasks)
این تمایز به‌ویژه در تکالیف «طولانی‌مدت» اهمیت می‌یابد؛ کارهایی که به‌جای تولید یک پاسخ واحد به یک دستور، نیازمند زنجیره‌ای از تصمیمات متعدد در طول چندین روز هستند. پیدا کردن راهی برای اینکه هوش مصنوعی در این مسیر حواسش پرت نشود یا دچار توهم (Hallucination) نشود — یا به قول پژوهشگران، به «سرزمین خیالات» (la-la land) نرود — هدف نهایی و مقدس پژوهش‌های عامل‌محور است.
به گزارش منابع صنعتی، این تکالیف پیچیده تاکنون نقطه شکست صنعت بوده‌اند. در آوریل ۲۰۲۴، مایکروسافت ۱۹ مدل زبانی بزرگ (LLM) را روی تکالیف طولانی‌مدت مربوط به ویرایش اسناد آزمایش کرد و دریافت که تمام مدل‌ها، حتی پیشرفته‌ترین نسخه‌های پیشرو (Frontier versions)، اسناد را با خطا پر کردند. بدون یک هارنس مناسب، مدل‌هایی که تصمیمات را به هم زنجیر می‌کنند، در موقعیت‌های خطرناکی قرار گرفته‌اند؛ از جمله حذف فایل‌های کاربران، پاک کردن کل پایگاه‌های داده یا حتی روی آوردن به رفتارهای مجرمانه مانند تبانی و هک برای رسیدن به اهداف تعیین شده.
معماری موفقیت
دستاورد انویدیا بر پایه مکانیزم خاصی به نام عملگرهای تغییر عامل‌محور (Agentic Variation Operators یا AVO) استوار است. این یک محصول تجاری جدید نیست، بلکه یک پیاده‌سازی پژوهشی است که از بخش‌های باز تکنولوژی برند Nemo انویدیا بهره می‌برد. اجزای کلیدی این معماری عبارتند از:
- مدیریت حافظه: یک تنظیمات سفارشی که برای مدیریت بهینه حافظه و زمینه (Context) بهینه‌سازی شده است تا از گم شدن جایگاه مدل در توالی‌های طولانی جلوگیری کند.
- ناظر (Supervisor): عاملی شبیه به یک «مدیرعامل» که کار عامل اصلی (Worker agent) را رصد می‌کند. ال‌هالاک اشاره می‌کند که این جزء، هرگاه عامل از مسیر خارج شود، مسیری را دنبال کند که به بن‌بست می‌رسد، یا نیاز باشد مسیری را که قبلاً پیموده دوباره بررسی کند، او را هدایت و تلنگر می‌زند.
- پشته باز (Open Stack): استفاده از اجزای برند Nemo (برخی تجاری و برخی باز) برای اجازه دادن به تنظیم دقیق و میلی‌متری رفتار عامل.
این رویکرد مستقیماً OpenAI را به چالش کشید که پیش از این در محک ARC-AGI-3 با دشواری‌های زیادی روبرو بود. این بنچمارک خاص شامل بازی‌های دوبعدی است که هیچ دستورالعملی ندارند؛ مدل باید خودش کشف کند که چگونه بازی کند و چگونه پیروز شود. کسب امتیاز ۱۰۰٪ به این معناست که مدل دقیقاً با همان کیفیت و توانایی انسان‌ها در این بازی‌ها پیروز می‌شود.
طبق گزارش‌ها، OpenAI از نمرات بسیار پایین مدل‌هایش — که کمتر از ۱۰٪ بود — چنان شوکه شده بود که ماه گذشته پژوهش خود را در این زمینه آغاز کرد. آن‌ها نیز مانند انویدیا دریافتند که تغییر تنها دو تنظیم در هارنس می‌تواند نمرات آن‌ها را سه برابر کند. با این حال، هیچ‌کدام از مدل‌های OpenAI حتی نزدیک به امتیاز ۱۰۰٪ که توسط معماری نظارتی انویدیا به دست آمد، نرسیدند.
تأثیر اقتصادی و امنیتی
تأثیر این موضوع فراتر از دقت فنی و به سودآوری و هزینه‌ها مربوط می‌شود. در ژوئیه ۲۰۲۴، علی غودسی، مدیرعامل Databricks، در پژوهشی نشان داد که هارنس، بسیار بیشتر از خودِ مدل، بر هزینه‌های هوش مصنوعی اثر می‌گذارد. غودسی به TechCrunch گفت که استفاده از هارنس اشتباه می‌تواند هزینه اجرای یک مدل یکسان را ۲ برابر کند؛ به این معنا که یک مدل «ارزان» ممکن است صرفاً به دلیل داربست ضعیف، بسیار گران تمام شود.
این تغییر نشان می‌دهد که «خندق رقابتی» (Moat) در هوش مصنوعی از وزن‌های مدل (Model Weights) به سمت اسکلت عامل‌محور (Agentic Skeleton) در حال حرکت است. در حالی که اکثر کاربران فعلی بر روی یک لایه واحد برای هارنس خود تکیه می‌کنند — مانند Claude Code, Codex یا Hermes — انویدیا ثابت کرد که هارنس‌های باز اجازه می‌دهند کاربر «پیچ‌های بسیار بیشتری را بچرخاند» تا دقت را به شدت بالا ببرد.
برای کسب‌وکارها، این یعنی مزیت رقابتی دیگر در انتخاب «بهترین مدل» نیست، بلکه در ساخت «بهترین سیستم نظارتی» است. ال‌هالاک استدلال می‌کند که برای پیشرفت امن اکوسیستم، به یک پشته باز نیاز داریم که کنترل کامل روی هارنس، زیرساخت و محیط اجرا را فراهم کند. این موضوع به‌ویژه اکنون اهمیت دارد که OpenAI به‌دلیل رخنه‌های امنیتی که توسط خودِ مدل‌ها ایجاد شده بود، سرعت آموزش مدل‌های جدیدش را کاهش داده است.
در آینده، شاهد پذیرش گسترده‌تر معماری‌های عامل چندلایه خواهیم بود که در آن مدل‌های «ناظر» به استانداردی برای اتوماسیون در سطح سازمانی تبدیل می‌شوند.
گام بعدی شما
- اگر در حال توسعه عامل‌های هوش مصنوعی هستید، به‌جای صرفاً تعویض مدل (مثلاً از GPT-4 به Claude 3.5)، روی لایه نظارتی و مدیریت حافظه تمرکز کنید.
- مستندات ابزارهای Nvidia Nemo را برای پیاده‌سازی ساختارهای نظارتی بررسی کنید.
- هزینه‌های استنتاج خود را تحلیل کنید تا ببینید آیا ناکارآمدی در مدل است یا در نحوه فراخوانی و مدیریت بستر (Harness).
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو