آموزش عامل‌هایی که باید ساعت‌ها روی یک مسئله فکر کنند و میلیون‌ها توکن پردازش کنند، معمولاً به هدر رفتن عظیم منابع محاسباتی منجر می‌شود. علی‌بابا (Alibaba) با معرفی QwenGyre، یک چارچوب یادگیری تقویتی (Reinforcement Learning) منعطف، این بن‌بست را شکست تا آموزش عامل‌های «بسیار بلندمدت» را بهینه کند.
در اکثر ساختارهای یادگیری تقویتیِ عامل‌محور، پدیده‌ای به نام «دم‌های بلند» (Long Tails) رخ می‌دهد؛ وضعیتی که در آن تعدادی از GPUها به دلیل انتظار برای اتمام کندترین فرآیند استنتاج (Rollout) در محیط، بیکار می‌مانند. در سیستم‌های سنتی و ناهمگام (Asynchronous)، مجموعه‌های ثابت GPU نمی‌توانند ظرفیت اضافی خود را به یکدیگر قرض دهند و همین موضوع تبدیل به گلوگاهی می‌شود که کل خط لوله را کند می‌کند. QwenGyre با تبدیل خوشه‌های GPU به سلول‌های سیال که می‌توانند در لحظه نقش خود را تغییر دهند، این مشکل را حل کرده است.
زمینه و مقیاس عملیاتی
به نقل از گزارش فنی Marktechpost، تیم پژوهشی علی‌بابا وظایف «بسیار بلندمدت» (XLong-horizon) را عملیاتی تعریف کرده است که اجرای آن‌ها ساعت‌ها زمان می‌برد و شامل صدها تعامل بین مدل و ابزار است. یک نمونه بارز از این وظایف، تولید کامل مخازن نرم‌افزاری (Software Repositories) از روی مستندات است که در محک NL2Repo-Bench مشاهده می‌شود. این فرآیندها می‌توانند نزدیک به ۱ میلیون توکن را پردازش کنند و اجرای آن‌ها چندین ساعت به طول بینجامد.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی بهینه‌سازی زیرساخت‌های مدل‌های زبانی اشاره کردیم، مقیاس‌پذیری تنها به اندازه مدل نیست، بلکه به بهره‌وری چرخه آموزش بستگی دارد. این رویکرد بهینه‌سازی منابع در راستای استراتژی کلی علی‌بابا برای کاهش هزینه‌های عملیاتی است، مشابه آنچه در کاهش چشمگیر هزینه‌های API مدل‌های صوتی این شرکت مشاهده شد. این چارچوب روی مدل Qwen 3.6 122B و مدل پرچم‌دار Qwen 3.8 2.4T آزمایش شده است. برای مدل ۱۲۲ میلیاردی، علی‌بابا از ۲۴ تا ۳۲ گره (Node) استفاده کرد. برای مدل ۲.۴ تریلیونی، ۱۹۲ گره در چهار سلول ۴۸ تایی مستقر شدند. این سیستم برای آموزش از Megatron و برای سرویس‌دهی استنتاج از SGLang بهره می‌برد.
مکانیزم‌های فنی
طبق مستندات فنی، QwenGyre دو نوآوری کلیدی را برای مدیریت مقیاس این وظایف معرفی کرده است:
- زمان‌بند منعطف (Elastic Scheduler): سیستم GPUها را به سلول‌هایی تقسیم می‌کند که یک چیدمان آموزشی مشترک دارند. یک سلول مرکزی (Core Cell) مالک وزن‌های معتبر و وضعیت بهینه‌ساز است، در حالی که سلول‌های ماهواره‌ای (Satellite Cells) بعداً به فرآیند آموزش می‌پیوندند. زمان‌بند، «سطح آب استنتاج» (Rollout Waterlevel) یا همان تعداد اجراهای در صف و فعال را رصد می‌کند. به محض اتمام اجراها، سلول‌ها به حالت آموزش تغییر وضعیت می‌دهند، مشروط بر اینکه سلول‌های باقی‌مانده بتوانند تمام کارهای فعال را پوشش دهند. فراخوانی‌های مدل از طریق یک پروکسی بازتوزیع می‌شوند و بلوک‌های KV-Cache برای کاهش محاسبات تکراری پیشوندها، از طریق RDMA منتقل می‌شوند. سلول‌های ماهواره‌ای وزن‌های مرکزی را از طریق موتور انتقال Mooncake دریافت می‌کنند. میانگین زمان تغییر نقش از استنتاج به آموزش ۸.۵۲ ثانیه و از آموزش به استنتاج ۳.۴۶ ثانیه است.
- پردازشگر مسیر (Trajectory Processor): برای جلوگیری از تورم هزینه‌های آموزش به دلیل شاخه‌بندی تاریخچه عامل‌ها (جایی که یک اجرا، زیر-عامل‌ها و تلاش‌های مجدد ایجاد می‌کند)، سیستم از نمونه‌برداری محدود (Bounded Sampling) استفاده می‌کند. این سیستم شناسه‌های دقیق توکن و احتمالات لگاریتمی را با استفاده از روش Token-in, Token-out (TITO) ثبت می‌کند. تعداد نمونه‌های آموزشی به ۵ مسیر در هر اجرا محدود شده است که بر اساس اولویت رتبه‌بندی می‌شوند: مسیر اصلی > خلاصه مسیر اصلی > زیر-عامل > خلاصه زیر-عامل. این رویکرد زمان رفت‌وبرگشت (Forward-Backward) را ۲۵.۲٪ کاهش داد، در حالی که نمرات آموزش با حالت بدون محدودیت برابر بود.
جزئیات پیاده‌سازی
در لایه‌های اجرایی، منطق امتیازدهی به گونه‌ای طراحی شده که اجراهایی که با خطای زمان (Timeout) مواجه می‌شوند، همچنان بر اساس فضای کاری (Workspace) حفظ‌شده خود امتیاز می‌گیرند. با این حال، شکست‌های مربوط به ارزیاب (Evaluator) حذف شده و هرگز به عنوان پاداش صفر در نظر گرفته نمی‌شوند.
برای بهینه‌سازی بیشتر، سیستم حذف داده‌های تکراری (Deduplication) را اعمال می‌کند؛ به این صورت که اهداف مشترک تنها یک‌بار شمرده می‌شوند و فقط توکن‌هایی که توسط سیاست (Policy) تولید شده‌اند، آموزش می‌بینند. همچنین، ضررها (Losses) در هر اجرا میانگین‌گیری می‌شوند تا شاخه‌های اضافی باعث تورم وزن‌ها نشوند. از نظر الگوریتمی، این چارچوب از نسخه تغییریافته GSPO با ۱۶ استنتاج در هر گروه استفاده می‌کند. در نهایت، تمام بنچمارک‌ها با استفاده از Claude Code 2.1.220 به عنوان محیط اجرای جعبه‌سیاه (Black-box Harness) اجرا شده‌اند.
بنچمارک‌های عملکرد
نتایج در محک NL2RepoBench نشان داد که نرخ موفقیت مدل Qwen 3.8 2.4T طی ۴۸ گام آموزشی از ۵۲.۴۸٪ به ۵۸.۵۴٪ رسید. دستاوردهای سرعت در مقایسه با متدهای موجود بسیار قابل توجه است:
- TerminalBench: تا ۱.۸۵ برابر سریع‌تر از ساختارهای Colocate.
- NL2RepoBench (122B): بین ۱.۴۲ تا ۱.۵۳ برابر سریع‌تر از ساختارهای Async و ۱.۳۶ تا ۱.۴۷ برابر سریع‌تر از Colocate.
- DeepSWE (122B): بین ۱.۵۶۹ تا ۱.۵۷۲ برابر سریع‌تر از Async و ۱.۶۱۰ تا ۱.۸۲۴ برابر سریع‌تر از Colocate.
- کارایی مدل ۲.۴ تریلیونی: QwenGyre ۴۸ گام را در ۷۵.۴۲ ساعت به پایان رساند، در حالی که در حالت Async این زمان ۱۳۴.۵۵ ساعت و در حالت Colocate ۹۱.۴۷ ساعت بود. این یعنی ۱.۲۱ برابر سرعت بیشتر نسبت به Colocate برای مدل ۲.۴ تریلیونی، جایی که بسیاری از پرس‌وجوها نزدیک به زمان Timeout اجرا می‌شدند.
این تغییر در زیرساخت نشان می‌دهد که مرز بعدی هوش مصنوعی عامل‌محور، فراتر از اندازه مدل، در بهینه‌سازی حلقه یادگیری تقویتی نهفته است. علی‌بابا ثابت کرد که آموزش عامل‌ها برای وظایف پیچیده چندساعته در مقیاس تریلیون پارامتر، از نظر محاسباتی امکان‌پذیر است. این تلاش برای بهینه‌سازی مصرف منابع، مشابه رویکرد علی‌بابا در مدل Qwen3.8-Omni-Flash برای کاهش مصرف توکن‌های ویدیو است که بر بهره‌وری در مقیاس بالا تمرکز دارد.
برای توسعه‌دهندگان، عدم انتشار عمومی کدها همچنان یک مانع است، اما استفاده از محیط‌های جعبه‌سیاه مانند Claude Code مسیری را به سوی آموزش عامل‌های منعطف‌تر و ابزار-محور باز می‌کند. اکنون صنعت باید نظاره‌گر باشد که آیا آزمایشگاه‌های دیگر نیز برای کاهش هزینه‌های سرسام‌آور استنتاج‌های RL، از زمان‌بندی‌های منعطف مشابه استفاده خواهند کرد یا خیر.
گام بعدی شما
- اگر در حال توسعه عامل‌های پیچیده هستید، مدل‌های توزیع منابع پویا (Dynamic Resource Allocation) را جایگزین تخصیص‌های استاتیک کنید.
- بررسی کنید که آیا می‌توانید با محدود کردن مسیرهای آموزش (Bounded Sampling)، هزینه استنتاج را بدون افت کیفیت کاهش دهید.
- منتظر انتشار کد باز QwenGyre باشید تا مکانیزم انتقال KV-Cache را در خوشه‌های خود پیاده کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو