اگر در حال آموزش مدلهایی با تریلیونها پارامتر هستید، احتمالاً نیمی از زمان شما صرف جابهجایی ترابایتها داده میشود. باید بدانید که این گلوگاه فنی اکنون یک راه حل عملی دارد.
در آموزشهای RL غیرهمزمان، Trainer باید در هر گام، کل مدل را برای موتور استنتاج (Inference) — که شبیه خودِ آشپزی است و نه دورهی آموزش آشپز — ارسال کند. همانطور که در تحلیلهای قبلی ما دربارهی بهینهسازی حافظه اشاره کردیم، این حجم از داده در مدلهای بزرگ، نیاز به سختافزارهای گرانقیمت مثل RDMA دارد.
شرکت Hugging Face برای حل این مشکل، قابلیت همگامسازی دلتای پراکنده را در کتابخانه TRL معرفی کرد. طبق گزارش فنی ۲۷ می ۲۰۲۶، در مدل Qwen3-0.6B، حجم دادههای ارسالی در هر گام از ۱.۲ گیگابایت به تنها ۲۰ تا ۳۵ مگابایت رسید.
این سیستم از یک تشخیصدهنده تغییرات (BF16ChangeDetector) استفاده میکند تا فقط بایتهای تغییریافته را شناسایی کند. سپس این تغییرات را در قالب فایلهای safetensors در Hugging Face Bucket ذخیره میکند.
این تغییر یعنی Trainer و سرورهای اجرا (Rollout) دیگر به یک شبکه مشترک و سریع نیاز ندارند. برای مدل Llama-3.1-405B، زمان توقف برای همگامسازی از ۸ ثانیه به ۲ ثانیه کاهش یافت. به این ترتیب، شما میتوانید Trainer را روی یک GPU و ناوگان vLLM را در فضاهای مجزای Hugging Face اجرا کنید.
گام بعدی شما
- بررسی مستندات جدید TRL برای پیادهسازی همگامسازی دلتا.
- جایگزینی زیرساختهای گرانقیمت RDMA با Shared Buckets در پروژههای RL.
- دنبال کردن انتشار API جدید
load_weightsدر vLLM برای حذف Snapshotهای CPU.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو