مدل‌های جهانی LeRobot v0.6.0 تخیلِ ربات‌ها برای پیش‌بینی آینده را ممکن کردند

تصور کنید رباتی دارید که پیش از هر حرکت، پیامد آن را در ذهن خود شبیه‌سازی می‌کند تا از خطا در محیط‌های واقعی جلوگیری کند. این همان قابلیت کلیدی LeRobot v0.6.0 است که توسط هاگینگ فیس (Hugging Face) در ۷ ژوئیه ۲۰۲۶ منتشر شد. این نسخه با معرفی سیاست‌های مدل جهانی (World Model Policies)، امکان پیش‌بینی و تجسم فریم‌های آینده را در طول آموزش فراهم می‌کند تا نرخ موفقیت ربات‌ها در انجام تکالیف افزایش یابد.

سال‌هاست که شکاف میان یادگیری در شبیه‌ساز و استقرار در دنیای واقعی، گریبان‌گیر رباتیک بوده است. ربات‌ها معمولاً با شکست‌های «خارج از توزیع» (out-of-distribution) دست‌وپنجه نرم می‌کنند؛ لحظاتی که تغییری جزئی در نورپردازی یا تغییر مکان یک شیء، باعث فروپاشی کامل عملکرد آن‌ها می‌شود. برای حل این مشکل، صنعت به سمت مدل‌های جهانی (World Models) حرکت می‌کند. در این رویکرد، محیط نه به صورت مجموعه‌ای از فریم‌های تصادفی، بلکه به عنوان یک سیستم پیش‌بینی‌پذیر در نظر گرفته می‌شود.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت و استقرار مدل‌های بازمتن اشاره کردیم، ابزارهای ارزیابی دقیق، کلید پذیرش فناوری در صنعت است. این به‌روزرسانی LeRobot را به یک چرخه کامل تبدیل می‌کند: این ابزار دیگر صرفاً یک مدل ارائه نمی‌دهد، بلکه راهی برای ارزیابی آن مدل، جمع‌آوری داده‌های مربوط به شکست‌ها و بازگرداندن آن‌ها به مرحله آموزش از طریق یک رابط خط فرمان (CLI) جدید فراهم می‌کند. تمرکز این انتشار بر بستن حلقه یادگیری ربات است؛ حلقه‌ای که شامل سیاست‌های تصورگر، مدل‌های پاداش برای کمی‌سازی موفقیت و ابزارهای استقراری است که شکست‌ها را به داده‌های آموزشی تبدیل می‌کنند.

مدل‌های جهانی: قدرت تخیل

دنیای رباتیک با یک پرسش بزرگ روبروست: آیا مدل‌های جهانی واقعاً به بهبود سیاست‌های رباتیک کمک می‌کنند؟ هسته مرکزی نسخه ۰.۶.۰ معرفی سه سیاست متمایز است که آینده را «تصور» می‌کنند تا به این پرسش پاسخ دهند. هر یک از این روش‌ها رویکرد متفاوتی برای بهینه نگه داشتن هزینه‌های محاسباتی دارند:

• VLA-JEPA: این مدل بر پایه Qwen3-VL-2B ساخته شده است. VLA-JEPA به یک مدل VLA فشرده می‌آموزد تا در حالی که یاد می‌گیرد عمل کند، آینده را در یک فضای نهان (Latent Space) پیش‌بینی کند. در طول آموزش، یک مدل جهانی JEPA فریم‌های آینده را بر اساس اقدامات خودِ مدل پیش‌بینی می‌کند. از آنجا که مدل جهانی در مرحله استنتاج (Inference) حذف می‌شود، شما مزایای نظارت مبتنی بر تخیل را به دست می‌آورید بدون اینکه در زمان اجرای واقعی ربات، هیچ هزینه اضافی پرداخت کنید. سه چک‌پوینت آماده برای استفاده در Hugging Face Hub در دسترس است، از جمله یک مدل پایه پیش‌آموزش‌دیده با DROID برای تنظیم دقیق (Fine-tuning).
• LingBot-VA: یک مدل ویدیو-کنش خودبازگشتی (Autoregressive) است که ویدیوهای آینده و اقدامات را به صورت تکه‌تکه (chunk by chunk) پیش‌بینی می‌کند. این مدل مشاهدات واقعی را دوباره به سیستم بازمی‌گرداند تا تخیلاتش با واقعیت تطبیق یابد. کاربران می‌توانند با استفاده از پرچم --policy.save_predicted_video=true آنچه را که ربات تصور کرده ذخیره کرده و آن را با نتیجه واقعی مقایسه کنند. این مدل روی یک GPU واحد با حافظه ۲۴ تا ۳۲ گیگابایت اجرا می‌شود.

• FastWAM: این مدل این پرسش را مطرح می‌کند که آیا مدل‌های کنش جهانی واقعاً به تخیل آینده در زمان تست نیاز دارند؟ FastWAM یک متخصص تولید ویدیو با حدود ۵ میلیارد پارامتر را با یک متخصص کنش فشرده در یک شبکه واحد جفت می‌کند و به مدل اجازه می‌دهد «رویای» مسیرهای خود را ببیند. در زمان استنتاج، این مدل مرحله رویاپردازی را حذف کرده و مستقیماً تکه‌های کنش (action chunks) را بازسازی (denoise) می‌کند. پژوهشگران می‌توانند این مدل را از چک‌پوینت lerobot/fastwam_base تنظیم دقیق کنند.

گسترش باغچه مدل‌های VLA

LeRobot به سرعت در حال تبدیل شدن به مرکز مدل‌های بینایی-زبانی-کنشی (VLA) است. این به‌روزرسانی چندین مدل قدرتمند را به اکوسیستم خود اضافه کرده است:

• GR00T N1.7: آخرین ادغام انویدیا (NVIDIA) که جایگزین نسخه N1.5 شده است. در این نسخه، VLM قبلی با Cosmos-Reason2-2B (که بر پایه Qwen3-VL است) جایگزین شده و به یک سر کنش تطبیق جریان (Flow-matching action head) متصل شده است. این ادغام از نظر ورودی‌ها و خروجی‌ها با پیاده‌سازی اصلی Isaac-GR00T انویدیا تست و هم‌تراز شده است. قابلیت Flash-attention اکنون اختیاری است، به این معنی که دستور pip install 'lerobot[groot]' بلافاصله کار می‌کند. (نکته: کاربرانی که به نسخه N1.5 نیاز دارند باید lerobot==0.5.1 را پین کنند).
• MolmoAct2: این مدل از مؤسسه آلن برای هوش مصنوعی (Allen Institute for AI) پورت شده است و از چرخه کامل پشتیبانی می‌کند: تنظیم دقیق (کامل یا LoRA)، ارزیابی و استقرار روی ربات واقعی. چک‌پوینت‌های آماده با اصلاح کالیبراسیون، امکان اجرای صفر-نمونه (Zero-shot) را روی سخت‌افزارهای SO-100/101 فراهم می‌کنند. استنتاج آن در حافظه ۱۲ گیگابایتی با فرمت bf16 جای می‌گیرد و تنظیم دقیق LoRA روی یک GPU واحد ۲۴ گیگابایتی امکان‌پذیر است.

• EO-1: مدلی که از ستون فقرات Qwen2.5-VL-3B و یک سر کنش تطبیق جریان استفاده می‌کند. این مدل که در مراحل اولیه روی داده‌های درهم‌تنیده بینایی-متن-کنش پیش‌آموزش دیده، توسط یکی از نویسندگان مقاله اصلی ارائه شده و می‌تواند با گردش‌کار استاندارد lerobot-train و پارامتر --policy.type=eo1 آموزش ببیند.
• Multitask DiT: یک ترنسفورمر انتشار (Diffusion Transformer) با حدود ۴۵۰ میلیون پارامتر است که دستورالعمل‌های مدل‌های رفتاری بزرگ (TRI Large Behavior Models) را به Le Robot می‌آورد. این مدل که بر اساس جاسازی‌های (Embeddings) بینایی CLIP و زبان شرطی شده است، می‌تواند چندین تکلیف مختلف را که از طریق زبان طبیعی انتخاب شده‌اند، بیاموزد. این مدل از هر دو هدف انتشار (Diffusion) و تطبیق جریان (Flow-matching) پشتیبانی می‌کند.
• EVO1: مدلی بسیار بهینه با ۰.۷۷ میلیارد پارامتر بر پایه ستون فقرات InternVL3-1B و یک سر کنش تطبیق جریان است. این مدل برای اجرای آنی (Real-time) روی GPUهای متوسط طراحی شده و همراه با قابلیت تنظیم دقیق دو مرحله‌ای و پشتیبانی از تکه‌بندی آنی (Real-Time Chunking) عرضه شده است.

تشخیص موفقیت ربات

یکی از سخت‌ترین بخش‌های رباتیک، تشخیص این است که آیا یک تکلیف واقعاً به طور کامل انجام شده یا خیر. تشخیص موفقیت و تخمین پیشرفت اغلب حلقه‌های گمشده در یادگیری هستند. نسخه ۰.۶.۰ یک API یکپارچه برای مدل پاداش (Reward Models) تحت عنوان lerobot.rewards معرفی می‌کند تا این فرآیند را خودکار کند. این API مشابه API سیاست‌ها طراحی شده و از چهار مدل پشتیبانی می‌کند: طبقه‌بند پاداش HIL-SERL، مدل SARM و دو افزودنی جدید.

Robometer به عنوان یک مدل پاداش همه‌منظوره عمل می‌کند. این مدل بر پایه Qwen3-VL-4B ساخته شده و از طریق مقایسه مسیرها روی مجموعه‌ای از بیش از یک میلیون مسیر رباتیک (مقاله RSS 2026) آموزش دیده است. Robometer پیشرفت تکلیف را از روی ویدیوهای خام و دستورالعمل‌ها می‌سنجد بدون اینکه نیاز به آموزش خاص برای هر تکلیف داشته باشد.

TOPReward رویکردی کاملاً صفر-نمونه (Zero-shot) دارد. این مدل یک Qwen3-VL آماده را در بر می‌گیرد و احتمال لگاریتمی توکن «True» را با توجه به ویدیوی مسیر و دستور تکلیف می‌خواند. این کار در واقع هر VLM توانمندی را به یک تابع پاداش تبدیل می‌کند. هر دو مدل شامل اسکریپت‌های برچسب‌زنی هستند که منحنی‌های پیشرفت هر فریم را در مجموعه‌داده‌ها می‌نویسند و امکان کلونینگ رفتاری آگاه از پاداش (RA-BC) و بازرسی کیفیت را فراهم می‌کنند.

داده‌های غنی‌تر و بارگذاری سریع‌تر

گلوگاه‌های داده یکی از اصلی‌ترین نقاط اصطکاک در یادگیری ماشین هستند. هاگینگ فیس خط لوله داده‌ها را به گونه‌ای بهینه کرده است که تا ۲ برابر سریع‌تر شود. این کار از طریق رمزگشایی موازی فریم‌های چندین دوربین و استفاده از Workerهای دائمی برای زنده نگه داشتن کش رمزگشا در طول Epochها صورت گرفته است. Workerهای Dataloader اکنون فریم‌های فشرده uint8 را ارسال می‌کنند که باعث می‌شود حافظه مصرفی بین پردازش‌ها ۴ برابر کمتر شود. در بنچمارک‌ها، بارگذاری زیرمجموعه‌ای از یک مجموعه داده بزرگ (episodes=[...]) از ۲۷۵ ثانیه به ۰.۰۶ ثانیه کاهش یافته است. همچنین نمونه‌برداری (Sampling) اکنون قطعی (Deterministic) و قابلe بازگشت (Resumable) است.

جزئیات عمق و رمزگذاری

• پشتیبانی از عمق: ربات‌هایی مانند Unitree G1، SO-100/101، Koch، OpenArm و reBot اکنون می‌توانند نقشه‌های عمق را به صورت سرتاسری (End-to-end) ضبط کنند. این داده‌ها در مقیاس میلی‌متر ضبط و به صورت استریم‌های ویدئویی ۱۲-بیتی فشرده می‌شوند و در زمان آموزش دوباره به واحدهای فیزیکی تبدیل می‌گردند. رندرهای عمق در هنگام ضبط و در ابزار lerobot-dataset-viz به صورت زنده نمایش داده می‌شوند.
• کدک‌های سفارشی: کاربران دیگر محدود به یک کدک سخت‌افزاری نیستند. گزینه‌های --dataset.rgb_encoder.* تمام سطوح رمزگذاری شامل کیفیت، فرمت پیکسل، GOP و پیش‌تنظیمات (Presets) را در دسترس قرار می‌دهند. تنظیم vcodec=auto ابتدا رمزگذارهای سخت‌افزاری مانند NVENC، VideoToolbox، VAAPI و QSV را جستجو می‌کند و در صورت عدم وجود، به AV1 نرم‌افزاری باز می‌گردد.
• رمزگذاری مجدد داده‌ها: برای مجموعه‌داده‌های موجود، دستور lerobot-edit-dataset امکان رمزگذاری مجدد دسته‌جمعی را فراهم می‌کند (مثلاً تغییر به h264 با یک مقدار CRF خاص).

برچسب‌گذاری زبانی در مقیاس بالا

مجموعه‌داده‌های LeRobot اکنون توصیفات زبانی غنی را به صورت بومی ذخیره می‌کنند و دیگر به یک رشته متنی ساده برای هر اپیزود اکتفا نمی‌کنند. این حاشیه‌نویسی‌ها شامل زیر-تکالیف زمان‌بندی شده، برنامه‌ها، حافظه، اصلاحات، گفتار و جفت‌های VQA (پرسش و پاسخ بصری) برای هر دوربین است.

رابط خط فرمان جدید lerobot-annotate این موارد را به صورت خودکار با استفاده از یک VLM (مانند Qwen/Qwen2.5-VL-7B-Instruct) که اپیزودها را تماشا می‌کند، پر می‌کند. سپس یک لایه دستورالعمل YAML این داده‌ها را به پیام‌های آموزشی به سبک چت تبدیل می‌کند تا داده‌های دقیق مورد نیاز برای سیاست‌های رباتیک «گوینده» و با افق زمانی بلند (long-horizon) فراهم شود. این فرآیند را می‌توان با استفاده از HF Jobs در مقیاس بالا اجرا کرد.

مرکز ارزیابی (Evaluation Hub)

برای اندازه‌گیری این دستاوردها، نسخه ۰.۶.۰ شش محک (Benchmark) شبیه‌سازی جدید را تحت دستور lerobot-eval عرضه کرده است. هر محک دارای یک صفحه مستندات اختصاصی، یک تصویر Docker و یک چک‌پوینت بیس‌لاین SmolVLA است که در CI تست شده است. ارزیابی موازی اکنون به صورت پیش‌فرض از محیط‌های برداری غیرهمزمان (async vectorized environments) استفاده می‌کند که تا ۲ برابر سریع‌تر هستند:

• LIBERO-plus: تست استرس VLAs با حدود ۱۰,۰۰۰ نسخه تغییریافته از LIBERO در هفت محور، از جمله نورپردازی، زوایای دوربین و دستورات بازنویسی شده.
• RoboTwin 2.0: پوشش ۵۰ تکلیف دست‌جوشی دو-دستی در SAPIEN با تصادفی‌سازی گسترده دامنه و بیش از ۱۰۰ هزار مسیر آماده آموزش در Hub.
• RoboCasa365: شامل ۳۶۵ تکلیف آشپزخانه در ۲۵۰۰ آشپزخانه که به صورت رویه‌ای (Procedurally) تولید شده‌اند و توسط یک ربات متحرک (Mobile Manipulator) اجرا می‌شوند.
• RoboCerebra: ارزیابی رفتارهای با افق زمانی بلند با اپیزودهایی که ۳ تا ۶ زیر-هدف را تحت دستورات میانی مبتنی بر زبان زنجیره می‌کنند (با استفاده از مجموعه داده ۶۶۶۰ اپیزودی).
• RoboMME: یک «آزمون حافظه» برای بررسی اینکه آیا سیاست‌ها می‌توانند تکرارها را بشمارند، اشیاء پنهان را ردیابی کنند و رویه‌های نمایش داده شده را تقلید کنند (شامل ۴ مجموعه تست حافظه).
• VLABench: تست دانش و استدلال در دست‌کاری اشیاء، که همه چیز از سوالات فیزیک تا دم کردن قهوه به صورت سرتاسری را پوشش می‌دهد.

در کنار LIBERO، Meta-World و NVIDIA IsaacLab-Arena، اکنون ۹ خانوادهٔ محک مختلف زیر یک سقف جمع شده‌اند.

تکمیل چرخه: استقرار و آموزش

استقرار دیگر یک «راهکار موقت» یا هک روی ضبط داده‌ها نیست. دستور جدید lerobot-rollout یک گردش‌کار اختصاصی با استراتژی‌های قابل تعویض و بک‌اندهای استنتاج، از جمله تکه‌بندی آنی (Real-Time Chunking) برای VLAهای کند، معرفی می‌کند.

استراتژی‌های استقرار:

• Base: صرفاً سیاست را اجرا می‌کند.
• Sentry: به طور مداوم ضبط می‌کند، اپیزودها را می‌چرخاند و آن‌ها را در Hub آپلود می‌کند.
• Highlight: یک بافر حلقوی را نگه می‌دارد و با فشردن یک کلید، N ثانیه آخر را ذخیره می‌کند.
• Episodic: از گردش‌کار کلاسیک اپیزود/بازنشانی پیروی می‌کند.
• DAgger: استقرار را به جمع‌آوری داده تبدیل می‌کند. کاربر سیاست را زیر نظر می‌گیرد و هنگام شکست، با فشردن یک کلید (یا پدال پایی USB)، کنترل بازوی لیدر (Leader Arm) را می‌گیرد تا اصلاحیه را ضبط کند. برای اطمینان از انتقال بدون ضربه (jerk-free)، بازوهای actuated پیش از تحویل به پوز (Pose) بازوی دنبال‌کننده (follower) هدایت می‌شوند. هر اصلاحیه با یک پرچم «مداخله» برای جلسه تنظیم دقیق بعدی علامت‌گذاری می‌شود.

سخت‌افزار و آموزش ابری
برای کسانی که سخت‌افزار محلی ندارند، HF Jobs اکنون اجازه می‌دهد دستور lerobot-train با افزودن پرچم --job.target در ابر اجرا شود. کاربران می‌توانند محاسبات را از یک T4 تنها تا ۸ عدد H200 (با پرداخت به ازای مصرف) هدف قرار دهند. LeRobot انتقال مجموعه داده‌های محلی به مخزن خصوصی، استریم لاگ‌ها و آپلود سیاست نهایی در Hub را مدیریت می‌کند.

پشتیبانی از FSDP (Fully Sharded Data Parallel) از طریق Accelerate اکنون اجازه می‌دهد مدل‌های بزرگتر از حافظه یک GPU آموزش داده شوند. پارامترها، گرادینت‌ها و وضعیت‌های بهینه‌ساز بین GPUها تکه-تکه (shard) می‌شوند و چک‌پوینت‌ها دوباره در یک فایل استاندارد model.safetensors جمع‌آوری می‌گردند. اجراهای FSDP حتی می‌توانند روی تعداد متفاوتی از GPUها از سر گرفته شوند.

برای کسانی که رابط بصری را ترجیح می‌دهند، LeLab تمام گردش‌کار — از کالیبراسیم و کنترل از راه دور تا ضبط، آموزش و استقرار — را در یک رابط کاربری مرورگر می‌آورد که در حال حاضر از SO-ARM101 پشتیبانی می‌کند.

بهبودهای کدبیس و اکوسیستم

کدبیس اکنون ۴۰٪ سبک‌تر شده و وابستگی‌های پایه حدود ۴۰٪ کاهش یافته است. افزونه‌های محدود به ویژگی مانند [training]، [core_scripts] و [evaluation] سایر موارد را پوشش می‌دهند. سایر به‌روزرسانی‌های فنی عبارتند از:

• پشتیبانی از PyTorch: انتقال به نسخه‌های ۲.۷ تا ۲.۱۱، با چرخ‌های (wheels) CUDA 12.8 برای نصب‌های Linux uv.
• دقت: گزینه --policy.dtype=bfloat16 اکنون آموزش با دقت ترکیبی واقعی را از طریق Accelerate هدایت می‌کند.
• بصری‌سازی: گزینه --display_mode=foxglove کنترل از راه دور، ضبط و اجراها را به Foxglove استریم می‌کند. ابزار lerobot-dataset-viz اکنون دارای بازپخش قابل پیمایش (scrubbable) مجموعه‌داده‌ها است.
• سیستم پلاگین: ربات‌ها، دوربین‌ها، کنترل‌کننده‌ها، سیاست‌ها و محیط‌ها را پوشش می‌دهد. بسته‌های lerobot_env_* اکنون به صورت خودکار ثبت (self-register) می‌شوند.
• سازگاری: کنترل‌های کیبورد اکنون روی Wayland، از طریق SSH، سیستم‌های بدون مانیتور (headless) و macOS بدون نیاز به مجوزهای Accessibility کار می‌کنند.

ابزارهای تکمیلی اکوسیستم شامل Isaac Teleop است که امکان کنترل SO-101 از طریق کنترلرهای VR را از طریق استک Isaac Teleop انویدیا روی CloudXR/OpenXR فراهم می‌کند. همچنین یک راهنمای سخت‌افزار جدید، محدوده‌های VRAM برای هر خانواده سیاست و زمان‌های مرجع آموزش (از RTX 4090 تا 4x H100) را ارائه می‌دهد.

این تغییر در معماری LeRobot، حوزه رباتیک را از مجموعه‌های داده استاتیک «ضبط و پخش» به سمت یک چرخه پویا از تخیل، اجرا و اصلاح انسانی می‌برد. با ادغام مدل‌های پاداش و مدل‌های جهانی، هاگینگ فیس به طور بنیادی مانع ایجاد ربات‌هایی که بتوانند با محیط‌های جدید سازگار شوند را کاهش می‌دهد.

اگر در حال ساخت سیاست رباتیک خود هستید، باید محک‌های جدید lerobot-eval را بررسی کنید تا ببینید مدل شما در مقایسه با بیس‌لاین SmolVLA چگونه با تغییرات LIBERO-plus برخورد می‌کند.

گام بعدی شما

• اگر در حال توسعه سیاست‌های رباتیک هستید، مدل‌های تخیلی VLA-JEPA را برای کاهش نرخ خطای محیطی تست کنید.
• از محک‌های lerobot-eval برای مقایسه مدل خود با بیس‌لاین SmolVLA استفاده کنید.
• استراتژی Dagger را برای جمع‌آوری داده‌های اصلاحی (Corrective Data) در محیط‌های عملیاتی به کار ببرید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.