چگونه S-Space مختصات مکانی را از مدل‌های زبانی-بینایی استخراج می‌کند؟

یک استارتاپ رباتیک اکنون می‌تواند تنها با سه خط کد، موقعیت دقیق یک فنجان قرمز را روی میزی شلوغ به رباتش بفهماند. متا (Meta AI) در ۹ اکتبر ۲۰۲۶ ابزار S-Space را منتشر کرد و نشان داد مدل‌های چندوجهی (Multimodal) — مدل‌هایی که مثل انسان هم‌زمان متن، عکس و صدا را می‌فهمند — پیش از این یک سیستم مختصاتی خطی و پنهان برای محورهای x، y و عمق در خود جای داده بودند.

این کشف در حالی رخ می‌دهد که صنعت به سمت هوش مصنوعی تجسم‌یافته (Embodied AI) حرکت می‌کند؛ جایی که مدل‌ها باید از توصیف ساده تصاویر فراتر رفته و با دنیای فیزیکی تعامل کنند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی جایگزینی مدل‌های وزن‌باز با سیستم‌های بسته اشاره کردیم، S-Space پلی کاربردی میان ادراک سطح بالا و کنش فیزیکی ایجاد می‌کند.

تصور کنید یک مدل بینایی مثل کتابخانه‌داری است که می‌تواند بگوید کتاب «روی قفسه» است، اما نمی‌تواند مختصات دقیق GPS آن صفحه را بدهد. S-Space مانند لنزی تخصصی عمل می‌کند که این دانش کلی را به یک بردار دقیق (x, y, z) تبدیل می‌کند. به این ترتیب، توسعه‌دهندگان دیگر مجبور نیستند برای دستیابی به آگاهی مکانی ساده، مدل‌های عظیمی را از صفر آموزش دهند.

مطالعه موردی: از پیکسل تا جای‌گذاری دقیق

تیمی از متخصصان رباتیک را در نظر بگیرید که از یک مدل منجمد مشابه GPT-4V برای فرمان دادن به رباتی مثل Spot استفاده می‌کنند. طبق گزارش متا، اگرچه مدل می‌تواند دستورات سطح بالایی مثل «فنجان قرمز را بردار» تولید کند، اما معمولاً فاقد اطلاعات مکانی پیوسته ای است که کنترل‌کننده برای اجرای عملیات گرفتن (Grasp) به آن نیاز دارد. مدل نام شیء را می‌داند، اما آفست سه‌بعدی دقیق آن را ندارد.

کیت توسعه نرم‌افزاری (SDK) S-Space این مشکل را با یک پیاده‌سازی ساده در پایتون حل می‌کند:

from sspace import extract_sspace, query_sspace
tokens = query_sspace(image, "red cup")
coords = extract_sspace(tokens, target="red cup")

در این گردش‌کار، تابع query_sspace فهرستی از توکن‌ها (Token) — تکه‌های کوچکی از متن، شبیه برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — را همراه با امتیاز اطمینان برمی‌گرداند. سپس extract_sspace فعال‌سازی توکن را روی سه جهت ویژه متعامد (افقی، عمودی و عمق) تصویر می‌کند. بردار اعشاری حاصل در فضای پیکسلی، توسط برنامه‌ریز حرکتی ربات به زوایای مفصلی تبدیل می‌شود. این رویکرد بهینه‌سازی داده‌ها یادآور تکنیک‌های کاهش پهنای باند داده در اسکریپت‌های فضایی ۴ بیتی است که برای افزایش سرعت پردازش در سیستم‌های عصبی به کار می‌روند.

سازوکار کشف

بر اساس مستندات منتشر شده در arXiv (کد ۲۶۱۰.۱۳۵۲۷)، پژوهشگران یک زیرفضای خطی را در فعال‌سازی‌های مدل‌های بینایی-زبانی منجمد کشف کردند. آن‌ها ابتدا گرادیان یک تابع زیان مکانی — مثلاً «گربه نسبت به مبل کجاست؟» — را نسبت به بردار فعال‌سازی هر توکن اندازه‌گیری کردند.

آن‌ها با اجرای تجزیه مقدار تکین (SVD) روی ژاکوبین حاصل، سه بردار ویژه غالب را شناسایی کردند که در تمامی تصاویر، اشیا و پرامپت‌ها به‌طور سازگار تراز شده بودند. این بردارها نماینده محورهای افقی، عمودی و عمق هستند. با تصویر کردن هر فعال‌سازی توکن $h_i$ روی این بردارها، سیستم یک سه-تایی مختصاتی محاسبه می‌کند: $[ \mathbf{c}_i = ( \mathbf{v}_x^ op h_i, \mathbf{v}_y^ op h_i, \mathbf{v}_z^ op h_i ) ]$.

از آنجا که این نگاشت خطی است، عملیات تصویر کردن برای توکن‌ها، صحنه‌ها و حتی فریم‌های ویدیویی دیده‌نشده نیز کار می‌کند. نویسندگان این خطی بودن را با میان‌یابی بین دو توکن شیء و مشاهده یک مسیر نرم در فضای (x, y, z) بازیافت‌شده تأیید کردند.

دانش ذاتی در برابر دانش القایی

برای اینکه بفهمند آیا این دانش مکانی تصادفی است یا یک ویژگی بنیادی، متا دو مدل کنترل را آزمایش کرد:

• مدل پایه: معماری‌ای که روی داده‌های شرح‌نویسی و پرسش‌وپاسخ تصویری (VQA) بدون برچسب‌های مکانی صریح آموزش دیده بود. این مدل سه جهت ویژه را با شباهت کسینوسی (Cosine Similarity) ۰.۹۳ نسبت به بردارهای اصلی S-Space بازتولید کرد.
• مدل تصویر-برهم‌ریخته: مدلی با خط لوله مشابه اما با پیکسل‌های تصادفی. این مدل به‌طور کامل شکست خورد و شباهت به زیر ۰.۱۵ افت کرد.

این نتایج ثابت می‌کند که پیش‌آموزش در مقیاس بزرگ، به‌طور خودکار یک نقشه نهان از دنیای بصری را درونی می‌کند و S-Space صرفاً آن را بدون نیاز به مجموعه داده‌های مکانی اختصاصی بیرون می‌کشد.

پیاده‌سازی فنی

S-Space نیازی به تنظیم دقیق (Fine-tuning) — مثل وقتی به یک پزشک عمومی تخصص پوست می‌دهیم تا روی یک حوزه دقیق شود — مدل پایه را ندارد. در عوض، از یک آداپتور (Adapter) سبک‌وزن متشکل از دو لایه استفاده می‌کند:

• لایه تصویر: بردار معنایی (Embedding) منجمد ۱,۰۲۴ بعدی توکن را به یک فضای میانی ۲۵۶ بعدی می‌برد.
• لایه S-Space: یک تبدیل خطی یادگرفته‌شده را برای تراز کردن آن فضا با جهت‌های ویژه کشف‌شده اعمال می‌کند.

این آداپتور تنها ۰.۳٪ به پارامترهای یک مدل ۱.۲ میلیارد پارامتری اضافه می‌کند. آموزش این لایه روی یک مجموعه اعتبارسنجی کوچک (حدود ۲,۰۰۰ جعبه محصور برچسب‌دار) در کمتر از ۵ دقیقه روی یک GPU RTX 4090 انجام می‌شود و تأخیر استنتاج زیر ۲ میلی‌ثانیه برای هر تصویر باقی می‌ماند.

علاوه بر این، SDK یک API پرس‌وجوی مشتق‌پذیر ارائه می‌دهد. تابع query_sspace(image, prompt) تانسوری را برمی‌گرداند که دارای شکل [N, 4] است و شامل شناسه توکن، x، y، z و امتیاز اطمینان است. چون این عملیات در گراف اتوگراد باقی می‌ماند، زیان‌های پایین‌دستی — مثل خطای مسیر ربات — می‌توانند برای بهینه‌سازی سرتاسری، از طریق پرس‌وجوی مکانی پس‌انتشار یابند.

محک‌های عملکرد

در آزمایش روی محک SpaCE-10، سیستم تقویت‌شده با S-Space پیشرفت‌های چشمگیری داشت:

• استنتاج مکانی چندمرحله‌ای: صحت از ۷۱.۴٪ به ۸۳.۶٪ رسید (۱۲٪ افزایش).
• تخمین فاصله پیوسته: میانگین مطلق خطا از ۹.۸ سانتی‌متر به ۸.۰ سانتی‌متر کاهش یافت (۱۸٪ بهبود).
• بازیابی عبارات مکانی: در مجموعه COCO-Captions از ۶۲.۱٪ به ۶۸.۹٪ افزایش یافت (Recall@1).

در تست‌های واقعی رباتیک روی داده‌های آشپزخانه، این اعداد به کاهش ۳۰ درصدی نرخ شکست در گرفتن اشیا منجر شد. در حالت سنتی، دستیابی به این حاشیه خطا نیازمند هفته‌ها جمع‌آوری داده‌های اضافی بود.

محدودیت‌ها و ریسک‌ها

با وجود این دستاوردها، سیستم بی‌نقص نیست. S-Space خطاهای مدل میزبان را به ارث می‌برد؛ اگر مدل در شناسایی شیء اشتباه کند، مختصات به‌صورت «شبح» ظاهر می‌شوند. کاربران اولیه این توهم (Hallucination) — وقتی مدل با اطمینان چیزی می‌گوید که وجود ندارد — را در صحنه‌های شلوغ گزارش کرده‌اند و استراتژی‌های تعدیلی مانند آستانه‌های اطمینان یا آشکارسازهای خارجی را پیشنهاد داده‌اند.

وضوح عمق نیز در محیط‌های داخلی فراتر از ۳ متر کاهش می‌یابد، به‌ویژه وقتی تغییرات نوری باعث سردرگمی رمزگذار بینایی شود. اگرچه پژوهشگران ترکیب S-Space با شبکه‌های عمق تک‌چشمی را پیشنهاد می‌کنند، اما این کار وعده «عدم نیاز به داده اضافی» را می‌شکند.

مسائل حقوقی و حریم خصوصی نیز مطرح است:

• لایسنس: SDK تحت لایسنس MIT است، اما نقاط بازرسی (Checkpoints) زیر لایسنس تحقیقاتی متا هستند. استفاده تجاری در بخش‌های حساس مثل رانندگی خودکار نیازمند مذاکرات جداگانه است.
• حریم خصوصی: یک مهاجم می‌تواند از نقطه انتهایی S-Space برای استخراج نقشه سه‌بعدی دقیق یک اتاق خصوصی از روی یک عکس ساده استفاده کند. متا توصیه می‌کند اطلاعات شناسایی شخصی پاک شوند، اما بهترین شیوه‌ها هنوز تعریف نشده‌اند.

مسیر رسیدن به هوش مصنوعی تجسم‌یافته

نقشه راه متا گسترش سریع این فناوری را نشان می‌دهد:

• سه ماهه چهارم ۲۰۲۶: رسیدن SDK به ۵ هزار ستاره گیت‌هاب و ۱۲۰ هزار دانلود در Hugging Face و آغاز اولین پایلوت‌های سازمانی.
• سه ماهه اول ۲۰۲۷: انتشار آداپتورهای نسل دوم برای پشتیبانی از CLIP-ViT-L/14 جهت گسترش سازگاری.
• سه ماهه سوم ۲۰۲۷: ادغام ابزار S-Space-AR با ARKit اپل و ARCore گوگل.
• سه ماهه اول ۲۰۲۸: تشکیل گروه کاری IEEE برای استانداردسازی «بردارهای معنایی مکانی برای LLMها» جهت ارزیابی یکپارچه.
• سه ماهه چهارم ۲۰۲۸: عرضه اولین پلتفرم‌های رباتیک تجاری (مثل Spot 2.0) با پشته‌های ادراکی S-Space.

این فناوری می‌تواند تجربه‌های «جای‌گذاری شیء با صوت» در طراحی داخلی AR یا پرو کردن مجازی لباس‌ها را از طریق استخراج مختصات فیگور بدن از روی سلفی‌ها ممکن کند. در رباتیک انبارها، این ابزار هزینه سخت‌افزارهای گران‌قیمت دوربین‌های عمق را کاهش می‌دهد.

برای مهندس هوش مصنوعی، این موضوع فرض قدیمی را که «مبنی‌سازی مکانی نیازمند داده‌های مکانی اختصاصی است» تغییر می‌دهد و ثابت می‌کند هندسه، یک ویژگی نوظهور در مقیاس‌های بزرگ است. نبرد واقعی اکنون این است که آیا این رویکرد متن‌باز می‌تواند از جایگزین‌های بسته‌ای مثل Spatial-GPT اوپن‌ای‌آی یا Gato-3D دیپ‌مایند پیشی بگیرد یا خیر، در حالی که هر دو در حال حاضر در بتای خصوصی یا پشت APIهای پولی هستند.

در نهایت، محتمل‌ترین مسیر، استفاده از خط لوله‌های ترکیبی است که در آن S-Space هندسه کلی را فراهم می‌کند و سپس توسط LiDAR یا حسگرهای استریو دقیق می‌شود. این کار هزینه استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند — را پایین نگه می‌دارد و در عین حال دقت لازم برای کارهای حساس را حفظ می‌کند. برای مدیریت چنین حجم عظیمی از محاسبات استنتاج در مقیاس صنعتی، زیرساخت‌های ذخیره‌سازی پیشرفته‌ای مانند خوشه OceanStor M900 هواوی که حافظه‌های عظیم KV-Cache را فراهم می‌کنند، حیاتی خواهند بود.

گام بعدی شما

• اگر توسعه‌دهنده رباتیک یا AR هستید، SDK S-Space را در گیت‌هاب بررسی کنید تا نیاز به آموزش مدل‌های سنگین برای تشخیص موقعیت را حذف کنید.
• برای کاهش هزینه‌های سخت‌افزاری، بررسی کنید که آیا مدل‌های بینایی فعلی شما می‌توانند با یک آداپتور سبک، جایگزین حسگرهای عمق شوند.
• در پروژه‌های تجاری، لایسنس‌های مدل‌های متا را به‌دقت بررسی کنید تا با محدودیت‌های استفاده غیرتحقیقاتی مواجه نشوید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.