تصور کنید کل فرآیند بازیابی میلیونها محتوا، به جای عبور از دهها سرویس مجزا، تنها در یک شبکه عصبی واحد پردازش شود. این ادعای جسورانهی متا (Meta) در معرفی SilverTorch است؛ پارادایمی که در آن اندیس بازیابی دیگر یک پایگاه داده خارجی نیست، بلکه یک تنسور (Tensor) درون خود مدل است. این رویکرد در حالی مطرح میشود که بسیاری از سازمانها هنوز در حال بررسی گزینههای مختلف دیتابیسهای برداری برای مدیریت مقیاسهای میلیاردی هستند تا تعادلی میان هزینه و کارایی ایجاد کنند.
به گزارش engineering.fb.com، سیستمهای توصیهگر استاندارد سالهاست که بر «مش میکروسرویس» (Microservice Mesh) تکیه دارند؛ زنجیرهای پراکنده از اندیسهای C++ و مدلهای PyTorch. این طراحی سقفهای ساختاری ایجاد میکند: جابهجایی دادهها بین سرویسها، بودجهی زمانی ۱۰۰ میلیثانیهای تأخیر (Latency) را میبلعد و عدم تطابق نسخهها بین مدل کاربر و اندیس آیتمها، کیفیت توصیهها را کاهش میدهد.
همانطور که در تحلیلهای پیشین ما دربارهی گلوگاههای زیرساختی مدلهای مقیاسبزرگ اشاره کردیم، حذف لایههای میانی کلید دستیابی به کارایی است. معماری SilverTorch که در ۲۶ مه ۲۰۲۶ منتشر شد، مفهوم «اندیس به عنوان مدل» را پیاده میکند؛ جایی که هر جزء — از اندیس آیتمها و فیلترهای صلاحیت گرفته تا لایههای امتیازدهی — یک ماژول شبکه عصبی (nn.Module) در PyTorch است.
طبق مستندات فنی متا، نوآوریهای کلیدی این سیستم عبارتند از:
- فیلتر اندیس بلوم (Bloom Index Filter): جایگزینی اندیسهای معکوسِ سنگینِ CPU با عملیات بیتی بومی GPU برای مدیریت قوانین صلاحیت.
- جستجوی ANN ادغامشده Int8: استفاده از کوانتیزاسیون (Quantization) ۸ بیتی برای نصف کردن مصرف حافظه و تسریع جستجوی نزدیکترین همسایه.
- اجرای یکپارچه: بهرهگیری از
torch.compileبرای بازنویسی کل گراف بازیابی به صورت کرنلهای بهینه در GPU.
در ارزیابی روی ۸۰ میلیون آیتم، متا گزارش داد که SilverTorch بهرهوری کل هزینه مالکیت (TCO) را ۲۰.۹ برابر نسبت به خطبارهای CPU بهبود بخشیده است. این جهش بازدهی اجازه میدهد قیف بازیابی گستردهتر شود و تعداد بسیار بیشتری از کاندیداها از طریق رتبهبندی عصبی و امتیازدهی چندوظیفهای به مرحله نهایی برسند. این بهبود در بازیابی، بستری ایدهآل برای پیادهسازی استانداردهای جدید رتبهبندی است؛ جایی که تمرکز از صرفاً «مرتبط بودن» به «مفید بودن» محتوا در سیستمهای RAG تغییر یافته است.
این چرخش، مرز بین مهندسی یادگیری ماشین و زیرساخت را بهطور کلی از بین میبرد. با انتقال اندیس به درون گراف مدل، متا «طراحی مشترک» (Co-design) را ممکن کرده است؛ به گونهای که فیلترینگ و جستجو به جای گامهای مجزا، بهطور مشترک بهینه میشوند.
گام بعدی شما
- مهندسان ML باید بررسی کنند که چگونه انتقال منطق فیلترینگ از لایهی دیتابیس به لایهی تنسور میتواند تأخیر سیستمهای خود را کاهش دهد.
- مطالعهی مستندات
torch.compileبرای بهینهسازی گرافهای محاسباتی در مقیاس بالا. - تحلیل اثر کوانتیزاسیون Int8 بر دقت بازیابی در مجموعهدادههای تخصصی.
اما داستان ادغام مدلهای زبانی بزرگ (LLM) در این خط لوله حتی شگفتانگیزتر است؛ چرا که در SilverTorch، یک LLM میتواند صرفاً به عنوان یک اپراتور دیگر متصل شود و حافظهی GPU را به اشتراک بگذارد.
گفتگو