اگر توسعهدهندهای هستید که میخواهد بدون پرداخت هزینههای ماهیانهٔ سرور، قابلیت جستوجوی هوشمند را به سایتش اضافه کند، بازی تغییر کرده است. حالا میتوان مدلهای پردازشی را بهجای اینکه در دیتاسنترهای غولپیکر نگه داشت، مستقیماً در جیب یا لپتاپ کاربر قرار داد.
به نقل از مستندات این پروژه که در ۶ جولای ۲۰۲۶ بهروزرسانی شده است، مدل Ternlight اجازه میدهد فرآیند بردار معنایی (Embedding) — که شبیه به دادن یک کارت معرفی عددی به هر کلمه است تا مدل بفهمد کدام واژهها «همسایه» هم هستند — بهطور کامل روی CPU کاربر انجام شود. این یعنی جستوجوی معنایی (Semantic Search) بدون حتی یک درخواست API ممکن است.
اکنون اکثر سیستمهای جستوجوی معنایی به مدلهای سنگین ابری وابسته هستند که تأخیر ایجاد کرده و حریم خصوصی را به خطر میاندازند. Ternlight این مشکل را با ارائه مدلی حل کرده که آنقدر کوچک است که میتواند بهصورت یک بسته استاندارد npm ارسال شود؛ همانطور که در تحلیل قبلی ما دربارهی مدلهای زبانی کوچک (SLM) اشاره کردیم، روند انتقال محاسبات از ابر به لبه (Edge) در حال شتاب گرفتن است. این رویکرد با راهکارهای جدید برای مدیریت مدلهای آفلاین در موبایل همسو است تا تجربه کاربری بدون وابستگی به شبکه بهبود یابد.
این سامانه دو سطح عملکردی ارائه میدهد:
- نسخه پایه (Base): مدلی ۷ مگابایتی برای مصارف عمومی.
- نسخه مینی (Mini): لایهای فوقسبک ۵ مگابایتی که بهطور خاص برای سرعت بهینه شده است.
بر اساس بررسیهای فنی، این مدلها میتوانند متنها را تنها با استفاده از CPU و در حدود ۵ میلیثانیه تبدیل به بردار کنند. برای مثال، جستوجوی عبارت «ایدههای شام ساده برای وسط هفته» در یک لیست محلی از دستور پختها، تقریباً بهصورت آنی رتبهبندی و بازگردانده میشود. در حال حاضر این ابزار در یک محیط مرورگر برای جستوجو در مستندات React به نمایش درآمده است. در این میان، کیفیت دادههای ورودی برای بردارسازی حیاتی است؛ چنانکه بهینهسازی محتوا با حذف نویزهای HTML میتواند دقت سیستمهای بازیابی اطلاعات (RAG) را بهطور چشمگیری افزایش دهد.
این تغییر، سیگنالی از حرکت به سمت «هوش مصنوعی نامرئی» است؛ جایی که مدل دیگر یک مقصد (سرور) نیست، بلکه یک ابزار (کتابخانه) است. برای یک توسعهدهنده، این یعنی هزینه افزودن جستوجوی معنایی به پروژه تقریباً صفر میشود و دیگر نیازی به مدیریت اشتراکهای پایگاهداده برداری (Vector Database) یا نگرانی از محدودیتهای نرخ API نیست.
گام بعدی شما
- بسته
@ternlight/baseرا از طریق npm نصب کنید تا بردارسازی محلی را در پروژه фронت-اند خود تست کنید. - برای کاهش بیشتر تأخیر در دستگاههای ضعیف، نسخه Mini را جایگزین نسخه Base کنید.
- بررسی کنید کدام بخشهای جستوجوی سایتتان را میتوان از سرور به مرورگر منتقل کرد تا هزینه استنتاج را حذف کنید.
این تنها بخشی از موج کوچکسازی است؛ اثر این رویکرد بر معماری وبسایتهای نسل بعد را در گزارش بعدی بررسی خواهیم کرد.
گفتگو