اگر در حال طراحی یک ساعت هوشمند یا عینکهای واقعیت افزوده هستید، دیگر نیازی نیست برای اجرای دستورات ساده، سختافزاری سنگین تهیه کنید. سد سختافزاری برای استقرار عاملهای هوشمند روی دستگاهها بهشدت پایین آمد.
صنعت اکنون به سمت «هوش مصنوعی کوچک» برای گجتهای پوشیدنی حرکت میکند. در حالی که مدلهای عظیم بر فضای ابری مسلط هستند، سختافزارهای لبه برای حفظ باتری و حافظه به بهرهوری مطلق نیاز دارند. همانطور که در تحلیلهای قبلی ما دربارهی مدلهای زبانی کوچک (SLM) اشاره کردیم، هدف این است که هوش مصنوعی بدون وابستگی به اینترنت، در لحظه پاسخ دهد.
در ۱۲ مه ۲۰۲۶، تیم Cactus Compute مدل Needle را منتشر کرد. این مدل یک «شبکه توجه ساده» با ۲۶ میلیون پارامتر است که از طریق تقطیر از Gemini 3.1 ساخته شده است. طبق اعلام این شرکت، مدل Needle روی سختافزارهای Cactus به سرعت پیشخوانی ۶,۰۰۰ توکن بر ثانیه و سرعت رمزگشایی ۱,۲۰۰ توکن بر ثانیه میرسد.
به نقل از مستندات گیتهاب این پروژه، جزئیات فنی مدل به شرح زیر است:
- پیشآموزش روی ۲۰۰ میلیارد توکن با استفاده از ۱۶ پردازنده TPU v6e در ۲۷ ساعت.
- پسآموزش روی ۲ میلیارد توکن دادههای فراخوانی ابزار در ۴۵ دقیقه.
- عملکرد برتر نسبت به مدلهای FunctionGemma-270m، Qwen-0.6B و Granite-350m در فراخوانی تکمرحلهای ابزارها.
این تحول ثابت میکند که تقطیر شدید میتواند مدلهای «جراحی» بسازد. شما برای فعال کردن یک ابزار هواشناسی، به یک مدل همهکاره و فیلسوف نیاز ندارید؛ بلکه یک ماشه دقیق میخواهید. این نتیجه، این فرض را که رفتار عاملمحور (Agentic) نیازمند صدها میلیون پارامتر است، به چالش میکشد.
برای استفاده از این مدل، باید از تنظیم دقیق (Fine-tuning) — که شبیه وقتی است که به یک پزشک عمومی، تخصص پوست میدهیم تا روی یک حوزه دقیق شود — استفاده کنید تا مدل روی ابزارهای خاص شما بهینه شود. در نهایت، استنتاج (Inference) — یعنی همان لحظهی آشپزی و تولید جواب، نه دورهی آموزش — در این مدل با سرعت خیرهکنندهای رخ میدهد.
گام بعدی شما
- مخزن گیتهاب پروژه را کلون کنید.
- از رابط کاربری وب داخلی برای تنظیم دقیق Needle روی ابزارهای سفارشی خود استفاده کنید.
- سرعت پاسخدهی مدل را در محیطهای محدود حافظه تست کنید.
اما تأثیر این مدل بر مصرف باتری گجتها داستان دیگری دارد — به بررسی ما دربارهی بهینهسازی سختافزاری مراجعه کنید.
گفتگو