آیا استریم از SSD میتواند محدودیت رم در مدلهای زبانی را بشکند؟
یک محیط اجرای تخصصی برای مکهای اپل، مدل Gemma 4 26B را با استفاده از استریم خبرهها از حافظه SSD، تنها با ۲ گیگابایت رم فعال میکند. این ترفند مهندسی کیفیت مدلهای حجیم را به…
موضوع
SLMs, on-device inference, mobile AI, AI PCs
۲٬۰۴۹ مقاله منتشر شده
یک محیط اجرای تخصصی برای مکهای اپل، مدل Gemma 4 26B را با استفاده از استریم خبرهها از حافظه SSD، تنها با ۲ گیگابایت رم فعال میکند. این ترفند مهندسی کیفیت مدلهای حجیم را به…
شرکتهای AXG و Digital Realty برای ارائه زیرساختهای ابری و هوش مصنوعی خصوصی در ۳۱ بازار جهانی متحد شدند. این مدل به سازمانها اجازه میدهد بدون درگیر شدن با هزینههای گزاف ابرهای…
یک توسعهدهنده با استفاده از Gemini برای برچسبگذاری دادهها، یک مدل محلی GLiNER را آموزش داد و هزینههای API را تقریباً به صفر رساند. این مدل با دقت ۰.۸۳ F1، جایگزین فراخوانیهای…
فوجیتسو با معرفی پردازنده و سرور MONAKA، معماری ۳ بعدی ۲ نانومتری را برای هوش مصنوعی حاکمیتی به کار گرفت. این سیستم توان عملیاتی استنتاج را دو برابر کرده و مصرف انرژی و فضای مورد…
پلتفرم Groq با ارائه یک API با تأخیر بسیار پایین، استنتاج مدلهای زبانی را به زیر یک میلیثانیه رسانده است. این زیرساخت به توسعهدهندگان اجازه میدهد چتباتها و سرویسهای لبهای…
ابزار ChangelogPro با استفاده از WebGPU، تبدیل لاگهای گیت به یادداشتهای انتشار را بهصورت کاملاً محلی و بدون ارسال داده به سرور انجام میدهد. این رویکرد حریم خصوصی توسعهدهندگان…
عامل جدید Mano-CUA با تکیه بر بینایی خالص، در وظایف پیچیدهٔ پر کردن فرمهای وب عملکردی بهتر از مدلهای عمومی مانند Claude 4.5 و Gemini 2.5 Pro داشت. این مدل برخلاف LLMها، به جای…
پروژه Don Watch با ترکیب WebGPU و WebLLM، یک دوقلوی دیجیتال از رودخانه دان در شفیلد ساخته است که کاملاً روی دستگاه کاربر اجرا میشود. این ابزار بدون نیاز به سرور ابری، تحلیلهای…
پلتفرم Baize با استفاده از زبان Go، محیط اجرای عاملهای هوش مصنوعی را به یک پردازش جانبی (Sidecar) تبدیل کرده است. این رویکرد با حذف وابستگیهای پیچیده پایتون، استقرار سریع و امن…
روهان بانسال با استفاده از یک مدل ۴ میلیارد پارامتری Qwen و ترکیب تنظیم دقیق نظارتشده با یادگیری تقویتی، توانست برنامههای اجرای پرسوجو در PostgreSQL را بهینه کند. این مدل با…
شرکت Knowledgator مدل GLiFormer را معرفی کرد؛ رمزگذاریکنندهای که استخراج اطلاعات پیچیده را بدون تأخیر تولید توکن به توکن انجام میدهد. این مدل در ساختاربندی JSONهای تو در تو با…
شرکت Telnyx یک معماری مرجع TypeScript منتشر کرد که با استفاده از لایهی دادههای مشترک، دستیاران هوش مصنوعی را با وبسایت و داشبوردهای فروش همگام میکند. این راهکار مانع از ایجاد…