«پرداخت بهازای مصرف»؛ استراتژی جدید Cloudflare برای میزبانی Llama 3
سرویس Cloudflare Workers AI امکان اجرای مدل Llama 3 و سایر مدلهای متنباز را روی شبکه جهانی GPU فراهم میکند. این رویکرد با حذف نیاز به مدیریت زیرساخت و کاهش تأخیر، هزینههای…
موضوع
SLMs, on-device inference, mobile AI, AI PCs
۲٬۰۴۹ مقاله منتشر شده
سرویس Cloudflare Workers AI امکان اجرای مدل Llama 3 و سایر مدلهای متنباز را روی شبکه جهانی GPU فراهم میکند. این رویکرد با حذف نیاز به مدیریت زیرساخت و کاهش تأخیر، هزینههای…
برنامهنویسان برای جلوگیری از نشت دادههای حساس، به جای مدلهای ابری به سمت استقرار محلی هوش مصنوعی روی سختافزار شخصی روی میآورند. با استفاده از مدلهای وزنباز و موتور استنتاج…
به لطف بهینهسازیهای نرمافزاری پیشرفته، یک کارت گرافیک مصرفکننده RTX 4090 اکنون قادر است مدلهای ۱۲۵ میلیارد پارامتری را با سرعت ۱۰۰ تریلیون توکن در ثانیه اجرا کند. این دستاورد…
یک توسعهدهنده با استفاده از مدل Gemma 4 و ابزار Ollama، اپلیکیشنی به نام One Thing ساخت تا کارهای پیچیده صبحگاهی فرزندش را به مأموریتهای تکمرحلهای تبدیل کند. این پروژه نشان…
یک توسعهدهنده ابزار KODA را برای آموزش کدنویسی به دانشجویان بدون لپتاپ طراحی کرده است. این سیستم با استفاده از زیرساختهای لبه، بدون نیاز به سختافزار گرانقیمت یا اینترنت…
موج جدیدی از ابزارهای متنباز در حال انتقال زیرساخت عاملهای هوش مصنوعی از ابر به سختافزار محلی است. این ابزارها امکان مدیریت حافظه، دستیارهای خصوصی و ردیابی هزینهها را بدون…
ابزار جدید DraftKey برای سیستمعامل macOS، قابلیتهای تکمیل خودکار و بازنویسی متن را بهصورت محلی و بدون نیاز به ابر فراهم میکند. این نرمافزار با حذف نیاز به کپی-پیست میان…
یک ابزار کمکی آفلاین به نام AphasiaBridge با تنظیم دقیق مدل Gemma-2B، کلمات تکهتکهٔ بیماران دچار آفازی را به جملات کامل تبدیل میکند. این سیستم با تأخیر بسیار کم و شبیهسازی صدای…
ابزار OpenBrief با اجرای محلی مدلهای زبانی، متون طولانی را به خلاصههای قابلراستیآزمایی و پرسشهای تفکر انتقادی تبدیل میکند. این سامانه با اولویت دادن به حریم خصوصی و ایجاد…
یک ابزار متنباز جدید با اجرای مدلهای زبانی کوچک در مرورگر، امکان جستوجوی رستورانهای رژیمی را بدون ارسال داده به سرور فراهم میکند. این رویکرد حریم خصوصی دادههای حساس مذهبی و…
مدل تصمیمگیر Strands Decider 2B از AWS با ایفای نقش به عنوان یک لایه کنترلی سریع، از توهمات عاملها در فراخوانی ابزارها جلوگیری کرده و درخواستهای ساده را از مدلهای گرانقیمت…
یک ابزار متنباز جدید به کاربران macOS 27 اجازه میدهد مدلهای حجیم Apple Intelligence را بهطور کامل حذف کنند. برخلاف تنظیمات پیشفرض، این ابزار مانع از دانلود خودکار مجدد این…