مدلهای کوچک با کاهش تأخیر در حال پیروزی در جنگ تجربه کاربری هستند
تجربه کاربری در محصولات هوش مصنوعی بیش از آنکه به نمرات بنچمارک وابسته باشد، به تأخیر دریافتشده حساس است. توسعهدهندگان با توزیع وظایف بین مدلهای سریع و مدلهای پرچمدار،…
موضوع
SLMs, on-device inference, mobile AI, AI PCs
۲٬۰۴۹ مقاله منتشر شده
تجربه کاربری در محصولات هوش مصنوعی بیش از آنکه به نمرات بنچمارک وابسته باشد، به تأخیر دریافتشده حساس است. توسعهدهندگان با توزیع وظایف بین مدلهای سریع و مدلهای پرچمدار،…
یک گردشکار جدید مبتنی بر مرورگر، امکان افزایش وضوح ویدیوهای کمکیفیت به 8K را بدون نیاز به آپلود فایل در سرور فراهم میکند. این ابزار با انتقال پردازش به سختافزار کاربر، حریم…
اپلیکیشن Keen Bean با حذف رباتهای مزاحم در تماسهای تصویری، مستندات فنی و لیست وظایف را بهصورت زنده تولید میکند. این ابزار برای مشاورانی طراحی شده که به دلیل قراردادهای…
تستهای اولیه نشان میدهد حتی با بهبودهای چشمگیر در حریم خصوصی و دسترسی به دادههای شخصی، کاربران همچنان به روشهای دستی و چتباتهای متخصصی مانند Claude بازمیگردند. این وضعیت…
شرکت متا مدل Muse Voice Transcribe را برای تبدیل بلادرنگ صوت به متن معرفی کرد که با بهینهسازی زمان شنود، تعادلی میان سرعت و دقت ایجاد میکند. این مدل با قیمتی رقابتی، قابلیت…
یک الگوی معماری جدید با استفاده از «مسیریاب وظایف» (Job Router)، تسکهای هوش مصنوعی را پیش از اجرا بر اساس امنیت و سختافزار طبقهبندی میکند. این رویکرد مانع خروج دادههای حساس…
برنامههای مدرن هوش مصنوعی مرورگر را از یک لایه نمایش ساده به یک مرز امنیتی حساس تبدیل کردهاند. برای جلوگیری از دستکاریهای کاربر و خروجیهای مخرب مدلها، معماری سیستم باید تمام…
مدل جدید بینایی-زبانی علیبابا با ۸ میلیارد پارامتر، استخراج دقیق دادههای ساختاریافته از تصاویر را روی یک GPU ممکن میکند. این مدل با پنجره متنی ۲۶۲ هزار توکنی، جایگزینی ارزان و…
پروژه متنباز SafePrompt Agent با ایجاد یک لایه امنیتی محلی روی دستگاه کاربر، پرامپتها و فایلها را پیش از ارسال به هوش مصنوعی اسکن میکند. این معماری از افشای تصادفی کلیدهای API…
سیستم Private EDGE OS با جایگزینی کلیدهای API سختافزاری (Hardcoded) با یک سامانه گاوصندوق درونسازمانی، ریسک نشت اعتبارنامهها را حذف میکند. این معماری با استفاده از هویتهای…
مرکز ثقل هوش مصنوعی از APIهای ابری غولپیکر به سمت مدلهای کوچک و محلی در حال چرخش است. توسعهدهندگان با استفاده از مسیریابی ترکیبی، هزینههای عملیاتی را بدون افت کیفیت در ۸۰٪…
گوگل با معرفی کامپایلر HEIR امکان اجرای مدلهای یادگیری ماشین روی دادههای رمزنگاریشده را فراهم کرد تا حریم خصوصی کامل کاربر و وزنهای مدل حفظ شود. با وجود تأخیر شدید در CPU،…