پرش به محتوای اصلی

موضوع

مدل‌های بازوزن

Open-source models, open weights, local hosting, licensing

۲٬۳۹۶ مقاله منتشر شده

کرنل‌های Triton سرعت استنتاج مدل‌های کم‌رتبه را ۳.۷۶ برابر کرد

پژوهشگران با طراحی کرنل‌های سفارشی Triton، گلوگاه‌های حافظه‌ای در فشرده‌سازی مدل‌های Block Low-Rank را برطرف کردند. این بهینه‌سازی‌ها سرعت استنتاج را در سخت‌افزارهای محدود مانند…

۳۶ دقیقه خواندن

رمزنگاری هم‌ریخت در برابر LLM؛ تقابل امنیت مطلق و سرعت پردازش

رمزنگاری کاملاً هم‌ریخت (FHE) امکان پردازش داده‌های رمزگذاری‌شده بدون نیاز به رمزگشایی را فراهم می‌کند، اما سربار محاسباتی عظیم آن، استنتاج در مدل‌های زبانی بزرگ را فعلاً غیرممکن…

۶ دقیقه خواندن
زندگی با AI

پرامپت‌های هوش مصنوعی در برابر پیام‌های شخصی در پروتکل‌های امنیتی اروپا

مقامات اتحادیه اروپا در حال بررسی گسترش پروتکل‌های نظارتی Chat Control هستند تا تعاملات کاربران با چت‌بات‌ها را نظارت کنند. این اقدام باعث می‌شود پرامپت‌ها مانند پیام‌های شخصی…

۳ دقیقه خواندن۲