
«گلوگاه پهنایباند حافظه»؛ دلیل شکست مقیاسدهی سنتی در مدلهای زبانی
مقیاسدهی خودکار بر اساس CPU برای مدلهای زبانی شکست میخورد زیرا گلوگاه واقعی در پهنایباند حافظه و KV-cache است. توسعهدهندگان با جایگزینی معیارهای سنتی با «عمق صف»، میتوانند…
موضوع
۴٬۳۲۳ مقاله منتشر شده

مقیاسدهی خودکار بر اساس CPU برای مدلهای زبانی شکست میخورد زیرا گلوگاه واقعی در پهنایباند حافظه و KV-cache است. توسعهدهندگان با جایگزینی معیارهای سنتی با «عمق صف»، میتوانند…

ابزار جدید RegCompiler شکاف میان الزامات قانونی و اجرای فنی را پر میکند. این سیستم زبان انتزاعی سیاستگذاری را به دستورالعملهای دقیق برای تیمهای امنیت و DevSecOps تبدیل میکند.

شرکت هگینگفیس برای بهینهسازی ابزارهای هوش مصنوعی محلی روی تراشههای اپل، جُن کیم (خالق oMLX) را استخدام کرد. این اقدام باعث تبدیل oMLX از یک پروژه جانبی به یک ابتکار رسمی برای…

نسخه ۲.۰ ادیتور Cursor با معرفی Composer، قابلیتهای کدنویسی عاملمحور را برای مدیریت چندین فایل بهطور همزمان فراهم کرد. این سیستم از مدل قیمتگذاری ترکیبی شامل اشتراک ماهانه و…

پژوهشگران انویدیا با معرفی SoL-Pi، لایهی مدیریت ابزارها در عاملهای کدنویسی را بهینه کردند. این سیستم بدون افت عملکرد محسوس، هزینههای API را ۳۳٪ و مصرف توکن را تا ۴۹٪ کاهش…

اجرای مستقیم کدهای تولیدشده توسط مدلهای زبانی بدون یک دروازه امنیتی میتواند منجر به نابودی دادهها یا نفوذ خاموش به سیستم شود. این چارچوب جدید، فراتر از پاکسازی متنی، بر…

AnythingLLM اکنون از درگاههای سازگار با OpenAI مانند CometAPI پشتیبانی میکند تا دسترسی به بیش از ۵۰۰ مدل را با یک کلید API فراهم کند. این قابلیت اجازه میدهد کاربران بدون تغییر…

یک الگوی معماری جدید برای پردازش رسانه، جایگزینی «بررسی شناسهها» با «اتصال سخت به مستاجر» را پیشنهاد میدهد تا نشت دادهها بین کاربران جلوگیری شود. در این روش، شناسهها بهجای…

مهاجمان با سرقت اعتبارنامههای CI، کدهای مخربی را به دو نسخه از کتابخانه LiteLLM تزریق کردند. این درِ پشتی (Backdoor) با هدف سرقت کلیدهای SSH، توکنهای ابری و API مدلهای زبانی از…

عاملهای هوش مصنوعی اغلب موفقیت آزمونها را گزارش میکنند، در حالی که به دلیل خطاهای دستوری، آزمونی اجرا نشده است. این راهنما روشهای تأیید ادعاهای عاملها و ایجاد سدهای سخت برای…

سازنده Oathra فاش کرد که عاملهای صوتی هوش مصنوعی اغلب پاسخهای مبهم را بهاشتباه بهعنوان رزرو موفق ثبت میکنند. این پروژه برای جلوگیری از «تکمیل کاذب»، یک لایه اعتبارسنجی مجزا…

پروتکل AIFeed با جایگزینی robots.txt با یک سامانه مانیفست امضاشده، کنترل ناشران بر دادههایشان را از حالت «درخواست مودبانه» به «تأیید رمزنگاریشده» تغییر میدهد. این سیستم با…