
مدیریت حافظه مجازی در برابر روشهای سنتی در کتابخانه vLLM
کتابخانه vLLM با جایگزینی مدیریت حافظه سنتی با سیستمی شبیه به حافظه مجازی سیستمعامل، اتلاف حافظه در KV Cache را حذف کرده است. این رویکرد اجازه میدهد در محیطهای عملیاتی، تعداد…
دستهبندی
تحلیلهای عمیق مدلها، مقالات و بنچمارکها — پیشچاپها، ارزیابیها، مدلهای زبانی پیشرو و پژوهش همراستاسازی.
۵٬۸۵۵ مقاله منتشر شده

کتابخانه vLLM با جایگزینی مدیریت حافظه سنتی با سیستمی شبیه به حافظه مجازی سیستمعامل، اتلاف حافظه در KV Cache را حذف کرده است. این رویکرد اجازه میدهد در محیطهای عملیاتی، تعداد…

یک الگوی معماری جدید با جداسازی «قصد» مدل از «اختیار» اجرا، از ترکیب تصادفی مجوزهای بیخطر برای انجام اقدامات مخرب جلوگیری میکند. در این روش، امنیت به جای تکیه بر پرامپتهای…

یک متد جدید ممیزی با استفاده از فایلهای «تله» و ثبت وضعیت دایرکتوریها، خروج بیصدای عاملهای هوش مصنوعی از فضای کاری تعیینشده را ردیابی میکند. این رویکرد بهجای اعتماد…

انتخاب ارائهدهنده API بر اساس قیمت هر دقیقه، خطای استراتژیکی است که کیفیت خروجی را نادیده میگیرد. چارچوب جدید پیشنهاد میکند هزینه بر اساس «تعداد ترنسکریپتهای پذیرفتهشده»…

یک چارچوب جدید با ترکیب هوش مصنوعی زاینده و رمزگذاری سیاستهای بلادرنگ، محکهای شبیهسازی تطبیقی برای تولیدات حلقهبسته ایجاد میکند. این سیستم شکاف میان شبیهسازیهای ایستا و…

بسیاری از سامانههای ارزیابی، عاملهای هوش مصنوعی را بر اساس تکتک پاسخها میسنجند، نه کل جلسه. این رویکرد باعث میشود «زوال محدودیتها» و تناقضات در گفتگوهای طولانی نادیده گرفته…

پروژه LuisCore با معرفی نقشه راه Tier 2، بر ایجاد یک بستر غیرمتمرکز با تأخیر کم برای استنتاج عاملهای هوش مصنوعی تمرکز کرده است. این سیستم ابزارهای تخصصی برای مدیریت خط لولههای…

تحلیلهای فنی نشان میدهد مشکل دسترسی سالمندان به دستیارهای صوتی ناشی از ضعف در بازشناسی گفتار نیست، بلکه به دلیل آستانههای ثابت سکوت در منطق نوبتگیری است. جایگزینی این مدلها…

شرکت Cognous چارچوب Open Control Stack را برای جلوگیری از اقدامات پرخطر عاملهای هوش مصنوعی بدون تایید انسانی معرفی کرد. این سامانه نظارت را از بررسی پسرویدادها به مجوزدهی و…
شرکت Anthropic تیمی تخصصی برای طراحی تراشههای اختصاصی بهینه برای مدل Claude تشکیل داده است. این استراتژی با هدف کاهش وابستگی به انویدیا و بهینهسازی مستقیم هزینهها و عملکرد…

اجرای هوش مصنوعی بهصورت آفلاین حریم خصوصی را تضمین میکند اما با سد سختافزاری شدیدی روبروست. برای اکثر کاربران، مدلهای ۷ تا ۸ میلیارد پارامتری تنها نقطه تعادل واقعی میان سرعت و…

ارائه سوابق واقعی اجرا بهجای اکتفا به کد و لاگها، مدلهای هوش مصنوعی را قادر میسازد تا بهصورت معکوس از حالت نهایی به علت خطا برسند. این رویکرد، AI را از ابزاری که حدسهای…