مدل Qwen3.8 27B با سرعت ۵۰ توکن بر ثانیه روی GPU ۲۴ گیگابایتی
میخال پیشچک با استفاده از کوانتش ترکیبی NVFP4 و بهینهسازیهای llama.cpp، مدل Qwen3.8 27B را با پنجره متنی ۲۵۶ هزار توکنی روی یک کارت گرافیک ۲۴ گیگابایتی مستقر کرد. این پیکربندی…
موضوع
Open-source models, open weights, local hosting, licensing
۲٬۳۹۶ مقاله منتشر شده
میخال پیشچک با استفاده از کوانتش ترکیبی NVFP4 و بهینهسازیهای llama.cpp، مدل Qwen3.8 27B را با پنجره متنی ۲۵۶ هزار توکنی روی یک کارت گرافیک ۲۴ گیگابایتی مستقر کرد. این پیکربندی…
پژوهشگران دریافتند که مدلهای بینایی-زبانی (VLM) را میتوان تنها با تغییر رنگ کلمات، به نتایج مثبت یا منفی سوق داد، حتی اگر متن هیچ تغییری نکند. این آسیبپذیری ریسک امنیتی شدیدی…
ابزار 1667 یک محیط نویسندگی مبتنی بر ترمینال است که برخلاف چتباتهای خطی، هر پاراگراف تولیدشده توسط AI را به عنوان یک شاخه در یک درخت ذخیره میکند. این رویکرد به نویسندگان اجازه…
یک ابزار متنباز جدید با ایجاد یک پروکسی محلی، اطلاعات شناسایی شخصی (PII) را پیش از رسیدن به سرورهای شرکتهای هوش مصنوعی حذف میکند. این سیستم تضمین میکند دادههای حساس هرگز از…
اجرای محلی Cloudflare OS با استفاده از Ollama نشان داد که محدودیتهای پیشفرض پنجره متنی باعث حذف خاموش پرامپتهای سیستمی میشود. این نقص فنی منجر به ایجاد حلقههای تکرار…
دیپسیک چارچوب متنباز DeepSeek Harness (dsh) را برای ساخت عاملهای هوش مصنوعی معرفی کرد که در آن مدلها، ابزارها و حلقههای کنترلی بهصورت پلاگینهای قابل تعویض هستند. این سیستم…
مدیرعامل آنتروپیک معتقد است مقررات نهادی درست میتواند مانع از تمرکز قدرت در دست چند آزمایشگاه بزرگ شود. او از مدل نظارتی طبقهبندیشده حمایت میکند که در آن مدلهای پیشرو با…
اجرای مدل Qwen 3.8 27B روی سختافزار شخصی نیازمند تعادلی دقیق میان رم سیستم و حافظه گرافیکی است. برای جلوگیری از افت شدید سرعت و خطاهای تولید متن، داشتن یک GPU با ۲۴ گیگابایت VRAM…
دیپسیک یک چارچوب متنباز برای تبدیل مدلهای زبانی به عاملهای عملیاتی منتشر کرد که قادر به ویرایش کد و اجرای دستورات سیستم هستند. این ابزار با یک دستور ساده استقرار میشود و…
پژوهشگران کمبریج و انویدیا چارچوبی را توسعه دادهاند که در آن عاملهای هوش مصنوعی و ارزیابان آنها بهطور همزمان تکامل مییابند. این رویکرد مانع از توقف پیشرفت در اثر بنچمارکهای…
یک مانیفست جدید استدلال میکند که آینده هوش مصنوعی باید از ارائهدهندگان ابری متمرکز به مدلهای محلی و متنباز تغییر کند. این جنبش برای جلوگیری از وابستگی شرکتی و شکنندگی…
تحلیلهای فنی جدید نشان میدهد آزمایشگاههای AI برای افزایش کارایی استدلال، عمداً دانش فکتمحور را از مدلها حذف میکنند. مدلهایی مانند Qwen3.5 در ریاضیات پیشرو هستند اما در نبود…