
چگونه بهینهسازی SIMD سرعت توکنسازی را به ۲۴ گیگابایت رساند؟
ابزار جدید Gigatoken با بهرهگیری از زبان Rust و بهینهسازیهای حافظه، گلوگاه پیشپردازش دادهها را در آموزش مدلهای زبانی از بین میبرد. این ابزار با توان عملیاتی ۲۴ گیگابایت بر…
موضوع
Open-source models, open weights, local hosting, licensing
۱٬۹۵۳ مقاله منتشر شده

ابزار جدید Gigatoken با بهرهگیری از زبان Rust و بهینهسازیهای حافظه، گلوگاه پیشپردازش دادهها را در آموزش مدلهای زبانی از بین میبرد. این ابزار با توان عملیاتی ۲۴ گیگابایت بر…

آزمایش روی دو کارت RTX 3090 نشان میدهد که پلهای NVLink گلوگاه پهنای باند PCIe را در سختافزارهای خانگی میشکنند. این سختافزار بهویژه در آموزش مدلها با متد FSDP و پردازش…

مدیر فنی آزمایشگاه Arcee معتقد است مدلهای هوش مصنوعی با وزنهای باز چینی، مخاطرهای بیش از نرمافزارهای متنباز معمولی ندارند. او تأکید میکند که تمرکز باید از ممنوعیت این مدلها…

توسعهدهندهای به نام Amurlaniakea مجموعهای شامل ۴۶ مخزن گیتهاب برای پیشگیری از شکستهای منطقی و رخنههای امنیتی در عاملهای هوش مصنوعی منتشر کرد. این سیستم با ترکیب ایزولاسیون…

یک مدل زبانی کوچک با ۰.۶ میلیارد پارامتر توانست تنها پس از ۱۲ دقیقه آموزش محلی، به دقت ۱۰۰٪ در طبقهبندی اسناد دست یابد. این آزمایش نشان میدهد که تقطیر دانش نه تنها ساختار…

شرکت Tether ابزار متنباز QVAC را برای ساخت اپلیکیشنهای هوش مصنوعی کاملاً محلی و آفلاین عرضه کرد. توسعهدهندگان اکنون میتوانند با استفاده از یک فایل زمینه (Context)، بدون نیاز…

بازار مرورگرها از جنگ بر سر نتایج جستوجو به رقابت برای خلق عاملهای هوش مصنوعی تغییر مسیر داده است. رقبای جدیدی چون Perplexity و Opera با ابزارهایی وارد شدهاند که فراتر از نمایش…

در حالی که استقرار محلی Stable Diffusion کنترل کاملی به کاربر میدهد، پیچیدگیهای فنی برای تازهکاران بازدارنده است. پلتفرم PixAI با انتقال مدلها به مرورگر، نیاز به سختافزار…

سیسکو خانواده مدلهای زبانی کوچک Antares را برای شناسایی دقیق نقاط آسیبپذیر در کدهای حجیم معرفی کرد. نسخه ۱.۶ میلیارد پارامتری این مدل با تکیه بر آموزش تخصصی و ساختار عاملمحور،…

شرکت Poolside مدل وزنباز Laguna S 2.1 را معرفی کرد که با معماری MoE و حالت «تفکر حداکثری»، در بنچمارکهای کدنویسی بلندمدت از مدلهایی ۱۰ برابر بزرگتر پیشی میگیرد.

پلتفرم Oxlo.ai با استفاده از مدلهای زبانی بزرگ به عنوان موتور استدلال، دستورات متنی را به مختصات دقیق برای قطعهبندی تصویر تبدیل میکند. این سامانه با مدل قیمتگذاری مبتنی بر…

تحلیل فنی Fireworks.ai نشان میدهد توزیع وظایف بین مدلهای وزنباز Kimi K3 و مدل بسته Fable 5، نتایجی فراتر از هر یک از این مدلها بهتنهایی دارد. این رویکرد ترکیبی صحت عملیات را…