«تفکیک دقیق هزینهها»؛ هدف سامانه جدید ردیابی مصرف در GPUStack
پلتفرم GPUStack سامانه جامع ردیابی مصرف را برای حذف اتلاف منابع در خوشههای پردازشی مشترک عرضه کرد. این ابزار امکان تفکیک دقیق هزینههای توکن، زمان اجرای GPU و فضای ذخیرهسازی را…
موضوع
Open-source models, open weights, local hosting, licensing
۱٬۲۶۸ مقاله منتشر شده
پلتفرم GPUStack سامانه جامع ردیابی مصرف را برای حذف اتلاف منابع در خوشههای پردازشی مشترک عرضه کرد. این ابزار امکان تفکیک دقیق هزینههای توکن، زمان اجرای GPU و فضای ذخیرهسازی را…

پروژه Fortress با تغییر مستقیم کد C++ در موتور کرومیوم، اثرانگشتهای دیجیتالی که باعث شناسایی اتوماسیون میشوند را حذف کرده است. این رویکرد برخلاف متدهای مبتنی بر جاوااسکریپت، در…

یک الگوی عملیاتی جدید پیشنهاد میکند درخواستهای ساده به مدلهای محلی و استدلالهای پیچیده به APIها سپرده شوند. این استراتژی بر تطبیق مدلهای وزنباز مانند Gemma 4 با حافظهٔ…

شرکت Hugging Face و Amazon SageMaker AI با ادغام لینکهای مستقیم، مسیر انتقال مدلها از مرحلهٔ اکتشاف به استقرار یا تنظیم دقیق را به یک گام کاهش دادند. این بهروزرسانی…

شرکت Liquid AI ابزار متنباز Antidoom را برای حذف «حلقههای مرگ» یا تکرارهای بیپایان در مدلهای استدلالی معرفی کرد. این روش با بازآموزی تنها اولین توکنی که باعث تکرار میشود،…

Rowboat یک دستیار عاملمحور متنباز است که دادههای ایمیل، جلسات و کدها را در یک گراف دانش محلی ذخیره میکند. این سیستم برخلاف مدلهای رایج، حافظهای قابل ویرایش در قالب فایلهای…

یک ادغام استراتژیک بین SkyPilot و Hugging Face، امکان اجرای مدلهای هوش مصنوعی روی هر کلاودی را فراهم میکند در حالی که دادهها در Hub ذخیره میشوند. این اقدام هزینههای گزاف…

مدل DiffusionGemma با وجود سرعت ۴ برابری نسبت به نسلهای قبل، بهدلیل یک اختلاف فنی در پروژه llama.cpp برای کاربران ابزارهای Ollama و LM Studio در دسترس نیست. در حال حاضر تنها…

برنامهنویسان اکنون میتوانند از مدلهای وزنباز مانند Llama 3 و Mistral از طریق نقاط اتصال API استاندارد استفاده کنند. این رویکرد انعطافپذیری مدلهای متنباز را با مقیاسپذیری…

شرکت Cohere یک مدل بازمتن با ۲ میلیارد پارامتر برای تبدیل گفتار به متن در زبان عربی منتشر کرد. این مدل در مدیریت گویشهای محلی و جملات ترکیبی (عربی-انگلیسی) عملکردی برتر از…

بی توکیان، متخصص NVIDIA، متدی را برای اجبار عاملهای هوش مصنوعی به تولید دادههای ساختاریافته به جای متون پیشبینیناپذیر معرفی کرد. این رویکرد بر یک حلقه «تجزیه-اعتبارسنجی-اصلاح»…

هرس کردن مدلهای زبانی بزرگ برای اجرا روی سختافزارهای لبه، به دلیل هزینههای بالای مهندسی و افت دقت، جایگاه خود را نسبت به استنتاج ابری از دست میدهد. این مقاله توازن میان هرس…