
۵ تنظیمات کلیدی در اولاما برای افزایش سرعت استنتاج مدلهای محلی
بسیاری از کاربران به دلیل تنظیمات پیشفرض غیربهینه، با کندی مدلهای محلی مواجه میشوند، نه به دلیل محدودیت سختافزاری. بهینهسازی حافظه و مکانیزمهای توجه میتواند سرعت و بهرهوری…
موضوع
Open-source models, open weights, local hosting, licensing
۱٬۹۳۷ مقاله منتشر شده

بسیاری از کاربران به دلیل تنظیمات پیشفرض غیربهینه، با کندی مدلهای محلی مواجه میشوند، نه به دلیل محدودیت سختافزاری. بهینهسازی حافظه و مکانیزمهای توجه میتواند سرعت و بهرهوری…

پلتفرم متنباز New API با ایجاد یک رابط واحد و سازگار با OpenAI، مدیریت چندین ارائهدهنده مدل زبانی را متمرکز میکند. این ابزار امکان کنترل سهمیهها، مدیریت کلیدهای API و جایگزینی…

چارچوب جدیدی به نام «نردبان هوش» قصد دارد تخمینهای تقریبی هزینهی عاملهای کدنویس را با یک سیستم لایهبندیشده و قطعی جایگزین کند. این سیستم با تبدیل اپلیکیشنها به «رفتارهای»…

استارتاپ Minitap مدعی است گوگل در پروژه اتوماسیون موبایل خود (Artemis)، کدها و پرامپتهای بازمتن این شرکت را بدون ذکر منبع و با حذف نام نویسندگان اصلی به سرقت برده است. این مناقشه…

یک ابزار متنباز جدید با استفاده از مدلهای هوش مصنوعی، شناسایی فیشینگ و مهندسی اجتماعی را بهصورت محلی در جیمیل ممکن میکند. برخلاف فیلترهای شرکتی، این ابزار برای حفظ حریم خصوصی،…

پلتفرم ResolveHQ امکان استقرار یک سامانه کامل مدیریت تیکت و پشتیبانی را بهصورت میزبانی شخصی روی Cloudflare Workers فراهم میکند. این ابزار با حذف هزینههای اشتراکی SaaS، مدیریت…

شرکت چینی Moonshot AI قصد دارد درآمد سالانه خود را تا پایان ۲۰۲۶ به ۲ میلیارد دلار برساند. این جاهطلبی در حالی رخ میدهد که شرکت با اتهامات جدی سرقت دادههای آموزشی از Anthropic…

دولت و نیروهای مسلح سوئیس برای تضمین حاکمیت دیجیتال، در حال جایگزینی Microsoft 365 با پلتفرم متنباز openDesk هستند. این اقدام برای محافظت از دادههای حساس ملی در برابر قانون…

پروژهی آزمایشی VictoriaMetrics نشان داد که بهینهسازی ذخیرهسازی دادههای سری زمانی میتواند هزینههای زیرساختی نظارت را تا ۹۰٪ کاهش دهد. این رویکرد با تمرکز بر فشردهسازی تخصصی،…

کتابخانه جدید litelm با حذف لایههای اضافی مانند سرورهای پروکسی و سیستمهای کشینگ، یک لایه مسیریابی سبک برای مدلهای زبانی ارائه میدهد. این ابزار در حالی سازگاری کامل با APIهای…

بررسی ۱۴ فهرست برتر درگاههای هوش مصنوعی نشان میدهد اکثر آنها توسط خودِ فروشندگان نوشته شده و محصولشان را در رتبه اول قرار دادهاند. این تضاد منافع، شکاف عمیق میان خدمات ابری و…

یک نقص فنی در llama-server باعث میشود دستورات ساختاریافته برای خروجی JSON نادیده گرفته شده و مدل بهجای دادههای منظم، متن عادی تولید کند. خطرناکتر آنکه سرور همچنان وضعیت HTTP…