موضوع
SLMs, on-device inference, mobile AI, AI PCs
۱٬۶۷۵ مقاله منتشر شده
پروتکل MQTT برای پخش رویدادها ایدهآل است، اما متمرکز بودن آن در ارتباطات یکبهیک میان عاملهای هوش مصنوعی، نقاط شکست خطرناکی ایجاد میکند. رویکرد شبکههای همتابههمتا (P2P) با…
یک پروژه متنباز جدید نمایشگرهای ارزانقیمت Thermalright را به مانیتور سختافزاری برای رصد لحظهای مصرف توکنها و محدودیتهای Claude تبدیل میکند. این ابزار دادههای مصرفی را…
یک راهنمای عملی جدید روش میزبانی شخصی رباتهای هوش مصنوعی در واتساپ را روی سیستمهای ویندوزی آموزش میدهد. این متد با ترکیب Node.js و Ollama، نیاز به پرداخت هزینههای ماهانه ابری…
پروژه tawc با استفاده از یک کامپوزیتور Wayland سفارشی، امکان اجرای برنامههای گرافیکی لینوکس را روی اندروید ۱۰ به بالا و بدون نیاز به دسترسی روت فراهم کرده است. نکته متمایز این…
پروژه BriskDB با تبدیل فایلهای استاندارد SQLite به یک پایگاهداده تکهبندیشده (Sharded)، امکان نوشتن موازی و سازگاری با پروتکل PostgreSQL را فراهم میکند. این ابزار به…
دانه-بندی یا Granularity در کوانتش تعیین میکند چه تعداد از وزنها از یک ضریب مقیاس مشترک استفاده کنند. این سازوکار مستقیماً بر توازن میان سربار حافظه و دقت مدل اثر میگذارد و…
دادههای کالیبراسیون دانش جدیدی به مدل نمیدهند، بلکه تعیین میکنند کدام خطاهای گرد کردن برای ورودیهای خاص قابلتحمل هستند. عدم تطابق این دادهها با محیط عملیاتی منجر به افت شدید…
تنظیم اندازهٔ گروه (Group Size) در کوانتش، یک اهرم ریاضی برای مدیریت حافظه است، نه یک متغیر تصادفی. کاهش این اندازه با ایزوله کردن وزنهای پرت، دقت مدل را حفظ میکند اما فضای VRAM…
مدلهای زبانی بزرگ در مقیاسهای بالا «ویژگیهای پرت» ایجاد میکنند که دقت کوانتش ۸ بیتی را بهطور کامل تخریب میکند. مدیریت این مقادیر حدی، مرز میان یک مدل فشردهی کاربردی و مدلی…
فرآیند کوانتش مدلها بهدلیل نیاز به وزنهای دقتبالا و محاسبات آماری، حافظه بسیار بیشتری نسبت به استنتاج مصرف میکند. شناخت تفاوتهای حافظهای در متدهای GPTQ، AWQ و GGUF برای…
استفاده از کوانتش باینری میتواند فضای ذخیرهسازی ایندکسهای برداری را تا ۳۲ برابر کاهش دهد و ۹۶٪ از کیفیت بازیابی را حفظ کند. موفقیت این روش به شدت به پیادهسازی صحیح…
کوانتش یکپارچه در مدلهای بینایی-زبانی (VLM) منجر به تخریب شدید دقت بصری میشود. با حفظ دقت کامل در برج بینایی و لایه سازگارساز و کوانتش تنها در بدنه زبانی، میتوان حافظه را به…