پرش به محتوای اصلی

موضوع

هوش لبه

SLMs, on-device inference, mobile AI, AI PCs

۲٬۰۴۹ مقاله منتشر شده

آموزش کاربردی

۷ روش اشتراک‌گذاری ابزارهای AI و چرخش به سمت تحویل عامل‌محور

یک چارچوب جدید برای تیم‌های عصر هوش مصنوعی، هفت روش متمایز برای اشتراک‌گذاری ابزارها را تعریف کرده است. مهم‌ترین تغییر، گذار از APIهای انسان‌محور به رابط‌های عامل‌محور است که در…

۱۳ دقیقه خواندن
آموزش کاربردی

معماری MQTT در برابر P2P؛ چرا واسطه‌های مرکزی ارتباط عامل‌های هوش مصنوعی را

پروتکل MQTT برای پخش رویدادها ایده‌آل است، اما متمرکز بودن آن در ارتباطات یک‌به‌یک میان عامل‌های هوش مصنوعی، نقاط شکست خطرناکی ایجاد می‌کند. رویکرد شبکه‌های همتا‌به‌همتا (P2P) با…

۵ دقیقه خواندن۲
آموزش کاربردی

پروژه tawc برنامه‌های گرافیکی لینوکس را بدون روت روی اندروید اجرا می‌کند

پروژه tawc با استفاده از یک کامپوزیتور Wayland سفارشی، امکان اجرای برنامه‌های گرافیکی لینوکس را روی اندروید ۱۰ به بالا و بدون نیاز به دسترسی روت فراهم کرده است. نکته متمایز این…

۳ دقیقه خواندن
آموزش کاربردی

تحلیلِ Granularity: تاثیر مستقیمِ تعدادِ ضرایبِ مقیاس بر سربارِ متاداده

دانه-بندی یا Granularity در کوانتش تعیین می‌کند چه تعداد از وزن‌ها از یک ضریب مقیاس مشترک استفاده کنند. این سازوکار مستقیماً بر توازن میان سربار حافظه و دقت مدل اثر می‌گذارد و…

۶ دقیقه خواندن۴
آموزش کاربردی

تحلیل کوانتش: عدم تطابق داده‌های کالیبراسیون عامل فروپاشی فرمت خروجی است

داده‌های کالیبراسیون دانش جدیدی به مدل نمی‌دهند، بلکه تعیین می‌کنند کدام خطاهای گرد کردن برای ورودی‌های خاص قابل‌تحمل هستند. عدم تطابق این داده‌ها با محیط عملیاتی منجر به افت شدید…

۵ دقیقه خواندن
آموزش کاربردی

«مدیریت مقادیر حدی»؛ کلید جلوگیری از فروپاشی مدل‌های زبانی فشرده

مدل‌های زبانی بزرگ در مقیاس‌های بالا «ویژگی‌های پرت» ایجاد می‌کنند که دقت کوانتش ۸ بیتی را به‌طور کامل تخریب می‌کند. مدیریت این مقادیر حدی، مرز میان یک مدل فشرده‌ی کاربردی و مدلی…

۵ دقیقه خواندن۱
آموزش کاربردی

درون فرآیند کوانتش؛ تضاد میان وزن‌های دقت‌بالا و بهینه‌سازی حافظه

فرآیند کوانتش مدل‌ها به‌دلیل نیاز به وزن‌های دقت‌بالا و محاسبات آماری، حافظه بسیار بیشتری نسبت به استنتاج مصرف می‌کند. شناخت تفاوت‌های حافظه‌ای در متدهای GPTQ، AWQ و GGUF برای…

۵ دقیقه خواندن۲