
«مدیریت مقادیر حدی»؛ کلید جلوگیری از فروپاشی مدلهای زبانی فشرده
مدلهای زبانی بزرگ در مقیاسهای بالا «ویژگیهای پرت» ایجاد میکنند که دقت کوانتش ۸ بیتی را بهطور کامل تخریب میکند. مدیریت این مقادیر حدی، مرز میان یک مدل فشردهی کاربردی و مدلی…
دستهبندی
تحلیلهای عمیق مدلها، مقالات و بنچمارکها — پیشچاپها، ارزیابیها، مدلهای زبانی پیشرو و پژوهش همراستاسازی.
۳٬۵۰۲ مقاله منتشر شده

مدلهای زبانی بزرگ در مقیاسهای بالا «ویژگیهای پرت» ایجاد میکنند که دقت کوانتش ۸ بیتی را بهطور کامل تخریب میکند. مدیریت این مقادیر حدی، مرز میان یک مدل فشردهی کاربردی و مدلی…

فرآیند کوانتش مدلها بهدلیل نیاز به وزنهای دقتبالا و محاسبات آماری، حافظه بسیار بیشتری نسبت به استنتاج مصرف میکند. شناخت تفاوتهای حافظهای در متدهای GPTQ، AWQ و GGUF برای…

استفاده از کوانتش باینری میتواند فضای ذخیرهسازی ایندکسهای برداری را تا ۳۲ برابر کاهش دهد و ۹۶٪ از کیفیت بازیابی را حفظ کند. موفقیت این روش به شدت به پیادهسازی صحیح…

کوانتش یکپارچه در مدلهای بینایی-زبانی (VLM) منجر به تخریب شدید دقت بصری میشود. با حفظ دقت کامل در برج بینایی و لایه سازگارساز و کوانتش تنها در بدنه زبانی، میتوان حافظه را به…

حذف تستهای ناپایدار در خطوط لوله هوش مصنوعی باعث از دست رفتن دانش سیستمی میشود. استراتژی «قرنطینه» اجازه میدهد تستها بدون مسدود کردن ادغام کدها اجرا شوند تا رگرسیونها همچنان…

یک راهنمای فنی جدید، خط لولهای جامع برای آموزش مدلهای زبانی کوچک در استفاده از ابزارهای خارجی ارائه داده است. این فرآیند با استفاده از مجموعه داده XYZ-Aquila-SFT و آداپتورهای…

یک توسعهدهنده با استفاده از مدل Codex و یک چرخه پژوهشی خودکار، سرعت اجرای هستههای تجزیه QR را ۲۳۲ برابر نسبت به خطمبنای PyTorch افزایش داد. این دستاورد نشان میدهد که تبدیل…

نظریه اطلاعات ثابت میکند که سوگیری یک ویژگی بنیادین در دادههاست، نه یک خطای نرمافزاری. حذف کامل سوگیری لزوماً منجر به از دست رفتن اطلاعات کلیدی و کاهش دقت مدل میشود.

توهمات در مدلهای زبانی، یک نقص فنی نیست بلکه نتیجهی ماهیت آماری آنها در پیشبینی توکنهاست. برای ساخت سامانههای قابلاعتماد، باید از نگاه به مدل بهعنوان «ماشین پاسخگو» فاصله…

تحلیل استاتیک ۲۵ سرور محبوب پروتکل زمینه مدل (MCP) نشان میدهد که اکثر آنها دسترسیهای خطرناکی به شبکه و سیستم دارند. این یافتهها ضرورت استفاده از محیطهای ایزوله (Sandbox) را…

بردار معنایی محتوا را به مختصات عددی تبدیل میکند تا هوش مصنوعی بهجای تطبیق کلمات، بر اساس قصد کاربر جستوجو کند. این سازوکار هسته اصلی سیستمهای RAG و موتورهای توصیهگر مدرن است.

شرکت World Labs با معرفی موتور R2S2R، گلوگاه کمبود داده در رباتیک را هدف قرار داده است. این سامانه با تبدیل یک تسک واقعی به هزاران نسخهٔ مجازی، نیاز به جمعآوری دادههای گرانقیمت…