دسته‌بندی
تحلیل‌های عمیق مدل‌ها، مقالات و بنچمارک‌ها — پیش‌چاپ‌ها، ارزیابی‌ها، مدل‌های زبانی پیشرو و پژوهش همراستاسازی.
۵٬۸۲۰ مقاله منتشر شده
تحلیلی فنی نشان می‌دهد سیم‌کشی مغز انسان پیچیده‌تر از آن است که در ژنوم ذخیره شود. زیست‌شناسی برای ساخت شبکه‌های عصبی عظیم از یک سیستم مقیاس‌پذیر از مختصات سلسله‌مراتبی و قوانین…
تنظیم اندازهٔ گروه (Group Size) در کوانتش، یک اهرم ریاضی برای مدیریت حافظه است، نه یک متغیر تصادفی. کاهش این اندازه با ایزوله کردن وزن‌های پرت، دقت مدل را حفظ می‌کند اما فضای VRAM…
مدل‌های زبانی بزرگ در مقیاس‌های بالا «ویژگی‌های پرت» ایجاد می‌کنند که دقت کوانتش ۸ بیتی را به‌طور کامل تخریب می‌کند. مدیریت این مقادیر حدی، مرز میان یک مدل فشرده‌ی کاربردی و مدلی…
فرآیند کوانتش مدل‌ها به‌دلیل نیاز به وزن‌های دقت‌بالا و محاسبات آماری، حافظه بسیار بیشتری نسبت به استنتاج مصرف می‌کند. شناخت تفاوت‌های حافظه‌ای در متدهای GPTQ، AWQ و GGUF برای…
استفاده از کوانتش باینری می‌تواند فضای ذخیره‌سازی ایندکس‌های برداری را تا ۳۲ برابر کاهش دهد و ۹۶٪ از کیفیت بازیابی را حفظ کند. موفقیت این روش به شدت به پیاده‌سازی صحیح…
کوانتش یکپارچه در مدل‌های بینایی-زبانی (VLM) منجر به تخریب شدید دقت بصری می‌شود. با حفظ دقت کامل در برج بینایی و لایه سازگارساز و کوانتش تنها در بدنه زبانی، می‌توان حافظه را به…
حذف تست‌های ناپایدار در خطوط لوله هوش مصنوعی باعث از دست رفتن دانش سیستمی می‌شود. استراتژی «قرنطینه» اجازه می‌دهد تست‌ها بدون مسدود کردن ادغام کدها اجرا شوند تا رگرسیون‌ها همچنان…
یک راهنمای فنی جدید، خط لوله‌ای جامع برای آموزش مدل‌های زبانی کوچک در استفاده از ابزارهای خارجی ارائه داده است. این فرآیند با استفاده از مجموعه داده XYZ-Aquila-SFT و آداپتورهای…
یک توسعه‌دهنده با استفاده از مدل Codex و یک چرخه پژوهشی خودکار، سرعت اجرای هسته‌های تجزیه QR را ۲۳۲ برابر نسبت به خط‌مبنای PyTorch افزایش داد. این دستاورد نشان می‌دهد که تبدیل…
نظریه اطلاعات ثابت می‌کند که سوگیری یک ویژگی بنیادین در داده‌هاست، نه یک خطای نرم‌افزاری. حذف کامل سوگیری لزوماً منجر به از دست رفتن اطلاعات کلیدی و کاهش دقت مدل می‌شود.
توهمات در مدل‌های زبانی، یک نقص فنی نیست بلکه نتیجه‌ی ماهیت آماری آن‌ها در پیش‌بینی توکن‌هاست. برای ساخت سامانه‌های قابل‌اعتماد، باید از نگاه به مدل به‌عنوان «ماشین پاسخ‌گو» فاصله…
تحلیل استاتیک ۲۵ سرور محبوب پروتکل زمینه مدل (MCP) نشان می‌دهد که اکثر آن‌ها دسترسی‌های خطرناکی به شبکه و سیستم دارند. این یافته‌ها ضرورت استفاده از محیط‌های ایزوله (Sandbox) را…