اگر تصور میکنید مدلهای هوش مصنوعی به سقف تواناییهای خود رسیدهاند، بایتدنس با یک شرطبندی کلان روی «مقیاس»، این باور را به چالش میکشد. طبق گزارش فایننشال تایمز در ۷ اوت ۲۰۲۶، این شرکت در حال پیشآموزش (Pretraining) — یعنی مرحلهای که مدل مثل کودکی تمام کتابخانههای جهان را میخواند تا زبان را یاد بگیرد — مدلی با ۱۰ تریلیون پارامتر است.
این حرکت در حالی رخ میدهد که رقابت جهانی از بهینهسازی معماری به سمت «مقیاس خام» تغییر مسیر داده است. در حالی که بسیاری از آزمایشگاهها برای کاهش هزینه به مدلهای کوچکتر روی آوردهاند، بایتدنس روی ظرفیت عظیم سرمایهگذاری کرده است. همانطور که در تحلیلهای قبلی ما دربارهی قوانین مقیاسپذیری اشاره کردیم، افزایش تعداد پارامترها معمولاً منجر به جهش در تواناییهای استدلالی میشود.
بر اساس گزارشهای منتشر شده، جزئیات فنی این پروژه عبارت است از:
- مقیاس: تا ۱۰ تریلیون پارامتر؛ یعنی حدود ۳ برابر بزرگتر از مدل Kimi K3 شرکت Moonshot.
- مقایسه: این عدد با تخمینهای صنعت برای مدل Mythos 5 شرکت Anthropic (حدود ۸ تریلیون پارامتر) برابری میکند.
- متدولوژی: بایتدنس برای بیش از یک سال از دیستیلیشن (Distillation) — شبیه به خلاصهسازی یک کتاب توسط شاگردی که فقط نکات مهم استاد را یاد میگیرد — پرهیز کرده تا توانمندیهای مدل کاملاً اصیل باشد.
- تیم: یک تیم اختصاصی ۲۰۰۰ نفره به نام «Seed» تحت هدایت ژانگ ییمینگ، بنیانگذار شرکت، این پروژه را مدیریت میکند.
به نقل از منابع داخلی، مرحله پیشآموزش معمولاً ۳ تا ۶ ماه زمان میبرد. برای یک کاربر تجاری، این یعنی بایتدنس در حال آمادهسازی جهشی در استدلال و ذخیرهسازی دانش است که میتواند نسل جدیدی از ابزارهای هوش مصنوعی را در تیکتاک فعال کند.
بایتدنس با دوری از دادههای مصنوعی و دیستیلیشن، مسیری سختتر و گرانتر را انتخاب کرده تا از «فروپاشی مدل» جلوگیری کند. اگر این استراتژی موفق شود، ثابت خواهد شد که مقیاس خام در کنار دادههای باکیفیت، همچنان بالاترین سقف عملکرد را ایجاد میکند.
گام بعدی شما
- رصد کنید که آیا بایتدنس مدل خود را به صورت وزنهای باز منتشر میکند یا به صورت API بسته.
- نتایج بنچمارکهای اواخر ۲۰۲۶ را با مدلهای فعلی GPT-4 و Claude مقایسه کنید.
- بررسی کنید که این مدل چگونه قابلیتهای جستوجوی بصری تیکتاک را تغییر میدهد.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ برای درک زیرساختهای مورد نیاز چنین مدلهایی، به تحلیل ما دربارهی خوشههای پردازشی Colossus مراجعه کنید.
گفتگو