تصور کنید تمام پیچیدگیهای یک مدل زبانی در یک فایل متنی ساده جای بگیرد و برای اجرا، به هیچ ابزار جانبی نیاز نباشد. این دقیقاً همان چیزی است که پروژه microgpt-c در ۱۸ اوت ۲۰۲۶ ارائه داد تا مرز بین ریاضیات خطی و کد اجرایی را از بین ببرد.
در حالی که غولهای فناوری روی خوشههای عظیم پردازشی تمرکز کردهاند، این پروژه به ریشههای معماری مدلها بازگشته است. همانطور که در تحلیل قبلی ما دربارهی کاهش هزینههای استنتاج در DeepSeek V4 Flash اشاره کردیم، بهینهسازی لایههای نرمافزاری کلید بهرهوری است؛ اما microgpt-c یک گام فراتر رفته و کل پشتهی نرمافزاری را حذف کرده تا به حداکثر اتمی بودن برسد.
ترنسفورمر (Transformer) — شبیه به یک سیستم بایگانی هوشمند که میتواند همزمان به تمام بخشهای یک متن نگاه کند و ارتباطات پنهان را پیدا کند — در این پروژه بهصورت نویسه-محور (Character-level) پیاده شده است. طبق مستندات مخزن گیتهاب، این مدل شامل ۴۱۹۲ پارامتر (Parameters) است و بهجای حفظ کردن دادهها، بر تعمیمپذیری تمرکز دارد.
جزئیات فنی این پیادهسازی عبارت است از:
- توان عملیاتی: دستیابی به ۱۰,۱۶۸,۴۳۰ توکن (Token) — تکههای کوچکی از متن، مثل برشهای یک کیک طولانی که مدل تکهتکه میخورد — در ثانیه روی تراشه Apple M5 Pro.
- پشتیبانی سختافزاری: قابلیت اجرا روی macOS، لینوکس و ویندوز برای معماریهای ARM64 و x86-64.
- کارایی: آموزش روی مجموعهدادهای شامل ۳۲,۰۰۰ نام تنها در چند ثانیه.
بر اساس گزارشهای منتشر شده، این مدل در آزمونی رودررو، امتیاز ۲.۲۰۳۹ نات (nats) بهازای هر نویسه را در دادههای دیدهنشده کسب کرد. این نتیجه نشان میدهد که مدل با وجود پارامترهای کمتر، از مدلهای Trigram که تقریباً ۵ برابر پارامتر بیشتری داشتند، بهتر عمل میکند. این سیستم از دو مسیر مجزا برای استنتاج (Inference) — لحظهای که مدل واقعاً جواب تولید میکند، مثل خودِ آشپزی و نه دورهی آموزش آشپز — استفاده میکند: یکی برای آموزش و ذخیرهسازی فعالسازها برای پسانتشار (Backpropagation)، و دیگری مسیری بهینه برای تولید توکنهای تکبهتک.
برای توسعهدهندگان، این پروژه بحث را از «چگونه از یک API استفاده کنیم» به «ریاضیات در حافظه چگونه کار میکند» تغییر میدهد. این مدل ثابت میکند منطق هستهی یک ترنسفورمر آنقدر کوچک است که در یک فایل جا شود و ابزاری ایدهآل برای درک پیوند بین جبر خطی و کدنویسی است.
گام بعدی شما
- کد منبع را در گیتهاب بررسی کنید تا ببینید پرچمهای NEON و AVX2 چگونه در Makefile مدیریت شدهاند.
- سعی کنید مدل را روی سختافزارهای مختلف اجرا کنید تا تفاوت توان عملیاتی در معماریهای ARM و x86 را بسنجید.
- از این کد بهعنوان یک محیط آزمایشگاهی برای تغییر در نرخ یادگیری یا اندازه دستهها استفاده کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو