تصور کنید مدلی را که هیچ ایدهای از وجود اینترنت یا تراشههای سیلیکونی ندارد، اما میتواند توابع پایتون را پیادهسازی کند. اگر فکر میکنید یادگیری ماشین صرفاً بازتابی از دادههای مدرن وب است، نتایج پروژه talkie تمام باورهای شما را به چالش میکشد.
به نقل از the-decoder.com، این مدل زبانی بزرگ (Large Language Model) با ۱۳ میلیارد پارامتر، در ۲۸ آوریل ۲۰۲۶ توسط نیک لوین، دیوید دووناد و الک ردفورد منتشر شد. talkie بر روی ۲۶۰ میلیارد توکن (Token) آموزش دیده است که تماماً از کتابها، روزنامهها و مجلات علمی منتشر شده تا پیش از ۳۱ دسامبر ۱۹۳۰ استخراج شدهاند.
به دلیل نبود دادههای مدرن، جهانبینی این مدل شبیه به رؤیای یک آیندهگرای عصر ویکتوریا است. طبق گزارشهای منتشرشده، وقتی از این مدل درباره سال ۲۰۲۶ میپرسند، آیندهای را پیشبینی میکند که در آن قارهها با خطوط آهن متصلاند و کشتیهای بخار تنها در ۱۰ روز لندن را به نیویورک میرسانند.
کوربینی تاریخی این مدل حتی به ژئوپلیتیک نیز سرایت کرده است. talkie ادعا میکند وقوع جنگ جهانی دوم غیرمحتمل است و معتقد است «جنون سالهای ۱۹۱۴ تا ۱۹۱۸ به پایان رسیده»، هرچند که درباره «کینههای شعلهور» در اروپا هشدار میدهد.
اما فراتر از این کنجکاویهای تاریخی، این پروژه موانع فنی شدیدی را در آموزش با دادههای قدیمی آشکار کرد:
- تخریب نویسهخوان نوری (OCR): متون استخراجشده با OCR استاندارد تنها ۳۰٪ عملکرد متون انسانی را داشتند که با پاکسازی ساده توسط regex به ۷۰٪ رسید.
- آلودگی دادهها: با وجود استفاده از طبقهبندیکنندهها، اطلاعاتی درباره سازمان ملل و ریاستجمهوری روزولت به طور اتفاقی وارد مجموعه آموزش شده بود.
- توانایی استدلال (Reasoning): در بنچمارک HumanEval برای زبان پایتون، این مدل درک اولیهای از توابع معکوس داشت و توانست یک رمزنگاری چرخشی را با جایگزینی جمع با تفریق پیاده کند.
همانطور که در تحلیلهای پیشین ما دربارهی قوانین مقیاسپذیری (Scaling Laws) اشاره کردیم، حجم دادهها تعیینکننده است، اما talkie روی نقطه مقابل تمرکز دارد: اینکه فقدان دادههای وب چگونه ویژگیهای جهانی یک مدل را شکل میدهد. این پروژه توسط الک ردفورد، چهره کلیدی مقالات اولیه GPT و Whisper، رهبری میشود که در مارس ۲۰۲۵ به آزمایشگاه Thinking Machines پیوست.
تیم سازنده قصد دارد حجم دادهها را به بیش از یک تریلیون توکن برساند تا تا تابستان ۲۰۲۶، یک مدل «وینتیج» در سطح GPT-3 عرضه کند. حالا سوال اصلی این است: آیا چنین مدلی میتواند به طور مستقل اکتشافات علمی پس از سال ۱۹۳۰ را «کشف» کند؟
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گام بعدی شما
- بررسی مستندات talkie برای درک نحوه مدیریت دادههای OCR در مدلهای زبانی.
- آزمایش پرامپتهای «تاریخی» روی مدلهای مدرن برای سنجش میزان توهم در مورد دوران پیش از صنعتی شدن.
- دنبال کردن گزارشهای تابستان ۲۰۲۶ برای مشاهده عملکرد نسخه یک تریلیون توکنی.
گفتگو