استخراج آرگومان‌های ریاضی از فعال‌سازهای Llama بدون تحلیل متن

آیا ماشین‌ها می‌توانند بدون «دیدن» اعداد به شیوه‌ی انسان‌ها، ریاضیات را حل کنند؟ در ۵ ژوئن ۲۰۲۶، تحلیلی از وب‌سایت alvaro-videla.com افشا کرد که مدل‌های Llama برای مدیریت ریاضیات به تحلیل متنی تکیه نمی‌کنند، بلکه محاسبات را در فاز هندسی بردارهای فعال‌سازی داخلی خود کدگذاری می‌کنند.

اکثر سامانه‌های فعلی استفاده از ابزار در هوش مصنوعی مانند یک مترجم عمل می‌کنند: آن‌ها پرامپت را می‌خوانند، اعداد را با استفاده از regex یا تجزی‌کننده‌ها (Parsers) پیدا می‌کنند و سپس آن‌ها را به یک ماشین‌حساب می‌فرستند. در این رویکرد، مدل صرفاً یک رابط است. اما پروژه Rune به دنبال اثبات ادعای عمیق‌تری بود: اینکه «بدن» داخلی مدل — یعنی ماتریس‌ها و جریان‌های باقی‌مانده (Residual Streams) — متغیرهای لازم را در قالبی بومی برای ماشین نگه می‌دارد.

هندسه‌ی اعداد

انسان‌ها ریاضیات را از طریق تجربه تجسمی می‌آموزند. جورج لاکوف و روفائل ای. نونز در کتاب Where Mathematics Comes From استدلال کردند که ایده‌های ریاضی انسانی ریشه در کنش‌های فیزیکی دارند: گروه‌بندی، جابجایی، اندازه‌گیری، متوازن کردن، جمع‌آوری و نگاشت یک دامنه بر دامنه‌ای دیگر. ما با انگشتان می‌شماریم، اشیاء را در توده‌ها گروه‌بندی می‌کنیم، ارقام را در ستون‌ها می‌چینیم تا «ده‌بریک» را منتقل کنیم، یا از ابزارهایی مانند چرتکه، کاغذ شطرنجی و ماشین‌حساب استفاده می‌کنیم.

یک ترنسفورمر انگشت، مهره‌ی چرتکه یا کاغذ پیش‌نویس ندارد. او تنها جای‌گذاری توکن (Token Embedding)، توجه (Attention)، شبکه‌های پیش‌خور (Feed-forward) و ماتریس‌ها را در اختیار دارد. اگر قرار باشد ریاضیات را یاد بگیرد، باید نسخه‌ای بومی و ماشینی از «عدد» را اختراع کند.

تحقیقات نشان می‌دهد که این مدل‌ها از کدهای عددی «مارپیچی» (Helix-style) استفاده می‌کنند. در این هندسه، بخشی از یک بردار، فاز دور یک دایره را ردیابی می‌کند (شبیه عقربه ساعت) و بخش دیگر، موقعیت کلی را مشخص می‌کند. برای مثال، عدد صحیح ۱۳۷ ممکن است با فاز ۴۹.۳ درجه (cos 0.65, sin 0.76) و موقعیت کلی ۱۳ نمایش داده شود. این یعنی مدل‌ها اعداد صحیح را به‌جای رشته‌ای از ارقام، به‌عنوان مختصاتی در یک فضای چندبعدی می‌بینند.

جریان باقی‌مانده به‌عنوان تخته‌سیاه

برای درک اینکه مدل چگونه سوالی مثل «بزرگ‌ترین مقسوم‌علیه مشترک ۸۴ و ۳۶ چیست؟» را پردازش می‌کند، باید به جریان باقی‌مانده (Residual Stream) نگاه کرد. این جریان، بردار اصلی است که از لایه‌ای به لایه دیگر منتقل می‌شود و مانند یک پیش‌نویس مشترک بدون متغیرهای نام‌گذاری شده عمل می‌کند. مدل متغیری به نام operand_a نمی‌سازد؛ بلکه هر موقعیت توکن، بردار عددی طولانی را حمل می‌کند که مدام به‌روز می‌شود.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی مکانیسم‌های استدلال در مدل‌های زبانی اشاره کردیم، درک اینکه مدل چگونه «فکر» می‌کند، کلید عبور از توهمات است. بر اساس مستندات این پروژه، این به‌روزرسانی از طریق سه مکانیسم رخ می‌دهد:

• توجه (Attention): این بخش از لایه اجازه می‌دهد یک موقعیت توکن به اطلاعات موقعیت‌های دیگر نگاه کند. برای مثال، توکن مربوط به «۳۶» می‌تواند روی وضعیت نزدیک به موقعیت پاسخ اثر بگذارد.
• بلاک MLP / Feed-Forward: این بخش بردار محلی را به‌تنهایی تغییر می‌دهد. این لایه ویژگی‌ها را تقویت، سرکوب یا ترکیب می‌کند تا یک جهت را بیشتر شبیه به «GCD»، «عملوند» یا «پاسخ» کند.
• به‌روزرسانی لایه: نتیجه‌ی توجه و MLP دوباره به بردار پیش‌نویس جاری اضافه می‌شود.

این انباشتگی دلیل آن است که خوانش (Readout) و وصله‌زنی (Patching) امکان‌پذیر است. اگر عملیات و عملوندها ردهایی در جریان باقی‌مانده باقی بگذارند، یک خوانش کوچک می‌تواند آن‌ها را بازیابی کند. اگر یک وضعیت قابل‌نوشتن باشد، یک مداخله می‌تواند مدل را هدایت کند. با این حال، خود بردار برچسب نمی‌زند که کدام ادعا درست است؛ بلکه صرفاً توالی‌ای از فعال‌سازی‌هاست.

پیشرفت «بدون تجزیه‌کننده»

تیم Rune برای آزمایش اینکه آیا این نمایش داخلی قابل استفاده است، قانون سخت‌گیرانه‌ی «بدون تجزیه‌کننده» (No-Parser) را اجرا کرد. سیستم حق نداشت متن پرامپت را بخواند، از regex استفاده کند یا به برچسب‌های پنهان دسترسی داشته باشد. سیستم فقط می‌توانست به بردارهای فعال‌سازی داخلی مدل دسترسی پیدا کند.

این رویکرد، Rune را از سیستم‌های موجود مانند PAL، Program-of-Thoughts، ReAct و Toolformer متمایز می‌کند. در حالی که آن سیستم‌ها از مدل برای تولید برنامه‌های قابل اجرا یا فراخوان‌های API بر اساس متن استفاده می‌کنند، Rune پرسید آیا آرگومان‌های یک ابزار می‌تواند مستقیماً از وضعیت پنهان خود مدل استخراج شود یا خیر.

تجزیه پرامپت (Prompt Parsing) به جمله به‌عنوان متن نگاه می‌کند: کلمه «gcd» را پیدا کن، دو عدد را بیاب و تابع را فراخوان. اما مشاهده وضعیت داخلی، جمله را به‌گونه‌ای می‌بیند که گویی مدل پیش‌تر آن را «بلعیده» است. تنها چیزهایی که باقی مانده‌اند، بردارهایی در موقعیت‌های توکن و لایه‌ها هستند.

با وجود این محدودیت‌ها، سیستم با موفقیت عملیات و عملوندها را مستقیماً از وضعیت پنهان رمزگشایی کرد تا یک ماشین‌حساب پایتون را به حرکت درآورد. نتایج روی ۱۱,۷۳۶ نمونه‌ی قفل‌شده، بهبود چشمگیری در دقت مدل منجمد (Frozen) نشان داد:

• تقسیم با باقی‌مانده: افزایش میانگین دقت به میزان ۰.۸۱۰
• بزرگ‌ترین مقسوم‌علیه مشترک (GCD): افزایش میانگین دقت به میزان ۰.۵۰۲
• کوچک‌ترین مضرب مشترک (LCM): افزایش میانگین دقت به میزان ۰.۹۶۸

این نتایج با استفاده از مجموعه داده‌های ریاضی DeepMind که توسط ساکستون و همکاران معرفی شد، تایید گردید. در یک برش فیلترشده از ۳,۸۲۲ نمونه‌ی قفل‌شده و ۱,۲۳۳ هدف، این مسیر به دقت ۰.۹۹۲ برای تقسیم با باقی‌مانده، ۱.۰۰۰ برای GCD و ۰.۹۸۰ برای LCM رسید. نکته حیاتی این است که این مسیر صرفاً پاسخ‌هایی را که مدل از قبل می‌دانست حفظ نکرد، بلکه بخش بزرگی از مواردی را که مدل بدون کمک اشتباه گرفته بود، اصلاح کرد.

دقت و مرز صداقت

به‌طور تعیین‌کننده‌ای، این مسیر دقت بالایی را نشان داد. در یک بازرسی «منفی سخت» روی ۱۰,۲۰۰ نمونه — پرامپت‌هایی که شبیه ریاضی بودند اما نباید ماشین‌حساب را فعال می‌کردند — سیستم حتی یک بار هم به‌اشتباه فعال نشد.

این «منفی‌های سخت» پرامپت‌های گمراه‌کننده‌ای بودند که عمداً طراحی شده بودند تا فعال نشوند، از جمله:

• ریاضیات نقل‌قول شده: «او روی تخته نوشت 'gcd(48, 18) = 6' و سپس موضوع را به بودجه‌های ۲۰۰ و ۳۰۰ تغییر داد.»
• متون مزاحم: خبرنگاری که هنگام یک بازی بسکتبال عبارت '144 / 12' را در یادداشت‌هایش تایپ می‌کند، یا جدولی با برچسب‌های فاکتور (۶، ۱۲، ۱۸، ۲۴) در مقاله‌ای درباره نت‌نویسی موسیقی.
• پرامپت‌های با عملیات اشتباه: استفاده از اعداد درست اما عملیات غلط، یا پرامپت‌های «محاسبه نکن».
• قالب‌های پیچیده: جداول، لاگ‌ها، فاکتورها، اعداد اعشاری، علامت‌ها و موارد خارج از دامنه.

این نتیجه‌ی «صفر-فعال‌سازی» ثابت می‌کند که مسیر صرفاً به حضور اعداد در متن واکنش نمی‌دهد، بلکه به یک «وضعیت داخلی خاص» مرتبط با قصد محاسبه پاسخ می‌دهد. این یک نتیجه‌ی بازرسی محدود (Scoped Audit) است، به این معنی که هیچ‌یک از این ۱۰,۲۰۰ مورد ساخته‌شده مسیر را فعال نکردند، هرچند این یک تضمین ایمنی جهانی برای تمام متون آینده نیست. منشأ این داده‌ها آزمایش بود و بازرسی نهایی بازپخش (Replay Audit) شامل ۱۵,۵۵۸ بسته زمان-اجرا بود، در حالی که فیلدهای ممنوعه مانند متن پرامپت، خروجی‌های regex و پاسخ‌های طلایی حذف شده بودند.

محدودیت‌های رزولوشن

با این حال، این پژوهش یک نقطه شکست بحرانی را نیز شناسایی کرد: «محدودیت توکن بعدی». انسان‌ها اغلب از راست‌ترین رقم به سمت داخل محاسبه می‌کنند زیرا ده‌بریک‌ها از مرتبه یکان شروع می‌شوند. یک مدل زبانی رابط معکوسی دارد: او باید اولین توکن پاسخ را قبل از چاپ توکن‌های بعدی چاپ کند. برای پاسخ ۱۵۶۹۶، او باید ابتدا «۱۵» را انتخاب کند، سپس «۶۹۶» و سپس متوقف شود.

در یک آزمایش مقیاس‌بندی تفریق، دقت مدل در ۶ رقم بالا ماند اما با افزایش طول عدد سقوط کرد:

• ۶ رقم: ۹۶.۷٪ دقت
• ۱۰ رقم: ۶۳.۳٪ دقت
• ۱۳ رقم: ۵۳.۳٪ دقت
• ۱۴ رقم: ۴۳.۳٪ دقت
• ۲۴ رقم: ۶.۷٪ دقت

این شکست به‌ویژه در مرزهای «ده‌بریک‌های عمیق» (Deep-carry) رخ می‌دهد. در یک آزمایش شمارش، توکنایزر Llama اعداد را به تکه‌های ۳ رقمی تقسیم می‌کرد (مثلاً ۳۱۴ | ۵۸۲ | ۷۰۶ | ۱۲۳ | ۴۵۴). وقتی یک ده‌بریک نیاز داشت تغییری را از چندین تکه عبور دهد — مانند انتقال از ۳۱۴۵۸۲۷۰۶۹۹۹۹۹۹ به ۳۱۴۵۸۲۷۰۷۰۰۰۰۰۰ — مدل فرو پاشید. بهترین سلول ده‌بریک عمیق تنها به ۱۸.۷۵٪ دقت رسید و در ۹۶.۸۸٪ موارد، مدل به‌جای بازیابی، صرفاً آخرین عدد صحیح را تکرار کرد.

این اتفاق به دلیل ناپدید شدن نمایش عدد نیست. برای پاسخ‌های ۱۲ رقمی، تکه‌های ۳ رقمی همچنان به‌عنوان الگوهای فاز-مانند خواندنی بودند. در عوض، هندسه «شلوغ» می‌شود. جهت‌های خوانش برای تکه‌های نزدیک به هم چنان به هم نزدیک می‌شوند که مدل رزولوشن یا تفکیک خود را از دست می‌دهد. در اجرای ۱۴ رقمی، کیفیت خوانش برای تکه‌های ۲ تا ۴ به‌طور مشخص ضعیف‌تر بود. این تایید می‌کند که اگرچه مدل ممکن است هنوز ساختار عدد-مانند را در داخل داشته باشد، اما تصمیم توکن-بعدیِ قابل مشاهده، وقتی هندسه شلوغ شود، رزولوشن خود را از دست می‌دهد.

پارادوکس استفاده از ابزار: خواندنی در مقابل نوشتنی

پروژه همچنین سعی کرد یک «جایگزینی JIT باقی‌مانده» (Residual JIT replacement) را اجرا کند — یعنی تلاش برای نوشتن پاسخ صحیح به‌جای وضعیت پنهان مدل تا مدل بتواند به‌طور طبیعی ادامه دهد. این بخش از رویای اولیه برای نوشتن‌های آزمایش‌شده به نتیجه نرسید. هدف این بود که ببینند آیا یک پاسخ محاسبه‌شده می‌تواند دوباره در مدل قرار گیرد تا مدل به‌طور طبیعی ادامه دهد و عملاً مانند یک کامپایلر Just-in-time برای ریاضیات عمل کند.

پژوهشگران از جعبه‌ابزار خاصی برای بازرسی بدن ماتریسی استفاده کردند:

• پروب‌ها (Probes): خواندن یک حقیقت از بردار.
• SAEها (خودرمزگذارهای پراکنده): تلاش برای نام‌گذاری بخش‌های قابل استفاده مجدد از بردار.
• وصله‌زنی (Patching): پرسیدن اینکه آیا کپی کردن یک بخش، پاسخ را تغییر می‌دهد یا خیر.
• هدایت (Steering): فشار آوردن به وضعیت و مشاهده خروجی.

آن‌ها دریافتند که در حالی که یک متغیر «خواندنی» (Readable) است (می‌توان عدد ۸۴ را از یک بردار استخراج کرد)، لزوماً «نوشتنی» (Writable) نیست. مداخلات باقی‌مانده هیچ برتری دقتی نسبت به اصلاح ساده‌ی توکن‌ها یا لوجیت‌ها نداشت و رفتار محیط اطراف را بیشتر مختل کرد. اجبار مدل به تولید اولین توکن صحیح اغلب منجر شد که مدل بقیه را بهتر از یک نوشتن باقی‌مانده‌ی خام تکمیل کند. این ثابت می‌کند که یک متغیر رمزگشایی‌شده، یک API نیست؛ مدل می‌تواند مقداری را به‌طور داخلی نمایش دهد بدون اینکه آن مقدار یک ثبات (Register) قابل نوشتن باشد که تولید را کنترل کند. یک متغیر خواندنی لزوماً یک ثبات نوشتنی نیست.

تحلیل: تغییر پارادایم هوش مصنوعی

برای جامعه فنی، این یافته‌ها درک ما از «استدلال» در مدل‌های زبانی بزرگ را تغییر می‌دهد. این نشان می‌دهد که ریاضیات صرفاً توالی‌ای از اکتشافات آماری یا 휴ریستیک‌های یادگرفته‌شده نیست — همان‌طور که نیکانکین و همکاران در Arithmetic Without Algorithms پیشنهاد کردند — بلکه یک ویژگی هندسی ساختاری از فعال‌سازی‌های مدل است. این موضوع توسط کارهای کانتامنی و تگمارک درباره نحوه استفاده مدل‌ها از مثلثات برای جمع پشتیبانی می‌شود.

این یافته، «رندر کردن» (Rendering) را از «محاسبه کردن» (Computing) متمایز می‌کند. کودکی که می‌گوید ۷ ضربدر ۸ می‌شود ۵۶، ممکن است در حال یادآوری یک جدول باشد؛ اما کودکی که ۷۳ ضربدر ۴۸ را روی کاغذ حل می‌کند، در حال اجرای یک رویه است. به‌طور مشابه، یک مدل ممکن است «۵۶» را به‌عنوان یک الگوی رایج رندر کند، اما آزمایش‌های Rune ثابت می‌کنند که مدل متغیرهای داخلی بازیابی‌پذیری را برای عملوندها نگه می‌دارد. این کار مدل را از یک تولیدکننده متن به یک ماشین وضعیت نهفته (Latent State-Machine) تبدیل می‌کند که می‌تواند بدون تکیه بر شکنندگی پرامپت‌های زبان طبیعی، با منطق خارجی ارتباط برقرار کند.

مسیر پیش‌رو

یافته‌های فعلی مختص Llama هستند. اگرچه برخی الگوها (مانند الگوهای GCD) در خانواده‌های دیگر از جمله Llama-3.1، Llama-3.2 1B/3B، Pythia، OLMo، Qwen-2.5، Mistral و Yi ظاهر شدند، اما مسیر نهایی بومی‌سازی عملوندها به‌صورت مستقیم منتقل نشد. یک تلاش واقعی برای بومی‌سازی عملوندها در Qwen شکست خورد، که ثابت می‌کند مسیرهای فعال‌سازی داخلی مانند تجزیه‌کننده‌های متنی قابل انتقال نیستند. یک تجزیه‌کننده یک رشته یکسان را می‌بیند، اما هندسه داخلی یک مدل ممکن است کاملاً متفاوت باشد.

کارهای آینده بر موارد زیر متمرکز است:

• ساخت بومی‌سازهای عملوند مختص به هر مدل که به‌جای فرض انتقال، با هندسه منحصر‌به‌فرد هر مدل مطابقت داشته باشند.
• تکمیل تست‌های تبادل علی (Causal Interchange) در جاهایی که پوشش منبع اجازه می‌دهد (تقسیم با باقی‌مانده جفت‌های منطبق کافی داشت؛ GCD و LCM حمایتی بودند اما جفت‌های کافی برای ادعایی با همان قدرت نداشتند).
• مقایسه تلاش‌های نوشتن باقی‌مانده در برابر خط‌بارهای ساده‌ی لوجیت و تجزیه‌کننده.
• حفظ مرز بازپخش بدون تجزیه‌کننده به‌عنوان یک تست غیرقابل مذاکره.

با این حال، شگفتی باقی می‌ماند. یک ترنسفورمر انگشت یا چرتکه نمی‌شناسد. او ماتریس‌ها، فعال‌سازی‌ها و هندسه‌ی یادگرفته‌شده را دارد. تحت تست‌های درست، آن ماتریس‌ها حاوی ردهایی از ریاضیات هستند: نه دقیقاً ریاضیات انسانی، بلکه نسخه‌ی ماشینی از آن.