بردار‌های هدایت مفاهیم در مدل‌های مختلف هوش مصنوعی با چرخش خطی منتقل می‌شوند

تصور کنید بتوانید «احساس» یا «مفهوم» خاصی را که یک مدل هوش مصنوعی آموخته است، بدون آموزش مجدد، دقیقاً به مدل دیگری تزریق کنید. این فرضیه که هر مدل زبانی زبان درونی منحصر‌به‌خود دارد، اکنون با یافته‌هایی جدید به چالش کشیده شده است.

طبق گزارشی که در ۱۵ ژوئیه ۲۰۲۶ توسط پژوهشگر الی بک (Elie Bak) منتشر شد، یک چرخش خطی ساده می‌تواند یک بردار هدایت مفهومی را از مدل Llama-3.1-8B به مدل Qwen3-8B با دقتی نزدیک به ۹۵٪ منتقل کند. این کشف نشان می‌دهد بازنمایی‌های درونی مدل‌ها بسیار جهانی‌تر از آن است که پیش‌تر تصور می‌شد.

این تحقیق بر پایه مقاله «فضای کاری قابل بیان» (Verbalizable-Workspace) از شرکت آنتروپیک (Anthropic) بنا شده است؛ مقاله‌ای که «دیکشنری جهت‌ها» را در لایه‌های میانی مدل شناسایی کرد که خروجی را به‌صورت علیّتی هدایت می‌کنند. در حالی که کار اصلی آنتروپیک بر روی یک خانواده مدل بسته متمرکز بود، آزمایش‌های بک این موضوع را بررسی می‌کند که آیا این جهت‌ها در معماری‌های مختلف قابل انتقال هستند، چگونه در طول آموزش تکامل می‌یابند و چگونه مقیاس‌پذیر می‌شوند.

بک برای این منظور از یک رویکرد مبتنی بر آزمایش‌های خودگردان با استفاده از عاملی (Agent) به نام fable در یک خوشه محاسباتی استفاده کرد تا آزمایش‌ها را طراحی و بر روی مدل‌های باز (Open Models) اجرا کند. نتایج از طریق فایل‌های ذخیره‌شده بازسازی شدند و به‌گونه‌ای فرمت شدند که با شهود ریاضی آغاز شوند. او از نمودارهای تعاملی و معیارهای خاص برای باز کردن ایده‌های فشرده استفاده کرد. بک اشاره می‌کند که از این عامل برای ایده‌پردازی و اجرای آزمایش‌هایی استفاده کرد که در صورت انجام دستی، زمان کافی برای آن‌ها نداشت، هرچند زمان زیادی را صرف اصلاح تفاسیر نتایج و بصری‌سازی‌ها کرد.

اندازه‌گیری با لنز J (J-Lens)

بک برای تحلیل مدل‌ها از خط لوله‌ای به نام لنز J استفاده کرد. او با ایجاد تغییر کوچک (Nudge) در جریان باقی‌مانده (Residual Stream) در یک لایه خاص (ℓ) و ثبت پاسخ لایه پیش‌بینی توکن نهایی، ماتریس Jℓ را استخراج کرد. این ماتریس نشان‌دهنده اثرگذاری معمول آن لایه بر خروجی نهایی است.

ضرب این ماتریس در بخش «unembedding» باعث می‌شود اثر مذکور عینی شود. در این حالت، هر یک از ۴,۰۹۶ توکن رایج یک بردار دریافت می‌کنند. این‌ها بردار‌های هدایت در معنای واقعی کلمه هستند: تزریق یکی از این‌ها باعث می‌شود مدل دقیقاً همان توکن خاص را تولید کند. این ۴,۰۹۶ بردار در کنار هم، دیکشنری آن لایه را تشکیل می‌دهند.

برای سنجش کمّی این دیکشنری، دو معیار اصلی به کار گرفته شد:

• هم‌ترازی هسته مرکزگرا (CKA): این معیار اندازه‌گیری می‌کند که آیا دو دیکشنری شکل مشابهی دارند، در حالی که مقایسه مستقیم مختصات مجاز نیست. فرآیند شامل مرکزگرا کردن بردارها و ساخت جدولی از روابط به صورت K = VVT است (یک شبکه ۴,۰۹۶ در ۴,۰۹۶) که در هر سلول (i, j) ثبت می‌شود که ورودی i با چه شدتی در امتداد ورودی j قرار دارد. CKA در واقع کسینوس بین دو جدول از این دست است: CKA(A, B) = ⟨KA, KB⟩ / ‖KA‖ ‖KB‖. هندسه‌های کاملاً یکسان نمره ۱.۰ می‌گیرند و جداول تصادفی و نامرتبط نمره‌ای نزدیک به صفر می‌گیرند. دو برازش مستقل از یک مدل نمره ۰.۹۹۷ گرفتند، در حالی که مدل‌های مختلف آموزش‌دیده در عمق‌های مشابه، نمرات ۰.۵ تا ۰.۷ داشتند.
• نسبت مشارکت (PR): این معیار می‌شمارد که یک دیکشنری در واقع از چند جهت استفاده می‌کند. این مقدار با استفاده از مقادیر ویژه (λi) کوواریانس محاسبه می‌شود: PR = (λ1 + … + λn)² / (λ1² + … + λn²). اگر هر جهت وزن یکسانی داشت، PR برابر با تعداد توکن‌ها می‌شد و اگر تنها یک جهت همه چیز را حمل می‌کرد، PR برابر ۱ می‌شد.

یافته‌ها نشان داد که برای اکثر مدل‌ها، با وجود ۴,۰۹۶ ورودی توکن، آن‌ها تنها ۲۰۰ تا ۶۰۰ جهت مؤثر را پوشش می‌دهند. این عدد «ظرفیت» است که در سراسر مطالعه استفاده شده است. نکته مهم این است که J یک میانگین روی توزیع متن است؛ بنابراین تغییر متن، اندازه‌گیری را تغییر می‌دهد.

«صخره زمانی» و فضای کاری

بک فرضیه «فضای کاری» را آزمایش کرد؛ ایده‌ای که می‌گوید لایه‌های میانی اطلاعات را در حافظه نگه می‌دارند تا در چندین توکن آینده استفاده شوند. برای این کار، او اندازه‌گیری‌ها را بر اساس فاصله (Δ) از ۰ تا ۹۶ توکن تقسیم کرد و سپس برای دو مدل، این فاصله را به ۴,۰۹۶ توکن افزایش داد تا از سوگیری پنجره (Window Bias) جلوگیری شود.

جزئیات افق زمانی:

• یافته‌های اولیه: با استفاده از شش مدل و ۲۵۰ پرامپت برای هر کدام، پژوهشگر مقدار effectℓ(Δ) = ‖P·Jℓ(Δ)‖ را ردیابی کرد.
• پارادوکس Δ = 0: اندازه‌گیری‌ها در Δ = 0 تحت تأثیر مسیر خودِ موقعیت به خروجی است. تنها ۳ تا ۶٪ از اثر در عمیق‌ترین لایه‌ها به توکن بعدی منتقل می‌شود. در نتیجه، «ساعت» این اندازه‌گیری‌ها از Δ = 1 شروع می‌شود.
• اثر پنجره: در توالی‌های ۱۲۸ توکنی، لایه‌های باند (Band layers) بین Δ ≈ 12 و Δ ≈ 96 تخت به نظر می‌رسیدند. با این حال، اندازه‌گیری مجدد روی توالی‌های ۴,۰۹۶ توکنی (با استفاده از ۱۱۲ و ۲۰۰ پرامپت و ۱۶۰ موقعیت هدف با فاصله لگاریتیمی) نشان داد که این یک سوگیری تولیدکننده بود. نسبت Δ96 ÷ Δ12 برای مدل Qwen از ۰.۵۶ به ۰.۲۶ کاهش یافت.
• قانون توان: فراتر از لبه پنجره، هر لایه مطابق با یک قانون توان بدون مقیاس (Scale-free power law) کاهش می‌یابد: effect ∝ Δ−α، که تا Δ ≈ 1,500 ادامه دارد. دیکشنری‌های ترکیب‌شده برای این برازش‌های پنجره‌بلند، با r = 0.996 و 0.987 با برازش‌های استاندارد مطابقت داشتند.

برخلاف فرضیه اولیه فضای کاری، طولانی‌ترین اثرگذاری نه در لایه‌های میانی، بلکه در اولین لایه‌ها (ρ = ۰.۰۳–۰.۱۷) مشاهده شد. نیمه‌عمر باندهای اثرگذاری تنها ۲ تا ۵ توکن بود که مقدار چشمگیری نیست. با این حال، یک «صخره» یا سقوط شدید در عمق نسبی ρ ≈ ۰.۶–۰.۷ وجود دارد. در این مرز، توانایی یک تحریک (Nudge) برای اثرگذاری بر توکن‌های آینده در تمام ۶ مدل آزمایش شده حدود ۲.۳ تا ۲.۴ برابر کاهش می‌یابد. این شامل Qwen3-1.7B (صخره در ρ = 0.667) و Qwen3-4B (صخره در ρ = 0.657) می‌شود.

حامل‌های مکانیکی

برای یافتن اینکه چه چیزی این برد اثرگذاری را منتقل می‌کند، بک عملیات حذف (Ablation) را انجام داد:

• الگوهای توجه: ثابت نگه داشتن این الگوها باعث شد پروفایل‌ها پایدار بمانند (r ≥ 0.996).
• مسیر مقدار (Value Path): قطع کردن مسیر مقدار باعث شد ۸۶ تا ۹۵٪ از برد بین‌توکنی ناپدید شود.
• سرهای کپی-کننده (Copy-heads): حذف سرهای کپی شناسایی شده هیچ تغییری ایجاد نکرد.

این نتایج تأیید می‌کند که برد اثرگذاری ناشی از محتوایی است که از طریق الگوهای توجه ثابت منتقل می‌شود.

ظهور در طول آموزش

با استفاده از ۱۲ نقطه بازرسی (Checkpoint) از مدل SmolLM3-3B (از ۰.۱ تا ۱۱.۲ تریلیون توکن)، این مطالعه نحوه شکل‌گیری این ساختار را ردیابی کرد.

جزئیات پیشرفت آموزش:

• صخره: این ویژگی در اولین نقطه بازرسی عمومی (کمتر از ۱٪ آموزش) در موقعیت ρ = 0.63 قرار داشت و در ۱۱ نقطه از ۱۲ نقطه بازرسی دقیقاً در همان لایه باقی ماند.
• مرز هندسی: این مرز از ρ = 0.46 شروع شد و طی شش تریلیون توکن به سمت صخره مهاجرت کرد. ویژگی زمانی ابتدا وجود داشت و هندسه بعدها روی آن همگرا شد.
• بلوغ برد: «تخت بودن درون-باند» (نسبت effect Δ96 ÷ Δ12.5) هرگز رشد نکرد. اما شکل آن بالغ شد: در اولین نقطه بازرسی، باند نیمی از قدرت لایه‌های حسی را داشت؛ در سه تریلیون توکن، آن‌ها برابر شدند و این پروفایل تثبیت شد.

تکامل هندسی

بک لنز را در ۲۷ نقطه بازرسی در مدل‌های SmolLM3-3B، OLMo-32B و یک مجموعه اولیه OLMo-7B که از مقداردهی اولیه تصادفی شروع شده بود، برازش کرد.

• ساختار بلوکی: این ساختار در اولین نقاط بازرسی آموزش‌دیده حضور داشت (۴ میلیارد توکن برای OLMo-7B و ۹۵ میلیارد برای SmolLM3). اگرچه مقداردهی‌های تصادفی «بلوکی بودن» (0.13) را نشان می‌دادند، اما با هیچ چیز همبستگی نداشتند (همبستگی عمق ≈ ۰) و با نقاط بازرسی آموزش‌دیده تطابق کمی داشتند (CKA ۰.۳۱ که تا ۰.۱۷ افت کرد).
• هندسه غیر-تثبیتی: جداول روابط داخلی مدام بازنویسی می‌شوند. نرخ تغییر در OLMo-32B مانند 1/t کاهش می‌یابد اما هرگز به صفر نمی‌رسد؛ وضعیت نهایی آن CKA ۰.۸۴ را نسبت به ۲۰۰ میلیارد توکن قبل از خود ثبت کرد. تغییر در ترکیب داده‌ها و کاهش نرخ یادگیری (LR anneal) باعث جهشی شد که ۲۰ تا ۵۶ برابر بیشتر از روند کلی بود.
• پیری بر اساس توکن: تعداد توکن‌ها، و نه قدرت محاسباتی، سن هندسی را تعیین می‌کند. مدل ۳۲ میلیارد پارامتری کندتر پیر می‌شود؛ این مدل برای رسیدن به همان وضعیت مدل ۷ میلیارد پارامتری، به ۱.۴ تا ۲.۵ برابر توکن بیشتری نیاز دارد. برای مثال، مدل ۷ میلیارد پارامتری در ۱۶.۸ میلیارد توکن با مدل ۳۲ میلیارد پارامتری در ۴۲ میلیارد توکن مطابقت دارد (۲.۵ برابر). در ۱۶.۸ میلیارد توکن، این دو مدل تنها در CKA ۰.۶۷ توافق دارند (که بهتر از مدل‌های نامرتبط نیست).

انتقال بین-مدلی: جادوی چرخش

شگفت‌انگیزترین نتیجه، انتقال علیّتی بین مدل‌های نامرتبط است. بک با استفاده از یک چرخش برازش شده (SVD)، بردارهای مفاهیم را از یک مدل به مدل دیگر منتقل کرد.

مکانیسم انتقال:

• راه‌اندازی: از ۴,۰۹۶ توکن مشترک بین هر دو دیکشنری برای برازش نقشه استفاده شد. ۳,۲۷۶ توکن برای آموزش و ۸۲۰ توکن به عنوان داده‌های آزمایشی کنار گذاشته شدند.
• چرخش در برابر رگرسیون: به‌جای رگرسیون ریج (Ridge Regression) که اجازه کشش می‌دهد، از یک چرخش خالص (SVD) استفاده شد. این چرخش توانست برای ۹۲٪ از توکن‌های آزمایشی در عمق میانی تطبیق‌یافته، ورودی صحیح را بازیابی کند که ۱,۷۰۰ تا ۳,۸۰۰ برابر بهتر از حالت تصادفی است.
• کنترل هویت: استفاده از بردارهای بدون تغییر نمره صفر گرفت، که ثابت می‌کند اشکال هندسی یکسان هستند اما جهت‌گیری‌ها متفاوت است. یک کنترل تصادفی (Shuffled) نیز نمره صفر گرفت.

• موفقیت بین-خانواده‌ای: مفاهیم منتقل شده از Llama به Qwen (و برعکس) در ۹۴٪ تا ۹۶٪ موارد به پیش‌بینی برتر مدل گیرنده تبدیل شدند. کنترل‌ها در ۱۰۴,۸۳۲ سلول آزمایشی (۴۸ مفهوم × ۷ پرامپت × ۸ شدت × ۳ بازوی کنترل × ۱۳ ترکیب لایه-جهت) نمره صفر گرفتند.
• انتقال مقیاس: انتقال بین Gemma-3 4B و 27B موفقیت کمتری داشت و به ترتیب ۷۶٪ به مدل ۲۷ میلیارد و ۵۶٪ به مدل ۴ میلیارد دست یافت.

این نشان می‌دهد که دیکشنری‌ها در مدل‌های مختلف، اشکال هم‌اندازه (Congruent) دارند. با این حال، بردارهای قرض گرفته شده به قدرت بیشتری نیاز دارند: بردار منتقل شده در ۱ تا ۶ برابر بودجه انرژی (که با واگرایی KL اندازه‌گیری شد) به بهینه خود می‌رسد، در حالی که بردار بومی مدل گیرنده زودتر اشباع می‌شود. اگر بودجه به مقدار اصلی محدود شود، انتقال بین-خانواده‌ای به ۰.۴۱–۰.۶۹ کاهش می‌یابد.

وابستگی به مقیاس و مجموعه داده

با استفاده از مجموعه Delphi (از ۴۴۷ میلیون تا ۲۵ میلیارد پارامتر)، بک بررسی کرد که چه چیزی باعث رشد دیکشنری می‌شود.

قوانین مقیاس‌بندی و یافته‌ها:

• فرمول: اندازه دیکشنری از قانون PR ∝ width^0.58 · (tokens per parameter)^-0.13 پیروی می‌کند. این رابطه در تمام نردبان‌های بهینه محاسباتی و اجراهای مجدد با Seedهای مختلف صدق می‌کند.
• فشرده‌سازی آموزش: آموزش، دیکشنری را به ازای هر ۱۰ برابر توکن بیشتر به ازای هر پارامتر، حدود ۲۶٪ فشرده می‌کند. یک مدل ۸.۱ میلیارد پارامتری که کمتر آموزش دیده، اندازه بزرگتری (۵۲۰) نسبت به یک مدل ۲۵ میلیارد پارامتری کاملاً آموزش‌دیده (۳۷۹) دارد.
• پراکندگی (Sparsity): با مقیاس‌بندی مدل‌ها، تعداد ورودی‌هایی که یک توکن درگیر می‌کند از ۴۹ به ۵ کاهش می‌یابد (با محدودیت ۶۴ ورودی در Matching Pursuit). در بالاترین سطح نردبان، این تجزیه تنها حدود ۱٪ از انرژی فعال‌سازی را توضیح می‌دهد.
• واریانس Seed: Seedهای مختلف روی شکل توافق دارند (CKA ۰.۸۵–۰.۹۱) اما روی تعداد توافق ندارند. سه Seed مختلف برای مدل ۹.۷ میلیارد پارامتری، به ترتیب ۳۴۴، ۴۴۴ و ۴۹۲ جهت اندازه‌گیری کردند.

نکته حیاتی این است که اندازه دیکشنری تنها ویژگی مدل نیست، بلکه ویژگی جفت (مدل، مجموعه داده) است.

جزئیات تأثیر مجموعه داده (Corpus):

• تغییرات خاص: مدل Qwen3-4B هنگام برازش روی کدهای پایتون ۵۹۴ جهت داشت، اما روی متون PDF تنها ۲۰۲ جهت شناسایی شد. این نوسان بزرگتر از کل محدوده محاسباتی پنج دهه در E4 و ۱۳ تا ۹۳ برابر کف اندازه‌گیری مجدد (CKA ≈ 0.99) است.
• تغییر لایه‌ای: لایه‌های سمت ورودی به‌طور کامل بازنویسی می‌شوند (لایه‌های اول Qwen3-4B بین برازش کد و WikiText تنها CKA ۰.۲۶ دارند). لایه‌های سمت خروجی تقریباً تغییر نمی‌کنند.
• پایداری بلوکی: با وجود تغییر اعداد، ساختار بلوکی در هر مجموعه داده‌ای باقی می‌ماند.

علاوه بر این، کد-نویسی (که بیشترین افزایش اندازه دیکشنری را ایجاد می‌کند) در واقع باعث می‌شود دو مدل مختلف کمترین شباهت را به هم داشته باشند. در جفت Qwen، مقدار CKA روی کد ۰.۵۶ بود در حالی که روی نثر (Prose) ۰.۶۷–۰.۷۰ بود؛ در جفت Gemma-Qwen این مقدار ۰.۴۴ در مقابل ۰.۵۳–۰.۵۷ بود. این نشان می‌دهد که بخش‌های مشترک و قابل انتقال منطق در نثرهای عادی نهفته است، در حالی که کد-نویسی از ماشین‌افزارهایی استفاده می‌کند که هر مدل به‌طور منحصر‌به‌فرد می‌سازد. این تضاد میان بازنمایی‌های عمومی و تخصصی، یادآور چالش‌های مشابه در سایر مدل‌های جهان است که برای ادغام قوانین سخت‌گیرانه، مانند محدودیت‌های فیزیکی در مدل‌های Phys-JEPA تلاش می‌کنند.

مرور کوتاه مدل‌های Mixture-of-Experts (MoE)

بک به‌طور کوتاهی این اندازه‌گیری را روی مدل‌های MoE اعمال کرد: Kimi-K2.5 (۱ تریلیون پارامتر، ۳۲ میلیارد فعال) و DeepSeek-V4-Flash (۲۸۴ میلیارد، ۱۳ میلیارد فعال). اگرچه نقشه‌های توافق لایه‌ای برای ۱۶ لایه با فاصله لگاریتیمی تولید شد، اما بودجه کم پرامپت‌ها (۱۰۰-۲۵۰ پرامپت) به این معنی است که این نتایج در حال حاضر بیشتر به عنوان نمونه‌های بصری هستند تا نتایج قطعی.

تحلیل: هندسه جهانی معنا

این یافته‌ها پیش‌فرض‌های حوزه هوش مصنوعی را درباره ویژگی‌های خاص هر مدل تغییر می‌دهد. اگر مدل‌های اساساً متفاوتی مانند Llama و Qwen یک فضای هندسی هم‌اندازه برای مفاهیم به اشتراک بگذارند، این به معنای وجود یک روش «کانونیک» یا استاندارد است که ترنسفورمرها برای حل مسئله زبان، اطلاعات را سازماندهی می‌کنند.

برای متخصصان، این بدان معناست که «هدایت» (Steering) یک هنر مخصوص به هر مدل نیست، بلکه یک علم قابل انتقال است. ما شاید به‌زودی بتوانیم یک بردار هدایت با دقت بالا را از یک مدل عظیم و گران‌قیمت استخراج کرده و آن را بدون آموزش مجدد، به یک مدل کوچک که روی دستگاه‌های Edge مستقر شده است «بچرخانیم» و منتقل کنیم. این قابلیت می‌تواند شکاف میان مفاهیم انتزاعی و اجرای عملی را پر کند و به مدل‌ها کمک کند تا از بن‌بست پروتوتایپ‌های اولیه عبور کرده و به اجرای صنعتی نزدیک‌تر شوند.

با این حال، وابستگی به مجموعه داده نشان می‌دهد که ما این جهانی‌بودن را تنها در زبان‌های عمومی مشاهده می‌کنیم. واگرایی در پردازش کد نشان می‌دهد که منطق‌های تخصصی جایی هستند که مدل‌ها در معماری داخلی خود واقعاً از یکدیگر فاصله می‌گیرند.

برای بررسی بیشتر این پویایی‌ها، پژوهشگران می‌توانند داده‌های ارائه شده را در مخزن گیت‌هاب open-jlens-data بررسی کنند یا با بصری‌سازی‌ها در eliebak.com تعامل داشته باشند.