تجسم لایه‌های توجه؛ رمزگشایی از مکانیزم کپی-پیست در مدل‌های زبانی

تصور کنید ابزاری دارید که دقیقاً نشان می‌دهد مغز یک مدل هوش مصنوعی در هر لحظه به کدام کلمه از متن شما خیره شده است. این قابلیت اکنون با ابزار جدید توسعه‌دهنده‌ای به نام ishamf محقق شده و ثابت می‌کند که مدل‌های زبانی برخلاف تصور رایج، متن را از یک حالت درونی مبهم تولید نمی‌کنند، بلکه به‌طور فعال به داده‌های منبع خاصی «بازمی‌گردند».

این ابزار با نقشه‌برداری از وزن‌های توجه (Attention Weights) در لحظه، فاش می‌کند که مدل‌ها هنگام تولید توکن بعدی، دقیقاً چگونه تصمیم می‌گیرند که کدام کلمات قبلی را اولویت‌بندی کنند. به زبان ساده، مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیارد‌ها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — در اینجا مانند خواننده‌ای عمل می‌کند که یک ماژیک هایلایت در دست دارد و بخش‌های حیاتی متن را علامت می‌زند.

این مکانیزم تبیین‌کننده یکی از نقاط سردرگمی رایج برای بسیاری از کاربران است: اینکه چرا مدل‌هایی که بر اساس احتمالات عمل می‌کنند، در کپی-پیست عیناً (Verbatim) متون تا این حد دقیق هستند. همان‌طور که در تحلیل قبلی ما درباره‌ی محدودیت‌های مدل‌های زبانی در ممیزی کد اشاره کردیم، این مدل‌ها در استدلال‌های عمیق منطقی مورد نیاز برای تحلیل خودکار کد دچار لغزش می‌شوند، اما این بصری‌سازی نشان می‌دهد که آن‌ها در بازیابی سطحی رشته‌های متنی خاص، تخصص دارند.

مکانیزم کپی-پیست

مدل را مانند خواننده‌ای تصور کنید که یک هایلایتر در دست دارد. وقتی مدل نیاز دارد یک تاریخ یا یک آدرس را بازتولید کند، سعی نمی‌کند آن مقدار را از حافظه خود به یاد بیاورد؛ بلکه به‌سادگی توکن دقیق را در پرامپت هایلایت کرده و آن را کپی می‌کند. این پیوند مستقیم، احتمال بروز خطاهای تصادفی در هنگام بازتولید داده‌ها را به‌طور قابل‌توجهی کاهش می‌دهد.

این موضوع در مثال «عیب‌یابی یک تابع میانگین» کاملاً مشهود است. ابزار نشان می‌دهد که حتی یک مدل کوچک می‌تواند به‌راحتی یک تابع کامل جاوااسکریپت را بازتولید کند، به‌جز در بخشی که تغییر در آن مدنظر بوده است. با این حال، مدل همچنان برای یافتن مشکل واقعی به راهنمایی (Hint) نیاز دارد، زیرا نمی‌تواند باگ را به‌تنهایی پیدا کند. این یعنی توانایی کپی-پیست با توانایی تحلیل منطقی کاملاً متفاوت است.

جزئیات فنی پیاده‌سازی

این پروژه از یک پیاده‌سازی Transformers.js در یک اپلیکیشن React استفاده می‌کند تا متن تولید کرده و داده‌های داخلی مدل را استخراج کند. برای اینکه این بصری‌سازی کار کند، توسعه‌دهنده مجبور شد یک حلقه تولید (Generation Loop) سفارشی را پیاده‌سازی کرده و گراف محاسباتی مدل را تغییر دهد.

جزئیات کلیدی فنی عبارت است از:

• اندازه مدل: در این دمو از یک مدل کوچک با ۶۰۰ میلیون پارامتر استفاده شده است.
• پردازش داده‌ها: ابزار، وزن‌های توجه را که بر اساس بزرگی بردار مقدار (Value Vector) مقیاس‌بندی شده‌اند، محاسبه می‌کند.
• تجمیع: وزن‌ها در تمام سرهای توجه (Attention Heads) تجمیع شده و در تمام لایه‌ها جمع می‌شوند تا یک مقدار شفافیت (Opacity) واحد برای هر توکن ایجاد شود. بزرگ‌ترین مقادیر دارای شفافیت ۱ هستند و سایرین به‌صورت درونیابی (Interpolated) نمایش داده می‌شوند.
• تغییرات مدل: از آنجایی که Transformers.js از فایل‌های .onnx از طریق WASM استفاده می‌کند، توسعه‌دهنده از یک اسکریپت برای اکسپوز کردن مقادیر داخلی استفاده کرد و یک مدل ابزارگذاری‌شده (Instrumented) مجزا را در Hugging Face میزبانی نمود.
• بهینه‌سازی عملکرد: برای جلوگیری از زمان‌های طولانی دانلود برای صدها مگابایت داده‌های مدل، توسعه‌دهنده چندین پرامپت را از پیش تولید کرد تا مشاهده فوری نتایج ممکن شود.

الگوهای مشاهده‌شده و زمینه

در پرامپتی که یک جابجایی دفتر کار را خلاصه می‌کند، بصری‌سازی نشان می‌دهد که مدل هنگام کپی کردن عیناً تاریخ‌ها و آدرس‌های منبع، به‌شدت از آن‌ها بهره می‌گیرد. نکته جالب‌تر زمانی است که مدل کلمه «باقی می‌مانند» (remain) را در عبارت «کارت‌های دسترسی و شماره تلفن‌های موجود باقی می‌مانند» تولید می‌کند؛ در این لحظه، مدل به‌طور هم‌زمان اطلاعات را از دو عبارت متفاوت می‌گیرد: «کار خواهند کرد» (از عبارت کارت‌های دسترسی کارکنان کار خواهند کرد) و «همان می‌مانند» (از عبارت شماره تلفن‌های شرکت همان می‌مانند).

این امر نشان می‌دهد که مدل با ترکیب وزن‌ها از بخش‌های مختلف و پراکنده در پنجره متنی (Context Window) — که شبیه میز کاری است که فقط جای چند ورق دارد — برای یافتن یک کلمه واحد و جامع، در حال سنتز معناست. مدیریت بهینه این پنجره متنی برای کاهش هزینه‌ها حیاتی است؛ برای مثال، گوگل با استفاده از نمایش‌های ساختاریافته توانسته است مصرف توکن‌ها را در جلسات طولانی تا ۹۴٪ کاهش دهد تا بهره‌وری مدل‌ها افزایش یابد.

برای کاربر عادی، این یافته به این معناست که «توهمات» (Hallucinations) — یعنی وقتی مدل با اطمینان چیزی می‌گوید که اصلاً وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — در استخراج داده‌های ساده کمتر رخ می‌دهند و بیشتر زمانی اتفاق می‌افتند که مدل فاقد یک توکن واضح برای «لنگر انداختن» باشد. این موضوع درک ما از LLMها را از «طوطی‌های احتمالی» (Stochastic Parrots) به «موتورهای بازیابی گزینشی» تغییر می‌دهد.

گام بعدی شما

• اگر توسعه‌دهنده هستید، می‌توانید اکنون پیاده‌سازی کامل و مدل ابزارگذاری‌شده را از طریق مخزن گیت‌هاب پروژه بررسی کنید تا ابزارهای شفافیت مشابهی برای خط لوله‌های (Pipelines) خود بسازید.
• در پرامپت‌های خود، داده‌های حساس (مثل تاریخ و کد) را در بخش‌های مجزا قرار دهید تا مدل راحت‌تر روی آن‌ها لنگر بیندازد.
• تفاوت بین «تولید خلاقانه» و «استخراج داده» را در خروجی‌های مدل خود با توجه به این مکانیزم تحلیل کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.