درون ماتریس‌های توجه؛ مشاهدهٔ جریان توکن‌ها در مدل‌های زبانی

وقتی ریاضیات پیچیده به جای فرمول، به صورت حرکت‌های زنده دیده شود، جعبهٔ سیاه هوش مصنوعی بالاخره باز می‌شود. تصور کنید برنامه‌نویسی هستید که می‌خواهد بداند در قلب یک مدل زبانی دقیقاً چه می‌گذرد، اما از میان هزاران خط کد سردرگم شده است.

در ۱۰ ژوئیه ۲۰۲۶، پروژه‌ای تعاملی توسط sbondaryev.dev منتشر شد که عملیات انتزاعی تانسورها را به یک تجربه بصری تبدیل می‌کند. در این ابزار، یک مدل ترنسفورمر (Transformer) — معماری پایه در مدل‌های زبانی که مثل یک سیستم مدیریت توجه، اهمیت هر کلمه را نسبت به بقیه می‌سنجد — در حال بازی تیک-تک-تو است.

همان‌طور که در تحلیل قبلی ما درباره‌ی بهینه‌سازی‌های vLLM اشاره کردیم، فاصلهٔ بین کدنویسی و درک منطق مدل برای بسیاری از توسعه‌دهندگان یک شکاف عمیق است. این راهنما با جایگزینی مجموعه‌های عظیم متنی با یک جدول ساده ۳ در ۳، حرکت داده‌ها را برای کسانی که پژوهشگر AI نیستند، شهودی می‌کند.

به نقل از مستندات این پروژه، ابزار مذکور تجزیهٔ گام‌به‌گام کل خط لوله (Pipeline) را ارائه می‌دهد. شما می‌توانید مکانیسم‌های زیر را در لحظه اجرا بررسی کنید:

• توکن‌سازی (Tokenization) — یعنی خرد کردن متن به تکه‌های کوچک، شبیه برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — و بردار معنایی (Embedding) که مثل شناسنامه عددی هر واژه است.
• رمزگذاری موقعیت آموخته‌شده.
• خودتوجهی (Self-attention) با استفاده از ماتریس‌های پرس‌وجو (Query)، کلید (Key) و مقدار (Value).
• لایه‌های ماسکینگ علی و سافت‌مکس.
• اتصالات باقی‌مانده و نرمال‌سازی لایه.
• شبکه‌های پیش‌رانی MLP و نمونه‌گیری نهایی.

طبق گزارش سازندگان، این راهنما اجازه می‌دهد «برداشت‌های انتخابی» یا Ablation را اجرا کنید تا ببینید وقتی قطعات حیاتی حذف می‌شوند چه رخ می‌دهد. برای مثال، با غیرفعال کردن ماسک علی یا لایه MLP، دقیقاً مشاهده می‌کنید که چگونه دقت پیش‌بینی مدل بدون این لایه‌ها فرو می‌پاشد.

برای توسعه‌دهندگانی که به دنبال یادگیری کاربردی هستند، این چرخش از نمودارهای ایستا به بازی تعاملی، یک پیروزی آموزشی است. این ابزار منحنی یادگیری را از خواندن غیرفعال به آزمایش فعال تغییر می‌دهد و ثابت می‌کند پیچیده‌ترین معماری‌های LLM را می‌توان در یک بازی ساده X و O خلاصه کرد.

گام بعدی شما

• به آدرس sbondaryev.dev/articles/transformer مراجعه کنید و پیاده‌سازی زنده را بررسی کنید.
• با تغییر دادن اجزای معماری، حد و مرزهای مدل را در بازی تیک-تک-تو تست کنید.
• تفاوت خروجی مدل را هنگام حذف لایه Self-attention مشاهده کنید تا مفهوم «توجه» را لمس کنید.

اما درک لایه‌ها تنها نیمی از مسیر است؛ برای دیدن اینکه این ساختارها چگونه در سخت‌افزارهای نسل جدید شتاب می‌گیرند، به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.