جداول هش در برابر مکانیزم توجه؛ تفاوت تطبیق دقیق و وزنی

تصور کنید به‌جای جست‌وجوی یک کلمه دقیق در لغت‌نامه، بتوانید تمام صفحات مرتبط با یک مفهوم را به‌صورت هم‌زمان و با درجات مختلف اهمیت بخوانید. این دقیقاً همان اتفاقی است که در قلب معماری ترنسفورمر (Transformer) رخ می‌دهد.

این رویکرد که «جست‌وجوی نرم» نامیده می‌شود، تفاوت بنیادین میان مدل‌های زبانی مدرن و پایگاه‌داده‌های سنتی است. در یک جدول هش (Hash Table) معمولی، شما برای یافتن مقدار، به یک کلید دقیق نیاز دارید؛ اما مکانیزم توجه (Attention) — شبیه به راداری که هم‌زمان چندین سیگنال را می‌گیرد و قوی‌ترین‌ها را برجسته می‌کند — شباهت را در تمام کلیدهای موجود محاسبه می‌کند تا ترکیبی وزنی از اطلاعات را استخراج کند.

همان‌طور که در بحث‌های گذشته‌ی ما درباره‌ی ساختار مدل‌های بنیادی اشاره کردیم، این قابلیتِ «نرم بودن» برای یادگیری ماشین حیاتی است. چون این فرآیند پیوسته و مشتق‌پذیر است، مدل می‌تواند از پس‌انتشار (Backpropagation) — یعنی روشی برای اصلاح خطاهای مدل از انتها به ابتدا — استفاده کند تا بفهمد در طول آموزش، کدام روابط اهمیت بیشتری دارند. یک جدول جست‌وجوی سنتی ایستا است و نمی‌توان آن را با گرادیان کاهشی (Gradient Descent) بهینه کرد.

به نقل از راهنمای فنی منتشر شده در dev.to در تاریخ ۱۴ اکتبر ۲۰۲۶، این مکانیزم از طریق سه نقش اصلی عمل می‌کند:

• پرس‌وجو (Query - Q): آنچه مدل در حال حاضر به‌دنبالش است.
• کلید (Key - K): شناسه‌ای که برای تطبیق با پرس‌وجو استفاده می‌شود.
• مقدار (Value - V): محتوای واقعی که باید بازیابی شود.

در حالت خودتوجهی (Self-attention)، ورودی مدل هم‌زمان هر سه نقش را ایفا می‌کند. طبق مستندات، این فرآیند در سه گام رخ می‌دهد: ابتدا شباهت ضرب داخلی بین Q و K محاسبه می‌شود، سپس تابع سافت‌مکس (Softmax) برای نرمال‌سازی وزن‌ها (به‌طوری که مجموع آن‌ها ۱ شود) اعمال می‌گردد و در نهایت، مجموع وزنی تمام بردارهای V محاسبه می‌شود. برای مثال در عبارت «گربه روی فرش نشست»، کلمه «نشست» از این وزن‌ها استفاده می‌کند تا بفهمد چه مقدار اطلاعات باید از «گربه» و «فرش» استخراج کند.

برای توسعه‌دهندگان، این یعنی پیچیدگی ترنسفورمرها بر پایه جبر خطی ساده بنا شده است. گذار از جست‌وجوی سخت به میانگین‌های وزنی به مدل‌ها اجازه می‌دهد ظرافت‌های زبان انسان را بفهمند؛ جایی که معنای یک کلمه بسته به همسایگانش تغییر می‌کند.

با این حال، این مکانیزم ذاتاً نسبت به ترتیب کلمات کور است. چون ورودی را به‌جای یک توالی، به شکل مجموعه‌ای از بردارها می‌بیند، معماری به اجزای اضافه‌ای مثل رمزگذاری موقعیت (Positional Encoding) نیاز دارد تا ترتیب کلمات را درک کند.

گام بعدی شما

• پیاده‌سازی یک مدل توجه ساده با استفاده از کتابخانه NumPy را امتحان کنید تا ببینید تغییر ماتریس‌های Q، K و V چگونه وزن‌های خروجی را تغییر می‌دهد.
• بررسی کنید که چگونه مدل‌های جدیدتر برای کاهش هزینه استنتاج، از نسخه‌های بهینه‌شده‌ی این مکانیزم استفاده می‌کنند.
• مطالعه کنید که رمزگذاری موقعیت در مدل‌های جدیدتر چگونه جایگزین شده است.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.