مدل‌های ترنسفورمر ابهام معنایی کلمات را در لایه‌های پنهان حل کردند

تصور کنید یک برنامه نویس می‌خواهد سیستمی بسازد که جمله «من به بانک رفتم» را تحلیل کند؛ اما سیستم نمی‌تواند تشخیص دهد منظور کاربر یک مؤسسه مالی است یا ساحل رودخانه. این یک جمله ساده است، اما می‌تواند یک کامپیوتر را به بن‌بست بکشاند، زیرا ماشین در تفکیک بین یک نهاد مالی و لبه‌ی یک رودخانه ناتوان است. این چالش قدیمی که به عنوان رفع ابهام معنایی (Word Sense Disambiguation - WSD) شناخته می‌شود، مرز بین درک سطحی و فهم واقعی زبان است.

به نقل از Fondra Labs در گزارشی که در ۱۱ سپتامبر ۲۰۲۶ منتشر شد، این چالش به تفصیل شرح داده شد و توضیح داده شد که چگونه WSD به ماشین‌ها اجازه می‌دهد تا ابهام لغوی را با استفاده از بستر متن (Context) حل کنند. چه فردی برای برداشت پول به بانک رفته باشد و چه کنار ساحل رودخانه نشسته باشد، هر دو برداشت از جمله کاملاً معتبر هستند. برای انسان‌ها این فرآیند نامرئی و آنی است. ما از عقل سلیم، بستر متن و هر آنچه درباره جهان می‌دانیم استفاده می‌کنیم تا بدون فکر کردن، معنای درست را انتخاب کنیم. اما برای کامپیوترها، این یک مانع بنیادین است، زیرا اکثر کلمات پرکاربرد در زبان انگلیسی (و بسیاری از زبان‌های دیگر) معانی متعددی دارند. به عنوان یک مفهوم، WSD در قلب همان چیزی قرار دارد که درک زبان را دشوار می‌کند. در یک سیستم مدرن، این فرآیند نقشی خاص و ظریف دارد؛ یا به عنوان یک وظیفه مستقل عمل می‌کند و یا به عنوان یک مرحله در خط لوله (Pipeline) پردازش.

مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیارد‌ها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — اکنون این ابهام را در لایه‌های درونی خود حل می‌کند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی معماری مدل‌های زبانی اشاره کردیم، قدرت این سیستم‌ها در تبدیل کلمات به اعداد است تا معنای دقیق‌تر استخراج شود.

درک ابهام لغوی

ابهام لغوی زمانی رخ می‌دهد که یک شکل کلمه، چندین معنای احتمالی داشته باشد. این یک مورد استثنایی یا یک ویژگی عجیب در زبان انگلیسی نیست؛ بلکه یک ویژگی بنیادین از نحوه عملکرد زبان انسان است. کلمات در طول زمان تکامل می‌یابند، از حوزه‌های مختلف قرض گرفته می‌شوند و معانی جدیدی را انباشته می‌کنند. نتیجه این است که دایره لغاتی ایجاد شده که در آن تقریباً هر کلمه پرکاربرد، تا حدی مبهم است.

برای درک مقیاس این مشکل، این مثال‌ها را ببینید:

• Bank: در لغت‌نامه‌های اصلی بیش از ۱۰ معنای متمایز دارد.
• Run: بیش از ۳۰ معنای مختلف دارد.
• Bright: می‌تواند به معنای باهوش، درخشان یا شاد باشد.
• Cold: می‌تواند به دما، بیماری (سرماخوردگی) یا سردی عاطفی اشاره کند.

علاوه بر کلمات تک، ابهام معنایی از ساختار عبارت‌ها نیز می‌آید. این حالت زمانی رخ می‌دهد که ابهام به جای یک کلمه واحد، از ساختار جمله نشأت بگیرد. جمله‌ای مثل «من مرد را با تلسکوپ دیدم» (I saw the man with the telescope) از نظر معنایی مبهم است؛ چون عبارت «با تلسکوپ» می‌تواند هم به عمل دیدن (ابزار دیدن) اشاره کند و هم به مردی که تلسکوپ به دست داشته است. هر دو نوع ابهام در سطح کلمه و در سطح عبارت، تحت چالش گسترده‌تری قرار می‌گیرند که WSD برای حل آن طراحی شده است.

تکامل سیستم‌های رفع ابهام

سیستم‌های سنتی WSD با این مسئله مثل یک مسئله برچسب‌گذاری برخورد می‌کردند. سیستم یک قطعه متن و یک کلمه هدف را می‌گرفت و سپس برچسبی را از یک فهرست ثابت، مانند یک لغت‌نامه یا WordNet، به آن اختصاص می‌داد. WordNet کلمات را در «مجموعه مترادف‌ها» (Synsets) سازماندهی می‌کند تا هر معنا را به صورت جداگانه تعریف کند.

به عنوان مثال، در جمله «جراح روی بیمار عمل کرد»، یک سیستم WSD تشخیص می‌دهد که «عمل کرد» به معنای انجام جراحی است، نه به کار انداختن یک ماشین یا مدیریت یک کسب‌وکار. در مقابل، در جمله «تکنسین جرثقیل را به کار انداخت»، معنای مربوط به ماشین‌آلات انتخاب می‌شود. کلمه یکسانی به کار رفته، اما بسترهای متفاوت منجر به معانی متفاوت می‌شوند.

نکته مهم این است که این چارچوب سنتی فرض می‌کند معنای کلمات را می‌توان به یک فهرست ثابت از معانی گسسته در لغت‌نامه نگاشت کرد. اگرچه این یک انتزاع مهندسی مفید است، اما تنها راه فکر کردن به «معنا» نیست. NLP مدرن اغلب معنا را به جای انتخاب از یک لیست پیش‌فرض، به صورت بردارهای پیوسته در یک فضای با ابعاد بالا نمایش می‌دهد. برخی پژوهشگران، فهرست‌های معنایی لغت‌نامه‌ها را ابزارهایی کاربردی برای وظایف ساختاریافته می‌بینند، نه بازنمایی‌های بنیادین از نحوه عملکرد معنا. هر دو دیدگاه دارای مزایا هستند و درک این تفاوت به شما کمک می‌کند تا رویکرد مناسب را برای یک مسئله خاص انتخاب کنید.

سیستم‌های اولیه بر روش‌های دانش‌بنیان (Knowledge-based) متکی بودند. آن‌ها تعاریف معانی کاندید را با کلمات اطراف مقایسه می‌کردند. اگر جمله‌ای حاوی کلماتی مثل «آب»، «ماهی» و «رودخانه» بود، سیستم امتیاز معنای «ساحل رودخانه» را برای کلمه Bank بالاتر می‌برد، زیرا تعریف آن هم‌پوشانی بیشتری با آن کلمات داشت. این روش تفسیرپذیر بود و نیازی به داده‌های آموزشی نداشت، اما زمانی که بستر متن کم یا غیرمعمول بود، با دشواری مواجه می‌شد.

سپس یادگیری ماشین نظارت‌شده (Supervised ML) وارد شد و WSD را به عنوان یک مسئله طبقه‌بندی (Classification) در نظر گرفت. طبقه‌بندها یاد گرفتند بر اساس نمونه‌های آموزشی برچسب‌گذاری شده، معنای درست را پیش‌بینی کنند؛ به طور خاص آن‌ها به کلماتی که قبل و بعد از کلمه هدف ظاهر می‌شدند نگاه می‌کردند. با این حال، این روش یک گلوگاه ایجاد کرد؛ چون ساخت مجموعه‌داده‌های برچسب‌دار برای WSD بسیار کند و گران است. این کار مستلزم آن است که حاشیه‌نویسان انسانی هر جمله را بخوانند و معنای مورد نظر را به صورت دستی انتخاب کنند.

رویکردهای عصبی با استفاده از بردار معنایی (Contextual Word Embeddings) — مثل کارت معرفی عددی برای هر واژه که می‌گوید این کلمه «همسایه‌ی» چه کلمات دیگری است — بازی را تغییر دادند. مدل‌هایی مثل BERT برای یک کلمه واحد، بسته به بستر آن، بازنمایی‌های برداری متفاوتی تولید می‌کنند. کلمه Bank در بستر مالی، برداری متفاوت از بستر طبیعت می‌گیرد، حتی اگر شکل ظاهری کلمه یکسان باشد. این بدان معناست که رفع ابهام در داخل بازنمایی‌های مدل اتفاق می‌افتد، نه از طریق یک مرحله صریحِ انتخاب معنا. این تغییر کلیدی در NLP مدرن است.

در مدل‌های زبانی بزرگ امروزی، رفع ابهام یک ویژگی نوظهور (Emergent Property) است. وقتی از ChatGPT سوال می‌پرسید، هیچ ماژول مجزایی برای WSD در پس‌زمینه فعال نیست. رفع ابهام مستقیماً در بازنمایی‌های زمینه‌ای مدل که طی پردازش ساخته می‌شوند، ادغام شده است. این قابلیت از آموزش روی مقادیر عظیمی از متن به دست آمده است، به این معنی که مسئله در معماری مدل جذب شده است. مدل‌های ترنسفورمر (Transformer) این کار را به‌طور ضمنی در حین پردازش بستر متن انجام می‌دهند.

نقش معناشناسی لغوی

رفع ابهام بخشی از معناشناسی لغوی (Lexical Semantics) است؛ دانشی که به مطالعه معنای کلمات و نحوه ارتباط آن‌ها با یکدیگر می‌پردازد. این حوزه بررسی می‌کند که کلمات در زبان چگونه ساختار یافته‌اند و چگونه با هم تعامل می‌کنند. معناشناسی لغوی به دنبال این است که بفهمد چرا برخی کلمات متضاد به نظر می‌رسند در حالی که برخی دیگر مانند یک طیف هستند، و اینکه واقعاً چه معنایی دارد که دو کلمه «مترادف» باشند.

معناشناسی لغوی بر چندین رابطه کلیدی تمرکز دارد که اغلب در منابعی مانند WordNet کدگذاری شده‌اند:

• مترادف‌ها (Synonymy): کلماتی که معنای یکسانی دارند.
• متضادها (Antonymy): کلماتی با معانی مخالف (مثل «گرم» و «سرد»).
• رده‌بالا (Hypernymy): یک دسته کلی‌تر (مثلاً «حیوان» رده‌بالای «سگ» است).
• رده‌پایین (Hyponymy): یک دسته جزئی‌تر (مثلاً «سگ» رده‌پایین «حیوان» است).
• طیف‌ها (Scales): کلماتی که یک گرادین یا طیف را نشان می‌دهند (مثلاً «داغ» و «گرم»).

سیستمی که این روابط را بفهمد، فقط یک جست‌وجوی ساده انجام نمی‌دهد، بلکه درباره «محله معنایی» یک کلمه استدلال می‌کند. برای مثال، تشخیص می‌دهد که «عمل کرد» در یک بستر پزشکی، در همان محله معنایی کلماتی مثل «برش»، «جراحی» و «بیمار» قرار دارد. این فرآیند بسیار جالب‌تر از یک جست‌وجوی ساده است زیرا در واقع در حال استدلال درباره معناست.

کجا هنوز به رفع ابهام صریح نیاز داریم؟

با وجود تسلط مدل‌های زبانی، در محیط‌های تخصصی و حساس که بردارهای «جعبه سیاه» کافی نیستند، هنوز به WSD صریح نیاز است. در این موارد، نگاشت معنا به یک فهرست ثابت از معانی گسسته لغت‌نامه، یک انتزاع مهندسی ضروری برای کنترل و حسابرسی (Auditability) است.

• NLP زیست‌پزشکی: کلمه «تخلیه» (discharge) می‌تواند به معنای ترخیص بیمار از بیمارستان، خروج یک مایع یا تخلیه الکتریکی باشد. برای سیستم‌هایی که اطلاعات ساختاریافته را از یادداشت‌های بالینی برای پایگاه‌های داده یا هشدارها استخراج می‌کنند، WSD صریح قابلیت ردیابی لازم برای ایمنی پزشکی را فراهم می‌کند. وقتی یک تصمیم باید قابل توضیح و ردیابی باشد، دانستن اینکه دقیقاً کدام معنا اختصاص یافته و چرا، اهمیت پیدا می‌کند.
• تحلیل حقوقی: اصطلاحاتی مثل «طرف» (party)، «ملاحظه» (consideration) و «اجرا» (execution) دارای معانی فنی حقوقی هستند که تفاوت شدیدی با کاربرد روزمره دارند. NLP حقوقی از WSD استفاده می‌کند تا این شکل‌های ظاهری را به واژگان کنترل‌شده و هستی‌شناسی‌های (Ontologies) حقوقی نگاشت کند.
• ساخت گراف دانش: تبدیل متن بدون ساختار به یک پایگاه‌داده ساختاریافته مستلزم نگاشت ذکرهای موجودیت‌ها و عبارات رابطه‌ای به گره‌های خاص در یک تاکسونومی است. این کار نیازمند یک برچسب گسسته است نه یک بردار با ابعاد بالا، زیرا تعبیهات زمینه‌ای به تنهایی نمی‌توانند یک گره نام‌گذاری شده برای نگاشت هستی‌شناسی ارائه دهند.

از نظر تاریخی، WSD صریح برای ترجمه ماشینی مبتنی بر قانون و آمارهای اولیه حیاتی بود، جایی که ترجمه درست به حل ابتدا معنا بستگی داشت. اگرچه ترجمه ماشینی عصبی مدرن این کار را به‌طور ضمنی از طریق مدل‌سازی زمینه‌ای انجام می‌دهد، اما نیاز به منطق ردیابی‌پذیر، WSD صریح را در حوزه‌های حرفه‌ای زنده نگه داشته است. WSD صریح در جایی بقا می‌یابد که شما به خروجی‌های ساختاریافته، قابل حسابرسی و هم‌راستا با هستی‌شناسی نیاز دارید.

چرخش در هوش مصنوعی عملیاتی

در اکثر سیستم‌های تولیدی — از موتورهای جست‌وجو و طبقه‌بندهای سند گرفته تا دستیارهای مبتنی بر LLM — مرحله مجزای WSD حذف شده و در معماری ترنسفورمر جذب شده است. حل معنای کلمات از طریق بستر متن دیگر یک گزینه نیست، بلکه برای هر سیستمی که متن واقعی را پردازش می‌کند، بنیادین است.

این چرخش به این معنی است که درک WSD دیگر درباره ساختن یک مرحله خاص در خط لوله نیست. در عوض، درباره درک این است که چگونه «بستر» به عنوان محرک اصلی معنا در هوش مصنوعی عمل می‌کند. مشکل ابهام از بین نرفته است؛ بلکه صرفاً در نحوه پردازش زبان توسط مدل‌ها ادغام شده است. WSD صریح که زمانی رویکرد غالب بود، اکنون به یک ابزار تخصصی تبدیل شده است.

مدل‌های زبانی کلمات را در انزوا نمی‌خوانند. آن‌ها رابطه بین توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — را پردازش می‌کنند و بستر را به حیاتی‌ترین عنصر در درک زبان طبیعی مدرن تبدیل می‌کنند. همان‌طور که از ساختار به سمت معنا حرکت می‌کنیم، می‌بینیم که WSD پلی است بین برچسب‌های دستوری و بازنمایی‌های عددی. درک WSD به شما کمک می‌کند بفهمید مدل‌های زبانی واقعاً چه می‌کنند و چرا بستر متن تا این حد اهمیت دارد.

این ما را به گام بعدی در سفر NLP می‌رساند: درک اینکه چگونه آن معنای حل‌شده به صورت اعدادی نمایش داده می‌شود که کامپیوترها واقعاً بتوانند با آن‌ها کار کنند؛ شروع با تکنیک‌های بنیادینی مانند Bag of Words و TF-IDF. این‌ها نقاط شروع برای تقریباً هر سیستم NLP کلاسیکی هستند که تا به حال ساخته شده است.

گام بعدی شما

• بررسی کنید که آیا در پروژه‌های حساس (پزشکی/حقوقی) از مدل‌های زبانی به تنهایی استفاده می‌کنید یا لایه‌ای برای اعتبارسنجی معنایی (Grounding) دارید.
• مطالعه کنید که چگونه می‌توان خروجی‌های مدل‌های زبانی را به گراف‌های دانش (Knowledge Graphs) متصل کرد تا ابهام معنایی به طور صریح کنترل شود.
• با مفاهیم پایه نمایش عددی متن مانند Bag of Words آشنا شوید تا تفاوت مدل‌های کلاسیک و مدرن در درک معنا را درک کنید.

اما داستان تبدیل این معانی به اعداد حتی پیچیده‌تر است — به تحلیل ما درباره‌ی تکنیک‌های TF-IDF و نمایش برداری مراجعه کنید.