رمزگشایی از مکانیسم توجه: چرا پرامپت‌های شما گاهی با توهم پاسخ می‌دهند؟

اگر برای اشتراک ChatGPT یا Claude هزینه می‌پردازید، در واقع پول یک موتور پیش‌بینی آماری با سرعت بسیار بالا را می‌دهید. اکثر کاربران با این ابزارها مثل یک جعبه سیاه برخورد می‌کنند، اما تنها راه عبور از پرامپت‌نویسی ساده به مدیریت حرفه‌ای هوش مصنوعی، درک ماشین‌افزار داخلی آن‌هاست. دانستن اینکه چرا کلمات پرامپت اهمیت دارند و چرا مدل‌ها با اطمینان کامل اشتباه می‌کنند، شما را به کاربر بسیار مؤثرتری تبدیل می‌کند.

تا ژوئن ۲۰۲۶، چشم‌انداز مدل‌های زبانی به سمت استدلال چندوجهی و تفکر گسترده تغییر کرده است. ما دیگر فقط با تولیدکننده‌های متن سروکار نداریم، بلکه از سیستم‌هایی استفاده می‌کنیم که مراحل استدلال را برای حل مسائل پیچیده منطقی شبیه‌سازی می‌کنند. با این حال، موتور اصلی همچنان همان معماری ترنسفورمر (Transformer) است که نخستین بار توسط گوگل در سال ۲۰۱۷ در مقاله پژوهشی «Attention Is All You Need» معرفی شد.

موتور اصلی: توکن‌ها و ترنسفورمرها

مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — کلمات را نمی‌خواند، بلکه توکن‌ها را پردازش می‌کند. توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — به‌طور متوسط شامل ۳ تا ۴ نویسه است. برای مثال، کلمه «understanding» اغلب به دو توکن «under» و «standing» تقسیم می‌شود. یک فاصله، یک علامت punctuation یا یک ایموجی نیز می‌تواند هر کدام یک توکن مجزا باشند.

طبق مستندات فنی، این تفکیک به سه دلیل برای بودجه و عملکرد شما حیاتی است:

• پنجره متنی (Context Window) — میزان متنی که مدل هم‌زمان «در ذهن» نگه می‌دارد، شبیه میز کاری که جا برای چند ورق دارد، نه برای کل کتابخانه — بر اساس توکن اندازه‌گیری می‌شود. یک پنجره ۱۲۸ هزار توکنی تقریباً ۹۰ تا ۱۰۰ هزار کلمه را می‌پذیرد.
• قیمت‌گذاری API: دسترسی معمولاً به ازای هر توکن محاسبه می‌شود و ورودی (Input) و خروجی (Output) جداگانه ردیابی و محاسبه می‌شوند.
• تفاوت‌های زبانی: کلمات غیرمعمول، نام‌های خاص یا متون غیرانگلیسی اغلب توکن‌های بیشتری می‌طلبند که هم هزینه را بالا می‌برد و هم عملکرد را تحت تأثیر قرار می‌دهد.

همان‌طور که در تحلیل‌های پیشین ما درباره امنیت مدل‌های بازمتن اشاره کردیم، بهینه‌سازی ورودی‌ها برای کاهش هزینه استنتاج ضروری است. ابزارهایی مثل OpenAI Tokenizer به شما اجازه می‌دهند دقیقاً ببینید متن چگونه تکه‌تکه می‌شود و این برای بهینه‌سازی پرامپت‌ها بسیار مفید است.

در قلب این فرآیند، مکانیزم توجه (Attention Mechanism) قرار دارد. این سازوکار به مدل اجازه می‌دهد به‌جای پردازش متوالی، کل توالی متن را به‌طور هم‌زمان پردازش کند. مدل رابطه بین تمام بخش‌های متن را می‌سنجد تا بفهمد هنگام پیش‌بینی، کدام کلمات بیشترین ارتباط را با هم دارند.

به نقل از گوگل، در جمله‌ای مثل «جام به چمدان نرفت چون خیلی بزرگ بود»، مکانیزم توجه با اختصاص «وزن‌های توجه» بیشتر به کلمه «جام» به‌جای «چمدان»، می‌فهمد که کلمه «آن» (it) به چه چیزی اشاره دارد. این کار از طریق سه مؤلفه مشخص برای هر توکن انجام می‌شود:

• پرس‌وجو (Query): این توکن به دنبال چه چیزی است؟
• کلید (Key): این توکن چه چیزی به دیگران ارائه می‌دهد؟
• مقدار (Value): این توکن در واقع چه اطلاعاتی اضافه می‌کند؟

علاوه بر این، ترنسفورمرها از «توجه چند-سره» (Multi-Head Attention) استفاده می‌کنند. آن‌ها به‌جای یک بار محاسبه توجه، این کار را به‌صورت موازی در چندین «سر» انجام می‌دهند. هر سر یاد می‌گیرد که به روابط متفاوتی مثل نحو (Syntax)، معنا (Semantics) یا ارجاعات (Co-reference) توجه کند. همین پردازش موازی است که وجود GPUهای مدرن و TPUها را برای اجرای بهینه این مدل‌ها ضروری می‌کند.

سه مرحله آموزش مدل

درک فرآیند آموزش، کلید فهم قدرت‌ها و محدودیت‌های LLMها است. رفتار یک مدل در سه مرحله متمایز شکل می‌گیرد:

مرحله اول: پیش‌آموزش (Pre-Training)
در این مرحله، مدل با حجم عظیمی از متون شامل صفحات وب، کتاب‌ها، مقالات دانشگاهی و مخازن کد مواجه می‌شود. هدف آموزشی در اینجا «پیش‌بینی توکن بعدی» است: با داشتن یک توالی، توکن بعدی را پیش‌بینی کن.

• مکانیزم: مدل با پارامترهای تصادفی شروع کرده و از طریق پس‌انتشار (Backpropagation) و کاهش گرادیان (Gradient Descent)، خطای پیش‌بینی را کم می‌کند.
• مقیاس: مدل تریلیون‌ها توکن را در میلیاردها تکرار پردازش می‌کند. پارامترها شامل میلیاردها تا تریلیون‌ها مقدار عددی هستند که الگوهای یادگرفته شده را کدگذاری می‌کنند.
• هزینه: آموزش یک مدل پیشرو (Frontier Model) خیره‌کننده است؛ ده‌ها میلیون دلار هزینه پردازشی دارد و ماه‌ها زمان می‌برد و به هزاران تراشه تخصصی نیاز دارد.

مرحله دوم: تنظیم دقیق نظارت‌شده (SFT)
یک مدل خام پیش‌آموز شده، متنی تولید می‌کند که از نظر آماری محتمل است، اما لزوماً مفید نیست. ممکن است یک سؤال را با یک سؤال دیگر تکمیل کند چون چنین الگویی در داده‌های آموزشی وجود داشته است. تنظیم دقیق (Fine-tuning) — مثل وقتی به یک پزشک عمومی، تخصص پوست می‌دهیم؛ مدل کلی است و روی یک حوزه دقیق می‌شود — از مثال‌های منتخب از گفتگوهای باکیفیت و دستورالعمل‌ها استفاده می‌کند تا به مدل یاد دهد به عنوان یک دستیار مفید رفتار کند. प्रशिक्سان انسانی پاسخ‌های ایده‌آل را می‌نویسند یا رتبه‌بندی می‌کنند و مدل روی این مجموعه داده کوچک‌تر اما باکیفیت‌تر آموزش می‌بیند.

مرحله سوم: یادگیری تقویت‌شده از بازخورد انسانی (RLHF)
این فرآیند تولیدکننده‌های متن را به دستیاران کاربردی تبدیل می‌کند. روند کار به این صورت است:
۱. مدل چندین پاسخ مختلف برای یک پرامپت واحد تولید می‌کند.
۲. ارزیابان انسانی این پاسخ‌ها را بر اساس کیفیت، مفید بودن و ایمنی رتبه‌بندی می‌کنند.
۳. یک «مدل پاداش» (Reward Model) جداگانه آموزش می‌بیند تا ترجیحات انسانی را پیش‌بینی کند.
۴. مدل LLM با استفاده از یادگیری تقویت‌شده برای بیشینه کردن امتیاز مدل پاداش، تنظیم می‌شود.

به همین دلیل است که Claude 3.7 Sonnet محتاط‌تر به نظر می‌رسد یا ChatGPT برخی درخواست‌های خاص را رد می‌کند. RLHF ارزش‌ها و دستورالعمل‌های رفتاری را مستقیماً در وزن‌های مدل کدگذاری می‌کند.

چشم‌انداز مدل‌های ۲۰۲۶

در اواسط ۲۰۲۶، بازار بین غول‌های انحصاری و انعطاف‌پذیری متن‌باز تقسیم شده است. رابطه بین تعداد پارامترها و قابلیت‌ها واقعی است، اما خطی نیست:

• GPT-4o (OpenAI): تخمین زده می‌شود حدود ۲۰۰ میلیارد پارامتر داشته باشد. نقطه قوت اصلی آن استدلال چندوجهی است.
• Claude 3.7 Sonnet (Anthropic): تعداد پارامترها اعلام نشده است. این مدل به دلیل پنجره متنی بلند و ایمنی بالا مورد تحسین است.
• Gemini 2.5 Pro (Google DeepMind): تعداد پارامترها اعلام نشده است. در چندوجهی و کدنویسی برتری دارد.
• Llama 3.3 (Meta): بازه پارامترهای آن از ۷۰ تا ۴۰۵ میلیارد است و انعطاف‌پذیری قابل توجهی در قالب متن‌باز ارائه می‌دهد.
• Mistral Large 2 (Mistral AI): تخمین زده می‌شود حدود ۱۲۳ میلیارد پارامتر داشته باشد و بر کارایی و قابلیت‌های چندزبانه تمرکز دارد.

حقیقت درباره «تفکر»

یک باور غلط رایج این است که LLMها حقایق را از یک پایگاه داده بازیابی می‌کنند. آن‌ها حقایق را آن‌گونه که انسان‌ها می‌فهمند «نمی‌دانند». وقتی یک LLM پاسخ می‌دهد، توالی‌ای از توکن‌ها را تولید می‌کند که هر یک بر اساس توزیع احتمالی روی کل دایره لغاتش انتخاب شده است. مدل متنی تولید می‌کند که از نظر آماری با چیزی که یک پاسخ درست «به نظر می‌رسد» سازگار باشد.

این موضوع سه شکست همیشگی را توضیح می‌دهد:

• توهم (Hallucination) — وقتی مدل با اطمینان چیزی می‌گوید که وجود ندارد، شبیه دوستی که خاطره‌ای را اشتباه تعریف می‌کند — رخ می‌دهد چون هدف مدل «پlausibility» (محتمل بودن) آماری است، نه بازیابی واقعیت.
• خطاهای ریاضی: محاسبات ریاضی نیاز به پردازش دقیق دارد، نه تطبیق الگو. LLMها ماشین‌حساب نیستند.
• تاریخ قطع دانش: مدل فقط آنچه را در داده‌های آموزش دیده می‌شناسد و نمی‌تواند وب را بگردد مگر اینکه ابزار خاصی به آن داده شود.

مدل‌های استدلالی جدیدتر مثل OpenAI o3 و Gemini 2.5 Pro با استفاده از زنجیره تفکر (Chain-of-Thought) — مثل وقتی شاگرد ریاضی پای تخته بلند بلند فکر می‌کند تا به جواب برسد — این مشکل را کاهش می‌دهند. آن‌ها مراحل میانی استدلال را پیش از پاسخ نهایی تولید می‌کنند، در واقع «راه حل را نشان می‌دهند» و این باعث می‌شود خطاها راحت‌تر شناسایی و اصلاح شوند.

استنتاج و کنترل

استفاده از مدل پس از آموزش، استنتاج (Inference) نامیده می‌شود — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، مثل خودِ آشپزی، نه دوره‌ی آموزش آشپز. وقتی دکمه ارسال را می‌زنید، اتفاقات زیر رخ می‌دهد:
۱. متن شما توکن‌بندی می‌شود.
۲. توکن‌ها به بردارهای عددی به نام جایگذاری (Embeddings) تبدیل می‌شوند.
۳. این بردارها از ده‌ها یا صدها لایه ترنسفورمر عبور می‌کنند.
۴. هر لایه عملیات توجه و تبدیل‌ها را اعمال می‌کند.
۵. لایه نهایی یک توزیع احتمالی روی تمام توکن‌های بعدی ممکن ارائه می‌دهد.
۶. یک توکن نمونه‌برداری شده و به توالی اضافه می‌شود و این روند تا رسیدن به شرط توقف تکرار می‌شود.

شما می‌توانید این فرآیند را با تنظیم «دما» (Temperature) کنترل کنید. دمای صفر مدل را قطعی (Deterministic) می‌کند و همیشه محتمل‌ترین توکن را انتخاب می‌کند. دماهای بالاتر، تصادفی بودن و خلاقیت را افزایش می‌دهد، هرچند این کار احتمال بی‌ربط شدن پاسخ را بالا می‌برد.

ابزارهای کاربردی

درک این مکانیسم‌ها به شما کمک می‌کند ابزار درست را برای هر کار انتخاب کنید:

• بهره‌وری عمومی: ChatGPT Plus (GPT-4o) یک دستیار همه‌کاره عالی برای پیش‌نویس و کدنویسی است، هرچند بدون جستجوی وب ممکن است درباره وقایع اخیر توهم بزند. Claude Pro در تحلیل اسناد طولانی و نوشتار ظریف برتری دارد، اما گاردریل‌های ایمنی‌اش ممکن است آن را کمتر منعطف کند.
• توسعه‌دهندگان: OpenAI API استاندارد صنعت برای مستندات است. Together AI دسترسی مقرون‌به‌صرفه‌ای به مدل‌های متن‌باز مثل Llama 3.3 و Mistral برای آزمایش فراهم می‌کند.
• استفاده محلی: Ollama ابزاری رایگان و متن‌باز برای اجرای LLMها روی سخت‌افزار شخصی است. این ابزار برای کاربران حساس به حریم خصوصی ایده‌آل است اما برای بهترین نتایج به یک GPU قدرتمند نیاز دارد.

باورهای غلط رایج

• جستجوی اینترنت: به‌طور پیش‌فرض، LLMها اینترنت را نمی‌گردند؛ آن‌ها از داده‌های آموزشی تولید می‌کنند مگر اینکه مجهز به ابزارهای RAG (تولید تقویت‌شده با بازیابی) باشند.
• اندازه پارامترها: پارامتر بیشتر همیشه به معنای مدل «باهوش‌تر» نیست؛ کیفیت داده‌های آموزشی و RLHF به همان اندازه اهمیت دارند.
• درک انسانی: LLMها الگوهای آماری را مدل می‌کنند؛ اینکه آیا این «درک» محسوب می‌شود یا خیر، یک بحث فلسفی است.
• پنجره‌های متنی: پنجره بزرگ‌تر تضمین‌کننده حافظه کامل نیست. پدیده «گم شدن در میانه» (Lost in the Middle) به این معناست که مدل‌ها ممکن است در متون بسیار طولانی تمرکز خود را از دست بدهند.

چگونه نتایج خود را بهبود ببخشید

چون مدل بر احتمال آماری متکی است، می‌توانید خروجی را با این تاکتیک‌ها بهینه کنید:

• دقیق باشید: زمینه (Context) بیشتر منجر به تخمین‌های احتمالی بهتر می‌شود.
• از پرسوناها استفاده کنید: پرامپت‌های سیستمی، توجه مدل را به سمت یک سبک یا حوزه خاص هدایت می‌کنند.
• منطق گام‌به‌گام: کارهای پیچیده را به مراحل کوچک تقسیم کنید تا از استدلال زنجیره تفکر بهره ببرید.
• ریاضیات را تایید کنید: از ویژگی‌های کدگردان (Code Interpreter) یا ابزارهای اختصاصی برای محاسبات استفاده کنید.
• تاریخ قطع دانش را چک کنید: برای اطلاعات جدید از مدل‌های دارای جستجوی وب استفاده کنید.
• دما را تنظیم کنید: برای حقایق از دمای پایین و برای کارهای خلاقانه از دمای بالا استفاده کنید.

پرسش‌های متداول

آیا LLMها واقعاً می‌فهمند چه می‌گویند؟
این موضوع بین پژوهشگران مورد بحث است. LLMها زبان را با پیچیدگی خیره‌کننده‌ای مدل می‌کنند، اما درک آگاهانه، قصد یا باور ندارند. آن‌ها متنی تولید می‌کنند که از نظر آماری با «درک کردن» سازگار است.

چرا LLMها گاهی چیزها را از خودشان می‌سازند؟
چون هدف آن‌ها تولید متن محتمل از نظر آماری است، نه بازیابی حقایق تایید شده. وقتی مدل با سوالی مواجه می‌شود که سیگنال آموزشی ضعیفی دارد، می‌تواند اطلاعاتی تولید کند که با اطمینان گفته شود اما غلط باشد. این همان توهم است.

تفاوت LLM با موتور جستجو چیست؟
یک موتور جستجو اسناد موجود را بازیابی می‌کند. یک LLM متن جدیدی را بر اساس الگوهای یادگرفته در آموزش تولید می‌کند. برخی ابزارهای مدرن هر دو را از طریق RAG ترکیب می‌کنند تا پاسخ‌ها را بر پایه اسناد واقعی استوار کنند.

آیا LLMها از گفتگوهای ما یاد می‌گیرند؟
نه در زمان استنتاج و به‌صورت آنی. وزن‌های مدل پس از آموزش ثابت هستند. ویژگی‌های «حافظه» که اطلاعات را بین جلسات ذخیره می‌کنند، ویژگی‌های محصول (Product Features) هستند، نه یادگیری خودِ مدل.

تفاوت LLM و چت‌بات چیست؟
یک LLM مدل زیربنایی است (مثل GPT-4o). یک چت‌بات برنامه‌ای است که روی آن ساخته شده و مدیریت تاریخچه گفتگو، فیلترهای ایمنی و رابط کاربری را اضافه می‌کند (مثل ChatGPT).

اگر می‌خواهید خروجی هوش مصنوعی خود را بهبود ببخشید، دست از برخورد با مدل به عنوان یک «انسان» بردارید و با آن به عنوان یک «تکمیل‌کننده الگو» رفتار کنید. دما را متناسب با تکلیف تنظیم کنید، تمام ریاضیات را تایید کنید و همیشه تاریخ قطع دانش را پیش از اعتماد به یک ادعای واقعی چک کنید.

گام بعدی شما

• برای کاهش توهمات، از تکنیک «زنجیره تفکر» استفاده کنید و از مدل بخواهید ابتدا مراحل استدلال را بنویسد و سپس پاسخ نهایی را بدهد.
• اگر با اسناد طولانی کار می‌کنید، مدل‌های خانواده Claude را به دلیل مدیریت بهتر پنجره متنی امتحان کنید.
• برای پروژه‌های حساس به حریم خصوصی، محیط Ollama را روی سیستم خود راه‌اندازی کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.