پرش به محتوای اصلی
پرش به محتوای مقاله

معماری توکن‌بندی؛ دلیل شکست گوگل در ساده‌ترین آزمون‌های املایی

·۷ خرداد ۱۴۰۵۲ دقیقه مطالعه
اشتراک‌گذاری

تصور کنید ابزاری که پیچیده‌ترین معادلات کوانتومی را حل می‌کند، در شمارش حروف کلمه «Google» اشتباه کند. این دقیقاً اتفاقی است که در گوگل ای-اوورویوز (Google AI Overviews) می‌افتد.

این خطاها بخشی از مسیر پرحادثه گوگل برای تبدیل جست‌وجو به یک تجربه مبتنی بر هوش مصنوعی زاینده (Generative AI) است. این پیچیدگی در ساختار جست‌وجوی گوگل تنها به مدل‌های زبانی محدود نمی‌شود، بلکه تفاوت‌های بنیادین در منابع مورد استفاده در سیستم‌های مختلف جست‌وجوی این شرکت نیز گزارش شده است. پیش از این، این سیستم توصیه‌های عجیبی مثل «خوردن سنگ» یا «چسب زدن به پیتزا» می‌داد. این تلاش‌ها برای کاهش توهمات مدل، در ادغام داده‌های انجمن‌هایی مانند ردیت برای بهبود دقت پاسخ‌ها به چشم می‌خورد. همان‌طور که در تحلیل قبلی ما درباره‌ی نانو بنانا ۲ (Nano Banana 2) اشاره کردیم، گوگل برای تبدیل شدن به مرکز دنیای جست‌وجو، عجله زیادی دارد.

طبق گزارش‌های منتشر شده در ۲۸ مه ۲۰۲۶، این مدل کلمه «journalism» را به اشتباه «journadism» و «Trump» را «trpump» نوشت. گوگل در بیانیه‌ای اعلام کرد که روی رفع این مشکل کار می‌کند.

چرا هوش مصنوعی گوگل نمی‌تواند گوگل (یا هر چیز دیگری) را املا کند؟

ریشه این مشکل در معماری ترنسفورمر است. مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — متن را به صورت حروف نمی‌خواند. این مدل‌ها از توکن (Token) استفاده می‌کنند؛ یعنی تکه‌های کوچکی از متن — شبیه برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد.

به نقل از متیو گوزدیال، پژوهشگر دانشگاه آلبرتا، مدل کدِ کلمه «the» را می‌بیند، اما حروف T، H و E را به صورت جداگانه نمی‌شناسد. شریدان فوخت از دانشگاه نورت‌ایسترن معتقد است شاید اصلاً «توکن‌بندی کامل» به دلیل ماهیت سیال زبان ممکن نباشد.

این موضوع برای شما یک هشدار جدی است: هرگز دچار «کوری هوش مصنوعی» نشوید. این مدل‌ها پیش‌بینی‌کننده‌های آماری هستند، نه موجوداتی که زبان را می‌فهمند. برای کارهای دقیق، بازبینی انسانی ضروری است.

گام بعدی شما

  • هرگز برای کارهای حساس املایی یا شمارشی روی مدل‌های زبانی تکیه نکنید.
  • برای تست این نقص، از هر مدل زبانی بخواهید تعداد حروف کلمه «strawberry» را بشمارد.
  • منتظر بمانید و ببینید آیا گوگل لایه‌ای برای پردازش در سطح حروف اضافه می‌کند یا خیر.

اما این نقص فنی تنها بخشی از چالش‌های گوگل است؛ برای درک عمیق‌تر معماری این مدل‌ها، تحلیل ما درباره‌ی توکن‌بندی را بخوانید.

چرا این موضوع مهم است؟

این نقص اعتبار گوگل را در ارائه اطلاعات دقیق (Trust) به شدت خدش می‌کند. کاربران باید بدانند که حتی پیشرفته‌ترین مدل‌ها در ساده‌ترین کارهای منطقی ممکن است دچار توهم شوند.

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

موضوع‌ها

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.