تکه‌بندی ساختاری در برابر توکن-محور؛ راهکاری برای حفظ معنای متن

تصور کنید یک مشتری طرح پایه (Basic Plan) از پشتیبانی سؤال می‌پرسد و هوش مصنوعی با اطمینان کامل، قوانین استرداد وجه طرح تجاری را به او دیکته می‌کند. این سناریوی خطرناک نتیجه‌ی یک خطای رایج در طراحی سیستم‌های بازیابی است که می‌تواند اعتبار کل محصول شما را زیر سؤال ببرد.

طبق گزارش سرگی آسائل شیندر (Serguey Asael Shinder) در ۱۳ اکتبر ۲۰۲۶، بسیاری از خطاهای استدلالی مدل‌ها ناشی از اسکریپت‌های ساده‌ای است که اسناد را صرفاً بر اساس طول ثابت توکن (Token) — مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — تقسیم می‌کنند. این روش باعث می‌شود عنوان یک بخش از پاراگراف مربوط به آن جدا شود و مدل با داده‌ای «یتیم» و بدون زمینه مواجه شود.

این شکست زمانی رخ می‌دهد که خط لوله‌های تولید بازیابی‌افزا (RAG) — شبیه دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — با متن به عنوان یک جریان خام از توکن‌ها برخورد می‌کنند، نه یک سند ساختاریافته. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، فقدان ساختار در داده‌های ورودی، مستقیماً منجر به توهمات مدل می‌شود. در واقع، پاراگرافی که عنوانش حذف شده باشد، شبیه جدولی است که سرستون‌هایش پاک شده‌اند؛ اعداد باقی می‌مانند اما معنای آن‌ها از بین می‌رود.

به نقل از مستندات فنی شیندر، برای جلوگیری از ایجاد این «یتیم‌های متنی»، توسعه‌دهندگان باید از سه استراتژی حفاظتی استفاده کنند:

• تکه‌بندی ساختاری (Structural Splitting): تقسیم متن بر اساس مرزهای واقعی نویسنده مانند عناوین، آیتم‌های لیست و ردیف‌های جدول.
• آدرس‌دهی سلسله‌مراتبی: افزودن مسیر کامل عناوین (مثلاً: سیاست قیمت‌گذاری > طرح پایه > استرداد وجه) به ابتدای هر قطعه‌ی بردار معنایی (Embedding) — که مثل کارت معرفی عددی برای هر واژه است و همسایگی کلمات را مشخص می‌کند.
• فیلتر کردن متادیتا: ذخیره نوع طرح‌ها به عنوان فیلدهای قابل فیلتر تا بازیاب فقط داده‌های مرتبط با کاربر خاص را ببیند.

این تغییر، فرض بنیادی RAG را دگرگون می‌کند: یک پاراگراف، حقیقتی مستقل نیست، بلکه ترکیبی از یک حقیقت و «مکان» نوشته شدن آن است. وقتی «کجا» را حذف می‌کنید، در واقع حقیقت را حذف کرده‌اید.

گام بعدی شما

• تست‌های هدفمند برای «پرسش‌های واگرا» بنویسید؛ یعنی سؤالاتی که پاسخ آن‌ها در بخش‌های مختلف سند متفاوت است اما از کلمات کلیدی یکسانی استفاده می‌کنند.
• ساختار تکه‌بندی خود را از حالت Fixed-size به حالت Recursive یا ساختاریافته تغییر دهید.
• متادیتای سلسله‌مراتبی را به ایندکس‌های پایگاه‌داده برداری خود اضافه کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.