تصور کنید یک سیستم بازیابی اطلاعات که تا دیروز عالی کار می‌کرد، ناگهان بدون هیچ خطای نرم‌افزاری، تبدیل به یک تولیدکننده اعداد تصادفی شود. یک حسابرسی فنی در ۲۷ سپتامبر ۲۰۲۶ توسط FreeModel نشان می‌دهد که جایگزینی خاموش یک مدل بردار معنایی پشت یک نام مستعار (Alias)، می‌تواند کل پایگاه داده شما را عملاً بی‌فایده کند. این گزارش فاش می‌کند مدل‌هایی با ابعاد خروجی یکسان، اغلب در فضاهای مختصاتی کاملاً متفاوتی قرار دارند؛ به این معنا که بردارهای تولید شده توسط مدل A را نمی‌توان با بردارهای مدل B مقایسه کرد.
بسیاری از توسعه‌دهندگان تصور می‌کنند اگر دو مدل هر دو خروجی ۱۰۲۴-بعدی تولید کنند، با هم سازگار یا حداقل قابل مقایسه هستند. اما در واقعیت، این مدل‌ها اغلب «متعامد» هستند. بردار معنایی (Embedding) — شبیه کارت معرفی عددی برای هر واژه که می‌گوید این کلمه «همسایه‌ی» چه کلمات دیگری است — در هر مدل در یک فضای مختصاتی کاملاً متفاوت تعریف می‌شود. این وضعیت مثل دو نقشه از یک شهر است که یکی از مختصات GPS استفاده می‌کند و دیگری از یک شبکه تصادفی که از گوشه یک خیابان تصادفی شروع شده است؛ اعداد شبیه به هم هستند، اما مکان‌ها هیچ ارتباطی به هم ندارند.
همان‌طور که در تحلیل‌های پیشین ما درباره‌ی امنیت و پایداری مدل‌های بازمتن اشاره کردیم، وابستگی به لایه‌های انتزاعی بدون نظارت دقیق، می‌تواند منجر به شکست‌های سیستمی غیرقابل ردیابی شود. این چالش‌ها در مقیاس تولیدی، مشابه موانعی است که در استراتژی‌های طبقه‌بندی قصد کاربر برای بهینه‌سازی توکن‌ها مشاهده می‌شود، جایی که رویکردهای کلی در مقیاس بالا شکست می‌خورند.
اندازه‌گیری شکاف ریاضی
به نقل از گزارش FreeModel، آزمایش سه مدل مختلف با ابعاد ۱۰۲۴ روی یک جمله واحد، امتیازات شباهت کسینوسی (Cosine Similarity) را تا سطح ۰.۰۰۳ کاهش داد. جزئیات این مقایسه‌ها به شرح زیر است:
- مدل A در برابر B: ۰.۰۰۳
- مدل A در برابر C: ۰.۰۱۰
- مدل B در برابر C: ۰.۰۰۶
این نتایج عملاً صفر هستند. این داده‌ها تایید می‌کنند که مدل‌ها نه تنها در کیفیت متفاوت‌اند، بلکه به زبان‌های ریاضی کاملاً متفاوتی صحبت می‌کنند. آن‌ها فضاهای متعامدی هستند که اتفاقاً تعداد ابعاد یکسانی دارند و همین موضوع یک تله فنی ایجاد می‌کند.
بازتولید شکاف فضای برداری
برای اثبات این ادعا، تیم حسابرسی از یک اسکریپت پایتون با استفاده از numpy و کلاینت OpenAI استفاده کرد. آن‌ها جمله «the quick brown fox jumps over the lazy dog» را به سه نقطه اتصال (Endpoint) مختلف فرستادند و شباهت کسینوسی بین بردارهای خروجی را محاسبه کردند.
در این فرآیند دو بررسی حیاتی برای اطمینان از صحت آزمایش (Sanity Checks) انجام شد: اول، تایید اینکه تمام مدل‌ها شکل بردار (Vector Shape) یکسانی را برمی‌گردانند؛ دوم، تایید اینکه یک مدل وقتی یک جمله را دو بار پردازش می‌کند، شباهت ۱.۰۰۰ (تطابق کامل) را نشان دهد. وقتی شباهت داخلی کامل است اما شباهت بین‌مدلی نزدیک به صفر است، ثابت می‌شود که بردارها فقط با هم‌نوعان خود قابل مقایسه هستند و هرگونه جابجایی مدل، معنای داده‌ها را نابود می‌کند.
مکانیسم شکست خاموش
وقتی سیستمی اسناد را با یک مدل ایندکس می‌کند و با مدل دیگری جست‌وجو می‌کند، اتفاقات زیر رخ می‌دهد:
- عدم وجود خطای API: درخواست با وضعیت 200 OK بازمی‌گردد چون طول بردار و ساختار JSON یکسان است. فیلد مدل نیز همان چیزی را نشان می‌دهد که شما درخواست کرده‌اید. برای مدیریت چنین خروجی‌های ساختاریافته‌ای، برخی تیم‌ها از پشته‌های چهارلایه برای حذف خطاهای JSON استفاده می‌کنند تا پایداری سیستم را افزایش دهند.
- نبود هشدار عملکرد: سیستم کرش نمی‌کند؛ بلکه صرفاً نزدیک‌ترین همسایه را در یک فضای بی‌معنی پیدا می‌کند. اگر لاگ‌ها را بررسی کنید، همه چیز عادی به نظر می‌رسد.
- نتایج تصادفی: نتایج جست‌وجو به نویزی تبدیل می‌شوند که فقط «شکل درستی» دارد. این وضعیت اغلب شبیه به یک «افت کیفیت جزئی» به نظر می‌رسد، نه یک شکست کامل سیستمی.
این وضعیت یک حلقه بازخورد خطرناک می‌سازد. مهندسان ممکن است هفته‌ها وقت صرف افزودن لایه‌های بازرتبه‌بندی (Reranking) یا تنظیم پارامترهای top_k کنند تا «مشکلات مربوطه» را حل کنند، در حالی که اصلاً نمی‌دانند ایندکس و پرس‌وجوهایشان از اساس ناسازگار هستند.
حفاظ‌های مهندسی
برای جلوگیری از این فاجعه، زیرساخت FreeModel یک سیاست مسیریابی سخت‌گیرانه را اجرا می‌کند. اکثر لایه‌های مسیریابی، یک مدل شکست‌خورده را به عنوان یک درخواست ناموفق تلقی کرده و روی کاندید بعدی تلاش می‌کنند. برای چت، این موضوع پذیرفتنی است زیرا یک مدل متفاوت همچنان می‌تواند به سوال پاسخ دهد. اما برای بردارهای معنایی، تعداد کاندیداهای مجاز پشت یک نام مستعار باید دقیقاً «یک» باشد.
در نتیجه، مسیر auto/embed فقط به یک مدل ختم می‌شود و هرگز تغییر نمی‌کند (Rotate نمی‌شود). اگر آن مدل در دسترس نباشد، درخواست با خطا مواجه می‌شود و این موضوع را اعلام می‌کند. در اینجا «شکست بلند و واضح» تنها رفتار مفید است، زیرا جایگزین آن، تخریب خاموش ایندکسی است که ساختنش ماه‌ها زمان برده است.
تغییر مدل بردار معنایی به عنوان یک «تغییر شکست‌دهنده» (Breaking Change) تلقی می‌شود، نه یک ارتقا. این کار مستلزم ایجاد یک نام مستعار جدید (مثلاً انتقال از auto/embed به auto/embed-v2) است تا بازسازی کامل ایندکس اجباری شود. نام مستعار قدیمی همچنان فعال می‌ماند تا کاربران بتوانند در زمان مناسب و پس از بازسازی ایندکس، مهاجرت کنند.
منطق مسیریابی و مدیریت خطاها
این سامانه برای حفظ یکپارچگی داده‌ها، بین انواع شکست‌های بالادستی تفاوت قائل می‌شود:
- شکست‌های قابل تکرار (Retirable): خطاهای 404 یا 410 از سمت بالادستی باعث انتقال به کاندید بعدی می‌شوند، زیرا شکست خوردن یک مدل بازنشسته بدتر از سقوط کل سیستم است.
- شکست‌های غیرقابل تکرار (Non-Retirable): خطای Timeout، محدودیت نرخ (Rate Limit) یا خطاهای 5xx باعث تعویض مدل نمی‌شوند. این‌ها مشکلات گذرا هستند؛ تعویض مدل در این لحظه به جای اصلاح درخواست، باعث تغییر ماهیت داده‌ها می‌شود.
حسابرسی استک فنی شما
برای کسانی که قصد دارند استک فنی خود را حسابرسی کنند، این گزارش سه بررسی فوری را به ترتیب پیشنهاد می‌دهد:
۱. تست کسینوسی را اجرا کنید: هر جفت مدلی را که احتمال ترکیبشان هست تست کنید؛ اگر شباهت هر جفت نزدیک به صفر بود، آن‌ها به هیچ وجه جایگزین هم نیستند.
۲. نام مدل را ذخیره کنید: نام دقیق مدل را در کنار هر بردار در پایگاه‌داده ذخیره کنید. وقتی نام موجود در ایندکس با نام مدلی که پرس‌وجوها را پاسخ می‌دهد مطابقت ندارد، مشکل را فوراً شناسایی می‌کنید.
۳. رد کردن Fallbackهای گروهی: هر لایه مسیریابی که در صورت شکست مدل، حالت «امتحان کردن مدل دیگر» را برای بردارهای معنایی و بازرتبه‌بندی (Reranking) دارد، فوراً رد کنید.
این ریسک فراتر از بردارهای معنایی است و هر مدلی را که خروجی آن یک ترتیب نسبی یا یک سبک خاص است در بر می‌گیرد. بازرتبه‌بندی دقیقاً همین ساختار را دارد؛ اگر مدل را تعویض کنید، همان پرس‌وجو بدون هیچ خطایی ترتیب متفاوتی را برمی‌گرداند. تبدیل متن به گفتار (TTS) نیز همین‌طور است؛ تعویض مدل در میانه یک مجموعه، باعث تغییر صدای گوینده می‌شود. در هر مورد، اگر یک تعویض خاموش مانع از یافتن خطا شود، نام مستعار (Alias) نباید جابجا شود.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو