اگر برای تحلیل داده‌های جدولی روی مدل‌های زبانی حساب می‌کنید، احتمالاً با نتایجی بسیار ضعیف‌تر از روش‌های ۵۰ سال پیش روبه‌رو هستید. این شکاف عملکردی نه یک اتفاق، بلکه یک نقص ساختاری در مواجهه با ابعاد بالای داده است.
به نقل از مطالعه‌ای که در ۴ اوت ۲۰۲۶ در arxiv.org منتشر شد، مدل‌های زبانی بزرگ (Large Language Models) در تحلیل‌های پیش‌بینانه روی داده‌های جدولی، به‌طور مداوم شکست می‌خورند. این پژوهش به دنبال پاسخ به این پرسش بود که چرا مدل‌های عمومی در کاری که یادگیرنده‌های کلاسیک در آن استاد هستند، ناتوان‌اند. برای یافتن علت، پژوهشگران یک مدل پیشرو را در وضعیت استنتاج (Inference) خالص — یعنی بدون تنظیم دقیق، ابزار یا ساختارهای عامل‌محور — آزمایش کردند.
در پوشش پیشین ما از محدودیت‌های استدلالی مدل‌ها، دیدیم که معماری ترنسفورمر در برخی مسائل ریاضی دچار لغزش می‌شود؛ اما اینجا مسئله با فرمت داده نباشد، بلکه با «ابعاد» است. طبق گزارش مارتا گارنلو، محققان چهار فرضیه رایج از جمله ناتوانی در مدیریت داده‌های نویزی، فرمت خطی CSV، توکن‌سازی عددی و تعداد نقاط آزمون را رد کردند. تنها متغیری که اثر تعیین‌کننده داشت، ابعاد داده بود.
یافته‌های کلیدی آزمایش
- زوال ابعادی: در بررسی ۳۱ مجموعه داده بنچمارک، مدل زبانی تنها روشی بود که با افزایش ابعاد، صحت (Accuracy) پیش‌بینی‌هایش کاهش یافت.
- مقایسه با مدل‌های کلاسیک: تمام مدل‌های پایه کلاسیک در شرایط مشابه، عملکردی ثابت داشتند یا حتی بهبود یافتند.
- پیش‌بینی محلی: در فضای دو بعدی، مدل زبانی مشابه روش‌های محلیِ مبتنی بر فاصله عمل می‌کند (تطابق ۹۱.۶ درصدی با شبکه). این چالش در بازنمایی‌های برداری، یادآور محدودیت‌های مشابهی است که در جست‌وجوهای برداری خالص برای داده‌های صنعتی مشاهده شده است.
- واگرایی در ابعاد بالا: در فضاهای پربعد، هیچ مدل کلاسیکی — حتی با افزودن نویز تنظیم‌شده — نتوانست پیش‌بینی‌های مدل زبانی را بازتولید کند.
این کشف فرضیات فعلی را تغییر می‌دهد؛ چراکه ثابت می‌کند شکست مدل زبانی یک مشکل سطحی در فرمت‌بندی نیست که با مهندسی پرامپت (Prompt Engineering) حل شود. بلکه یک محدودیت معماری بنیادی در پردازش روابط جدولی پربعد است.
پژوهشگران اکنون با این پرسش باز روبه‌رو هستند که مکانیسم داخلی این زوال دقیقاً چگونه است. تا زمانی که مدل‌های بنیادی جدولی بتوانند ثابت کنند این آسیب مقیاس‌پذیری را حل کرده‌اند، متخصصان باید برای وظایف جدولی پربعد به مدل‌های کلاسیک اعتماد کنند. در همین راستا، تلاش‌هایی برای عبور از محدودیت‌های سنتی صورت گرفته است، مانند رویکرد TabFM برای تحلیل داده‌های جدولی بدون نیاز به آموزش که سعی در ساده‌سازی فرآیند تنظیمات دارد.
گام بعدی شما
- برای پروژه‌های پیش‌بینی داده‌های جدولی با ویژگی‌های زیاد (High-dimensional)، از مدل‌های Gradient Boosting یا Random Forest استفاده کنید.
- در صورت استفاده از LLM برای استخراج داده از جداول، نتایج را با یک مدل آماری ساده اعتبارسنجی کنید.
- منتظر ظهور مدل‌های تخصصی Tabular Foundation Models باشید که برای ساختار ماتریسی آموزش دیده‌اند.
اما این محدودیت در داده‌های عددی، در پردازش‌های چندوجهی چگونه عمل می‌کند؟ تحلیل ما درباره‌ی مدل‌های VLM را دنبال کنید.
گفتگو