مدل Causilo رتبهٔ نخست مدل‌های تک‌ساختاری در محک TabArena را کسب کرد

دوران آموزش مدل‌های مجزا برای هر مجموعه دادهٔ جدولی رو به پایان است. Causilo، مدل بنیادی جدید شرکت Nums AI، توانست بالاترین رتبهٔ Elo را در میان مدل‌های تک‌ساختاری در محک TabArena برای هر دو وظیفهٔ طبقه‌بندی (Classification) و رگرسیون (Regression) به دست آورد.

داده‌های جدولی — همان ردیف‌ها و ستون‌های ساختاریافته در صفحات گسترده — همواره در برابر رویکرد «مدل بنیادی» که تحول بزرگی در پردازش زبان طبیعی ایجاد کرد، مقاوم بوده‌اند. در حالی که یادگیری ماشین سنتی برای هر مجموعه داده جدید به آموزش یک مدل مجزا نیاز دارد، مدل‌های مبتنی بر یادگیری در بستر متن (In-context Learning یا ICL) تلاش می‌کنند با مشاهدهٔ چند نمونه در یک گذر پیشرو (Forward Pass)، نتایج را پیش‌بینی کنند. Causilo اکنون در میدانی رقابتی در برابر TabFM گوگل، EXAONE Tabular شرکت LG و TabPFN-3 (که رتبه Elo کلی ۱۶۳۶.۲ را در اختیار دارد) قرار گرفته است.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی مدل‌های بنیادی و تعمیم‌پذیری آن‌ها اشاره کردیم، هدف نهایی رسیدن به مدل‌هایی است که بدون آموزش مجدد، روی داده‌های ناشناخته عمل کنند.

زمینه و استقرار

طبق مستندات منتشر شده، Causilo برای ارزیابی و پژوهش فوری روی CUDA یا CPU طراحی شده است. این مدل یک رابط کاربری مشابه scikit-learn را فراهم می‌کند و کد آن تحت مجوز Apache-2.0 منتشر شده است. همچنین وزن‌های پیش‌آموزش‌دیده در Hugging Face در دسترس هستند. با این حال، استفاده‌های تجاری، استقرار در محیط‌های تولیدی (Production) و استفاده از APIهای میزبانی‌شده نیازمند دریافت مجوز جداگانه از شرکت Nums AI است.

متدولوژی آموزش

بر اساس گزارش فنی marktechpost.com، یک نکته کلیدی در توسعهٔ این مدل، پیش‌آموزش (Pretraining) آن است. Nums AI این مدل را منحصراً روی داده‌های مصنوعی (Synthetic Data) آموزش داده است. نکته حائز اهمیت این است که در این مرحله، از هیچ‌یک از مجموعه‌داده‌های TabArena استفاده نشده است؛ موضوعی که نشان‌دهندهٔ ظرفیت بالای مدل در تعمیم‌پذیری به داده‌های ساختاریافتهٔ دیده‌نشده است. این رویکرد در بهینه‌سازی چرخه حیات مدل‌ها مشابه است با آنچه در مدل‌های K2 Horizon برای باز کردن چرخه کامل آموزش مدل‌های عامل‌محور شاهد بودیم.

معماری Causilo از سه مرحله مجزا تشکیل شده است: پالایش (Refinement)، فشرده‌سازی (Compression) و یادگیری در بستر متن (In-context Learning). این مدل ویژگی‌ها را در گروه‌های سه‌تایی پردازش کرده و مقادیر را با استفاده از ۱۶ فرکانس سینوسی و کسینوسی یادگرفته‌شده به بردار معنایی (Embedding) تبدیل می‌کند. مقادیر گم‌شده (Missing Values) نیز از طریق یک بردار یادگرفته‌شدهٔ اختصاصی مدیریت می‌شوند.

جزئیات فنی

مشخصات فنی مدل عبارتند از:

• مقیاس‌پذیری خطی: این مدل به‌جای خودتوجهی کامل (Full Self-attention)، از توجه متقاطع (Cross-attention) از طریق چهار توکن نهفته (Latent Tokens) در مرحلهٔ ردیف استفاده می‌کند. این رویکرد باعث می‌شود هزینه‌های محاسباتی نسبت به تعداد ویژگی‌ها در سطح خطی باقی بماند.
• فشرده‌سازی: یک بلوک pooling هر ردیف را به یک بردار ۵۱۲-بعدی ثابت تبدیل می‌کند. این فرآیند پس از دو مرحلهٔ ستونی رخ می‌دهد که در آن ۱۲۸ جایگاه نهفته (Latent Slots)، ردیف‌های آموزشی را خلاصه می‌کنند.
• منطق مجموعه‌ای (Ensemble): به‌صورت پیش‌فرض، هشت عضو مجموعه وزن‌ها را به اشتراک می‌گذارند اما روش‌های نرمال‌سازی متفاوتی را اجرا می‌کنند (شامل: بدون نرمال‌سازی، rank2gaussian، robust یا power) که با جایگشت‌های Seed شده برای ویژگی‌ها و کلاس‌ها همراه است.
• پشتیبانی از ورودی: پذیرش آرایه‌های NumPy یا DataFrameهای pandas و مدیریت بومی ویژگی‌های دسته‌ای (Categorical) و مقادیر گم‌شده. در بخش طبقه‌بندی، مدل از حداکثر ۱۰ کلاس پشتیبانی می‌کند.
• بلوک پیش‌بینی: یک بلوک ۱۲-لایه اجازه می‌دهد ردیف‌های پرس‌وجو (Query Rows) بدون تغییر در زمینهٔ آموزش یا تأثیر بر یکدیگر، به ردیف‌های برچسب‌دار توجه کنند.

در خط لولهٔ TabArena که ۵۱ مجموعه داده و ۸۱۶ تفکیک کامل را با استفاده از ۸ تخمین‌گر و Seed 42 شامل می‌شود، Causilo به امتیاز Elo کلی ۱۷۹۲.۹ رسید و از TabFM (۱۷۶۴.۴) و EXAONE Tabular (۱۷۵۸.۸) پیشی گرفت. در بخش رگرسیون، برتری این مدل با امتیاز ۲۰۳۲.۶ در برابر ۱۹۹۲.۸ TabFM مشهودتر است.

البته باید اشاره کرد که وقتی مجموعه‌های سیستمی (System Ensembles) لحاظ شوند، در اجرای مجدد توسط متولی، Causilo در رتبهٔ سوم از ۸۸ مدل قرار گرفت. در حالی که Causilo در قابلیت بهبود رگرسیون پیشتاز است، TabFM همچنان در مجموع و در قابلیت بهبود طبقه‌بندی برتری دارد.

ScoringBench و کارایی

علاوه بر TabArena، Nums AI نسخه ۱.۰.۱ را در ScoringBench روی ۱۰۱ مجموعه داده (هر کدام با ۵ Fold و سقف ۳۰۰۰ نمونه) آزمایش کرد. این مدل در معیارهای CRPS، R² و RMSE رتبهٔ اول را کسب کرد که نتایج آن به‌طور مستقل توسط متولی ScoringBench تأیید شده است.

کارایی مدل نیز فراتر از دقت، در بحث سرعت قابل توجه است. در آزمایش‌های انجام شده روی یک واحد پردازش گرافیکی (GPU) مدل H100 با ۸۰ گیگابایت حافظه و ۸ هسته CPU، زمان برازش (Fit) برای هر ۱۰۰۰ ردیف ۲.۵۰۴ ثانیه و زمان پیش‌بینی ۰.۲۵۱ ثانیه ثبت شد، در حالی که ۱۸.۱۵ گیگابایت از حافظه GPU اشغال شد. این سرعت در هر دو مرحله بیشتر از TabICLv2 و TabPFN-3 است، هرچند TabPFN-3 از نظر مصرف حافظه بهینه‌تر باقی مانده است. این تمرکز بر کاهش زمان استنتاج، یادآور بهینه‌سازی‌های اخیر در مدل‌های K2 Horizon است که سرعت استنتاج را تا ۳ برابر افزایش داد. کاربران می‌توانند با فعال کردن use_kv_cache=True محاسبات زمینه را به مرحلهٔ Fit منتقل کنند تا سرعت پیش‌بینی‌های مکرر افزایش یابد.

برای متخصصان، این مدل از طریق رابط scikit-learn در دسترس است. نسخه ۱.۰.۱ خروجی‌های چندک (Quantile) را بر اساس ۹۹۹ چندک بومی معرفی کرده که امکان تعیین بازه‌های رگرسیون (Regression Intervals) را فراهم می‌کند. در حالی که کد تحت Apache-2.0 است، وزن‌های پیش‌آموزش‌دیده محدود به پژوهش و ارزیابی هستند و استفاده تجاری نیازمند لایسنس Nums AI است.

چرخش به سمت پیش‌آموزش منحصراً با داده‌های مصنوعی نشان می‌دهد که شکاف تعمیم‌پذیری در هوش مصنوعی جدولی در حال بسته شدن است. Nums AI با تبدیل ردیف‌های جدولی به «زمینه» به‌جای «دادهٔ آموزشی»، این حوزه را به سمت واقعیت Zero-shot (پیش‌بینی بدون نمونه) سوق می‌دهد.

اگر این روند ادامه یابد، نیاز به مهندسی ویژگی‌های دستی و آموزش مدل برای هر مجموعه داده کاهش می‌یابد؛ درست مشابه گذار از تنظیم دقیق مدل‌های BERT به پرامپت‌نویسی در مدل‌های GPT. با این حال، محدودیت‌های لایسنس تجاری وزن‌ها ممکن است مانع از پذیرش سریع آن در محیط‌های عملیاتی شود.

توسعه‌دهندگان در حال حاضر می‌توانند مدل را از طریق Demo Space در Hugging Face تست کنند یا آن را از طریق pip نصب کرده تا ارزیابی‌های محلی را روی CUDA یا CPU اجرا نمایند.

گام بعدی شما

• مدل را از طریق Demo Space در Hugging Face تست کنید تا سرعت استنتاج آن را روی داده‌های خود بسنجید.
• اگر با داده‌های جدولی حجیم کار می‌کنید، قابلیت use_kv_cache را برای بهینه‌سازی زمان پیش‌بینی فعال کنید.
• مستندات لایسنس Nums AI را برای بررسی امکان استفاده در پروژه‌های تجاری مطالعه کنید.

اما تأثیر این مدل‌ها بر کاهش نیاز به مهندسی ویژگی‌های سنتی حتی عمیق‌تر است — به تحلیل ما درباره‌ی آیندهٔ AutoML مراجعه کنید.