دستیابی DeepSeek-R1-8B به امتیاز ۰.۹۱۲ در تحلیل مالی با ترکیب LoRA و NEFTune

اگر برای استخراج داده‌های ساختارمند از گزارش‌های مالی روی مدل‌های حجیم تکیه کرده‌اید، باید بدانید که روش‌های تنظیم دقیقِ بهینه، نتایج به‌مراتب دقیق‌تری ارائه می‌دهند. ترکیب دو تکنیک تخصصی، مدل DeepSeek-R1-8B را به استانداردی جدید در شناسایی موجودیت‌های نام‌گذر (NER) رسانده است.

بر اساس تحلیل فنی منتشر شده در ۱۰ ژوئن ۲۰۲۶، افزودن نویز یکنواخت به بردار معنایی (Embedding) می‌تواند دقت مدل DeepSeek-R1-8B را در تحلیل‌های مالی به امتیاز micro-F1 معادل ۰.۹۱۲ برساند. این پیکربندی خاص به مدل اجازه می‌دهد تا گزارش‌های مالی بدون ساختار را با دقتی بسیار بالاتر از مدل‌های عمومی، به گراف‌های دانش تبدیل کند.

همان‌طور که در تحلیل‌های پیشین ما درباره‌ی بهینه‌سازی مدل‌های زبانی کوچک (SLM) اشاره کردیم، چالش اصلی در حوزه‌های تخصصی، نادیده گرفتن الگوهای دامنه-محور توسط مدل‌های کلی‌گرا است. طبق گزارش arxiv.org، پژوهشگران برای حل این مشکل، مجموعه‌ای شامل ۱۶۹۳ نمونه یادداشت‌گذاری شده را به سه تایی‌های «دستور-ورودی-خروجی» تبدیل کردند تا رفتار استخراج مدل را هدایت کنند.

این مطالعه بر دو سازوکار بهینه‌سازی متکی است:

• تنظیم دقیق (Fine-tuning) با روش LoRA (Low-Rank Adaptation): درج ماتریس‌های سبک‌وزن در لایه‌های ترنسفورمر برای کاهش بار محاسباتی.
• روش NEFTune (Noisy Embedding Fine-Tuning): افزودن نویز یکنواخت به بردارهای معنایی در طول آموزش برای تقویت قدرت تعمیم مدل.

آزمایش‌ها نشان داد در حالی که LoRA به تنهایی به امتیاز ۰.۹۰۱ در هفت نوع موجودیت (شامل شرکت، تاریخ، مکان، مبلغ، شخص، محصول و مقدار) رسید، افزودن NEFTune این رقم را به ۰.۹۱۲ ارتقا داد. این نتیجه به‌طور مداوم برتر از مدل‌های Llama3-8B، Qwen3-8B، Baichuan2-7B، T5 و BERT-Base بود.

برای جامعه‌ی فنی، این یافته‌ها بنچمارک‌های تطبیق دامنه-محور را تغییر می‌دهد. این نتایج ثابت می‌کند که در وظایف استخراجی با دقت بالا، ترکیب تنظیم پارامتر-بهینه و منظم‌سازی از طریق نویز، بسیار حیاتی‌تر از افزایش صرفِ اندازه مدل یا تکیه بر قابلیت‌های استدلالی خام است. این رویکرد به‌طور مؤثری ریسک بیش‌برازش (Overfitting) روی مجموعه‌داده‌های کوچک و تخصصی را کاهش می‌دهد.

گام بعدی شما

• بررسی دسترسی به مجموعه‌داده ۱۶۹۳ نمونه‌ای گزارش‌های مالی برای بازتولید نتایج.
• آزمایش تکنیک تزریق نویز (NEFTune) در سایر دامنه‌های حساس مانند استخراج داده‌های حقوقی یا پزشکی.
• مقایسه هزینه استنتاج (Inference) مدل ۸ میلیارد پارامتری بهینه شده در برابر مدل‌های بزرگ‌تر.

اما تأثیر این متد بر کاهش هزینه‌های سخت‌افزاری حتی تکان‌دهنده‌تر است — به تحلیل ما درباره‌ی استقرار مدل‌های کوانتایز شده مراجعه کنید.