چرا برای ساخت مدل‌های دقیق‌تر، باید کمتر کد بنویسیم؟

اگر هنوز از مدل‌های زبانی می‌خواهید کدهای کامل معماری را از صفر بنویسند، در حال سوزاندن بودجه‌ی محاسباتی خود هستید. تصور کنید بتوانید با حذف ۸۵٪ از کدهای تکراری، به نتایجی بسیار دقیق‌تر و بدون خطای کدنویسی برسید.

به نقل از مقاله‌ای که در ۷ می ۲۰۲۶ در arxiv.org منتشر شد، خط لوله‌ی جدیدی به نام تولید کد دلتا (Delta-Code Generation) معرفی شده است. در این روش، مدل‌های زبانی بزرگ (Large Language Models) به‌جای سنتز کامل مدل، تغییرات فشرده‌ای را برای بهینه‌سازی معماری‌های پایه پیشنهاد می‌دهند. این چرخش از «نویسندگی» به «ویرایشگری»، احتمال بروز توهمات کدنویسی را به شدت کاهش می‌دهد.

بر اساس مستندات این پژوهش، سه مدل کلاس ۷ میلیارد پارامتری شامل DeepSeek-Coder-7B، Qwen2.5-Coder-7B و Mistral-7B روی ۶ مجموعه‌داده مختلف از جمله CIFAR-10 و MNIST آزمایش شدند. نتایج به‌دست‌آمده تکان‌دهنده است:

• DeepSeek-Coder: نرخ اعتبار کدها را از ۵۰.۶٪ به ۷۵.۳٪ و دقت اپوک اول را از ۴۲.۳٪ به ۶۵.۸٪ رساند.
• Mistral-7B: در مجموعه‌داده CIFAR-10 به دقت ۸۵.۵٪ دست یافت، در حالی که روش تولید کامل تنها ۶۳.۹۸٪ دقت داشت.
• بهره‌وری: طول خروجی‌ها از ۲۰۰ خط کد به تنها ۳۰ تا ۵۰ خط کاهش یافت (کاهش ۷۵ تا ۸۵ درصدی).

همان‌طور که در تحلیل قبلی ما درباره‌ی توانایی AI در پیش‌بینی ترکیب‌های تکنولوژیک اشاره کردیم، این تحقیق گامی عملی برای تبدیل پیش‌بینی‌های مفهومی به مهندسی دقیق است. این سیستم با استفاده از تنظیم دقیق (Fine-tuning) روش LoRA روی مجموعه‌داده LEMUR و فیلترگذاری MinHash-Jaccard، تنوع ساختاری را بدون فدا کردن کارایی تضمین می‌کند.

این رویکرد ثابت می‌کند که در جستجوی معماری عصبی (Neural Architecture Search - NAS)، مدل‌های زبانی به‌عنوان «ویراستار» بسیار موفق‌تر از «نویسنده» عمل می‌کنند. با حرکت صنعت به سمت پژوهشگران خودکار AI، احتمالاً تولید کامل کد برای بهینه‌سازی مدل‌ها به‌زودی منسوخ خواهد شد.

اما این بهینه‌سازی تنها بخشی از پازل است؛ تأثیر این رویکرد بر کاهش هزینه‌های استنتاج (Inference) را در گزارش بعدی بررسی خواهیم کرد.

گام بعدی شما

• در پرامپت‌های خود به‌جای درخواست «بازنویسی کد»، از مدل بخواهید تنها «تغییرات لازم برای بهبود X» (Diffs) را ارائه دهد.
• اگر روی NAS کار می‌کنید، مجموعه‌داده LEMUR را برای تنظیم دقیق مدل‌های کوچک‌تر بررسی کنید.
• استفاده از فیلترهای شباهت مانند MinHash را برای حذف کدهای تکراری در پایگاه داده‌های خود به کار ببرید.