بنچمارک JSON: مدل Liquid LFM 2.5 قابل‌اعتمادتر از Nemotron شد

اگر اپلیکیشنی می‌سازید که به خروجی‌های دقیق برای اتصال به دیتابیس نیاز دارد، سرعتِ پاسخ‌دهی مدل دیگر تنها معیار موفقیت نیست. یک پاسخ سریع که ساختار فنی آن خراب باشد، در عمل هیچ ارزشی ندارد و کل سیستم شما را متوقف می‌کند.

این چالش زمانی رخ می‌دهد که مدل‌های هوش مصنوعی زاینده (Generative AI) — شبیه به دستیاری که سریع حرف می‌زند اما گاهی دستورالعمل‌های اداری را نادیده می‌گیرد — باید خروجی‌هایی با فرمت سخت‌گیرانه تولید کنند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی پایداری مدل‌های کوچک اشاره کردیم، توازن میان اندازه مدل و دقت خروجی، کلید استقرار در محیط عملیاتی است.

طبق گزارشی که در ۱۰ اکتبر ۲۰۲۶ منتشر شد، مدل Liquid LFM 2.5 2.6B در یک محک مخصوص تولید برنامه‌های ماجراجویی فضای باز، نرخ موفقیت ۱۰۰ درصدی در تولید JSON (یک فرمت استاندارد برای تبادل داده) به دست آورد. این رویکرد در کاربردهای عملی، مشابه آنچه در پروژه TrailEcho برای انتقال هوش مصنوعی به روی دستگاه در محیط‌های طبیعت مشاهده شد، اهمیت ویژه‌ای دارد تا سیستم‌ها بدون وابستگی به ابر و با دقت بالا عمل کنند. این آزمایش که توسط OpenRouter روی ۳۰ سناریوی مختلف اجرا شد، تفاوت فاحشی را میان مدل‌ها نشان داد:

• Liquid LFM 2.5 2.6B: موفقیت ۱۰۰٪ در تولید JSON معتبر با میانگین تأخیر (Latency) ۱۳.۵۷ ثانیه.
• NVIDIA Nemotron 3.5 Lightning: موفقیت ۳۳.۳٪؛ بسیاری از پاسخ‌ها به دلیل محدودیت خروجی ناقص بودند و تأخیر ۴۱.۳۷ ثانیه داشتند.
• Apodex 1.1 Mini: موفقیت ۰٪؛ با وجود سریع‌ترین بودن (۶.۳۶ ثانیه)، هیچ خروجی معتبری تولید نکرد.

به نقل از گزارش dev.to، این داده‌ها این فرض را می‌شکنند که مدل‌های سریع‌تر یا مدل‌هایی با برند «Lightning»، لزوماً برای کارهای ساختاریافته بهتر هستند. برای یک توسعه‌دهنده، انتخاب مدل صرفاً بر اساس جدول‌های سرعت می‌تواند منجر به کرش‌های سیستماتیک در اپلیکیشن شود، زیرا مدل نمی‌تواند به طور مداوم از یک طرحواره (Schema) پیروی کند.

اگرچه این مطالعه در مقیاس کوچکی انجام شده، اما یک خط مبنا برای ارزیابی «قابلیت اطمینان خروجی ساختاریافته» ایجاد کرد. گام‌های بعدی این پژوهش شامل ارزیابی انسانی برای بررسی کیفیت محتوا، دسترسی‌پذیری و تنوع پاسخ‌ها خواهد بود تا مشخص شود آیا برتری ساختاری Liquid به کیفیت محتوایی نیز تبدیل می‌شود یا خیر.

گام بعدی شما

• اگر از مدل‌های سریع برای تولید JSON استفاده می‌کنید، نرخ خطای پارس (Parse Error) خود را اندازه‌گیری کنید.
• مدل‌های کوچک‌تر اما دقیق‌تر مانند LFM را برای بخش‌های حساس Backend تست کنید.
• برای کاهش خطای ساختاری، از تکنیک‌های اعتبارسنجی خروجی در لایه کدنویسی استفاده کنید.

اما تأثیر این دقت ساختاری بر کاهش هزینه‌های پردازشی در مقیاس بالا حتی جذاب‌تر است — به تحلیل ما درباره‌ی بهینه‌سازی هزینه استنتاج مراجعه کنید.