اگر برای هر تصمیم ساده در اپلیکیشن خود، چند ثانیه منتظر پاسخ GPT-4o می‌مانید، احتمالاً در حال هدر دادن منابع و زمان کاربرانتان هستید. شرکت Laya AI در ۲۷ سپتامبر ۲۰۲۶ راهکاری را معرفی کرد که تأخیر استنتاج را به زیر ۳۵ میلی‌ثانیه می‌رساند.
بسیاری از توسعه‌دهندگان در حال حاضر از مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — برای کارهای ساده‌ای مثل تشخیص اسپم یا مسیریابی تیکت‌های پشتیبانی استفاده می‌کنند. طبق گزارش‌های فنی، این رویکرد باعث ایجاد گلوگاهی می‌شود که کاربر باید بین ۱,۵۰۰ تا ۳,۵۰۰ میلی‌ثانیه منتظر بماند. همان‌طور که در تحلیل قبلی ما درباره‌ی اثر قالب‌های چت بر خروجی‌های مدل‌ها اشاره کردیم، مدل‌های مولد اغلب با «پرگوهی» یا توهمات متنی همراه هستند که برای یک تصمیم بله/خیر، کاملاً زائد است. این چالش‌ها در مقیاس سازمانی، نیاز به استراتژی‌های دقیق‌تری برای مدیریت بافتار (Context) را ایجاد کرده است که رهبران مهندسی برای بهینه‌سازی GenAIOps به آن پرداخته‌اند.
به نقل از مستندات فنی Laya، این سیستم برخلاف هوش مصنوعی زاینده (Generative AI)، از یک رمزگذار دوطرفه با ۳۲۲ میلیون پارامتر به نام mmBERT استفاده می‌کند. این مدل به جای تولید متن توکن‌به‌توکن — یعنی تکه‌های کوچکی از متن شبیه برش‌های یک کیک — ورودی‌ها را به بردار معنایی (Embedding) تبدیل می‌کند؛ مثل کارت معرفی عددی برای هر واژه که می‌گوید این کلمه همسایه‌ی چه کلمات دیگری است. در نتیجه، احتمال تصمیم نهایی در یک گذر ریاضی سریع در حافظه RAM محاسبه می‌شود.
بر اساس گزارش منتشر شده در dev.to، این API دارای شش نقطه اتصال تخصصی است:
- /v1/triage: دسته‌بندی تیکت‌های پشتیبانی بر اساس دپارتمان و فوریت.
- /v1/guard: شناسایی تزریق پرامپت (Prompt Injection) در کمتر از ۳۰ میلی‌ثانیه.
- /v1/filter/spam: طبقه‌بندی با دقت بالا برای شناسایی فیشینگ.
- /v1/sentiment: ارزیابی لحن و میزان خشم مشتری.
- /v1/moderate: فیلتر ایمنی برای محتوای سمی به صورت Zero-shot.
- /v1/decide: موتور جهانی برای تصمیمات بولی یا امتیازدهی شده.
تأخیر نهایی بسته به نقطه دسترسی متفاوت است. مدل هسته در کمتر از ۳۵ میلی‌ثانیه اجرا می‌شود و میکروسرویس‌های لبه (Edge) بین ۴۰ تا ۷۰ میلی‌ثانیه زمان می‌برند. با این حال، استفاده از درگاه RapidAPI به دلیل سربار پروکسی، زمان پاسخ را به ۷۵۰ تا ۱,۲۰۰ میلی‌ثانیه افزایش می‌دهد.
این تغییر در واقع گذاری به سمت «سیستم ۱» در هوش مصنوعی است؛ یعنی پاسخ‌های سریع، خودکار و قطعی. برای توسعه‌دهندگان، این یعنی جایگزینی هزینه‌های گرانِ توکن‌محور با زیرساختی ارزان و با حجم بالا. در واقع، Laya «تفکر» (تولید) را از «مرتب‌سازی» (طبقه‌بندی) جدا کرده است. این رویکرد در مقایسه با سایر مدل‌های متن‌باز، جایگاه ویژه‌ای دارد؛ به‌ویژه زمانی که عملکرد Laya را در برابر Jev برای جایگزینی APIهای گران‌قیمت بررسی می‌کنیم.
حریم خصوصی در این پلتفرم از طریق RAM موقت مدیریت می‌شود و داده‌ها بلافاصله پس از استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند — پاک می‌شوند. در حال حاضر یک سطح رایگان با ۱۶,۶۶۶ درخواست روزانه برای ادغام در ابزارهایی مثل n8n یا Kafka ارائه شده است.
گام بعدی شما
- اگر از LLM برای طبقه‌بندی (Classification) استفاده می‌کنید، یکی از نقاط اتصال Laya را در خط لوله خود تست کنید.
- مستندات GitHub این پروژه را برای درک تفاوت عملکرد رمزگذارهای غیرمولد با مدل‌های خودبازگشتی بررسی کنید.
- برای کاهش هزینه‌های API، وظایف ساده را از مدل‌های گران‌قیمت به مدل‌های تخصصی mmBERT منتقل کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو