تصور کنید یک دستیار هوش مصنوعی بتواند بدون «تایپ کردن» حتی یک کلمه، در کسری از ثانیه تصمیم بگیرد. این همان تفاوت بنیادین میان چت کردن با یک مدل و استخراج مستقیم منطق ریاضی آن است.
بسیاری از ما با مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — از طریق تولید متن تعامل میکنیم. اما طبق گزارش منتشر شده در ۱۸ سپتامبر ۲۰۲۶، ابزار OpenJev نشان میدهد که اگر بهجای تولید توکن، مستقیماً به احتمالات درونی مدل دسترسی داشته باشیم، سرعت پاسخدهی بهشدت افزایش مییابد. این رویکرد در واقع تکامل یافتهی ایدههایی است که پیشتر در راهکار Jevlike برای جایگزینی تولید کلمه با امتیازدهی بررسی کرده بودیم تا تأخیر مدلهای رمزگشا کاهش یابد. این سامانه بهطور کامل روی واحد پردازش گرافیکی (GPU) محلی کاربر اجرا میشود و هیچ دادهای از صفحه مرورگر خارج نمیشود.
همانطور که در تحلیلهای قبلی ما دربارهی بهینهسازی مدلهای لبه اشاره کردیم، کاهش تأخیر کلید پذیرش عاملهای هوش مصنوعی است. در این ابزار، دو مسیر موازی برای هر تصمیم اجرا میشود. مسیر اول، لاجیتها (Logits) — یعنی امتیازات احتمالی خام مدل برای هر گزینه — را مستقیماً میخواند و نرمال میکند. مسیر دوم، از مدل میخواهد همان توزیع احتمالات را تخمین زده و بهصورت متن JSON بنویسد. سپس زمان هر دو مسیر با دقت میلیثانیه اندازهگیری میشود.
بر اساس مستندات فنی openjev.com، این پلتفرم از wllama برای اجرای نسخههای کوانتیده GGUF استفاده میکند. کاربران بسته به سختافزار خود میتوانند مدلهای مختلفی را انتخاب کنند:
- MiniCPM5 2B: مدل پیشفرض دسکتاپ (۱.۵۶ گیگابایت).
- Qwen3 0.6B: بهینهشده برای گوشیها و دستگاههای ضعیف.
- گزینه 4B: مدلی بزرگتر که به حافظه بسیار بیشتری نیاز دارد.
این تغییر رویکرد، یک موازنه حیاتی را برای توسعهدهندگان عامل (Agent) — شبیه به برنامهریزی برای رباتی که باید سریع تصمیم بگیرد نه اینکه سخنرانی کند — آشکار میکند. برای بهینهسازی این عاملها، استفاده از محیطهای سندباکس برای ردیابی دقیق فراخوانی ابزارها گامی ضروری در جهت ارزیابی هزینه و کارایی است. خوانش مستقیم لاجیتها تقریباً آنی است و خطر توهم (Hallucination) — وقتی مدل با اطمینان چیزی میگوید که وجود ندارد، مثل دوستی که خاطرهای را اشتباه تعریف میکند — در قالببندی متن را حذف میکند. با این حال، این احتمالات لزوماً نمرات اطمینان کالیبرهشده نیستند.
برای کاربر نهایی، این یعنی هوش مصنوعی محلی اگر از حالت «گفتگو» خارج شود، بسیار کارآمدتر خواهد بود. حرکت به سمت تصمیمگیری مبتنی بر لاجیت میتواند تأخیر دستیارهای روی دستگاه را بهشدت کاهش دهد.
گام بعدی شما
- مدل MiniCPM5 را در مرورگر خود بارگذاری کنید و نسبت زمان اجرای دو روش را بهصورت زنده مقایسه کنید.
- اگر توسعهدهنده هستید، بررسی کنید که آیا در گردشکارهای خود میتوانید بهجای درخواست متن، از استخراج احتمالات گزینهها استفاده کنید.
- مستندات wllama را برای درک نحوه اجرای مدلهای کوانتیده در محیط وب مطالعه کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو