تصور کنید یک بات پشتیبانی مشتری را مدیریت می‌کنید که باید هم‌زمان به صدای کاربر گوش دهد، تشخیص دهد آیا درخواست او خطرناک است و سپس پاسخی طبیعی بدهد؛ به‌طور معمول، این فرآیند به سه فراخوانی مدل متفاوت نیاز دارد. تا پیش از این، چنین سیستمی به سه مدل مجزا و سه فراخوانی سرور متفاوت نیاز داشت که تأخیر را بالا می‌برد و هزینه‌ها را افزایش می‌داد.
در ۱۵ اکتبر ۲۰۲۶، پروژه Granite Switch 4.1 ثابت کرد که می‌توان با استفاده از آداپتورهای ماژولار، وظایف متنوع هوش مصنوعی را در یک نمونه میزبانی‌شده تجمیع کرد. این یعنی یک نقطه اتصال (Endpoint) واحد اکنون می‌تواند بدون جابه‌جایی بین سرورها، تبدیل گفتار به متن در لحظه، غربالگری امنیتی و چت با زبان طبیعی را مدیریت کند. این رویکرد چندوجهی یادآور تحولاتی است که گوگل اخیراً ایجاد کرده و جست‌وجو را به یک گفتگوی زنده و چندوجهی تبدیل کرد تا تعامل کاربر با اطلاعات سریع‌تر و طبیعی‌تر شود.
بسیاری از معماری‌های فعلی برای بازشناسی گفتار (ASR) و تولید متن به مدل‌های جداگانه نیاز دارند، که این امر هزینه‌های سخت‌افزاری و تأخیر را افزایش می‌دهد. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی استنتاج در مدل‌های لارج اشاره کردیم، این جداسازی باعث اتلاف منابع سخت‌افزاری می‌شود. Granite Switch 4.1 که اولین بار بهار سال گذشته معرفی شد، این مشکل را با جاسازی «آداپتورها» — شبیه به افزونه‌های کوچکی که قابلیت‌های جدیدی به یک برنامه اضافه می‌کنند — در یک مدل بنیادی حل کرده است. این رویکرد ماژولار به سیستم اجازه می‌دهد تا به‌طور بهینه بین پاسخ‌های زبان طبیعی، تصمیمات تخصصی و وظایف تبدیل گفتار به متن در یک نقطه اتصال میزبانی‌شده جابه‌جا شود.
طبق گزارش huggingface.co، مدل‌های Granite-Switch-4.1-8B و -30B از معماری خاصی برای حفظ کارایی استفاده می‌کنند:
- Decision aLoRA: یک آداپتور همه‌منظوره برای تصمیم‌گیری‌های سطح سیستم (مانند v1/systemone).
- Guardian aLoRA: آداپتور تخصصی ایمنی که طبق داده‌ها، به‌طور متوسط در وظایف تصمیم‌گیری امنیتی از مدل‌هایی مثل Jev 1.13، Microsoft-Decision-1، GPT-Luna-Decisions و Clef-Flash پیشی گرفته است.
- Granite-Speech-5.0-Turbo-CTC: سریع‌ترین مدل ASR در جدول برترین‌های OpenASR که مستقیماً برای تبدیل گفتار به متن جاسازی شده است.
بر اساس مستندات فنی، این قابلیت‌ها تقریباً همان مقدار حافظه VRAM — یعنی حافظه اختصاصی کارت گرافیک — را اشغال می‌کنند که یک مدل پایه به تنهایی نیاز دارد. دلیل این اتفاق استفاده از Activated LoRAs (aLoRAs) است. در این حالت، حافظه KV Cache — شبیه به یک یادداشت سریع از کلمات قبلی برای جلوگیری از خواندن دوباره متن — از تولیدات مدل پایه برای تصمیمات بعدی آداپتورها بازاستفاده می‌شود. این مکانیسم نیاز به پردازش مجدد پرامپت (Prompt) را هنگام تغییر وظیفه از یک چت به یک تصمیم‌گیری حذف می‌کند. این تلاش برای بهینه‌سازی منابع در لبه‌ی شبکه، با اهداف معماری جدید Nova برای ایجاد تعادلی میان حریم خصوصی و قدرت ابری در سخت‌افزارهای محدود هم‌سو است.
به نقل از تیم توسعه، بهینه‌سازی‌های اخیر در vLLM سرعت استنتاج (Inference) — لحظه‌ای که مدل واقعاً جواب تولید می‌کند، مثل خودِ آشپزی و نه دوره‌ی آموزش آشپز — را در آداپتورهای کم‌رتبه افزایش داده است. این بهینه‌سازی‌ها در کنار یک رمزگذار (Encoder) ASR هم‌مکان، باعث می‌شود مدل‌ها با سرعتی خیره‌کننده بین چت، تصمیم‌گیری و درخواست‌های صوتی جابه‌جا شوند. برای مثال، مدل Granite-switch-4.1-8b می‌تواند در لحظه صوت را تبدیل به متن کند، خلاصه بنویسد، محتوای مضر را غربال کند و بیش از ۱۵ پرچم (Flag) عمومی را در یک نقطه اتصال واحد بررسی کند.
در یک آزمون رودررو، مدل Granite-Switch-4.1-30B (که از یک مدل پایه Granite منجمد به همراه ۴ آداپتور تخصصی aLoRA استفاده می‌کرد) یک جریان کاری پنج‌مرحله‌ای تولید بازیابی‌افزا (RAG) — مثل دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — را به‌طور قابل‌توجهی سریع‌تر از مدل Jev-27B (یک مدل پایه Qwen منجمد به همراه یک LoRA تصمیم‌گیری عمومی) به پایان رساند.
برای نیازهای با تأخیر بسیار کم، نسخه‌ای با ۳ میلیارد پارامتر برای اجرای بازی Doom تست شد. این مدل توانست ۶۰ تا ۱۰۰ تصمیم در ثانیه بگیرد، در حالی که مدل Jev تنها ۱۰ تصمیم در ثانیه ثبت کرده بود؛ آن هم در حالی که هم‌زمان بازی را روایت می‌کرد و به سؤالات پاسخ می‌داد. چنین سرعت در تصمیم‌گیری و واکنش، مشابه پیشرفت‌هایی است که در کنترل مستقیم VLM برای بی‌نیاز کردن ربات‌ها از نقشه مشاهده شده و امکان تعامل لحظه‌ای با محیط را فراهم می‌کند.
این تغییر نشان می‌دهد آینده هوش مصنوعی تولیدی در محیط‌های عملیاتی، لزوماً مدل‌های بزرگ‌تر نیست، بلکه نقاط اتصال «چاقوی سوئیسی» و کارآمدتر است. برای توسعه‌دهندگان، این یعنی کاهش صورت‌حساب‌های GPU و ساده‌تر شدن معماری سیستم؛ دیگر نیازی به مدیریت زنجیره‌ای پیچیده از مدل‌های مختلف برای یک خط لوله چندوجهی نیست.
با اجازه دادن به کاربران برای ترکیب آداپتورهای Granite Libraries، این سیستم به سمت یک پشته‌ی هوش مصنوعی قابل شخصی‌سازی حرکت می‌کند. در حالی که مدل‌های بسته مانند Jev روی کلی‌گویی تمرکز دارند، آداپتورهای تخصصی granitelib می‌توانند در وظایف طبقه‌بندی خاص از مدل‌های کلی‌گرا پیشی بگیرند. چون آداپتورها حافظه KV Cache مدل پایه را به اشتراک می‌گذارند، افزودن متخصصان در کنار یک مدل کلی، تقریباً هیچ هزینه‌ای ندارد.
توسعه‌دهندگان اکنون می‌توانند از مخزن گیت‌هاب Granite Switch یا دموی Speech-to-Decisions برای ساخت مدل‌های ماژولار خود استفاده کنند. همچنین تیم توسعه قصد دارد یک SDK برای آموزش آداپتورهای سفارشی در Mellea، به همراه آموزش‌ها و پشتیبانی از Granite Switch منتشر کند.
گام بعدی شما
- بررسی مخزن گیت‌هاب Granite Switch برای پیاده‌سازی مدل‌های چندوظیفه‌ای.
- تست دموی Speech-to-Decisions برای ارزیابی سرعت تبدیل گفتار به تصمیم.
- مطالعه مستندات aLoRA برای کاهش هزینه‌های VRAM در استقرار مدل‌ها.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو