تصور کنید یک برنامهنویس بخواهد یک طرح گرافیکی (Mockup) را مستقیماً به کد تبدیل کند، اما مدل هوش مصنوعی او تصویر را فقط بهعنوان یک توصیف متنی ساده ببیند؛ در این حالت، جزئیات حیاتی گم میشوند. برای مدلهای Kimi K2.6 و Gemma 3 27B، راهکار این مشکل در «تلفیق میانی» (Intermediate Fusion) نهفته است؛ مکانیزمی که اجازه میدهد تکههای تصویر دقیقاً مانند توکنهای متنی پردازش شوند.
این رویکرد با انتقال ویژگیهای غیرمتنی به فضای توکنهای مدل زبانی بزرگ (LLM) — که شبیه کتابخانهداری است که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — از طریق لایههای آداپتور (Adapter) یا همان لایههای سازگارساز، باعث میشود مدلها درک عمیقتری از واقعیت داشته باشند و کمتر دچار توهم (Hallucination) — یعنی وقتی مدل با اطمینان چیزی میگوید که وجود ندارد، شبیه دوستی که خاطرهای را اشتباه تعریف میکند — شوند.
همانطور که در تحلیل قبلی ما دربارهی امنیت مدلهای بازمتن اشاره کردیم، تمرکز صنعت اکنون بر این است که مدلها چگونه کدی را که تأیید میکنند، «ببینند». برای توسعهدهندگان، جایگزینی APIهای مجزا با یک پشتهی واحد ترنسفورمر (Transformer) به این معناست که عاملها اکنون میتوانند ابهامات نویسهخوانی نوری (OCR) را با استفاده از متنهای اطراف در لحظه حل کنند.
به گزارش وبسایت dev.to در ۲۴ اوت ۲۰۲۶، تلفیق چندوجهی بهطور کلی از سه الگو پیروی میکند:
- تلفیق اولیه (Early Fusion): اتصال توکنهای خام پیش از اولین لایه ترنسفورمر.
- تلفیق نهایی (Late Fusion): ادغام بردارهای معنایی تنها در مرحلهی نهایی تولید پاسخ.
- تلفیق میانی (Intermediate Fusion): استاندارد فعلی در پلتفرم Oxlo.ai که ویژگیها را مستقیماً به بُعد بردار معنایی (Embedding) — مثل کارت معرفی عددی برای هر واژه که همسایگانش را مشخص میکند — مدل منتقل میکند. این پلتفرم برای تسهیل دسترسی توسعهدهندگان به چنین مدلهای پیشرفتهای، هزینههای استنتاج مدلهای چندوجهی را با مدل قیمتگذاری تخت کاهش داده است.
در پلتفرم Oxlo.ai، مدل Kimi K2.6 وظایف کدنویسی عاملمحور را با خواندن مستقیم اسکرینشاتها انجام میدهد. در مقابل، Gemma 3 27B در تحلیل نمودارها و درک اسناد تخصص یافته است. هر دو مدل از یک رمزگذار بینایی با وضوح بالا در کنار یک رمزگشای زبانی استفاده میکنند.
این تغییر معماری، معیار سنجش عاملهای تولیدی را از «توصیف تصویر» به «استدلال بینوجهی» تغییر میدهد. وقتی مدل یک نمودار را بهعنوان توالی توکنها میبیند، میتواند دو عنصر بصری را با همان دقتی مقایسه کند که دو جمله را با هم میسنجد.
گام بعدی شما
- توانایی عاملهای خود را در مدیریت پرامپتهای چندتصویری تست کنید تا بفهمید آیا هنوز از منطق قدیمی «تلفیق نهایی» استفاده میکنند یا خیر.
- تکامل لایههای آداپتور را دنبال کنید؛ این لایهها کلید جهش بعدی در استدلال بینایی-زبانی هستند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو