اگر با تأخیر در اجرای مدل‌های هوش مصنوعی روی دستگاه‌های موبایل کلنجار می‌روید، باید بدانید که یک راهکار جدید، بازی را تغییر داده است. طبق یافته‌های جدید، اکنون می‌توان تأخیر در استنتاج (Inference) را در محیط‌های اشتراکی تا ۵۰ درصد کاهش داد.
این مشکل ریشه در دشواری تقسیم‌بندی مدل‌های شبکه عصبی عمیق (Deep Neural Network - DNN) بین دستگاه‌های موبایل دارد؛ دستگاه‌هایی که هم سخت‌افزارشان متفاوت است و هم کیفیت اتصال بی‌سیم آن‌ها مدام تغییر می‌کند. در پوشش پیشین ما از بهینه‌سازی مدل‌های کوچک، دیدیم که توزیع محاسبات کلید بهره‌وری است، اما تعیین «نقطه برش» بهینه در لحظه، همیشه یک چالش بوده است.
به نقل از گزارشی که در ۹ ژوئن ۲۰۲۶ در arxiv.org منتشر شد، چارچوب CANS (Cooperative Autodidactic NeuroSurgeon) این گره را با یک فرآیند یادگیری تطبیقی باز می‌کند. در این سیستم، دستگاه‌ها بازخوردهای اطلاعاتی خود را در حین استنتاج با یکدیگر به اشتراک می‌گذارند تا بهینهترین نقطه تقسیم مدل را پیدا کنند.
برای مدیریت تفاوت‌های سخت‌افزاری، پژوهشگران الگوریتم FedLinUCB-DW را پیاده کرده‌اند که دو مزیت کلیدی دارد:
- گروه‌بندی دستگاه‌های هم‌نوع برای اشتراک‌گذاری مؤثرتر نتایج یادگیری.
- استفاده از تجربه‌های پیشین در استنتاج‌های خروج زودهنگام آفلاین برای شروع سریع‌تر اکتشاف آنلاین.
این تیم ادعاهای خود را هم در محیط‌های شبیه‌سازی‌شده و هم در نمونه‌های سخت‌افزاری واقعی تأیید کرده‌اند. آن‌ها همچنین با استخراج «حد بالای پشیمانی» (Regret Upper Bound) برای الگوریتم مذکور، قطعیت ریاضی عملکرد این چارچوب را به اثبات رساندند.
تحلیل فنی نشان می‌دهد CANS رویکرد رایانش لبه را از «تقسیم‌بندی ایستای مجزا» به «یادگیری مشارکتی پویا» تغییر داده است. با بهره‌گیری از تجربه جمعی ناوگان دستگاه‌ها، مرحله آزمون و خطایی که هر دستگاه برای یافتن نقطه برش بهینه نیاز داشت، به شدت کاهش یافته است.
گام بعدی شما
- بررسی مستندات CANS برای پیاده‌سازی در شبکه‌های ناهمگن.
- تحلیل اثر الگوریتم FedLinUCB-DW بر کاهش هزینه ارتباطی در MEC.
- رصد کاربردهای این تکنیک در مقیاس‌های صنعتی بزرگ‌تر.
اما چالش‌های سخت‌افزاری در مقیاس میلیاردی متفاوت است؛ به تحلیل ما درباره‌ی تراشه‌های NPU مراجعه کنید.
گفتگو