اگر مدل‌های خود را در محیط‌های ابری می‌سازید اما در زمان اجرا روی موبایل با کندی مواجه می‌شوید، احتمالاً در حال حدس زدن هستید، نه اندازه‌گیری. شما باید بدانید که تفاوت میان یک دفترچه Colab و یک تراشه موبایل، در واقعیتِ سخت‌افزاری نهفته است.
این فاصله میان محیط‌های آزمایشگاهی و تراشه واقعی، بزرگ‌ترین چالش توسعه‌دهندگان است. رایانش لبه (Edge Computing) — شبیه داشتن یک ماشین‌حساب سریع در جیب به‌جای تماس با یک مرکز محاسبات دوردست — اکنون با یک تغییر مسیر ساده در دسترس‌تر شده است. همان‌طور که در تحلیل‌های پیشین ما درباره‌ی بحران برچسب‌گذاری در تشخیص اشیاء دیدیم، تمرکز صنعت از «چطور داده‌ها را برچسب بزنیم» به «چطور مدل را روی سخت‌افزارهای محدود اجرا کنیم» تغییر کرده است.
به نقل از راهنمای Marktechpost که در ۱۸ مه ۲۰۲۴ منتشر شد، این روند با نصب بسته qai_hub_models آغاز می‌شود. توسعه‌دهندگان می‌توانند مدل MobileNet-V2 را بارگذاری کرده و با استفاده از توابع کمکلی، تانسورهای تصویری NHWC را به فرمت NCHW تبدیل کنند. برای کارهای پیچیده‌تر، این سامانه مدل YOLOv7 را برای تشخیص اشیاء یکپارچه کرده است. کاربرانی که توکن API دارند، می‌توانند مدل را کامپایل کرده و استنتاج (Inference) — که دقیقاً مثل خودِ آشپزی است، نه دوره‌ی آموزش آشپز — را روی یک گوشی سامسونگ گلکسی S24 با محیط اجرای TFLite تجربه کنند.
این رویکرد، حدس و گمان را از لبه‌ی شبکه حذف می‌کند. شما به‌جای شبیه‌سازی، داده‌های واقعی سخت‌افزار را می‌بینید. این یعنی شناسایی نقاط بحرانی حافظه یا جهش‌های زمانی پیش از آنکه اپلیکیشن به دست کاربر برسد.
گام بعدی شما
- بررسی دفترچه‌های راهنمای رسمی Qualcomm AI Hub برای پیاده‌سازی.
- تست مدل‌های YOLOv7 روی سخت‌افزارهای واقعی برای کاهش نرخ خطا.
- رصد به‌روزرسانی‌های سری جدید Snapdragon برای مشاهده‌ی جهش در بنچمارک‌های محلی.
اما تأثیر این بهینه‌سازی‌ها بر مصرف باتری در مقیاس وسیع، داستان دیگری است که در گزارش‌های آینده بررسی خواهیم کرد.
گفتگو