مقاله پژوهشی تازهای از arxiv.org دو خط لوله ارتباطی تصویری معنایی را معرفی کرده که به طور ویژه برای کاربردهای نظارت ترافیکی طراحی شدهاند؛ جایی که پهنای باند محدود است و ارسال تصاویر با کیفیت کامل عملاً دشوار میباشد. این سیستمها که MMSD (تجزیه معنایی چندوجهی) و SAMR (بازسازی با ماسک آگاه از معنا) نامیده شدهاند، چالش انتقال دادههای بصری را تحت محدودیتهای ارتباطی سختگیرانه حل میکنند.
روش MMSD برای سناریوهایی طراحی شده که هم به فشردهسازی بسیار بالا و هم به محرمانگی داده نیاز دارند. به جای ارسال محتوای حساس پیکسلی، این سیستم تصاویر را به بازنماییهای معنایی فشرده شامل نقشههای بخشبندی، نقشههای لبه و توصیفات متنی تبدیل میکند. سپس گیرنده با استفاده از یک مدل تولیدی مبتنی بر انتشار، صحنه را بازسازی میکند. پردازش سمت لبه در رزبریپای ۵ حدود ۱۵ ثانیه طول میکشد و به کاهش میانگین ۹۹ درصدی دادهها دست مییابد.
روش SAMR رویکرد متفاوتی دارد و در عین حفظ فشردهسازی قوی، کیفیت بصری بالاتری را در اولویت قرار میدهد. این سیستم پیش از رمزگذاری استاندارد JPEG، مناطق کماهمیت تصویر را بر اساس اهمیت معنایی انتخابی حذف میکند و سپس محتوای از دست رفته را از طریق ترمیم تولیدی در سمت گیرنده بازیابی میکند. این خط لوله سریعتر در لبه پردازش میشود و در همان سختافزار رزبریپای ۵ حدود ۹ ثانیه زمان میبرد، با کاهش داده ۹۹.۱ درصدی که حتی کمی بیشتر است.
هر دو طراحی از معماری نامتقارن فرستنده-گیرنده استفاده میکنند؛ جایی که پردازش سبک محاسباتی در لبه انجام میشود و وظایف سنگین بازسازی به سرورهای قدرتمندتر واگذار میشود. بر اساس نتایج آزمایشی، روش MMSD اندازه بار داده کمتری نسبت به سطحسنج SPIC اخیر دارد و در عین حال سازگاری معنایی قوی را حفظ میکند. در همین حال، SAMR توازن بهتری بین کیفیت و فشردهسازی نسبت به JPEG استاندارد و SQ-GAN در شرایط عملیاتی مشابه ارائه میدهد.
برای جامعه هوش مصنوعی و یادگیری ماشین، این رویکردها نشان میدهند که چگونه درک معنایی میتواند نیازمندیهای پهنای باند را در سیستمهای نظارت بصری به شدت کاهش دهد. این سیستمها به جای تکیه بر وفاداری پیکسلی، از توانایی هوش مصنوعی برای بازسازی اطلاعات بصری معنادار از بازنماییهای معنایی فشرده بهره میبرند و امکانهای جدیدی برای استقرار در محیطهایی با محدودیت پهنای باند مانند نظارت ترافیکی از راه دور یا شبکههای حسگر اینترنت اشیا میگشایند.
گفتگو