یادگیری فعال: نیاز به داده‌های برچسب‌دار ۳۵٪ کاهش یافت

تصور کنید در یک استخر پرورش میگو هستید و می‌خواهید بیماری‌ها را پیش‌بینی کنید، اما نه بودجه‌ای برای استخدام متخصص دارید و نه اجازه دارید داده‌های حساس مزرعه را به ابر بفرستید. این دقیقاً همان جایی است که مدل‌های هوش مصنوعی سنتی شکست می‌خورند، مگر اینکه یاد بگیرند با کمترین داده، بیشترین بهره را ببرند.

به نقل از گزارشی که در ۱۶ اکتبر ۲۰۲۶ در dev.to منتشر شد، یک رویکرد جدید در یادگیری فعال (Active Learning) — شبیه به دانش‌آموزی که به‌جای خواندن کل کتاب، فقط سؤالاتی را از معلم می‌پرسد که واقعاً در آن‌ها شک دارد — توانسته است نیاز به برچسب‌های انسانی را تا ۳۵٪ کاهش دهد. این دستاورد نشان می‌دهد که مدل‌های یادگیری ماشین حتی در شرایط «قحطی داده» و محدودیت‌های سختگیرانه حریم خصوصی نیز می‌توانند عملکرد بالایی داشته باشند.

بسیاری از استقرار‌های صنعتی هوش مصنوعی بر فرض وجود حجم عظیمی از داده‌های برچسب‌دار یا محیط‌های ابری امن بنا شده‌اند. اما در دنیای واقعی، مثلاً در پرورش ماهی در مقیاس کوچک، برچسب‌گذاری داده‌ها گران است و اطلاعات تله‌متری آب بسیار حساس هستند. تله‌متری کیفیت آب می‌تواند برنامه‌های تغذیه اختصاصی، تراکم ذخیره، زمان‌بندی برداشت یا وضعیت کلی سلامت اقتصادی یک مزرعه را لو بدهد و همین موضوع، اشتراک‌گذاری داده‌های سنتی را برای تعاونی‌های کشاورزی به یک گزینه غیرقابل قبول تبدیل می‌کند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، تعادل بین کاربرد و حریم خصوصی همیشه یک چالش است. در اینجا ما با سنسورهایی در استخرها روبرو هستیم که اتصال اینترنتی ضعیفی دارند، با انرژی خورشیدی محدود کار می‌کنند و حجم زیادی داده‌ی بدون برچسب تولید می‌کنند. برای کاربردی کردن این داده‌ها، به سیستمی نیاز است که دقیقاً بداند کدام نقاط داده ارزش وقت یک متخصص را برای برچسب‌گذاری دارند، در حالی که همزمان تضمین کند داده‌ها هرگز در قالب خام از لبه (Edge) خارج نشوند.

زمینه: آزمون استرس کمبود داده

آبزی‌پروری پایدار یکی از سریع‌ترین سیستم‌های غذایی در حال رشد در سطح جهان است، اما همچنان تشنه‌ی داده است. در حالی که یک مزرعه تجاری سالمون ممکن است روزانه گیگابایت‌ها داده از سونار و دوربین تولید کند، یک پرورش‌دهنده کوچک ماهی کپور شاید فقط به یک دستگاه اکسی‌متر دستی و یک دفترچه یادداشت تکیه کند.

مهم‌ترین وظایف نظارتی — مثل تشخیص زودهنگام شیوع بیماری‌ها، شکوفایی جلبک‌های مضر، رویدادهای هیپوکسی (کمبود اکسیژن) و ناهنجاری‌های تبدیل خوراک — دقیقاً همان جاهایی هستند که برچسب‌ها کمیاب‌ترین‌اند. یک متخصص آموزش‌دیده در سلامت ماهی ممکن است در هر فصل تنها چند صد نمونه را در کل یک منطقه برچسب‌گذاری کند، در حالی که حجم داده‌های بدون برچسب عملاً نامحدود است. این چالش شباهت زیادی به رویکردهای شناسایی الگوهای اقلیمی بدون نیاز به داده‌های برچسب‌دار دارد که در محیط‌های طبیعی با محدودیت‌های مشابه روبرو هستند.

این محیط تنشی شدید بین حریم خصوصی و کاربرد ایجاد می‌کند. یک مدل با حریم خصوصی تفاضلی (Differential Privacy) — شبیه به اضافه کردن کمی نویز به یک عکس برای اینکه چهره فرد شناخته نشود اما کلیت تصویر باقی بماند — که روی ۲۰۰ برچسب آموزش دیده، معمولاً ضعیف‌تر از مدل بدون حریم خصوصی روی همان داده‌ها است. در شرایط کمبود شدید داده، شما نمی‌توانید این افت دقت را تحمل کنید. به همین دلیل، استخرهای میگو بهترین محیط برای آزمون استرس هستند: اگر روشی در اینجا دوام بیاورد، در مرکز داده هم موفق خواهد بود.

درس‌هایی از دلتای مکونگ

این پژوهش با یک دوره سه هفته‌ای حضور در یک تعاونی کوچک پرورش ماهی تیلاپیا در دلتای مکونگ آغاز شد. هدف، تجهیز استخرها به سنسورهای ارزان‌قیمت کیفیت آب بر پایه ESP32 بود. در حالی که چالش‌های سخت‌افزاری مثل ضدآب کردن، مدیریت بودجه انرژی و محدوده ارتباطی LoRa پیش‌بینی شده بود، مانع اصلی «کمبود داده» بود.

از ۴۰ سنسور مستقر در ۶ استخر، تنها ۱۱ سنسور پس از ماه اول داده‌های برچسب‌دار و قابل اعتمادی بازگرداندند. بقیه سنسورها یا کالیبره نشده بودند، یا توسط ماهی‌های کنجکاو تخریب شده بودند و یا مقادیری تولید کردند که هیچ‌کس وقت برچسب‌گذاری آن‌ها را نداشت. این یک مثال کلاسیک از کمبود شدید داده بود: تعداد انگشت‌شماری نقطه برچسب‌دار در محیطی وسیع، بدون برچسب و حساس به حریم خصوصی. این وضعیت دقیقاً همان نقطه‌ای است که استخراج داده‌های خودنظارتی برای حل مشکل پراکندگی شدید داده‌ها در پژوهش‌های اقلیمی به کمک تحلیلگران می‌آید.

معماری سه ستونی

سیستم پیشنهادی سه حوزه مجزا را ترکیب می‌کند: یادگیری فعال، حریم خصوصی تفاضلی و ارکستراسیون عامل‌محور. هدف ایجاد یک حلقه خودپایدار است که نیاز به نظارت دائمی انسان برای بازآموزی را از بین ببرد.

• یادگیری فعال: به‌جای نمونه‌گیری تصادفی، سیستم از نمونه‌گیری عدم قطعیت همراه با منظم‌سازی تنوع استفاده می‌کند. نمونه‌گیری صرف بر اساس عدم قطعیت اغلب روی داده‌های پرت و نویز متمرکز می‌شود که در داده‌های سنسور فراوان هستند. افزودن یک عبارت تنوع، مجموعه پرس‌وجوها را نماینده کل داده‌ها نگه می‌دارد. در آزمایش‌ها، استفاده از ترکیبی با lambda_div=0.5 از آنتروپی پیش‌بینی و تنوع مبتنی بر فاصله، با ۳۵٪ برچسب کمتر به همان امتیاز F1 نسبت به نمونه‌گیری صرف بر اساس آنتروپی دست یافت.
• حریم خصوصی تفاضلی: سیستم از DP-SGD (کاهش گرادیان تصادفی با حریم خصوصی تفاضلی) استفاده می‌کند. این روش تضمین می‌کند که خروجی مدل تقریباً تفاوتی نکند که آیا داده‌های یک فرد خاص در آموزش بوده است یا خیر. این کار با برش گرادیان‌ها برای هر نمونه و افزودن نویز گوسی کالیبره شده با نرم برش انجام می‌شود. با این حال، نویز DP با تعداد گام‌ها افزایش و با اندازه دسته (Batch Size) کاهش می‌یابد، که در رژیم‌های کم‌برچسب (زیر ۵۰۰ نمونه) بسیار آسیب‌زا است.
• ارکستراسیون عامل‌محور: یک عامل (Agent) سبک‌وزن، رانش مدل، مصرف بودجه و حسابداری حریم خصوصی را نظارت می‌کند. این عامل مانند یک ماشین وضعیت عمل می‌کند که تصمیم می‌گیرد گام بعدی چه باشد: پرس‌وجو، بازآموزی یا فدراسیون، و بدین ترتیب نیاز به نظارت دستی را از بین می‌برد.

جزئیات فنی پیاده‌سازی

این خط لوله در چهار مرحله مجزا برای حفظ حریم خصوصی و کارایی عمل می‌کند:

مرحله ۱: استخراج ویژگی محلی

سری‌های زمانی خام هرگز از بوی (Buoy) خارج نمی‌شوند. سیستم از یک رمزگذار کانولوشن یک‌بعدی کوچک برای فشرده‌سازی هر پنجره به یک بردار معنایی (Embedding) ۳۲ بعدی استفاده می‌کند. این معماری شامل موارد زیر است:

• یک لایه Conv1d (۱۶ فیلتر، اندازه کرنل ۵، پدینگ ۲) و به دنبال آن ReLU و MaxPool1d.
• یک لایه Conv1d دوم (۳۲ فیلتر، اندازه کرنل ۳، پدینگ ۱) و به دنبال آن ReLU و AdaptiveAvgPool1d.
• یک تصویرسازی خطی نهایی به فضای برداری ۳۲ بعدی.

این فشرده‌سازی هزینه‌های ارتباطی را کاهش داده و حساسیت مکانیسم‌های DP در مراحل بعدی را پایین می‌آورد.

مرحله ۲: پرس‌وجوی فعال خصوصی

برای جلوگیری از نشت داده‌ها در خودِ فرآیند انتخاب (چون انتخاب تابعی از داده‌های خصوصی است)، سیستم از «مکانیسم نمایی» استفاده می‌کند. هر کاندید امتیازدهی شده و نمونه‌گیری از توزیعی متناسب با exp(epsilon * score / (2 * sensitivity)) انجام می‌شود.

• حساسیت: مکانیسم فرض می‌کند حساسیت امتیاز نرمال‌شده ۱.۰ است.
• بودجه حریم خصوصی: آزمایش‌ها نشان داد مقادیر اپسیلون بین ۱.۰ تا ۳.۰ تعادل مناسبی بین رعایت توافقات اشتراک داده تعاونی‌ها و حفظ یک حلقه یادگیری فعال سازنده ایجاد می‌کند.

مرحله ۳: تجمیع فدراسیون

مزارع به‌صورت محلی روی بردارها آموزش می‌بینند و فقط به‌روزرسانی‌های نویزی و برش‌خورده گرادیان را به اشتراک می‌گذارند. سرور این‌ها را با یک مکانیسم حسابداری حریم خصوصی تجمیع می‌کند.

• مکانیسم DP-SGD: این فرآیند شامل صفر کردن گرادیان‌ها، محاسبه زیان و انجام برش گرادیان برای هر نمونه است. سپس نویز گوسی بر اساس نرم برش و یک ضرب‌کننده نویز (مثلاً ۱.۱) تزریق می‌شود.
• موازنه برش: یک یافته کلیدی این بود که برش تهاجمی (نرم‌های کوچک) باعث پایداری DP می‌شود اما سیگنال گرادیان را از نمونه‌های نادر و آموزنده‌ای که یادگیری فعال به‌طور خاص انتخاب کرده، سرکوب می‌کند.
• راهکار تطبیقی: برای حل این مشکل، نویسنده یک نرم برش تطبیقی برای هر لایه پیاده کرد که با واریانس جاری گرادیان‌های هر لایه تغییر می‌کند.

مرحله ۴: زمان‌بندی عامل‌محور

یک عامل حلقه را بر اساس برداری از وضعیت (شامل امتیاز رانش، بودجه باقی‌مانده حریم خصوصی، بودجه برچسب و وضعیت اتصال) مدیریت می‌کند. منطق آن از یک سیاست قطعی پیروی می‌کند:

• بررسی بودجه: اگر بودجه حریم خصوصی (eps_budget مثلاً ۱۰.۰) تمام شود، سیستم وضعیت halt_privacy_budget_exhausted را برمی‌گرداند.
• محرک پرس‌وجو: اگر رانش از آستانه (مثلاً ۰.۱۵) فراتر رود و برچسب باقی مانده باشد، دستور query_and_retrain صادر می‌شود.
• محرک فدراسیون: اگر اتصال «خوب» باشد و رانش متوسط باشد (بیش از ۰.۵ * آستانه)، عملیات federate آغاز می‌شود.
• پیش‌فرض: در غیر این صورت، سیستم وضعیت wait را برمی‌گرداند.

وقتی وضعیت مبهم است — مثلاً رانش بالاست اما اتصال قطع و وصل می‌شود — عامل وضعیت را به زبان طبیعی خلاصه کرده و از یک مدل محلی کوچک می‌خواهد آن را به عنوان «خطای سنسور» یا «تغییر واقعی توزیع» طبقه‌بندی کند.

غلبه بر موانع استقرار

پیاده‌سازی با چالش‌های دنیای واقعی روبرو شد که نیاز به تغییرات معماری داشت:

• اتمام بودجه حریم خصوصی: اولین نمونه اولیه در کمتر از دو هفته بودجه اپسیلون خود را تمام کرد. راهکار، جداسازی حریم خصوصی پرس‌وجو از حریم خصوصی آموزش و استفاده از «تقویت زیرنمونه‌گیری» (Subsampling Amplification) بود — یعنی آموزش روی زیرمجموعه‌های تصادفی از استخر برچسب‌دار برای تقویت تضمین حریم خصوصی مؤثر.
• داده‌های غیر-IID: مزارع بسیار متفاوت هستند؛ استخر میگو و تیلاپیا خط‌های پایه متفاوتی دارند. روش ساده FedAvg نتایج متوسطی داد. سیستم به «یادگیری فدراسیون شخصی‌سازی شده» تغییر یافت: یک رمزگذار خصوصی مشترک برای ویژگی‌های کلی، اما «سرهای» محلی برای هر مزرعه که نویز نمی‌گیرند.
• مشکل راه‌اندازی سرد: با کمتر از ۵۰ برچسب، امتیازات یادگیری فعال عملاً نویز هستند و مکانیسم نمایی این نویز را تقویت می‌کند. راهکار، یک فاز گرم‌کردن (Warm-start) با استفاده از یک مدل عمومی پیش‌آموزش‌دیده کیفیت آب برای ایجاد بردارها پیش از انتقال به یادگیری فعال خصوصی بود.
• محدودیت‌های عیب‌یابی: چون در سیستم DP نمی‌توان نمونه‌های فردی را بررسی کرد، نویسنده یک خط لوله سایه با داده‌های مصنوعی با حقیقت زمینی (Ground Truth) مشخص ساخت تا صحت مکانیسم بدون دست زدن به داده‌های واقعی مزارع تأیید شود.

تحلیل: ضرورت طراحی هم‌زمان

این پروژه این فرض را تغییر می‌دهد که حریم خصوصی یک ویژگی «الحاقی» است. در رژیم‌های کم‌برچسب، نویز اضافه شده توسط حریم خصوصی تفاضلی می‌تواند دقیقاً همان سیگنالی را نابود کند که یادگیری فعال سعی در استخراج آن دارد. تنها راه حفظ کاربرد، طراحی هم‌زمان تابع اکتساب و مکانیسم حریم خصوصی است. برای کسانی که به دنبال امنیت مطلق در پردازش داده‌ها هستند، محیط‌های اجرای مورد اعتماد (TEEs) جایگزین یا مکمل سخت‌افزاری قدرتمندی برای این لایه‌های ریاضی حریم خصوصی محسوب می‌شوند.

برای متخصصان، این بدان معناست که محدودیت‌های «لبه» — یعنی کمبود داده، حریم خصوصی و اتصال متناوب — در واقع بهترین آزمون‌های استرس برای یادگیری ماشین هستند. اگر مدلی بتواند در نویز و کمبود داده‌های یک استخر تیلاپیا دوام بیاورد، احتمالاً برای هر مرکز داده سازمانی به اندازه کافی استوار است.

این رویکرد همچنین یک تغییر در حاکمیت ایجاد می‌کند. با استفاده از یک رمزگذار خصوصی مشترک، تعاونی‌ها می‌توانند بدون فدا کردن اسرار عملیاتی هر مزرعه، از هوش جمعی بهره‌مند شوند. این معماری در حوزه‌های دیگر نیز کاربرد دارد:

• نظارت بر حیات وحش: استفاده از دوربین‌های تله‌ای که داده‌های مکانی آن‌ها به دلیل خطر شکار غیرقانونی حساس است و برچسب‌ها توسط تعداد کمی اکولوژیست زده می‌شود.
• پوشیدنی‌های پزشکی: نظارت بر بیماری‌های نادر که داده‌های بیمار شدیداً تنظیم شده و برچسب‌های تخصصی کمیاب‌اند.
• نگهداری صنعتی: پیش‌بینی خرابی در کارخانه‌های کوچک که رویدادهای شکست نادر و تله‌متری آن‌ها حساس تجاری است.

مسیرهای آینده

تکامل بعدی این سیستم احتمالاً در سه حوزه خواهد بود:
۱. حسابداری حریم خصوصی تقویت‌شده با کوانتوم: استفاده از الگوریتم‌های کوانتومی برای انتگرال‌گیری عددی و نمونه‌گیری جهت تسریع حسابداری اتلاف حریم خصوصی و ایجاد منحنی‌های کاربرد بهتر. این موضوع گلوگاه ترکیب مکانیسم‌های DP در دوره‌های طولانی آموزش را حل می‌کند.
۲. داوری LLM روی دستگاه: انتقال لایه استدلال عامل‌محور به خودِ بوی با استفاده از مدل‌های زبانی کوچک (SLM) که در حال کوچک‌تر شدن هستند، تا وابستگی نهایی به ابر حذف شود.
۳. استخرهای حریم خصوصی در سطح تعاونی: پیاده‌سازی «DAOهای حریم خصوصی» که در آن تعاونی‌ها بودجه‌های حریم خصوصی خود را از طریق یک دفتر کل مشترک به اشتراک می‌گذارند تا عملکرد جمعی مدل بهینه شود.

نتیجه: درس‌هایی از دلتا

سه هفته در دلتای مکونگ یک درس حیاتی داد: نمی‌توان حریم خصوصی تفاضلی را به یک حلقه یادگیری فعال چسباند و انتظار داشت در رژیم کم‌برچسب کار کند. نمی‌توان یادگیری فعال را بدون یک عامل در محیط مستقر کرد و نمی‌توان کشاورزان را بدون یک داستان معتبر حریم خصوصی متقاعد به اشتراک داده کرد.

پایدارترین چیز درباره نظارت بر آبزی‌پروری این است که ما را مجبور می‌کند سیستم‌های یادگیری ماشینی بسازیم که به انسان‌ها و اکوسیستم‌های تولیدکننده داده احترام بگذارند. این محدودیت، یک مانع نیست، بلکه یک فلسفه طراحی است که سیستم‌های بهتر و استوارتری برای همه تولید می‌کند.

گام بعدی شما

• اگر با داده‌های حساس و کم‌حجم سر و کار دارید، به‌جای نمونه‌گیری تصادفی، ترکیب «عدم قطعیت» و «تنوع» را برای انتخاب داده‌های برچسب‌دار امتحان کنید.
• برای پیاده‌سازی حریم خصوصی در لبه، از رمزگذارهای محلی برای تبدیل داده‌های خام به بردار معنایی استفاده کنید تا نشت داده کاهش یابد.
• در سیستم‌های فدراسیون، از نرم برش تطبیقی (Adaptive Clip Norm) استفاده کنید تا سیگنال‌های نادر اما حیاتی توسط نویز DP حذف نشوند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.