اگر تصور میکنید مدلهای دقیقتر لزوماً شفافتر هستند، با یک توهم رایج در صنعت هوش مصنوعی مواجهید. باید بدانید که قدرت پیشبینی بالا، تضمینی برای درک منطق تصمیمگیری مدل نیست.
این یافته در حالی منتشر میشود که جهان به سمت سیستمهای چندوجهی (Multimodal) عظیم حرکت میکند، جایی که مشکل «جعبه سیاه» همچنان مانع اصلی پذیرش این فناوری در حوزههای حساس است. همانطور که در تحلیلهای پیشین ما دربارهی امنیت مدلهای بنیادی اشاره کردیم، شفافیت تنها یک ویژگی تکمیلی نیست، بلکه پیششرط اعتماد است.
طبق تحلیل فنی منتشر شده در ۱۱ مه ۲۰۲۶ در وبسایت arxiv.org، محققان ۱۱ مدل از خانوادههای ResNet، DenseNet و Vision Transformer را مورد ارزیابی قرار دادند. برای سنجش کیفیت توضیحات، از دو معیار دقت رتبهبندی مرتبط (Relevance Rank Accuracy) و معیار جدیدی به نام دقت قطبیت دوگانه (Dual-Polarity Precision) استفاده شد. نتایج این بررسیها تکاندهنده بود:
- افزایش عمق معماری و تعداد پارامترها در اکثر مقایسههای آماری، کیفیت توضیحات را بهبود نبخشید.
- مدلهای کوچکتر بهطور مکرر در عملکرد مکانیابی با نسخههای عمیقتر برابری کردند یا حتی از آنها پیشی گرفتند.
- پیشآموزش (Pretraining) عملکرد پیشبینی را بالا برد، اما نمرات مکانیابی را بهطور سیستماتیک افزایش نداد.
بحرانیترین بخش این مطالعه، شناسایی سناریوهایی است که در آن مدلها به دقت پیشبینی بالایی رسیدند، اما دقت مکانیابی آنها نزدیک به صفر بود. این یعنی مدل ممکن است «به دلیل دلایل اشتباه، درست جواب دهد»؛ یعنی به جای تمرکز بر شیء مورد نظر، بر اساس همبستگیهای کاذب یا نویزهای پسزمینه تصمیم بگیرد. برای جامعه فنی، این یافته معیار انتخاب مدل را تغییر میدهد و ثابت میکند که متریرهای دقت (Accuracy) به تنهایی برای استقرار در محیطهای حساس مانند تصویربرداری پزشکی یا رانندگی خودکار کافی نیستند. تکیه بر مقیاس به عنوان میانبری برای شفافیت، استراتژی معیوبی است.
گام بعدی شما
- ادغام حسابرسیهای صریح قابلیت توضیح (Explainability Audits) در خط لوله انتخاب مدل.
- رصد اهداف آموزشی جدیدی که دقت مکانیابی را در کنار دقت خام بهینه میکنند.
- بازنگری در اعتماد به مدلهای بزرگ در پروژههایی که نیاز به توجیه تصمیمات دارند.
اما این چالشهای نرمافزاری تنها بخشی از ماجراست؛ تأثیر محدودیتهای سختافزاری بر استنتاج مدلهای عمیق را در تحلیل ما دربارهی تراشههای Blackwell بررسی کنید.




گفتگو