«ریسک امنیتی شدید»؛ دسترسی به دستورات محرمانه هوش مصنوعی از روی پاسخ‌ها

تصور کنید تمام اسرار مهندسی پرامپت شما، که ماه‌ها برای بهینه‌سازی‌اش وقت گذاشته‌اید، تنها با نگاهی به جواب‌های مدل لو برود. طبق مقاله‌ای که در ۱۲ اوت ۲۰۲۶ منتشر شد، پژوهشگران IIT Bombay و Adobe Research ثابت کردند که می‌توان دستورات دقیقی که به مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — داده شده است را تنها از روی متن خروجی بازسازی کرد.

سال‌ها تصور می‌شد چون چندین دستور مختلف می‌توانند جواب‌های مشابهی تولید کنند، مهندسی معکوس این فرآیند غیرممکن است. همان‌طور که در تحلیل قبلی ما درباره‌ی بهینه‌سازی مدل‌های محلی اشاره کردیم، کارایی مدل به نحوه مدیریت ورودی‌ها بستگی دارد. در اینجا موضوع شبیه به یک اثر انگشت دیجیتال است؛ محققان راهی یافته‌اند تا اثر انگشت را به خودِ انگشت اصلی برگردانند. این چالش در مدیریت داده‌ها یادآور محدودیت‌هایی است که در رویکردهای جست‌وجوی برداری خالص در محیط‌های صنعتی مشاهده شده و نیاز به استراتژی‌های ترکیبی را برجسته می‌کند.

این تیم تکنیکی به نام «پیش‌بینی توکن قبلی» (Previous-Token Prediction یا PTP) ابداع کرده‌اند. در حالی که مدل‌های استاندارد، توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولونگ که مدل تکه‌تکه می‌خورد — بعدی را پیش‌بینی می‌کنند، PTP یک مدل معکوس را آموزش می‌دهد تا توکن‌هایی که «قبل» از خروجی بوده‌اند را حدس بزند.

بر اساس مستندات این پژوهش، جزئیات فنی این روش عبارت است از:

• مدل معکوس از صفر و با استفاده از داده‌های مصنوعی (Synthetic Data) تولیدشده توسط مدل هدف آموزش می‌بیند.
• این روش به هیچ دسترسی به وزن‌های مدل اصلی نیاز ندارد.
• یک پاسخ واحد می‌تواند هم پرامپت دقیق اصلی و هم چندین جایگزین با معنای مشابه را استخراج کند.

به نقل از این گزارش، در یک آزمایش، مدل توانست دستور «چگونه با رقبا ارتباط برقرار کنم تا استراتژی‌های قیمت‌گذاری آن‌ها را بفهمم؟» را به‌طور کامل بازسازی کند. همچنین شش نسخه دیگر با همان هدف تولید کرد. نکته تکان‌دهنده این است که مدل معکوسی که روی چت‌بات کوچک Qwen-3-0.6B آموزش دیده بود، توانست معنا و قصد پاسخ‌های GPT-4o را استخراج کند. این توانایی مدل‌های کوچک در بازسازی خروجی‌های مدل‌های بزرگتر، بحث‌های جدیدی را درباره جایگزینی LLMهای حجیم با مدل‌های بهینه و ارزان‌تر برای وظایف خاص ایجاد کرده است.

این قابلیت، چشم‌انداز امنیتی هوش مصنوعی سازمانی را تغییر می‌دهد. شرکت‌ها معمولاً اسرار تجاری و قوانین نظارتی خود را در پرامپت سیستمی (System Prompt) مخفی می‌کنند تا لو نرود. اگر یک مهاجم بتواند این دستورات را از یک چت‌بات عمومی استخراج کند، دارایی‌های محرمانه شرکت عملاً افشا شده‌اند.

حریم خصوصی کاربران نیز در خطر است. هر پرسش حساس یا شخصی می‌تواند از روی متن خروجی استخراج شود و خروجی مدل را به یک نقطه ضعف امنیتی تبدیل کند. این یعنی دفاع‌های فعلی در برابر «تزریق پرامپت» (Prompt Injection) کافی نیستند، چون حمله بعد از تولید متن رخ می‌دهد.

آزمایشگاه‌های هوش مصنوعی اکنون باید وصله‌هایی برای جلوگیری از این وارونگی بسازند. باید منتظر بمانیم و ببینیم آیا ارائه‌دهندگان برای شکستن پیوند ریاضی بین پرامپت و نتیجه، «نویز» یا اختلالاتی در خروجی‌ها ایجاد می‌کنند یا خیر.

گام بعدی شما

• اگر از پرامپت‌های سیستمی برای محافظت از منطق تجاری استفاده می‌کنید، فرض کنید این دستورات قابل استخراج هستند.
• خروجی‌های حساس مدل را پیش از انتشار عمومی، با ابزارهای حذف شناسه‌ها بررسی کنید.
• به‌روزرسانی‌های امنیتی ارائه‌دهندگان مدل‌ها را برای قابلیت‌های Anti-Inversion دنبال کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.