تصور کنید سیستمی ساختهاید که درهای ورودیاش را با قفلهای پیچیده بسته است، اما درهای خروجی را باز گذاشته؛ چنین سیستمی هنوز بهشدت آسیبپذیر است. طبق گزارش ۲۹ ژوئن ۲۰۲۶ از وبسایت aisecurities.uk، تغییر استراتژی به سمت «اعتبارسنجی خروجی» تنها راه موثر برای متوقف کردن توهم (Hallucination) — شبیه دوستی که با اطمینان خاطرهای را اشتباه تعریف میکند — و تزریق پرامپت (Prompt Injection) پیش از رسیدن به کاربر است.
بسیاری از توسعهدهندگان تمام تمرکز خود را روی مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن برای گرفتن بهترین جواب — گذاشتهاند، اما کانال خروجی همچنان یک نقطه کور بزرگ است. این چالش با نقصهای شناسایینشده در عاملهای چندمرحلهای همسو است که نشان میدهد حتی داوران LLM نیز در تشخیص خطاهای پیچیده ناتواناند. همانطور که در تحلیل قبلی ما دربارهی بهینهسازی هزینههای زمینه توسط Yogreet Global اشاره کردیم، گام بعدی برای رسیدن به سطح استقرار تجاری، اطمینان از ایمن و واقعی بودن پاسخهای نهایی است. این موضوع تأیید میکند که کیفیت مدل به تنهایی بزرگترین ریسک در مقیاس صنعتی نیست، بلکه حاکمیت و نظارت بر خروجیهاست که اهمیت دارد.
به نقل از گزارش aisecurities.uk، یک دفاع مستحکم نیازمند سه لایه اعتبارسنجی مجزا است:
دفاع سه لایه
- اعتبارسنجی ساختاری: تعریف طرحهای (Schema) سختگیرانه برای پاسخها و رد هر خروجی که از فرمت مورد انتظار خارج باشد.
- اجرای سیاستهای محتوایی: جستوجوی نقاط انتهایی داخلی، الگوهای اعتبارنامهها و جلوگیری از افشای پرامپت سیستمی (System Prompt). این لایه برای مقابله با نشت کلیدهای امنیتی در مدلهای زبانی حیاتی است تا از افشای دادههای حساس جلوگیری شود.
- بررسی سازگاری: مقایسه ادعاهای واقعی با منابع خارجی مورد اعتماد برای حذف توهمات.
این رویکرد صنعت را از «پاکسازی» — جایی که مدل سعی میکند پاسخ بد را اصلاح کند — به سمت ذهنیتی با شعار «اول رد کن» میبرد. با مسدود کردن کامل اعتبارسنجیهای شکستخورده و ثبت آنها به عنوان سیگنال، تیمها میتوانند الگوهای حمله را در لحظه شناسایی کنند.
برای یک توسعهدهنده، این موضوع تعریف «موفقیت» در یک فراخوانی مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — را تغییر میدهد. دیگر کافی نیست که مدل پاسخی پذیرفتنی بدهد؛ پاسخ باید از یک دروازه برنامهنویسیشده عبور کند. این یعنی بار مسئولیت ایمنی از دوش مدل احتمالی برداشته شده و به یک لایه اعتبارسنجی قطعی منتقل میشود.
گام بعدی شما
- برای هر تعامل با مدل در اپلیکیشن خود، یک JSON Schema دقیق تعریف کنید.
- جهشهای ناگهانی در نرخ شکست اعتبارسنجی را در لاگها رصد کنید؛ اینها اولین نشانههای حملات سازمانیافته تزریق پرامپت هستند.
- لایهی بررسی سازگاری را با اتصال به یک پایگاهداده مرجع پیادهسازی کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو