یک پرامپت مخرب میتواند پیش از آنکه مدل شما درخواست را پردازش کند، دادههای خصوصی را لو دهد یا دستورات سیستمی را بازنویسی کند. resk-llm، ابزاری پایتونی که توسط تیم resk منتشر شده است، با قرار دادن یک فیلتر امنیتی مستقیماً در میانافزار (Middleware) برنامه، سعی در حل این بحران دارد.
برنامههای مبتنی بر هوش مصنوعی زاینده (Generative AI) — شبیه به یک دربان که باید ورودیهای مشکوک را قبل از ورود به ساختمان شناسایی کند — صرفاً یک API ساده نیستند. این برنامهها بین ورودیهای غیرقابلاعتماد کاربر و حافظه، ابزارها و دادههای شما قرار دارند. طبق گزارشهای فنی، یک پرامپت مخرب میتواند منجر به افشای اطلاعات شخصی (PII)، تغییر دستورات سیستمی یا مسموم کردن تاریخچه گفتگو شود. بسیاری از تیمها امنیت را در اولویت دوم قرار میدهند و تنها پس از وقوع نشت داده، به فکر ایجاد حفاظها میافتند.
همانطور که در تحلیلهای قبلی ما دربارهی استواری خصمانه (Adversarial Robustness) اشاره کردیم، دفاع از مدلها معمولاً در سطح وزنهای داخلی انجام میشود؛ اما resk-llm این خط دفاع را به نقطه ورود برنامه منتقل میکند. این ابزار مانند یک سد اولیه عمل کرده و الگوهای شناختهشده حمله را پیش از رسیدن به مدل زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن جواب میدهد — شکار میکند. هدف این است که لایه دفاعی اول، تنها با افزودن یک خط کد به برنامه FastAPI فعال شود.
به نقل از گزارشی در dev.to که در ۱ سپتامبر ۲۰۲۶ منتشر شد، این ابزار ۱۱ شناسگر را در ۵ دستهبندی بحرانی ارائه میدهد:
- تزریق پرامپت (Prompt Injection): تلاش برای بازنویسی دستورات اصلی سیستم.
- جیلبریک (Jailbreak): تلاش برای دور زدن قوانین ایمنی و محدودیتها.
- استخراج دادههای حساس (PII Exfiltration): تلاش برای بیرون کشیدن اطلاعات شخصی از مدل یا حافظه.
- مسمومسازی حافظه (Memory Poisoning): تلاش برای تخریب تاریخچه گفتگو یا زمینه ذخیرهشده.
- ربایش هدف (Goal Hijack): تلاش برای تغییر هدف مدل به مسیری متفاوت.
برخلاف داشبوردهای امنیتی ابری یا موتورهای سیاستگذاری سنگین، resk-llm از یک فایل محلی به نام patterns.yaml استفاده میکند. این یعنی توسعهدهندگان میتوانند الگوهای شناسایی را مانند کد بررسی، نسخهبندی و گسترش دهند. این شفافیت در مقایسه با سرویسهای امنیتی «جعبه سیاه» یک مزیت استراتژیک است.
برای کاربران FastAPI، ادغام این ابزار تنها با یک خط کد انجام میشود: app.add_middleware(LLMSecurityMiddleware, config="patterns.yaml"). پس از نصب، تمام درخواستهای ورودی از فیلترهای تعریفشده در فایل YAML عبور میکنند. شما میتوانید با الگوهای پیشفرض شروع کنید و سپس آنها را بر اساس جریان دادهها و میزان تحمل ریسک خود تنظیم کنید.
با این حال، این پروژه هنوز در مراحل ابتدایی است. آمار دانلودهای PyPI نشان میدهد که ابزار هنوز توسط جامعه گستردهای آزمایش نشده است. معیارهای فعلی عبارتاند از:
- تعداد دانلود (روز گذشته): ۱
- تعداد دانلود (هفته گذشته): ۴
- تعداد دانلود (ماه گذشته): ۶۰
- تعداد شناسگرهای موجود: ۱۱
- فرمت پیکربندی: patterns.yaml
اگرچه ۶۰ دانلود ماهانه هنوز یک استاندارد سازمانی نیست، اما پذیرش زودهنگام به توسعهدهندگان اجازه میدهد ابزار را با استک خود سازگار کنند. همچنین، API کوچک این ابزار، درک سریع آن را تسهیل میکند.
برای برنامهنویسان، این یک چرخش به سمت «امنیت به مثابه کد» (Security-as-Code) در حوزه هوش مصنوعی است. با انتقال شناسایی به میانافزار، از تأخیر (Latency) و نگرانیهای حریم خصوصی مربوط به APIهای امنیتی شخص ثالث摆 خلاص میشوید. این رویکرد، امنیت را از یک سرویس بسته به یک فایل پیکربندی شفاف تبدیل میکند که میتوانید آن را در Git ذخیره کنید.
باید پذیرفت که این ابزار جایگزین کاملی برای محدود کردن نرخ درخواستها (Rate Limiting)، اعتبارسنجی ورودی یا بررسی انسانی نیست. resk-llm لایهای تخصصی است که برای متوقف کردن حملات رایج و ساده طراحی شده است. رویکرد مبتنی بر الگو در برابر شکلهای شناختهشده حمله مؤثر است، اما نمیتواند هر حمله نوظهور یا بهشدت پیچیده را شناسایی کند.
اگر از FastAPI استفاده نمیکنید، باید ابزار را بهصورت دستی با فریمورک خود سازگار کنید. همچنین تیمهایی که رابط کاربری گرافیکی را ترجیح میدهند، ممکن است مدیریت فایل YAML را دشوار بدانند. در نهایت، چه از یک بات مشتریمحور استفاده کنید و چه از یک ابزار داخلی، هدف باید کاهش سطح حمله باشد. افزودن یک فیلتر مبتنی بر الگو در امروز، بهمراتب ارزانتر از بازیابی دادهها پس از یک نشت اطلاعاتی در فردا است.
گام بعدی شما
- اگر از FastAPI استفاده میکنید، کتابخانه resk-llm را نصب کرده و فایل
patterns.yamlرا با الگوهای خاص کسبوکار خود شخصیسازی کنید. - لیست شناسگرهای ۱۱گانه را بررسی کنید تا متوجه شوید کدام دستهبندی از حملات (مانند ربایش هدف) برای اپلیکیشن شما خطرناکتر است.
- این ابزار را به عنوان لایه اول دفاع قرار دهید، اما برای حملات پیچیدهتر، همچنان از روشهای اعتبارسنجی ورودی استفاده کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو