تصور کنید یک دستیار هوش مصنوعی به‌طور مستقل دستور بازگشت وجه یا تغییر حساب پرداخت یک مشتری را صادر کند؛ این کابوسی واقعی برای هر مدیر ریسک در صنعت مالی است. برای جلوگیری از این فاجعه، باید مرزی نفوذناپذیر میان «فهمیدن» و «انجام دادن» ایجاد کرد.
در ۱۵ سپتامبر ۲۰۲۶، یک راهنمای فنی در dev.to معماری ایمنی جدیدی را تشریح کرد که در آن هوش مصنوعی زاینده (Generative AI) — شبیه به یک پذیرنده در لابی هتل که درخواست‌ها را می‌شنود اما کلید اتاق‌ها را ندارد — تنها نقش تفسیرکننده را ایفا می‌کند، نه مقام تصمیم‌گیرنده.
همان‌طور که در تحلیل‌های قبلی ما درباره‌ی حفاظ‌های ایمنی مدل‌های زبانی اشاره کردیم، تکیه بر «اطمینان مدل» برای تراکنش‌های مالی یک اشتباه است. در این معماری، مدل تنها به عنوان یک طبقه‌بندی‌کننده و جمع‌آوری‌کننده داده عمل می‌کند.
طبق گزارش dev.to، این سیستم بر سه مرز فنی سخت‌گیرانه استوار است:
- ایزولاسیون اجرا: احراز هویت، بررسی مالکیت و سقف‌های مالی کاملاً خارج از محیط مدل قرار دارند.
- بازیابی محدود: داده‌ها پیش از رسیدن به مدل، بر اساس سیاست‌های دسترسی کاربر و پذیرنده فیلتر می‌شوند. این رویکرد یادآور سازوکار TrustGraph در محدود کردن خروجی‌ها است که برای مقابله با نشت داده‌ها (Exfiltration) طراحی شده است.
- اعتبارسنجی سمت سرور: هر عملیات حساس باید در سرور تایید شود، نه اینکه از طریق پرامپت مدل مدیریت شود.
به نقل از این مستندات، ارجاع به انسان (Human Escalation) دیگر یک راهکار جایگزین برای زمان‌های سردرگمی مدل نیست. این معماری بر اساس میزان اثر مالی یا ریسک امنیتی، به‌طور خودکار درخواست را به کاربر انسانی منتقل می‌کند، حتی اگر مدل درخواست را به‌طور کامل درک کرده باشد. این سطح از دقت در کنترل ریسک، مشابه رویکرد شبیه‌سازی معنایی برای شناسایی حفره‌های قراردادهای هوشمند است که بر شناسایی دقیق نقاط ضعف متکی است.
این چرخش راهبردی، هدف را از «بیشترین توانمندی» به «مرجعیت کنترل‌شده» تغییر می‌دهد. توسعه‌دهندگان با تبدیل مدل به یک مفسر برای یک بک‌اِند صلب و تکرارناپذیر (Idempotent)، می‌توانند بدون ریسک تراکنش‌های فاجعه‌بار، از عامل‌های هوشمند استفاده کنند.
گام بعدی شما
- پیاده‌سازی لایه‌ی اعتبارسنجی سمت سرور برای تمام توابع فراخوانی شده توسط مدل.
- تعریف ماتریس ریسک برای تعیین نقاط ارجاع اجباری به کاربر انسانی.
- بازبینی دسترسی‌های داده‌ای (Scoped Retrieval) برای جلوگیری از نشت اطلاعات بین مشتریان.
اما چالش اصلی، مدیریت تأخیر در این لایه‌های امنیتی است — به بررسی ما درباره بهینه‌سازی استنتاج در سیستم‌های حساس مراجعه کنید.
گفتگو