یک توهم ساده در یک عامل هوش مصنوعی پزشکی می‌تواند منجر به آسیب‌های جسمی فاجعه‌بار شود. این واقعیت تلخ، محور تحلیل فنی ۱۳ اکتبر ۲۰۲۶ درباره‌ی «ماشین‌حساب عمق سوزن‌درمانی» بود که نشان داد توسعه‌دهندگان اکنون ابزارهای هوش مصنوعی را به‌جای پایگاه دانش، به عنوان «موتورهای فیزیک» طراحی می‌کنند تا ایمنی را در جریان‌های کاری کلینیکی تضمین کنند.
این تغییر رویکرد در حالی رخ می‌دهد که صنعت از چت‌بات‌های ساده به سمت جریان‌های کاری عامل‌محور (Agentic Workflows) با ریسک بالا حرکت می‌کند. این تحول در ادامه پوشش‌های قبلی ما درباره‌ی آیرین گری (Irene Gray) و تلاش‌های او برای پایان دادن به هرج‌ومرج در پیکربندی APIها صورت می‌گیرد. اکنون تمرکز از «نحوه اتصال عامل‌ها» به «نحوه اجرای منطق‌های حیاتی بدون خطا» تغییر کرده است. در یک محیط درمانی، اگر یک مدل زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — عمق سوزن را بر اساس احتمال تخمین بزند، یک ریسک بزرگ است؛ اینجا به حفاظ‌های قطعی (Deterministic Guardrails) نیاز است تا از برخورد سوزن با ساختارهای عصبی-عروقی جلوگیری شود.
تضاد دقت و احتمال در محیط کلینیک
سوزن‌درمانی به دقت مطلق نیاز دارد. درمانگران باید ضخامت عضله، عمق هدف و زاویه ورود را دقیقاً محاسبه کنند. طبق گزارش‌های فنی، اگر یک عامل هوش مصنوعی برای بافتی که ضخامت آن تنها ۲۵ میلی‌متر است، عمق ورود ۳۰ میلی‌متر را پیشنهاد دهد، نتیجه فاجعه‌بار خواهد بود.
مدل‌های زبانی استاندارد اغلب برای تخمین این مقادیر به استدلال احتمالی تکیه می‌کنند. اما ایمنی کلینیکی مستلزم خروج از فضای نهان (Latent Space) مدل و حرکت به سمت توابع اختصاصی و قابل تأیید است. این نیاز به دقت، یادآور بحث‌های اخیر درباره ضرورت دستیابی به استانداردهای داروسازی در مدل‌های هوش مصنوعی برای افزایش قابلیت اطمینان در محیط‌های بالینی است. هدف این است که از LLM فقط برای تشخیص قصد کاربر (Intent Recognition) و مدیریت رابط کاربری استفاده شود و تمام ریاضیات حساس به ایمنی به ابزارهای تعریف‌شده سپرده شود.
برای حل این مشکل، این رابط از چارچوب TypeScript به نام MCPFusion استفاده می‌کند تا محاسبات حیاتی را به چهار تابع مشخص و قابل تأیید بسپارد:
get_insertion_parameters: تعیین عمق، طول و زاویه بر اساس معیارهای ورودی.validate_safety_boundaries: دروازه‌بان اصلی برای جلوگیری از ریسک آسیب به اعصاب و رگ‌ها.calculate_needle_selection: تبدیل الزامات ریاضی به اندازه سخت‌افزارهای فیزیکی.get_anatomical_constraints: تعدیل محاسبات بر اساس آناتومی محلی، مانند نزدیکی به استخوان.
فراتر از محیط لوکال‌هوست
بسیاری از توسعه‌دهندگان سرورهای MCP را روی localhost اجرا می‌کنند. این روش برای بهره‌وری شخصی یا خط لوله‌های تولید بازیابی‌افزا (RAG) — شبیه دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — مناسب است، اما در استقرار جریان‌های کاری امن و قابل اعتماد در محیط‌های مختلف شکست می‌خورد؛ مثلاً زمانی که بخواهیم از Cursor به Claude Desktop یا یک موتور ارکستراسیون سازمانی نقل مکان کنیم.
این ابزارها روی پلتفرم Vinkius اجرا می‌شوند که برای حذف اصطکاک‌های مربوط به OAuth و متغیرهای محیطی طراحی شده است. Vinkius سه نیاز حیاتی در محیط تولید (Production) را برطرف می‌کند:
- دسترسی از طریق درگاه واحد: یک توکن اتصال جایگزین اعتبارنامه‌های متعدد برای هر سرویس می‌شود و پراکندگی اعتبارنامه‌ها در IDEهای مختلف را از بین می‌برد.
- اجرای ایزوله: هر رابط به‌جای یک شل (Shell) مدیریت‌نشده، در یک سندباکس V8 ایزوله اجرا می‌شود.
- رفتار ابزاری یکپارچه: MCPFusion تضمین می‌کند که هدرها، پاسخ‌های خطا و تعاریف طرح‌واره (Schema) در APIهای مختلف ثابت بمانند.
این معماری هشت سیاست حاکمیتی، از جمله جلوگیری از SSRF و زنجیره‌های حسابرسی HMAC را اجرا می‌کند تا اگر عاملی سعی کرد از یک فراخوانی ابزار سوءاستفاده کند، «شعاع تخریب» (Blast Radius) محدود شود. این موضوع برای جلوگیری از جابه‌جایی‌های غیرمجاز (Lateral Movement) در زیرساخت ضروری است. در این راستا، باید توجه داشت که تست‌های سنتی جعبه‌سیاه به تنهایی قادر به شناسایی رفتارهای پنهان و مخاطره‌آمیز مدل‌ها نیستند و لایه‌های حفاظتی سخت‌افزاری و نرم‌افزاری ضروری هستند.
تحلیل قابلیت اطمینان
بر اساس داده‌های تله‌متری، تأخیر متوسط این ماشین‌حساب ۹۴۰ میلی‌ثانیه است. اگرچه محیط سندباکس کمی تأخیر ایجاد می‌کند، اما در مقابل امتیاز دیباگر ۱۰۰ (Grade A+) را به دست آورده است؛ یعنی رعایت سخت‌گیرانه اعتبارسنجی طرح‌واره. این امر از خطاهای رایج زمان اجرا جلوگیری می‌کند؛ مثلاً جایی که مدل ممکن است به‌جای عدد اعشاری (Float) برای ضخامت عضله، یک رشته متنی (String) بفرستد.
در عمل، سیستم منطق سخت‌افزاری را بر حدس‌های زبانی ترجیح می‌دهد. برای مثال، اگر کاربر پارامترهای عضله‌ای با ضخامت ۳۰ میلی‌متر و نقطه تحریک در عمق ۱۵ میلی‌متر را بخواهد، سیستم دقیقاً طول سوزن ۲۲.۵ میلی‌متر را برمی‌گرداند.
اگر کاربر بخواهد سوزنی را در عمق ۲۰ میلی‌متر در عضله‌ای ۲۵ میلی‌متری نزدیک به یک عصب وارد کند، تابع validate_safety_boundaries هرگونه تخمین خوش‌بینانه مدل را لغو کرده و به‌دلیل نزدیکی به ساختار حیاتی، پاسخ قطعی «خیر» می‌دهد.
این رویکرد فرض بنیادی دربارهٔ عاملیت هوش مصنوعی در پزشکی را تغییر می‌دهد. این یعنی در تعاملات فیزیکی حساس، LLM باید فقط مسئول تشخیص قصد باشد و «حقیقت» در کدهای ایزوله و تغییرناپذیر جای بگیرد. این کار ریسک نوسانات دمای (Temperature) مدل را از ایمنی بیمار حذف می‌کند.
توسعه‌دهندگان اکنون باید ارزیابی کنند که آیا ابزارهای عامل‌محور فعلی آن‌ها برای ریاضیات به فضای نهان مدل تکیه کرده‌اند یا سندباکس‌های قطعی مشابهی را برای مرزهای حیاتی پیاده‌سازی کرده‌اند.
گام بعدی شما
- بررسی کنید آیا ابزارهای عامل‌محور شما برای محاسبات حساس به فضای نهان مدل تکیه کرده‌اند یا از سندباکس‌های قطعی استفاده می‌کنند.
- برای کاهش نرخ توهمات در کاربردهای صنعتی، منطق‌های ریاضی را از پرامپت خارج کرده و به توابع خارجی (Tool Use) منتقل کنید.
- معماری‌های ایزوله مانند V8 را برای اجرای کدهای تولیدشده توسط AI در محیط‌های حساس بررسی کنید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو