بازار عامل‌های هوش مصنوعی تا سال ۲۰۳۴ به ۱۹۹ میلیارد دلار می‌رسد

تصور کنید سیستمی را که دیگر فقط به سؤالات شما پاسخ نمی‌دهد، بلکه بدون اجازهٔ تک‌تک مراحل، وارد حساب‌های بانکی یا سیستم‌های مدیریتی شرکت شما شده و تراکنش‌ها را نهایی می‌کند. این دیگر یک پیش‌بینی نیست، بلکه واقعیتِ بازار عامل‌های هوش مصنوعی (AI Agents) است که در حال بلعیدن مدل‌های سادهٔ چت‌بات است.

طبق گزارش Precedence Research، ارزش بازار سیستم‌های خودمختار تا سال ۲۰۳۴ به ۱۹۹ میلیارد دلار خواهد رسید؛ رقمی که در مقایسه با ۸ میلیارد دلار در سال ۲۰۲۵، جهشی خیره‌کننده است. این رشد اقتصادی با پیشرفت فنی خیره‌کننده‌ای همراه شده است؛ به طوری که صحت عملکرد عامل‌ها در انجام تکالیف کامپیوتری در سال ۲۰۲۵ از ۱۲٪ به ۶۶.۳٪ رسیده و اکنون تنها ۶ درصد با میانگین توانایی انسان فاصله دارند. با این حال، مؤسسه بروکینگز (Brookings Institution) هشدار می‌دهد که این پیشرفت، یک «شکاف حاکمیتی» ایجاد کرده است: سازمان‌ها می‌دانند یک عامل «چه کارهایی می‌تواند انجام دهد»، اما نمی‌دانند «چه کارهایی را باید اجازه دهند انجام دهد». سؤال مرکزی حاکمیت اکنون از این است که «مدل چه گفت»، به این تغییر یافته است که «سیستم چه کرد»، «چرا اجازه یافت این کار را بکند» و «چه کسی در نهایت پاسخگو است».

برای مدیران کسب‌وکار، این یعنی دوران گردش‌کار «بررسی و سپس اجرا» به پایان رسیده است. در حالی که یک چت‌بات — مثل دستیاری که پیش‌نویس را می‌نویسد تا شما امضا کنید — اجازه می‌دهد انسان پاسخ را بررسی کند، یک عامل مستقیماً ابزارها را فراخوانی کرده و سیستم‌ها را تغییر می‌دهد، پیش از آنکه انسانی مداخله کند. این استقلال، ریسک‌هایی مثل عدم همراستایی اهداف (Goal Misalignment)، انحراف رفتاری (Behavioral Drift)، سوءاستفاده از ابزارها و شکست در هماهنگی را به همراه دارد که کنترل‌های نرم‌افزاری سنتی قادر به مدیریت آن‌ها نیستند. این سیستم‌ها اکنون شبیه به «تصمیم‌گیرندگان تفویض‌شده» هستند و برای مدیریت قابلیت‌های گسترده‌شان، به نظارت‌های بسیار سخت‌گیرانه‌تری نیاز دارند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، هرچه سطح دسترسی مدل به ابزارهای خارجی بیشتر شود، سطح حمله برای مهاجمان گسترده‌تر می‌شود.

شکاف حاکمیتی و شکست‌های دوتایی

در حال حاضر، سرعت استقرار این فناوری از سرعت وضع قوانین پیشی گرفته است. گارتنر (Gartner) در تحلیلی اخیر اشاره کرد که احتمالاً ۴۰٪ از سازمان‌ها تا سال ۲۰۲۷ عامل‌های خودمختار خود را بازنشسته می‌کنند. این شکست فنی نیست، بلکه نتیجهٔ «حاکمیت دوتایی» (Binary Governance) است؛ یعنی برخورد با عامل‌ها یا به صورت کاملاً محدود (Locked down) یا کاملاً مورد اعتماد (Fully trusted)، بدون وجود یک فضای میانی و منعطف.

نظارت‌های فعلی معمولاً مرحله‌محور هستند و از توسعه به تدارکات و سپس به بررسی خروجی منتقل می‌شوند. اما عامل‌ها که ترکیبی از حافظه، ارکستراسیون و دسترسی به ابزارهای خارجی هستند، این مرزهای گسسته را بی‌معنی می‌کنند. چون عامل‌ها سریع‌تر و با دخالت کمتر انسان عمل می‌کنند، حاکمیت باید «پیوسته» شود. به این معنا که نظارت در لحظه اجرا (Runtime Monitoring) و مجوزهای پیش‌تعیین‌شده (Pre-scoped Permissions) باید جایگزین نظارت‌های مرحله‌ای شوند. این رویکرد دقیقاً با استراتژی‌های جدیدی همسو است که در آن نظارت لحظه‌ای جایگزین چک‌لیست‌های دستی در حاکمیت داده و هوش مصنوعی می‌شود تا ریسک‌های عملیاتی به شکل فعال مدیریت شوند.

کاربردهای حساس و خلق ارزش

عامل‌ها در حال حاضر در بخش‌های مختلف ارزش ملموسی خلق می‌کنند و از بهره‌وری، خدمات عمومی، آموزش و بهداشت گرفته تا رشد شرکت‌های کوچک و متوسط را پشتیبانی می‌کنند. این کاربردها هم در کشورهای توسعه‌یافته (شمال جهانی) و هم در کشورهای در حال توسعه (جنوب جهانی) دیده می‌شود:

• داروسازی: فشرده‌سازی شدید زمان‌بندی پژوهش‌ها برای کشف داروهای جدید.
• تولید: عبور از شناسایی نقص‌ها به سمت تحلیل سیستم، یافتن علت احتمالی نقص و حذف خودکار واحد معیوب از خط تولید.
• زنجیره تأمین: بهینه‌سازی زنجیره‌های تأمین کالاهای صنعتی و کاهش هزینه‌های خدمات مشتریان.
• بخش عمومی: مطالعه‌ای از مجمع جهانی اقتصاد (WEF) روی ۷۰ عملکرد کلیدی دولتی نشان داد که خدمات عمومی از آماده‌ترین اهداف برای استقرار عامل‌ها هستند. همچنین مرکز کنترل و پیشگیری از بیماری‌های آمریکا (CDC) بازگشت سرمایه ۵۲۷ درصدی را در استقرار چت‌بات‌های سازمانی در سطح کارکنان گزارش کرده است.

با این حال، WEF توصیه می‌کند تکالیف «اطلاعات‌محور» باید بر تکالیف «قضاوت‌محور» (مثل ارزیابی صلاحیت افراد برای دریافت خدمات) اولویت داشته باشند، زیرا در دومی، عامل‌ها بر تصمیمات حساسی درباره زندگی افراد اثر می‌گذارند. همچنین، پذیرش این فناوری در سازمان‌ها به دلیل قوانین داخلی، بودجه‌ها و الزامات انطباق (Compliance)، کندتر از مصرف‌کنندگان عادی پیش می‌رود. تحلیل مایکروسافت روی ۱۰۰ هزار چت Copilot نشان داد که تقریباً نیمی از درخواست‌ها مربوط به کارهای شناختی و نیمی دیگر مربوط به یافتن اطلاعات، تولید محتوا و همکاری با انسان‌ها بوده است.

ریسک‌های سیستمیک و آسیب‌پذیری‌های فنی

وقتی به عامل‌ها اختیار داده می‌شود و آن‌ها به ابزارها متصل می‌شوند، پیامدهای آن‌ها به گونه‌ای است که نرم‌افزارهای معمولی برای مدیریت آن تجهیز نشده‌اند. بحرانی‌ترین ریسک‌ها عبارتند از:

• تزریق پرامپت (Prompt Injection): رایج‌ترین تکنیک حمله است. چون معماری عامل‌ها تمام ورودی‌ها را به صورت یک توالی واحد از توکن (Token) — مثل برش‌های کوچک یک کیک که مدل تکه‌تکه می‌خورد — می‌بیند، یک تزریق ساده می‌تواند کل سیستم را مختل کند. این موضوع تعیین مرزها یا شناسایی اینکه کدام بخش از توالی مورد تداخل قرار گرفته را دشوار می‌کند.
• نشت داده (Data Leakage): داده‌های شخصی، سازمانی یا سیستمی که برای تغذیه و قدرت بخشیدن به عامل‌ها استفاده می‌شود، ممکن است نشت کرده و اطلاعات حساس را افشا کند.
• شکاف ردیابی: پیچیدگی الگوریتم‌های یادگیری ماشین باعث می‌شود تصمیمات عامل‌ها به روش‌هایی گرفته شود که لزوماً برای انسان‌ها قابل درک یا حسابرسی (Audit) نباشد.
• ریسک‌های بین-عاملی: پروتکل‌های جدیدی مثل پروتکل زمینهٔ مدل (MCP) و پروتکل‌های عامل-به-عامل اجازه تعامل عامل‌ها در پلتفرم‌های مختلف را می‌دهند. این موضوع بهره‌وری را بالا می‌برد اما حملات امنیتی را به دلیل دسترسی گسترده‌تر به سیستم‌های متصل، ویرانگرتر می‌کند.

خلأ قانونی و چارچوب‌های جدید

قانون‌ها از فناوری عقب‌ترند. قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) اجرای قوانین مربوط به سیستم‌های پرخطر را تا دسامبر ۲۰۲۷ برای سیستم‌های مستقل و اوت ۲۰۲۸ برای محصولات رگوله شده به تعویق انداخته است. در حالی که وظایف مربوط به شفافیت و سواد هوش مصنوعی به تعویق نیفتاد، اما کنترل‌های حاکم بر عامل‌ها در حوزه‌های حساس — مثل بهداشت و استخدام — برای حدود ۱۶ ماه آینده، بیشتر سازمانی خواهند بود تا قانونی.

در آمریکا، چارچوب مدیریت ریسک NIST AI RMF 1.0 ساختاری داوطلبانه بر اساس چهار تابع ارائه می‌دهد: سیاست‌های متقاطع و پاسخگویی، زمینه ریسک در سطح سیستم، ارزیابی ریسک، و درمان ریسک/پاسخ به حوادث. مؤسسه بروکینگز اشاره می‌کند که تابع سوم — یعنی ارزیابی کمی و کیفی ریسک — به دلیل نبود داده یا زیرساخت، بیشترین چالش‌های اجرایی را ایجاد می‌کند.

برای پر کردن این خلأ، مجمع جهانی اقتصاد ابزار «پروفایل قابلیت و مجوز عامل» (Agent Capability and Authorization Profile) را توسعه داده است. این ابزار بین «آنچه عامل می‌تواند انجام دهد» (قابلیت) و «آنچه مجاز است انجام دهد» (پروفایل) تفکیک قائل می‌شود. این کار باعث می‌شود زمینه عملیاتی، مجوزها، کنترل‌ها و مالکیت برای یک گردش‌کار خاص، صریح و روشن شود. هر عامل احتمالاً چندین پروفایل دارد که باید مکمل ارزیابی فنی سیستم زیربنایی باشند، نه جایگزین آن.

حاکمیت مؤثر اکنون نیازمند ارزیابی ۵ عامل متقابل است:

1. قابلیت (Capability): محدودیت‌های فنی و آنچه عامل قادر به انجامش است.
2. اختیار (Authority): مجوزهای خاص و حقوق دسترسی اعطا شده.
3. معماری (Architecture): نحوه ساختار عامل و نحوه تعامل آن با سایر ابزارها.
4. زمینه (Context): محیط خاص و گردش‌کاری که عامل در آن عمل می‌کند.
5. پیامد (Consequence): تأثیر احتمالی یک شکست که بسته به مرحله تغییر می‌کند. برای مثال، یک مدل در بازیابی اطلاعات کم‌ریسک است، اما هنگام تغییر سوابق، ارتباطات یا شروع تراکنش‌های مالی، پرخطر می‌شود.

نابرابری جهانی در ایمنی

شکافی بین شمال و جنوب جهانی در حال شکل‌گیری است. مدل‌های کوچک‌تر، چندزبانه، باز یا قابل استفاده مجدد، دسترسی کشورهای کم‌درآمد را به عامل‌ها تسهیل می‌کند زیرا نسبت به تحولات دیجیتال کامل، به توان پردازشی (Compute) کمتری نیاز دارند. اما تخصص رگولاتوری، ظرفیت تست و قدرت چانه‌زنی به طور نابرابر توزیع شده است.

این ظرفیت نابرابر ریسک‌های بزرگی ایجاد می‌کند:

• سوگیری داده‌ها: سوگیری در داده‌های منبع می‌تواند منجر به عامل‌هایی شود که نیازهای جوامع خاص را نادیده می‌گیرند.
• سوءاستفاده‌های استبدادی: در برخی زمینه‌ها، هوش مصنوعی عامل‌محور می‌تواند با نیت بدخواهانه برای ردیابی مخالفان سیاسی یا پیشبرد دیس‌اینفورمیشن (اطلاعات گمراه‌کننده) استفاده شود.
• اختلال در بازار کار: نیاز به بازآموزی برای کسانی که در حوزه کدنویسی و خدمات مشتریان هستند و با اتوماسیون سریع روبرو شده‌اند، دوچندان شده است.

مسیر رسیدن به ایمنی عملیاتی

برای تبدیل اصول کلی (مانند فرآیند هیروشیما تحت رهبری G7) به کنترل‌های عملیاتی، بروکینگز و پنل WEF در مه ۲۰۲۶ در واشینگتن، پنج مسیر عملی پیشنهاد می‌دهند:

• مجوزهای سخت‌گیرانه و دسترسی: اجرای مدل‌های مجوزدهی ساختاریافته که مالک عامل را مشخص کند. این شامل حفاظ‌ها (Guardrails) برای اعتبارسنجی ورودی و فیلتر محتوا جهت توقف اقدامات، و محدودیت‌ها (Constraints) شامل مرزهای داده، سقف‌های هزینه/زمان و محدودیت‌های عملیاتی است. شواهد ردیابی‌پذیر ضروری است، همان‌طور که در مقاله سفید اکتبر ۲۰۲۵ بنیاد OpenID درباره هویت عامل‌ها، قانون AI اتحادیه اروپا و NIST AI RMF ذکر شده است.
• حاکمیت در لحظه اجرا: ایجاد حلقه‌های بازخورد قوی بین استقرارکنندگان و توسعه‌دهندگان با استفاده از ردیابی سرتاسری (End-to-end tracing)، درگاه‌های متمرکز و داشبوردهای مشترک. این امر نظارت مستمر، ثبت وقایع (Logging)، ارجاع به سطوح بالاتر و جبران تصمیماتی که در چند ثانیه گرفته می‌شوند را ممکن می‌کند. قانون AI اتحادیه اروپا این الزامات را برای دسته‌های پرخطر مثل بهداشت و استخدام با جریمه‌ها پشتیبانی می‌کند، هرچند هنوز اجرایی نشده‌اند.
• محک‌های پیشرفته: عبور از نرخ موفقیت ساده به سمت «ردیابی مسیر» (Trajectory Tracking) برای مشاهده زنجیره تصمیمات، «پایه‌گذاری واقعی» (Factual Grounding) با استفاده از پروب‌های خودکار یا داوران مبتنی بر دستورالعمل برای تأیید منابع مورد اعتماد، و «تیم قرمز متخاصم» (Adversarial Red Teaming) برای تست استرس با تهدیدات واقعی. ارزیابی‌های قابل شخصی‌سازی در طراحی و ارزیابی‌های اثر پیش از استقرار، کلیدی هستند.
• تست‌های مشوق: استفاده از محیط‌های ایزوله (Sandbox) برای تست تصمیم‌گیری پیش از استقرار. سازمان‌ها می‌توانند از ISO/IEC 42001، اولین استاندارد سیستم مدیریت بین‌المللی قابل گواهینامه برای AI، برای آمادگی در برابر تعهدات اتحادیه اروپا استفاده کنند. ابزار AI Verify سنگاپور و چارچوب حاکمیت مدل AI برای هوش مصنوعی عامل‌محور (ژانویه ۲۰۲۶)، مدل‌های پیشرویی برای تست انصاف و استواری ارائه داده‌اند.
• تعامل‌پذیری بین‌المللی: پذیرش استانداردهای باز مثل پروتکل زمینهٔ مدل (MCP) برای مدیریت تعاملات بین‌پلتفرمی. این کار اجازه می‌دهد اهداف ایمنی هسته و همراستایی با حقوق بشر در سطح جهانی حفظ شود، در حالی که انطباق‌های محلی — مثل تمرکز سنگاپور بر شفافیت در جنوب شرق آسیا یا تمرکز ابتکار هاب منطقه‌ای AI آفریقا بر اخلاق و همکاری با دانشگاه‌ها — امکان‌پذیر باشد.

این تغییر نیازمند یک مدل «مسئولیت مشترک» است. توسعه‌دهندگان، استقرارکنندگان و کاربران باید حاکمیتی را خلق کنند که به اندازه کافی برای محافظت از کاربران مستحکم و برای عملکرد در محیط‌های کم‌ظرفیت، کاربردی باشد؛ فرآیندی که باید جامعه مدنی، دانشگاهیان و جوامع متأثر را نیز در بر گیرد.

گام بعدی شما

• اگر در حال استقرار عامل‌های هوش مصنوعی در سازمان هستید، از مدل «حاکمیت دوتایی» فاصله بگیرید و برای هر عامل یک «پروفایل مجوز» مجزا تعریف کنید.
• برای کاهش ریسک تزریق پرامپت، لایه‌های اعتبارسنجی ورودی (Input Validation) را پیش از رسیدن داده به هستهٔ عامل قرار دهید.
• استانداردهای ISO/IEC 42001 را برای تدوین سیستم مدیریت هوش مصنوعی در شرکت خود بررسی کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell و نقش آن‌ها در استنتاج عامل‌محور مراجعه کنید.