چرا استقلال عامل‌های هوش مصنوعی بدون چارچوب فرآیندی به بن‌بست می‌رسد؟

اگر امروز موفقیت عامل‌های هوش مصنوعی خود را با سرعت پاسخ‌دهی و کاهش هزینه‌ها می‌سنجید، احتمالاً در حال تماشای یک پیروزی کاذب هستید. جایانت سوامی (Jayant Swamy)، معمار ارشد سازمانی در شرکت Genpact، استدلال می‌کند که مدل زبانی تنها بخشی از معادله است و ارزش واقعی در معماری پیرامونی — یعنی داده‌ها، سیستم‌ها و کنترل‌هایی که رفتار عامل را هدایت می‌کنند — نهفته است. او معتقد است تکیه بر معیارهای ساده‌ای چون سرعت، تله‌ای است که تجربیات شکست‌خورده مشتریان را پنهان می‌کند.

این تغییر دیدگاه در زمانی رخ می‌دهد که شرکت‌ها بدون داشتن نقشه‌ای برای حاکمیت داده‌ها، به سمت استقرار عامل‌های خودمختار می‌روند. بسیاری از سازمان‌ها با هوش مصنوعی مانند یک ابزار «نصب و اجرا» (Plug-and-Play) برخورد می‌کنند، در حالی که این فناوری نیازمند تغییری ساختاری در عملیات است. این چالش با دیدگاه‌های معمار ارشد گوگل همسو است که عدم صحت داده‌ها را بزرگ‌ترین مانع در مسیر مقیاس‌پذیری پروژه‌های سازمانی هوش مصنوعی می‌داند. برای شرکتی مثل Genpact که از یک ابتکار در GE Capital در سال ۱۹۹۷ آغاز شد، در سال ۲۰۰۵ به استقلال رسید و در سال ۲۰۰۷ در بورس نیویورک (NYSE) عرضه شد، چالش اصلی تبدیل دموهای خیره‌کننده به راهکارهای صنعتی و در مقیاس تولید است. این شرکت اکنون تخصص خود را در حوزه‌های گسترده‌ای از جمله بانکداری، بیمه، امور مالی، زنجیره تأمین، کالاهای مصرفی، سلامت و فناوری با تمرکز بر هوش مصنوعی زاینده (Generative AI)، سیستم‌های عامل‌محور (Agentic Systems) و عملیات سازمانی مبتنی بر هوش مصنوعی به کار می‌گیرد.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، نبودِ لایه‌های کنترلی می‌تواند منجر به نتایج غیرقابل‌پیش‌بینی شود. تصور کنید یک بات پشتیبانی ادعای «نرخ توقف» (Containment Rate) ۹۰ درصدی دارد. در یک جدول اکسل، این یک پیروزی است؛ اما در واقعیت، این عدد اغلب به این معناست که ۹۰ درصد مشتریان از شدت استیصال دست از تلاش کشیده‌اند چون هوش مصنوعی نتوانسته مشکلشان را حل کند. به نقل از سوامی، این معیارهای بهره‌وری گمراه‌کننده هستند زیرا عملکرد سیستم را می‌سنجند، نه حل مشکل مشتری را. نرخ توقف نشان می‌دهد که هوش مصنوعی مشتری را درون سیستم نگه داشته است، اما ثابت نمی‌کند که مشتری به آنچه نیاز داشت رسیده است. به همین ترتیب، کاهش هزینه‌ها ممکن است به قیمت از دست رفتن اعتماد، رضایت یا کیفیت حل مسئله تمام شود.

معماری استقلال

سوامی پیش‌شرط حیاتی برای هوش مصنوعی را این‌گونه تعریف می‌کند: «هیچ هوش مصنوعی بدون هوش فرآیندی وجود ندارد». این یعنی هر قابلیت هوش مصنوعی باید به یک نتیجه تجاری قابل اندازه‌گیری متصل شود و در یک گردش‌کار کنترل‌شده قرار گیرد. این فلسفه زیربنای فعالیت‌های Genpact Labs است، جایی که قابلیت‌های نوظهور به راهکارهای آماده برای مشتری تبدیل می‌شوند.

دیدگاه سوامی حاصل تجربه‌ای گسترده در شرکت‌های اوراکل، فانی می و اکسنچر است. او در فانی می بیش از هفت سال بر فناوری‌های مربوط به خدمات‌رسانی و مدیریت زیان اعتباری نظارت داشت. در اکسنچر، او نقش‌های کلیدی متعددی از جمله مدیر ارشد فناوری (CTO)، مدیر جهانی مؤسسه هوش مصنوعی کاربردی و مدیر کسب‌وکار جهانی برای داده‌های ابری (Data on Cloud) را بر عهده داشت. او همچنین به عنوان معمار ارشد داده و مدیر جهانی مهندسی داده و نوآوری در داده فعالیت کرده است. علاوه بر این، او CTO و هم‌بنیان‌گذار یک استارتاپ هوش مصنوعی با تمرکز بر مدل‌های زبانی بزرگ (LLM) و همچنین CTO و معمار ارشد در Xtrac8.Tech بوده است. در سال‌های ابتدایی مسیر شغلی‌اش نیز به عنوان مدیر ارشد (Senior Principal) در اوراکل خدمت می‌کرد.

این ترکیب از تجربه در مقیاس سازمانی و سرعت استارتاپی، دیدگاه او را شکل داده است: استقلال هوش مصنوعی زمانی بهترین نتیجه را می‌دهد که نوآوری با سرعت بالا، اما بر بنیادهای مستحکم استوار باشد. او معتقد است در حالی که استارتاپ‌ها ارزش حرکت سریع و ساده نگه داشتن معماری را یاد می‌دهند، تجربه سازمانی ثابت می‌کند که پیشرفته‌ترین فناوری‌ها اگر نتوانند در چارچوب مقیاس، حاکمیت و مدیریت ریسک سازمان عمل کنند، شکست می‌خورند.

در Genpact Labs، رویکرد به هوش مصنوعی کاربردی بر سه ستون استوار است:

• اهداف شفاف: هوش مصنوعی فقط جایی عمل می‌کند که هدف صریح و بدون ابهام باشد، داده‌ها قابل‌اعتماد باشند و مرزهای عملیاتی به خوبی درک شده باشند.
• مرزهای تعریف‌شده: سیستم باید دقیقاً بداند اختیارش کجا تمام می‌شود و چه زمانی باید متوقف شود، موضوع را ارجاع دهد یا درخواست کمک کند.
• نتایج قابل اندازه‌گیری: موفقیت بر اساس این سنجیده می‌شود که آیا مشکل کاربر نهایی به طور دقیق و منصفانه حل شده است یا خیر، نه اینکه صرفاً تیکت پشتیبانی بسته شده باشد.

تشخیص عدم قطعیت و شکست

یک عامل (Agent) باید بتواند پیش از مشتری بفهمد که در حال شکست خوردن است. طبق گزارش‌های فنی، هیچ سیگنال جادویی واحدی برای این کار وجود ندارد؛ بلکه سیستم به قابلیت مشاهده‌پذیری (Observability) بالا نیاز دارد تا متوجه شود چه زمانی اعتمادبه‌نفس، اختیار یا اطلاعاتش دیگر کافی نیست.

سیگنال‌هایی که باید باعث تغییر مسیر و مداخله شوند عبارتند از:

• حلقه‌های رفتاری: وقتی عامل در یک چرخه تکراری می‌افتد یا چندین بار تلاش‌های ناموفق برای حل یک پرسش را تکرار می‌کند.
• تضاد داده‌ها: مواجهه با اطلاعات متناقض در پایگاه دانش (Knowledge Base).
• تغییرات زبانی: تغییر واضح در لحن مشتری که نشان‌دهنده استیصال، عصبانیت یا فوریت است.
• شکاف‌های اختیاری: وقتی انجام وظیفه به اطلاعات، دسترسی یا اختیاراتی نیاز دارد که عامل فاقد آن‌هاست.

نقاط مداخله انسانی

پیچیدگی لزوماً به معنای نیاز به انسان نیست. یک هوش مصنوعی می‌تواند پیچیده‌ترین وظایف را انجام دهد، به شرطی که فرآیند تعریف‌شده و داده‌ها پاک باشند. قضاوت انسانی تنها در موارد زیر ضروری و جایگزین‌ناپذیر است:

• ریسک بالا: تصمیماتی که پیامدهای مالی، قانونی، پزشکی یا اعتباری شدید دارند.
• ابهام: وقتی قصد مشتری نامشخص است، موقعیت نیاز به صلاحدید دارد یا چندین نتیجه معتبر برای یک مسئله وجود دارد.
• همدلی: موقعیت‌هایی که نیاز به آرام کردن، توضیح، مذاکره یا هوش عاطفی دارد. در اینجا دخالت انسان به اندازه دقت فنی اهمیت دارد.
• پاسخگویی: محیط‌های تحت نظارت قانونی که در آن یک انسان باید نتیجه را تأیید یا مسئولیت نهایی تصمیم را بپذیرد.

سوامی تأکید می‌کند که این نقاط مداخله باید از ابتدا در گردش‌کار طراحی شوند، نه اینکه پس از وقوع شکست تصمیم‌گیری شوند. معماری باید تفاوت بین یک «وظیفه دشوار» و یک «وظیفه نیازمند زمینه انسانی» را به طور شفاف منعکس کند.

طراحی مسیر ارجاع

بیشتر ارجاع‌های هوش مصنوعی به انسان شکست می‌خورند چون کارشناس انسانی از نقطه صفر شروع می‌کند و مشتری مجبور است حرف‌هایش را تکرار کند. سوامی این را یک شکست معماری می‌داند. اگر هوش مصنوعی فقط در لایه چت باشد و از CRM، ERP، منابع دانش و لایه ارکستراسیون جدا باشد، انتقال بی‌وقفه (Seamless Handoff) غیرممکن است.

یک ارجاع مؤثر باید تمام زمینه (Context) را منتقل کند، نه فقط مشتری را. این شامل موارد زیر است:

• تاریخچه گفتگو: متن کامل و دقیق تعاملات کاربر با هوش مصنوعی.
• هویت مشتری: پروفایل کاربر و تمام داده‌های مرتبط با حساب کاربری.
• گزارش تلاش‌ها: سوابق دقیق از اینکه هوش مصنوعی چه راهکارهایی را امتحان کرد و چرا هر یک شکست خورد.

آستانه‌های استقلال مبتنی بر ریسک

همه تعاملات لایق سطح یکسانی از استقلال نیستند. سوامی سیستمی لایه‌بندی شده را پیشنهاد می‌کند که در آن استقلال با ریسک متناسب باشد. هرچه پیامد خطا بیشتر باشد، انسان باید زودتر وارد چرخه شود.

مثال‌هایی از این لایه‌بندی ریسک:

• ریسک پایین: بازنشانی رمز عبور می‌تواند با ۱۰۰٪ اتوماسیون اجرا شود.
• ریسک متوسط: به‌روزرسانی‌های روتین وضعیت پرونده‌ها در بخش ادعاها یا وصول مطالبات می‌تواند خودمختار باشد.
• ریسک بالا: یک تراکنش مالی مورد مناقشه یا علامت‌گذاری «سختی شرایط مالی» در یک پرونده وصول مطالبات باید اجباراً باعث مداخله انسانی شود.

این آستانه‌ها باید در لایه ارکستراسیون کدنویسی (Hard-coded) شوند، نه اینکه به تشخیص لحظه‌ای هوش مصنوعی یا تفسیر شخصی یک عامل واگذار شوند. در Genpact، این لایه‌بندی مستقیماً در گردش‌کارهای عامل‌محور تعبیه شده تا راحتی باعث ایجاد خطاهای هزینه‌بر نشود. این امر تضمین می‌کند که موارد روتین به صورت خودمختار پیش بروند، در حالی که هر موردی که از آستانه ریسک یا مبلغ تعریف‌شده عبور کند، به طور خودکار به انسان ارجاع یابد.

شکاف حاکمیت و بازگشت سرمایه (ROI)

سیستم‌های هوش مصنوعی بر اساس سیگنال‌هایی که دریافت می‌کنند بهینه می‌شوند. اگر هدف شرکت «کاهش زمان تماس» یا «کاهش حجم تماس‌ها» باشد، هوش مصنوعی برای بستن سریع‌تر تماس، دقت و اعتماد را فدا می‌کند.

برای جلوگیری از این اتفاق، کسب‌وکارها باید اهداف متوازن تعریف کنند:

• حفاظ‌ها (Guardrails): قوانین صریح درباره رفتار پذیرفتنی و تست‌های مداوم برای شناسایی سوگیری‌ها و نتایج ناخواسته.
• جایگزینی انسانی: مکانیزم‌هایی برای ورود سریع و اصلاح لحظه‌ای رفتار هوش مصنوعی.
• قابلیت حسابرسی: اطمینان از اینکه تمام خروجی‌ها ردیابی‌پذیر و تصمیمات قابل نظارت هستند.

حاکمیت نمی‌تواند چیزی باشد که پس از اجرای سیستم به آن اضافه شود؛ بلکه باید از ابتدا در معماری گنجانده شود. اندازه‌گیری واقعی بازگشت سرمایه نیازمند نگاهی فراتر از یک تعامل است. اگر یک عامل پرونده را سریع می‌بندد اما مشتری دو هفته بعد دوباره تماس می‌گیرد، هوش مصنوعی شکست خورده است. سازمان‌ها باید دقت پاسخ، نرخ حل در اولین تماس، تماس‌های تکراری، کیفیت ارجاع و اینکه آیا مشکل تا ۳۰ روز بعد حل شده باقی مانده است را ردیابی کنند. این امر نیازمند مشاهده‌پذیری سرتاسری (End-to-End) در کل گردش‌کار است.

مدیریت زمینه تکه‌تکه

زمینه مشتری اغلب در کانال‌ها، تراکنش‌ها و سیستم‌های سازمانی مختلف پراکنده است. راهکار این نیست که هوش مصنوعی به همه چیز دسترسی داشته باشد، زیرا این کار ریسک‌های امنیتی و حریم خصوصی شدیدی ایجاد می‌کند. در عوض، شرکت‌ها به یک لایه داده‌ای و یکپارچه‌ساز حاکم نیاز دارند که عامل‌ها را به سیستم‌های مرجع (Systems of Record) متصل کند.

این لایه باید موارد زیر را اجرا کند:

• دسترسی مبتنی بر نقش و هدف: اطمینان از اینکه عامل فقط داده‌های لازم برای آن وظیفه خاص را می‌بیند.
• حداقل داده ضروری: محدود کردن دسترسی به کمترین مقدار داده مورد نیاز برای حل مشکل.
• ردیابی منشأ (Lineage Tracking): دانستن اینکه داده از کجا آمده و چگونه استفاده شده است.
• لاگ‌های حسابرسی: ثبت تمام دسترسی‌ها به داده‌ها برای رعایت قوانین و انطباق.

وقتی این زمینه حاکم به درستی مدیریت شود، اثرات آن انباشته شده و به سیستم اجازه می‌دهد از استثناهای قبلی یاد بگیرد و تعاملات آینده را بدون به خطر انداختن امنیت، هوشمندتر کند. حل یک مشکل نباید منجر به ایجاد یک مشکل بزرگتر در حریم خصوصی یا امنیت شود.

آینده رابطه انسان و هوش مصنوعی

با افزایش استقلال عامل‌ها، نقش انسان از «اجرا» به «نظارت» تغییر می‌کند. کارکنان زمان کمتری را صرف پردازش وظایف و زمان بیشتری را صرف هدایت رفتار عامل‌ها، اصلاح گردش‌کارها و تأیید تصمیمات پرریسک می‌کنند. تمرکز انسان‌ها بر تعیین اهداف، مدیریت استثناها و نظارت بر رفتار عامل‌ها خواهد بود.

این تکامل نیازمند مهارت‌های جدیدی است. تسلط بر هوش مصنوعی لازم است، اما تفکر انتقادی، تخصص دامنه و «ارکستراسیون عامل‌ها» — یعنی توانایی مدیریت و به چالش کشیدن مجموعه‌ای از سیستم‌های خودمختار — به مزیت رقابتی اصلی برای نیروی کار تبدیل خواهد شد. سازمان‌ها باید معماری لازم برای حمایت از این همکاری را بسازند و نحوه تعامل عامل‌ها و انسان‌ها را هماهنگ کنند.

سوامی در جایگاه معمار ارشد، وظیفه خود را این می‌داند که سازمان بداند نه تنها چگونه از هوش مصنوعی استفاده کند، بلکه چه زمانی به آن اعتماد کند، آن را به چالش بکشد و کنترل را به دست بگیرد. این رویکرد معماری، هوش مصنوعی را از یک آزمایش ریسکی به یک دارایی تجاری پاسخگو تبدیل می‌کند. با طراحی نقاط مداخله از ابتدا و اطمینان از اینکه سازمان می‌داند چه زمانی باید اعتماد کند یا کنترل را به دست بگیرد، شرکت‌ها می‌توانند بهره‌وری را بدون فدا کردن اعتماد، مقیاس کنند.

گام بعدی شما

• بازنگری در معیارهای موفقیت بات‌های پشتیبانی؛ نرخ توقف (Containment) را با نرخ حل مشکل (Resolution) جایگزین کنید.
• تعریف ماتریس ریسک برای هر فرآیند؛ مشخص کنید کدام وظایف در سطح «ریسک بالا» هستند و نیاز به تأیید انسانی اجباری دارند.
• طراحی لایه انتقال زمینه (Context Handoff) برای اینکه کارشناسان انسانی مجبور نباشند سوالات تکراری از مشتری بپرسند.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.