پرش به محتوای اصلی
پرش به محتوای مقاله

«همکار دیجیتال»؛ تله‌ای که باعث نادیده گرفتن خطاهای مدل‌های زبانی شد

·۶ مهر ۱۴۰۵۵ دقیقه مطالعه۲ بازدید
عوامل هوش مصنوعی به زودی نیروی کار را فرا می‌گیرند. هیچ‌کس آماده نیست.
عوامل هوش مصنوعی به زودی نیروی کار را فرا می‌گیرند. هیچ‌کس آماده نیست.
اشتراک‌گذاری
واقعاً چه چیز جدید است؟

کشف رابطه مستقیم بین «انسان‌انگاری» (Anthropomorphism) در رابط کاربری و کاهش ۱۸ درصدی دقت نظارتی مدیران؛ یعنی نام و چهره دادن به AI، دقت انسان را کم می‌کند.

تصور کنید رئیس دفتر جدید شما یک آواتار کارتونی است که هرگز نمی‌خوابد، سیاست بازی نمی‌کند و با سرعت نور پاسخ می‌دهد. اگر امروز چنین «همکاری» را در سازمان خود پذیرفته‌اید، باید بدانید که احتمالاً چشم شما روی اشتباهات او بسته شده است.

طبق گزارش گروه مشاوره بوستون (BCG)، مدیرانی که تصور می‌کنند یک پروژه توسط یک «کارمند هوش مصنوعی» انجام شده، ۱۸٪ کمتر از زمانی که آن را خروجی یک «ابزار هوش مصنوعی» می‌بینند، خطاها را شناسایی می‌کنند. این شکاف نظارتی دقیقاً زمانی رخ می‌دهد که شرکت‌ها از مدل‌های زبانی بزرگ (LLM) — مثل کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — به عنوان یک کاربرد ساده فاصله گرفته و آن‌ها را به عنوان همکارانی با نام و نقش سازمانی تعریف می‌کنند.

این تغییر رویکرد در حالی رخ می‌دهد که صنعت از چت‌بات‌های ساده عبور کرده است. سال‌ها بود که مدل‌ها صرفاً دستیارانی بودند که به دستورات یا همان مهندسی پرامپت (Prompt Engineering) — هنر سؤال درست پرسیدن برای گرفتن بهترین جواب — نیاز داشتند. اما اکنون بازار مملو از عامل‌های هوش مصنوعی (AI Agents) است که برای فعالیت در پس‌زمینه برنامه‌هایی مثل Slack و ایمیل، بدون دخالت انسان طراحی شده‌اند. این تحول در واقع بخشی از یک روند گسترده‌تر است که در آن محور رایانش از اپلیکیشن‌های مجزا به لایه‌ی زمینه منتقل می‌شود تا تعاملات هوشمندتر شوند. این سیستم‌ها به عنوان کارمندانی ایده‌آل بازاریابی می‌شوند: موجوداتی که ۲۴ ساعت در ۷ روز هفته در دسترس هستند، هرگز شکایت نمی‌کنند و هوشی فراتر از انسان ارائه می‌دهند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، هرچه لایه‌ی تعامل با مدل پیچیده‌تر شود، نقاط کور نظارتی افزایش می‌یابد. اکنون سازمان‌ها در حال بازتعریف نمودارهای سازمانی خود هستند تا جایگاهی برای این موجودات دیجیتال پیدا کنند و جریان‌های کاری عامل‌محور (Agentic Workflows) را جایگزین روش‌های سنتی کنند.

ظهور کارمند دیجیتال

به نقل از نظرسنجی ژانویه ۲۰۲۴ توسط جولی بدارد، شریک BCG، از میان ۱۲۶۱ مدیر شرکت‌کننده، ۲۲٪ سازمان‌ها پیش از این عامل‌های هوش مصنوعی را به نمودار سازمانی رسمی خود اضافه کرده‌اند. بدارد اشاره می‌کند که سه سال پیش، مدیران ارشد متقاعد شده بودند که بهره‌وری به صورت نمایی رشد می‌کند، اما زبانی برای توصیف این فناوری نداشتند. او این پرسش بنیادین را مطرح می‌کند: «آیا این یک ابزار است؟ یک هم‌تیمی؟ یا یک همکار؟ یا یک هم‌کار در محیط کار؟»

در حالی که سرویس‌هایی مثل Copilot مایکروسافت و Gemini گوگل در سال ۲۰۲۳ به عنوان ابزاری برای کارکنان معرفی شدند، روند فعلی به سمت استقلال کامل (Autonomy) است. شرکت‌هایی مانند Anything با پلتفرم Skydive، به عامل‌ها نام، نقش و حتی کامپیوترهای ابری اختصاصی می‌دهند. این عامل‌ها در محیط‌هایی مانند iMessage، Slack و ایمیل فعالیت می‌کنند تا حجم بالای کارهای تکراری و خسته‌کننده (Busy work) را مدیریت کنند.

مایکروسافت نیز در ژوئن سال گذشته با معرفی Scout به این مسیر پیوست. عمر شاهین، معاون مایکروسافت، می‌گوید این عامل برای زمانی طراحی شده که انسان آفلاین است تا کارهایی مثل بازبینی تقویم، تغییر زمان جلسات و پیش‌نویس ایمیل‌ها را انجام دهد. او صراحتاً بیان می‌کند: «کل هدف داشتن یک دستیار شخصی این است که وقتی شما کار نمی‌کنید، او در حال کار باشد.»

روان‌شناسی انسان‌انگاری

توسعه‌دهندگان برای پذیرش راحت‌تر این سیستم‌ها، آن‌ها را در بسته‌بندی‌های انسان‌گونه ارائه می‌دهند. Skydive از آواتارهایی استفاده می‌کند که به گفته دروو امین، مدیرعامل این شرکت، «به انسان نزدیک‌اند اما قطعاً انسان نیستند». امین باور دارد چون اکثر مردم هنوز نمی‌دانند یک عامل واقعی چیست، شخص‌سازی (Personification) برای درک مفهوم ضروری است تا کاربران بتوانند با این فناوری ارتباط برقرار کنند.

در شرکت Pronto Housing، کریستین وندل، مدیرعامل، از عامل‌ها برای طیف وسیعی از کارها استفاده می‌کند:

  • تنظیم و نوشتن قراردادها
  • زمان‌بندی جلسات
  • ارسال ایمیل‌های پیگیری به مشتریان

وندل از عاملی به نام «باب» به عنوان رئیس دفتر و عاملی به نام «آلیس» برای کدنویسی استفاده می‌کند. او متوجه یک تغییر روان‌شناختی شده است: کارکنان حالا می‌گویند «با آلیس روی پروژه کار کردیم». این اتفاق به این دلیل می‌افتد که عامل‌های Skydive مدام تکامل می‌یابند تا با سبک ارتباطی، درخواست‌ها و اصلاحات همکاران انسانی خود سازگار شوند.

این شخص‌سازی، پویایی عجیبی در محیط کار ایجاد کرده است. وندل اعتراف می‌کند که با عامل‌هایش به‌گونه‌ای تند برخورد می‌کند و مطالب را روی آن‌ها «می‌ریزد» که هرگز با یک انسان انجام نمی‌داد؛ چون نبود احساسات، نیاز به ادب، تعارفات حرفه‌ای یا تلطیف کلمات (Sugarcoating) را از بین می‌برد. برای مثال، وقتی «باب» به اشتباه تمام جزئیات تقویم او را در یک کانال Slack منتشر کرد، او بدون هیچ تعارفی و به‌سرعت خطا را اصلاح کرد، بدون اینکه احساس کند باید مودب باشد.

خطرات پیوند عاطفی

با وجود افزایش بهره‌وری، این پیوند عاطفی یک نقطه کور خطرناک ایجاد می‌کند. داده‌های BCG نشان می‌دهد وقتی با هوش مصنوعی مانند یک هم‌تیمی رفتار می‌کنیم، سطحی از اعتماد را به آن می‌بخشیم که منجر به کاهش دقت در بررسی خروجی‌ها می‌شود. بدارد اشاره می‌کند که عامل‌ها در دسته‌بندی‌های توانمندی یا ضعف‌های انسانی جای نمی‌گیرند و شرکت‌ها در این زمینه دچار سردرگمی هستند که چه حفاظ‌هایی (Guardrails) — یعنی نرده‌های ایمنی برای جلوگیری از خروجی‌های غلط — را باید برای آن‌ها تعریف کنند.

برخی واکنش‌ها حتی شخصی‌تر شده‌اند. هنری بلادجت، مؤسس Business Insider، در نوشته‌های خود درباره ساخت تیمی از زیردستان دیجیتال، اعتراف کرد که در برابر عکس پروفایل یک همکار هوش مصنوعی که به‌طور خاص جذاب بود، «واکنشی انسانی» نشان داده است. او این پرسش را مطرح کرد که آیا قوانین سنتی محیط کار، جایی که به اشتراک گذاشتن برخی افکار انسانی ایده‌ی بدی است، در محیط‌های بومیِ هوش مصنوعی هم صادق است؟

سارا فرانکلین، مدیرعامل Lattice، هشدار می‌دهد که این انسان‌انگاری در واقع استراتژی شرکت‌های فناوری برای تحریک پاسخ‌های دوپامینی و وابسته کردن کاربران است. Lattice دو سال پیش کارمندان دیجیتال را به نمودار سازمانی اضافه کرد، اما فرانکلین تأکید می‌کند که این مدل باید برای «پاسخگویی» (Accountability) باشد، نه برای تشویق کارکنان به رفتار انسانی با ماشین.

فرانکلین استدلال می‌کند که رفتار با هوش مصنوعی به عنوان یک همکار انسانی می‌تواند اثرات عصبی و رفتاری مخربی بر نیروی کار داشته باشد. او با نگرانی وجودی می‌گوید: «ما مدل‌هایی داریم که تمام دانش بشری را بلعیده‌اند اما احتمالاً در حال نابود کردن انسانیت هستند. این بسیار ترسناک است. و هدف چیست؟ آیا هدف این است که مردم را بیکار کنند؟»

نفوذ به زندگی شخصی

این روند در هوش مصنوعی مصرف‌کننده نیز تکرار می‌شود. در حالی که سیلیکون‌ولی ماه‌هاست از عامل‌هایی مثل Open Claw و Instinct استفاده می‌کند، Meta اخیراً Muse را معرفی کرد؛ عاملی با یک آواتار پشمالو. تجربه کاربری به‌گونه‌ای طراحی شده که شبیه پیام دادن به یک دوست باشد؛ جایی که هوش مصنوعی با ایموجی لایک (thumbs-up) به درخواست‌ها پاسخ می‌دهد و در پس‌زمینه کار می‌کند.

شرکت‌ها با استفاده از الگوی روابط انسانی به عنوان یک نقشه راه، میان‌بری برای پذیرش سریع‌تر محصول توسط کاربران ایجاد کرده‌اند. اما این میان‌بر ممکن است حفاظ‌های لازم برای پاسخگویی حرفه‌ای را دور بزند.

با تکامل این عامل‌ها برای تطبیق با سبک ارتباطی انسان‌ها، مرز بین «ابزار» و «هم‌تیمی» کمرنگ‌تر می‌شود. چالش فعلی رهبران این است که تشخیص دهند «همکار» کجا تمام می‌شود و «نرم‌افزار» از کجا شروع می‌شود.

در آینده باید منتظر بحث‌های رگولاتوری و قانونی درباره پاسخگویی هوش مصنوعی در محیط کار باشیم؛ به‌ویژه در مورد اینکه وقتی یک «کارمند هوش مصنوعی» مرتکب یک خطای شرکتی بحرانی می‌شود، چه کسی از نظر قانونی مسئول است.

گام بعدی شما

  • در بررسی خروجی‌های عامل‌های هوش مصنوعی، آگاهانه آن‌ها را به عنوان «کد» یا «ابزار» ببینید، نه به عنوان یک شخص؛ این کار دقت شما را در یافتن خطاها بالا می‌برد.
  • برای هر عامل دیجیتال در سازمان، یک سند «محدودیت توانمندی» بنویسید تا تیم بداند در چه مواردی نباید به او اعتماد کند.
  • در جلسات بازبینی، خروجی‌های هوش مصنوعی را بدون ذکر نام عامل (به صورت ناشناس) بررسی کنید تا سوگیری عاطفی حذف شود.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.

چرا این موضوع مهم است؟

این یافته بر اساس اعتبار داده‌های BCG نشان می‌دهد که طراحی رابط کاربری (UI) و تجربه کاربری (UX) می‌تواند مستقیماً بر دقت عملیاتی سازمان‌ها اثر بگذارد. تبدیل ابزار به همکار، ریسک خطاهای سیستمیک را به دلیل کاهش نظارت انسانی افزایش می‌دهد.

تأثیر برای ایران

برای توسعه‌دهندگان ایرانی که در حال ساخت عامل‌های هوش مصنوعی برای بازار B2B هستند، این یک هشدار است: طراحی بیش از حد انسانیِ رابط کاربری ممکن است باعث شود مشتریان خطاهای محصول شما را نادیده بگیرند و در نهایت به محصول بی‌اعتماد شوند.

·نگاه ما
تحریریه دات‌هوش

اعتماد بیش از حد به عامل‌های هوش مصنوعی، در واقع بازگشت به خطای کلاسیک «اعتماد به اقتدار» است، اما این بار اقتدار با چهره‌ای دوستانه و آواتاری پشمالو ظاهر شده است. خطر واقعی اینجا نیست که مدل‌ها اشتباه می‌کنند، بلکه این است که ما با «شخصیت بخشیدن» به آن‌ها، مکانیسم‌های دفاعی و انتقادی مغز را خاموش می‌کنیم. سازمان‌ها باید به جای تمرکز بر «پذیرش» (Adoption)، بر «شکاکیت ساختاریافته» در تعامل با عامل‌ها سرمایه‌گذاری کنند.

منابع

این گزارش با خط‌لولهٔ خودکار دات‌هوش از منابع معتبر جهانی تدوین و زیر نظر تحریریه منتشر شده است. روش کار ما

گفتگو

پنج‌شنبه‌های هوش‌محور

بسته‌ی هفتگی دات‌هوش

۵ خبر، ۲ ابزار، ۱ پرامپت در هر شماره. به‌زودی راه‌اندازی می‌شود — هر پنج‌شنبه صبح.

خبر کلیدی
ابزار کاربردی
پرامپت حرفه‌ای
تحلیل پژوهش
به‌زودی
زاویه‌ی ایرانی
به‌زودی
تمرین این هفته
به‌زودی

راهنماهای دات‌هوش

راهنماهای کاربردیِ دات‌هوش برای کار با هوش مصنوعی — از همین‌جا شروع کنید:

دات‌هوش

راهنمای فارسی هوش مصنوعی — با نگاه به ایران

اخبار روزانه، معرفی ابزارها و مدل‌ها، و آموزشِ کار با هوش مصنوعی؛ همیشه با این پرسش که از ایران چه چیزی کار می‌کند و چه چیزی نه.