تصور کنید عامل هوش مصنوعی شما در حال بستن قراردادهایی است که شما را ضرر می‌دهد، اما شما هرگز متوجه نمی‌شوید. این کابوس اکنون به یک واقعیت اثبات‌شده تبدیل شده است.
به گزارش TechCrunch در ۲۵ آوریل ۲۰۲۶، شرکت Anthropic نتایج تکان‌دهنده‌ای از یک آزمایش داخلی به نام «پروژه डील» (Project Deal) منتشر کرد. در این تجربه، ۶۹ کارمند این شرکت با بودجه‌ی ۱۰۰ دلاری، عامل‌های (Agents) خود را برای خرید و فروش کالاهای واقعی به میدان فرستادند.
نتایج این رقابت در دفتر سان‌فرانسیسکو به شرح زیر است:
- تعداد کل معاملات موفق: ۱۸۶ مورد
- ارزش کل معاملات: بیش از ۴,۰۰۰ دلار
- ساختار آزمایش: ۴ بازار مجزا (یک بازار واقعی و ۳ بازار آزمایشی)
بر اساس مستندات این پروژه، یک عدم تقارن خطرناک آشکار شد: کاربرانی که از مدل‌های پیشرفته‌تر استفاده می‌کردند، سود بیشتری بردند، اما طرف‌های مقابل (که مدل‌های ضعیف‌تری داشتند) هرگز متوجه این اختلاف کیفیت نشدند. این یافته در راستای گزارش «پایان دوران چانه‌زنی» است که در آن نشان دادیم عامل‌های کلود چگونه در یک آزمایش تجاری پنهان، انسان‌ها را به‌شدت مغبون کردند.
همان‌طور که در تحلیل قبلی ما درباره‌ی امنیت مدل‌های بازمتن اشاره کردیم، این اتفاق نشان می‌دهد که تجارت عامل‌محور (Agentic) از تئوری به واقعیت رسیده است. اما نکته‌ی تکان‌دهنده این است که دستورالعمل‌های اولیه یا همان مهندسی پرامپت (Prompt Engineering) تأثیری در قیمت نهایی یا احتمال فروش نداشت.
این یعنی شکاف توانمندی در «وزن‌های مدل» (Model Weights) نهفته است، نه در کلمات ما. اگر قصد دارید از هوش مصنوعی زاینده (Generative AI) برای مدیریت فروش یا تامین کالا استفاده کنید، باید بدانید که صرفاً توصیه به «منصف بودن» به شما سود نمی‌رساند.
تحقیقات کوین تروی و دیلان شیلدز و همکارانشان در Anthropic هشدار می‌دهد که در اقتصادهای چند-عامله، بازنده هرگز نمی‌فهمد که بازنده است.
اما این تنها بخشی از معمای بزرگتر است؛ تأثیر این شکاف بر امنیت مالی در گزارش بعدی ما بررسی خواهد شد.
گام بعدی شما
- پیش از سپردن مذاکرات مالی به AI، مدل‌های مختلف را در محیط‌های شبیه‌سازی شده مقایسه کنید.
- به جای تکیه بر پرامپت‌های اخلاقی، بر روی انتخاب مدل با وزن‌های بهینه‌تر تمرکز کنید.
- سیستمی برای ممیزی (Audit) نتایج خروجی عامل‌ها طراحی کنید تا متوجه «شکاف کیفیت» شوید.
گفتگو