تصور کنید محصول شما در محیطی اجرا میشود که شما هیچ کنترلی روی رابط کاربری آن ندارید و نمیدانید کاربر دقیقاً کجا متوقف شده است. اگر برای توسعه ابزارهای عاملمحور (Agentic) تلاش میکنید، باید بدانید که بخش بزرگی از تعاملات کاربران شما اکنون در پنجرههای چت شخص ثالث رخ میدهد و شما کاملاً کور هستید. تیمهای محصول اکنون میتوانند ردیابی کنند که وقتی کاربران وظایف خود را به عاملهای هوش مصنوعی در محیطهای شخص ثالث میسپارند، چه اتفاقی میافتد.
اینجاست که Armature وارد میشود تا شکاف دید را پر کند. این پلتفرم یک SDK تخصصی ارائه میدهد که جلسات رخ داده در Claude Connectors، اپلیکیشنهای ChatGPT و سرورهای MCP را ثبت میکند و بدین ترتیب یک خلأ حیاتی در تحلیل محصولات مدرن AI را میپوشاند. زمانی که کاربر وظیفهای را به یک عامل (Agent) — شبیه به یک دستیار دیجیتال که میتواند به جای شما دکمهها را بزند و تصمیم بگیرد — در محیطی مثل Claude یا ChatGPT میسپارد، این جلسه در کلاینت AI اتفاق میافتد، نه در رابط کاربری شما. بنابراین ابزارهای سنتی تحلیل داده مثل PostHog، Amplitude یا Mixpanel که کلیکهای انسان روی رابط کاربری خود شرکت را ردیابی میکنند، در اینجا هیچ چیزی ثبت نمیکنند زیرا رابط کاربری محصول هرگز این تعامل را نمیبیند. طبق مستندات فنی این شرکت، Armature با پوشاندن لایه بکاند (Backend)، مثلاً یک سرور پروتکل زمینهٔ مدل (MCP)، تمام تبادلات را بدون تغییر در رفتار سرور برای کاربران، ضبط میکند.
همانطور که در تحلیلهای قبلی ما دربارهی استقرار مدلهای بازمتن اشاره کردیم، کنترل بر لایهی اجرا برای درک رفتار کاربر حیاتی است. Armature برای هر کلاینتی که کاربر به همراه میآورد طراحی شده است و این شامل Cursor، Codex، Gemini CLI و سایر رابطهای هوش مصنوعی میشود. اگر یک کلاینت بتواند به یک سرور MCP دسترسی داشته باشد، Armature میتواند آن جلسه را ثبت کند. در این راستا، برای تبدیل این عاملها به محصولات تجاری پایدار، میتوان از رویکردهای مدل پیشنهادی Edilec برای استقرار تدریجی بهره برد تا ریسکهای اجرایی کاهش یابد.
فرآیند راهاندازی تنها چند دقیقه زمان میبرد: کاربران ثبتنام میکنند، یک کلید API میسازند و آن را در اسرار استقرار (Deployment Secrets) قرار میدهند. با قرار دادن تنها یک پرامپت، یک عامل کدنویسی میتواند SDK را در بکاند سیمکشی کند و اجازه دهد جلسات بلافاصله جریان یابند. بر اساس مستندات فنی مورخ ۳ اوت ۲۰۲۶ در وبسایت armature.tech، این پلتفرم بر سه قابلیت اصلی تمرکز دارد:
گروهبندی موارد کاربرد
مدلها هر جلسه را میخوانند تا شناسایی کنند کاربر برای چه کاری آمده است. این موارد در گروههای «موارد کاربرد» قرار گرفته و بر اساس حجم و نرخ موفقیت رتبهبندی میشوند. مثالها عبارتند از:
- وظایف پشتیبانیشده: شناسایی اقداماتی با حجم بالا مانند «ایجاد و ارسال صورتحساب» (۳۸٪).
- وظایف پشتیبانینشده: شناسایی شکافها، مانند تلاش کاربران برای «استرداد وجه گروهی» (۱۴٪) در حالی که این قابلیت هنوز در محصول در دسترس نیست.
شناسایی مشکلات
مدلها هر جلسه را برای یافتن شکستها، حلقههای تکراری و بنبستها اسکن میکنند. این موارد بر اساس علت ریشهای گروهبندی شده و بر اساس نرخ مواجهه کاربر رتبهبندی میشوند، حتی زمانی که تمام پاسخهای API کد ۲۰۰ OK (موفقیتآمیز) بودهاند. مشکلات رایج شناسایی شده عبارتند از:
- حلقههای عامل: ۱۲۷ مورد تکرار به دلیل نبود دسترسیهای احرازهویت (که در هفته جاری ۴۳ مورد افزایش یافته است).
- شکافهای عبارتی: ۳۱ مورد که در آن جستوجو نتوانست عبارت «refund» (استرداد) را شناسایی کند.
- باگهای فنی: ۱۲ مورد قطع شدن خروجیها (Truncation) به دلیل محدودیتهای صفحهبندی (Pagination) یا برخورد با محدودیتهای نرخ درخواست (Rate Limits) در بهروزرسانیهای گروهی.
بازپخش جلسه
هر جلسه بر اساس اینکه آیا کاربر به آنچه خواسته بود رسید یا خیر، امتیاز میگیرد. توسعهدهندگان میتوانند تمام ردپای (Trace) جلسه را بازپخش کنند تا دقیقاً ببینند شکست در کجا رخ داده است. یک بازپخش دقیق شامل موارد زیر است:
- قصد کاربر: مثلاً «یک طرح پولی برای شرکت ACME فعال کن و برای آنها صورتحساب بفرست».
- فراخوانی ابزارها: توالی فراخوانیهای API مانند
list_customersوsend_invoice. - تفکر عامل: منطق داخلی مدل، مثلاً «صورتحساب نیاز به یک مخاطب برای صورتحساب دارد — تلاش مجدد با ایمیل مالک».
- نتیجه: یک امتیاز موفقیت نهایی (مثلاً امتیاز ۹۲) که مشخص میکند آیا وظیفه تکمیل شده است یا خیر.
برای حفظ امنیت، Armature با هر جلسه به عنوان داده حساس برخورد میکند زیرا این جلسات میتوانند حاوی اطلاعات شخصی و اسرار سیستم باشند. مدلهای شناسایی بهصورت پیشفرض اطلاعات هویتی (PII) و اسرار (Secrets) را قبل از اینکه هر دادهای به ذخیرهسازی برسد، اسکن و حذف (Redact) میکنند. کاربران کنترل کامل بر بازه زمانی نگهداری دادهها دارند و میتوانند در هر زمان دادهها را حذف کنند.
این تغییر رویکرد، تمرکز را از «رصد توسعهدهنده» (Developer Observability) به «تحلیل محصول» (Product Analytics) میبرد. در حالی که ابزارهایی مثل LangSmith یا Langfuse برای رصد عاملهایی ساخته شدهاند که مهندسان برای مهندسان میسازند، Armature به تیمهای محصول نشان میدهد که عاملهای کاربران چگونه آنچهe تحویل داده شده است را تجربه میکنند. با کمیّ کردن «نرخ شکست» در استدلال عاملها — که شبیه به بلند بلند فکر کردن شاگرد ریاضی برای رسیدن به جواب است — شرکتها میتوانند نقشه راه خود را بر اساس اصطکاک واقعی کاربر اولویتبندی کنند.
برای تیمهایی که امروز شروع میکنند، این سرویس برای ۱۰۰۰ جلسه اول در هر ماه رایگان است که شامل پروژههای نامحدود، کاربران نامحدود و ۷ روز نگهداری دادهها میشود. فراتر از آن، هزینه هر ۱۰۰۰ جلسه ۵۰ دلار است. همچنین طرحهای سفارشی برای ترافیکهای سازمانی که نیاز به پشتیبانی اولویتدار، توافقنامههای سطح خدمات (SLAs)، ورود یکپارچه (SSO/SAML)، گزارشهای حسابرسی (Audit Logs) و راه اندازی اختصاصی دارند، در دسترس است.
فرقی نمیکند برای Gemini CLI میسازید، Cursor یا Codex؛ اولین قدم این است که حسابرسی کنید چه مقدار از تعاملات کاربران شما اکنون خارج از رابط کاربری اصلیتان رخ میدهد. شما ممکن است متوجه شوید که ارزشمندترین بینشهای محصول شما در حال حاضر درون پنجرههای چت AI کاربرانتان زندانی شده باشند.
گام بعدی شما
- بررسی کنید چه درصدی از API Callهای شما از طریق کلاینتهای AI (مثل Cursor یا ChatGPT) ارسال میشود.
- اگر از MCP استفاده میکنید، لایه تحلیل Armature را برای شناسایی «وظایف پشتیبانینشده» تست کنید.
- نرخ شکست استدلال عاملهای خود را با نرخ خطای API مقایسه کنید تا شکافهای منطقی را بیابید.
اما داستان سختافزاریِ اجرای این مدلهای تحلیل در مقیاس بالا حتی شگفتانگیزتر است — به تحلیل ما دربارهی تراشههای Blackwell مراجعه کنید.
گفتگو