اگر امروز یک عامل هوش مصنوعی را برای مدیریت فرآیندهای حساس کسبوکارتان به کار گرفتهاید، احتمالاً با «اضطراب تصادفی» دستوپنجه نرم میکنید؛ یعنی لحظهای که مدل بدون هیچ دلیلی، مسیری اشتباه را انتخاب میکند. واقعیت این است که تکیه بر مهندسی پرامپت برای رفع این خطاها، مانند تلاش برای کنترل یک رودخانه با سدی از شن است. بسیاری شکست عاملهای تجاری را به پرامپتهای ضعیف نسبت میدهند، اما مسئله واقعی نبود یک روش سیستماتیک برای یادگیری از اشتباهات است. این چالشهای عملیاتی زمانی آشکارتر میشوند که عاملها در محیطهای واقعی مستقر شوند، مشابه تجرباتی که در مدیریت یک استودیوی تناسب اندام توسط ۹ عامل هوش مصنوعی مشاهده شد و اهمیت پایداری سیستم را برجسته کرد.
به نقل از راهنمای فنی وو جی (Wu Ji) که در ۱ اوت ۲۰۲۶ منتشر شد، یک عامل در سطح تولید (Production-grade) نیازمند یک حلقه نظارتی است که «حافظه نرم» مدلهای زبانی (LLM) را با «محدودیتهای سخت» مهندسی جایگزین کند. اکثر توسعهدهندگان تصور میکنند بهبود عامل با یک تمرین پرامپتنویسی ممکن است و به مدل میگویند «دفعه بعد دقیقتر باش». اما این رویکرد در مقیاس بالا شکست میخورد، زیرا حافظه مدلهای زبانی ناپایدار و مستعد فراموشی است. انتقال از یک نمونه آزمایشگاهی به یک سیستم تجاری viable، بستگی به این دارد که منطق «درستی» از وزنهای احتمالی مدل خارج شده و به معماری فیزیکی سیستم منتقل شود. بصیرت اصلی ساده است: بدون مشاهده، بهبودی در کار نیست. اولین قدم برای بهتر شدن، دانستن دقیق این است که کجا اشتباه کردهاید.
مسئله: توهم پایداری
در تکرارهای قبلی طراحی عامل، تمرکز بر مسیریابی صحنهها (Scene Routing)، طبقهبندی دو لایه و کانتینرهای جریان ترکیبی بود تا اطمینان حاصل شود که سیستم به طور پایدار اجرا میشود. با این حال، یک سوال بنیادین باقی میماند: وقتی سیستم اشتباه میکند، شما واقعاً از کجا میفهمید؟ در بسیاری از سیستمها، عامل گاهی ابزار اشتباهی را فراخوانی میکند یا خروجیای با فرمت نادرست تولید میکند که باعث شکست پارسینگ در مراحل بعدی میشود، اما هیچکس تا زمان شکایت کاربر متوجه این موضوع نمیشود.
یک سیستم تجاری دارای «کمال تکمرحلهای» یا one-shot perfection نیست. در عوض، بر یک حلقه سه قسمتی تکیه میکند: جایی که «دروازه» مشکلات را پیدا میکند، «حسابرسی» آنها را ثبت میکند و «رسوب اصلاحی» راهکار را سخت و تثبیت میکند. این رویکرد به نوعی مکمل سیستمهای پیشرفتهتری است که امکان بازگشت به عقب در گردشهای کاری عاملها را فراهم میکنند تا هرگونه خطا در مراحل مختلف قابل پیگیری و اصلاح باشد. این تنها راه برای عبور از یک دموی ساده که صرفاً «اجرا میشود» به سمت سیستمی است که از نظر تجاری کاربرد دارد.
سهگانه نظارتی (The Observability Trio)
برای دستیابی به این هدف، وو جی یک معماری سه لایه را پیشنهاد میکند که «سهگانه نظارتی» نامیده میشود.
اولین لایه دروازه (Gate) است؛ یک لایه اعتبارسنجی کامل ۱۰۰٪. برخلاف نظارتهای مبتنی بر نمونهبرداری (Sampling) یا یادآوریهای نرم، هر یک از خروجیها باید پیش از رسیدن به کاربر، از نقاط کنترل اعتبارسنجی پیشتعریفشده عبور کنند. در کد، این مورد به صورت یک تابع run_gates پیادهسازی شده است که در میان دروازههای SCENE_CONFIG پیمایش میکند. اگر مقدار result["passed"] غلط (False) باشد، سیستم دلیل شکست را ثبت کرده و خروجی را مسدود میکند. دروازه به عنوان یک محدودیت سخت عمل میکند: اگر خروجی عبور نکند، تحویل داده نمیشود؛ نقطه.
لایه دوم لاگ حسابرسی (Audit Log) است که توسط یک پایگاهداده SQLite مدیریت میشود. هر فراخوانی در دیتابیس ذخیره میشود تا رکورد کاملی از رفتار سیستم موجود باشد. این دادهها برای اینکه انسانها آنها را مرور کنند نیست، بلکه برای این است که سیستم بتواند آنها را بازخوانی کند تا الگوها را به طور خودکار تحلیل نماید. برای مدیریت امن این حجم از دادهها، بهویژه در محیطهای حساس، میتوان از استراتژیهایی مشابه سیستم حفاظتی airCloset برای دسترسی امن به لاگها استفاده کرد تا حریم خصوصی دادهها حفظ شود. جدول audit_log در SQLite شامل فیلدهای مشخصی است:
id: کلید اصلی با افزایش خودکار (Auto-increment)timestamp: زمان دقیق ثبت رکوردscene_id: شناسه صحنه (به عنوان مثال: ایمیل، قیمتگذاری یا گزارش)tool_calls: یک آرایه JSON از رکوردهای فراخوانی ابزارtokens_used: مجموع توکنهای مصرف شدهgate_passed: نشانگر باینری (۰ یا ۱)retry_count: تعداد تلاشهای انجام شدهerror_message: جزئیات اختیاری شکست
لایه سوم رسوب اصلاحی (Correction Sedimentation) است. این فرآیندی است که در آن یک خطای ثبت شده، برای یافتن علت ریشهای (Root Cause) تحلیل شده و سپس به یک قانون جدید «سخت» تبدیل میشود. هر اصلاح دستی به یک تغییر فیزیکی در قوانین تبدیل میشود — مانند بهروزرسانی یک اسکریپت تأیید یا افزودن یک چک در دروازه — تا همان اشتباه هرگز تکرار نشود. در حالی که یک نمونه اولیه به حافظه ناپایدار LLM تکیه میکند، یک سیستم تجاری از سختسازی در سطح مهندسی استفاده میکند.
پیادهسازی حلقه بازخورد
در یک پیادهسازی عملی، این حلقه به صورت یک چرخه تکاملی مداوم عمل میکند:
- اجرا: عامل منطق خود را اجرا کرده و ابزارهای لازم را فراخوانی میکند.
- اعتبارسنجی: لایه دروازه خروجی را از طریق توابع اعتبارسنجی بررسی میکند. اگر خروجی مسدود شود، سیستم علت را ثبت کرده و یا تلاش مجدد میکند یا موضوع را به یک اپراتور انسانی ارجاع میدهد.
- ماندگاری: کلاس
AuditLoggerیک رکورد از نوعAuditRecordرا کپچر کرده و در SQLite ذخیره میکند. این امر به سیستم اجازه میدهد تاfailed_ratio(نرخ رهگیری دروازه) را محاسبه کند که به عنوان معیار اصلی سلامت سیستم عمل میکند. - سختسازی: یک بازبین انسانی با استفاده از ابزاری مانند
failure_capture.pyیک خطا را ثبت میکند (مثلاً: «کاربر خواست ایمیل را به سانی فوروارد کند، اما عامل نرخهای حملونقل را جستوجو کرد»). علت ریشهای استخراج شده و به یک قانون سخت تبدیل میشود؛ به عنوان مثال، افزودن دروازهای به صحنه ایمیل که الزام کند قصد فوروارد کردن «باید» حتماً ابزار smtp را فراخوانی کند.
تحلیل: چرخش مهندسی
این متدولوژی، بار قابلیت اطمینان را از استدلال LLM به چارچوب مهندسی منتقل میکند. این تفاوت اساسی میان یک نمونه آزمایشگاهی و یک سیستم تجاری است. بهبودهای یک نمونه اولیه، محدودیتهای نرمی هستند که مدل در نهایت فراموش میکند؛ اما بهبودهای یک سیستم تجاری، محدودیتهای سختی هستند که فراموش کردن آنها از نظر فیزیکی غیرممکن است.
وو جی به یک تله حیاتی اشاره میکند که در طول توسعه کشف شد: پیادهسازی دروازه بدون لاگ حسابرسی. در حالی که دروازه خطاها را مسدود میکرد، نبود سوابق به این معنا بود که تیم نمیتوانست تحلیل کند چرا موارد مسدود شدهاند یا هر چند وقت یکبار این اتفاق میافتد. تنها پس از افزودن لاگ حسابرسی بود که آنها توانستند شناسایی کنند کدام دروازهها نرخ برخورد (Hit Rate) بالایی دارند (که نشاندهنده یک قانون کاربردی است) و کدامها نرخ برخورد پایینی دارند (که نشاندهنده یک قانون بیفایده است).
این رویکرد سیگنالدهنده یک چرخش بنیادین در هوش مصنوعی عاملمحور است: نظارت (Observability) دیگر صرفاً مربوط به مانیتورینگ زمان بالا بودن سرویس (Uptime) نیست، بلکه یک مکانیسم یادگیری اولیه است. برای توسعهدهندگان، این بدان معناست که تمرکز باید از «مهندسی پرامپت» به «مهندسی حلقه» تغییر یابد.
با تبدیل خطاها به دادههایی برای تولید قانون، شرکتها میتوانند عاملهایی بسازند که واقعاً در طول زمان قابلاعتمادتر شوند. اثر ثانویه این کار، کاهش «اضطراب تصادفی» مرتبط با استقرار LLMها در محیطهای تجاری با ریسک بالا است. اگر خطایی شکار شود و یک قانون رسوب کند، ریسک بازگشت آن شکست خاص به صفر میرسد.
خلاصه معماری سهگانه
| لایه | نقش | مشکلی که حل میکند | پیادهسازی |
|---|---|---|---|
| دروازه | یافتن مشکلات | خروجیهای غیرمنطبق | اسکریپت تأیید، بررسی کامل ۱۰۰٪ |
| لاگ حسابرسی | ثبت مشکلات | نبود راهی برای بازپخش رویدادها | SQLite، ثبت کامل هر فراخوانی |
| اصلاح | سختسازی راهکارها | اشتباهات تکرارشونده | تبدیل خطا به قانون فیزیکی |
این سیستم برای ماهها در محیط تولید تأیید شده است. اکنون، کاربر دیگر یک فرد پراگماتیست نیست که صرفاً امیدوار باشد سیستم اجرا شود، بلکه مهندسی است که به سیستم اجازه میدهد خودش را مشاهده کرده و تکامل یابد. در ادامه، ما عمیقتر به موضوع رسوب اصلاحی خواهیم پرداخت تا مکانیسم کامل انتقال از خطا به رکورد، سپس به علت ریشهای و در نهایت به یک قانون سخت را بررسی کنیم.
گام بعدی شما
- اگر از عاملهای AI در تولید استفاده میکنید، ابتدا یک لایه اعتبارسنجی (Gate) برای خروجیهای حساس تعریف کنید.
- تمام فراخوانیهای ابزار و پاسخهای مدل را در یک پایگاهداده ساختاریافته ذخیره کنید تا الگوهای خطا را شناسایی کنید.
- لیستی از «خطاهای تکرارشونده» تهیه کنید و برای هر کدام یک چکلیست کدنویسی (Hard Rule) بنویسید تا جایگزین پرامپتهای اصلاحی شوند.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است؛ برای درک اینکه این حجم از نظارت چه تأثیری بر تأخیر (Latency) دارد، به تحلیل ما دربارهی بهینهسازی استنتاج مراجعه کنید.
گفتگو