«تفکیک ارزیابی‌های گران‌قیمت»؛ راهکار جدید برای تحلیل داده‌های حجیم

اگر مدیر یک مرکز تماس هستید و می‌خواهید بدانید چرا مشتریان شما عصبانی هستند، دیگر مجبور نیستید هفته‌ها منتظر گزارش‌های دستی بمانید. اکنون می‌توان ۲۰۰۰ مکالمه پیچیده پشتیبانی خطوط هوایی را در عرض چند ساعت تحلیل کرد و پاسخ هر پرسشی را در چند ثانیه گرفت.

طبق گزارشی که در ۸ سپتامبر ۲۰۲۶ در وب‌سایت dev.to منتشر شد، کلید این سرعت در جداسازی مرحله ارزیابی داده‌ها از مرحله پرس‌وجوی کاربر است. این معماری به مدیران اجازه می‌دهد سوالاتی را به زبان ساده بپرسند و در عرض چند ثانیه پاسخ دریافت کنند، بدون اینکه نیاز باشد تحلیل‌های هزینه‌بر را دوباره از ابتدا اجرا کنند.

بسیاری از شرکت‌ها با مشکل «سفرهای تکه‌تکه» (Fragmented Journeys) روبرو هستند؛ وضعیتی که در آن لاگ‌های چت، ضبط‌های صوتی، رویدادهای مسیریابی، ویژگی‌های مکالمه و گزارش‌های تعامل اپراتور در سیستم‌های مجزا و بدون هیچ طرحواره (Schema) مشترکی ذخیره شده‌اند. این وضعیت شبیه حل کردن پازلی است که قطعاتش از سه جعبه مختلف آمده‌اند و دقیقاً با هم جفت نمی‌شوند.

در این پروژه خاص، داده‌ها فاقد یک طرحواره قابل اعتماد بودند. هر محیط از نام متفاوتی برای شناسه‌ مشترک مکالمه استفاده می‌کرد، برچسب‌های زمانی (Timestamps) همیشه با هم همخوانی نداشتند و رکوردهای صوتی و چت با سطوح متفاوتی از جزئیات ارسال می‌شدند. این پروژه با ساخت یک لایه نرمال‌سازی برنامه‌نویسی‌شده در ابتدا، این مشکل را حل کرد. این رویکرد یادآور اهمیت استفاده از گردش‌کارهای ساختاریافته به‌جای تکیه صرف بر مهندسی پرامپت برای دستیابی به دقت بالاتر در استخراج داده‌های پیچیده است.

همان‌طور که در تحلیل‌های قبلی ما درباره امنیت و ساختار داده‌های مدل‌های زبانی اشاره کردیم، کیفیت خروجی مستقیماً به کیفیت ورودی وابسته است. سیستم پیش از ارزیابی، سفر مشتری را نرمال می‌کند. این لایه، هر محیط را به یک مدل واحد از «سفر» نگاشت کرده و هر پیام، انتقال تماس، وضعیت انتظار (Hold) و نتیجه نهایی را به‌صورت زمانی مرتب می‌کند. این کار تضمین می‌کند که مدل زبانی بزرگ (LLM) به‌جای اینکه مجبور شود روابط بین رکوردهای گسسته را حدس بزند، یک سفر مشتری منسجم را دریافت کند. این رویکرد مانع از آن می‌شود که مدل بر اساس شواهد ناقص، ارزیابی‌های با اعتمادبه‌نفس اما غلط ارائه دهد.

بر اساس مستندات این پروژه، سیستم از یک مدل اجرای دو-مسیره برای مدیریت هزینه‌ها و تأخیر استفاده می‌کند:

• مسیر زمان‌بندی‌شده (Scheduled Path): این خط لوله داده‌های منبع را با هم ترکیب می‌کند، صوت‌ها را از طریق Amazon Transcribe به متن تبدیل می‌کند، اطلاعات حساس و شناسایی شخصی (PII) را حذف کرده و سپس سفر بازسازی‌شده را برای ارزیابی به Claude Sonnet می‌فرستد. نتایج سپس برای استفاده‌های بعدی ذخیره می‌شوند.
• مسیر تعاملی (Interactive Path): این مسیر نتایج ذخیره‌شده را از طریق یک داشبورد، کاوشگر داده‌ها یا یک عامل گفتگو می‌خواند. این ساختار تضمین می‌کند که سیستم هرگز در هنگام یک پرس‌وجوی زنده، مکالمات اصلی را دوباره امتیازدهی نمی‌کند.

برای حفظ کیفیت، معیارهای ارزیابی — مانند قصد کاربر (Intent)، احساسات، فوریت، حل مشکل، انطباق با قوانین و عملکرد متخصص — خارج از مدل و در قالب «روباریک‌های نسخه‌دار» (Versioned Rubrics) قرار گرفته‌اند. این روباریک‌ها بخشی از پیکربندی برنامه هستند. وقتی تیم کیفیت معیاری را تغییر می‌دهد، به‌جای جمع‌آوری داده‌های آموزشی جدید برای تنظیم دقیق (Fine-tuning) یک مدل دیگر، صرفاً پرامپت را به‌روز می‌کند.

تیم توسعه مدل Claude Sonnet را انتخاب کرد زیرا مدل‌های کوچک‌تر در درک ظرافت‌های مکالمات چند-مرحله‌ای شکست می‌خوردند و در تشخیص اینکه آیا ارجاع تماس به سطح بالاتر (Escalation) مناسب بوده است یا خیر، دچار مشکل بودند. در واقع، مدل ارزان‌تر زمانی گران تمام می‌شود که تحلیلگران نتوانند به قضاوت‌های آن اعتماد کنند. در این راستا، برخی شرکت‌ها برای کاهش هزینه‌های استدلال، به سراغ مدل‌های جدیدی با قیمت‌گذاری درخواستی رفته‌اند تا از تورم هزینه‌های توکنی در تحلیل‌های حجیم رها شوند.

حریم خصوصی نیز به‌صورت قطعی (Deterministic) مدیریت می‌شود. حذف اطلاعات حساس دقیقاً بعد از بازسازی سفر و قبل از عبور داده‌ها از مرز استنتاج (Inference) انجام می‌شود. این امر تضمین می‌کند که اطلاعات حساس هرگز وارد پرامپت یا نتایج ذخیره‌شده نشوند، زیرا پردازش خروجی مدل برای حذف داده‌ها، بسیار دیر است.

برای اعتبارسنجی هوش مصنوعی، تیم خروجی‌های مدل را با مکالماتی که توسط انسان امتیازدهی شده بود مقایسه کرد. آن‌ها دریافتند که تطابق دقیق ۸۵٪ است، در حالی که با در نظر گرفتن تلورانس ۱ واحدی در مقیاس ۱ تا ۱۰، این عدد به بیش از ۹۰٪ رسید. تطابق دقیق، ثبات مدل را نشان می‌دهد، در حالی که تلورانس نشان می‌دهد آیا اختلافات به‌طور مادی متفاوت هستند یا صرفاً مقادیر مجاور در یک مقیاس ذهنی‌اند.

این تغییر در رویکرد نشان می‌دهد که وسواس برای «در لحظه» (Real-time) بودن در هوش مصنوعی اغلب یک اشتباه است. برای گزارش‌دهی، بررسی حوادث و تحلیل روندها، اجرای دسته‌ای (Batch) باعث می‌شود هزینه‌های محاسباتی پیش‌بینی‌پذیر شوند. یک تیم می‌تواند محدوده اجرا را به بررسی یک حادثه با ۵۰ مکالمه یا تحلیل ماهانه با ۲۰۰۰ مکالمه محدود کند، بدون اینکه زیرساخت‌های غیرضروری اضافه کند. این استراتژی به‌ویژه زمانی حیاتی است که تفاوت‌های چشمگیر در تأخیر (Latency) APIها بر اساس موقعیت جغرافیایی بتواند تجربه کاربر نهایی را در سیستم‌های تعاملی تحت تأثیر قرار دهد.

درس اصلی برای توسعه‌دهندگان این است: پیش از درگیر کردن یک LLM، شیء کامل دامنه را با استفاده از کد قطعی برای ترکیب (Join)، ترتیب‌بندی، اعتبارسنجی و حذف داده‌های حساس بازسازی کنید. پایداری از شواهد نرمال‌شده زیر لایه عامل می‌آید، نه از خودِ عامل.

منتظر ظهور معماری‌های «اول-ارزیابی» (Evaluation-first) باشید که تحلیل‌های پیش‌محاسبه‌شده را بر RAG خام برای هوش سازمانی ترجیح می‌دهند.

گام بعدی شما

• در پروژه‌های تحلیل داده، ابتدا لایه نرمال‌سازی داده‌ها را با کد سنتی بنویسید و سپس خروجی را به LLM بدهید.
• به‌جای تکیه بر RAG خام، معماری‌های «اول-ارزیابی» (Evaluation-first) را برای تحلیل‌های سازمانی بررسی کنید.
• معیارهای ارزیابی را در فایل‌های پیکربندی جداگانه (Rubrics) نگه دارید تا بدون تغییر مدل، منطق تحلیل را به‌روز کنید.

اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره تراشه‌های Blackwell مراجعه کنید.