ردیابی نرخ بازده: راهکاری برای حذف شکست‌های رندرینگ جاوااسکریپت در خط لوله‌های

تصور کنید یک مقاله فنی ۲۰۰۰ کلمه‌ای را به استخراج‌کننده تبدیل URL به Markdown می‌دهید، اما خروجی نهایی تنها ۳۴۰ کاراکتر است؛ یعنی چیزی جز فوتر و دکمه اشتراک. این شکست زمانی رخ می‌دهد که محتوای صفحه توسط جاوااسکریپت در سمت کاربر رندر می‌شود و کد HTML اولیه برای مدل‌های هوش مصنوعی عملاً خالی است.

بسیاری از خط لوله‌های داده در هوش مصنوعی زاینده (Generative AI) — شبیه به لوله‌کشی‌های صنعتی که مواد خام را جابه‌جا می‌کنند — بر پایه دریافت HTML خام کار می‌کنند. این روش سریع است اما در برابر برنامه‌های تک‌صفحه‌ای (SPA) کور است. طبق گزارش توسعه‌دهنده این پروژه، وقتی بدنه اصلی متن غایب باشد، الگوریتم‌های تشخیص تراکم متن به‌اشتباه بزرگ‌ترین بلوک موجود، مثلاً اعلان کوکی‌ها را به‌عنوان محتوای اصلی برمی‌دارند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی داده‌های ورودی برای RAG اشاره کردیم، کیفیت پاسخ مدل مستقیماً به کیفیت بازیابی وابسته است. برای حل این مشکل، در ۷ اکتبر ۲۰۲۶ سیستمی برای ردیابی بازده (Yield Tracking) پیاده‌سازی شد. این سامانه یک نسبت مشخص را محاسبه می‌کند: تعداد کاراکترهای استخراج‌شده تقسیم بر کل کاراکترهای متن ساده در HTML منبع.

سازوکار بازیابی محتوا

• تشخیص: هر صفحه‌ای که پوشش محتوایی آن کمتر از ۵٪ باشد، به‌عنوان سایت رندرشده با جاوااسکریپت علامت‌گذاری می‌شود.
• جایگزینی: سرویس به‌طور خودکار یک درخواست جدید از طریق یک مرورگر بدون رابط کاربری (Headless Browser) ارسال می‌کند.
• اجرا: مرورگر منتظر می‌ماند تا شبکه به ثبات برسد و سپس DOM رندرشده را به استخراج‌کننده بازمی‌گرداند.

بر اساس مستندات این پروژه، این روش خروجی همان مقاله مشکل‌دار را از ۳۴۰ کاراکتر به ۱۰,۸۰۰ کاراکتر رساند. اگرچه رندرینگ چند ثانیه زمان می‌برد (در مقابل میلی‌ثانیه‌های حالت عادی)، اما سیستم با حفظ مسیر سریع به‌عنوان پیش‌فرض و برچسب‌گذاری پاسخ‌های رندرشده، سرعت کلی را حفظ می‌کند.

برای توسعه‌دهندگانی که سیستم‌های تولید بازیابی‌افزا (RAG) — مثل دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — می‌سازند، این تجربه ثابت می‌کند که سنجش نرخ بازده بسیار مطمئن‌تر از حدس زدن الگوهای URL یا جست‌وجوی کلمه react در کد منبع است.

گام بعدی شما

• نرخ بازده (Yield Ratio) را به عنوان یک معیار نظارتی (Monitoring) در خط لوله استخراج داده‌های خود اضافه کنید.
• برای صفحات با بازده زیر ۵٪، یک Fallback با استفاده از ابزارهایی مثل Playwright یا Puppeteer تعریف کنید.
• خروجی‌های رندرشده را با تگ rendered: true متمایز کنید تا در تحلیل‌های بعدی هزینه استنتاج را ردیابی کنید.

اما بهینه‌سازی لایه بازیابی تنها نیمی از مسیر است؛ برای درک نحوه کاهش هزینه‌های استنتاج در مقیاس بالا، تحلیل ما درباره مدیریت GPU را بخوانید.