تحلیل هزینه‌های RAG: Jina Reader تا ۹۸٪ ارزان‌تر از Firecrawl است

اگر ماهانه ۲۰ هزار صفحه وب را برای تغذیه مدل‌های خود استخراج می‌کنید، احتمالاً مبلغی بسیار بیشتر از آنچه لازم است پرداخت می‌کنید. تفاوت قیمت میان ابزارهای استخراج داده در مقیاس واقعی چنان زیاد است که می‌تواند بودجه زیرساختی یک تیم کوچک را به شدت تحت تأثیر قرار دهد.

طبق یک بنچمارک فنی، هزینه این عملیات در Firecrawl حدود ۹۴ دلار است، اما در Jina Reader این رقم تا ۱.۵۱ دلار کاهش می‌یابد. این شکاف قیمتی نشان‌دهنده یک ناکارآمدی جدی در نحوه ساخت خطوط لوله‌ی تولید بازیابی‌افزا (RAG) — شبیه دانش‌آموزی که قبل از جواب دادن، اول کتاب درسی را باز می‌کند و از آن نقل می‌آورد — و عامل‌های هوش مصنوعی است که به داده‌های زنده وب متکی هستند.

بیشتر توسعه‌دهندگان برای بارگذاری یک صفحه، حذف نوار ناوبری و دریافت خروجی تمیز در قالب مارک‌داون (Markdown) از یک فراخوانی API استفاده می‌کنند. این فرآیند برای کوچک نگه داشتن داده‌ها ضروری است تا در پنجره متنی (Context Window) — مثل میز کاری که جا برای چند ورق دارد، نه برای کل کتابخانه — مدل زبانی جای بگیرد. با این حال، صنعت در حال حاضر میان سه فلسفه پرداخت تقسیم شده است: اعتبار به‌ازای هر صفحه، اندازه‌گیری بر اساس توکن (Token) — تکه‌های کوچکی از متن، مثل برش‌های یک کیک طولانی که مدل تکه‌تکه می‌خورد — و میزان مصرف پهنای باند.

همان‌طور که در تحلیل‌های قبلی ما درباره‌ی بهینه‌سازی هزینه‌های استنتاج اشاره کردیم، انتخاب مدل قیمت‌گذاری با ساختار داده‌ها باید همسو باشد. در ۱۴ اکتبر ۲۰۲۶، یک تست بنچمارک که بازخوانی هفتگی مستندات Stripe (حدود ۲۰ هزار درخواست در ماه) را شبیه‌سازی می‌کرد، این تفاوت‌ها را برجسته کرد. نتایج نشان داد برخی سرویس‌ها نرخ‌های ثابت و پیش‌بینی‌پذیری دارند، اما برخی دیگر بسته به محتوای واقعی صفحات، نوسانات شدیدی دارند.

زمینه: تنظیمات بنچمارک

برای محاسبه این هزینه‌ها، از نقشه سایت Stripe که در ۱۴ اکتبر ۲۰۲۶ شامل ۴,۹۴۶ URL بود استفاده شد. یک بات پشتیبانی که هر هفته این مستندات را بازخوانی کند، ماهانه حدود ۲۰ هزار درخواست ایجاد می‌کند.

از آنجا که برخی سرویس‌ها بر اساس حجم خروجی و نه تعداد صفحه صورت‌حساب می‌دهند، یک نمونه شامل ۱۰ صفحه به طور یکنواخت از سراسر نقشه سایت استخراج شد تا یک خط مبنا (Baseline) ایجاد شود. نتایج تفاوت‌های شدیدی را نشان داد: میانه صفحات ۱,۵۱۱ توکن بود، اما یک صفحه مرجع React SDK به تنهایی ۱۴۳,۳۴۸ توکن تولید کرد. میانگین HTML خام هر صفحه ۹۲۲,۴۵۹ بایت بود.

جزئیات فنی و متغیرهای هزینه

برای درک توزیع هزینه‌ها، از اسکریپتی برای محاسبه تفاوت میان میانه و میانگین اندازه صفحات استفاده شد. در Jina Reader، هزینه به این صورت محاسبه می‌شود: ((PAGES * tokensPerPage) / 1e6) * 0.05.

• صفحه میانه (۱,۵۱۱ توکن): ۱.۵۱ دلار
• صفحه میانگین (۱۵,۷۷۰ توکن): ۱۵.۷۷ دلار
• پهنای باند Spider (۹۲۲,۴۵۹ بایت): ۱۸.۴۵ دلار

این داده‌ها ثابت می‌کند که اندازه‌گیری بر اساس توکن یا بایت در یک سایت واحد می‌تواند تا ۱۰ برابر تغییر کند و پیش‌بینی هزینه‌ها را برای مدل‌های پرداخت مبتنی بر توکن دشوار سازد.

سطح هزینه‌های بالا: Firecrawl و Browserbase

شرکت Firecrawl در ۲۲ سپتامبر ۲۰۲۶ دور سرمایه‌گذاری سری B خود را به مبلغ ۷۵ میلیون دلار به رهبری Smash Capital بست. با وجود محبوبیت و عرضه کتابخانه دانش Alexandria — که آن را به عنوان یک کتابخانه دانش برای عامل‌ها توصیف می‌کند — سیستم اعتباری این سرویس برای داده‌های ساختاریافته گران است. طبق مستندات Firecrawl (به‌روزرسانی ۴ سپتامبر ۲۰۲۶ و تأیید شده در ۱۴ اکتبر)، سیستم اعتباری به این شکل است:

• استخراج، خزش (Crawling) یا نقشه‌برداری از یک صفحه: ۱ اعتبار
• ده نتیجه جست‌وجو: ۲ اعتبار
• خروجی ساختاریافته (قالب‌های JSON, Question یا Highlight): ۴ اعتبار اضافی به ازای هر صفحه، که هزینه آن را ۵ برابر مارک‌داون ساده می‌کند.
• درخواست‌های ناموفق (پاسخ‌های ۴۰۳ یا ۴۰۴): ۱ اعتبار

چهار سطح قیمت‌گذاری وجود دارد: Hobby (۵,۰۰۰ اعتبار با ۱۹ دلار در ماه)، Standard (۱۰۰,۰۰۰ اعتبار با ۹۹ دلار)، Growth (۵۰۰,۰۰۰ اعتبار با ۳۹۹ دلار) و Scale (۱,۰۰۰,۰۰۰ اعتبار با ۷۴۹ دلار). پرداخت سالانه هزینه‌ها را بین ۱۶ تا ۲۰ درصد کاهش می‌دهد. کاربران طرح Hobby برای هر بلوک اضافی ۱,۰۰۰ اعتباری، ۵ دلار پرداخت می‌کنند.

برای تست ۲۰ هزار صفحه، هزینه Firecrawl در طرح Hobby با خرید اعتبارات اضافی ۹۴ دلار شد. تعهد به یک سال از طرح Standard هزینه ماهانه را به ۸۳ دلار می‌رساند.

Browserbase با ۹۶ دلار برای همین عملیات، گران‌ترین گزینه است. این سرویس یک مرورگر ابری برای عامل‌هاست که از فریم‌ورک Stagehand (نسخه ۳.۷.۳ با ۲۵,۶۶۰ ستاره در گیت‌هاب و لایسنس MIT) برای هدایت مرورگر با دستورات زبان طبیعی استفاده می‌کند. این ابزار انتخاب اول برای صفحاتی است که پشت سیستم‌های ورود (Login)، فرم‌ها یا جریان‌های چندمرحله‌ای هستند. یک نقطه اتصال (Endpoint) ساده تبدیل صفحه به مارک‌داون نمی‌تواند این تعاملات پیچیده را مدیریت کند.

برای مارک‌داون ساده، این گران‌ترین مسیر است. در طرح Developer (۲۰ دلار در ماه شامل ۱۰۰ ساعت مرورگر، با هزینه ۰.۱۲ دلار برای هر ساعت اضافی)، HTML خام ۱ دلار به ازای هر ۱,۰۰۰ فراخوانی است، اما مارک‌داون یا JSON تحت عنوان "Fetch Extract" با قیمت ۴ دلار به ازای هر ۱,۰۰۰ فراخوانی محاسبه می‌شود. علاوه بر این، قابلیت Fetch جاوااسکریپت را اجرا نمی‌کند و محدودیت پاسخ ۵ مگابایتی دارد. طرح Startup نیز ۹۹ دلار قیمت دارد.

محدوده متوسط: Tavily، Exa و ScrapeGraphAI

سرویس Tavily که از ۱۰ فوریه ۲۰۲۶ متعلق به Nebius است، رویکردی یکپارچه‌تر دارد. طرح Project آن با ۳۰ دلار (۴,۰۰۰ اعتبار) کل حجم ۲۰ هزار صفحه را پوشش می‌دهد، زیرا هر فراخوانی Extract پایه برای هر ۵ URL موفق، تنها ۱ اعتبار می‌گیرد.

سایر هزینه‌های Tavily شامل موارد زیر است:

• جست‌وجوی پایه: ۱ اعتبار
• خزش‌ها (Crawls): هزینه نقشه‌برداری اضافی ۱ اعتبار به ازای هر ۱۰ صفحه
• عمق استخراج پیشرفته: دو برابر هزینه استخراج پایه
• اعتبارات اضافی: ۰.۰۰۸ دلار برای هر اعتبار فراتر از سقف طرح
• سطح رایگان: ۱,۰۰۰ اعتبار در ماه؛ طرح Bootstrap نیز ۱۰۰ دلار برای ۱۵,۰۰۰ اعتبار است.

Exa نرخ ثابتی معادل ۱ دلار به ازای هر ۱,۰۰۰ صفحه از طریق نقطه اتصال Contents ارائه می‌دهد که هزینه تست را به ۲۰ دلار می‌رساند. Exa ایندکس وب اختصاصی خود را برای عامل‌ها دارد؛ متن کامل را از حافظه پنهان (Cache) ارائه می‌دهد و در صورت نبود، به خزش زنده روی می‌رود. هزینه جست‌وجو بین ۴ تا ۱۵ دلار به ازای هر ۱,۰۰۰ درخواست است و کاربران ماهانه ۱۰ دلار اعتبار رایگان دریافت می‌کنند. نقطه ضعف این است که Exa اختصاصی است، نمی‌توان آن را به صورت شخصی میزبانی کرد و ممکن است داده‌های کش شده‌ای دریافت کنید که از صفحه زنده عقب‌تر باشند، مگر اینکه سیاست خزش زنده (Live-crawl) پیکربندی شود. این ابزارها در کنار هم به توسعه‌دهندگان کمک می‌کنند تا رؤیت‌پذیری برند خود را در موتورهای جست‌وجوی هوش مصنوعی بسنجند و استراتژی‌های محتوایی خود را بهینه کنند.

ScrapeGraphAI بر استخراج ساختاریافته با استفاده از مدل‌های زبانی تمرکز دارد. این ابزار که به عنوان یک کتابخانه پایتون متن‌باز با لایسنس MIT (نسخه ۲.۳.۱، منتشر شده در ۶ اکتبر ۲۰۲۶) آغاز شد، از پرامپت‌های انگلیسی ساده برای بازگرداندن JSON استفاده می‌کند. API میزبانی شده آن برای این حجم کاری ۶۰ دلار هزینه دارد (طرح Starter با ۲۰ دلار برای ۱۰,۰۰۰ اعتبار، به علاوه یک بسته ۱۰,۰۰۰ اعتباری اضافی).

جزئیات قیمت‌گذاری و فنی ScrapeGraphAI:

• فراخوانی Extract: ۵ اعتبار (مشابه هزینه صفحه JSON در Firecrawl)
• نتایج جست‌وجو: ۲ اعتبار به ازای هر نتیجه (۱۰ نتیجه = ۲۰ اعتبار)
• حالت ضد-بات (Stealth anti-bot): ۵ اعتبار اضافی به هر فراخوانی
• طرح Growth: ۱۰۰ دلار برای ۱۰۰,۰۰۰ اعتبار
• یکپارچگی محلی: این کتابخانه می‌تواند با مدل محلی Ollama ارتباط برقرار کند تا استخراج روی سیستم شما باقی بماند.
• الزامات: قبل از اجرا، نیاز به playwright install و یک مدل زبانی دارد.

سطح اقتصادی: Jina Reader و Spider

Jina Reader ارزان‌ترین گزینه است و بر اساس توکن‌های خروجی با نرخ ۰.۰۵ دلار به ازای هر میلیون توکن (یا ۵۰ دلار به ازای هر میلیارد توکن) هزینه می‌گیرد. کاربران می‌توانند با افزودن پیشوند https://r.jina.ai/ به هر URL، خروجی مارک‌داون بگیرند؛ s.jina.ai نیز برای پرس‌وجوهای جست‌وجو به همین شکل عمل می‌کند. Jina AI در اکتبر ۲۰۲۵ به Elastic پیوست.

برای یک صفحه میانه با ۱,۵۱۱ توکن، هزینه کل تنها ۱.۵۱ دلار است. اما پیش‌بینی هزینه یک چالش بزرگ است؛ یک صفحه SDK در تست مذکور ۱۴۳,۳۴۸ توکن تولید کرد که می‌توانست میانگین هزینه را به ۱۵.۷۷ دلار برساند. محدودیت نرخ (Rate limit) بدون کلید ۲۰ درخواست در دقیقه و با کلید ۵۰۰ درخواست است. کلیدهای جدید شامل ۱۰ میلیون توکن رایگان برای کارهای غیرتجاری هستند، هرچند هر جست‌وجو حداقل ۱۰,۰۰۰ توکن محاسبه می‌شود. در آوریل ۲۰۲۶، شاخه متن‌باز این پروژه (Apache-2.0 با ۱۲,۱۴۷ ستاره) با نسخه تولیدی هم‌راستا شد تا میزبانی شخصی با رفتاری مشابه نسخه ابری ممکن شود.

Spider از مدل اندازه‌گیری پهنای باند بر اساس خزنده‌ای مبتنی بر Rust (نسخه ۲.۵۳.۹، منتشر شده در ۵ سپتامبر ۲۰۲۶ و لایسنس MIT) استفاده می‌کند. هزینه آن ۱ دلار به ازای هر گیگابایت داده به‌اضافه ۰.۰۰۰۱ دلار به ازای هر دقیقه CPU است.

برای تست Stripe، که میانگین HTML هر صفحه ۹۲۲ کیلوبایت بود، هزینه پیش از اضافه شدن زمان CPU برابر ۱۸.۴۵ دلار شد. Spider یک طرح Unlimited با شروع از ۴۰ دلار در ماه برای ۲ اسلات همزمان ارائه می‌دهد. نکته قابل توجه این است که درخواست‌های ناموفق محاسبه نمی‌شوند و رندرینگ جاوااسکریپت به جای ضریب قیمت، به عنوان زمان CPU محاسبه می‌شود. عدم ذخیره‌سازی داده‌ها (Zero data retention) ۲.۵ برابر نرخ پایه هزینه دارد.

مسیر رایگان: میزبانی شخصی (Self-Hosting)

برای تیم‌هایی با الزامات سخت‌گیرانه امنیتی مانند SOC 2 یا HIPAA، ابزار Crawl4AI یک جایگزین متن‌باز قدرتمند تحت لایسنس Apache 2.0 است. این ابزار یک مرورگر بدون سر (Headless) را به صورت محلی اجرا می‌کند، به این معنی که صفحات هرگز شبکه داخلی را ترک نمی‌کنند. این کتابخانه (نسخه ۰.۹.۴، منتشر شده در ۲۳ سپتامبر ۲۰۲۶) دارای ۸۵,۴۸۵ ستاره در گیت‌هاب است.

کاربران می‌توانند آن را از طریق pip install -U crawl4ai و crawl4ai-setup نصب کنند. در حالی که هزینه API صفر است، مدیریت پروکسی‌ها، CAPTCHAها و ناوگان مرورگرها بر عهده کاربر است. یک نسخه میزبانی شده نیز با شروع از ۱۰ دلار و ۲,۰۰۰ اعتبار رایگان در دسترس است.

Firecrawl نیز نسخه میزبانی شخصی را از طریق Docker Compose (نسخه ۲.۱۱.۱۶۲) ارائه می‌دهد. این سیستم از پشته‌ای شامل Redis، RabbitMQ، FoundationDB، یک صف مبتنی بر PostgreSQL و Playwright استفاده می‌کند و API آن روی پورت ۳۰۰۲ در دسترس است.

میزبانی شخصی Firecrawl با هشدارهای خاصی در فایل SELF_HOST.md همراه است:

• لایسنس: تحت AGPL-3.0 است؛ نسخه‌های تغییر یافته‌ای که به عنوان سرویس شبکه اجرا می‌شوند باید سورس کد خود را در اختیار کاربران قرار دهند.
• پایداری: فایل Compose پیش‌فرض فاقد Volumeهای دائمی است؛ بنابراین با بازسازی کانتینرها، داده‌ها از بین می‌روند.
• امنیت: احراز هویت در حالت پیش‌فرض خاموش است.
• پیچیدگی: ویژگی‌های AI و موتور استخراج Fire-engine نیاز به یک فرآیند راه‌اندازی جداگانه دارند.

راهنمای انتخاب استراتژیک

انتخاب ابزار به ماهیت داده‌های وب شما بستگی دارد:

• مستندات عمومی: Exa Contents (۱ دلار به ازای هر ۱,۰۰۰ صفحه) یا Jina Reader (اگر صفحات کوتاه هستند) بهترین نسبت قیمت به عملکرد را دارند.
• جریان‌های کاری متکی به جست‌وجو: Tavily بهینه‌ترین است زیرا یک معیار اندازه‌گیری، جست‌وجو، استخراج، نقشه‌برداری و خزش را پوشش می‌دهد.
• شبکه‌های خصوصی (VPC): Crawl4AI استاندارد طلایی برای حاکمیت داده‌هاست.
• تعاملات پیچیده: Browserbase به همراه Stagehand برای صفحاتی که نیاز به ورود، فرم‌ها یا اپلیکیشن‌های تک‌صفحه‌ای (SPA) دارند، ضروری است.
• کاربران فعلی Firecrawl: در این سرویس بمانید اما بهینه‌سازی کنید. ترکیب طرح Hobby و پرداخت به‌ازای مصرف تا ۲۱,۰۰۰ صفحه ارزان‌تر از طرح Standard است؛ اما تعهد سالانه Standard (۸۳ دلار در ماه) برای ۱۸,۰۰۰ صفحه به بالا به‌صرفه‌تر است.

برای بهینه‌سازی هزینه‌ها، توسعه‌دهندگان باید یک بررسی‌کننده تفاوت نقشه سایت (Sitemap diff checker) پیاده‌سازی کنند. با ارسال تنها URLهای جدید و صفحاتی که مقدار lastmod آن‌ها تغییر کرده است به API، صورت‌حساب ماهانه هر یک از این سرویس‌ها را می‌توان به شدت کاهش داد.

چک‌لیست نهایی پیاده‌سازی

قبل از انتخاب نهایی یک ارائه‌دهنده، این موارد را بررسی کنید:

• نمونه‌برداری از داده‌ها: ۱۰ صفحه تصادفی را اندازه‌گیری کنید. معیارهای توکن و بایت می‌توانند در یک سایت واحد تا ۱۰ برابر نوسان کنند.
• تعیین خط مبنای خروجی: از یک مبدل HTML به مارک‌داون استفاده کنید تا کیفیت خروجی هر API را بسنجید.
• تأیید نیاز به JS: اگر مستندات شما در سمت سرور رندر می‌شوند، نیازی به رندرینگ JS ندارید؛ اما برای یک داشبورد React، قابلیت Fetch در Browserbase کافی نیست.
• تفکیک هزینه‌های ساختاریافته: هزینه استخراج مارک‌داون ارزان و اجرای مدل زبانی خودتان را با هزینه استخراج JSON (مثلاً ۵ اعتبار Firecrawl به ازای هر صفحه) مقایسه کنید.
• ممیزی لایسنس: مطمئن شوید تعهدات AGPL-3.0 با مدل عرضه محصول شما تداخل ندارد؛ لایسنس‌های Apache-2.0 و MIT بازتر هستند.

این تغییر به سمت قیمت‌گذاری کالایی — به ازای هر صفحه، توکن یا گیگابایت — به این معناست که «بهترین» ابزار دیگر آن نیست که بیشترین ویژگی را دارد، بلکه ابزاری است که مدل پرداختش با شکل داده‌های شما سازگار است. اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.