اگر برای مدیریت چندین کلید API جست‌وجو در عامل‌های هوشمند خود سردرگم هستید، کلودفلر راه حلی برای حذف این آشفتگی ارائه داده است. در ۲ اکتبر ۲۰۲۴، این شرکت یک رابط برنامه‌نویسی جست‌وجوی وب (Web Search API) در حالت بتا معرفی کرد که به جای داشتن یک شاخص جست‌وجوی مستقل، به عنوان یک مسیریاب (Router) برای ارائه‌دهندگان شخص ثالث عمل می‌کند. این ابزار به جای اینکه خودش وب را ایندکس کند، درخواست‌ها را به سرویس‌های دیگر هدایت می‌کند.
این خبر در کمتر از یک روز بیش از ۵۴۰ امتیاز در Hacker News کسب کرد و بحث‌های داغی را درباره تمرکز قدرت در پلتفرم‌های ابری و سیاست‌های خزش وب کلودفلر به راه انداخت. بسیاری از کاربران در مورد اینکه آیا این حرکت منجر به انحصار بیشتر در لایه دسترسی به داده‌ها می‌شود یا خیر، بحث کردند. این نگرانی‌ها در حالی مطرح می‌شود که مسدود کردن کلیِ خزنده‌های هوش مصنوعی می‌تواند باعث حذف سایت‌ها از موتورهای پاسخ‌گو شود و تعادلی پیچیده میان حریم خصوصی و دیده شدن ایجاد کند.
همان‌طور که در تحلیل قبلی ما درباره‌ی مبنی‌سازی (Grounding) مدل‌ها با داده‌های زنده اشاره کردیم، چالش اصلی توسعه‌دهندگان اکنون یافتن ارائه‌دهنده نیست، بلکه مدیریت توکن‌های احراز هویت، چرخه‌های پرداخت و جریان‌های ثبت وقایع (Log streams) در یک ساختار عامل‌محور (Agentic) است. برای اکثر توسعه‌دهندگان، دشواری واقعی در مدیریت سربار ناشی از توکن‌های مختلف و سیستم‌های صورت‌حساب مجزا در یک پشته پیچیده از عامل‌های هوشمند نهفته است.
به نقل از مستندات تغییرات کلودفلر، این API مستقیماً با AI Gateway ادغام شده است تا تمام درخواست‌های جست‌وجو در یک جریان واحد ثبت شوند. این ادغام اجازه می‌دهد تا تمام تراکنش‌ها و پاسخ‌ها در یک محیط متمرکز قابل مشاهده باشند. در زمان عرضه، این سرویس از سه ارائه‌دهنده Ceramic.ai، Exa و Linkup پشتیبانی می‌کند. این رویکرد کلودفلر برای مدیریت لایه‌ی دسترسی، شباهت‌های ساختاری به لایه مدیریت دانش Foundry IQ مایکروسافت برای ایجنت‌ها دارد که هدفش سازماندهی جریان داده‌هاست.
توسعه‌دهندگان دو راه برای پرداخت دارند: استفاده از اعتبار یکپارچه AI Gateway — که طبق اعلام کلودفلر هیچ مبلغ اضافه‌ای (Markup) به هزینه‌ها نمی‌افزاید — یا استفاده از کلیدهای اختصاصی خودشان (Bring Your Own Key). هدف اصلی، ایجاد یک سطح احراز هویت واحد و یک جریان پرداخت برای ارائه‌دهندگانی است که به راحتی قابل تعویض هستند.
برای کسانی که از Cloudflare Workers استفاده می‌کنند، پیاده‌سازی این ابزار بسیار ساده است و از طریق یک فراخوانی Binding انجام می‌شود. برای ارسال یک درخواست، توسعه‌دهنده باید پارامترهای gatewayId ،query ،provider و limit را مشخص کند. به عنوان مثال، یک توسعه‌دهنده می‌تواند تنها با تغییر یک رشته متنی در کد، ارائه‌دهنده را از «ceramic» به «exa» تغییر دهد.
این سامانه اجازه می‌دهد الگوی «جایگزینی ارائه‌دهنده» (Provider Fallback) پیاده شود. توسعه‌دهندگان می‌توانند منطقی بنویسند که ابتدا جست‌وجو را با یک ارائه‌دهنده ارزان انجام دهد و در صورت شکست یا عدم دریافت پاسخ، به سراغ یک گزینه ممتاز برود بدون اینکه نیاز باشد منطق اصلی عامل (Agent Logic) را تغییر دهند. این یعنی مسیریابی بر اساس هزینه و کیفیت؛ اگر اولین گزینه خطا داد، سیستم به‌طور خودکار خطا را شناسایی کرده و گزینه بعدی را طبق ترتیب تعریف شده امتحان می‌کند.
اگرچه کلودفلر قیمت‌های رسمی، محدودیت‌های نرخ درخواست (Rate Limits) یا دسترسی‌های منطقه‌ای را در مستندات بتای خود منتشر نکرده، اما به گزارش داده‌های جامعه کاربران در Hacker News، تفاوت هزینه‌ها خیره‌کننده است:
- Ceramic.ai: حدود ۰.۲۵ دلار به ازای هر ۱,۰۰۰ درخواست (ارزان‌ترین گزینه، هرچند برخی کاربران به کیفیت نتایج آن نقد داشتند).
- Exa: حدود ۷.۰۰ دلار به ازای هر ۱,۰۰۰ درخواست.
برای درک بهتر در زمینه گسترده‌تر، بررسی‌های سال ۲۰۲۶ نشان می‌دهد API سرویس Brave حدود ۵ دلار و Exa بسته به نوع داده‌های استخراج شده بین ۵ تا ۱۵ دلار هزینه دارد. تفاوت قیمت بین Ceramic و Exa تقریباً ۲۸ برابر است. اگر یک عامل برای هر وظیفه ۱۰ جست‌وجو انجام دهد، انتخاب ارائه‌دهنده پیش‌فرض به یک ردیف هزینه‌بر و حیاتی در بودجه عملیاتی تبدیل می‌شود.
اما یک نکته حیاتی درباره ماندگاری داده‌ها وجود دارد. هر سه ارائه‌دهنده برای درخواست‌های ارسالی از طریق کلودفلر از سیاست عدم ذخیره‌سازی داده‌ها (Zero Data Retention - ZDR) پشتیبانی می‌کنند. این موضوع برای حریم خصوصی یک پیروزی است، اما یک مانع محصولی ایجاد می‌کند: ذخیره نتایج جست‌وجو برای قابلیت‌هایی مثل دکمه‌های «اشتراک‌گذاری متن گفتگو» (Share Transcript) ممکن است با قوانین ارائه‌دهندگان در تضاد باشد.
سایمون ویلیسون، توسعه‌دهنده شناخته‌شده، در بحث‌های جامعه کاربران اشاره کرد که ZDR اساساً با محصولاتی که نیاز به حافظه موقت (Cache) یا بازنشر نتایج دارند، ناسازگار است. برخی کاربران اشاره کردند که Exa در واقع برای «ویژگیِ ذخیره نکردن داده‌ها» هزینه دریافت می‌کند، در حالی که API سرویس Brave به دلیل اجازه ذخیره‌سازی در ازای قیمت بالاتر، تحسین شده است.
کاربرانی که به ماندگاری داده‌ها نیاز دارند، باید مسیریاب را دور بزنند و مستقیماً با ارائه‌دهندگانی ارتباط بگیرند که شرایط آن‌ها اجازه ذخیره‌سازی می‌دهد. همچنین برخی توسعه‌دهندگان از AI Gateway صرفاً برای تعیین سقف هزینه (Spend Caps) برای هر نمونه از عامل‌های خود استفاده می‌کنند تا از هزینه‌های پیش‌بینی نشده جلوگیری کنند.
این تغییر نشان می‌دهد که AI Gateway در حال تبدیل شدن به یک صفحه کنترل جامع برای استفاده از ابزار (Tool Use) توسط عامل‌ها است. کلودفلر با انتزاع ارائه‌دهنده، خود را به عنوان لایه ارکستراسیون جایگاه می‌دهد؛ جایی که توسعه‌دهندگان بودجه و نظارت بر هر اقدام خارجی عامل را مدیریت می‌کنند. این تحول در لایه‌ی دسترسی به وب، در حالی رخ می‌دهد که وب‌سایت‌های محلی ممکن است تا سال ۲۰۲۶ در برابر عامل‌های هوش مصنوعی نامرئی شوند مگر اینکه استانداردهای جدیدی برای ایندکس‌گذاری پذیرفته شود.
اگر از Cloudflare Workers استفاده می‌کنید، اکنون می‌توانید در چند دقیقه قابلیت جست‌وجو را به عامل خود اضافه کنید. اما پیش از ساخت ویژگی‌هایی که به ذخیره نتایج وابسته هستند، حتماً شرایط خاص ارائه‌دهنده انتخابی خود را بررسی کنید. انتظار می‌رود کلودفلر این مدل مسیریاب را به سایر ابزارهای عامل‌ها، مانند ماشین‌حساب‌ها، مفسرهای کد یا رابط‌های متصل به پایگاه‌های داده تخصصی گسترش دهد.
گام بعدی شما
- اگر از چندین API جست‌وجو استفاده می‌کنید، آن‌ها را در AI Gateway متمرکز کنید تا تحلیل هزینه دقیق‌تری داشته باشید.
- استراتژی Fallback را پیاده کنید تا ابتدا از ارائه‌دهنده‌های ارزان (مثل Ceramic) و سپس از گزینه‌های باکیفیت‌تر استفاده کنید.
- شرایط ZDR ارائه‌دهنده‌ها را با نیازهای ذخیره‌سازی محصول خود تطبیق دهید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو