اگر برای دادن «چشم و گوش» به عاملهای هوشمند خود هزینههای گزاف APIهای جستوجو میپردازید، زمان تغییر استراتژی رسیده است. ابزار جدیدی به نام mcp-retrieval در ۲۰ اوت ۲۰۲۶ منتشر شد تا دسترسی به وب را از یک هزینهٔ متغیر به یک قابلیت رایگان تبدیل کند و در واقع «دستهایی» برای مرور اینترنت در اختیار شبکههای عصبی قرار دهد.
بسیاری از مدلهای زبانی بزرگ (LLM) — مثل کتابخانهداری که میلیاردها صفحه را خوانده و حالا با همان لحن کتابها جواب میدهد — در واقع در یک «جار شیشهای» محبوس هستند. آنها دانش داخلی عظیمی دارند اما نمیتوانند بهطور مستقل صفحهای را باز کنند، تصویری را بیابند یا یک وبسایت زنده را بخوانند. برای این کار، آنها به سرورهای خارجی نیاز دارند تا دادههای لحظهای را بازیابی کرده و مدل را به سمت اطلاعات مورد نیاز هدایت کنند.
این فرآیند معمولاً از پروتکل زمینهٔ مدل (MCP) پیروی میکند؛ استانداردی که اجازه میدهد مدلها با ابزارهای خارجی تعامل کنند. این استاندارد بهطور مداوم در حال تکامل است، بهطوری که بهروزرسانیهای اخیر MCP تلاش میکنند مدیریت وضعیت (State) در سرورها را بهینهتر کنند. نویسنده پروژه اشاره میکند که در حال حاضر تعداد سرورهای MCP حتی از تعداد ستارههای گیتهاب هم بیشتر شده است، اما مشکل اینجاست که اکثر این سرورها به ارائهدهندگان پولی شخص ثالث متکی هستند که در مقیاس بالا، هزینههای کمرشکنی را تحمیل میکنند.
به گزارش dev.to، توسعهدهندهٔ این پروژه mcp-retrieval را برای رفع یک «بیعدالتی کوچک» ساخت. او متوجه شد ارائهدهندگانی مثل Tavily و Brave از ضرایب پنهانی استفاده میکنند که بودجهٔ توسعهدهندگان را بهسرعت میبلعد و در مقیاس بالا، ضربهٔ جدی به کیف پول کاربر میزند. او این وضعیت را به «کلاهبرداری در زمین صاف» تشبیه کرد، بهویژه وقتی که همین قابلیتها اساساً توسط DuckDuckGo بهصورت رایگان ارائه میشوند.
این پروژه در ابتدا به عنوان یک ابزار داخلی توسعه یافته بود و برای دو ماه به عنوان یک «وزن مرده» در سیستم باقی ماند، تا اینکه سرانجام نویسنده تصمیم گرفت آن را بهصورت رایگان منتشر کند. هدف او این بود که اجازه ندهد کدها فاسد شوند و از دیگر توسعهدهندگان بخواهد تا برای اجتناب از پرداخت هزینه برای دسترسیهای پایه به وب، مجبور به اختراع دوبارهٔ چرخ نباشند.
طبق مستندات فنی، mcp-retrieval نیاز به API Key را بهطور کامل حذف کرده و مستقیماً با DuckDuckGo و Bing ارتباط برقرار میکند. برای دستیابی به این هدف و جلوگیری از مسدود شدن توسط این موتورها، توسعهدهنده زمان زیادی را صرف شبیهسازی رفتار یک مرورگر از طریق مکانیزمهای زیر کرده است:
- چرخش اثر انگشت TLS: شبیهسازی امضاهای مختلف مرورگر برای عبور از فیلترهای امنیتی و جلوگیری از شناسایی توسط سیستمهای دفاعی.
- چرخش هدرها: تغییر مداوم هدرهای مرورگر برای اینکه ترافیک ارسالی شبیه به ترافیک ارگانیک انسانی به نظر برسد.
- پراکسیهای مسکونی: تغییر IPها برای جلوگیری از محدودیت تعداد درخواست (Rate-limiting) و مسدود شدن دائمی IP.
این سرور سه ابزار کلیدی را بدون نیاز به هیچ حسابی ارائه میدهد:
- جستوجوی متنی: پرسوجوی مستقیم از موتورهای جستوجو برای یافتن اطلاعات.
- جستوجوی تصویری: یافتن داراییهای بصری و تصاویر از طریق وب.
- استخراج صفحه: تبدیل صفحات زنده به Markdown تمیز. این فرآیند تمام تبلیغات، زواید و آشغالهای وب را حذف میکند تا فقط متن ضروری برای استنتاج (Inference) — یعنی همان لحظهٔ تولید جواب توسط مدل — باقی بماند.
این تغییر، گامی به سوی زیرساختهای «مستقل» (Indie) برای عاملهای هوشمند (AI Agents) است. با حذف موانع مالی APIهای جستوجو، توسعهدهندگان میتوانند عاملهایی بسازند که بدون نگرانی از ضرایب پنهان یا هزینههای مقیاسپذیری که معمولاً بودجه پروژه را میبلعد، بهطور خودکار در وب جستوجو کنند. در کنار دسترسی به وب، توسعه قابلیتهای حافظه بلندمدت برای این عاملها نیز برای تبدیل آنها به دستیاران واقعی ضروری است.
برای یک کاربر معمولی، این به معنای آن است که هزینه دادن قابلیتهای وب لحظهای به یک عامل هوشمند، عملاً به صفر رسیده است. این ابزار مدل کسبوکار ارائهدهندگان «جستوجو به عنوان سرویس» (Search-as-a-Service) را به چالش میکشد؛ کسانی که برای دادههایی هزینه میگیرند که اساساً از طریق موتورهای جستوجوی استاندارد بهصورت رایگان در دسترس هستند. این رویکرد در دنیایی پیش میرود که دقت و ساختارمند بودن حقایق در نتایج جستوجوی هوش مصنوعی به یکی از مزیتهای رقابتی اصلی تبدیل شده است.
اگر در حال ساخت یک گردش کار عاملمحور (Agentic Workflow) هستید، اکنون میتوانید بدون نیاز به کارت اعتباری، جستوجوی وب را ادغام کنید. این پروژه کاملاً متنباز است و در گیتهاب (mcp-retrieval / mcpretrieval-web) برای هر کسی که میخواهد از «مالیات ارائهدهندگان جستوجو» دوری کند، در دسترس است.
گام بعدی شما
- مخزن GitHub پروژه (mcp-retrieval / mcpretrieval-web) را بررسی و روی سرور MCP خود نصب کنید.
- گردشهای کاری عاملمحور خود را از APIهای پولی به این مدل شبیهساز منتقل کنید تا هزینههای عملیاتی را کاهش دهید.
- کیفیت استخراج Markdown را در صفحات پیچیده وب با مدلهای مختلف مقایسه کنید.
اما این تنها بخشی از نبرد برای کاهش هزینههاست؛ برای درک اینکه چگونه مدلهای کوچکتر در حال جایگزینی غولها هستند، تحلیل ما دربارهی SLMها را بخوانید.
گفتگو