تصور کنید یک عامل هوش مصنوعی دقیقاً مانند شما در وب میچرخد؛ با همان حسابهای کاربری فعال و اثر انگشت دیجیتالی واقعی شما. NeoBrowser نقطه شکست اصلی عاملهای وب را حل کرده است: «دیوارهای بات» (Bot Walls) که هرگونه مرورگر خودکار یا بدون سر (Headless) را بلاک میکنند.
بیشتر ابزارهای مرورگر AI یک نسخه خام، تازه و بدون کوکی از کرومیوم را اجرا میکنند که بهسرعت توسط سیستمهای امنیتی شناسایی و علامتگذاری میشود. این اتفاق باعث میشود مدلها مدام با صفحات ورود و کپچا (CAPTCHA) مواجه شوند و جریان اتوماسیون بهطور کامل قطع شود. NeoBrowser این وضعیت را تغییر میدهد؛ این ابزار بهجای شبیهسازی، مستقیماً فایل اجرایی (Binary) گوگل کروم نصبشده روی سیستم شما را هدایت میکند تا اطمینان حاصل شود که مرورگر دقیقاً مانند یک کاربر انسانی به نظر میرسد و رفتار میکند. این رویکرد تفاوت بنیادینی با استفاده از ایزولههای V8 در برابر Headless Chrome دارد که پیشتر در معماریهای استخراج داده برای افزایش سرعت بررسی شده بود.
این یعنی عاملی که فقط یک مرورگر را «شبیهسازی» نمیکند، بلکه از جلسه (Session) فعلی شما برای آپلود یک فایل یا بررسی یک داشبورد امن استفاده میکند، بدون اینکه نیاز به کلید API جدیدی داشته باشد. این رویکرد، هوش مصنوعی را از یک محیط ایزوله و محدود (Sandbox) به دنیای واقعی و احراز شده وب میبرد.
همانطور که در تحلیلهای قبلی ما درباره پروتکلهای ارتباطی مدلها اشاره کردیم، اتصال مدل به ابزارهای بومی سیستمعامل، کلید عبور از محدودیتهای محیطهای ابری است. در همین راستا، دسترسی مستقیم MCP در برابر روشهای سنتی نشان میدهد که چگونه یکپارچگی با دادههای زنده میتواند بهرهوری عاملهای AI را در محیطهای تجاری متحول کند.
مکانیزم پنهانکاری
NeoBrowser برای پنهان ماندن، بهجای جعل اطلاعات (Spoofing)، بر «ثبات» (Consistency) تمرکز کرده است. به نقل از مستندات این پروژه در گیتهاب، این ابزار از اشتباهات رایجی که باعث فعال شدن سیستمهای شناسایی Cloudflare یا DataDome میشود، دوری میکند. سیستمهای شناسایی مدرن بهدنبال تناقضها میگردند؛ مثلاً وقتی یک User-Agent جعلی با Client Hints همخوانی ندارد یا توکن HeadlessChrome در مرورگر یافت میشود.
فلسفه NeoBrowser این است که بهجای روی هم انباشتن اطلاعات جعلی، ثبات را حفظ کند. این ابزار مکانیزمهای زیر را پیادهسازی میکند:
- اثر انگشت واقعی: مقدار
navigator.webdriverرا سرکوب کرده و آن را بهundefinedتغییر میدهد. همچنین نسخه User-Agent را از طریق پرچمهای اجرا (Launch Flags) دقیقاً با نسخه واقعی کروم نصبشده تطبیق میدهد. این کار باعث میشود Client Hints واقعی باقی بمانند و ابزار بتواند از تستهای سختگیرانهای مانند bot.sannysoft عبور کند. - اصالت سختافزاری: با اجتناب از پرچم
--disable-gpu، اطلاعات واقعی کارت گرافیک میزبان را از طریق WebGL گزارش میدهد، بهجای آنکه از رندرینگ نرمافزاری استفاده کند. همچنین وصلههای جاوااسکریپتی (JS Patches) برای پلاگینها، زبانها و رفع تناقضات مربوط به مجوزها و اعلانها (Notifications) در تبهای تحت مالکیت خود اعمال میکند. - ورودیهای انسانگونه: بهجای «پرش» یا تلپورت لحظهای به یک مختصات خاص برای کلیک، مکاننما را در یک مسیر چندمرحلهای با توقفهای کوتاه و با ریتم انسانی حرکت میدهد. تایپ کردن نیز بهصورت کلید به کلید و با زمانبندیهای واقعگرایانه انجام میشود تا سیستمهای تحلیل رفتاری را دور بزند.
ادغام با جلسات واقعی
یکی از قدرتمندترین قابلیتها، حالت NEOBROWSER_REAL_PROFILE است. این قابلیت به عامل اجازه میدهد کوکیهای پروفایل واقعی شما را با استفاده از زنجیره کلید سیستمعامل (macOS Keychain، Linux secret-service یا Windows DPAPI) رمزگشایی و تزریق کند.
برای حفظ امنیت کاربر، این ابزار بهطور هوشمند کوکیهای شناسایی جلسه (Session-identity) برای سرویسهای گوگل، لینکدین و مایکروسافت را استثنا میکند و آنها را حذف میکند. این کار تضمین میکند که در حالی که عامل احراز هویت شده است، بهطور تصادفی باعث خروج کاربر از جلسه اصلی مرورگرش نشود.
کاربران دو راه اصلی برای مدیریت جلسات دارند:
۱. تزریق پروفایل: تنظیم NEOBROWSER_REAL_PROFILE روی یک پوشه خاص (مثلاً "Default" یا "Profile 1") برای استخراج و تزریق جلسات.
۲. اتصال زنده: تنظیم NEOBROWSER_ATTACH_PORT=9222 برای اتصال به یک نسخه از کروم که در حال حاضر با پرچم --remote-debugging-port=9222 در حال اجرا است. در این حالت، NeoBrowser هرگز مرورگر واقعی را تغییر نمیدهد یا نمیبندد.
معماری فنی و ابزارها
این ابزار برای افزایش چشمگیر عملکرد با زبان Rust بازنویسی شده و بهصورت یک فایل باینری استاتیک حدود ۴ مگابایتی بدون نیاز به هیچ پیشنیاز در زمان اجرا (Runtime Dependencies) عرضه میشود. پیادهسازی اولیه به زبان پایتون همچنان در مخزن پروژه برای استفاده به عنوان «اوراکل تست» جهت تستهای تفاضلی (Differential Testing) نگهداری میشود. NeoBrowser بهجای تکیه بر Selenium یا WebDriver، مستقیماً با پروتکل ابزارهای توسعه کروم (CDP) ارتباط برقرار میکند.
این سرور ۴۳ ابزار مجزا و متمایز در اختیار مدل هوش مصنوعی قرار میدهد که به شرح زیر دستهبندی میشوند:
- ناوبری و تعامل:
navigate: برای رفتن به یک URL و تشخیص همزمان دیوارهای بات.clickوtypeوfill/submit forms: برای تعامل با عناصر صفحه و پر کردن فرمها.upload/download: برای مدیریت فایلها.
- استخراج داده و تحلیل:
read: برای استخراج متنهای قابل مشاهده در صفحه.extract tablesوscreenshot: استخراج جداول و ثبت تصویر صفحه در قالب PNG.console/network logsوperformance metrics: برای عیبیابی و بررسی لاگهای شبکه و کنسول.
- مدیریت پیشرفته:
new_tab،list_tabs،switch_tabوclose_tab: مدیریت تبها در حالی که همگی از یک نسخه کروم استفاده میکنند.record/replay playbooks: برای ضبط و بازپخش گردشهای کاری تکرارپذیر.scroll: برای مدیریت محتواهایی که بهصورت Lazy-load بارگذاری میشوند.
- جستوجوی چندمنبعای:
- یک سیستم مسیریابی (Routing) که نتایج را از منابع مختلف ترکیب میکند: داکداکگو و گوگل (برای متن)، بینگ و گوگل (برای تصاویر)، و یوتیوب و گوگل (برای ویدیوها).
- منابعی که دارای «دیوار» هستند بهطور خودکار نادیده گرفته میشوند تا مدل مسدود نشود.
آگاهی از سدهای بات
برخلاف ابزارهایی که کورکورانه صفحه را رفرش میکنند تا در نهایت بن شوند، NeoBrowser «آگاه به سد» (Bot-wall aware) است. ابزار ناوبری میتواند کپچاها، گیتهای رضایت (Consent gates)، محدودیتهای نرخ درخواست (Rate-limits) و گیتهای ورود را در لحظه تشخیص دهد.
وقتی یک چالش تعاملی مانند reCAPTCHA یا Turnstile ظاهر میشود، NeoBrowser آن را شناسایی کرده و کنترل را از طریق یک مسیر انسانی یا جلسه واقعی به کاربر انسان برمیگرداند. بر اساس بررسیهای فنی، این صداقت باعث قابلاعتماد شدن ابزار میشود؛ زیرا میپذیرد که هیچ ابزاری نمیتواند بهطور کامل و همیشگی سیستمهای رفتاری یا سیستمهای اعتبارسنجی پیچیدهای مثل DataDome را شکست دهد.
در یک بنچمارک بازتولیدپذیر با استفاده از یک ماتریس وظایف مشترک (bench/)، NeoBrowser با Playwright MCP مقایسه شد. یافتهها نشان داد:
- موفقیت عملیاتی: هر دو ابزار در انجام وظایف عملکردی مشترک موفق بودند.
- عملکرد: Playwright MCP سریعتر بود، زیرا NeoBrowser برای اطمینان از اینکه محتواهای تأخیری (Deferred content) قابل مشاهده هستند، هزینه پردازشی بیشتری برای رندر کردن فریمها میپردازد.
- قابلیتها: NeoBrowser در زمینه تداوم جلسات (Session persistence) و تشخیص سطح اول سدهای بات، قابلیتهایی ارائه داد که Playwright فاقد آنهاست.
حفاظهای امنیتی
به دلیل دسترسی به جلسات واقعی کاربران، لایههای امنیتی سختگیرانهای اعمال شده است. تمام درخواستهای سمت سرور (مانند browse و download) برای جلوگیری از حملات SSRF فقط به HTTPSهای عمومی محدود شدهاند. همچنین ابزار ورود (Login) بهطور خاص از پذیرش URLهای غیر HTTPS خودداری میکند و هرگز اعتبارنامهها (Credentials) را لاگ نمیکند.
فایلهای کوکی و جلسه در مسیر ~/.neobrowser با دسترسیهای سختگیرانه 0600 ذخیره میشوند. این سیستم بهصورت یک ابزار «اختیاری» (Opt-in) طراحی شده است؛ یعنی هیچ چیزی به پروفایل واقعی دست نمیزند مگر اینکه NEOBROWSER_REAL_PROFILE بهطور صریح تنظیم شده باشد. به کاربران هشدار داده شده است که هر آنچه هوش مصنوعی با جلسه آنها مرور میکند، از نظر وبسایتها توسط خود کاربر انجام شده است و این ابزار برای اتوماسیون حسابهای شخصی است، نه برای دور زدن کنترلهای دسترسی در سرویسهای شخص ثالث.
نصب و پیکربندی
برای مک و لینوکس، نصب با یک دستور تکخطی curl -fsSL https://raw.githubusercontent.com/pitiflautico/neobrowser/main/install.sh | sh انجام میشود. باینریهای ویندوز در صفحه Releases موجود است. کاربران همچنین میتوانند با استفاده از زنجیره ابزار Rust و دستور cargo build --release آن را از سورس کد بسازند.
متغیرهای محیطی کلیدی برای پیکربندی عبارتند از:
NEOBROWSER_CHROME_BIN: برای تغییر مسیر خودکار شناسایی شده برای فایل اجرایی کروم/کرومیوم.NEOBROWSER_HOME: تعریف محل ذخیره پروفایلها، کوکیها و Playbookها (پیشفرض:~/.neobrowser).NEOBROWSER_PROXY: برای تنظیم یک پروکسی HTTP یا SOCKS5 بالادستی.ANTHROPIC_API_KEY: فعالسازی یک جایگزین LLM اختیاری برای ابزارfind(که از درختهای دسترسی و اکتشافات استفاده میکند).
پس از نصب، کاربران باید دستور neobrowser doctor را اجرا کنند تا تایید شود که کروم پیدا شده و یک تست دود (Smoke test) زنده برای CDP انجام شود. این تغییر در معماری به این معناست که هوش مصنوعی دیگر یک «بات» نیست که تظاهر به انسان بودن کند، بلکه کنترلکنندهای برای یک جلسه واقعی کاربر است و اصطکاک احراز هویت و شکنندگی اثر انگشت مرورگرهای Headless را از بین میبرد.
گام بعدی شما
- اگر از عاملهای AI برای کارهای اداری استفاده میکنید، NeoBrowser را جایگزین مرورگرهای Headless کنید تا با کپچاهای تکراری خداحافظی کنید.
- برای امنیت بیشتر، از حالت
NEOBROWSER_ATTACH_PORTاستفاده کنید تا کنترل کامل مرورگر در دست شما بماند. - دستور
neobrowser doctorرا برای اطمینان از سازگاری نسخه کروم خود اجرا کنید.
اما داستان سختافزاری این تحول حتی شگفتانگیزتر است — به تحلیل ما درباره تراشههای Blackwell مراجعه کنید.
گفتگو