اگر صاحب وب‌سایت هستید، اکنون می‌توانید تصمیم بگیرید که آیا محتوای شما صرفاً برای پاسخ به کاربران استفاده شود یا به عنوان سوخت برای آموزش مدل‌های آینده تبدیل گردد. این تفکیک فنی به این معناست که دیگر مجبور نیستید برای دیده شدن در نتایج جست‌وجوی هوش مصنوعی، مالکیت داده‌های خود را واگذار کنید. رؤیت‌پذیری وب‌سایت شما در پاسخ‌های هوش مصنوعی به یک تمایز فنی بین دو خزنده متفاوت بستگی دارد. اوپن‌ای‌آی (OpenAI) از OAI-SearchBot برای جست‌وجوی بلادرنگ ChatGPT و از GPTBot برای جمع‌آوری داده‌های آموزشی استفاده می‌کند و اجازه دادن به یکی، لزوماً به معنای اجازه دادن به دیگری نیست.
این تغییر در حالی رخ می‌دهد که برندها برای حفظ مالکیت معنوی خود با چالش‌های جدی روبرو هستند و تلاش می‌کنند تعادلی میان جذب ترافیک مبتنی بر هوش مصنوعی و حفاظت از دارایی‌های فکری ایجاد کنند. همان‌طور که در تحلیل‌های قبلی ما درباره‌ی سوءاستفاده از سبک‌های هنری توسط مدل‌های زاینده اشاره کردیم — مانند موردی که ChatGPT امضاهای ۱۵ کارتونیست مجله نیویورکر را جعل کرد — کنترل دسترسی خزنده‌ها نخستین خط دفاعی برای تولیدکنندگان محتواست.
بر اساس مستندات منتشر شده تا ۶ اکتبر ۲۰۲۶، سه نقش متفاوت برای خزنده‌های این شرکت تعریف شده است:
- OAI-SearchBot: مخصوص جست‌وجوی ChatGPT برای ارائه ارجاعات (Citations) و اطلاعات به‌روز.
- GPTBot: خزنده‌ای که وب را برای اهداف کلی آموزش مدل‌ها می‌پیماید.
- ChatGPT-User: نقش مجزایی برای درخواست‌هایی که مستقیماً توسط کاربر در طول یک جلسه چت ارسال می‌شود.
برای اجرای این تفکیک، توسعه‌دهندگان باید گروه‌های کاربر (User-agent) خاصی را در فایل robots.txt تعریف کنند. برای مثال، یک سایت می‌تواند برای User-agent: OAI-SearchBot مقدار Allow: / را تنظیم کند، در حالی که برای User-agent: GPTBot مقدار Disallow: / را قرار دهد. با این روش، سایت شما در نتایج جست‌وجوی هوش مصنوعی — که شبیه به یک ویترین دیجیتال برای جذب مشتری است — باقی می‌ماند، اما از استخر داده‌های آموزشی خارج می‌شود. این موضوع در حالی اهمیت می‌یابد که تفاوت‌های بنیادین میان دیده‌شدن در موتورهای جست‌وجوی سنتی و هوش مصنوعی می‌تواند سرنوشت ترافیک ورودی وب‌سایت‌ها را تغییر دهد.
به گزارش منابع فنی، صرفِ تنظیم این فایل و موفقیت‌آمیز بودن یک درخواست، تضمین‌کننده ارجاع (Citation) نیست. مالکان سایت باید بررسی کنند که قوانین فایروال، چالش‌های لبه (Edge Challenges) یا تغییر مسیرها، محدوده‌های IP منتشر شده توسط OAI-SearchBot را مسدود نکرده باشند؛ زیرا رشته‌های User-agent به‌تنهایی می‌توانند توسط اشخاص ثالث جعل شوند. در واقع، برخی موانع فنی پیچیده‌تر نیز وجود دارند که حتی با وجود تنظیمات صحیح robots.txt، وب‌سایت شما را برای مدل‌هایی مانند ChatGPT و Perplexity نامرئی می‌کنند.
این رویکرد، فرض قدیمی مبنی بر اینکه دسترسی هوش مصنوعی «یا صفر است یا یک» (All-or-nothing)، را تغییر می‌دهد. برای صاحبان کسب‌وکار، این بدان معناست که اکنون می‌توانید با جست‌وجوی هوش مصنوعی به عنوان یک کانال بازاریابی (AEO/GEO) برخورد کنید و هم‌زمان، آموزش مدل را یک مسئله حریم خصوصی داده‌ها بدانید. این موضوع گفتگو را از یک موضع مبهم «مسدود کردن هوش مصنوعی» به یک سیاست دسترسی دقیق و جزئی منتقل می‌کند.
این استاندارد تنها مختص اوپن‌ای‌آی نیست و کنترل‌های مشابهی برای سایر ارائه‌دهندگان نیز وجود دارد. برای نمونه، شرکت آنتروپیک (Anthropic) نیز نقش‌های مجزایی برای ClaudeBot، Claude-User و Claude-SearchBot در نظر گرفته است. ترکیب یا اشتباه در نام‌گذاری این‌ها در سیاست‌های دسترسی، منجر به مسدودسازی‌های اشتباه یا دسترسی‌های ناخواسته می‌شود.
گام بعدی شما
برای تأیید تنظیمات خود، فایل robots.txt ارائه شده در هاست خود را بازرسی کرده و یک صفحه عمومی نمونه را تست کنید. سپس این موارد را اجرا کنید:
- دسترسی GPTBot را در صورت عدم تمایل به آموزش مدل، مسدود کنید.
- رنج‌های IP رسمی OAI-SearchBot را در فایروال خود سفید کنید تا ترافیک ارجاعی قطع نشود.
- صفحات حاوی داده‌های حساس مشتریان و حساب‌های خصوصی را حتماً پشت لایه‌های احراز هویت قرار دهید، زیرا robots.txt یک سیستم امنیتی نیست.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو