OpenAI، Google، Microsoft و Anthropic اعلام کردند که توکن سیاست (policy token) واحد در فایل robots.txt را برای مسدودسازی محتوای ناشرها از آموزش مدل‌های هوش مصنوعی خود محترم خواهند شمرد. این استاندارد، که از طریق IETF پیشنهاد شده، بار فنی ناشرها را به شدت کاهش می‌دهد. این چالش پیش‌تر باعث شد متا و والمارت نیز استاندارد باز جدیدی برای کنترل ترافیک عامل‌های هوش مصنوعی پیشنهاد دهند. در حالی که این غول‌ها توکن سیاست را می‌پذیرند، متا همچنان شرایط جدیدی برای آموزش رایگان روی محتوای تجاری اعمال می‌کند. همزمان، آمازون و جی‌پی‌مورگان نیز دسترسی عامل‌های هوش مصنوعی را برای حفظ درآمد تبلیغاتی محدود کرده‌اند.
پیش‌زمینه: چالش کرالرهای هوش مصنوعی
ناشرها سال‌ها با طوفان AI crawler (کرالر هوش مصنوعی) مواجه بوده‌اند که محتوای سایت‌ها را برای آموزش مدل‌ها کپی می‌کنند. تا کنون هر شرکت روش خروج جداگانه‌ای داشت و ناشرها باید چندین لیست مسدودسازی را مدیریت می‌کردند.
توکن سیاست robots.txt: جزئیات و زمان‌بندی
توکن سیاست توسط کین کلی، رهبر فنی استانداردها در Anthropic، به عنوان بخشی از IETF پیشنهاد شده و در فایل robots.txt قرار می‌گیرد. این مکانیزم جایگزینِ رویکردهای پراکنده مانند Really Simple Licensing و مسدودسازی پیش‌فرض Cloudflare می‌شود که پذیرش جهانی نداشتند.
Anthropic این توکن را از قبل پیاده‌سازی کرده است. Google و Microsoft پشتیبانی را برای سال بعد برنامه‌ریزی کرده‌اند، در حالی که OpenAI قول داده در ماه‌های آینده آن را اعمال کند.
کنترل‌های جزئی Microsoft
Microsoft گزینه‌ای جزئی‌تر ارائه می‌دهد: ناشرها می‌توانند جداگانه از آموزش هوش مصنوعی یا از grounding (مبنی‌سازی) — یعنی ارجاع مدل به منابع معتبر برای کاهش توهم — خروج کنند. سایت‌های خارج‌شده همچنان در نتایج جستجوی Bing قابل مشاهده خواهند بود.
پیامدها و گام‌های بعدی
اجرای این استاندارد داوطلبانه است و تنها داده‌های آموزش را پوشش می‌دهد؛ بازیابی لحظه‌ای برای مبنی‌سازی در پوشش نیست مگر گزینه Microsoft انتخاب شود. انتظار می‌رود IETF این توکن را به عنوان RFC رسمی کند و کرالرهای دیگر مانند Applebot یا ربات Perplexity نیز پشتیبانی خود را اعلام کنند.
گام بعدی شما
- فایل robots.txt سایت خود را بررسی کنید و توکن سیاست استاندارد را برای مسدودسازی همزمان چهار کرالر اضافه کنید.
- اگر از ترافیک Bing بهره می‌برید، مطمئن شوید گزینه مبنی‌سازی مسدود نشده باقی می‌ماند تا در جستجو دیده شوید.
- روند رسمی‌سازی RFC در IETF و اعلام پشتیبانی از سوی Applebot و Perplexity را رصد کنید.
گفتگو