تصور کنید دیگر کسی در گوگل جست‌وجو نمی‌کند و تمام ترافیک وب‌سایت شما به جای انسان‌ها، توسط ربات‌هایی هدایت می‌شود که تصمیم می‌گیرند چه ابزاری را به کاربر پیشنهاد دهند. در این دنیای جدید، صفحه مستندات شما دیگر فقط برای خواندن انسان نیست، بلکه یک پرس‌وجوی پیچیده است که برای به دام انداختن عامل‌های هوش مصنوعی سرگردان طراحی شده است.
Val Town اکنون حضور وب خود را به عنوان یک فانوس دریایی برای مدل‌های زبانی بزرگ (LLM) — شبیه کتابخانه‌داری که میلیاردها صفحه را خوانده و حالا با همان لحن کتاب‌ها جواب می‌دهد — بازتعریف کرده است. این شرکت از سئو (SEO) سنتی فاصله گرفته و به سمت بهینه‌سازی موتورهای پاسخ‌دهنده (Answer Engine Optimization یا AEO) حرکت می‌کند که به آن «بهینه‌سازی موتورهای عامل‌محور» (Agentic Engine Optimization) نیز می‌گویند.
این چرخش راهبردی از جستاری نوشته شده توسط «هنریک کارلسون» الهام گرفته است. او استدلال می‌کند که یک پست وبلاگی در واقع یک پرس‌وجوی بسیار طولانی و پیچیده برای یافتن افراد جذاب است تا آن‌ها مطالب جالب را به صندوق ورودی شما ارسال کنند. اگرچه هدف نوشتن در فضای عمومی همچنان یافتن انسان‌های هم‌فکر است، اما الگوی جدیدی ظهور کرده است: عامل‌های هوش مصنوعی که به نمایندگی از کاربران انسانی خود، وب‌سایت‌ها را پیدا می‌کنند.
این انتقال بسیار فوری است زیرا قابلیت AI Overviews گوگل — که تقریباً نیمی از اوقات ممکن است اشتباه کند — به‌شدت باعث کاهش کلیک روی نتایج برتر جست‌وجو شده است. علاوه بر این، بسیاری از کاربران دیگر اصلاً به گوگل مراجعه نمی‌کنند و ترجیح می‌دهند در اکوسیستم‌های ChatGPT، Claude یا ابزارهای مشابه بمانند. برای توسعه‌دهندگان و استارتاپ‌ها، مخاطرات بسیار بالاست. اگر یک عامل هوش مصنوعی برای یک وظیفه خاص، ابزار رقیب را پیشنهاد دهد، کاربر انسانی ممکن است هرگز حتی یک جست‌وجوی سنتی انجام ندهد. رویکرد Val Town یک نقشه راه عملی برای بقا در این انتقال از «کلیک» به «استناد» (Citation) ارائه می‌دهد. این تغییر در نحوه تعامل کاربران با برندها، پیش‌درآمدی بر تحولی است که در آن ممکن است هوش مصنوعی جایگزین کادرهای شناسایی برند شود و مفاهیم سنتی هویت برند را دگرگون کند.
اندازه‌گیری خط لوله ربات‌ها
در جولای ۲۰۲۴، Val Town متوجه شد که بخش بزرگی از کاربران جدید سطح Pro (در میان کاربرانی که منبع ارجاع آن‌ها مشخص بود)، توسط هوش مصنوعی معرفی شده‌اند و Claude محرک اصلی این رشد بوده است. نکته جالب این است که این اتفاق پیش از هرگونه تلاش سازمان‌یافته برای «بهینه‌سازی» رخ داد. همان‌طور که سئو منجر به AEO می‌شود، داشتن محتوای باکیفیت و ایندکس شده‌ای که سایت‌های دیگر به آن لینک می‌دهند، یک زیربنای طبیعی برای کشف توسط عامل‌های AI فراهم می‌کند.
با این حال، ابزارهای تحلیل سنتی نتوانستند این موضوع را به‌دقت ثبت کنند. تیم متوجه شد که داده‌های utm_source و Referer بسیار پراکنده و ناقص هستند؛ زیرا بسیاری از ارجاعات از طریق حافظه داخلی مدل‌ها — یعنی وزن‌های آموزشی آن‌ها — به صورت ذکر نام در متن ساده رخ می‌دهند، نه از طریق لینک‌های قابل کلیک. برای مثال، ممکن است Claude نام Val Town را ذکر کند بدون اینکه به دامنه val.town لینک بدهد، یا اینکه شرکت Anthropic به‌سادگی utm_source را منتقل نکند.
برای حل این مشکل، شرکت جریان ثبت‌نام (Onboarding) خود را با یک سوال نظرسنجی خاص به‌روزرسانی کرد: «چطور با Val Town آشنا شدید؟».
نتایج اولیه نشان‌دهنده یک سوگیری (Bias) بود؛ کاربران برای سریع‌تر تمام کردن نظرسنجی، به‌سادگی روی اولین گزینه یعنی ChatGPT کلیک می‌کردند. برای رفع این سوگیری در ترتیب گزینه‌ها، تیم سیستم چرخش نظرسنجی (Survey Rotation) را پیاده کرد تا لیست معرفی‌کنندگان به‌طور تصادفی جابه‌جا شود و حس جهت‌دار دقیق‌تری از نقطه شروع AEO آن‌ها به دست آورند.
ساخت مجموعه ارزیابی (Eval Suite)
برای عبور از نظرسنجی‌های جهت‌دار، Val Town به دنبال گام ۱-ب است: ایجاد یک مجموعه ارزیابی (Evaluation Suite) اختصاصی. این کار شامل مجموعه‌ای از سوالات خاص است که از چندین مدل مختلف پرسیده می‌شود تا بررسی شود آیا Val Town در پاسخ‌ها ظاهر می‌شود یا خیر. برای مثال:
- انسان: «چطور می‌توانم سرور MCP خودم را بسازم و میزبانی کنم؟»
- کلود: «برای تکرار سریع، Cloudflare، Vercel یا Val Town را امتحان کنید.»
اگرچه فروشندگان AEO مانند ByDefault، Ahrefs و Profound این ارزیابی‌ها را ارائه می‌دهند، اما Val Town قصد دارد سیستم خود را بسازد. این سیستم احتمالاً به شکل یک «cron val» خواهد بود که با استفاده از یک درگاه AI، به‌طور خودکار ده‌ها مدل مختلف را مورد پرس‌وجو قرار می‌دهد.
مدیریت دیوار آتش و تثلیث ربات‌ها
بر اساس تحلیل‌های فنی، Val Town تمایز حیاتی بین انواع مختلف خزنده‌های AI را شناسایی کرده است. اکثر آزمایشگاه‌های AI یک «تثلیث ربات» (Bot Trinity) را مستقر می‌کنند تا داده‌های آموزشی را از جست‌وجوی لحظه‌ای جدا کنند.
- تثلیث OpenAI: ربات
GPTBot(برای جمع‌آوری داده‌های آموزشی)،OAI-SearchBot(برای ایندکس کردن جهت جست‌وجو) وChatGPT-User(زمانی که کاربر سوالی می‌پرسد و مدل جست‌وجو می‌کند). - تثلیث Anthropic: ربات‌های
ClaudeBot،Claude-SearchBotوClaude-User.
البته همه سازندگان از این الگو پیروی نمی‌کنند؛ برای مثال، Googlebot هر دو وظیفه جست‌وجو و آموزش را بر عهده دارد. مدیریت این ربات‌ها یک بازی دائمی موش و گربه است. Val Town پیش از این خزنده‌های آموزشی مانند GPTBot، ClaudeBot، Amazonbot و Meta-ExternalAgent را از طریق Cloudflare مسدود کرده بود تا از اشباع شدن سرورها جلوگیری کند.
اخیراً آن‌ها Claude-SearchBot را نیز مسدود کردند، زیرا این ربات در عرض ۲۴ ساعت نزدیک به ۱۰۰ گیگابایت داده را استخراج کرده بود. این ربات به دنبال مستندات مفید نبود، بلکه در حال جارو کردن «دم بلند» (Long Tail) کدهای منبع تولید شده توسط کاربران بود و مانند یک جاروبرقی صنعتی عمل می‌کرد.
هنگام مسدود کردن ربات‌ها در Cloudflare، مدیران می‌توانند یک خطای استاندارد HTTP 403 Forbidden یا یک خطای 402 Payment Required (که به عنوان «مالیات تراکم» شناخته می‌شود) ارسال کنند. در حالی که روزنامه‌های سنتی قراردادهای لایسنس برای آموزش مدل‌ها امضا کرده‌اند، این خزنده‌ها هنوز پولی به Val Town پرداخت نمی‌کنند. برای ایجاد تعادل بین سلامت سرور و دیده شدن، شرکت قوانین دیوار آتش خود را ویرایش کرد تا به‌طور خاص به خزنده‌ها اجازه دسترسی به docs.val.town و blog.val.town را بدهد. این کار تضمین می‌کند که مفیدترین و واقعی‌ترین محتوا وارد مجموعه‌های آموزشی و ایندکس‌های جست‌وجو شود.
جذب عامل‌های درست
مرحله نهایی AEO، خلق محتوایی است که عامل‌های AI عاشق آن باشند. مدل‌های زبانی بزرگ (LLM) لیست‌های ساختاریافته و راهنماهای شفاف و معتبر را ترجیح می‌دهند. با این حال، Val Town یک سیاست سخت‌گیرانه «تجربه کاربر بر تجربه عامل» (UX over AX) را دنبال می‌کند. آن‌ها از انتشار «زباله» (Slop) — یعنی محتوای تولید شده توسط AI که رتبه خوبی می‌گیرد اما هیچ ارزشی برای انسان ندارد — خودداری می‌کنند. این رویکرد در تضاد با مدل‌های تولید انبوه محتواست، مشابه آنچه در تجربه ساخت سایت‌های عظیم بدون توسعه‌دهنده دیده شد که در آن سلیقه کاربر در برابر مهارت کدنویسی قرار می‌گیرد.
تیم آن‌ها یک منطقه خاکستری را بررسی کرد: انتشار مطالب دقیق نوشته شده توسط AI که توسط انسان‌ها بازبینی شده باشد. آن‌ها گردش کاری را بررسی کردند که توسط «شارلوت» در Octolens استفاده می‌شد و شامل یک مهارت (Skill) در Claude بود که:
۱. یک کلمه کلیدی (مثلاً social listening) را به کلمات کلیدی مرتبط گسترش می‌داد.
۲. از API شرکت Ahrefs برای استخراج حجم واقعی جست‌وجو و نتایج استفاده می‌کرد.
۳. از API شرکت Octolens برای استخراج نقل‌قول‌های واقعی مشتریان استفاده می‌کرد.
۴. یک پیش‌نویس وبلاگ در قالب PR باز می‌کرد تا یک انسان آن را بازبینی و منتشر کند.
با وجود این کارایی، مؤسس Val Town دریافت که محتوای نوشته شده توسط AI اغلب فاقد لحن لازم و ایجاز است. تلاش‌ها برای اینکه Claude «لحن را حفظ کند» باعث می‌شد لحن کلاً از بین برود و تلاش برای افزایش تعداد کلمات جهت رتبه‌بندی، با این ایده که «ایجاز روح شوخ‌طبعی است» در تضاد بود.
در عوض، آن‌ها از هوش مصنوعی برای تحقیق جهت یافتن «فضاهای خالی جست‌وجو» (Search Whitespace) — به‌ویژه در مورد ساخت سرورهای MCP (پروتکل زمینه مدل) — استفاده کردند و سپس راهنما را به‌صورت دستی نوشتند. آن‌ها اعتراف کردند که بخشی از متن را برای مخاطب رباتیک مفروض نوشتند (مثلاً توضیح دادند سرور MCP چیست، در حالی که یک برنامه‌نویس انسانی احتمالاً آن را می‌داند)، اما این کار را بدون قربانی کردن تجربه انسانی انجام دادند.
این استراتژی نشان می‌دهد که آینده وب ترکیبی (Hybrid) است. محتوا باید به اندازه کافی ساختاریافته باشد تا یک ربات بتواند آن را تجزیه و استناد کند، اما در عین حال باید به اندازه کافی اصیل باشد تا وقتی انسانی واقعاً به سایت رسید، به آن اعتماد کند. از آنجایی که AEO همچنان یک مسئله حل‌نشده در فضای ابزارهای توسعه (DevTools) است، Val Town از این وبلاگ به عنوان فانوسی برای یافتن سایر افراد خبره استفاده می‌کند. برای اینکه ببینید این موضوع چگونه بر ترافیک شما تأثیر می‌گذارد، با بررسی لاگ‌های سرور خود برای شناسایی امضاهای خاص ربات‌های OpenAI و Anthropic شروع کنید تا بفهمید چه کسی واقعاً مستندات شما را می‌خواند.
گام بعدی شما
- لاگ‌های سرور خود را برای شناسایی امضاهای ربات‌های OpenAI و Anthropic بررسی کنید تا بفهمید چه کسی مستندات شما را می‌خواند.
- محتوای کلیدی خود را به صورت لیست‌های ساختاریافته و راهنماهای گام‌به‌گام بازنویسی کنید تا برای مدل‌های زبانی قابل‌فهم‌تر شود.
- دسترسی خزنده‌های آموزشی را محدود کنید اما دسترسی خزنده‌های Search-Bot را به صفحات مستندات باز بگذارید.
اما داستان سخت‌افزاری این تحول حتی شگفت‌انگیزتر است — به تحلیل ما درباره‌ی تراشه‌های Blackwell مراجعه کنید.
گفتگو