- ChatGPT وPerplexity وClaude لها «بوتات بحث» غير «بوتات التدريب». منع بوت التدريب لا يخفيك من الإجابات، أما منع بوت البحث فيخفيك.
- ملخصات الذكاء الاصطناعي في جوجل تعتمد على زاحف جوجل العادي؛ و«Google-Extended» لا يؤثر على ظهورك في البحث.
- الذكاء الاصطناعي يفهم النص المكتوب في الصفحة، والأسئلة والإجابات الواضحة، وبيانات نشاطك المنظّمة.
- افحص موقعك في دقيقة بالأداة أسفل المقال.
زبونك لم يعد يكتب «سباك مدينة نصر» في جوجل فقط؛ بعضهم يسأل ChatGPT أو Gemini: «مين أحسن سباك قريب مني؟». الإجابة تأتي من مواقع قرأها الذكاء الاصطناعي وفهمها. السؤال إذن: هل يستطيع أن يقرأ موقعك أصلًا، وهل يفهم منه ماذا تقدم وأين؟
كيف يجد الذكاء الاصطناعي موقعك؟
كل شركة لها زاحف يزور المواقع كما يزورها جوجل. ChatGPT يعتمد في نتائج البحث على زاحف اسمه OAI-SearchBot، وPerplexity على PerplexityBot، وClaude على Claude-SearchBot. أما جوجل فملخصاته الذكية مبنية على فهرس البحث العادي الذي يجمعه Googlebot؛ فإن كنت ظاهرًا في جوجل فأنت مرشّح لها.
بوتات البحث وبوتات التدريب: الخطأ الأشهر
كثير من المواقع تمنع «كل بوتات الذكاء الاصطناعي» بسطر واحد لتحمي محتواها من التدريب، فتختفي معها من الإجابات. وآخرون يتركون كل شيء مفتوحًا ويمنعون بالخطأ بوت البحث نفسه. هذا الجدول يفصل بينهما:
| البوت | الشركة | وظيفته | لو منعته |
|---|---|---|---|
| OAI-SearchBot | OpenAI | يجمع الصفحات التي تظهر في نتائج البحث داخل ChatGPT | اختفاء موقعك من نتائج ChatGPT search |
| ChatGPT-User | OpenAI | يفتح صفحة لأن مستخدمًا طلبها داخل المحادثة | ChatGPT لن يستطيع فتح صفحتك عند الطلب |
| GPTBot | OpenAI | يجمع محتوى لتدريب نماذج OpenAI | استبعاد محتواك من التدريب فقط |
| Googlebot | زاحف جوجل العادي؛ ومنه تُبنى نتائج البحث وملخصات الذكاء الاصطناعي في جوجل | اختفاء موقعك من جوجل كله | |
| Google-Extended | إذن استخدام المحتوى في تدريب نماذج Gemini | لا يؤثر على ظهورك في بحث جوجل | |
| PerplexityBot | Perplexity | يبني فهرس البحث الذي تستشهد منه Perplexity | غيابك عن إجابات Perplexity |
| Claude-SearchBot | Anthropic | يفهرس المحتوى لتحسين نتائج البحث في Claude | ظهور أقل في إجابات Claude البحثية |
| Claude-User | Anthropic | يفتح صفحة عندما يطلبها مستخدم Claude | Claude لن يفتح صفحتك عند الطلب |
| ClaudeBot | Anthropic | يجمع محتوى لتدريب نماذج Anthropic | استبعاد محتواك من التدريب فقط |
المصادر: توثيق جوجل لزواحفها (Google-Extended «لا يؤثر على إدراج الموقع في بحث جوجل ولا يُستخدم كإشارة ترتيب») · Search Engine Land عن بوتات Anthropic الثلاثة · توثيق OpenAI لزواحفها (developers.openai.com/api/docs/bots).
7 علامات تفحصها بنفسك
- بوتات البحث مسموح لها في robots.txt. افتح yourdomain.com/robots.txt وتأكد أن OAI-SearchBot وPerplexityBot وClaude-SearchBot غير ممنوعة، وأن Googlebot غير ممنوع.
- النص مكتوب في الصفحة نفسها. أغلب زواحف الذكاء الاصطناعي تقرأ HTML دون تشغيل JavaScript. لو خدماتك مكتوبة داخل صور أو تظهر بعد تحميل برمجي، فهي لا تراها.
- أسئلة وإجابات واضحة. «بكام تنظيف الشقة؟ وهل تشتغلون يوم الجمعة؟» — صفحة تجيب عن أسئلة زبائنك الحقيقية بجملة مباشرة هي أسهل ما يقتبسه الذكاء الاصطناعي.
- هوية نشاطك منظّمة. بيانات Schema تعرّف اسم نشاطك ونوعه وهاتفه ومنطقة خدمته، وتربطه بحساباته الرسمية (sameAs) حتى لا يخلطك بنشاط آخر بنفس الاسم.
- الاقتباس غير ممنوع. وسم nosnippet على الصفحة يمنع جوجل من عرض مقتطفات منها.
- معلومات صحيحة ومتسقة. نفس الاسم والرقم والمنطقة في الموقع وملف خرائط جوجل وصفحاتك؛ التضارب يجعل الإجابة تتجنبك أو تخطئ عنك.
- llms.txt: اختياري. ملف مقترح يلخّص موقعك لنماذج اللغة. جوجل قال إنه لا يستخدمه، وبعض الأدوات قد تقرؤه؛ وجوده لا يضر ولا يعوّض العلامات الست السابقة.
ملف robots.txt جاهز للنسخ
هذا مثال يترك البحث مفتوحًا للجميع ويسمح صراحة لبوتات بحث الذكاء الاصطناعي. إن أردت منع التدريب فقط، أضف أسطر منع لـ GPTBot وClaudeBot وGoogle-Extended ولا تلمس بوتات البحث. غيّر عنوان خريطة الموقع لدومينك.
User-agent: *
Allow: /
# بحث وإجابات الذكاء الاصطناعي — اتركها مفتوحة
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
Sitemap: https://example.com/sitemap.xmlما لا نعدك به
لا أحد يستطيع أن يضمن ظهورك في إجابة ChatGPT أو Gemini؛ الإجابة يختارها النموذج. ما تستطيعه هو ألا تمنع نفسك، وأن تكتب لزبونك بوضوح وصدق. ولهذا في «أشعة لموقعك» سبعة فحوصات للذكاء الاصطناعي، وفي باقات السيو عندنا تتابع ليلى ذكر موقعك في إجابات ChatGPT وPerplexity ضمن التقارير.
جرّبها على موقعك
هل ChatGPT يستطيع قراءة موقعك؟
اكتب الدومين، وتفتح «أشعة لموقعك» وتفحص صفحتك الرئيسية الآن في 23 نقطة، منها 7 لجاهزية الذكاء الاصطناعي.
أسئلة شائعة
هل منع GPTBot يخفيني من ChatGPT؟
لا. GPTBot للتدريب فقط. الظهور في نتائج بحث ChatGPT يعتمد على OAI-SearchBot.
هل Google-Extended يؤثر على ظهوري في جوجل؟
لا. بحسب توثيق جوجل هو إذن لاستخدام المحتوى في تدريب Gemini، ولا يؤثر على الإدراج في البحث أو الترتيب.
هل أحتاج ملف llms.txt؟
اختياري. جوجل صرّح أنه لا يعتمد عليه، ووجوده لا يغني عن نص واضح وبيانات منظّمة.
كيف أعرف هل موقعي جاهز؟
افحصه بأداة «أشعة لموقعك»: تعرض لك ChatGPT وGemini وPerplexity وClaude مسموح لها أم ممنوعة، ودرجة جاهزية من 100.
أيقونة على شاشتك: مريم والخدمات ومنطقة العميل والبحث الصوتي بلمسة، بدون متجر تطبيقات وبدون مساحة تُذكر.