ملخص سريع
شرح عملي للفرق بين زواحف OpenAI الأربعة، وكيف تسمح بالظهور في بحث ChatGPT وتمنع الاستخدام في التدريب في الوقت نفسه، مع أمثلة robots.txt وأخطاء الحظر الشائعة.
معظم النقاش العربي حول «منع الذكاء الاصطناعي من موقعي» يفترض وجود زاحف واحد لـ OpenAI. الحقيقة أن هناك أربعة زواحف منفصلة، لكل منها مهمة مختلفة، ويمكنك السماح لأحدها ومنع الآخر. الخلط بينها هو سبب الخطأ الأكثر كلفة: صاحب موقع يريد فقط منع استخدام محتواه في التدريب، فيكتب قاعدة واحدة تحذف موقعه أيضاً من إجابات البحث داخل ChatGPT.
الزواحف الأربعة وما يفعله كل واحد
الفرق الجوهري بسيط: زاحف واحد يبني فهرس البحث الذي يستشهد بموقعك، وآخر يجمع بيانات لتدريب النماذج، وثالث يتحقق من صفحات الإعلانات، ورابع يفتح الصفحة لحظة يطلبها مستخدم داخل المحادثة. هذه أربعة قرارات مستقلة، لا قرار واحد.
- OAI-SearchBot — يبني فهرس البحث الذي تعتمد عليه إجابات ChatGPT. السماح له شرط الظهور كمصدر مُستشهد به.
- GPTBot — يجمع محتوى لتدريب النماذج الأساسية. منعه لا يؤثر على ظهورك في البحث.
- OAI-AdsBot — يتحقق من صفحات الوصول الإعلانية.
- ChatGPT-User — يفتح صفحة بناءً على طلب مباشر من مستخدم داخل المحادثة، ولا يخضع لقواعد robots.txt لأنه إجراء بادر به إنسان.
أمثلة robots.txt جاهزة
الحالة الأكثر شيوعاً للمواقع التجارية: أريد أن يجدني ChatGPT ويستشهد بي، ولا أريد أن يُستخدم محتواي في تدريب النماذج. هذه القواعد تعبّر عن ذلك بدقة.
- الظهور في البحث مع منع التدريب: اسمح لـ OAI-SearchBot، وامنع GPTBot عبر Disallow: / تحت User-agent: GPTBot.
- منع كل شيء: امنع OAI-SearchBot وGPTBot معاً — واعلم أنك تخرج من إجابات بحث ChatGPT.
- السماح بكل شيء: لا تضف أي قاعدة مانعة لهما؛ الوضع الافتراضي هو السماح.
- منع مسار واحد فقط: استخدم Disallow: /private/ بدل Disallow: / حتى لا تحذف الموقع كله.
ماذا يحدث فعلاً عند منع OAI-SearchBot؟
توثّق OpenAI أن المواقع التي اختارت الانسحاب لا تُعرض ضمن إجابات البحث، مع إمكانية بقائها كروابط تنقّل. أي أن المنع لا يجعل موقعك مخفياً عن الوجود، لكنه يزيل فرصة أن تكون المصدر الذي تبني عليه الإجابة — وهي بالضبط الفرصة التي يحاول الجميع كسبها اليوم.
لهذا يستحق القرار نقاشاً تجارياً: المواقع التي تبيع محتوى مدفوعاً قد يكون المنع منطقياً لها، أما موقع خدمات أو متجر يريد أن يُذكر عند سؤال المستخدم عن حل، فالمنع يعمل ضد مصلحته مباشرة.
اعتبارات خاصة بالمواقع العربية
كثير من المواقع العربية تعمل على قوالب أو إضافات جاهزة تكتب robots.txt تلقائياً، وبعضها يضيف قواعد منع واسعة «لحماية المحتوى» دون أن يشرح أثرها. راجع الملف بنفسك بدل الافتراض، خصوصاً بعد تغيير القالب أو الاستضافة أو إضافة مكوّن حماية.
انتبه أيضاً إلى النطاقات الفرعية: ملف robots.txt يخص المضيف الذي يوجد عليه. إذا كانت مدونتك على نطاق فرعي منفصل، فهي تحتاج ملفها الخاص، ولن ترث قواعد النطاق الرئيسي.
- افتح النطاق/robots.txt في المتصفح وتحقق من محتواه الفعلي لا من إعدادات لوحة التحكم.
- تأكد أن كل نطاق فرعي له ملف robots.txt يعبّر عن نيتك.
- راجع الملف بعد أي تغيير في القالب أو إضافات الحماية.
- وثّق القرار داخل فريق العمل حتى لا يُعكس لاحقاً بالخطأ.
قائمة تحقق قبل الإغلاق
- حدّدت قراراً واضحاً: الظهور في بحث ChatGPT — نعم أم لا؟
- حدّدت قراراً منفصلاً عن التدريب — نعم أم لا؟
- القواعد مكتوبة باسم كل زاحف على حدة، لا تحت User-agent: * فقط.
- لا توجد قاعدة Disallow: / عامة تحذف الموقع من محركات البحث.
- الملف يستجيب فعلياً على كل نطاق ونطاق فرعي.
- راجعت الملف بعد آخر تحديث للقالب أو الاستضافة.
أخطاء شائعة
- منع GPTBot وOAI-SearchBot معاً مع أن الهدف كان منع التدريب فقط — والنتيجة خروج الموقع من إجابات بحث ChatGPT.
- استخدام User-agent: * مع Disallow: / لمنع الذكاء الاصطناعي، وحجب Googlebot معه.
- افتراض أن منع ChatGPT-User ممكن عبر robots.txt رغم أنه إجراء يبدأه المستخدم ولا يخضع للملف.
- الاعتماد على إعداد في لوحة التحكم دون فتح الملف والتحقق من مخرجه الفعلي.
- نسيان النطاقات الفرعية التي تحتاج ملف robots.txt خاصاً بها.
ماذا تفعل الآن؟
- افتح ملف robots.txt لموقعك الآن وتحقق من وجود أي قاعدة تمنع OAI-SearchBot دون قصد.
- اكتب قرارك في سطر واحد: هل تريد الظهور كمصدر داخل ChatGPT؟ ثم ترجمه إلى قاعدة واحدة دقيقة.
- راجع كل نطاق فرعي على حدة، وأعد الفحص بعد التعديل.
أسئلة شائعة
هل منع GPTBot يحذف موقعي من ChatGPT؟
لا. GPTBot يخص تدريب النماذج. الظهور في إجابات البحث داخل ChatGPT مرتبط بـ OAI-SearchBot. منع الأول وحده لا يؤثر على الثاني.
هل يمكنني منع ChatGPT-User؟
توثّق OpenAI أن ChatGPT-User لا يخضع لقواعد robots.txt لأنه زيارة يطلبها مستخدم بشكل مباشر. إذا كان المحتوى يجب ألا يكون عاماً، فالحل هو حماية الصفحة نفسها لا ملف robots.txt.
هل السماح لـ OAI-SearchBot يضمن أن أُذكر في الإجابات؟
لا. السماح شرط للأهلية وليس ضماناً. اختيار المصادر يعود إلى النظام نفسه ويتغير حسب السؤال والسياق.
هل أحتاج ملفاً خاصاً مثل llms.txt؟
لا يوجد ما يلزمك بذلك للظهور في بحث ChatGPT. ابدأ من robots.txt ومن محتوى واضح قابل للفهم والاقتباس.
آخر مراجعة لهذا المقال: 2026-07-17. نراجع المقالات المرتبطة بتحديثات محركات البحث عند صدور تغيير مؤكد من مصدر رسمي.