زواحف الذكاء الاصطناعي: من يزحف على موقعك وكيف تقرّر سياستك؟

فتحت لوحة الاستضافة لتفحص سبب بطء الموقع، فوجدت في سجل الوصول أسماء لم تقرّر يوماً السماح لها: GPTBot وClaudeBot وPerplexityBot وCCBot. بعضها يجمع محتوى لتدريب نموذج، وبعضها يبني فهرساً قد تُقتبس منه إجابة تصل إلى عميلك. الخطوة الأولى أن تعرف من يزورك فعلاً، ثم أن تقرّر لكل صنف على حدة.

ثلاث وظائف مختلفة تختبئ خلف كلمة «زاحف»

كل شركة كبرى في هذا المجال تشغّل اليوم أكثر من عميل آلي واحد، ولكل عميل رمز مستقل في robots.txt ووظيفة مختلفة. التصنيف يقرر ما تخسره حين تمنع: فئة واحدة فقط هي التي تجعلك قابلاً للاستشهاد.

• زاحف تدريب: يجمع المحتوى لتدريب النماذج. الوثائق التي راجعناها لا تذكر كلفة ظهور لمنعه — لا شيء في وثائق Common Crawl مثلاً يحدّد ما تخسره بمنع CCBot. والاستثناء الذي يجب أن تعرفه: Meta توثّق meta-externalagent للتدريب أو الفهرسة معاً، فمنعه ليس قراراً تدريبياً خالصاً.
• زاحف استرجاع وفهرسة: يبني الفهرس الذي تُقتبس منه الإجابات. أثر منعه يتراوح بين تراجع في الظهور وخروج كامل من إجابات المنصّة، وكل شركة تصفه بكلماتها: Anthropic تقول إن تعطيل Claude-SearchBot «قد يقلّل من ظهور موقعك ودقّته» في نتائج بحث المستخدم، وPerplexity توثّق أن منع PerplexityBot يمنع ظهور الموقع في نتائجها، وOpenAI تصف أثراً أشدّ لمنع زاحف بحثها — وهو مشروح في مقال «OAI-SearchBot وGPTBot: كيف تتحكم في ظهور موقعك داخل ChatGPT؟».
• جالب يبدأه إنسان: يفتح صفحة واحدة لأن مستخدماً طلب ذلك الآن. موقفه من robots.txt يختلف من شركة إلى أخرى اختلافاً حقيقياً، وهو أكثر ما يُخطئ فيه أصحاب المواقع.

ابدأ من سجلات الوصول: من يزورك فعلاً؟

المصدر العملي هنا سجل الوصول: على الخادم مباشرة، أو في لوحة الاستضافة، أو في تقارير الشبكة الطرفية. أدوات التحليلات تقدّم لك تقريراً عن الزوار، بينما يسجّل ملف الوصول كل طلب HTTP وصل إلى موقعك، بما فيه طلبات لم يفتحها إنسان قط.

السطر الواحد يحمل ما تحتاجه: التاريخ والوقت، وعنوان IP، والمسار المطلوب، ورمز الحالة، ثم سلسلة user-agent في آخره. ابحث داخل تلك السلسلة عن الرموز التي تعرفها، واحسب كم طلباً لكل رمز، وأي المسارات يطرقها أكثر من غيرها.

خذ عيّنة أسبوع كامل بدل يوم واحد؛ بعض الزواحف تمرّ بوتيرة متباعدة، واليوم الواحد يعطيك صورة مضلّلة. هذه ممارسة مبنية على الخبرة لا قاعدة موثّقة من أي شركة. المخرج المفيد من العمل كله سؤال واحد: أي اسم في القائمة لم تتخذ بشأنه قراراً حتى الآن؟

إن كان موقعك خلف شبكة توزيع محتوى، فبعض الطلبات لن تصل إلى خادمك أصلاً لأنها خُدمت من الذاكرة المؤقتة عند الحافة. الصورة الكاملة تظهر في تقارير الشبكة نفسها، فاقرأ المصدرين معاً قبل أن تحكم على الأرقام.

• سجل الخادم مباشرة (access log) إن كان لديك وصول إلى النظام.
• قسم السجلات أو إحصاءات الزوار الخام في لوحة الاستضافة.
• تقارير الشبكة الطرفية أو الجدار الناري إن كان الموقع خلفهما.
• سجلات مكوّن الحماية في نظام إدارة المحتوى: أضيق نطاقاً، لكنها تكفي للبداية.

سطر user-agent نصّ يكتبه الزائر عن نفسه

سلسلة user-agent حقل نصّي حرّ يملؤه الطرف الذي يطلب الصفحة، ويستطيع أي أحد أن يكتب فيه GPTBot. Google تنشر دليل تحقق كاملاً تحديداً لأن أطرافاً تصل إلى المواقع وهي تدّعي أنها من Google. القاعدة نفسها تنطبق على كل رمز ورد في هذه المقالة.

Google تعرّف زواحفها بثلاث إشارات مجتمعة: ترويسة user-agent، وعنوان IP المصدر، واسم المضيف الناتج عن بحث DNS عكسي. أمامك طريقتان عمليتان: بحث عكسي على عنوان IP ثم بحث أمامي يعيدك إلى العنوان نفسه، أو مطابقة العنوان مع ملف نطاقات IP الذي تنشره الشركة.

كل شركة كبرى في هذا المجال تنشر ملف نطاقات لزواحفها. Anthropic مثلاً تنشر قائمتها وتقول إن ورود عنوان المصدر فيها يعني أن الزاحف قادم منها. اجعل التحقق سابقاً للحظر: قرار مبني على سلسلة نصّية وحدها قد يمنع زاحفاً شرعياً، أو يترك منتحلاً يعمل بحرية تامة.

وإن وجدت عنواناً لا يطابق أي ملف معلن وهو يستهلك مواردك بمعدّل مرتفع، فأنت أمام طرف ينتحل هوية. robots.txt لا يفيدك معه بشيء، لأن من ينتحل الهوية لا يقرأ الملف من الأساس. المعالجة عندئذ عند الخادم أو الشبكة الطرفية.

حدود robots.txt: ما الذي لا يستطيع الملف فعله؟

robots.txt اتفاق طوعي بلا آلية تنفيذ، والمواصفة نفسها تقولها بوضوح: بروتوكول استبعاد الزواحف «ليس بديلاً عن تدابير أمنية سليمة للمحتوى»، وقواعده «ليست شكلاً من أشكال تفويض الوصول». وتضيف المواصفة تنبيهاً يغيب عن كثيرين: كل مسار تكتبه في الملف يصير معلوماً للجميع، فالملف صفحة عامة يقرأها أي أحد.

فإن كنت تحتاج منعاً فعلياً، فمكانه الخادم أو الشبكة الطرفية: رفض الطلب برمز 403، أو تحديد معدّل الطلبات، أو قواعد على مستوى الشبكة. ولهذا المستوى كلفته أيضاً: قاعدة واسعة قد تحجب Googlebot نفسه وأنت تظنّ أنك تحجب زاحف تدريب، فاختبر أثرها على عيّنة قبل تعميمها.

وحدّ ثالث يخلط بين شيئين مختلفين: منع الزحف ليس إخراجاً من الفهرس. الفرق مشروح بالتفصيل في مقال «دليل الفهرسة والزحف للمواقع العربية»، ولا داعي لإعادته هنا. أضف إلى ذلك أن الحظر لا يسترجع ما نُسخ أو أُعيد نشره في مواقع أخرى؛ أثره يبدأ من لحظة قراءة الزاحف الملتزم للملف.

جرد الرموز: ما الذي يستحق قراراً منفصلاً

القائمة أدناه مختصرة عمداً: الرموز التي تحمل قراراً تجارياً حقيقياً، دون جرد شامل للويب. وتحقّق من كل رمز في وثيقة الشركة نفسها قبل كتابته، فالرموز تتغيّر وتُضاف، وحرف واحد خاطئ يجعل قاعدتك صامتة بلا أثر.

• OpenAI: أربعة رموز منفصلة، منها زاحف تدريب وزاحف بحث لكل منهما أثر مختلف تماماً عند المنع. التفصيل في مقال «OAI-SearchBot وGPTBot: كيف تتحكم في ظهور موقعك داخل ChatGPT؟».
• Anthropic: ClaudeBot للتدريب، وClaude-SearchBot للبحث والفهرسة، وClaude-User للطلب الذي يبدأه إنسان. وتدعم Anthropic توجيه Crawl-delay لزواحفها، وهو توجيه لا تدعمه Google.
• Google: Googlebot هو رمز البحث، وهو نفسه ما يحكم الأهلية لميزات الذكاء الاصطناعي داخل البحث. وGoogle-Extended رمز تحكّم منفصل بالتدريب والإسناد. وGoogle-CloudVertexBot لا يزحف إلا بطلب من صاحب الموقع نفسه.
• Meta: meta-externalagent للتدريب أو الفهرسة، وmeta-webindexer لبحث Meta AI، وmeta-externalfetcher للطلب الذي يبدأه إنسان. حظر Meta ككتلة واحدة يأخذ معه مفهرس البحث.
• Apple: Applebot زاحف البحث الذي يغذّي Spotlight وSiri وبحث Safari، وApplebot-Extended رمز تحكّم بالتدريب وحده.
• Perplexity: PerplexityBot زاحف بحث توثّق الشركة أنه لا يجمع المحتوى لتدريب النماذج الأساسية، وPerplexity-User للطلب الذي يبدأه إنسان.
• Common Crawl: CCBot يبني أرشيفاً مفتوحاً تستعمله جهات كثيرة لاحقاً، ورمز واحد يكفي للتعبير عن قرارك تجاهه.

Google-Extended وApplebot-Extended: رمزان لن تجدهما في سجلك

Google-Extended ليس زاحفاً. Google تقول إنه «ليس له سلسلة user-agent منفصلة لطلبات HTTP»، وإن الزحف يتم بسلاسل Google المعروفة بينما يُستخدم رمز robots.txt «بصفة تحكّم». لذلك لن يظهر في سجل الوصول أبداً. من بحث عنه في سجلّه ولم يجده لم يقع عليه تجاهل؛ ببساطة ليس هناك ما يظهر.

ما يتحكم فيه الرمز هو استخدام محتواك في تدريب أجيال Gemini القادمة، وفي الإسناد داخل تطبيقات Gemini وواجهة Vertex AI. وما لا يتحكم فيه تقوله Google بالنص: «Google-Extended لا يؤثّر على إدراج الموقع في بحث Google ولا يُستخدم كإشارة ترتيب في بحث Google». منعه لا يكلّفك شيئاً في بحث Google.

الفخ في هذا الباب أن يُقرأ الرمز على أنه زرّ خروج من AI Overviews. ليس كذلك. الأهلية لميزات الذكاء الاصطناعي داخل بحث Google تحكمها توجيهات robots.txt الخاصة بـ Googlebot، ومنع Googlebot يخرجك من البحث العادي معه. وللتحكّم الجزئي تسمّي Google أدوات على مستوى الصفحة مثل nosnippet — وهي عائلة يشرحها مقال «أثر AI Overviews على البحث والإعلانات».

Apple تعيد المنطق نفسه بصياغة أوضح: «Applebot-Extended لا يزحف إلى صفحات الويب»، وهو رمز انسحاب من تدريب نماذج Apple الأساسية. وتقول Apple إن الصفحات التي تمنعه «ما زال يمكن أن تُدرج في نتائج البحث».

الطلبات التي يبدأها إنسان: هنا تختلف الشركات فعلاً

حين يسأل مستخدم أداةً عن صفحتك، قد تُفتح الصفحة في تلك اللحظة بعميل مختلف تماماً عن زاحف الفهرسة. هذه الفئة الثالثة تعيش خارج المنطق المعتاد لـ robots.txt، ولذلك تستحق قراراً منفصلاً عن قرارك في الفئتين الأخريين.

أربع جهات توثّق الإعفاء بصياغتها هي: OpenAI تقول إن قواعد robots.txt «قد لا تنطبق» على الطلب الذي يبدأه المستخدم، وPerplexity تقول إن جالبها «يتجاهل عموماً قواعد robots.txt»، وMeta تقول إن meta-externalfetcher «قد يتجاوز قواعد robots.txt»، وGoogle تقول عن عائلة جالباتها إنها «تتجاهل عموماً قواعد robots.txt». الصياغات مختلفة والنتيجة العملية واحدة: قاعدة الحظر هنا ليست ضماناً بحال.

Anthropic هي الاستثناء الموثّق. صفحتها تقول إن روبوتاتها «تحترم إشارات عدم الزحف عبر التوجيهات القياسية في robots.txt»، ولا تذكر في أي موضع إعفاءً لـ Claude-User، بل تصف الرمز بأنه يتيح لأصحاب المواقع التحكّم في الوصول عبر هذه الطلبات التي يبدأها المستخدم. والصياغة الدقيقة مهمة هنا: لا استثناء موثّقاً، ولا وعد صريح بالطاعة. الشركة لم تتناول Claude-User وrobots.txt في جملة واحدة صريحة، فلا تبنِ على ذلك أكثر مما يحتمله النص.

الأثر العملي على قرارك واضح: افترض أن صفحاتك العامة ستُفتح عند الطلب مهما كتبت في الملف، وخطّط على هذا الأساس. وإن كان لديك محتوى لا يجوز أن يصل إليه طرف ثالث بأي حال، فمكانه خلف تسجيل دخول. ذلك قرار في بنية الموقع، ويقع خارج نطاق هذا الملف كلياً.

الملف نفسه بنية تحتية: مضيف وبروتوكول ومنفذ

robots.txt يخصّ مضيفاً واحداً ببروتوكول ومنفذ محدّدين. الملف الذي يخدم ‎https://‎ لا يحكم ما يجري على ‎http://‎، وملف المنفذ الافتراضي لا يمتدّ إلى خدمة تعمل على منفذ آخر، وكل مضيف فرعي يقرأ ملفه هو. والمتاجر على منصّات مثل سلة وزد قد لا تمنحك حق تحرير الملف أصلاً، وهذا قيد يجب أن يدخل حساباتك قبل كتابة السياسة.

وللملف طرق فشل موثّقة. المواصفة تسمح للزاحف بتخزين نسخة مؤقتة، وتنصح بألا يعتمد عليها أكثر من 24 ساعة، فتعديلك لا يسري لحظياً. وحين يعجز الخادم عن تقديم الملف برمز 5xx تنصّ المواصفة على أن الزاحف «يجب أن يفترض المنع الكامل» — أي أن عطلاً في الاستضافة قد يوقف الزحف إليك. وGoogle تخفّف ذلك بتوقف يمتدّ نحو 12 ساعة، ثم اعتماد على نسخة مخزّنة تصل إلى 30 يوماً.

وللملف حدود شكلية أيضاً: مساره ‎/robots.txt‎ بحروف صغيرة على أصل الموقع، وترميزه UTF-8، وحدّ التحليل 500 كيبيبايت وما بعده يُهمل. ملف ضخم يولّده مكوّن إضافي قد يتجاوز الحدّ من حيث لا تدري، فيسقط آخر ما كتبته دون أي رسالة خطأ.

مجموعة واحدة فقط تُطبَّق: القاعدة التي تُبطل قواعدك

Google تقولها بالنص: «مجموعة واحدة فقط صالحة لزاحف معيّن»، وهي المجموعة صاحبة الرمز الأكثر تحديداً، «وتُهمل المجموعات الأخرى». وRFC 9309 يرسم الآلية نفسها: الزاحف يبحث عن مجموعة تطابق رمزه ويطيع قواعدها، ولا يهبط إلى مجموعة ‎*‎ إلا إن لم يجد مجموعة مطابقة له.

لنفترض أن لديك ‎User-agent: *‎ يمنع مسارات الإدارة والبحث الداخلي، ثم أضفت مجموعة ‎User-agent: GPTBot‎ بقاعدة منع واحدة. من تلك اللحظة صار GPTBot يقرأ مجموعته وحدها، وكل ما كتبته تحت ‎*‎ لم يعد يخصّه. القواعد المشتركة يجب أن تُكرَّر داخل كل مجموعة مسمّاة.

وداخل المجموعة الواحدة، ترتيب السطور في الملف لا يحسم شيئاً: يفوز المسار الأطول تطابقاً، وعند التعادل التام تُرجَّح قاعدة Allow على Disallow. اقرأ قواعدك بهذا المنطق قبل أن تفترض أنها تفعل ما تظنّه.

سياسات جاهزة حسب نوع النشاط

لا توجد سياسة واحدة تناسب الجميع، لأن ما تخسره بالمنع يختلف باختلاف مصدر دخلك. أربعة نماذج شائعة في السوق العربي، وكل واحد منها ينتهي إلى مجموعة رموز مختلفة.

• ناشر أو محتوى مدفوع: السماح لزواحف الاسترجاع يبقيك مؤهلاً للاقتباس في الإجابات، ومنع زواحف التدريب قرار تجاري مشروع لا توثّق الشركات كلفة ظهور له. أما المحتوى المدفوع فعلاً فمكانه خلف بوابة اشتراك، لأن الملف النصّي لا يحمي شيئاً.
• متجر إلكتروني: مصلحتك أن تُقرأ صفحات المنتج بأسعارها وحالة توفّرها من أنظمة البحث والاسترجاع كلها. وإن كانت المنصّة لا تتيح تحرير robots.txt فتحكّمك محدود من الأساس، وجهدك أنفع في دقّة بيانات المنتج نفسها.
• موقع خدمات وجذب عملاء: زوّارك يأتون من إجابة تذكرك بالاسم، فاسمح لزواحف الاسترجاع. واحسم قرار التدريب بحسب حساسية دراسات الحالة وأسماء العملاء المذكورة في موقعك.
• منتج برمجي أو موقع توثيق يريد وصول الوكلاء: هنا تفتح كل شيء عمداً، وتحرص على ألا تكون صفحات التوثيق خلف تسجيل دخول إن كنت تريد أن يصل إليها الجالب فعلاً.

سجل القرار: ما الذي يجب أن يبقى مكتوباً؟

القواعد تُنسى وتُدهس عند أول تغيير قالب أو استضافة أو مكوّن إضافي. ما يحفظها ملف داخلي قصير — صفحة واحدة تكفي — يوثّق ما قرّرتَه ولماذا، حتى لا يعيد فريقك اجتهاداً سبق أن حُسم.

سجل بهذا الحجم يوفّر عليك النقاش نفسه بعد ستة أشهر، ويحوّل سؤال «من غيّر هذا؟» إلى سؤال له إجابة مكتوبة بتاريخها.

• الرموز المشمولة بالاسم، مع تاريخ التحقق منها في وثيقة كل شركة.
• القرار لكل رمز على حدة: سماح أو منع، وسببه في سطر واحد.
• الجهة التي اتخذت القرار — التسويق أم الإدارة أم الفريق التقني — وتاريخه.
• الكلفة المقبولة: ما الذي وافقتَ على خسارته مقابل هذا المنع.
• موعد المراجعة القادم، فسياسات هذه الشركات تتغيّر أكثر من مرة في السنة.
• مكان الملف الفعلي وأي مضيف يخدمه، حتى لا يبحث أحد عنه من جديد.

أخطاء شائعة

• حظر شامل لكل ما يحمل كلمة AI في اسمه، فيسقط معه زاحف الاسترجاع الذي كان يجعلك مؤهلاً للاقتباس.
• الاعتقاد بأن منع زاحف تدريب يزيل محتواك من نماذج دُرِّبت بالفعل. أثر المنع يبدأ من اليوم إلى الأمام.
• منع Google-Extended ظنّاً أنه يخرجك من AI Overviews. Google تنصّ على أنه لا يؤثّر على إدراجك في بحثها أصلاً.
• إضافة مجموعة مسمّاة لزاحف جديد دون تكرار القواعد المشتركة داخلها، فتسقط حماية ‎*‎ عن ذلك الزاحف وحده.
• حظر عنوان IP اعتماداً على سلسلة user-agent وحدها، قبل أي تحقق عكسي أو مطابقة مع ملف نطاقات الشركة.
• كتابة السياسة على النطاق الرئيسي ونسيان المضيف الفرعي للمدونة أو مضيف الصور، فيبقى نصف الموقع بلا قرار.

ماذا تفعل الآن؟

• افتح سجل الوصول لآخر سبعة أيام واستخرج قائمة الرموز التي زارتك فعلاً.
• تحقّق من هوية أكثر ثلاثة رموز تكراراً عبر DNS العكسي أو ملف نطاقات IP الذي تنشره الشركة.
• صنّف كل رمز إلى تدريب أو استرجاع أو جالب يبدأه إنسان، واكتب أمامه ما تخسره بمنعه.
• افتح ‎/robots.txt‎ على كل مضيف تملكه — النطاق الرئيسي والمدونة ومضيف الصور — وتأكد أن النصّ الحيّ هو ما قرّرته.
• كرّر القواعد المشتركة داخل كل مجموعة مسمّاة قبل أن تعتمد التعديل.
• دوّن سجل القرار، وحدّد فيه موعد مراجعة قادماً.

أسئلة شائعة

فتحت سجلي فلم أجد أي زاحف ذكاء اصطناعي إطلاقاً. هل هذا طبيعي؟

نعم، وهو شائع في المواقع الجديدة أو قليلة الروابط الخارجية. تذكّر أيضاً أن رمزين متداولين — Google-Extended وApplebot-Extended — لن يظهرا في أي سجل لأنهما رمزا تحكّم ولا يزحفان أصلاً. وإن كان موقعك خلف شبكة توزيع محتوى، فقد تكون الطلبات انتهت عند الحافة قبل أن تصل إلى خادمك، فافحص تقارير الشبكة نفسها قبل أن تستنتج شيئاً.

هل أحتاج ملف llms.txt إلى جانب robots.txt للتحكم في هذه الزواحف؟

لا. سطح التحكّم الذي توثّقه هذه الشركات هو robots.txt، وllms.txt اقتراح لا آلية تحكّم. ومتى يكون llms.txt مفيداً أصلاً — إن كان — فمشروح في مقال «هل يحتاج موقعك العربي إلى ملف llms.txt؟ الحقيقة بلا مبالغة».

منصّتي لا تسمح بتعديل robots.txt. ما البدائل المتاحة لي؟

ابدأ بفتح ‎/robots.txt‎ في المتصفح وقراءة النصّ الذي تولّده المنصّة فعلاً، فقد يكون أوسع أو أضيق مما تتوقع. وإن لم يكن التعديل متاحاً، ينتقل التحكّم إلى مستوى الخادم أو الشبكة الطرفية إن كنت تملكه، وإلى قرارات النشر نفسها إن لم تكن تملكه. ولا تفترض قدرة غير معلنة: اسأل المنصّة عن حدود ما تتيحه قبل أن تبني عليها سياسة.

هل يوجد وسم meta يمنع استخدام محتواي في التدريب؟

لم نتحقق من وجود أي وسم من هذا النوع تحترمه OpenAI أو Google أو Anthropic أو Perplexity أو Apple أو Meta. تنتشر أسماء مثل noai وnoimageai في مقالات كثيرة، ولم يظهر أيّ منها في وثيقة رسمية راجعناها. سطح التحكّم الموثّق اليوم هو robots.txt، وما عداه اجتهاد لا يُبنى عليه قرار.

هل أستطيع معرفة ما إذا كان زاحف ما التزم فعلاً بقاعدتي؟

جزئياً، ومن السجل نفسه. بعد أسبوع من تطبيق القاعدة، ابحث عن الرمز في المسارات التي منعتها؛ استمرار الطلبات عليها يعني إما تجاهلاً وإما انتحال هوية، والتحقق العكسي من عنوان IP يفصل بين الاحتمالين. وتذكّر أن نافذة التخزين المؤقت للملف تجعل الحكم قبل مرور يوم كامل سابقاً لأوانه.

آخر مراجعة لهذا المقال: 2026-09-07. نراجع المقالات المرتبطة بتحديثات محركات البحث عند صدور تغيير مؤكد من مصدر رسمي.