دليل الفهرسة والزحف للمواقع العربية

قبل أن يظهر موقعك في نتائج البحث، يمر بثلاث مراحل: الاكتشاف (كيف يجد Google الرابط)، والزحف (قراءة الصفحة)، والفهرسة (تخزينها لتظهر عند البحث). فهم الفرق بين هذه المراحل يوفّر عليك ساعات من التخمين — فكثير من مشاكل «لماذا لا تظهر صفحتي؟» سببها خلط بين الزحف والفهرسة. يشرح هذا الدليل هذه المراحل عملياً للمواقع العربية وفق إرشادات Google.

كيف يكتشف Google صفحاتك؟

يكتشف Google الروابط بطريقتين أساسيتين: عبر الروابط من صفحات أخرى (داخلية أو خارجية)، وعبر خريطة الموقع (XML sitemap) التي ترسلها. والصفحة التي لا يشير إليها أي رابط ولا خريطة قد تبقى مجهولة. لذلك الروابط الداخلية القوية وخريطة الموقع المحدّثة أول خطوة لاكتشاف صفحاتك.

• روابط داخلية من صفحات مكتشَفة إلى صفحاتك المهمة.
• خريطة XML تضم الصفحات الجاهزة للفهرسة فقط.
• روابط خارجية قد تساعد على الاكتشاف أيضاً.

الزحف مقابل الفهرسة

الزحف (Crawling) هو زيارة Googlebot للصفحة وقراءة محتواها. أما الفهرسة (Indexing) فهي فهم الصفحة وتخزينها لتكون مؤهلة للظهور. وليست كل صفحة تُزحف تُفهرَس؛ فقد يقرأ Google صفحة ثم يقرر عدم فهرستها (محتوى مكرر، أو رفيع، أو منخفض القيمة). هذا الفرق أساس تشخيص معظم مشاكل الظهور.

قابلية الزحف مقابل قابلية الفهرسة

قابلية الزحف (crawlability): هل يستطيع Googlebot الوصول للصفحة أصلاً؟ وقابلية الفهرسة (indexability): هل يُسمح بفهرستها ويستحق ذلك؟ فقد تكون صفحة قابلة للزحف لكنها محجوبة عن الفهرسة بـnoindex، أو العكس: مسموح بفهرستها لكن Googlebot لا يصل إليها.

• قابلية الزحف: الوصول (robots.txt، الروابط، حالة الخادم).
• قابلية الفهرسة: السماح والجدارة (noindex، canonical، الجودة).

robots.txt: للزحف لا للفهرسة

ملف robots.txt يخبر الزواحف بأي المسارات يمكنها الوصول، وهدفه الأساسي منع إرهاق الخادم لا إخفاء صفحة من Google. ونقطة مهمة يوضحها Google: حجب صفحة في robots.txt لا يضمن إخراجها من الفهرس؛ فإذا كانت مرتبطة من مواقع أخرى، قد تظهر في النتائج بلا وصف. ولإخراج صفحة من الفهرس، استخدم noindex لا robots.txt.

noindex عبر meta robots وX-Robots-Tag

لإخراج صفحة من الفهرس فعلاً، استخدم توجيه noindex — إما وسم meta robots في رأس الصفحة، أو ترويسة X-Robots-Tag في استجابة HTTP (مفيدة للملفات مثل PDF). وشرط أساسي يذكره Google: يجب أن تكون الصفحة قابلة للزحف (غير محجوبة بـrobots.txt) حتى يرى Googlebot توجيه noindex ويطبّقه.

رموز الحالة (HTTP) وcanonical

الصفحة الجاهزة للفهرسة يجب أن تُعيد رمز 200. أما الرموز 404/410 فتعني غير موجودة، و3xx إعادة توجيه، و5xx خطأ خادم قد يعيق الزحف. كذلك يستخدم Google الرابط الأساسي (canonical) لاختيار النسخة التي يفهرسها عند وجود تكرار؛ وإشارة canonical واضحة تمنع تشتّت الفهرسة.

• 200: جاهزة للفهرسة.
• 3xx: إعادة توجيه — تأكد أنها للوجهة الصحيحة.
• 4xx/5xx: عالجها فهي تمنع الزحف أو الفهرسة.

خريطة الموقع والروابط الداخلية

خريطة XML تساعد على الاكتشاف لكنها لا تضمن الفهرسة؛ فأرسل الصفحات الجاهزة فقط. والروابط الداخلية توضح لـGoogle الصفحات المهمة وعلاقاتها. والصفحة «اليتيمة» بلا روابط داخلية أصعب اكتشافاً وأقل أولوية.

HTML المُصيَّر مقابل المصدر، وميزانية الزحف

يقرأ Google الصفحة كما تُصيَّر (بعد تنفيذ JavaScript) لا كمصدر خام فقط؛ فإذا كان محتواك المهم لا يظهر إلا بعد تنفيذ JS ثقيل، فقد يتأخر فهمه أو يصعب. أما «ميزانية الزحف» (crawl budget) فمصدر قلق للمواقع الضخمة (مئات الآلاف من الصفحات) بحسب Google — ومعظم المواقع الصغيرة والمتوسطة لا تحتاج للقلق منها. فلا تبالغ في تحسينها على حساب الأساسيات.

أخطاء شائعة

• توقّع أن حجب robots.txt يخرج الصفحة من الفهرس.
• وضع noindex على صفحة محجوبة بـrobots.txt (فلا يراه Googlebot).
• إرسال صفحات غير جاهزة في خريطة الموقع.
• المبالغة في «ميزانية الزحف» لموقع صغير.
• افتراض أن الزحف = فهرسة = ترتيب.

ماذا تفعل الآن؟

• افحص صفحة مهمة بأداة URL Inspection وراجع حالتها.
• تأكد أن robots.txt لا يحجب صفحات مهمة بالخطأ.
• استخدم noindex فقط على صفحات قابلة للزحف تريد إخفاءها.
• أرسل خريطة موقع تضم الصفحات الجاهزة فقط.
• قوِّ الروابط الداخلية للصفحات المهمة.

أسئلة شائعة

ما الفرق بين الزحف والفهرسة؟

الزحف قراءة الصفحة، والفهرسة تخزينها لتظهر في النتائج. وليست كل صفحة تُزحف تُفهرَس؛ Google يقرر ذلك حسب الجودة والتكرار.

هل robots.txt يخرج صفحتي من Google؟

لا بالضرورة. robots.txt يمنع الزحف، لكن الصفحة قد تبقى مفهرسة إذا كانت مرتبطة في مكان آخر. لإخراجها استخدم noindex مع إتاحة الزحف.

هل إرسال خريطة الموقع يضمن الفهرسة؟

لا. الخريطة تساعد على الاكتشاف فقط. Google يقرر الفهرسة حسب الجودة والقابلية، ولا تضمن أي خطوة فهرسة صفحة.

هل أقلق من ميزانية الزحف؟

غالباً لا لموقع صغير أو متوسط. توضح Google أنها تهمّ المواقع الضخمة أساساً. ركّز على الأساسيات: الوصول، والجودة، والبنية.