robots.txt

التعريف

ملف نصي في جذر الموقع يخبر الزواحف المسموح أو الممنوع زحفه. لا يخفي محتوى حساساً عن مستخدمين — فقط إرشادات للزاحف.

خطأ في disallow قد يمنع فهرسة صفحات مهمة. راجعه بعد كل تغيير بنية.