ظهور رسالة عن robots.txt لا يعني تلقائيًا أن Cloudflare هو السبب. قد تكون المشكلة قاعدة في الملف، أو تعذر الوصول إليه، أو إعدادًا آخر يمنع الزحف. ابدأ بنص الخطأ والملف الذي يقدمه موقعك فعلًا.
افحص الملف قبل التعديل
- افتح مسار
/robots.txtعلى نطاق مدونتك الأساسي. - احتفظ بنسخة من النص الحالي، وراجع هل يظهر الملف أم خطأ أو صفحة تحقق.
- حدد القاعدة التي تنطبق على الزاحف والمسار المتأثر.
- قارن النتيجة بإعدادات بلوجر وبأي إعداد لإدارة الملف في Cloudflare.
كيف تعمل إدارة robots.txt في Cloudflare؟
توضح وثائق Cloudflare أن الميزة قد تضيف محتواها قبل ملف الأصل الموجود، بدل استبداله بالكامل. وتستهدف بعض الإعدادات زواحف الذكاء الاصطناعي؛ وجودها ليس دليلًا بحد ذاته على حظر Googlebot.
متى تراجع خيار Manage your robots.txt؟
إذا أثبتت المقارنة أن الجزء المُدار يسبب سلوكًا غير مقصود، راجع إعداد Manage your robots.txt في لوحة Cloudflare. قد تجده ضمن Security ثم Settings بحسب الواجهة. خيار Disable robots.txt configuration يوقف إدارة هذا الجزء، لكنه ليس حلًا عامًا لكل أخطاء الفهرسة. راجع أثره على قواعد الزحف التي تريدها قبل تغييره.
إعدادات بلوجر
يوجد إعداد الملف المخصص ضمن «الإعدادات» ثم «برامج الزحف والفهرسة». توضح مساعدة بلوجر أن المحتوى المخصص يُستخدم بدل الافتراضي عند تفعيله. لا تحتاج إلى تفعيله لمجرد وجود Cloudflare، ولا تنسخ نموذجًا عامًا دون فهم أثره على مدونتك.
فرّق بين الحالات
- الحظر بقاعدة: افحص المجموعة والمسار اللذين تنطبق عليهما القاعدة.
- تعذر جلب الملف: افحص الوصول والاستجابة بدل تعديل نص الملف فقط.
- تم الاكتشاف ولم تتم الفهرسة: ليست إثباتًا أن robots.txt هو السبب.
- noindex: توجيه للفهرسة يختلف عن منع الزحف.
التحقق بعد الإصلاح
افتح الملف والصفحة المتأثرة مجددًا، ثم استخدم فحص الرابط في Search Console عند توفر الصلاحية. سجّل التغيير وتاريخه واترك وقتًا لإعادة المعالجة. لا تعطل الحماية كلها لعلاج مشكلة زحف، ولا تعتبر ظهور الملف ضمانًا للفهرسة أو قبول أدسنس.
ورقة تشخيص قبل لمس الإعدادات
سجّل عنوان الملف النهائي ونص القاعدة المعنية واسم الزاحف والمسار المتأثر. إذا كان الملف يفتح ويمنع مسارًا معينًا، فافحص مطابقة القاعدة. وإذا أعاد خطأ خادم أو صفحة تحقق، فهذه مشكلة وصول لا تعالجها إعادة كتابة القواعد وحدها. وإذا كان الملف متاحًا ولا يمنع المقال، انتقل إلى وسوم الصفحة والرابط الأساسي وحالة الفهرسة.
بعد تعديل محدد، افتح الملف من جديد وتأكد من أن النص المنشور هو ما قصدته. لا تحذف كل القواعد أو تعطل حماية Cloudflare كاختبار عام. احتفظ بالنص السابق وسبب التغيير، حتى يمكنك مقارنة السلوك بدل افتراض أن ظهور المقال في البحث فوري.
أدلة مكملة
تحديث تحريري: 16 أكتوبر 2026. الأمثلة الإضافية افتراضية للتوضيح، ولا تمثل نتائج اختبار أو أرباحًا محققة.
التعليقات