الموقع الجديد أو المنقول على ووردبريس الذي لا يظهر أبداً في جوجل له غالباً سبب من صنعكم: إعداد staging تُرك مفعلاً أو إضافة تضيف noindex أو robots.txt يحجب كل شيء. فحصها وإصلاحها سريعان لكن يسهل الخلط بينها. يعرض هذا الدليل المواضع الثلاثة التي قد تحجب محركات البحث وكيف تختبرون كلاً منها بسطر الأوامر وكيف تعيدون فتح الموقع بأمان. لا يعد بترتيب؛ بل يزيل عائقاً صنعتموه بأنفسكم.
١. افهموا الفرق بين الزحف والفهرسة
يتحكم robots.txt في سماح الزاحف بجلب عنوان. أما توجيه noindex في وسم meta أو ترويسة X-Robots-Tag فيطلب من محركات البحث عدم إبقاء الصفحة في الفهرس. هما أداتان مختلفتان. الصفحة المحجوبة في robots.txt لا تُقرأ فلن يُرى وسم noindex عليها وقد يظهر العنوان نفسه في النتائج بلا وصف. وإصلاح الطبقة الخطأ يضيّع أياماً.
٢. اختبروا الطبقات الثلاث
شغّلوا هذه الفحوص على نطاقكم الحقيقي:
# 1. robots.txt
curl -s https://example.com/robots.txt
# 2. Header-level noindex
curl -sI https://example.com/ | grep -i x-robots-tag
# 3. Meta robots in the HTML
curl -s https://example.com/ | grep -i '<meta name="robots"'
إن كان robots.txt يحوي قاعدة تمنع كل شيء أو كانت الترويسة أو الوسم noindex فقد وجدتم العائق. افحصوا عدة عناوين لا الصفحة الرئيسية فقط لأن إضافة قد تضيف noindex لأنواع مقالات أو أرشيفات محددة. وتكرار الفحوص سريع بعد كل تغيير.
٣. افحصوا إعداد القراءة في ووردبريس
في Settings, Reading خيار Discourage search engines from indexing this site مخصص للتطوير. حين يكون مفعلاً يضيف ووردبريس إشارة noindex وقد يقدم robots.txt يمنع كل شيء مثل:
User-agent: *
Disallow: /
بـ WP-CLI يمكنكم قراءة القيمة وإصلاحها:
wp option get blog_public # 1 = visible, 0 = discouraged
wp option update blog_public 1
يجب أن تُبقي نسخ staging الخيار مفعلاً عمداً؛ راجعوا دليل staging الآمن لإبقاء النسخة خاصة. والحادث المعتاد نسخ قاعدة بيانات staging أو إعداداتها إلى الموقع الحي.
٤. افحصوا الإضافات وملف robots.txt الفعلي
يمكن لإضافات السيو وضع noindex لكل صفحة أو نوع أو للموقع كله وبعضها يكتب ملف robots.txt فعلياً يحل محل الملف الافتراضي في ووردبريس. ابحثوا في إعدادات الإضافة عن مفتاح noindex عام وراجعوا المقالات. وللموقع العام العادي يكفي robots.txt بسيط:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
أبقوه قصيراً. لا تحجبوا CSS أو JavaScript اللذين تحتاجهما صفحاتكم ولا تستخدموا robots.txt لإخفاء بيانات خاصة لأنه علني.
٥. اطلبوا من محركات البحث إعادة الفحص
بعد إزالة العائق اختبروا عنواناً في Search Console بأداة URL inspection واطلبوا الفهرسة للصفحات المهمة وأرسلوا خريطة الموقع. أعطوا وقتاً: إعادة الفهرسة تستغرق أياماً إلى أسابيع ولا ضمان. وإن كان الموقع خلف CDN أو فيه كاش صفحات فأفرغوا الكاش حتى تختفي ترويسة noindex القديمة من الصفحة المقدَّمة. وللكاش وTTFB راجعوا دليل TTFB.
٦. مثال توضيحي وليس قياساً حقيقياً
افترضوا موقعاً منقولاً تُظهر فيه الأوامر الثلاثة robots.txt فيه Disallow: / ولا عائق آخر (حالة مختلقة). كان إعداد القراءة منسوخاً من staging على وضع discouraged. إلغاء التحديد يصلح robots.txt وإشارة meta معاً. ثم يفحص المالك الصفحة الرئيسية في Search Console ويطلب الفهرسة وينتظر بدل تغيير إضافات لم تكن السبب.
٧. أخطاء شائعة
- حجب صفحة في robots.txt وتوقع عمل noindex عليها.
- ترك خيار القراءة مفعلاً بعد الإطلاق.
- نسيان أن الكاش قد يقدم ترويسة noindex قديمة.
- اختبار الصفحة الرئيسية فقط.
- حجب ملفات CSS وJS.
- استخدام robots.txt لإخفاء ملفات خاصة.
٨. أسئلة شائعة
هل يزيل robots.txt صفحة من جوجل؟ ليس بشكل موثوق. يوقف الزحف؛ للإزالة استخدموا noindex مع بقاء الصفحة قابلة للزحف أو احذفوها في Search Console.
كم يستغرق ظهور موقعي؟ من أيام إلى أسابيع ولا شيء يضمن الفهرسة.
هل يجب أن يكون staging بـ noindex؟ نعم ومحمياً بكلمة مرور أيضاً.
هل تتجاوز إضافة إعداد القراءة؟ نعم، إضافات السيو تضيف قواعد noindex خاصة بها.
٩. قائمة تحقق سريعة
- اجلبوا robots.txt واقرؤوه.
- افحصوا ترويسة X-Robots-Tag.
- افحصوا وسم meta robots على عدة عناوين.
- ألغوا تحديد خيار القراءة في الموقع الحي.
- راجعوا إعدادات noindex في إضافة السيو.
- أفرغوا الكاش.
- اطلبوا الفهرسة وأرسلوا خريطة الموقع.
إذا احتجتم إلى مساعدة في مراجعة الأداء أو صيانة الخادم، فراجعوا خدمات إدارة الخوادم.
تجدون المزيد من أدلة الخوادم وووردبريس في أرشيف المقالات.
المراجع الرسمية
Google Search Central: Introduction to robots.txt · Google Search Central: Robots meta tag and X-Robots-Tag · WP-CLI: wp option get · ووردبريس Documentation: Reading Settings
