سایت وردپرس جدید یا مهاجرتشدهای که هرگز در گوگل نمیآید اغلب علت خودساخته دارد: تنظیم staging که روشن مانده، افزونهای که noindex اضافه میکند یا robots.txt که همهچیز را میبندد. بررسی و رفعشان سریع است اما راحت با هم اشتباه گرفته میشوند. این راهنما سه جایی را نشان میدهد که میتواند موتور جستوجو را ببندد، چطور هر کدام را با خط فرمان تست کنید و سایت را امن باز کنید. وعدهٔ رتبه نمیدهد؛ فقط مانعی را برمیدارد که خودتان ساختهاید.
۱. تفاوت خزش و ایندکس را بدانید
robots.txt تعیین میکند خزنده اجازهٔ گرفتن یک URL را دارد یا نه. دستور noindex در متا تگ یا هدر X-Robots-Tag به موتور جستوجو میگوید صفحه را در ایندکس نگه ندارد. اینها ابزارهای متفاوتیاند. صفحهای که در robots.txt بسته شده خوانده نمیشود، پس noindex رویش هرگز دیده نمیشود و خود URL میتواند بدون توضیح در نتایج بیاید. رفع لایهٔ اشتباه روزها را هدر میدهد.
۲. هر سه لایه را تست کنید
این بررسیها را روی دامنهٔ واقعی اجرا کنید:
# 1. robots.txt
curl -s https://example.com/robots.txt
# 2. Header-level noindex
curl -sI https://example.com/ | grep -i x-robots-tag
# 3. Meta robots in the HTML
curl -s https://example.com/ | grep -i '<meta name="robots"'
اگر robots.txt قاعدهای دارد که همهچیز را میبندد یا هدر یا متا تگ noindex دارد، مانع را یافتهاید. چند URL را بررسی کنید نه فقط صفحهٔ اصلی، چون افزونه ممکن است برای نوع نوشته یا آرشیو خاصی noindex بگذارد. بعد از هر تغییر تکرار این بررسیها سریع است.
۳. تنظیم Reading وردپرس را ببینید
در Settings, Reading گزینهٔ Discourage search engines from indexing this site برای توسعه است. وقتی تیک دارد وردپرس سیگنال noindex اضافه میکند و ممکن است robots.txt را طوری بدهد که همهچیز را ببندد، مثل این:
User-agent: *
Disallow: /
با WP-CLI میتوانید مقدار را بخوانید و اصلاح کنید:
wp option get blog_public # 1 = visible, 0 = discouraged
wp option update blog_public 1
نسخههای staging باید عمداً تیک را نگه دارند؛ برای خصوصیماندن کپی راهنمای staging امن را ببینید. اشتباه معمول کپی دیتابیس یا تنظیمات staging روی سایت زنده است.
۴. افزونهها و robots.txt فیزیکی را بررسی کنید
افزونههای سئو میتوانند noindex را برای هر صفحه، نوع یا کل سایت بگذارند و بعضی robots.txt فیزیکی مینویسند که جای فایل مجازی وردپرس را میگیرد. در تنظیمات افزونه دنبال کلید noindex سراسری بگردید و نوشتهها را هم ببینید. برای سایت عمومی عادی یک robots.txt ساده کافی است:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml
کوتاهش نگه دارید. CSS و جاوااسکریپتی را که صفحههایتان لازم دارند نبندید و از robots.txt برای پنهانکردن داده خصوصی استفاده نکنید، چون عمومی است.
۵. از موتور جستوجو بخواهید دوباره بررسی کند
بعد از برداشتن مانع، URL را در Search Console با ابزار URL inspection تست کنید، برای صفحههای مهم درخواست ایندکس بدهید و sitemap را ارسال کنید. زمان بدهید: ایندکس مجدد روزها تا هفتهها طول میکشد و تضمینی نیست. اگر سایت پشت CDN است یا کش صفحه دارد، کش را پاک کنید تا هدر noindex قدیمی از صفحهٔ تحویلی برود. برای کش و TTFB راهنمای TTFB را ببینید.
۶. مثال توضیحی، نه اندازهگیری واقعی
فرض کنید در سایتی مهاجرتشده سه دستور robots.txt با Disallow: / و هیچ مانع دیگری نشان دهند (موردی ساختگی). تنظیم Reading از staging بهصورت discouraged کپی شده بود. برداشتن تیک هم robots.txt و هم سیگنال متا را درست میکند. صاحب سایت بعد صفحهٔ اصلی را در Search Console بازرسی میکند، درخواست ایندکس میدهد و صبر میکند، بهجای عوضکردن افزونههایی که هرگز علت نبودند.
۷. اشتباههای رایج
- بستن صفحه در robots.txt و انتظار کارکردن noindex روی آن.
- جاگذاشتن گزینهٔ Reading بعد از راهاندازی.
- فراموشکردن اینکه کش ممکن است هدر noindex قدیمی را بدهد.
- تست فقط صفحهٔ اصلی.
- بستن فایلهای CSS و JS.
- استفاده از robots.txt برای پنهانکردن فایل خصوصی.
۸. پرسشهای متداول
robots.txt صفحه را از گوگل حذف میکند؟ قابلاعتماد نه. خزش را متوقف میکند؛ برای حذف از noindex در حالی که خزیدنی است استفاده کنید یا در Search Console حذف کنید.
چقدر طول میکشد سایت بیاید؟ از چند روز تا چند هفته و هیچچیز ایندکس را تضمین نمیکند.
staging باید noindex باشد؟ بله، و رمزدار هم.
افزونه میتواند تنظیم Reading را بازنویسی کند؟ بله، افزونههای سئو قواعد noindex خودشان را اضافه میکنند.
۹. چکلیست سریع
- robots.txt را بگیرید و بخوانید.
- هدر X-Robots-Tag را ببینید.
- متا تگ robots را روی چند URL بررسی کنید.
- تیک گزینهٔ Reading را در سایت زنده بردارید.
- تنظیمات noindex افزونهٔ سئو را بازبینی کنید.
- کشها را پاک کنید.
- درخواست ایندکس بدهید و sitemap را بفرستید.
اگر برای بررسی عملکرد یا نگهداری سرور به همکاری نیاز دارید، محدودهٔ خدمات مدیریت سرور را ببینید.
راهنماهای بیشتر سرور و وردپرس در آرشیو مقالات جمع شدهاند.
منابع رسمی
Google Search Central: Introduction to robots.txt · Google Search Central: Robots meta tag and X-Robots-Tag · WP-CLI: wp option get · WordPress Documentation: Reading Settings
