Если у вас тестовый сайт, рабочая копия проекта или временно закрытый ресурс, его лучше не отдавать в поиск. В WordPress это можно сделать несколькими способами, но важно не перепутать полное закрытие сайта от индексации с запретом только для отдельных страниц. Это разные задачи: в одном случае вы просите поисковые системы не добавлять в индекс весь сайт, в другом — скрываете только часть контента.
Для полноценного закрытия сайта обычно используют настройку WordPress, а при необходимости дополняют её правилами на сервере или в robots.txt. Если сделать только один шаг, результат может оказаться неполным: поисковик уже успел увидеть страницы, а старые URL ещё какое-то время будут жить в выдаче.
Что именно значит «закрыть сайт от индексации»
Индексация — это когда поисковая система сканирует страницы и добавляет их в свою базу. Если сайт закрыт от индексации, новые страницы не должны попадать в поиск, а уже известные URL со временем выпадают из выдачи или перестают обновляться.
Здесь есть важная граница:
- закрыть весь сайт — нужно для тестового домена, staging-копии, временно недоступного проекта;
- скрыть отдельные страницы — подходит для служебных страниц, личных кабинетов, черновиков, отдельных разделов;
- ограничить доступ по паролю — это уже не про индексацию, а про реальную защиту содержимого.
Если задача именно в том, чтобы поисковики не индексировали весь WordPress-сайт, не ограничивайтесь только мета-тегом на одной странице или запретом в robots.txt. Для надежного результата лучше использовать несколько уровней контроля.
Самый простой способ: запретить индексацию в настройках WordPress
В WordPress есть встроенная опция, которая просит поисковые системы не индексировать сайт. Это первый шаг, который стоит сделать почти всегда, если сайт не должен быть в поиске.
Откройте Консоль WordPress → Настройки → Чтение и включите опцию «Попросить поисковые системы не индексировать сайт». После сохранения WordPress добавит соответствующий сигнал для поисковых роботов.
Этот способ удобен тем, что не требует правок кода и работает на обычной установке WordPress. Но есть нюанс: формулировка в интерфейсе именно «попросить». Поисковые системы не обязаны подчиняться, хотя на практике обычно учитывают такой запрет.
После включения опции проверьте, что она действительно активна. Иногда на тестовых копиях забывают снять галочку после переноса на боевой домен, и сайт продолжает оставаться закрытым уже тогда, когда это не нужно.
Когда одной галочки недостаточно
Если сайт уже был открыт для индексации, поисковик мог успеть сохранить страницы в базе. В этом случае простого запрета в WordPress может быть мало: старые URL ещё какое-то время будут показываться в выдаче, особенно если на них есть внешние ссылки или они давно известны поисковым системам.
Чтобы ускорить исключение из индекса, обычно делают так:
- включают запрет индексации в WordPress;
- проверяют, что на страницах есть корректный мета-тег robots;
- убирают сайт из sitemap.xml, если он генерируется плагином SEO;
- при необходимости закрывают сайт на уровне сервера или паролем;
- в панели вебмастера отправляют запрос на удаление отдельных URL, если это требуется срочно.
Последний пункт нужен не всегда. Если сайт тестовый и не должен был попадать в поиск вообще, обычно достаточно закрыть его правильно и дождаться переобхода.
Как закрыть сайт на уровне robots.txt
Файл robots.txt управляет тем, какие разделы поисковый робот может сканировать. Его часто используют, когда нужно ограничить обход сайта. Но здесь есть частая ошибка: robots.txt не гарантирует удаление страниц из индекса, если они уже известны поисковой системе.
Для полностью закрытого сайта можно использовать такой вариант:
User-agent: *
Disallow: /Это говорит роботам не обходить сайт целиком. Но если страница уже попала в индекс, один только robots.txt не всегда решает проблему. Более того, если запретить обход, поисковик может не увидеть на странице мета-тег noindex, который как раз нужен для удаления из индекса.
Поэтому на практике robots.txt полезен как дополнительная мера, но не как единственный способ закрыть сайт WordPress от индексации.
Что надежнее для тестового сайта: noindex или пароль
Если сайт временный или это рабочая копия, самый надежный вариант — не просто просить поисковики не индексировать его, а ограничить доступ целиком. Тогда робот вообще не сможет нормально просканировать страницы.
Подходы отличаются так:
| Способ | Что делает | Когда подходит |
|---|---|---|
| Настройка WordPress «не индексировать» | Добавляет сигнал поисковикам | Базовый вариант для любого закрытого сайта |
robots.txt | Ограничивает обход | Как дополнительная мера, не вместо всего остального |
| Пароль на сайт или каталог | Полностью закрывает доступ | Тестовые и staging-копии, которые не должны быть доступны никому |
Если у вас именно разработческая копия, пароль часто надежнее и практичнее, чем попытка «мягко» закрыть сайт от индексации. Поисковик не увидит содержимое, а случайные посетители тоже не попадут внутрь.
Как не перепутать закрытие всего сайта и скрытие отдельных страниц
Иногда задача звучит как «убрать страницу из поиска», но на деле нужен не запрет для всего WordPress, а точечное скрытие нескольких URL. Это разные сценарии.
Если нужно скрыть только отдельные страницы, обычно используют:
- мета-тег
noindexна конкретной странице; - настройки SEO-плагина для отдельных записей и страниц;
- исключение конкретных URL из sitemap;
- ограничение доступа по роли или паролю.
При этом сам сайт продолжает индексироваться. Это нормальный вариант для страниц благодарности, служебных разделов, результатов поиска по сайту, внутренних документов и похожих материалов.
Если же вы включили запрет индексации в WordPress целиком, а потом удивляетесь, почему из поиска пропали и нужные страницы, значит вы применили слишком широкий способ. Перед изменениями полезно проверить, что именно вы хотите скрыть: весь сайт или только часть контента.
Как проверить, что сайт действительно закрыт
После настройки не стоит полагаться только на визуальное ощущение. Проверка занимает несколько минут и помогает поймать типичные ошибки.
Сначала откройте исходный код главной страницы и найдите мета-тег robots. В закрытом варианте обычно должен быть сигнал вроде noindex. Если его нет, значит настройка не сработала или её перебивает тема, плагин SEO или серверная конфигурация.
Дальше проверьте:
- не открыт ли сайт для индексации в Настройки → Чтение;
- не остался ли сайт в XML-карте сайта;
- не закрывает ли
robots.txtтолько часть путей, а не весь сайт; - не доступен ли сайт без авторизации, если вы рассчитывали на пароль;
- не кэшируется ли старая версия страниц на стороне плагина или CDN.
Если у вас включен кэш, после изменений его лучше очистить. Иначе поисковик или браузер могут какое-то время видеть старую версию страницы, даже если вы уже всё настроили правильно.
Частые ошибки, из-за которых сайт всё равно попадает в поиск
На практике проблемы обычно повторяются одни и те же:
- в WordPress включили запрет индексации, но забыли снять сайт с публичного доступа после переноса;
- закрыли только
robots.txt, хотя страницы уже были в индексе; - настроили
noindexдля одной страницы, а ожидали скрытия всего сайта; - оставили сайт в XML-карте сайта;
- не учли кэш плагина, сервера или CDN;
- используют поддомен или копию сайта, которая открыта отдельно от основного домена.
Если сайт должен быть закрыт надолго, лучше не рассчитывать на один-единственный переключатель. Надежнее сочетать настройку WordPress, корректный robots и, при необходимости, пароль на доступ.
Что делать после открытия сайта
Когда тестовый проект становится боевым, важно не забыть вернуть индексирование. Иначе сайт может так и остаться невидимым для поиска, даже если он уже полностью готов.
Перед запуском проверьте три вещи: снята ли галочка «попросить поисковые системы не индексировать сайт», не закрыт ли корень сайта в robots.txt и не стоит ли пароль на уровне сервера или каталога. После этого обновите sitemap и убедитесь, что главные страницы доступны без ограничений.
Если сайт уже был закрыт и вы открываете его обратно, поисковикам тоже нужно время на повторный обход. Это нормально: индексация не возвращается мгновенно.
Для большинства задач достаточно встроенной настройки WordPress, но если речь о тестовой копии или временно закрытом проекте, лучше добавить и более жесткое ограничение доступа. Так вы не будете зависеть только от того, как именно поисковик интерпретирует просьбу не индексировать сайт.