Недавно один из наших пользователей спросил нас, как они могут запретить поисковым системам сканировать и индексировать свой сайт WordPress.
Существует несколько сценариев, когда вы хотите, чтобы поисковые системы не сканировали ваш сайт и не отображали его в результатах поиска.
В этой статье мы покажем вам, как запретить поисковым системам сканировать сайт WordPress.
Зачем мешать поисковым системам сканировать сайт WordPress?
Для большинства веб-сайтов WordPress поисковые системы являются крупнейшим источником трафика. Вы можете спросить, зачем кому-то блокировать поисковые системы?
Вот некоторые ситуации, когда вы не хотите, чтобы поисковые системы индексировали ваш сайт:
- В начале вы можете не знать, как создать локальную среду разработки или промежуточный сайт, и вместо этого разрабатывать свой веб-сайт, пока он работает. Вы не захотите, чтобы Google индексировал ваш сайт, когда он находится в стадии разработки или в режиме обслуживания.
- Есть также много людей, которые используют WordPress для создания частных блогов. Они не хотят, чтобы их индексировали поисковые системы, потому что они частные.
- Вы можете использовать WordPress для управления проектами или интранет. В этих случаях вы не захотите, чтобы ваши внутренние документы были общедоступными.
Распространенным заблуждением является то, что если у вас нет ссылок, указывающих на ваш домен, то поисковые системы, вероятно, никогда не найдут ваш сайт. Это не совсем так.
Например, могут быть ссылки, указывающие на ваш сайт, потому что доменное имя ранее принадлежало кому-то другому. Кроме того, в Интернете есть тысячи страниц, на которых просто перечислены доменные имена. Ваш сайт может появиться на одном из них.
С учетом сказанного давайте посмотрим, как запретить поисковым системам сканировать ваш сайт. Мы рассмотрим четыре метода:
Метод 1: попросить поисковые системы не сканировать ваш сайт WordPress
Это самый простой метод, но он не полностью защищает ваш сайт от сканирования.
WordPress поставляется со встроенной функцией, которая позволяет запретить поисковым системам индексировать ваш сайт. Все, что вам нужно сделать, это посетить Настройки » Чтение и установите флажок рядом с «Видимость в поисковых системах».
Когда этот флажок установлен, WordPress добавляет эту строку в заголовок вашего сайта:
<meta name="robots" content="noindex,follow" />
WordPress также изменяет файл robots.txt вашего сайта и добавляет в него следующие строки:
User-agent: *
Disallow: /
Эти строки просят роботов (сканеров) не индексировать ваши страницы. Тем не менее, поисковые системы могут принять этот запрос или проигнорировать его. Несмотря на то, что большинство поисковых систем уважают это, все же есть вероятность, что некоторые страницы или изображения с вашего сайта могут быть проиндексированы.
Если вы хотите, чтобы поисковые системы не могли индексировать или сканировать ваш веб-сайт, вам необходимо защитить паролем свой сайт WordPress, используя методы 3 или 4.
Способ 2: попросить поисковые системы не сканировать отдельные страницы
Возможно, вы захотите, чтобы поисковые системы сканировали и индексировали ваш веб-сайт, но не включали определенные сообщения или страницы в страницы результатов поиска.
Проще всего это сделать с помощьюВсе в одном SEO (AIOSEO)плагин. Это лучший инструмент SEO для WordPress, которому доверяют более 3 миллионов компаний.
В этом уроке мы будем использоватьБесплатная версия AIOSEOпоскольку он включает в себя инструмент SEO-анализа. Существует такжепремиум-версия AIOSEOкоторый предлагает больше функций, таких как инструменты карты сайта, менеджер перенаправления, разметка схемы, редактор robots.txt и многое другое.
Первое, что вам нужно сделать, это установить и активировать плагин AIOSEO на своем веб-сайте. Вы можете узнать, как установить и настроить плагин, следуя нашему пошаговому руководству по настройке All-in-One SEO для WordPress.
После того, как плагин настроен, вы можете использовать его, чтобы попросить поисковые системы не индексировать определенные сообщения и страницы. Опять же, поисковые системы должны принять этот запрос или проигнорировать его.
Просто отредактируйте сообщение или страницу, которую вы не хотите индексировать. Вам нужно прокрутить вниз до настроек AIOSEO в нижней части редактора WordPress, а затем щелкнуть вкладку «Дополнительно».
Обратите внимание, что в статье используются настройки robots по умолчанию. Чтобы изменить это, вам нужно переключить переключатель «Использовать настройки по умолчанию» в положение «Выкл.».
Теперь вы можете установить флажок «Без индекса». Как только сообщение будет опубликовано или обновлено, поисковые системы попросят не индексировать его.
Способ 3: защита паролем всего сайта с помощью cPanel
Если ваш хостинг-провайдер WordPress предлагает доступ к cPanel для управления вашей учетной записью хостинга, вы можете защитить весь свой сайт с помощью cPanel. Все, что вам нужно сделать, это войти в свою панель управления cPanel, а затем щелкнуть значок «Конфиденциальность каталога» в разделе «Файлы».
Далее вам нужно найти папку, в которую вы установили WordPress. Обычно это папка public_html. После этого вам нужно нажать кнопку «Изменить» рядом с этой папкой.
Примечание: Если у вас есть несколько сайтов WordPress, установленных в каталоге public_html, вам нужно щелкнуть ссылку public_html, чтобы просмотреть эти сайты, а затем отредактировать папку для веб-сайта, который вы хотите защитить паролем.
Это приведет вас к экрану, где вы можете включить защиту паролем.
Просто установите флажок «Защитить этот каталог паролем» и нажмите кнопку «Сохранить». При желании вы также можете настроить имя для защищенного каталога.
Вы увидите подтверждающее сообщение о том, что права доступа к каталогу были изменены.
Далее следует нажать кнопку «Вернуться».
Вы попадете на экран, где вы можете создать имя пользователя и пароль, которые необходимо будет использовать при доступе к этому каталогу.
Вам необходимо ввести имя пользователя и пароль, а затем подтвердить пароль. Обязательно запишите свое имя пользователя и пароль в надежном месте, например, в приложении для управления паролями.
После того, как вы нажмете кнопку «Сохранить», вы успешно добавили защиту паролем на свой сайт WordPress.
Теперь всякий раз, когда пользователь или поисковая система посещают ваш сайт, им будет предложено ввести имя пользователя и пароль, которые вы создали ранее, для просмотра сайта.
Способ 4: Защита WordPress паролем с помощью плагина
Если вы используете управляемый хостинг WordPress, у вас может не быть доступа к cPanel. В этом случае вы можете использовать плагин WordPress для защиты вашего сайта паролем.
Вот два самых популярных решения:
- SeedProd это плагин № 1, который скоро появится, и плагин режима обслуживания для WordPress, используемый на более чем 800 000 веб-сайтов. Он поставляется с полным контролем доступа и функциями разрешений, которые вы можете использовать, чтобы скрыть свой сайт от всех, включая поисковые системы. У нас есть пошаговое руководство для SeedProd.
- Пароль защищен — это очень простой способ защитить паролем ваш сайт WordPress с помощью одного пароля (без необходимости создания пользователя). Ознакомьтесь с нашим пошаговым руководством о том, как защитить сайт WordPress паролем.
Мы надеемся, что эта статья помогла вам запретить поисковым системам сканировать или индексировать ваш сайт WordPress. Вы также можете узнать, как повысить производительность своего веб-сайта, или ознакомиться с нашим исчерпывающим пошаговым руководством по безопасности WordPress для начинающих.
Если вам понравилась эта статья, то, пожалуйста, подпишитесь на нашу Канал YouTube для видеоуроков WordPress. Вы также можете найти нас на Твиттер а также Фейсбук.
Сообщение «Как запретить поисковым системам сканировать сайт WordPress» впервые появилось на WPBeginner.
