Статус «Заблокирован из-за несанкционированного запроса (401)» описывает непроиндексированные страницы в Google Search Console. Это означает, что:
- Робот Googlebot пытался просканировать эти страницы,
- Ваш сервер запросил учетные данные у робота Googlebot,
- Googlebot не предоставил никаких учетных данных (чего он никогда не делает),
- Ваш сервер отказал роботу Googlebot в доступе к этим страницам, поэтому они не были проиндексированы.
«Заблокировано из-за несанкционированного запроса (401)» — это проблема, которую стоит решить, потому что страницы с таким статусом поглощают краулинговый бюджет вашего сайта. Кроме того, эта ошибка может привести к тому, что некоторые из ваших ценных страниц не будут включены в индекс Google.
Один из способов взаимодействия серверов с браузерами и поисковыми роботами — использование кодов состояния. Коды состояния представляют собой стандартные трехзначные числа, несущие информацию о странице, запрошенной браузером или поисковым роботом.
Код состояния 401 возвращается для страниц, требующих просмотра учетных данных для входа, если эти учетные данные не были предоставлены запрашивающей стороной.
Если содержимое вашей страницы защищено паролем, Google не может его просканировать. А сканирование в большинстве случаев является необходимым шагом для индексации.
Чтобы найти свои страницы со статусом «Заблокировано из-за несанкционированного запроса (401)», откройте консоль поиска Google. Просмотрите отчет об индексации страниц, доступный на левой панели навигации в консоли поиска Google.
Нажав на название статуса, вы увидите график, показывающий, как количество затронутых страниц изменилось с течением времени, и список URL-адресов. Список можно экспортировать и отфильтровать по наиболее интересным областям.
Зная страницы, которые возвращают роботу Googlebot код состояния 401, решите, какие из них следует индексировать, а какие нет.
Позвольте мне показать вам, как принять такое решение и устранить неполадки со страницами «Заблокировано из-за несанкционированного запроса (401)» в обеих ситуациях. Я расскажу о том, что нужно сделать, чтобы они были проиндексированы, и что сделать, чтобы они не мешали вашему сканированию.
Не все страницы вашего домена нужно индексировать. Веб-сайты вряд ли достигнут 100-процентного покрытия индексом, и то, что входит в индекс, должно быть стратегическим решением.
Это правило применяется, в частности, к вашим страницам, защищенным стеной входа. Но в некоторых случаях вы можете захотеть, чтобы они были проиндексированы в Google.
Мы можем разделить защищенные паролем страницы на три типа:
-
Защищенные, но индексируемые страницы
Иногда защищенная паролем страница должна отображаться среди результатов поиска и генерировать клики.
Например, вы можете запустить платный новостной сайт, на котором только что была опубликована интересная статья. Вы хотите, чтобы интернет-пользователи могли найти его и купить подписку, если они хотят получить доступ к полному контенту. В этом случае страница со статьей должна как запрашивать учетные данные от пользователей, так и индексироваться Google.
-
Защищенные неиндексируемые страницы
Страницы с содержанием, бесполезным для посетителей, которые еще не являются пользователями вашего сайта, должны рассматриваться по-другому. Нет никаких причин для того, чтобы эти URL-адреса были в Поиске и в индексе Google.
-
Страницы промежуточной среды
Пока вы работаете над страницами промежуточной среды, вы не хотите, чтобы они были общедоступными и ранжировались в результатах поиска.
Означает ли это, что статус «Заблокировано из-за несанкционированного запроса (401)» подходит для промежуточных страниц или страниц, защищенных паролем, которые должны оставаться вне индекса Google?
К сожалению, нет, потому что робот Googlebot пытается их просканировать, тратя ваш краулинговый бюджет. С ограниченными ресурсами Google должен быть разборчив в том, как часто, сколько и какие URL-адреса он сканирует. Беспорядочный неоптимизированный краулинговый бюджет означает, что ваши ценные страницы получают меньше внимания от сканеров поисковых систем.
Избавьтесь от забот о ползании благодаря Onely’s услуги по оптимизации краулингового бюджета!
Различить индексируемые и неиндексируемые страницы будет проще, если вы отфильтруете страницы по тем, которые представлены в вашем карта сайта.
URL-адреса, которые вы включили в свою карту сайта, стратегически важны для вашего сайта и должны быть включены в индекс Google для создания органического трафика.
После того, как вы решите, где находятся ваши страницы 401, вы можете использовать один из методов устранения неполадок, описанных ниже.
Вариант 1. Разрешите роботу Googlebot сканировать ваши страницы
Для страниц 401, которые вы хотите проиндексировать, вам необходимо изменить настройки сервера, чтобы робот Googlebot мог посещать и сканировать их URL-адреса. Это означает, что ваш сервер должен будет обрабатывать Googlebot иначе, чем браузеры пользователей.
Как правило, показ другого контента для Google и для вашего пользователя не приветствуется и может вызвать ручной штраф для маскировки. Вот почему важно сигнализировать краулеру, почему вы выбрали именно такое решение. Вы можете сделать это, применяя структурированные данные к своим страницам с платным доступом. рекомендации Google может проинструктировать вас о том, какие структурированные данные добавить на страницы подписки.
Вариант 2. Убедитесь, что страницы 401 не тратят впустую ваш краулинговый бюджет
А что делать со страницами 401, которых нет в индексе Google? Вы можете заблокировать их от сканирования в вашем файл robots.txt. Этот файл содержит директивы, сообщающие поисковым роботам, какие части сайта они могут посещать.
Директива Disallow, используемая в отношении эксклюзивных и неиндексируемых или промежуточных страниц, не позволит роботу Googlebot тратить краулинговый бюджет на эти страницы.
Рекомендуется выяснить, как робот Googlebot обнаружил ваши страницы с ошибкой 401, которые вы не хотите индексировать. Для этого используйте инструмент проверки URL-адресов, который можно запустить из списка затронутых страниц, щелкнув значок увеличительного стекла.
Из информации, доступной в инструменте проверки URL-адресов, вы узнаете, какие ссылки привели сканер на данную страницу 401.
Вы можете отредактировать эти ссылающиеся страницы и удалить ссылки, если они не нужны и создают хаос на вашем сайте. Чтобы обнаружить все внутренние ссылки, которые ведут на ваши страницы 401, используйте SEO-краулер.
Долгосрочные решения
Описанные выше решения помогут проиндексировать важные для вашего бизнеса страницы и улучшить распределение краулингового бюджета вашего веб-сайта. Однако, если статус «Заблокировано из-за несанкционированного запроса (401)» появился из-за ошибок на вашем сервере, эти методы не могут гарантировать, что проблемы с индексированием не вернутся.
Как и любой веб-сайт, ваш домен может выиграть от регулярного технические SEO обзоры. Такие аудиты позволяют устранить угрозы вашей видимости до того, как будет нанесен какой-либо вред.
В случае возникновения проблемы «Заблокировано из-за несанкционированного запроса (401)» воспользуйтесь комплексным анализ журнала сервера и проверьте, есть ли у вашего сервера проблемы со связью со сканерами.
Подведение итогов
Ошибка «Заблокировано из-за несанкционированного запроса (401)» возникает, когда робот Googlebot пытается просканировать ваши страницы, но ваш сервер запрашивает учетные данные для входа, которые сканер не может предоставить.
Решите, следует ли индексировать эти страницы, и:
- Измените настройки сервера, чтобы разрешить роботу Googlebot посещать эти URL-адреса и применять соответствующие структурированные данные, или
- Запретите эти части вашего веб-сайта в файле robots.txt, чтобы оптимизировать краулинговый бюджет.
Чтобы проблема не вернулась в будущем, связаться с Onely и позвольте нашим техническим специалистам по SEO позаботиться о вашем веб-сайте.
