Заблокировано robots.txt означает, что Google не просканировал ваш URL, потому что вы заблокировали его с помощью директивы Disallow в robots.txt. Это также означает, что URL-адрес не был проиндексирован.
Решение этой проблемы лежит в основе создания здоровой стратегии сканирования и индексации вашего веб-сайта.
Как исправить заблокировано robots.txt
Решение этой проблемы требует другого подхода в зависимости от того, заблокировали ли вы свою страницу по ошибке или намеренно.
Позвольте мне рассказать вам, как действовать в этих двух ситуациях:
Когда вы использовали директиву Disallow по ошибке
В этом случае, если вы хотите исправить Blocked by robots.txt, удалить директиву Disallow, блокирующую сканирование данной страницы.
Благодаря этому робот Googlebot, скорее всего, просканирует ваш URL-адрес в следующий раз, когда будет сканировать ваш веб-сайт. Без дальнейших проблем с этим URL Google также проиндексирует его.
Если у вас много URL-адресов, затронутых этой проблемой, попробуйте отфильтровать их в GSC. Нажмите на статус и перейдите к символу перевернутой пирамиды над списком URL-адресов.
Вы можете отфильтровать все затронутые страницы по URL-адресу (или только части пути URL-адреса) и дате последнего сканирования.
Если вы видите Заблокировано robots.txt, это также может означать, что вы намеренно заблокировали весь каталог, но непреднамеренно включили страницу, которую хотите просканировать. Чтобы устранить эту проблему:
- Включите как можно больше фрагментов пути URL в директиву Disallow. чтобы избежать возможных ошибокили же
- Используйте директиву Allow, если вы хотите разрешить ботам сканировать определенный URL-адрес в запрещенном каталоге.
При изменении вашего robots.txtя предлагаю вам проверить свои директивы, используя robots.txt Тестер в Google Search Console. Инструмент загружает файл robots.txt для вашего веб-сайта и помогает вам проверить, правильно ли ваш файл robots.txt блокирует доступ к заданным URL-адресам.
Тестер robots.txt также позволяет проверить, как ваши директивы влияют на определенный URL-адрес в домене для данного User-agent, например, Googlebot. Благодаря этому вы можете поэкспериментировать с применением различных директив и посмотреть, заблокирован или принят URL-адрес.
Однако вы должны помнить, что инструмент не будет автоматически изменять ваш файл robots.txt. Поэтому, когда вы закончите тестирование директив, вам нужно вручную внести все изменения в свой файл.
Кроме того, я рекомендую использовать Проверка исключения роботов расширение в Google Chrome. При просмотре любого домена инструмент позволяет обнаружить страницы, заблокированные файлом robots.txt. Он работает в режиме реального времени, поэтому поможет вам быстро реагировать, проверять и работать с заблокированными URL-адресами в вашем домене.
Проверить моя ветка в Твиттере чтобы увидеть, как я использую этот инструмент выше.
Что, если вы продолжите блокировать важные страницы в robots.txt? Вы можете значительно ухудшить свою видимость в результатах поиска.
Когда вы намеренно использовали директиву Disallow
Вы можете игнорировать статус «Заблокировано robots.txt» в Google Search Console, если вы не запрещаете какие-либо ценные URL-адреса в файле robots.txt.
Помните, что блокирование ботами сканирования ваших некачественных или дублированный контент совершенно нормально.
И решение о том, какие страницы должны и не должны сканировать боты, имеет решающее значение для:
- Создайте стратегию сканирования для своего веб-сайта и
- Значительно поможет вам оптимизировать и сохранить краулинговый бюджет.
СЛЕДУЮЩИЕ ШАГИ
Вот что вы можете сделать сейчас:
- Свяжитесь с нами.
- Получите от нас индивидуальный план решения ваших проблем.
- Раскройте потенциал сканирования вашего сайта!
Все еще не уверены, что напишите нам? Обратитесь за услуги по оптимизации краулингового бюджета для улучшения сканирования вашего сайта.
Заблокировано файлом robots.txt и проиндексировано, но заблокировано файлом robots.txt
Заблокировано robots.txt легко спутать с другим статусом в Отчет об индексации страниц (покрытие индекса) – Проиндексировано, но заблокировано robots.txt.
Разница между этими двумя проблемами заключается в том, что с заблокированным robots.txt ваш URL не будет отображаться в Google. В очереди, с Проиндексирован, хотя и заблокирован robots.txt, вы можете увидеть свой URL в результатах поиска.
Почему Google может захотеть проиндексировать ваш заблокированный URL? Потому что, когда многие ссылки указывают на конкретный URL-адрес с описательным якорным текстом, Google может счесть это достаточно важным для индексации без сканирования.
Кроме того, чтобы найти заблокировано robots.txt, перейдите к таблице «Почему страницы не индексируются» под диаграммой в отчете об индексации страниц.
В свою очередь, индексирование, хотя и заблокировано robots.txt, является частью раздела «Улучшение внешнего вида страницы», который вы можете увидеть под таблицей «Почему страницы не индексируются».
Помните, что Директива Disallow в robots.txt только запрещает Google сканировать ваши страницы. Его нельзя и не следует использовать для управления индексацией. Чтобы запретить Google индексировать URL-адрес, убедитесь, что вы блокируете его индексирование с помощью тега noindex.
Изучите основы индексации!
Прочтите наше исчерпывающее руководство по тег без индекса для SEO.
Подведение итогов
Статус Blocked by robots.txt означает, что робот Googlebot обнаружил директиву Disallow, применимую к этому URL-адресу в вашем файле robots.txt.
Помните, что робот Googlebot не может сканировать некоторые URL-адреса, особенно когда ваш веб-сайт становится больше. Это нормально. Решение о том, какие страницы на вашем веб-сайте следует и не следует сканировать, является фиксированным этапом создания надежного стратегия индексации для вашего сайта.
И когда правильное сканирование и индексирование — это основа SEO, хорошо организованный файл robots.txt — это только одна его часть.
Свяжитесь с нами для тщательного технический SEO-аудит чтобы ориентироваться в ваших проблемах.
