SemrushBot: что это такое и как это работает

Это руководство объясняет SemrushBot.

Ниже вы узнаете, что такое SemrushBot, как он работает и как управлять этим поисковым роботом на вашем веб-сайте с помощью директив, которым подчиняется бот.

Что такое Семрушбот?

SemrushBot — это поисковый робот, который собирает и индексирует данные веб-сайтов для базы данных Semrush. Данные, собранные SemrushBot, используются для предоставления актуальной информации для индекса обратных ссылок и различных инструментов SEO и маркетингового анализа в программном обеспечении Semrush.

SemrushBot считается хорошим ботом, используемым в маркетинговых целях, который подчиняется правилам robots.txt и директивам Crawl-Delay. Вы можете бесплатно попробовать Semrush, используя мою партнерскую ссылку, чтобы проверить все его возможности для поисковой оптимизации, контент-маркетинга и рекламных кампаний с оплатой за клик (PPC).

Как работает SemrushBot?

SemrushBot автоматически посещает общедоступные веб-страницы для обнаружения и сбора новых и обновленных веб-данных. Процесс обхода веб-страниц позволяет SemrushBot находить новые URL-адреса и мертвые ссылки в Интернете, чтобы обновлять свою базу данных данными о ссылках.

В зависимости от ограничения скорости сканирования и требований, которые он назначает веб-сайту, SemrushBot будет сканировать различное количество веб-страниц с заданными интервалами во время каждого посещения, чтобы получить данные о ссылках в соответствии с текущей нагрузкой на сервер. Сканеру SemrushBot можно дать указание делать интервалы до 10 секунд между запросами к веб-сайту; более высокие значения урезаются до этого 10-секундного предела.

SemrushBot запрограммирован таким образом, что он не сканирует веб-сайт слишком быстро, чтобы избежать его перегрузки, что может привести к тайм-аутам и ошибкам сервера. SemrushBot также не инициирует просмотры рекламы и не отображается как трафик посетителей в Google Analytics.

Процесс обхода для SemrushBot начинается с того, что бот просматривает веб-сайт и составляет список гиперссылок на каждой веб-странице для дальнейшего сканирования. Semrush называет этот список «границей сканирования», которую SemrushBot неоднократно посещает для обнаружения новых веб-страниц, мертвых ссылок и обновлений контента.

Согласно Отчет о трафике ботов Imperva Incapsula, SemrushBot — один из самых активных веб-пауков, используемых коммерческими предприятиями для сканирования веб-сайтов и получения информации в целях цифрового маркетинга. SemrushBot постоянно работает над сканированием Интернета, чтобы дать интернет-маркетологам лучшее представление о факторах, влияющих на алгоритмы индексации и ранжирования в поисковых системах, чтобы пользователи могли лучше оптимизировать свои веб-сайты и SEO-кампании.

Инструменты на базе SemrushBot

Данные, собранные SemrushBot, используются для работы следующих инструментов программного обеспечения Semrush:

• Аналитика обратных ссылок
• Аудит обратных ссылок
• Линкбилдинг
• Аудит сайта
• Анализатор контента
• SEO-помощник по написанию текстов
• Отслеживание сообщений
• Проверка SEO на странице
• Шаблон SEO-контента
• Конструктор содержания
• Тема исследования
• Разделить сигнал

Вы можете бесплатно протестировать все эти инструменты, используя мою партнерскую ссылку здесь: попробуйте Semrush бесплатно.

Управление SemrushBot на вашем сайте

SemrushBot можно контролировать с помощью файла robots.txt вашего веб-сайта, чтобы изменить частоту посещения вашего веб-сайта поисковым роботом, запретить определенным инструментам Semrush доступ к данным вашего веб-сайта или полностью заблокировать робота от сканирования вашего домена.

Изменение частоты сканирования SemrushBot

Частоту сканирования SemrushBot можно изменить, указав минимально допустимую задержку между двумя последовательными запросами в файле robots.txt с помощью этой разметки:

User-agent: SemrushBot
Crawl-Delay: [value]

Значение Crawl-Delay — это время в секундах. Например, Crawl-Delay: 5.

Примечание. SemrushBot может использовать интервалы до 10 секунд между запросами к веб-сайту. Любое значение Crawl-Delay, назначенное выше 10 секунд, будет сокращено до этого предела.

Блокировка SemrushBot на вашем сайте

SemrushBot можно заблокировать от сканирования вашего веб-сайта, только добавив определенные правила в файл robots.txt. Вы не можете запретить SemrushBot доступ к вашему веб-сайту через IP-адреса, поскольку он не использует последовательные блоки IP-адресов.

Кроме того, Semrush использует разные пользовательские агенты для различных инструментов своего программного обеспечения. Таким образом, вы можете выбрать определенные сканеры SemrushBot, которым вы хотите запретить доступ к вашему домену, или устранить их все, добавив правило Disallow для каждого агента пользователя в файле robots.txt.

Ниже приведен пример правила, которое вы можете добавить в файл robots.txt, чтобы запретить SemrushBot сканировать ваш сайт для построения веб-графика ссылок, о которых сообщается в инструменте Backlink Analytics:

User-agent: SemrushBot
Disallow: /

Если вы хотите запретить доступ к вашему веб-сайту каким-либо другим инструментам программного обеспечения Semrush, см. это другое руководство о том, как заблокировать SemrushBot. Он включает в себя полный список правил, которые вы можете скопировать и вставить в файл robots.txt вашего веб-сайта, чтобы запретить всем агентам пользователя сканировать ваш сайт.

Вы также можете посетить это связанное руководство о том, как заблокировать AhrefsBot, если вы хотите, чтобы этот бот не сканировал ваш сайт. Или прочитайте это вводное руководство по AhrefsBot, чтобы узнать, как это работает.

Примечание. SemrushBot может потребоваться от одного часа до 100 запросов, чтобы обнаружить изменения, внесенные в ваш файл robots.txt, и соблюдать эти директивы для сканирования веб-сайта. Если вы хотите убедиться, что SemrushBot соблюдает ваши правила, вы можете попробовать Semrush бесплатно и самостоятельно протестировать различные инструменты, чтобы увидеть, работают они или нет.

Резюме SemrushBot

Надеюсь, вам понравилось это руководство по SemrushBot.

Как вы узнали, SemrushBot — это поисковый робот, который компилирует и индексирует данные веб-сайтов для базы данных Semrush, которая используется для предоставления актуальной информации для индекса обратных ссылок и различных инструментов SEO и маркетингового анализа в программном обеспечении Semrush. Вы можете контролировать, как SemrushBot сканирует ваш сайт, изменяя частоту или запрещая его различным агентам пользователя доступ к вашему сайту через файл robots.txt.