Как заблокировать SemrushBot (правила robots.txt)

В этом руководстве объясняется, как заблокировать SemrushBot от сканирования веб-сайта.

Ниже вы найдете это руководство, разделенное на два раздела: первая часть включает шаги по блокировке каждого агента пользователя SemrushBot, который используется программным обеспечением Semrush для сканирования содержимого веб-сайта и данных ссылок, а вторая часть содержит полный набор правил. вы можете скопировать и вставить в файл robots.txt, чтобы предотвратить доступ всех ботов Semrush к вашему сайту.

К концу этой страницы вы будете знать, как сделать данные вашего веб-сайта недоступными для пользователей Semrush, которые пытаются проанализировать домен для поисковой оптимизации (SEO) и кампаний цифрового маркетинга.

Примечание. Если вы хотите узнать больше о том, что такое SemrushBot и как он работает, см. соответствующую страницу на SemrushBot. Вы также можете бесплатно попробовать Semrush, воспользовавшись моей партнерской ссылкой, чтобы протестировать все его возможности для своих SEO-кампаний и убедиться, что установленные вами правила блокировки правильно работают на вашем веб-сайте.

Как заблокировать SemrushBot

SemrushBot можно заблокировать, изменив файл robots.txt на Disallow the User-Agent. После блокировки пользовательского агента SemrushBot паук не сможет сканировать веб-сайт.

1. Заблокировать основного SemrushBot

Добавьте следующее правило в файл robots.txt, чтобы заблокировать основной SemrushBot, который создает веб-график ссылок для сайта, о которых сообщается в инструменте Backlink Analytics:

User-agent: SemrushBot
Disallow: /

2. Заблокировать SemrushAuditBot

Это правило не позволит SemrushBot сканировать ваш сайт для SEO-аудита и технических проблем:

User-agent: SiteAuditBot
Disallow: /

3. Заблокировать SemrushBot-BA

Это правило robots.txt запрещает SemrushBot сканировать ваш сайт с помощью инструмента аудита обратных ссылок:

User-agent: SemrushBot-BA
Disallow: /

4. Заблокировать SemrushBot-SI

Эта директива блокирует доступ SemrushBot к вашему сайту с помощью инструмента On Page SEO Checker:

User-agent: SemrushBot-SI
Disallow: /

5. Заблокировать SemrushBot-SWA

Это правило robots.txt запрещает SemrushBot проверять отдельные веб-страницы для анализа с помощью инструмента SEO Writing Assistant:

User-agent: SemrushBot-SWA
Disallow: /

6. Заблокировать SemrushBot-CT

Эта директива запрещает SemrushBot сканировать ваш сайт с помощью инструментов Content Analyzer и Post Tracking:

User-agent: SemrushBot-CT
Disallow: /

7. Заблокировать SplitSignalBot

Это правило запрещает Semrush SplitSignalBot сканировать ваш сайт в поисках инструмента SplitSignal, который используется для проведения A/B-тестирования для цифрового маркетинга:

User-agent: SplitSignalBot
Disallow: /

8. Заблокировать SemrushBot-COUB

Эту директиву robots.txt можно использовать, чтобы заблокировать доступ SemrushBot к вашему веб-сайту для инструмента Content Outline Builder:

User-agent: SemrushBot-COUB
Disallow: /

Блокировка всех пользовательских агентов SemrushBot

Если вы хотите заблокировать каждого агента пользователя SemrushBot на своем веб-сайте, вы можете скопировать и вставить следующий код в файл robots.txt веб-сайта:

User-agent: SemrushBot
Disallow: /
User-agent: SiteAuditBot
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SplitSignalBot
Disallow: /
User-agent: SemrushBot-COUB
Disallow: /

Примечание: AhrefsBot также можно заблокировать с помощью директивы Disallow в файле robots.txt. См. соответствующее руководство о том, как заблокировать AhrefsBot, если вы хотите, чтобы этот бот не сканировал ваш сайт.

Подробности о блокировке задержек

SemrushBots может занять от одного часа до 100 запросов, чтобы обнаружить изменения, внесенные в ваш файл robots.txt, и соблюдать эти директивы для сканирования веб-сайта. Если вы хотите убедиться, что SemrushBot соблюдает ваши правила, вы можете бесплатно попробовать Semrush и самостоятельно протестировать различные инструменты, чтобы увидеть, работают они или нет.

Сводка по блокировке SemrushBot

Надеюсь, вам понравилось это руководство о том, как заблокировать SemrushBot.

Как вы обнаружили, SemrushBot можно заблокировать, изменив файл robots.txt на Disallow the User-Agent. После блокировки основного агента пользователя SemrushBot паук не сможет сканировать веб-сайт для регистрации данных для веб-графика ссылок. Однако у Semrush есть несколько пользовательских агентов для каждого бота, который собирает данные веб-сайта для своего набора инструментов.

Следовательно, вам придется заблокировать доступ к веб-сайту для каждого агента пользователя в отдельности (как описано в этом руководстве), чтобы сделать его недоступным для пользователей Semrush, которые пытаются проанализировать домен для кампаний цифрового маркетинга и SEO.