Есть интересный разговор о Твиттер о всплесках сканирования Google и (1) являются ли эти всплески глобальными или отдельными для каждого сайта, и (2) не вызвал ли автономный режим инструмента параметра URL глобальный всплеск сканирования.
Если вы не хотите читать больше, колебания и всплески сканирования коротких ответов обычно не являются глобальными, а больше зависят от сайта за сайтом. Кроме того, Джон Мюллер из Google сказал, что отключение инструмента параметра URL-адресов в автономном режиме, скорее всего, не приведет к скачкам сканирования.
Бен Кук и Ребекка Леманн спросили в Твиттере:
Я вижу, что *и* URL-адреса, для которых мы запросили временное удаление, снова появляются в индексе всего через месяц. Я думал, что это должно было быть шесть месяцев?
— Ребекка Леманн (@BeckyLehmann) 9 сентября 2022 г.
Джон ответил, что это, скорее всего, не связано с отключением этого инструмента:
Понятно. Спасибо, что отозвались.
Похоже, что циферблат в настоящее время настроен на «если есть ссылка, указывающая на нее, мы индексируем ее независимо от того, можем ли мы ее сканировать или нет».
— Бен Кук (@BenjaminCook) 10 сентября 2022 г.
Добавим, что эти вещи больше относятся к сайту за сайтом, а не к глобальной вещи:
О, это очень интересно!
Правильно ли я понимаю, что если вам не разрешено его сканировать, вы не можете определить полезность контента?
— Бен Кук (@BenjaminCook) 10 сентября 2022 г.
(извините за swipo, но это слишком хорошо, чтобы исправить :-))
— 🌽〈link href=//johnmu.com rel=canonical alt 〉🌽 (@JohnMu) 10 сентября 2022 г.
Но многие оптимизаторы действительно замечают этот всплеск:
Сообщения о всплесках «проиндексировано, но заблокировано robots.txt» верны. У меня есть несколько клиентов, которые ничего не изменили и недавно видели этот всплеск -> Google: всплески сканирования не являются глобальными, обычно замечаются в «вибрациях для каждого сайта».
Например, смотрите скриншот ниже: pic.twitter.com/nioCBiH8pu
— Гленн Гейб (@glenngabe) 12 сентября 2022 г.
Я решил выделить этот разговор, так как сам нашел его несколько интересным.
Обсуждение форума на Твиттер.