Об этом заявил Гэри Иллиес из Google. LinkedIn что если ваш сервер возвращает код состояния HTTP 500/503 в течение длительного периода времени для вашего файла robots.txt, то Google может полностью удалить ваш сайт из поиска Google.
Это даже если остальная часть вашего сайта доступна и не возвращает код состояния 500 или 503.
Вам нужно беспокоиться не только о коде состояния HTTP 500/503, но и о проблемах, связанных с тайм-аутом сети на вашем сайте.
Опять же, это должно быть в течение «длительного периода времени», который не был определен, но я предполагаю, что это больше, чем день или два.
Гэри написал: «Файл robots.txt, который возвращает код состояния HTTP 500/503 в течение длительного периода времени, удалит ваш сайт из результатов поиска, даже если остальная часть сайта доступна роботу Googlebot». «То же самое касается сетевых тайм-аутов», — добавил Гэри.
Гэри сослался на HTTP-документы и добавил: «Если мы не можем определить, что находится в файле robotstxt, и сервер не сообщает нам, что файл robotstxt не существует, было бы гораздо более вредно сканировать, как если бы все было разрешено (например, мы могли бы проиндексировать неуклюжая шляпа Мартина случайно сфотографировала)».
Мы знаем, что Google рекомендует использовать код состояния сервера 503, когда ваш веб-сайт отключается или временно отключается менее чем на день (часы, а не несколько дней). Если он отключается на долгое время, попробуйте загрузить на его место статическую версию вашего сайта.
Просто будьте осторожны с длительным временем простоя — вряд ли у вас есть выбор.
Обсуждение форума на LinkedIn.
