То, как поисковые системы индексируют сайты, существенно не изменилось за последние три десятилетия.
Хотя для веб-администраторов важно постоянно обновлять свои процессы в соответствии с лучшими практиками, если они хотят поддерживать быстрое и всеобъемлющее индексирование, базовая технология поисковой системы осталась в основном неизменной на фундаментальном уровне.
Но это может скоро измениться.
IndexNow, протокол, обеспечивающий прямую связь с поисковыми системами, может кардинально изменить поисковый ландшафт.
Контроль над вашим веб-сайтом расширяет ваши возможности, а более четкое понимание того, как ваш контент индексируется, приведет к более широкой и быстрой видимости в поисковых системах.
В этом посте рассказывается о некоторых последних разработках в области индексирования и о том, как обеспечение большей автономии при сканировании контента является чистой победой для SEO-специалистов, веб-мастеров, поисковых систем и, в конечном счете, пользователей. Мы также расскажем о текущих передовых методах индексации.
Какую роль будет играть IndexNow в будущем поиска?
IndexNow — горячая тема в сфере SEO. Если вы еще не сталкивались с этим, это, по сути, служба уведомлений, которую веб-администраторы используют для оповещения поисковых систем, когда они публикуют контент на своих сайтах (или удаляют старый контент).
Поскольку эта технология может сэкономить значительные объемы ресурсов для поисковых систем (за счет снижения потребности в постоянном «исследовательском» сканировании), многие эксперты по поисковой оптимизации считают весьма вероятным, что она будет повсеместно принята.
Это также представляет собой привлекательное предложение для SEO-специалистов, поскольку позволяет им мгновенно сообщать поисковым системам об изменениях на своих сайтах. Иногда для обнаружения новых страниц с помощью традиционного сканирования могут потребоваться недели или месяцы.
Microsoft и Яндекс лидируют, когда дело доходит до предоставления веб-мастерам контроля над тем, как и когда сканируются их сайты. IndexNow учитывает 7% новых сайтов проиндексировано в Bing. Seznam.cz также внедрил IndexNow в начале 2022 года. Более 16 миллионов веб-сайтов используют этот протокол, и он предлагается через основные плагины WordPress, такие как Yoast. Cloudflare и Duda также интегрировали его в свои сервисы.
Тем не менее, IndexNow, скорее всего, станет актуальным только в том случае, если Google решит его поддерживать. Google подтвердил, что это сейчас на экспериментальной стадии. До тех пор это не будет той технологией, которая может изменить Землю. По нашему мнению, по крайней мере.
Как использовать IndexNow
У использования IndexNow на вашем сайте нет недостатков. Это особенно актуально, если у вас небольшой сайт, а индексация — медленный процесс. Крупные бренды, такие как LinkedIn и eBay, уже используют этот протокол и извлекают из него выгоду.
Выполните следующие шаги, чтобы начать использовать IndexNow:
- Создайте и разместите ключ API: Вам необходимо сгенерировать ключ API, чтобы подтвердить право собственности на ваш сайт и любые отправленные URL-адреса. Вы можете использовать Инструмент генерации API Bing сделать это. Затем вы должны разместить закодированный файл .txt в корневом каталоге вашего веб-сайта, содержащий ключ.
- Отправить URL-адреса: После того, как вы настроили проверку для своего сайта, вы можете отправить HTTP-запрос по следующему URL-адресу: https://<поисковая система>/indexnow?URL= URL-изменен&ключ=ваш-ключ
- Проверить успешность отправки: Проверьте успешность отправленных URL-адресов с помощью инструментов Bing для веб-мастеров или программного обеспечения для отслеживания.
IndexNow опубликовал обширная документация. В качестве альтернативы вы можете использовать плагин WordPress или сеть доставки контента (CDN), которая поддерживает IndexNow.
Другие ключевые тенденции индексации
Растущее присутствие IndexNow — не единственная тенденция индексации, о которой стоит говорить. Вот еще три, на которые SEO-специалистам следует обратить внимание:
- Программное SEO и контент, созданный искусственным интеллектом: Рост контента, созданного ИИ, и программного SEO (автоматическое создание огромного количества страниц, ориентированных на отдельные или небольшие наборы ключевых слов) представляет проблему для поисковых систем с точки зрения сканирования. Если есть миллионы автоматически сгенерированных страниц, они не смогут эффективно сканировать Интернет. Это, возможно, объясняет, почему Google наказал контент, созданный ИИ, в своем последнем обновлении при награждении контента, написанного для людей.
- Продолжающееся присутствие сканирующих ботов: Ползающие боты никуда не денутся. Они по-прежнему будут оставаться ключевыми для того, как поисковые системы индексируют веб-сайты. Google в настоящее время использует HTTP/2, который является протоколом передачи с низким уровнем ресурсов. Очень важно понимать, как роботы перемещаются по вашему сайту для сбора данных. Понимая это, вы можете соответствующим образом структурировать свой сайт, чтобы оптимизировать индексацию.
- Более широкая доступность инструментов для проверки статуса индексации: SEO-специалистам становится проще проверять статус индексации своих веб-страниц и цифровых активов. Одним из ключевых примеров является недавно запущенный отчет об индексации видео в Google Search Console. Эта тенденция, вероятно, сохранится, поскольку программное обеспечение для SEO станет более детализированным и продвинутым.
Контрольный список рекомендаций по индексированию
Процесс, который поисковые системы обычно используют для индексации контента, относительно прост. После публикации веб-страницы поисковые системы сканируют веб-страницы и, при условии, что правила не нарушены, индексируют их в своей базе данных.
Вот краткий исчерпывающий контрольный список лучших практик индексации:
- Настройте пинг IndexNow: Существуют различные способы оповещения поисковых систем о новом и обновленном контенте через IndexNow. Обратитесь к опубликованной документации для их обзора.
- Убедитесь, что ваш сайт оптимизирован для мобильных устройств: Google использует систему индексации для мобильных устройств, что означает, что при сканировании приоритет отдается мобильным сайтам.
- Неиндексируемые соответствующие страницы: Если у вас есть страницы, которые вы не хотите отображать в результатах поиска, используйте тег «noindex». У вас меньше шансов столкнуться с ошибками в отчетах об индексации (например, в Search Console), если вы правильно не индексируете страницы.
- Удалите неуместные теги noindex: Вы должны проводить регулярные проверки для выявления страниц, на которых неправильно размещены теги noindex.
- Отслеживайте статус индексации своих страниц с помощью Search Console: Убедитесь, что ваши страницы проиндексированы в Google с помощью Search Console. Google, вероятно, обеспечивает большую часть вашего трафика.
- Отправьте карты сайта в основные поисковые системы с помощью соответствующих инструментов для веб-мастеров: Создавайте и отправляйте карты сайта в поисковые системы, особенно если у вас большой сайт.
- Создайте надежную внутреннюю архитектуру ссылок: Ссылка внутри для обеспечения эффективного сканирования. Использование логичной, понятной человеку структуры URL-адресов на основе категорий также является хорошей практикой.
- Удалите дублированный контент: Дублированный контент замедляет сканирование. При необходимости используйте программное обеспечение для запуска проверок и удаления ненужного контента. Используйте метки rel=canonical, если вам нужно опубликовать повторяющийся контент.
- Учетная запись для автономных веб-страниц: Важно размещать ссылки на отдельные веб-страницы, особенно на целевые страницы, которые недоступны из других областей вашего сайта.
- Оптимизация по скорости и размеру страницы: Если вы будете следовать лучшим практикам в отношении минимизации и JavaScript, это будет означать, что вы случайно не превысите лимиты сканирования поисковых систем.
- При необходимости добавьте файл robot.txt: Файл robot.txt сообщает поисковым системам, какие страницы следует сканировать. Он используется, когда вы хотите, чтобы страницы оставались проиндексированными при ограничении активности поисковых роботов, которые могут перегрузить ваши серверы.
- Убедитесь, что метаданные верны: Добавление точных метаданных к веб-страницам делает сканирование более эффективным. Сюда входят мета-заголовки и описания, атрибуты robots, googlebot, SafeSearch и rel.
- Оптимизируйте многоязычные сайты: Используйте URL-адреса на основе местоположения или теги hreflang, чтобы указать, какие страницы относятся к разным местоположениям.
- Используйте настройки скорости сканирования Google (при необходимости): Это не будет проблемой для подавляющего большинства веб-администраторов, но Google позволяет веб-администраторам некоторая степень контроля над тем, как он сканирует их веб-сайты. При определенных обстоятельствах можно установить лимиты аварийного обхода.
Использование BrightEdge для лучшего индексирования
Индексация может быть реальной проблемой, если на вашем сайте большое количество ошибок, поскольку она запрещает поиску сканирование, ограничивая вашу органическую производительность. BrightEdge ContentIQ выводит выявление технических ошибок на новый уровень и может поддерживать сканирование сайтов для миллионов страниц. Это позволяет маркетологам выявлять, расставлять приоритеты и исправлять ошибки и проблемы веб-сайта в масштабе, прежде чем они повлияют на органическую производительность. Механизм рекомендаций в платформе позволяет легко получать оповещения об этих приоритетных проблемах и четкие шаги по их решению.
Вывод
Эффективная индексация сайта является основной частью поисковой оптимизации, особенно для крупных организаций, для которых вероятность возникновения проблем выше.
Будьте в курсе изменений и постоянно обновляйте свой процесс в соответствии с рекомендациями, чтобы убедиться, что все страницы вашего сайта проиндексированы, и вы можете эффективно устранять проблемы.
SEO-специалисты также должны быть в курсе развития и роста IndexNow. Вполне вероятно, что Google либо примет IndexNow, либо разработает собственную технологию, и в этом случае вам будет выгодно как можно раньше внедрить новые протоколы.
