Повышение вашего SEO, помогая Googlebot

  1. Что такое «бюджет сканирования»?
  2. Зачем контролировать доступ?
  3. Игнорировать страницы, которые не нужно оценивать
  4. Как помочь роботу Google получить доступ к нужным страницам вашего сайта
  5. Файл Robots.txt
  6. Теги NoIndex
  7. Правила параметров URL
  8. Современные XML-карты сайта
  9. Исправить внутренние ссылки
  10. Время загрузки страницы
  11. Структура сайта
  12. Преимущества SEO

В чем секрет того, что Google любит ваш сайт и индексирует его? Секрет заключается в том, чтобы направить сканеры на самые важные и полезные страницы вашего сайта и игнорировать эти страницы, не имея никакой ценности для поисковиков. Вы можете подумать, что вы хотите, чтобы Google или Bing индексировали каждый URL вашего веб-сайта, но вы могли бы запретить им сканировать ваши наиболее важные страницы, используя ваш «бюджет сканирования» на плохих или нерелевантных страницах.

Что такое «бюджет сканирования»?

Когда на ваш сайт заходит робот-обходчик Google (или Bing), у него есть ограниченное количество ресурсов для доступа к страницам вашего сайта; в конце концов, у Google есть миллионы других веб-сайтов для сканирования в этот день.

Ваш бюджет сканирования может быть уже определен стоимостью или качеством вашего веб-сайта, включая, помимо прочего, качество обратных ссылок на ваш веб-сайт. Я не буду спекулировать на других факторах здесь, но есть некоторые хорошие исследования в Интернете, где люди пытались определить эти факторы.

Зачем контролировать доступ?

Дайте важные страницы приоритет

Контролируя, где Googlebot разрешено сканировать на вашем сайте, вы увеличиваете вероятность того, что важные и ценные страницы будут сканироваться каждый раз, когда Google посещает ваш сайт.

Примерами могут быть страницы вашего продукта или услуги, страницы блога или даже страница с контактными данными. Все это страницы, которые вы хотите получить высокий рейтинг в результатах поиска, чтобы пользователи могли быстрее найти эту информацию.

Игнорировать страницы, которые не нужно оценивать

Будут страницы вашего сайта, которые не нужно индексировать в результатах поиска. К ним относятся страницы, которые пользователь обычно не ищет в результатах поиска, но, возможно, будет просматривать на вашем веб-сайте. Это может быть страница вашей политики конфиденциальности, страница с условиями и положениями, тег вашего блога или страницы категории.

Как помочь роботу Google получить доступ к нужным страницам вашего сайта

Существует несколько разных способов, с помощью которых робот Googlebot может получить доступ к вашему веб-сайту. Чем больше из следующего вы можете настроить или реализовать, тем больше у вас контроля над роботом Google или Bingbot.

Файл Robots.txt

Первое, на что нужно обратить внимание, это установить правила запрета в вашем файле роботов для всех страниц, папок или типов файлов на вашем сайте, которые не нужно сканировать. При посещении сайта первое место, на которое сканер будет обращать внимание, - это файл robots.txt (при условии, что он всегда находится по адресу http://www.mydomain.com/robots.txt). Это поможет указать различным сканерам, какие части вашего веб-сайта он не должен пытаться сканировать. Вы можете устанавливать правила в зависимости от того, какого робота-робота вы хотите контролировать.

Вы можете узнать все о robots.txt и общих проблемах в это сообщение в блоге Koozai от Irish Wonder , Всегда проверяйте свои правила в Инструмент тестирования robots.txt консоли поиска Google перед тем, как вы введете в действие любые изменения, так как некоторые правила могут заблокировать весь ваш сайт или страницы, которые вы не хотели блокировать.

Теги NoIndex

Чтобы предотвратить индексацию определенных страниц, рекомендуется также добавить тег NoIndex в код заголовка этих страниц. После добавления на страницу вы должны проверить эти теги, выполнив Запрос "Получить как Google" на URL-адреса в консоли поиска Google.

Правила параметров URL

Если ваш сайт работает на CMS или системе электронной коммерции, вам нужно быть осторожным с динамически генерируемыми URL-адресами, вызывающими дублирование страниц. Робот Google может быть легко пойман и тратить время на просмотр этих URL. Раздел параметров URL в консоли поиска Google может помочь вам определить, какие из динамических URL-адресов найдены Google, и установить предпочтения перед теми, которые он может игнорировать.

Помните, что это мощный инструмент, и вы должны использовать его с осторожностью, поскольку он может предотвратить сканирование важных частей вашего веб-сайта.

Современные XML-карты сайта

Хотя Google не будет воспринимать ваш XML-файл сайта как правило, какие страницы сканировать, он воспринимает это как подсказку - поэтому убедитесь, что он обновлен, чтобы помочь укрепить страницы вашего сайта, на которые он должен индексироваться.

Удалите все старые страницы с вашего сайта и добавьте все новые страницы.

Исправить внутренние ссылки

Робот Googlebot будет переходить по ссылкам, которые он находит в содержимом вашей веб-страницы, поэтому убедитесь, что вы не собираетесь тратить свое время, позволяя ему сканировать ссылки на отсутствующие страницы. Используйте инструмент для сканирования, такой как SEO Spider инструмент Screaming Frog найти эти неработающие внутренние ссылки и исправить их у источника.

Время загрузки страницы

Роботу Google необходимо будет загружать каждую из ваших страниц, когда он посещает их, поэтому, уменьшая время загрузки каждой из них, вы можете позволить ему сканировать и индексировать больше страниц за одно и то же общее время. Есть количество бесплатных инструментов доступны, чтобы помочь вам проанализировать и улучшить скорость сайта.

Структура сайта

Хорошая структура сайта - недооцененный метод, помогающий роботу Googlebot сканировать ваш сайт намного проще. Четкая категоризация содержимого страницы и отсутствие слишком глубокого скрытия страниц в структуре сайта повышает вероятность того, что сканер найдет их.

Преимущества SEO

Если вам удалось реализовать некоторые или все вышеперечисленные рекомендации и протестировать их с помощью упомянутых инструментов, вы должны увидеть некоторые изменения в статистике сканирования, отображаемые в консоли поиска Google.

Здесь мы ищем количество страниц, которые были просканированы, чтобы быть похожими или чуть больше числа реальных страниц на вашем сайте в первом синем графике. Уменьшение загруженных килобайт (красным цветом) должно имитировать сокращение просканированных страниц, если ранее у вас было много просканированных страниц.

Ниже приведен пример сайта со значительным количеством проблем, связанных с параметрами URL, при котором робот Googlebot сканировал до 12 000 URL-адресов, хотя фактически было всего несколько сотен реальных страниц сайта. Благодаря применению правил параметров URL и других факторов, упомянутых выше, количество просканированных страниц стало намного более последовательным и реалистичным.

Если Google сканирует ваши полезные страницы каждый раз, рейтинг ваших страниц, скорее всего, будет часто меняться, и, скорее всего, в лучшую сторону. Свежий контент будет проиндексирован и оценен намного быстрее, и время не будет потрачено впустую из вашего «бюджета сканирования».

Поделиться этой записью

Что такое «бюджет сканирования»?
Зачем контролировать доступ?
Что такое «бюджет сканирования»?
Зачем контролировать доступ?