Краулинговый бюджет. Кейс по увеличению трафика SEO

Количество товара в каждой категории и ассортимент всего интернет-магазина – один из важнейших факторов ранжирования в поиске на 2021 год. Но не всегда много страниц в индексе — это хорошо. Однотипные и бесполезные для пользователей страницы только вредят поведенческим факторам и зря тратят краулинговый бюджет сайта, что негативно сказывается на позициях сайта в поисковых системах.

Что такое краулинговый бюджет?

Краулинговый бюджет – это количество страниц (или время), которое поисковый робот выделяет себе на обход новых/изменившихся страниц вашего сайта за одно посещение.  Данное значение является скрытым и рассчитывается индивидуально для каждого ресурса. Но есть определенные параметры, воздействуя на которые, можно увеличить бюджет робота для вашего сайта.

Во-первых – это скорость сканирования сайта. Она напрямую зависит от скорости загрузки страницы. Прослеживается связь – чем быстрее загружаются страницы, тем больше поисковый робот успеет их обойти.

Во-вторых – краулинговый спрос. Этот параметр зависит от общего объема сайта (количество всех страниц), частоты, с которой обновляется информации на этих страницах, изменение страниц сайта (количества и контента на существующих страницах), пользовательского интереса. При прочих равных, преимущество будет иметь интернет-магазин, чей бренд популярнее, а также чьи страницы чаще изменяются (обновляется ассортимент, изменяется информация о количестве товара)

Таким образом, можно выделить факторы, которые будут способствовать уменьшению краулингового бюджета и пустой его трате:

1. Проблемы технической оптимизации ресурса. Сюда можно отнести цепочки редиректов, дубли страниц.

2. Плохая скорость загрузки страниц сайта.

3. Излишнее количество страниц.

Чтобы не вспоминать об этом термине и не заботиться о величине параметра для вашего сайта, достаточно поддерживать ресурс в здоровом состоянии. Высокая скорость загрузки, заполненные метаданные, удаленные дубли, отсутствие большого числа редиректов.

Кейс

Как мы добились улучшения позиций, увеличили трафик на сайт клиента более чем в 5 раз, исключив почти 90% страниц из индекса.

Интернет-магазин автомобильной тематики с узкой специализацией на конкретных товарах. Особенность – малое количество магазинов по РФ, работа по всей стране, НЧ трафик.

Изначально на основе фильтрации вида (марка авто, модель, год выпуска, особенности товара и материал) получалось более 100-150 тысяч комбинаций. Соответственно, было более ста тысяч однотипных посадочных страниц. В ходе анализа и работы над проектом было обнаружено, что сайт очень плохо индексируется поисковыми системами. Большая часть страниц не попадала в индекс, из-за чего было принято решение закрывать страницы в noindex.

Для начала были закрыты для индексации фильтры по 2 и 5 вариантам одинаковых параметров. В результате – увеличение трафика почти в 4 раза.

визиты

Далее были закрыты непосещаемые страницы в течение нескольких месяцев, а также за весь период существования страниц сайта. Почти все страницы являлись фильтрами по нескольким параметрам.

Как итог – увеличение посещаемости ресурса более чем в два раза.

визиты

К концу основных работ над проектом – оставлено в индексе менее 15% страниц, благодаря которым привлекается большее число пользователей на сайт.

Небольшие выводы и советы

Нужно тщательно следить за техническим состоянием сайта, отслеживать посещаемые страницы и поведение пользователей на них.

Вовремя устранять обнаруженные проблемы на сайте – битые ссылки, изображения, цепочки редиректов, сжатие тяжелых файлов и т.д.

Максимально ускорить сайт. Советуем использовать хороший хостинг с отличными отзывами. Использовать сжатие и кэширование.

Не бояться уменьшать число страниц в индексе поисковой системы. Закрыть непопулярные товары, посадочные страницы, объединять схожие страницы и товары.

Правильная оптимизация ресурса позволит роботам индексировать только самые значимые страницы сайта. А это уже поспособствует быстрому обновлению страниц в индексе, ускоренному обновлению новых страниц и повышению позиций ресурса.