Краулинговый бюджет сайта: что нужно знать и как оптимизировать

Материал пригодится тем, кто не представляет, что такое краулинговый бюджет сайта и как его рассчитать. Также будет полезен владельцам площадок с проблемами индексации страниц, впрочем, как и разного рода специалистам по оптимизации, которые обходили эту тему, а сейчас готовы восполнить пробелы.

Что такое краулинговый бюджет

Определение термина простое: краулинговый бюджет — это лимит страниц, который выделен поисковому роботу на одно посещение сайта. Очень важно использовать это количество грамотно, чтобы в индексе оказались значимые страницы, а не «мусор» или дубли.

Не стоит думать, что это проблема только крупных сайтов, особенно интернет-магазинов. Вовсе нет, с ней может столкнуться и маленький ресурс с услугами — его лимит меньше, а значит, из-за проблем различного плана ни одна важная страница может не появиться в поисковой выдаче.

Самые распространённые причины проблем, связанных с краулинговым бюджетом сайтов:

1. Наличие технических ошибок. Дубли страниц, пустые разделы — это может быть причиной признания части из них некачественными, что позволит снизить бюджет и сократить количество документов, которые могли бы попасть в индекс максимально быстро.
2. Не закрытые от роботов неактуальные страницы. На них тратится бюджет, которого критически может не хватать для обхода важных новых документов.
3. Индексация технических страниц. Опасность здесь кроется не только в расходовании лимита обхода, но и в том, что именно так размывается общая релевантность. Поисковые системы могут сместить основную тематику в сторону технической, и в результате появится риск для индексации важных страниц.
4. Необновляемый контент. Чем реже на площадке появляются новые тексты, изображения и видео, тем реже на неё заходят поисковые роботы. Этот процесс пропорционален снижению краулингового бюджета индексируемого сайта, поскольку ресурсов в целом и не требуется.

 Это именно то, на что стоит обратить внимание в первую очередь.

Как происходит индексация

Нельзя говорить, что краулер меняет алгоритм индексации, если страниц на площадке слишком много или мало. Но есть разница для сайтов с историей и совсем новых. Масса факторов, которые положительно влияют и на ранжирование, способны отразиться на объёме индексируемых документов. Но об этом отдельно. Словом, чем больше внимания уделяется качеству сайта и контента, тем выше шансы увеличить бюджет.

Важно: площадки с историей способны менять лимит обхода при каждом визите робота. Поэтому стоит следить за изменениями, ведь повлиять на количество анализируемых документов вполне реально.

Проще всего узнать, с какой скоростью и как часто роботы обходят страницы, а документы попадают в индекс ПС, — обратиться к консолям Вебмастеров. К примеру, Я.Вебмастер демонстрирует графики и объёмы проиндексированных документов. Рассчитать скорость индексации и краулинговый бюджет с точностью не удастся, однако понимание того, каков максимум на сегодняшний день, появится.

Провести собственные расчёты и проверить, как часто краулер посещает сайт, помогут серверные логи. Смотреть нужно файл access.log в системной папке сервера. Через панель управления хостинга можно уточнить, заходил ли GoogleBot, проводилось ли сканирование другими роботами ПС.

Анализировать данные следует за период свыше месяца, тогда получится собрать более верную статистику и представлять закономерности, если изменения наблюдаются.

Средний показатель ежедневных обращений роботов рассчитывается по формуле: количество обращений делится на исследуемое число дней. Полученное значение и будет искомым показателем.

Теперь необходимо разделить количество страниц в индексе на среднее число обращений — получится индекс краулингового бюджета.

Например, за 30 дней роботы обращались к 999 страницам. Соответственно, 990/30=33 страницы в день - среднее значение обхода.

В индексе Яндекса 100 страниц. Значит, 1000/33=3, где 3 и есть результат.

Если результат меньше или равен 3 — это адекватный ресурс.

От 4 до 10 — средний вариант, достаточный для продвижения сайта и корректного наращивания трафика.

Результат больше 10 — нужно принимать меры и искать ошибки.

Как повысить бюджет

Есть ряд способов, чтобы увеличить количество страниц, которые сумеет обойти краулер за одно посещение. Большая их часть направлена в основном на улучшение технического состояния и поведенческих факторов.

Разберём популярные.

1. Ускорение загрузки. Но речь здесь не столько о загрузке контента для пользователей, сколько о том же показателе для роботов. То, что не способен заметить человеческий глаз, будет фиксироваться краулерами. Оптимизировать скорость можно увеличением ресурсов на сервере, отличной технической базой в виде CMS с современными решениями по сжатию материалов.
2. Настройка карты сайта. В файле sitemap.xml не должно быть миллиона ссылок на фрагментированные карты по разным темам, редиректов на неактуальные разделы и прочего, что может представлять собой лишние пути обхода, которые запутают роботов и помешают корректной индексации.
3. Увеличение рейтинга за счёт проработанной внешней ссылочной массы. Если ресурс приоритетен, то поисковики предоставят ему больше возможностей для быстрой индексации.
4. Регулярное обновление контента, создание свежих разделов и карточек также влияет на объёмы краулингового бюджета. ПС будут рассчитывать на регулярную необходимость сканирования новых документов на сайте.

Здесь, как и в случае с оптимизацией, важно опираться на улучшение качества ресурса и системность проработки.

Как улучшить индексацию

Здесь нет дополнительных сложностей. В очередной раз говоря о качестве и скорости, с которой идёт индексация страниц, самым актуальным становятся позиции базовой оптимизации документов, особенно технической части.

На что обратить внимание:

Стоит понимать, что в первую очередь работа должна быть системной, тогда прогресс может стать очевидным в самые короткие сроки.

Вся соль

Чтобы понять суть проблем с индексацией, достаточно выяснить, каковы ограничения по количеству страниц, доступных для обхода роботами поисковых систем. Если страниц на сайте много и каталог регулярно пополняется, то скорость увеличение скорости индексации становится максимально актуальной темой. Чем быстрее документы попадут в индекс, тем быстрее их увидят пользователи. а здесь уже прямая взаимосвязь с конверсией. Конечно же, на лимит можно повлиять, но это процесс постепенный и требующий долгой системной работы.

Чтобы проблем не возникало и краулинговый бюджет рос пропорционально количеству создаваемых документов, необходимо:

Способов улучшить сайт и повлиять на скорость индексации много, часть из них уже описана выше и может быть использована в работе. Но если справиться самостоятельно не удаётся, обращайтесь за помощью к профессионалам, которые сумеют найти оптимальный вариант ускорения индексации и корректировки обхода страниц.