Индексация сайта в Яндексе — прямой путь к целевой аудитории в Рунете

Есть сайт — один из более чем 15 млн в Рунете. Есть человек, которому интересны предложения этой площадки, но он о ней не знает. Вопрос: как владельцу проекта привлечь пользователя на свой сайт?

Задачу решает ПС (поисковая система) — выдаёт по запросам ссылки на страницы.

Если изобразить процесс поиска схематично, получается следующее:

Пока поисковая система незнакома с вашим сайтом, его не будет в выдаче и зайти на него смогут только те, у кого есть прямая ссылка, адрес домена. Значит, большинство пользователей не попадут к вам, не купят ваш продукт (товар/услугу). Поэтому нужно познакомить ПС с проектом — ему необходима индексация в поисковике Яндекс.

Этот процесс состоит из поиска, изучения и концентрации сведений о проектах в базе (индексе) ПС. Работая с конкретной площадкой, поисковый бот:

1. сканирует контент (тексты, картинки, фото, видео, графику и прочие элементы);
2. после комплексного анализа вносит (либо не вносит) проект в ранжирование.

В результате индексирования материалов сайта в Яндексе обработанные страницы появляются в списке поисковой выдачи по ключевым запросам пользователей.

Теперь, когда цель и алгоритм процесса в общих чертах понятны, выясним, как сделать индексирование вашего сайта в Яндексе эффективным.

Расскажите Яндексу о себе

Чтобы удалось проиндексировать сайт в ПС быстрее, проинформируйте о нём Яндекс. Это можно сделать как минимум двумя способами: через Яндекс.Вебмастер или размещение ссылок на сторонних площадках.

Добавьте сайт в Яндекс.Вебмастер

Индексирование через Яндекс.Вебмастер начинается с регистрации на этом сервисе. Сначала нужно завести личный кабинет и добавить URL вашего проекта в поле ввода на странице https://webmaster.yandex.ru/sites/add/

Добавляйте добуквенно именно тот адрес, по которому сайт доступен.

Учтите, что подать заявку на индексацию в Яндекс.Вебмастер может только собственник ресурса. Поэтому необходимо будет подтвердить права.

Выберите подходящий вам способ из предложенных на странице подтверждения.

Обозначьте приоритеты

В сервисе Яндекс.Вебмастер для сайтов, которые не проиндексированы после создания или обновления, предусмотрена опция «Переобход страниц», где можно указать адреса, по которым краулеру следует пройти в первую очередь. Пользоваться ею элементарно: вводите урлы и нажимаете кнопку «Отправить». Процедура занимает несколько секунд. Стандартное количество добавлений — 20 адресов приоритетных страниц в день, но для крупных проектов лимит может быть больше.

Дайте ссылки на сайт со сторонних площадок

Поисковые системы считают проекты с внешней перелинковкой интересными для посетителей. Благодаря этому боты могут быстрее проиндексировать ссылку на ваш ресурс в Яндексе. При выборе площадок, с которых планируете переадресацию, учитывайте их тематику: лучше, если она будет смежной вашему проекту, а контент сайта-донора релевантен вашему.

В дело вступает обходчик, или Кто такой краулер

Процесс индексирования доверен в Яндексе краулеру (от англ. Crawler — «обходчик») — поисковому роботу, который посещает сайты, методично переходя по ссылкам. Эта программа собирает информацию со страниц ресурса, анализирует её по заданным критериям и отправляет в базу поисковой системы.

Порядок действий краулера и краулинговый лимит

Алгоритм работы краулера при индексировании страниц в Яндексе представим в виде цепочки поэтапных действий.

У каждого сайта есть краулинговый лимит индексации — максимальное количество страниц, которое проверяется ботом за один визит на площадку, оно же попадает в базу Яндекса для поиска релевантных ресурсов по запросам пользователей. Например, сайт содержит 5000 страниц, но его краулинговый лимит составляет 1000. В таком случае в базе их окажется в пять раз меньше, чем есть на самом деле.

Количественное ограничение для индексации страниц в Яндексе устанавливается с учётом полезности ресурса. Чем интернет-проект больше, информативнее и удобнее для пользователей, чем чаще он обновляется, тем выше краулинговый лимит и чаще сайт оказывается в релевантной выдаче.

Какие боты действуют в Яндексе и что они индексируют

Так как нужно проиндексировать множество страниц сайта по сотням критериев в Яндексе, а площадок в Рунете миллионы, одной программе потребовалась бы уйма времени. Поэтому в ПС действуют разные боты. Перечислим наиболее значимые.

Программа	Суть действия
YandexBot/3.0 (основной робот)	Ведёт поиск новых ресурсов и страниц, а также повторно сканирует обновлённые проекты
YandexImages/3.0	Занимается анализом видеоряда и графики (изображений)
YandexFavicons/1.0	Сканирует фавиконы (символичные значки сайтов и страниц)
MirrorDetector (зеркальщик)	Отыскивает в интернете зеркала сайтов
YandexNews/4.0 (быстробот)	Работает с активно обновляемыми ресурсами, в частности с Яндекс.Новостями

Боты ПС, которым поручена индексация страниц для дальнейшей выдачи по запросам пользователей Яндекса, анализируют документы всех распространённых в интернете типов, но с ограничением объёма — до 10 Мб.

Есть и ряд особенностей сканирования файлов определённых разновидностей. Приведём примеры:

Нюансов масса. Нужно быть профессионалом, чтобы знать все и рационально применять эту информацию, формируя контент сайта. Вот почему такую работу владельцам коммерческих площадок разумнее доверять специалистам, чем делать самостоятельно.

Что влияет на индексирование в Яндексе

Индексирование сайта поисковой системой выполняется с учётом сотен факторов. И о многих нужно позаботиться вам, чтобы ускорить процесс и получить максимальную пользу от него. Рассмотрим основные критерии, влияющие на работу и решения ботов Яндекса при индексировании сайта.

Качество и обновление контента

Текстовый и иллюстративный контент должен быть релевантен ключевым фразам тематики вашего бизнеса, информативен и уникален. Иначе он не окажется в выдаче по запросам, не привлечёт внимание покупателей.

Важна и актуальность контента. Например, если у вас изменилась специфика услуги или повысились цены, а в базе ПС отражены старые сведения, негатив со стороны потенциальных клиентов гарантирован. Вот почему любой коммерческой компании важно своевременно обновлять информацию на своём сайте, создавая собственные тексты и визуализацию. Иначе пользователи обнаружат устаревшие или «позаимствованные» материалы и уйдут.

Обновление контента становится для Yandex сигналом повторно проиндексировать сайт.

Расширение ссылочной базы

Когда Яндекс индексирует площадку, учитываются и ссылки на неё с других проектов Рунета. Особенно полезны для повышения поискового рейтинга переходы с крупных и значимых сайтов, соцсетей и популярных блогов (так называемые жирные ссылки).

Естественное, полезное для целевой аудитории расширение ссылочной базы не равнозначно её бессмысленному увеличению. Если бездумно внедрять анкоры в контент — лишь бы побольше, — высок риск, что при индексировании Яндексом сайт попадёт под бан.

Структура и навигация

Чем понятнее структура и проще навигация, тем лучше посетители воспринимают ресурс. Комфортность пользования онлайн-сервисами повышает лояльность аудитории, привлекает новых потребителей товаров/услуг и помогает удерживать имеющихся.

Пользователи чаще делятся ссылками на площадки с удобной структурой и лёгкой навигацией, чем на те, в архитектуре которых сложно разобраться. В результате движения по ссылкам ранее проиндексированные страницы боты в Яндексе проходят повторно, в базе появляется новая информация, необходимая ПС как ответ на пользовательские запросы.

Внутренняя перелинковка

Внутренняя перелинковка повышает эффективность интернет-маркетинга. Благодаря таким ссылкам посетители, заглянувшие на коммерческую площадку за товаром или услугой, находят интересную информацию и сопутствующие предложения, дольше остаются на сайте, больше покупают. В итоге улучшаются поведенческие факторы, а индексация Яндекса это учитывает как положительный момент.

Также анкоры внутри ресурса повышают релевантность опубликованных ранее материалов, ведь работа краулеров упрощается — ссылками указаны маршруты для них. За счёт этого поднимаются позиции площадки в ПС.

Наконец, посредством внутренней перелинковки можно выделить приоритетные страницы и ускорить индексацию всего сайта в Яндексе.

В новых статьях уместны органично вписанные ссылки на прежние материалы, которые логично связаны с подаваемой информацией. Можно обновлять и старые тексты ссылками на свежие публикации. Причём использование таких адресов для перехода оправдано лишь на инфостраницах, а вот коммерческие разделы для этого не подходят. Наоборот, лучше ставить ссылки на них, чтобы направлять поток потенциальных потребителей вашего продукта туда, где можно его купить.

Как проверить, индексируется ли сайт

Как проиндексировать сайт, так и получить данные о выполненной проверке в Яндексе можно бесплатно. Существует минимум три простых способа такого контроля.

1. Поисковый оператор Site. Через запрос вы быстро узнаёте примерное число проиндексированных страниц и разделов. Site выполняет поиск по всем страницам и поддоменам.
2. Бесплатные сервисы проверки определяют количество проиндексированных страниц. К таким инструментам относятся, например, SEOGadget (одновременно проверяет до 30 проектов) и браузерное расширение RDS (утилита профессионального уровня, предлагает линейку полезных опций для контроля показателей сайтов).
3. Панель Яндекс.Вебмастер — через неё удаётся оперативно узнать, что на площадке нет проиндексированных страниц, увидеть статистику сканирования и выявленные роботами ошибки.

Выясняя через Вебмастер, прошёл ли ваш ресурс индексацию Яндекса и что она дала, легко узнать о существующих проблемах (это возможные, критичные и фатальные ошибки). В результате диагностики сервис показывает угрозы всех типов и формирует рекомендации по их устранению. Снижается риск проблем, способных привести к санкциям со стороны ПС.

Чтобы узнать, насколько полно индексирован сайт в Яндексе, можно задействовать и специальные платные программы. Тем более стоимость таких софтов почти символическая, а польза явная. Глубокий анализ выполненного ботами сканирования дают, например, ComparseR, Topvisor, Serpstat.

Скорость индексации

Точно предугадать, как быстро сервис Яндекс проиндексирует ваш ресурс, невозможно. Процесс занимает 1–4 недели. Конкретный период определяется многими параметрами.

В основном то, как быстро поисковик Яндекс индексирует появившийся на старой площадке раздел или новый сайт, обуславливается:

Далее рассмотрим, как поступать, чтобы система быстрее проиндексировала сайт в Яндексе.

Как контролировать и улучшить индексацию сайта

Здесь существенны два момента — необходимо организовать принудительное индексирование важного контента и вовремя остановить поискового робота Яндекса.

Если хотите ускорить сканирование разделов, которые актуальны для решения ваших коммерческих или иных задач, не остаётся ничего другого, как заставить Яндекс проиндексировать сайт в первую очередь именно на нужных страницах.

Далее кратко о популярных эффективных элементах управления.

Заполните файл robots.txt

Перед тем как запросить индексирование у сервиса Яндекс, оформите robots.txt. Это простой способ указать ботам правила сканирования страниц и разделов, которые нужно и нельзя анализировать. Файл создаётся в текстовом формате, устанавливается в корневую папку. Проверить корректность оформления самого robots.txt поможет сервис Вебмастер через раздел «Анализ robots.txt».

Создайте карту своих владений — Sitemap.xml

Это второй ответ на вопрос, как помочь Яндексу быстрее проиндексировать сайт. Адрес карты площадки следует указать в файле robots.txt — так краулер скорее доберётся до Sitemap.xml, узнает, какие страницы есть на площадке, и раньше приступит к их сканированию.

Не допускайте краулера к тайнам

Вы вряд ли представляете, как часто всеобщим достоянием становится «изнанка» веб-площадок, и такое происходит при индексации разнотипных сайтов в Яндексе из-за невнимания и небрежности владельцев интернет-ресурсов. Чтобы с вами не случилась подобная неприятность, воспользуйтесь директивой disallow в robots.txt — пропишите для ботов запреты на доступ:

В результате краулер посетит только разделы, куда вы ему разрешили заходить, и внесёт их в базу для выдачи по запросам. Контролируйте наличие запретов систематически, а не только перед тем как нужно будет проиндексировать новую страницу сайта в Яндексе. К сожалению, панацеи от технических сбоев пока не существует.

Применяйте дополнительные способы улучшения индексации

Чтобы повысить позиции своего проекта, не обязательно знать, как часто Яндекс индексирует сайты и какими способами. А вот постоянно привлекать внимание роботов необходимо.

Пользуйтесь услугами ping-сервисов и RSS-каналов

Первые отслеживают изменения на интернет-ресурсах, вторые контролируют обновление новостных лент. Как примеры ping-сервисов можно назвать New Relic, NodePing и Pingdom, RSS-агрегаторов — FreedDemon, Feedly, Pocket.

Чтобы ping-сервис оповестил Яндекс об изменениях на сайте, вы посылаете сигнал (пингуете). Утилита передаёт пакет данных в поисковик, а уже он направляет на вашу площадку ботов для сканирования обновлений.

Пингование полезно лишь в умеренном объёме. Пользуйтесь этим инструментом, только если на сайте произошли действительно серьёзные изменения, и взаимодействуйте с небольшим количеством ping-сервисов (5–7 достаточно).

Создав RSS-ленту своего сайта и внеся её в специальный агрегатор, вы получаете базу для оперативного распространения информации. В ленте можно динамично отражать любые изменения: появление новостных заметок, свежих статей и видеороликов, пополнение товарных разделов и прочее. А поисковики постоянно сканируют RSS-каналы. Так лента, зарегистрированная в агрегаторе, помогает быстро сообщать ПС о том, что на сайте произошли изменения и пора направлять туда краулера.

Публикуйте посты в соцсетях

Старайтесь шире информировать аудиторию о себе и своём продукте. Для продвижения сайта в Рунете наиболее целесообразно расставлять ссылки на страничках социальных сетей «ВКонтакте» и «Одноклассники». Существенно повышают скорость индексации ссылки из Twitter.

Ни один коммерческий проект сейчас немыслим без собственных аккаунтов в социальных сетях. И такой инструмент не должен быть «мёртвым грузом», его задача — непрестанное общение с целевой аудиторией. Пополняя контент сайта, обязательно сообщайте об этом в тематической группе. Если эффектно анонсировать свежую публикацию или новый продукт, люди обязательно пойдут хотя бы посмотреть на новинку, а там, возможно, и решение о покупке примут.

Кроме того, количество репостов влияет на ранжирование. Чем больше вторичных публикаций со ссылкой на источник, тем лучше будут его позиции. Хорошо, если у вас есть возможность «раздать» ссылки — разместить, например, в аккаунтах подписчиков группы или в сообществах партнёров.

Размещайте информацию о сайте, бизнесе и услугах в авторитетных справочниках и каталогах

Чем чаще упоминания, тем выше интерес к вам. Примеры полезных площадок: Яндекс.Услуги (каталог услуг), Справочник 2GIS, Яндекс.Справочник.

Здесь непроизвольно напрашивается фраза «Не все каталоги одинаково полезны». Информацию о сайте стоит публиковать только в так называемых белых каталогах — значимых для пользователей, хорошо структурированных. Благодаря им вы сможете продвигать проект по большему количеству ключевых запросов.

Ссылки должны появляться не все разом, а постепенно. Только так ссылочная масса принесёт действительную пользу для ранжирования ресурса.

Позаботьтесь о мгновенном отклике своего сервера

Скорость его работы влияет не только на быстроту попадания страницы в индекс, но и на специфику сканирования.

Когда поисковый бот обращается на сервер, тот должен выдать код 200 при существующей странице либо код 404, когда адрес неверный или страница удалена. Время отклика должно составлять не более трёх секунд. Если ваш сервер «думает» дольше, краулер сочтёт его слишком медлительным, что будет минусом для SEO-ранжирования. Поэтому для индексирования сайта важно периодически контролировать скорость действий сервера, применяя специальный инструмент Вебмастера Яндекса.

Проверяйте, нет ли у вас страниц-дублей, и избавляйтесь от них

Поможет robots.txt, указание канонических страниц и перенаправление пользователей посредством 301 редиректа.

С точки зрения ПС, страницы-дубли с идентичным или чрезвычайно схожим контентом снижают качество сайта. Они могут стать причиной серьёзных проблем и необоснованных расходов. Допустим, на площадке есть две похожие страницы с почти одинаковыми адресами и вы вкладываете средства в продвижение одной из них. Всё идёт отлично, страница просканирована ботами и попала в топ. Но вдруг краулер добавляет вместо неё в базу дубль с более слабыми показателями ранжирования, в результате трафик падает.

Избавляясь от дублей, вебмастер тратит время, но это необходимо, чтобы устранить существенные риски.

Предусмотрите серьёзную техническую и правовую защиту проекта

Это нужно, чтобы исключить копирование вашего уникального контента. Недобросовестные люди могут использовать похищенную информацию для ускорения сканирования своего ресурса.

Абсолютной защиты не существует. Но создать проблемы любителям поживиться чужим контентом несложно.

Способ защиты	Как действует
Примеры технических инструментов (применяет разработчик)
Настройка запрещающего кода	Не позволяет прямое копирование текста со страницы
JavaScript-код	Отключает контекстное меню, выпадающее по клику правой кнопкой мыши
Вотермарк, подтверждающий авторство	Защищает фото и картинки. Особенно эффективен, если занимает довольно большой участок изображения
Примеры правовых инструментов
Указание авторства	Подтверждает, что тексты и иной контент сайта является интеллектуальной собственностью определённой компании или человека
Кросспостинг	Одновременная отправка ссылки на статью в разные ресурсы: блог, группы в соцсетях, мессенджеры, на e-mail партнёрам и подписчикам
Предварительное (до публикации) добавление статьи в панель Вебмастера	Выполняется посредством инструмента «Оригинальные тексты». Благодаря этому ПС автоматически засчитает авторство за вашей площадкой

Если обнаружили свой материал на других ресурсах, не стесняйтесь потребовать, чтобы они удалили «позаимствованный» контент или проставили ссылки на ваш сайт. А на несговорчивых жалуйтесь в Яндекс или пригрозите им судом.

Помните: чем больше рациональных способов для улучшения позиций проекта задействовано, тем раньше вы достигнете желаемого эффекта.

Вся соль

1. Индексация сайта — обязательное условие его участия в ранжировании поисковой системы по пользовательским запросам.
2. Если хотите, чтобы поисковые боты быстрее добрались до вашей площадки и продуктивнее там работали, учтите, что ускорению способствуют:
   • — размещение ссылок на сторонних площадках;
   • — качественный контент — полезный, уникальный;
   • — систематическое обновление текстов и визуального ряда;
   • — расширение ссылочной базы с площадок в Рунете;
   • — использование жирных ссылок (с авторитетных ресурсов);
   • — продуманная структура и удобная навигация площадки;
   • — перелинковка между инфо- и коммерческими страницами.
3. Существенную пользу от краулер-сканирования вы получите, только приложив усилия со своей стороны. Поэтому заранее проделайте важную работу
   • — заполните файл robots.txt;
     
   • — создайте Sitemap.xml и внесите её адрес в robots.txt.
4. Чтобы выяснить, просканирован ли сайт, существует три способа:
   • — поисковый оператор Site,
   • — бесплатные сервисы проверки,
   • — панель Яндекс.Вебмастер.
     
     
   Можете пользоваться этими методами комплексно или выбрать наиболее удобный вам.
5. Обзор материалов показал, как часто поисковые роботы Яндекса индексируют сайты медленнее, чем рассчитывают владельцы коммерческих проектов. Максимального эффекта в ускорении индексирования удаётся достичь, когда задействованы не только все основные, но и дополнительные инструменты:
   • — ping-сервисы и RSS-каналы;
   • — соцсети и сторонние площадки;
   • — тематические каталоги;
   • — технические ресурсы.
6. Позаботьтесь о защите проекта и не забудьте, что опасности грозят ему с разных сторон Необходима круговая оборона — техническая и правовая.
7. Если у вас нет ни времени на эту работу, ни способных её выполнить сотрудников, делегируйте подрядчику.