Почему Google не индексирует сайт
Зачастую пользователи, озадаченные отсутствием сайта в поисковой выдаче, просто слишком рано запрашивают данные об индексации. Поэтому, прежде чем начинать беспокоиться, нужно узнать, действительно ли есть проблема — выяснить, почему поисковая система Google не индексирует ваш сайт.
Как найти проблемы с индексацией?
Основные помощники в борьбе с проблемами индексирования — это стандартные сервисы и инструменты от Google. В первую очередь сюда относятся незаменимые Search Console и Analytics.
Именно с их помощью вы сможете проанализировать сайт, настроить его и выявить имеющиеся проблемы.
Например, чтобы выяснить, почему поисковик Google плохо индексирует либо вообще не индексирует сайт, можно воспользоваться инструментом «Покрытие» из Search Console и получить:
постраничный отчёт об ошибках;
закрытые от индексации страницы;
страницы, закрытые в robots.txt, но попавшие в индекс;
другую актуальную информацию.
Обо всём, чем вызывается плохое индексирование в Google, давайте разбираться по порядку.
Google не индексирует весь сайт
Первое, что надо проверить, — это наличие сайта в индексе. Если отсутствует, то и найти его в поисковой выдаче будет невозможно.
Пожалуй, самый простой способ проверить, представлен ли сайт в индексе Google, — выполнить поиск с использованием поискового оператора site:ваш_домен.
Релевантные запросу результаты означают, что запрашиваемый сайт находится в индексе Google, а значит, одну из проблем можно смело исключить.
На вашем сайте стоит запрет на индексирование
Поисковые роботы Google работают день и ночь, собирая информацию по сотням миллиардов страниц и пополняя индекс системы. Посещая ваш сайт, боты стараются просканировать как можно большее число страниц за визит, чтобы не создавать лишнюю нагрузку на сервер. И вы поможете им, если заранее позаботитесь о том контенте, который необходимо скрыть от индексирования.
Как понять, какой контент вам нужно спрятать от Googlebot?
- Если сайт содержит много URL и дублей информации, алгоритмы Google могут счесть это спамом, в результате заметно просядут ваши позиции в выдаче.
- Если на вашем сайте размещены конфиденциальные данные, их нужно сохранить в тайне, чтобы сведения не попали в результаты поиска.
- Если у вас есть второстепенный контент, который отвлекает от важных материалов, его нужно скрыть.
Блокируя доступ робота к таким страницам, вы поможете ускорить индексирование сайта и сконцентрировать внимание поисковика на по-настоящему полезной информации. Для этого, к счастью, есть удобные инструменты, с которыми мы и познакомимся.
Robots.txt
С помощью данного текстового файла можно управлять доступностью контента и прописывать правила для поисковых систем. Запрет на индексирование выглядит так:
User-Agent: Googlebot
Disallow: /
Если вы увидите такую «мантию-невидимку» в файле, то станет ясно, почему Google не может вас найти, соответственно, и плохо индексирует ресурс. Чтобы решить эту проблему, достаточно удалить инструкцию «Disallow: /».
Чаще всего данной директивой закрываются служебные файлы, админ-панель, личный кабинет пользователя, дублированные страницы и контент, не нуждающийся в продвижении.
Метатег robots со значением noindex
Данный мета помогает задавать детальные настройки и более гибко управлять индексацией. Он позволяет закрыть определённую страницу и весь контент на ней от индексации поисковой системой. Размещать тег следует в разделе <head>.
Конструкция такова:
<meta name="robots" content="noindex">
Сайт удалён из индекса Google
Возможно забанивание сайта из-за незаконного контента, несоответствия рекомендациям по улучшению качества или других причин (допустим, он мешает пользователям находить релевантную информацию). Обычно основания для блокировки, которыми руководствуется Google, не раскрываются.
Но если сайт удаляется из индекса в связи с нарушением рекомендаций, то вы получите соответствующее уведомление в аккаунте Search Console. И эта проблема поддаётся решению. В первую очередь ознакомьтесь с рекомендациями по ведению сайта от Google здесь: https://support.google.com/webmasters/topic/6001981/?hl=ru. После чего проработайте контент в соответствии с требованиями. И тогда можно будет подать заявку на повторную проверку.
Google не успел проиндексировать ваш сайт
Возможно, проблема отсутствия индексации лишь в том, что вы поторопились с проверкой. Как только вы создали сайт или новую страницу, не спешите сразу же запрашивать её индексирование. Данный процесс требует времени, может занять не один день.
Но бездействовать и ждать изменений неделями также не стоит. Задача — ускорить индексацию Google.
Как ускорить индексацию всего сайта
Если хотите, чтобы сайт быстрее стал доступен в поисковой выдаче, нужно выполнить описанные далее действия.
Добавить сайт в Google Search Console
Это позволит ускорить индексацию и вывести ресурс на высокие позиции в результатах поиска.
Шаг 1. Откройте главную страницу сервиса: https://search.google.com/search-console/welcome. Выберите тип ресурса.
Если у вашего сайта есть поддомены, то лучше выбирайте доменный ресурс, поскольку так данные по всем поддоменам будут находиться в одном месте и всегда будут доступны вам, что очень удобно.
Шаг 2. Подтвердите права собственности на ресурс, выбрав вариант действий из предложенных.
Размещение HTML-файла на сервере. Способ предполагает переход в , где вы и найдёте этот файл.
Каждый проверочный файл связан с конкретным пользователем. Его загрузка никак не влияет на функционирование ресурса.
HTML-тег. Вы также можете добавить специальный метатег от Google в HTML-код определённой страницы проверяемого сайта.
Провайдер доменных имён. Этот способ предполагает запись DNS в системе регистратора доменных имён.
Каждая такая запись закрепляет определённый домен за одним пользователем.
При помощи Google Analytics. Если вы следите за трафиком через Google Analytics, то подтвердить права на сайт сможете, воспользовавшись кодом отслеживания.
При помощи Google Tag Manager. Воспользуйтесь вашим аккаунтом и подтвердите право посредством кода фрагмента-контейнера Google Tag Manager.
Google Domains. Зарегистрированные ресурсы подтверждаются автоматически, как только добавлены в Search Console.
Шаг 3. Дождитесь подтверждения. Первые данные о вашем ресурсе появятся спустя несколько дней.
Создать карту сайта — sitemap.xml
Она поможет системе Google, не затягивая время, индексировать ресурс, а посетителям — легко находить интересующие страницы и информацию. Google быстрее узнает о вашей sitemap, если ссылка на неё добавлена в инструменты Search Console либо в файл robots.txt.
Внесение карты в Search Console осуществляется через панель Sitemaps, где можно внести актуальные данные.
А файл robots.txt должен выглядеть так:
User-agent: *
Disallow: /page
Sitemap: https://www.example.com/sitemap.xmlТо есть в конце необходимо добавить фразу «Sitemap: адрес сайта/sitemap.xml» и сохранить файл.
Грамотно настроить навигацию на сайте
Структура ресурса должна быть понятна и поисковым ботам, и пользователям. Рекомендуется:
следить за уровнем вложенности страниц, не допуская, чтобы любая страница оказывалась дальше, чем в трёх кликах от главной;
выводить ссылки с обновлённым контентом и анонсы на главную, поскольку так гораздо выше вероятность, что робот их проиндексирует;
не создавать меню на скриптах и flash, поскольку поисковые роботы их не видят, лучше отдать предпочтение комбинированным спискам в HTML/CSS.
Индексацию это ускорит.
Правильно настроить файл robots.txt
Некорректная настройка способна привести к неверной индексации, что негативно повлияет на ранжирование. Чтобы этого не случилось:
создайте записи, определяющие для каких бот-систем будут прописаны правила (прописывайте через «User-agent: *», «User-agent: Google» и пр.);
определите, что следует закрыть (страницы с get-параметрами, системные файлы и пр.), а что оставить в доступе (страницы пагинации и др.);
посредством Disallow и Allow пропишите правила для индексации каждого User-agent (индексацию Disallow запрещает, Allow разрешает);
выясните, позволяет ли robots.txt сканировать Googlebot определённые URL на проверяемом ресурсе https://www.google.com/webmasters/tools/robots-testing-tool.
Это основные правила настройки robots.txt.
Проверить наличие ссылок из соцсетей
Напрямую ссылки из социальных сетей не влияют на позицию сайта в выдаче, но их наличие положительно отражается на индексации и продвижении. Google обращает внимание на то, что особенно популярно в сетях, поэтому смело используйте Twitter, Facebook, Instagram, Youtube. Однако обязательно следите за тем, чтобы ссылки были прямыми.
Google не индексирует некоторые страницы
Иногда возникает проблема — сайт включён в индекс, но некоторые его страницы не появляются в поисковой выдаче.
В таком случае стоит проверить индексацию отдельных страниц с помощью инструментов из Google Search Console раздела «Покрытие».
Занесённые в индекс страницы можно найти в пункте «Страница без ошибок». В блоке «Ошибка» вы сможете ознакомиться со страницами, из-за которых сайт теряет посетителей. Во вкладке «Исключено» представлены страницы, которые уже просканированы, но не добавлены в индекс.
Выясняя, почему Google не индексирует страницы сайта, обращайте внимание на их статус в пункте «Сведения». Иногда можно увидеть сообщение: «Страница проиндексирована, но её нет в файле Sitemap». Явный показатель, что поисковик располагает данными о странице, однако финальная обработка ещё не завершена.
Здесь же можно получить сведения о страницах с ошибкой 404. Они недоступны и могут негативно отразиться на ранжировании сайта в целом.
Теперь давайте разберём подробнее, почему система Google не индексирует отдельные страницы и что в этих ситуациях заслуживает особого внимания.
Тег robots со значением noindex
Данный метатег запрещает показывать в поисковой выдаче страницу, где он проставлен. Можно его найти в разделе <head>. Зайдя туда, вы увидите:
<head>
<meta name="googlebot" content="noindex" />
…
</head>
Для решения проблемы просто удалите строку кода.
Страница или раздел закрыт в robots.txt
Иногда незначительные ошибки в наполнении данного файла могут привести к закрытию целых разделов от индексации. Поэтому, если вы наблюдаете проблему индексации каких-то страниц, сразу проверьте robots.txt. С этой целью откройте https://www.google.com/webmasters/tools/robots-testing-tool и проведите анализ. Данный инструмент обработает файл аналогично действиям Googlebot.
Порядок ваших действий:
- выберите свой сайт в Google Search Console, перейдите к инструменту;
- изучите файл на наличие ошибок (система их выделит);
- внизу страницы в соответствующем окне укажите интересующий вас URL;
- выберите относящегося к Google поискового бота, начните проверку.
В результате вы получите вывод о сайте — доступен/недоступен. Соответственно, если «Недоступен», боты Google не могут перейти по указанному адресу, и вам необходимо скорректировать содержимое robots.txt.
Некорректно прописан тег canonical
Данный тег является фрагментом кода HTML, указывает, какая из страниц с похожим содержанием является каноничной, то есть основной, а какая лишь её дублем. Благодаря этому тегу вы сможете задать главную страницу, которая и будет индексироваться. Это положительно скажется при ранжировании по релевантным пользовательским запросам.
Тег canonical размещается в коде страницы в секции <head> и выглядит так:
<link rel=“canonical” href=“https://example.com/sample-page/” />link rel=“canonical”: ссылка в данном теге — это главная страница.
href=“https://example.com/sample-page/” />: дублированная версия основной страницы, которую можно найти по этому адресу.
Некачественный контент
Качество контента едва ли не самый приоритетный пункт, на который стоит обратить внимание. Наполнение должно быть уникальным в рамках как сайта, так и всего индекса.
Компания Google представила подробное руководство для асессоров, где вы сможете найти стандарты качества, которым нужно следовать. Один из главных критериев называется Expertise, Authoritativeness and Trustworthiness (или кратко E-A-T).
По рекомендациям из руководства понятно, что для высокого рейтинга сайта контент на нём должен быть полезен пользователям. Дезинформирующие ресурсы несут вред и будут получать только самые низкие оценки.
Статьи по узким и сложным тематикам, требующие экспертного мнения (медицина, наука, детское образование и т. д.), должны быть написаны специалистами, разбирающимися в данных областях, то есть теми, кому пользователи могут доверять. Информацию об авторе также стоит выносить отдельным блоком, где нужно указывать имя, профессиональные достижения, образование, иными словами — подчеркнуть экспертность и надёжность информации.
Однако компания указывает, что есть тематики, по которым не обязательно иметь профильное образование. Вполне достаточно уметь с пользой делиться своими знаниями (отзывы, обзоры и т. д.).
С полным руководством на русском языке можно ознакомиться здесь: https://ant-team.ru/public/GoogleAnt-Team.ru.v2.pdf
Так что, если вы заметили, что некоторые страницы выпадают из индекса Google, нужно проверить качество контента и его соответствие рекомендациям.
Статический вес страниц
Говоря о статическом весе страницы, подразумевают параметр, от которого зависит уровень её авторитетности и позиция в поисковой выдаче. Это своеобразный рейтинг, формирующийся благодаря ссылочным рекомендациям как извне, так и в рамках самого ресурса. Соответственно, лучше добиваться высоких значений.
Как правило, главная страница и её основные разделы имеют самый высокий вес, ведь обычно именно туда ведет большинство внутренних перелинковок.
Статический вес передаётся через различные внутренние ссылки: по пунктам меню, из контекста страниц и другие. Нередко для продвижения используются так называемые сквозные ссылки, которые помещают в меню, сайдбары и «подвал». Их будет видно на всех страницах ресурса.
Параметр статистического веса до сих пор влияет на индексирование страниц. Нередко случается, что владелец молодого сайта, желая выйти в топовые позиции, закупает много ссылок и попадает под фильтры. Активный прирост ссылочной массы у нового ресурса — неестественное явление, с точки зрения Google. Поэтому позиции могут резко просесть. Связывать это следует с фильтром от Google, под который можно попасть из-за ссылочного спама или ссылочного взрыва. Следует осторожно использовать данный метод продвижения.
Как ускорить индексацию отдельных страниц сайта
Далее разберём ряд способов, которые помогают ускорить индексацию отдельных страниц веб-площадки.
Запрашивать индексацию новых страниц в Google Search Console
Итак, вы создали новую страницу, хотите как можно скорее добавить её в индекс Google. В этом поможет Google Search Console и удобный инструмент «Проверка URL». Введите адрес интересующей вас страницы и отправьте её на проверку. Если результат положителен (увидите надпись о том, что URL доступен Google), то вы сможете отправить запрос на индексирование.
Нередко страницы попадают в поисковую выдачу практически моментально.
Проверить и нормализовать статический вес
Следующий способ заключается в проверке ссылочного веса определённой страницы. Общую картину можно составить с помощью стандартных инструментов от Google Search Console или через бесплатный сервис Linkpad (https://www.linkpad.ru/).
Для более глубокого анализа воспользуйтесь платными сервисами: Ahrefs, Serpstat.
Если вы найдёте страницы с низким весом, есть вероятность несколько подправить их позиции, перераспределив вес с других страниц. Также благодаря анализу вы поймёте, от каких ссылок есть польза, а от каких лучше избавиться.
Добавить адрес в sitemap.xml
Благодаря файлу sitemap поисковые системы более точно индексируют страницы. Но его наличие не гарантирует, что все страницы сайта будут просканированы и индексированы. То есть данное средство в большинстве случаев помогает оптимизировать эти процессы, но является лишь вспомогательным, чтобы упростить работу ботов.
Для проверки sitemap на наличие ошибок используйте потенциал сервиса Google Search Console, в частности:
инструмент проверки URL;
отчёт о файлах sitemap.
По итогам анализа вы получите сведения об отсутствующих в sitemap страницах. После этого просто проверьте файл — убедитесь, что там указаны нужные URL, либо исправьте при необходимости.
Оптимизировать скорость загрузки страницы
В мае 2020 года Google запустил важное обновление. Появился фактор ранжирования Core Web Vitals, который определяет основные интернет-показатели скорости загрузки. Похожий алгоритм существовал и ранее, но теперь процесс усовершенствован.
Ускоренный анализ информации влияет непосредственно на индексацию. И, кроме того, на поведенческие факторы пользователей, действия которых являются важным сигналом для поисковых алгоритмов Google.
Если пользователи сталкиваются с фактором, препятствующим быстрой загрузке, Core Web Vitals не оставит это незамеченным, будет систематически опускать сайт в поисковой выдаче.
Значит, выясняя, почему ресурс не проиндексирован в Google, самое время изучить показатели скорости загрузки. Сделать это можно как с помощью инструментов Search Console, просмотрев результаты в отчёте по скоростным показателям, так и используя сторонние сервисы, такие как Page Speed Insights. Он сымитирует загрузку страницы, контролируя её уровень производительности, выполнит диагностику и даст советы по оптимизации.
Проверить оптимизацию под мобильные устройства
Поскольку в 2018 году Google запустил mobile-first-индексирование, ранжирование сайтов изменилось. Теперь для индексации Google задействует мобильную версию страницы, а преимущество в ранжировании отдаёт сайтам, оптимизированным под мобильные устройства. Ваш ресурс и всё его содержимое должны корректно отображаться в мобильной версии и соответствовать десктопной.
Следовательно, если вы имеете проблемы с индексацией всего сайта либо отдельных его страниц, проверьте оптимизацию ресурса через данный сервис https://search.google.com/test/mobile-friendly?hl=ru
Отсюда вытекает следующий пункт.
Проверить, индексируются ли все ресурсы
Немаловажно и дополнительно проверить, индексируется ли мультимедийный контент, находящийся на вашем ресурсе (изображения, CSS-стили, IS-скрипты). Разрешение на их индексацию поможет роботам Google максимально точно проанализировать сайт и его содержимое. А это значит, что страницы и все элементы будут лучше проиндексированы, и вы займёте высокие позиции в выдаче.
Проверка осуществляется на том же ресурсе https://search.google.com/test/mobile-friendly?hl=ru
Если в списке заблокированы только адреса внешних доменов (не проверяемых, а других), то чаще всего правок не требуется.
Если же вы увидите адреса проверяемого домена, то потребуется открыть их для индексации.
Вся соль
Для корректного отображения страниц сайта в выдаче поисковая система Google должна их проиндексировать. Если вам кажется, что ресурс не индексируется, значит, пришло время проверить его техническую составляющую и исправить имеющиеся ошибки.
Google может не индексировать как весь сайт, так и отдельные страницы.
Если система игнорирует сайт целиком, причины этому могут быть следующие:
- Сайт не представлен в индексе (проверка через site:ваш_домен).
- Сайт закрыт от индексации в файле robots.txt.
- В метатеге robots прописано значение noindex на всех страницах.
- Ресурс удалён из индекса Google за нарушение правил по ведению.
- Сайт новый, система не успела проиндексировать его.
- Вы слишком поторопились с запросом индексирования.
Для решения проблемы добавьте свой ресурс в Google Search Console, сформируйте карту сайта, проставьте прямые ссылки из социальных сетей, а также грамотно настройте навигацию и файл robots.txt.
Отсутствие индексации лишь на некоторых страницах может говорить:
- Об ошибках в заполнении файла robots.txt. Исправьте ошибки, пользуясь соответствующим стандартным инструментом проверки от Google.
- О наличии тега noindex, запрещающего показ страницы. Откройте для проверки Google Search Console->Покрытие, где представлена информация об ошибках.
- Об ошибках в теге canonical. Если на странице указан канонический адрес, отличающийся от URL, в индекс она не попадёт.
- О несоответствии размещённого контента стандартам качества. Компания Google отдаёт приоритет полезному и качественному наполнению сайтов.
- Об отсутствии оптимизации под мобильные устройства. Приоритет у тех, кто корректно визуализирует контент мобильной/компьютерной версии.
- О том, что не весь мультимедийный контент на странице индексируется. Разрешение на индексацию поможет сайту занять высокие позиции в выдаче.
Ещё одним вспомогательным средством ускорения индексации страницы считается её добавление в sitemap.xml, что помогает поисковым роботам искать и анализировать информацию.
Для ускорения индексации новых страниц подходит инструмент «Проверка URL» в сервисе Google Search Console — добавьте вручную интересующий вас адрес. Данный способ помогает практически моментально отправить страницу в поисковую выдачу.