Зачем нужен файл sitemap.xml и как его создать
Для качественного продвижения сайта необходимо, чтобы поисковые системы вовремя узнавали об изменениях в контенте и появлении новых страниц. Если ресурс небольшой (10–20 страниц), можно сообщать об новшествах вручную через консоли поисковых систем. Если чуть больше, это уже сложнее, но реализуемо — с помощью перелинковки и html-карты. А если страниц несколько сотен или тысяч? Тут придёт на помощь файл sitemap.xml.
Зачем нужен sitemap.xml
Файл sitemap в формате xml содержит ссылки на страницы сайта, а также дополнительную информацию для поискового робота.
Не стоит путать карту сайта в формате HTML и sitemap.xml. Первая создаётся в большинстве случаев для людей, вторая — для роботов.
В структуре файла применяется формат разметки XML, который, как и HTML, использует теги. Тег <url> является контейнером, в него помещена вся информация, касающаяся конкретной страницы. Обязателен и тег <loc>, содержащий адрес страницы.
В качестве дополнительной информации могут выступать:
тег <lastmod> — дата последнего изменения страницы;
тег <changefreq> — частота обновления страницы (периодичность изменений содержимого);
тег <priority> — приоритет страницы (насколько она важнее остальных).
Посредством sitemap.xml можно сообщить роботу ПС об изображениях и видеофайлах, расположенных на ресурсе, что улучшит ранжирование в поиске картинок и видео.
Чем подробнее составлен файл, тем больше информации получит из него робот-краулер, быстрее проиндексирует элементы и добавит в поиск. А значит, потенциальные клиенты увидят самые актуальные сведения.
Как найти sitemap.xml
Как правило, файл располагают в корне сайта, поэтому самый первый и простой способ проверить, есть ли он вообще — набрать в адресной строке:
https://site.ru/sitemap.xml
В этой фразе site.ru нужно заменить вашим доменом.
Если по набранному адресу открылся файл в формате xml или список таких файлов, значит, вы на верном пути!
Но не всегда файл называется именно sitemap.xml, в принципе, он может носить любое название, главное, чтобы он был верно размечен. Но тогда поиск его затрудняется.
Чтобы найти сайтмап, можно заглянуть в файл Robots.txt, там адрес карты может быть уже прописан.
Также, если у вас установлена CMS для сайта и используется инструмент генерации карты, можно посмотреть в его настройках — как правило, там указывается путь или имя сгенерированного файла.
Если вы уже успели подключить консоли поисковых систем (как минимум несколько дней должно пройти с момента подтверждения прав, чтобы информация обновилась), то можно посмотреть адрес карты сайта там, если, конечно, она есть на ресурсе и краулер её нашёл.
И ещё вариант — поискать в файлах сайта. Для этого понадобится зайти в файловый менеджер вашего хостинга и перейти в папку нужного ресурса, посмотреть, есть ли там документы, напоминающие искомый. Не забывайте, что конфигурация сайта может быть довольно сложной, поэтому там могут быть файлы формата xml, не являющиеся картой.
Примеры файла sitemap.xml
Пример правильного файла sitemap.xml для трёх страниц:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://site.ru/</loc>
<lastmod>2023-02-22T10:14:13+04:00</lastmod>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://site.ru/category/</loc>
<lastmod>2023-02-22T10:17:09+04:00</lastmod>
<changefreq>hourly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://site.ru/page/</loc>
<lastmod>2023-02-22T10:19:37+04:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.6</priority>
</url>
</urlset>
Пример файла sitemap.xml для трёх изображений, размещённых на двух страницах:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://site.ru/page/</loc>
<image:image>
<image:loc>https://site.ru/image1.jpg</image:loc>
</image:image>
<image:image>
<image:loc>https://site.ru/image2.png</image:loc>
</image:image>
</url>
<url>
<loc>https://site.ru/page2/</loc>
<image:image>
<image:loc>https://site.ru/image3.jpg</image:loc>
</image:image>
</url>
</urlset>
Здесь не только указана страница, на которой расположено изображение, но и его прямой адрес с помощью тега <image:loc> в контейнере <image:image>.
Пример файла sitemap.xml для одной страницы с видео:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<url>
<loc>https://site.ru/page/</loc>
<video:video> <video:thumbnail_loc>https://site.ru/thumbs/123.jpg</video:thumbnail_loc>
<video:title>How much is the fish?</video:title>
<video:description>Music video for the song by German group Scooter</video:description>
<video:content_loc>
http://site.ru/video123.mp4</video:content_loc>
<video:player_loc>https://site.ru/videoplayer.php?video=123</video:player_loc>
</video:video>
</url>
</urlset>
Здесь в контейнере <video:video> размещены обязательные теги:
video:thumbnail_loc — адрес файла-обложки для видео;
video:title — название видео;
video:description — описание видео;
video:content_loc — адрес расположения видеофайла;
video:player_loc — адрес проигрывателя для этого видео;
Google рекомендует указывать один из тегов: либо video:content_loc, либо video:player_loc. Причём первый наиболее желателен.
Кроме вышеперечисленных тегов есть ещё несколько необязательных, с которыми можно ознакомиться в Справке Google.
Не спешите пугаться нагромождения тегов! Файл типа sitemap в формате xml не придётся составлять вручную — есть сервисы и плагины. Рассмотрим их ниже.
Тарасенко
Получите профессиональный бесплатный SEO-аудит вашего сайта. Оставьте заявку и мы обсудим детали.
Получить бесплатный SEO-аудитКак сделать Sitemap.xml
Файл можно создать тремя способами — при помощи:
программы для ПК;
онлайн-сервиса;
плагина для CMS сайта.
Создание Sitemap.xml с помощью программ
Файл sitemap.xml можно сделать посредством специальных программ, установленных на ПК, например:
Рассмотрим пример использования Sitemap Generator. Это одна из старейших программ такого рода, однако до сих пор популярная, потому что бесплатна и не ограничена по количеству ссылок на сайте.
После установки программы нужно создать новый проект, добавив доменное имя.
В настройках проекта (Project Option) указываем количество потоков сканирования и паузу между обращениями к сайту, исключения и обязательные к добавлению страницы, а также место, с которого следует начинать сканирование (по умолчанию — с главной страницы).
Когда настройка выполнена, нажимаем Run и ожидаем результата. Это займёт продолжительное время, если на ресурсе много страниц.
По окончании сканирования на вкладках отразятся отчёты:
Total page found — сколько найдено страниц.
Excludes URLs — исключённые страницы и по каким причинам.
Issues & Notes — проблемы и примечания, которые возникли в ходе сканирования (отсутствие или дубль канонического URL, например).
Final Sitemap — список страниц, который содержит карта сайта.
Тут же, на вкладке Final Sitemap, можно скачать карту сайта в формате XML, HTML или TXT. Форматы XML и TXT нужны для роботов, а при HTML карту можно использовать для посетителей сайта (если в ней не очень много страниц — вряд ли человек захочет искать нужную позицию в списке из 1000 пунктов).
При всей простоте у программы есть недостаток — она создаёт только карту сайта, не используя дополнительные свойства, которые крайне желательны для поисковиков.
И второй минус, но уже всех программ-генераторов, — это ручное добавление готового файла на сайт, а также последующая его перегенерация и замена.
Создание Sitemap.xml с помощью онлайн-сервисов
Есть масса онлайн-сервисов, предлагающих создать sitemap.xml для сайта. Они различаются набором функций и стоимостью (на некоторых бесплатно можно создавать сайтмапы с ограниченным количеством ссылок). Примеры онлайн-генераторов:
Два первых — это генераторы, способные самостоятельно просканировать сайт и добавить найденные страницы в sitemap.xml. Последний инструмент генерирует карту сайта только из готового списка ссылок.
Рассмотрим правила и порядок действий на примере генератора Mysitemapgenerator.com.
На главной странице сразу предлагается ввести URL сайта и начать генерацию.
После ввода адреса переходим на страницу, где можем более точно настроить будущий файл:
выбрать источник данных (можно не сканировать ресурс, а загрузить список страниц из файла);
параметры сканирования (чтобы не создавать чрезмерную нагрузку на сервер);
параметры обработки ссылок (какие страницы включать в файл);
параметры генерации (какие дополнительные свойства страниц добавлять);
дополнительные файлы (выгрузка списка страниц, модификация robots.txt);
исключения (документы или папки, которые не нужно добавлять, — ручная настройка), а также тонкая настройка конкретных страниц.
Когда настройки сделаны, нажимаем кнопку «Старт», ждём и получаем ссылку на скачивание sitemap.xml.
Важно! Имя файла может отличаться от “sitemap”, в таком случае требуется или переименовать, или добавлять в консоли и robots.txt именно это название.
После оформления файла остаётся добавить его на сайт и сообщить поисковым системам о его наличии.
Онлайн-генераторы полезны, если нужно сгенерировать карту, не прибегая к помощи программ или плагинов, они сами просканируют ресурс и выдадут результат.
Как и у программ-генераторов, у онлайн-сервисов есть существенный недостаток — они подключаются к сайту извне, видят только страницы, на которые есть ссылки на самом ресурсе. Как правило, им недоступна служебная дополнительная информация о страницах (дата последнего изменения, приоритет). Следовательно, какие-то страницы могут быть недоступны для добавления, а дополнительные свойства не всегда будут отражать верную информацию. Или придётся для каждой страницы (группы страниц) прописывать свойства вручную, что может занять много времени.
К тому же готовый документ всё равно придётся заливать на сайт через файловый менеджер или FTP-клиент и обновлять вручную, если количество страниц изменится.
Поэтому желательно взять в работу плагины (модули) для системы администрирования сайта, чтобы создавать актуальную и автообновляемую карту XML.
Создание Sitemap.xml с помощью плагина для CMS
Для популярных систем администрирования сайта (CMS) разработаны модули автоматической генерации sitemap.xml. Они либо уже встроены в систему (как в Битрикс: управление сайтом), либо требуют несложной установки (как в Wordpress или Joomla).
В чем плюсы модуля для CMS?
Модуль работает «изнутри», поэтому найдёт даже те страницы, ссылок на которые нет на ресурсе.
Дополнительные свойства страниц и объектов можно настраивать тут же при их редактировании, а модуль сам соберёт их и правильно сформирует файл.
Файл сразу помещается на сайт, вам остаётся лишь сообщить о нём поисковым системам.
Большинство модулей имеют функционал автообновления — изменения информации в карте сайта при изменениях на самом ресурсе.
Конечно, есть и минусы:
некоторые модули способны добавлять «мусорные» или ненужные страницы;
также и со свойствами — плагины иногда добавляют то, что не требуется.
Поэтому перед генерацией следует хорошо проверить, правильны ли настройки.
Плагины для Bitrix для генерации sitemap.xml:
встроенный «Поисковая оптимизация»;
как часть бизнес-решения от компании «Аспро»;
Smart SEO Sitemap.
Плагины для WordPress:
комплексный Yoast SEO;
комплексный All in One SEO;
XML Sitemap & Google News.
Модули для OpenCart:
встроенный Google Sitemap;
#FX Sitemap;
Sitemap для изображений.
Компоненты для Joomla:
Xmap,
OSMap,
jSitemap.
Плагины и компоненты сделаны и настроены по-разному, но выполняют одну функцию — создание файла sitemap.xml.
Рассмотрим функционал на примере встроенного плагина для CMS Bitrix. Ищите его в разделе «Маркетинг» — «Поисковая оптимизация» — «Настройка sitemap.xml». Здесь можно добавить несколько вариантов XML-карты на различные случаи.
Настройки:
Вкладка «Настройки», где можно указать название настроек, файла XML, а также есть возможность добавления директивы в robots.txt.
Вкладка «Файлы» — более детальный выбор из логической или файловой структуры, какие файлы можно добавить в sitemap,
Вкладка «Инфоблоки», где можно выбрать определённые информационные блоки для добавления, а также указать возможность автогенерации.
После выбора нужных настроек следует их сохранить или сохранить и сразу запустить генерацию с помощью кнопки «Сохранить и запустить».
Как проверить Sitemap.xml
Проверить готовый файл sitemap.xml можно с помощью сервиса от Яндекс.Вебмастера. Инструмент предоставляет три варианта проверки — путём:
добавления готового кода в текстовую область;
загрузки файла с определённого адреса (если документ уже залит на сайт);
загрузки готового файла с ПК.
Когда выбран удобный способ проверки и она запущена, валидатор выдаст результат с перечнем ошибок или уведомление об их отсутствии.
Как добавить Sitemap.xml в консоли поисковых систем
Когда правильный sitemap.xml добавлен на сайт, нужно сообщить поисковым системам.
Первое, что следует сделать, — добавить директиву в robots.txt. Её можно поместить в любой участок файла, т. к. она не привязана к секциям.
Пример robots.txt с директивой Sitemap:
User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml
Важно! Необходимо указывать полный путь к файлу.
Теперь краулеры найдут карту и страницы, указанные в ней. Но чтобы это произошло быстрее, разумно добавить файлы в консоли поисковых систем.
Яндекс.Вебмастер
Чтобы добавить ресурс в консоль Яндекс.Вебмастер, нужно:
перейти по ссылке;
добавить сайт и подтвердить на него права;
перейти в раздел «Индексирование» — «Файлы Sitemap»;
если робот уже нашёл ссылку на карту в robots.txt, информация об этом отобразится;
ввести полный путь к sitemap.xml на сайте и нажать «Добавить».
Таким образом, краулер Яндекса быстрее узнает о карте сайта. В этом же разделе в будущем можно отправлять на переобход существующие, но обновлённые карты сайта.
Google Search Console
Чтобы сообщить роботу Google о файле sitemap.xml, нужно:
перейти в Google Search Console;
добавить сайт и подтвердить на него права;
перейти в раздел «Файлы Sitemap»;
если краулеру уже известны какие-либо версии файла, информация о них будет выведена;
ввести путь (без доменного имени, оно уже будет указано) и нажать «Отправить».
После этого файл добавится в базу, и вы сможете отслеживать его статус и количество выявленных страниц и видео.
Вся соль
Файл sitemap.xml важен для индексирования сайта, поскольку содержит всю необходимую информацию для роботов-краулеров: количество страниц, частота обновления, приоритет и дата последнего изменения. Также можно создать карты сайта для изображений и видео, чтобы улучшить ранжирование.
Сформировать файл помогают специальные программы, онлайн-генераторы и плагины для систем управления сайтом. После этого потребуется добавить документ на ресурс и сообщить об этом поисковым системам посредством robots.txt и консолей.
Если возникают сомнения в корректности настроек индексирования, вы всегда можете обратиться за консультацией к специалистам.