Зачем нужен файл sitemap.xml
Краткое содержание статьи:
Работа robots.txt заключается в запрете индексации. А файл sitemap выполняет противоположные задачи.
Карта сайтмап отвечает за ускорение и полноту индексации интернет-ресурса. Она задаёт поисковой системе частоту, с которой возникает переиндексация страниц. Особенно важно правильно настроить файл «сайтмап» для сайтов, где часто обновляется контент.
Для каких сайтов нужно создавать sitemap.xml?
Поисковые системы всегда читают информацию этого файла. Очень часто новая информация не доступна через навигацию, но она должна быть просканирована. В этом случае и создаётся текстовый документ «сайтмап».
Особенно файл важен для следующих сайтов:
- Присутствует множество страниц и имеется вероятность, что робот начнёт их пропускать во время сканирования.
- Разделы портала не имеют доступа через окно навигации.
- На ресурсе имеются изолированные страницы, имеющие плохую связь между собой.
- Владелец применяет технологии, которые поисковые системы проблематично анализируют — Ajax, Flash или Silverlight.
Техническая информация для создания файла sitemap.xml:
- файл не должен быть закрытым в robots.txt;
- применяется текстовый формат XML;
- может содержать не более 50 000 адресов, вес не должен превышать 50Мб;
- длина URL 2048 символов;
- разрешатся применять gzip-сжатие;
- нельзя создавать более 1000 сайтмапов;
- адреса в файле всегда абсолютные.
Приоритет страниц тоже указывается в этом разделе портала. Именно поэтому нельзя игнорировать настройки sitemap. Только грамотное использование тегов, позволяет сайту работать правильно.
Файл sitemap и его основные директивы
Текущий протокол задаёт команды для поисковых систем. Рассмотрим обязательные теги:
- urlset — считается главным, он подтверждает стандарт протокола;
- url — это родительский тег, после которого применяются дочерние. Его используют для каждого ввода URL;
- loc — абсолютный адрес, который всегда начинается с префикса (http или https).
Создать файл sitemap можно и с необязательными тегами:
- lastmod — атрибут отражает дату последнего обновления для определённого файла;
- changefreq — отражает частоту изменений страниц (always, hourly, daily, weekly, monthly, yearly, never). Значение «всегда» (always) ставится, если файл подвергается изменениям регулярно при входе на страницу. А «никогда» (never) характерно для архивных страничек ресурса. Роботы воспринимают этот директив в качестве рекомендации, а не как заданную команду;
- priority — приоритетность страницы. По умолчанию это 0,5, но можно установить свои значения — от 0 до 1,0. За счёт этой рекомендации роботы поисковых систем узнают, какие страницы следует проиндексировать в первую очередь.
Не нужно всем URL-адресам вашего сайта ставит высокие значения priority, так как величина является относительной. Роботам нужно просто подсказка в пределах одного сайта, с чего начать индексирование.
Пример составления сайтмап
Попробуем добавить sitemap для нашего сайта https://grand-seo.ru. Приступаем к работе:
<urlset>
<url>
<loc>https://grand-seo.ru/</loc>
<changefreq>monthly</changefreq>
</url>
<url>
<loc>https://grand-seo.ru/blog/</loc>
<changefreq>weekly</changefreq>
</url>
Небольшой отрезок карты даёт роботу понятные рекомендации. Поисковые системы понимают, что страница https://grand-seo.ru/ должна индексироваться раз в месяц, а https://grand-seo.ru/blog — каждую неделю.
Размещать XML-карту лучше всего в корневом каталоге портала. Ещё обязательно укажите ссылку на sitemap в robots.txt.
Как создать sitemap.xml
Существует несколько способов написания файла «сайтмап»:
- Через Content Management System. Система управления сайтом уже содержит этот файл, нужно только его заполнить. Попробуйте загрузить страницу https://вашсайт.com/sitemap.xml, если её не существует, то обратитесь в службу поддержки.
- Плагин sitemap можно загрузить с внешних ресурсов или попросить сделать его программистов именно для вашего движка.
- Генераторы Sitemap. Они подробно анализируют сайт и создают документ, который можно скачать. Но его придется каждый раз обновлять при добавлении новых материалов на ресурс.
- Зная программирование, можно сделать отдельный скрипт на сайте.
Если у вас возникли сложности при создании файла sitemap.xml, то следует обратиться к специалистам компании Grand-SEO. Уже более 10 лет наша фирма активно развивается, помогая вывести сайты различной направленности в ТОП поисковых систем.
Автоматизация sitemap.xml
Есть сайты, которые нуждаются в регулярной индексации — это новостные порталы и различные интернет-магазины. В этом случае сложно каждый раз поправлять файл «сайтмап» в ручном режиме. Необходимо автоматизировать sitemap, чтобы товары и новая информация не затерялась на сайте.
Для этого необходимо создать специальный модуль. Он свяжет базу данный сайта, инструкции robots.txt и файлы «сайтмап». При этом программа прописывается с учётом правил:
- Файл sitemap должен быть уже созданным на сайте вручную, в нём уже прописаны все необходимые URL.
- При добавлении новой страницы, система в автоматическом режиме прописывает дополнительную строчку в sitemap.xml с указанием этой страницы. В зависимости от типа последней указывается параметр частоты индексации и ее приоритет. Если страниц закрыта от индексации в robots.txt, она не прописывается в sitemap.xml.
- При удалении страницы программа ищет строчку с указанием данной страницы в sitemap.xml. Если страница там есть, информация о ней удаляется.
Прописывая команды в протоколе «сайтмап», нельзя игнорировать robots.txt. Они не должны противоречить друг другу, иначе поисковые роботы их не смогут расшифровать. Если в robots.txt делаются исключения станиц, то их так же исключают из sitemap.
Проверить «сайтмап» на ошибки поможет программ Screaming Frog. Проходите регистрацию на сайте и загружаете в меню Mode — List свой файл. Система просканирует урлы и покажет, что открыто и скрыто для индексации.
