Панель управления ⇒ Компоненты ⇒ Генератор карты сайта и robots.txt

Компонент генерирует по расписанию Sitemaps — карту сайта — специальные XML-файлы с информацией для поисковых систем и HTML карту сайта. Также компонент предоставляет возможность формировать и редактировать файл robots.txt, при этом физически указанного файла не будет в корне директории вашего сайта.

• Формировать тег lastmod - указывает, будет ли в XML файлах присутствовать тег lastmod;
• Формировать тег changefreq - указывает, будет ли в XML файлах присутствовать тег changefreq. Если опция включена, то можно указать значение по умолчанию для данного тега;
• Формировать тег priority - указывает, будет ли в XML файлах присутствовать тег priority;
• Генерировать HTML карту сайта - если включено, то также будет генерироваться HTML карта сайта, которая будет доступна по адресу site.ru/sitemap;
• Количество записей в одном файле - файлы индекса Sitemap должны быть не больше 50 МБ (в несжатом виде) и могут содержать до 50000 URL. Вы можете уменьшить этот параметр, если возникли проблемы с индексацией.

Набор чекбоксов компонентов и их субъектов вашего сайта, для записей которых необходимо генерировать данные карты сайта. При включении чекбокса для каждого субъекта можно задать опции приоритета (тег lastmod) и вероятную частота изменения страниц (тег changefreq).

В текстовом поле заполняется желаемое содержимое файла robots.txt, при этом в нём не нужно указывать директивы Host и Sitemap, они формируются автоматически. Файл robots.txt доступен по адресу site.ru/robots.txt, этот файл виртуальный и формируется динамически. Убедитесь, что ваш веб сервер не перехватывает TXT файлы, если по этому адресу вы увидите что-то иное. Если у вас в корне сайта есть физический файл robots.txt, то его содержимое перенесите в админку, а сам файл удалите.

Компонент работает по расписанию. За выполнение отвечает задача «Создание карты сайта». Вы можете отредактировать эту задачу в админке, однако изменять (при необходимости) рекомендуется только период выполнения задачи и/или название задачи.

Все создаваемые файлы xml хранятся в директории /cache/static/sitemaps/. Главный (индексный) файл имеет название sitemap.xml. В нем специальным образом, согласно документации, хранятся ссылки на все остальные файлы карты сайта. Остальные файлы, где описывается непосредственно контент сайта, имеют название по схеме:

  sitemap_{НАЗВАНИЕ КОНТРОЛЛЕРА}_{СУБЪЕКТ}.xml

например, для профилей пользователей:

  sitemap_users_profiles.xml

Если записей получается больше, чем указано в опции «Количество записей в одном файле» (50000 по документации или 10 МБ данных), то движок разделяет данные по нескольким файлам.

Важно понимать, что в конечном итоге основной (индексный) файл карты сайта доступен по адресу, отличном от его полного пути хранения. Т.е. файл физически хранится по пути /cache/static/sitemaps/sitemap.xml, а доступен в браузере по пути mysite.ru/sitemap.xml, как того требует спецификация. Для того, чтобы это работало, в файле .htaccess в корне сайта есть строчка, которая делает это возможным:

RewriteRule ^sitemap(.*).xml$ /cache/static/sitemaps/sitemap$1.xml [L]

Если включена опция «Генерировать HTML карту», то движок будет генерировать также json файлы. Они также хранятся в директории /cache/static/sitemaps/ и формируются по тому же принципу, что и XML файлы, за исключением того, что разбиваются они по 500 записей.

Назад к разделу Компоненты