Карта сайта (файл sitemap.xml) — список адресов страниц сайта в формате, который читают программы: поисковики, сервисы проверки, агрегаторы. robots.txt — короткий текстовый файл в корне сайта: какие разделы поисковым роботам можно обходить, какие нет, и где лежит карта сайта.
Требует ли их закон
Нет. Ни 152-ФЗ, ни Закон о защите прав потребителей, ни другие нормы, которые мы проверяем, не обязывают сайт иметь карту сайта или robots.txt. Если их нет, это не нарушение и штрафа за это нет.
Зачем они всё-таки нужны
- Поисковикам. Яндекс и Google быстрее находят новые и глубоко вложенные страницы,
если они перечислены в карте сайта. robots.txt закрывает от обхода роботами служебные разделы: корзину, личный кабинет, результаты поиска по сайту.
- Проверке сайта. Закониум берёт страницы для проверки из карты сайта, по ссылкам
и по типичным адресам разделов (политика, контакты, оферта). Без карты остаются только ссылки и типичные адреса: страницы, на которые никто не ссылается (например, старая политика обработки персональных данных или форма заявки на отдельной посадочной странице), могут остаться непроверенными. В отчёте об этом есть отдельная строка.
Как сделать
- CMS. У Tilda и многих конструкторов карта сайта и robots.txt создаются
автоматически. В WordPress, Битрикс и Joomla карту делает встроенный модуль SEO или плагин — его достаточно включить в настройках.
- robots.txt — текстовый файл по адресу
https://ваш-сайт.ru/robots.txt. Самый
простой вариант разрешает всё и называет карту сайта:
User-agent: *
Disallow:
Sitemap: https://ваш-сайт.ru/sitemap.xml
- Проверить, что файлы на месте, можно, открыв оба адреса в браузере: robots.txt
должен показать текст, а не страницу сайта «не найдено», карта сайта — список адресов.
После этого повторная проверка возьмёт страницы и из карты сайта.