Sitemaps

Sitemaps — XML-файлы с информацией для поисковых систем (таких как Google, Bing, Яндекс) о страницах веб-сайта, которые подлежат индексации. Sitemaps могут помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.

Использование протокола Sitemaps не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование сайта.

Формат протокола Sitemap

Формат протокола Sitemap состоит из XML-тегов. В файле необходимо использовать кодировку UTF-8.

Использование файлов индекса Sitemap

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 50 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы его размер не превышал 50 МБ, и тем самым уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap, при этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap (Sitemap index). Формат файла индекса Sitemap похож на формат файла Sitemap.

Другие форматы файла Sitemap

• Канал синдикации (RSS 2.0, а также Atom 0.3 или 1.0)
• Текстовый файл (в текстовом файле в каждой строке должен быть только один URL)

Местоположение файла Sitemap

Рекомендуется располагать файл Sitemap в корневом каталоге сервера/

• Все ссылки, перечисленные в файле Sitemap, должны находиться в том же домене, что и сам Sitemap.
• Ссылки в файле Sitemap должны указывать на страницы, находящиеся в том же каталоге (или его подкаталогах), что и сам файл Sitemap.
• Ссылки, указанные в файле Sitemap, должны использовать тот же протокол (например, HTTP), по которому доступен файл Sitemap.

Уведомления для сканеров поисковых систем

После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом:

• с помощью интерфейса поисковой системы
• указав местоположение файла Sitemap в файле robots.txt
• выслав HTTP-запрос

Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Использование файла robots.txt

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:

Sitemap: <sitemap_location>