Sitemap (сайтмэп), он(а) же карта сайта - важный элемент в его продвижении. И хотя я считаю, что многие придают шибко завышенное значение наличию у сайта sitemap.xml, однако таки это действительно важно, особенно для "условно больших" сайтов. Данный сайт вплотную приблизился к "большим" (наверняка к таковым вполне справедливо можно отнести случай, когда количество проиндексированных страниц исчисляется тысячами) - пора делать сайтмэп, при чём - правильный Sitemap, который понравится и Google, и Яндексу (и другим), ибо у них разные предпочтения.

• Зачем нужен Sitemap?
• Как создать sitemap.xml?
• Файл sitemap.xml
• Google sitemap
  • Правильный Sitemap для Google
• Sitemap для Яндекса
• Итого по Sitemap

Зачем нужен Sitemap?

Sitemap придумали для возможности в стандартизированной форме передовать поисковым системам список страниц сайта, подлежащих к индексации. Sitemap.XML представляет собой файл XML-формата, где перечислены адреса страниц сайта с указанием даты последнего изменения, условной "важности" страницы и частоты её обновления.

Как создать sitemap.xml?

Для создания карты сайта (sitemap.xml) не большого объёма (обычно до нескольких сот страниц) вполне можно использовать так называемые "онлайн-генераторы Sitemap". Наиболее известный (сам всегда пользуюсь для мелких сайтов), достаточно удобный (и при этом "рекомендуемый" многими серьёзными ресурсами) - XML-Sitemaps.com (ссылка откроется в новом окне).

Хотя подобных/альтернативных сервисов - просто пруд пруди.

В случае использования сайта на каком-либо движке - ищите соответствующий модуль-плагин, позволяющий создать sitemap автоматически.

Файл sitemap.xml

Файл Sitemap может быть выложен как в "чистом виде", так и в "пожатом" - с помощью стандартных zip/gzip алгоритмов (т.е. это уже будет файл sitemap.xml.zip и sitemap.xml.gz соответственно). Я экспериментировал с пожатием с помощью архиватора 7-zip, где можно выбрать "более сильное" zip-сжатие (нежели стандартное - можно использовать словать до 258 символов) - вполне приемлится поисковыми системами.

В случае очень объёмных сайтов (сотни тысяч в индексе) - не стоит забывать про ограничение в 50 000 урлов на один сайтмэп. Кроме того, есть ограничение и на объём файла Sitemap - не более 10МБ (в непожатом виде).

Именно потому, как раз обычно - для больших сайтов - Sitemap-файлов может быть несколько. Я обычно использую "части" по 5 или 10 тысяч адресов на файл, с разбитием на специфику материала (статьи, комментарии, описания продуктов, новости и т.п.), т.е. для каждого свой Sitemap-файл. 

Google sitemap

У Google весьма много достаточно подробной документации по теме Sitemap:

• О файлах Sitemap
• Создание файлов Sitemap
• Ошибки файлов Sitemap
• "Sitemap Sitemap-ов" - <sitemapindex> - для нескольких файлов Sitemap на сайте

Правильный Sitemap для Google

У Google есть свои особенности и предпочтения. Несмотря на то, что в руководстве написано:

Файлы Sitemap особенно полезны в следующих случаях:

• На вашем сайте имеется динамическое содержание.

Не стоит это воспринимать дословно. Даже наоборот, как раз именно "динамические" страницы и не стоит "подсовывать" Google. Это значит, что адреса из раздела "облака тегов", каталогов, рубрик и пр., где публикуются анонсы (или полные версии) статей - им шибко не любимы. Ведь, в принципе - всё это дубликаты уже имеющейся информации, лишь отсортированной по-другому (и/или как-то урезанной). Потому я не рекомендую включать подобные ардеса в sitemap.xml для Google. Именно для Google - другие к таким относятся вполне снисходительно.

Если у вас на сайте есть словари, теги, термины и т.п. (по-умному - элементы таксономии), которыми можно "помечать" материалы сайта, то все такие адреса нужно выделить в отдельный файл Sitemap, который не будет "предлагаться" для Google. Т.е. когда в "гугло-админке" вы добавляете имеющиеся Sitemap-файлы, то оный(-е) с "динамическим содержанием" - туда не добавляйте.

Sitemap для Яндекса

У Яндекса (равно как и всех остальных поисковых систем) - нет вышеописанной "несваримости" к какому бы то ни было содержимому, потому каких-то особых рекомендаций по использованию файла Sitemap - нет. Лишь можно посоветовать, что даже в случае маленького сайта, но имеющего "динамическую составляющую" - правильней её отделить в свой сайтмэп-файл, чтобы можно было разделить содержание "для Google" и "для остальных".

В частности, для наглядного примера - можно посмотреть в сравнении скрины (не этого сайта) админок по части Sitemap в Google и Yandex.
 

Итого по Sitemap

• Для Google и других - лучше использовать разные Sitemap.
• Поисковые системы вполне приемлимо индексируют сайт и без Sitemap, но, всё же - его наличие рекомендуется, особенно для объёмных сайтов.
• Sitemap имеет строго "рекомендательный" характер и потому совсем не факт, что получив содержимое - все его адреса будут в индексе (что хорошо можно заметить по указанному скрину из Google).

п.с.