Sitemap.xml - создаём правильную карту сайта

Подробная карта метро Токио

Sitemap (сайтмэп), он(а) же карта сайта - важный элемент в его продвижении. И хотя я считаю, что многие придают шибко завышенное значение наличию у сайта sitemap.xml, однако таки это действительно важно, особенно для "условно больших" сайтов. Данный сайт вплотную приблизился к "большим" (наверняка к таковым вполне справедливо можно отнести случай, когда количество проиндексированных страниц исчисляется тысячами) - пора делать сайтмэп, при чём - правильный Sitemap, который понравится и Google, и Яндексу (и другим), ибо у них разные предпочтения.

Зачем нужен Sitemap?

Sitemap придумали для возможности в стандартизированной форме передовать поисковым системам список страниц сайта, подлежащих к индексации. Sitemap.XML представляет собой файл XML-формата, где перечислены адреса страниц сайта с указанием даты последнего изменения, условной "важности" страницы и частоты её обновления.

Полное и подробное описание формата sitemap.xml - смотрите на первоисточнике.

Как создать sitemap.xml?

Для создания карты сайта (sitemap.xml) не большого объёма (обычно до нескольких сот страниц) вполне можно использовать так называемые "онлайн-генераторы Sitemap". Наиболее известный (сам всегда пользуюсь для мелких сайтов), достаточно удобный (и при этом "рекомендуемый" многими серьёзными ресурсами) - XML-Sitemaps.com (ссылка откроется в новом окне).

Хотя подобных/альтернативных сервисов - просто пруд пруди.

В случае использования сайта на каком-либо движке - ищите соответствующий модуль-плагин, позволяющий создать sitemap автоматически.

Например, для Drupal - это XML sitemap.

Файл sitemap.xml

Файл Sitemap может быть выложен как в "чистом виде", так и в "пожатом" - с помощью стандартных zip/gzip алгоритмов (т.е. это уже будет файл sitemap.xml.zip и sitemap.xml.gz соответственно). Я экспериментировал с пожатием с помощью архиватора 7-zip, где можно выбрать "более сильное" zip-сжатие (нежели стандартное - можно использовать словать до 258 символов) - вполне приемлится поисковыми системами.

В случае очень объёмных сайтов (сотни тысяч в индексе) - не стоит забывать про ограничение в 50 000 урлов на один сайтмэп. Кроме того, есть ограничение и на объём файла Sitemap - не более 10МБнепожатом виде).

Именно потому, как раз обычно - для больших сайтов - Sitemap-файлов может быть несколько. Я обычно использую "части" по 5 или 10 тысяч адресов на файл, с разбитием на специфику материала (статьи, комментарии, описания продуктов, новости и т.п.), т.е. для каждого свой Sitemap-файл. 

Google sitemap

У Google весьма много достаточно подробной документации по теме Sitemap:

Правильный Sitemap для Google

У Google есть свои особенности и предпочтения. Несмотря на то, что в руководстве написано:

Файлы Sitemap особенно полезны в следующих случаях:

  • На вашем сайте имеется динамическое содержание.

Не стоит это воспринимать дословно. Даже наоборот, как раз именно "динамические" страницы и не стоит "подсовывать" Google. Это значит, что адреса из раздела "облака тегов", каталогов, рубрик и пр., где публикуются анонсы (или полные версии) статей - им шибко не любимы. Ведь, в принципе - всё это дубликаты уже имеющейся информации, лишь отсортированной по-другому (и/или как-то урезанной). Потому я не рекомендую включать подобные ардеса в sitemap.xml для Google. Именно для Google - другие к таким относятся вполне снисходительно.

Если у вас на сайте есть словари, теги, термины и т.п. (по-умному - элементы таксономии), которыми можно "помечать" материалы сайта, то все такие адреса нужно выделить в отдельный файл Sitemap, который не будет "предлагаться" для Google. Т.е. когда в "гугло-админке" вы добавляете имеющиеся Sitemap-файлы, то оный(-е) с "динамическим содержанием" - туда не добавляйте.

 

Sitemap для Яндекса

У Яндекса (равно как и всех остальных поисковых систем) - нет вышеописанной "несваримости" к какому бы то ни было содержимому, потому каких-то особых рекомендаций по использованию файла Sitemap - нет. Лишь можно посоветовать, что даже в случае маленького сайта, но имеющего "динамическую составляющую" - правильней её отделить в свой сайтмэп-файл, чтобы можно было разделить содержание "для Google" и "для остальных".

В частности, для наглядного примера - можно посмотреть в сравнении скрины (не этого сайта) админок по части Sitemap в Google и Yandex.
 

Также достаточно подробная документация по теме Sitemap - в Яндекс.Вебмасте->Помощь.

Итого по Sitemap
  • Для Google и других - лучше использовать разные Sitemap.
  • Поисковые системы вполне приемлимо индексируют сайт и без Sitemap, но, всё же - его наличие рекомендуется, особенно для объёмных сайтов.
  • Sitemap имеет строго "рекомендательный" характер и потому совсем не факт, что получив содержимое - все его адреса будут в индексе (что хорошо можно заметить по указанному скрину из Google).


п.с.
American Sitemap

Если вам помогла или просто понравилась статья - плюсаните/поделитесь, пожалуйста.

Комментарии

Страницы, вызываемые java-скриптами из сайт-мэп файла, не индексируются.

Для своего сайта сам писал генератор sitemap и RSS. Думаю лучше генерировать эти файлы напрямую из БД, чем пользоваться онлайн-генераторами.

p.s. RSS не менее полезная штука, особенно, если ее закидывать на разные сервисы, которые парсят их себе на сайт. :)

К сожалению, найти хороший и желательно бесплатный сервис по созданию карты сайта достаточно сложно :-(. Перерыл пол инета уже и нашел максимум до страниц создавалки. Написать что-то своё знаний нет и вот приходится мучаться в поисках...

Подскажите, пожалуйста, сервис по автоматическому созданию файла sitemap.
И ещё, если разница на каком движке сайт или блог?

Рекомендуемый Google онлайн-генератор sitemap - тут (ссылка откроется в новом окне).

 

Однако их вагон и маленькая тележка, каждый имеет какие-то ограничения, платные-бесплатные версии и т.п. и т.д.

Касаемо движка, то он никак "зависит" от сайтмэпа, как раз наоборот - многие движки имеют модули для автоматической генерации карты сайта (в т.ч. в XML-формате). /* Например, в случае друпала это модуль xmlsitemap. */

Тоже ищу онлайн сервис для создания карты сайта. Мой блог на Wordpress, но с плагином для карты сайта разобраться не получается - что не так делаю?

Подскажите, пожалуйста, в Яндексе часто встречаются ссылки вида "site.ru > хомячки", при чём "хомячки" написано на русском, а ссылка английская. Это настраивается в sitemap?

Нет, это Яндекс автоматически распознаёт разделы-подразделы сайта и их названия. Повлиять на это нельзя.

С другой стороны, Яндекс "знает" подавляющее большинство ходовых CMS, потому и структуру обычно различает всегда правильно.

У меня сайт интернет-магазина, тоже пришлось повозиться с поиском, т.к. страниц больше 5 тыс. с названиями единиц товара. Онлайн сервисы штука не надежная, хоть и довольно удобная в плане задаваемых параметров. НО! Я бы советовал десктопную программу, например - SiteMap Generator. Там и лимит страниц задать можно и на выходе получить любой желаемый формат. Правда прога английская, но разобраться не сложно.

Создать карту сайта как видите не проблема. А вот чтобы все 5 тыс. попали в индекси - вот тут уже есть над чем подумать. Если кто знает как, может поддиректории отдельным сайтмапом давать - подскажите.

Отличная статья, особенно карта мира. :) На вордпрессе стоял плагин, сейчас снёс - никакой разницы. Наверное, для небольших сайтов сайтмэп нужен только для первичной интексации.

Можно для создания карты сайта попробовать новый русскоязычный сервис: http://sitemapnow.com

Там ограничение на 5000 ссылок в бесплатном варианте, но есть прибамбас Sitemap Live Data. И если у вас сайт для людей, то с помощью него можно получить полную карту сайта и в достаточно короткое время, да еще с правильными priority. А с помощью Quick Sitemap можно за несколько секунд получить карту сайта с HTML карты сайта вашего ресурса.

А нельзя ли без плагина сделать карту xml? Просто ещё один плагин устанавливать не хочется.

Пользуюсь программой A1 Sitemap Generator. Количество страниц сайта не имеет значения, работает довольно шустро. Есть и на русском языке.

Спасибо выручил из сайтмапом.

Сгенерировал sitemap, закинул в корень сайта, проверяю Яшкой пишет:

Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.

Я не большой спец, поэтому подскажите, что это такое и что с этим делать? Сайт http://sibson.su на open cart.

Я не имею опыта работы с движком OpenCart, однако сказать по ошибке могу. По указанной вами ссылке (sibson.su) домен идёт без www, в то время, как sibson.su/sitemap.xml передресует на www.sibson.su/sitemap.xml, - на что и жалуется Яндекс (проходит Redirect-301 на вариант с www). Скорей всего в админке движка стоит домен с www, а добавили вы в Яндекс без. Разберитесь с этой путаницей, выберите нужный вариант с или без www и вопрос решится.

Зря многие занижают полезность sitemap-файлов! Делать их нужно, особенно тем, для кого скорость индексации имеет значение.

Подскажите как скормить sitemap яндексу, а то у меня выдает такую ошибку:

Указанный URL выполняет перенаправление, поэтому не рекомендуется добавлять его в качестве файла Sitemap. Используйте URL цели перенаправления.

Перевожу с одминско-яндексовского на более понятный:

Вы указали URL для sitemap.xml с www, в то время, как у вас основное написание домена без www, а с www идёт переадресация на без www (или наоборот). Уберите (или, наоборот, добавьте) www и будет вам яндексовское счастие.

Добавить комментарий

Подписка на Комментарии к "Sitemap.xml - создаём правильную карту сайта" Подписка на NOINDEX.by - Все комментарии