Индексация сайта в Яндексе, в Google и других поисковиках - тонкости проверки

Проверка индексации сайта в поисковиках - самая популярная операция у любого, связанного с SEO. Обычно это выполняют различные плагины типа SeoQuake, позволяющие просматривать значения индекса Яндекс/Google при загрузке текущей страницы сайта в броузере либо специальные утилиты, чаще используемые для массовой проверки индексации. В любом случае стоит знать тонкости, которые имеют различные поисковики, чтобы понимать и учитывать особенности отображаемых на экране цифирей индексации.

• Индексация сайта в Яндекс
• Индексация сайта в Google
• Индексация сайта в Rambler

Индексация сайта в Яндекс

Индексацию сайта в Яндексе можно проверить следующим запросом:

При попытке аналогичного запроса, только используя домен с www:

...получим аналогичные цифры. Дело в том, что Яндекс отображает индексацию домена с учётом его "основного написания" ("склейки" - то, что обычно указано в robots.txt с помощью директивы Host). В редких случаях эти цифры (для случаев с www и без www) отличаются - это обозначает, что домен "расклеен" (или ещё "не склеен"), т.е. пока не пришёл волшебный робот-зеркальщик, который объединяет их в один вариант.

Update: Наиболее "правильный" вариант проверки индексации в Яндексе на данный момент:

http://yandex.ru/yandsearch?text=url:noindex.by*%20|%20url:www.noindex.by*

Комментарий: запрос вводить непосредственно в адресную строку броузера, в самом поиске Яндекса не получится.

Индексация сайта в Google

Индексацию сайта в Google можно проверить следующим запросом:

А вот при попытке проверить аналогичный вариант, но с www (в отличие от Яндекса - для Гугля) уже получим совсем другие цифры:

В частности для данного сайта - это: Не найдено ни одного документа, соответствующего запросу site:www.noindex.by.

Дело в том, что Google показывает индексацию отдельно для обоих вариантов написания, не учитывая значение варианта отображения основного домена, что устанавливается в его админке.
Эту особенность обязательно нужно помнить и учитывать. Например, когда вы фильтруете в Sape своих акцепторов (или наоборот - отбираете потенциальных доноров для покупки ссылок), то очень часто оптимизаторы ставят ссылки не корректно - на отличный от "основного варианта написания домена". Это значит, что если по www.сайт в индексе Google будет 1-10 страниц, а "без www" - тысячи. И ссылка стоит как раз "на www". Что в свою очередь обозначает (для горе-оптимизатора), как минимум, её эффективность может быть ниже, а как максимум, при переусердствовании и некорректном robots.txt (где Яндекс не сможет корректно отловить директиву Host) - можно, вообще, "переклеить" сайт на противоположный вариант (обнаружив кучу ссылок на обратный вариант написания и отсутствии/некорректном Host  - Яндекс "может передумать").

Кроме того, нужно также учитывать, что при проверке "без www" - Google включит в индекс и сумму всех значений имеющихся поддоменов. Потому чтобы получить точное значение проиндексированных страниц в Google при наличии поддоменов - нужно сложить варианты с www + без www и вычесть из них сумму индексаций всех поддоменов, что, логично, совсем не просто и не очевидно.

Последнее (неточность значения индексации Google при наличии поддоменов) - может сильно искажать цифры, что вы получаете от утилит и сервисов (той же упомянутой массовой проверки). Потому в идеале для определения индексации сайта в Google нужно проверять сразу оба варианта - и с www и без www. Однако такой подход в два раза увеличивает объём проверки и пока я не знаю ни сервисов ни ПО, что так  умеет/делает (например, чтобы хотя бы примитивно выдавать сумму значений обоих вариантов)

Индексация сайта в Rambler

Индексацию сайта в Rambler можно проверить следующим запросом:

Возможно совсем скоро данная информация будет лишней :) (т.к. Рамблер, как известно, хочет присоединиться к судьбе Yahoo!, которого про-Bing-овали), однако всё же. Рамблер не умеет различать "основной-неосновной", потому в индексе у него "все" варианты. Это значит, что при адекватной индексации значение Rambler-индекса обычно должно быть где-то примерно в два раза больше, нежели значение индексации сайта в Yandex. Банально потому, что там будут два варианта. Его обычно нельзя сравнивать с индексацией в Google, т.к. из-за слишком уж отличающегося подхода/возможностей у Гугля это значение как правило выше (или много выше).

P.S. Абзац выше уже не актуален, см. Update.