Вся правда о доменах&склейке "с WWW" и "без WWW"

С WWW и без WWW

Данная тема постоянно мусолится на всевозможных блогах-форумах, нередко даже монстры не знают тонкостей (не потому что они "не круты", а потому что им она "нафик не упала"). Кому же "упала" - читайте дальше.

Яндекс

ЕДИНСТВЕННЫЙ способ задать вариант написания домена (www или без) для Яндекса - это директива Host в файле robots.txt:

User-agent: *
Disallow: /database/
Disallow: /includes/
...
Disallow: /*/contact$
Disallow: /node/*/track$
Host: noindex.by

Update: После появления возможности напрямую задать в "Яндекс.Вебмастер -> Настройка индексирования -> Основное зеркало" нужный вариант написания (с или без www) этот способ (через Я.В) стал главным. Однако способ указания www/без через Host не только по-прежнему работает, но и рекомендуется самим Яндексом (особенно в сложных ситуациях, т.к он "старый и точно отработает" :) ).

При этом (важно!)  максимально строго соблюсти стандарты написания robots.txt - в частности, никаких "пустых строк", которые считаются разделителями секций и, к примеру, подобная перед Host - запросто может привести к её игнорированию Яндексом.

Кроме того (для Яндекса) - нельзя использовать переадресацию Redirect-301 (типа привычной RewriteCond %{HTTP_HOST} + ^www\.noindex\.by$ [NC] RewriteRule ^(.*)$ http://noindex.by/$1 [L,R=301] ) ДО ТОГО, как Яндекс окончательно склеит оба варианта.

Это значит, что если вы решили привести выдачу к "общему знаменателю" (в которой на данный момент встречаюстся оба варианта - "с www" и "без www"), то сначала прописываем Host и ждём, пока не придёт (обычно тормозной) робот-зеркальщик, который таки решит, что оба варианта у вас действительно одинаковы, что это, правда, один и тот же сайт, а потому можно, в принципе, писать его лишь одним способом.

Если поставить переадресацию R-301 до прихода зеркальщика - зеркальщик настолько может обидеться, что в лучшем случае придёт нескоро (можно ждать месяцами), а то и не придёт вовсе. При этом можно обижаться сколько угодно на "тупость Яндекса", который настолько дремуч, что не может прочитать файл robots.txt (из-за R301), однако это факт и с этим нужно считаться. Иначе - если поставить редирект-301 до склейки - количество страниц в индексе Яндекса будет методично уменьшаться вплоть до нуля. Этот процесс может запросто растянуться и на полгода. После, конечно, всё же, обычно приходит зеркальщик и "происходит чудо", однако потраченные нервы на ожидание оного того точно не стоят.

Итого, последовательность действий по установке/смене основного написания домена (www/без):
1. Проверяем - не стоит ли переадресация R=301 (обычно в файле .htaccess), если обнаружена - снимаем.
2. Прописываем в robots.txt директиву Host: мой-сайт. Ещё дважды перепроверяем правильность robots.txt. Для этого заходим в админку Яндекса, где загружаем и проверяем "Используемые секции". На выходе должно получиться что-то типа:

1-47
User-agent: *
Disallow: /database/
...

Host: noindex.by

Наличие строчки с Host будет точно означать, что Яндекс её "видит" и "учитывает".
3. Ждём прихода зеркальщика. В зависимости от везения это может быть от пары недель до пары месяцев. Возможно у него "не получится" за один раз - придётся ждать следующего. В общем - добро пожаловать в завсегдатаи "апдейтового форума". :)

После окончательной склейки (напомню, речь о Яндексе) теоретически можно ставить редирект (R=301 на нужный вариант с "ненужного"), однако я считаю это не принципиальным и сам от "не ставлю" (часто) до "не рекомендую".

Google

Как и положено самому продвинутому поисковику, для того, чтобы задать нужный вариант написания (www/без) - для Google не нужно ждать прихода чудо-роботов, всё делается в пару кликов в его админке (Конфигурация сайта => Настройки => Основной домен). Ждём в худшем случае денёк - и радуемся.

Всё. Вопреки расхожему мнению никакой установки переадресации R=301 для задания варианта отображения основного домена для Google - НЕ нужно.

Остальные поисковики

Переадресация R=301 требуются для других поисковиков, которые не имеют возможности задать её через админку (как в Google) или специальной директивой (как для Яндекс).

Если вам помогла или просто понравилась статья - плюсаните/поделитесь, пожалуйста.

Комментарии

А как лучше для продвижения с www или без?

Ждём в худшем случае денёк - и радуемся.

У меня с Гуглом вообще какие-то проблемы. В админ. панели пишет, что проиндексирован всего один УРЛ, хотя в выдаче около 100, указал основной домен с www недели две назад, в выдаче до сих пор и с www и без, посещаемость с Гугла в течение месяца изменяется на 50-70%. Что это за х...?

В принципе верно - радоваться нужно, если через денёк всё заработало. :)

Касаемо глюков, то они бывают и у Гугля. В частности, кто следит, то где-то с февраля у них пошли косяки, сопровождаемые видимыми изменениями в админке - это и недавно преобразившийся интерфейс поисковых запросов, и глюки по поводу выбора варианта написания основного домена, а до этого появление "Эффективности сайта" и т.п.

Часть подобных проблем признаётся самими гугловодами с одним рецептом - ждите, мы работаем. Потому, возможно я поторопился на счёт "одного дня". :) Однако, всё же, сделаем скидку на "текущий гугломомент", ибо предыдущий опыт показывал относительную стабильность.

Касаемо же приведённого примера, то рекомендации простые и банальные.

  1. Ставим в админке, как описывалось, нужный вариант.
  2. Ждём. :)

Если по-прежнему "раздвоение в выдаче" - анализируем сиутацию. Возможно, как описывалось - глюки у гугля. Ведь перечисленные последние три характеристики - способность ждать, анализировать и признавать наличие глюков - и есть то, что отличает настоящего SEO-шника :).

Потому, однозначно, всё же, ждем. Для большей уверенности - идём ещё раз в админку, дабы убедиться, что эта настойка не приснилась, а также что враги не взломали и не открутили обратно настройки.

Параллельно - анализируем, почему же так может быть? Для этого не только шаримся по интернету в поисках "собратьев по несчастью", но и по движку своего сайта или коду страниц. Может у вас все менюшки в оном стоят с абсолютными адресами (т.е. не вида <a href="/nanana">menu</a>, как <a href="http://ne-tot-vid.domena.na/nanana">menu</a>? Последнее на каждой странице будет капать дополнительной каплей на весы выбора "неправельного варианта" (и, пусть, Гугль, в конце концов, разродится верным - но другие точно сделают наоборот).

Кстати, упустил в статейке как раз этот вариант - установка по всему сайту не относительных путей, а абсолютных (т.е. вида <a href="http://www.tot-vid.domena.na/nanana">menu</a>) - одна из хороших рекомендаций для ускорения/упрощения "выбора для поисковиков" нужного вам типа написания домена. Действует на все поисковики без всяких там специальных директив.

Потому, в частности - пробуйте такой метод (абсолютных путей по всему сайту) и у себя, хуже не будет, а лучше - точно может. Хотя, также знаю, что не в каждом движке таковое (использование абсолютных путей) возможно, однако в случае вашей Джумлы - вроде, кажись, такое есть.

Ну, и наконец - глюки. Они есть. И часто. Можно проветрить помещение, посадить на монитор с открытой админкой гугля свою кошку, найти папину дискету 5.25", порезать квадратиками и запихать в дисковод 3.5". Загрузиться с неё, скачать NetScape, установить его и зайти на WebCrawler.com. И поискать на нём. Чего-нибудь - просто поискать. Почуствовать кайф - ведь пятнадцать лет назад в интернете я искал именно ими - пусть и вам будет приятно...

Спасибо за развернутый ответ... Да, сайт на Джумле и если просматривать код на странице редактирования статьи, то путь в ссылках и в меню именно относительный. Нужно полазить, поискать, возможно где-то настраивается...
PS Позавчера выкинул пачку пятидюймовых дискет валявшихся еще со времен радиотеха (Минского кстати):)

Запись хоть и старая, но ссылка с форума, по которой пришел, свежая. :)

Вчера зеркальщик склеил мой_сайт с www.мой_сайт. Главным назначил WWW. Погорячившись, внес директиву Host: мой_сайт.
 Подскажите - а нужно ли, ведь снова начнет "колбасить" выдачу?
Зависит от желания. Если шибко хочется без WWW - значит можно и "снова подождать зеркальщика". Месяца через полтора-два, думаю, "переглючится". Соотвтетственно, если не нужно, чтобы "колбасило выдачу" - лучше не надо. Однако ежели, всё же, страшно раздражает - смело ставьте в хост и прописывайте в настройках гуглодминки.
Если шибко хочется без WWW - значит можно...
Хочется, только вот почему - не пойму.
Ну, значит так тому и быть, аминь. :о)

А все эти манипуляции не приведут к удалению из Яндекса уже проиндексированных страниц? В общем - будет переиндексация всего сайта?

При "переклейке" (перехода с WWW на без WWW и наоборот) вполне могут возникать временные проблемы с индексацией (а потому и трафиком), однако после прихода зеркальщика (робот Яндекса, осуществляющий "склейку") всё вернётся в норму (кстати, данный "уткаробот" в последнее время достаточно периодичен - приходит каждые пару недель).

Подскажите, данная последовательность действий предназначена и для нового сайта?

Спасибо за хороший вопрос. Нет, для нового сайта можно сразу же поставить редирект-301 на выбранный вариант написания поддомена, параллельно установив его в гуглоадминке, а также прописав директиву Host в robots.txt и добавив данный вариант в Яндекс.AddUrl.

По поводу Вашего замечания:

"Если поставить переадресацию R-301 до прихода зеркальщика - зеркальщик настолько может обидеться, что в лучшем случае придёт нескоро (можно ждать месяцами), а то и не придёт вовсе."

Роман, подскажите пожалуйста, если сайт ещё не опубликован, какой вариант быстрой и 100%-но надёжной склейки после его выкладки на hoster можно здесь предложить?
Может, действительно, сначала поставить в robots.txt директиву только для Яндекса, а для остальных пока вообще закрыть индексацию:

User-agent: Yandex
Host: мой-сайт.ру

User-agent: *
Disallow: /

...и ждать 2-3 недели пока Яндекс склеит сайты. (Я так понимаю в Яндекс.Вебмастер я увижу когда это произойдёт?) А после уже поставить переадресацию R-301 и открыть индексацию в robots.txt для всех:

User-agent: *

И тогда же для Google вписать в его админке мой-сайт.ру (без www).
Тогда уж точно везде проиндексируется только один мой-сайт.ру (без www)?

(А если сразу поставить R-301, то где гарантия, что зеркальщик не обидится насовсем?)

Во-первых, для нового (свежесделанного-непроиндексированного) сайта не стоит переживать на счёт правильности выбора Яндексом нужного вам написания домена - указанное host в robots.txt подхватится сразу и на ура, потому упомянутую переадресацию R-301 можно ставить одновременно с "выкладыванием" сайта в общий доступ.

Во-вторых, с недавних времён, вообще, данная тема "склейки www" для Яндекса практически потеряла смысл, т.к. он, наконец, обзавёлся схожим с Google инструментом указания основного написания для домена (с или без www) - главное зеркало. Для его указания просто заходите в Яндекс.Вебмастер, выделяем нужный сайт, в меню "Настройка индексирования" жмём "Главное зеркало" и выбираем нужный вариант:

 

 

 

Изменить

Всё, отныне проблемы "выбора www/без-www" для Яндекса также как и для Google - не существует. С одной лишь маленькой поправкой: помните, такой выбор (в Яндекс-админке) это всё-таки рекомендация, а не "приказ" (каковым является директива Host).

Ответьте пожалуйста на такой вопрос: А как проверить, что склейка произошла у Яши и у Гоши?

Очень просто, поищите свой сайт в них, если результат будет с нужным "значением WWW" - значит всё прошло удачно, иначе - нет.

Как понятно у вас всё написано, многие вопросы отпали, спасибо! Остался один: если у меня в стороннем компненте (Artio JoomSEF) уже указан основной домен - будет ли этого достаточно? Или лучше прописать R301 еще и в .htaccess? А если прописать, не получится ли двойная переадресация? Буду очень благодарна за ответ.

Если у вас стоит плагин (Artio JoomSEF), то ничего больше делать не нужно - он и перенаправляет (т.е. осуществляет redirect 301). Просто в разделе "Configuration" проверьте нужный вариант этого перенаправления. Например, если вы хотите иметь вариант "без WWW" - выберите вариант "Always use non-www domain".

JoomSEF Configuration non-www

Добавить комментарий

Подписка на Комментарии к "Вся правда о доменах&amp;склейке &quot;с WWW&quot; и &quot;без WWW&quot; " Подписка на NOINDEX.by - Все комментарии