NOINDEX

NOINDEX

Термин NOINDEX имеет несколько значений и все они связаны с запретом индексации (о чём не сложно догадаться из названия):

Тег <NOINDEX>

Парный тег <NOINDEX></NOINDEX> поддерживается (лишь) поисковиками Яндекс и Рамблер и предназначен для запрета к индексации текста страницы (а также любой другой информации/кода), находящегося между открывающим и закрывающим тегами.

Никакие другие поисковые системы не используют тег NOINDEX и при наличии на странице игнорируют его также, как и любой другой тег, не удовлетворяющий стандартам.

При использовании нужно быть внимательным в использовании данного тега и не забывать закрывать </NOINDEX>, иначе, к примеру, может получиться ситуация, которая была с данным сайтом, когда в качестве "ноиндекс-эксперимента" в его названии (внутри тега <title>) присутствовал текст <NOINDEX>, в результате чего NOINDEX.by упорно не появлялся в индексе Яндекса.

Тег <NOINDEX> безразличен к вложенности (что, в частности, подтвердил вышеописанный эксперимент), потому при желании его можно сделать полностью HTML-валидным:

<!--noindex-->Текст или код, закрываемый от индексации Яндекс/Рамблер<!--/noindex-->

Вышеприведенный вариант кода - рекомендация от Яндекс. В сети можно встретить другие "самопальные" варианты валидации NOINDEX, также вполне работающие (в отношении поддерживающих NOINDEX ПС):

HTML:
<span class="inv"><![CDATA[<noindex>]]></span>
Запрещённое для индексации
<span class="inv"><![CDATA[</noindex>]]></span>
CSS-класс «inv»:
.inv {display:none}

Использование тега NOINDEX

Наиболее распространённое (ранее, как минимум - до мая 2010 года, пока Яндекс "не понимал" атрибут nofollow) использование тега  было "закрытие счётчиков" - запрет их кода для индексации, дабы уменьшить количиество исходящих ссылок с каждой страницы сайта. (Подобный метод сложно назвать "удачным", лучше использовать "Ставим правильные счётчики на сайт").

Кто-то в попытке максимально оптимизировать сайт внутренней перелинковкой - закрывает с помощью <NOINDEX> ссылки в меню (навигации). Данный способ также сложно назвать "удачным", потому без полного понимания зачем это нужно и как оно работает - настоятельно не рекомендуется его использовать.

Часто, особенно с появлением у Яндекса фильтра ТС (Ты Спамный) - тегом noindex закрывается "лишний" (для Яндекса - ибо для Google он "остаётся", т.е. им учитывается и используется при ранжировании страницы по имеющимся в нём ключевым фразам) текст на странице. И если для некоторых случаев, к примеру, интернет-магазинов, где в noindex закрываются много раз повторяющиеся блоки описания товара - ещё можно считать такое оправданным, то наличие noindex на главной странице - настоятельно не рекомендуется, т.к. судьба его трактовки Яндексом даже в среднесрочной перспективе - крайне не очевидна.

Итого, совет по использованию тега <NOINDEX>: если есть хоть какой-то вариант его не использовать - лучше его не использовать.

 

noindex - значение мета-тега robots

В отличе от тега <NOINDEX>, использование noindex в качестве значения мета-тега robots является абсолютно стандартным. В таком варианте он также запрещает к индексации текст страницы и поддерживается (учитывается, используется) всеми поисковыми системами без исключения.

Используется как отдельно, так и вместе с другими значениями:

<meta name="robots" content="noindex, follow"/>

Текст страницы запрещён к индексации, однако по ссылкам робот переходить может.

Использование "meta name="robots" content="noindex"

Данная конструкция используется крайне редко, т.к. есть много других, более удачных способов для запрета к индексации.
Кроме того нужно учитывать один, может быть не очень очевидный факт: для того, чтобы учесть, что данную страницу нельзя индексировать - роботу таки нужно хотя бы первый раз её прочитать. В результате может оказаться, что запрещённая таким образом таки появится в индексе. После (в теории) она должна из него уйти, однако (на практике) при наличии сложных запрещающих условий на индексацию страниц сайта - совсем не факт.

Потому данный (давно устаревший) способ запрета индексации - рекомендовать нельзя.

Директива Noindex

Малоизвестный недокументированный способ использования Noindex в качестве директивы файла robots.txt:

Noindex: /запрещённая к индексации страница или раздел сайта

Данная директива поддерживается (лишь) Google и (скорей всего) является аналогом Disallow. Другие поисковые системы (в т.ч. Яндекс) её игнорируют.

Для примера работу директивы Noindex - можно увидеть на этом сайте.

Если вам помогла или просто понравилась статья - плюсаните/поделитесь, пожалуйста.

Комментарии

Поставил теги на некоторые блоки своего сайта, в основном дублированный контент, пока не было апов яши, как будут и пройдет переиндексация, можно сразу все закономерности проследить.

Как включить noindex в bitrix?
В модуле блогов найдите опцию, включив которую ко всем ссылкам в сообщениях и комментариях будет добавляться атрибут rel='nofollow' и при этом сам код ссылок будет обрамляться тегом <noindex>.
А не подскажите - как в друпале в комментариях поле "Имя" обернуть в тег noindex?
Тут показано как это делается для всех ссылок в Drupal (верно для 6.х, аналогично можно сделать и для других версий).

п.с. Если ссылки нет, то не будет добавлен rel=nofollow (ведь это атрибут тега <A>, а раз его нет, нет и нофоллова), однако "обрамление" самого текста имени пользователя тегом <NOINDEX> - останется.
Странно, у меня на вордпрессе при попытке поставить
<NOINDEX> ссылка </NOINDEX>
теги исчезли, а попробовал
<!--noindex-->ссылка<--/noindex-->
стало норм - почему так?
Видимо просто потому, что ваш редактор не в курсе про тег <NOINDEX> и потому просто не отобразил всё, что внутри него/ В тов ремя как "<!--noindex-->" для него есть обычный (стандартный, валидный) комментарий (внутри тега "<!--" и "-->"), потому с ним всё нормально. Кстати, это дополнительный (и весьма показательный) повод использовать именно валидный код NOINDEX.

В уордпрессе теги сохраняются до следующего редактирования, как только вы что-то изменили в записи и обновили страницу,  то теги пропадают.

<!--noindex--> ссылка <!--noindex--> - а про такое не знал, дзякуй. )

Вот один из моих блогов - он на Блоггере. Можно на нем как-то закрыть внешние ссылки? На постах, наверное, можно закрывать каждую ссылку, а вот как на главной странице?

А как добавить в редактор? А то у меня та же самая проблема.

  • noindex - лучше его не использовать.
  • "meta name="robots" content="noindex" - данный (давно устаревший) способ запрета индексации - рекомендовать нельзя.
  • rel=nofollow  - там вообще непонятная ситуация, что с ним творится, так что я даже и боюсь туда лезть.
Так чем же тогда запрещать то?

Используйте для запрета rel=nofollow, закрывайте с помощью скриптов (вручную) или ("автоматически") с помощью плагинов, например, преобразующих внешние ссылки во внутренние (с редиректом через какой-то файл). Если "страшно надо закрыть" и чтобы это было "незаметно", закрывайте как описано здесь - "не раздражающие реферальные ссылки". Но лучше всего, фильтровать всех недостойных акцепторов (т.е. не ставить на них ссылки вообще), а которое достойные, то смело ставить dofollow.

Скажите пожалуйста, как снять теги ноуиндекс и ноуфолоу в корне сайта или в шаблоне, где их смотреть? А то пришло сообщение с биржи, что сайт весь в тегах ноуиндекс и ноуфолоу, из-за этого робот не может зайти на сайт.

Зависит от конкретной CMS, которую вы используете на своём сайте. В частности, здесь я описывал, как делается подобное для Друпал 6.

Вскоре буду предоставлять услуги по разработке и раскрутки сайтов. Нужно будет делать станицы готовых работ и там ссылку на сайт давать как сделать так чтобы вес не отдавать с таких ссылок?

Для этого (запрещения передачи веса) используйте nofollow.

Добавить комментарий

Подписка на Комментарии к "NOINDEX" Подписка на NOINDEX.by - Все комментарии