Индексация сайта, запрещённого к индексации

Вы зарегистрировали новый секретный домен. Залили туда движок и начали тайные работы над будущим мегапроектом. И вдруг - опа! Через недельку обнаруживаете, что ваш, нигде близко не регистрированный проект - давно знает и гугль и другие сотоварищи. Как же так? Где шпиёны-лазутчики? Кто зарегил новый сайт в его текущем непристойном виде процесса разработки?...

Вот не надо быть столь наивным. Большие братья давно следят за вами. И любой новый неизвестный поисковику сайт очень скоро становится ему известен. И не надо пользоваться текстовыми броузерами, для того, чтобы предательские тулбары не высасывали ваши секреты. Проще и правильней принять за правило - новый проект (если он готовится в онлайне) - сразу же закрываем в роботах (User-agent: * и Disallow: /). Иначе будет, как у меня - клиент радуется новому сайту, а в кэше свежепроиндесированного сайта лежит предыдущая текущая порнография... Мало того, на рабочей версии могла быть тьма исходящих ссылок от всевозможных бесплатных шаблонов. Так что принимаем за правило: роботы до старта проекта - на замок!

п.с. Даже при таких мерах, например как сейчас, в момент набора этих строк - сайт закрыт в роботах, никому нигде не светился, а дядя Гуголь уже умудрился его (попытаться) проиндексиовать:

Если вам помогла или просто понравилась статья - плюсаните/поделитесь, пожалуйста.

Комментарии

Насколько я знаю данные из роботса носят исключительно рекомендационный характер. И в принципе, если обращаться не ко всем паукам сразу (*), а даже к каждому "по имени", они всё равно могут проигнорировать роботсы. Хотя я с таким не сталкивался.

Где-то читал интересную статью, что Яндекс часто игнорирует "User-agent: *" и для него лучше писать отдельные команды под "User-agent: Yandex".

Добавить комментарий

Подписка на Комментарии к "Индексация сайта, запрещённого к индексации" Подписка на NOINDEX.by - Все комментарии