robots.txt

3 рабочих способа избавления от дублей и почему среди них нет robots.txt

3 рабочих способа избавления от дублей и почему среди них нет robots.txt

Про дубли и robots.txt писалось многократно. Однако нужно понимать тонкости работы этих вещей и то, как с ними работают поисковики. Если для Яндекса содержание файла robots.txt - прямое руководство к действию, то для Google это не более чем ваша рекомендация, которой он совершенно не обязан "подчиняться". В результате такое отношение "в народе" характеризуется выражением "Google забивает на роботов". И это именно так, но лишь в том, что мы (по недопониманию) ожидаем от него, предполагая (надеясь), что он будет действовать "как Яндекс".

Очистить сайт от злых роботов

Очистить сайт от злых роботов

Сайт плохо индексируется? ТИЦ не растёт? Позиции в поисковиках падают? Одна из причин - присутствие плохих роботов на сайте!

Данный сервис призван решить эту проблему. С помощью специального алгоритма использующего редиректную пессимизацию канонической пробивки кэша в комплекте с активным директивно-параметрическим дизалловингом сайт можно очистить удалённо - просто указав адрес вашего домена.

п.с. Более эффективную серверную версию (требуется знание Linux) можно попросить в здесь (ретвитнувшим - бесплатно).

Неправильные robots.txt - примеры

Неправильные robots.txt - примеры

Правильный файл robots.txt - одно из важных условий для эффективного продвижения сайта. Часто легче понять "как правильно" - разбирая именно неправильные случаи.

Потому буду публиковать здесь найденные на реальных сайтах подобные примеры неправильных или не совсем правильных вариантов роботс.тхт.