robots.txt

Правильный файл robots.txt для Drupal с точки зрения SEO в первую очередь предназначен для борьбы с дублями страниц сайта. Кроме того "правильный" подразумевает в том числе и то, что на сайте установлены и другие "правильные вещи": во-первых, стоит модуль pathauto (который в частности подразумевает включенные "чистые ссылки"), а во-вторых, стоит модуль Global Redirect, предназначенный для автоматической переадресации с "внутридрупаловских" URL (типа node/123) на их синонимы (т.е. URL, сделанные пасавто).

Правильный файл robots.txt - одно из важных условий для эффективного продвижения сайта. Часто легче понять "как правильно" - разбирая именно неправильные случаи. Потому буду публиковать здесь найденные на реальных сайтах подобные примеры неправильных или не совсем правильных вариантов роботс.тхт. Здесь и далее примеры из реальной жизни, однако вебмастера могут (надеюсь данная статья этому также поможет :) ) их сменить, потому публикую именно исходники, пропуская слишком объёмные примеры).