Robots.txt

Мобильная версия и не уникальный контент

Пока нигде не встретил описание этого вопроса, но очень интересует. Я хочу сделать для сайта мобильную версию, но не просто отдельный файл css, а нормально заточенную под моб. устройства версию с той же базой, но отличным выводом информации. Как быть с неуникальностью материалов? или вообще ...

Robots.txt, Индексация сайта, мобильная версия, Неуникальный контент

Перечень директив для ботов поисковых систем

REP (Robots Exclusion Protocol – Протокол Исключений для Роботов) обеспечивает контроль над деятельностью поисковых ботов на уровне всего сайта (файл robots.txt), на уровне отдельных страниц (META-тег или тег X-Robots) и на уровне элементов HTML-кода. Таким образом, можно контролировать и ...

Robots.txt, директивы

Запрещать ли к индексации "метки"?

Вот задумался тут над таким вопросом... Как правило в блогах (да и не в блогах тоже) каждому вновь созданному посту можно присвоить так называемые "метки" (на данном форуме оно называется "теги"). Они хорошо облегчают поиск информации по сайту, но, так как меток можно присвоить несколько, со ...

Robots.txt, SEO, Дублирование контента, Индексация, Пессимизация сайта, Ссылочная структура

Зеркала сайта - это один сайт или несколько?

Проясните, пожалуйста вопрос: что такое зеркала сайта? Одни источники пишут, что зеркала сайта - это его разные прозвища. Например, девушку с именем София можно называть Соня, Софи и т. д. Как бы мы Софию ни называли, это будет одна и та же девушка. В другом источнике сказано, что зеркало - это ...

301-ый редирект, Robots.txt, Зеркала сайта

"Распознается в качестве каталога" - это плохо? (Google Webmaster Tools)

Что означает в инструментах для веб-мастеров Гугла следующая характеристика сайта: "Распознается в качестве каталога. У некоторых файлов могут быть другие ограничения". То есть это плохо?.. Тогда как должен распознаваться "правильный" сайт?

Google Webmaster Tools, Robots.txt
RSS-материал