Перечень директив для ботов поисковых систем

REP (Robots Exclusion Protocol – Протокол Исключений для Роботов) обеспечивает контроль над деятельностью поисковых ботов на уровне всего сайта (файл robots.txt), на уровне отдельных страниц (META-тег или тег X-Robots) и на уровне элементов HTML-кода. Таким образом, можно контролировать и ...