Синтаксис meta name=”robots”
Данный тег применяется для работы с поисковыми роботами, которые индексируют страницу. При помощи данного тега можно повлиять на роботов и отдать им нужную информацию. Официальный синтаксис meta name="robots":
index
Все поисковые роботы могут индексировать страницу. Стандартное значение.
noindex
Запрет на индексация роботами.
none
Это сокращение для noindex, nofollow. Для поисковой системы запрет к любым действиям со страницой.
follow
Говорит поисковым паукам о том, что ссылки на данной страницы стоит не индексировать или стоит индексировать.
nofollow
Говорит о том, что не стоит индексировать все ссылки на странице.
noarchive
Запрещает показывать кеш копию страницы.
nocache
Тоже, что и noarchive но для поисковых систем MSN/Live
nosnippet
Запрещает показывать сниппет страницы и запрещает кешировать страницу. Применимо только для Google.
noodp
Запрещает поисковым системам использовать описание сайта из DMOZ, как сниппет в поисковой выдаче.
noydir
Блокирует Yahoo! от использования в качестве сниппета описания сайта из директории ссылок Yahoo!. Применимо только для этой поисковой системы, остальные тег не учитывают.
Для блокировки опредленного робота используем название робота, названия основных:
Google
GOOGLEBOT
Yahoo!
SLURP
MSN / Live
MSNBOT
Ask
TEOMA
Таблица применимости каждого тега для основных поисковых систем ориентированных на западный рынок.
| Значение | Yahoo! | MSN / Live | Ask | |
|---|---|---|---|---|
| index | да | да | да | да |
| noindex | да | да | да | да |
| none | да | Doubt | Doubt | Да |
| follow | Да | Doubt | Doubt | Да |
| nofollow | Да | Да | Да | Да |
| noarchive | Да | Да | Да | Да |
| nosnippet | Да | Нет | Нет | Нет |
| noodp | Да | Да | Да | Нет |
| noydir | Нет | Да | Нет | Нет |
Ссылки на официальные страницы:
Google
Ask