Данный тег применяется для работы с поисковыми роботами, которые индексируют страницу. При помощи данного тега можно повлиять на роботов и отдать им нужную информацию. Официальный синтаксис meta name="robots":
index
Все поисковые роботы могут индексировать страницу. Стандартное значение.
noindex
Запрет на индексация роботами.
none
Это сокращение для noindex, nofollow. Для поисковой системы запрет к любым действиям со страницой.
follow
Говорит поисковым паукам о том, что ссылки на данной страницы стоит не индексировать или стоит индексировать.
nofollow
Говорит о том, что не стоит индексировать все ссылки на странице.
noarchive
Запрещает показывать кеш копию страницы.
nocache
Тоже, что и noarchive но для поисковых систем MSN/Live
nosnippet
Запрещает показывать сниппет страницы и запрещает кешировать страницу. Применимо только для Google.
noodp
Запрещает поисковым системам использовать описание сайта из DMOZ, как сниппет в поисковой выдаче.
noydir
Блокирует Yahoo! от использования в качестве сниппета описания сайта из директории ссылок Yahoo!. Применимо только для этой поисковой системы, остальные тег не учитывают.

Для блокировки опредленного робота используем название робота, названия основных:
Google
GOOGLEBOT
Yahoo!
SLURP
MSN / Live
MSNBOT
Ask
TEOMA

Таблица применимости каждого тега для основных поисковых систем ориентированных на западный рынок.

Ссылки на официальные страницы:
Google
Ask