Тэг применяют когда нужно закрыть от индексирования поисковой системой определенного фрагмента текста на странице. Так же это могут быть коды счетчиков таких как liveinternet. ru, чтобы закрыть исходящие ссылки со страниц находящиеся в них. Чтобы закрыть исходящие ссылки на сайте и предупредить перетекание веса на другой сайт, лучше все таки использовать атрибут rel=»nofollow».

Для закрытия ссылок от индексации обычно использую такую конструкцию: анкор.

А вот тэг используется, чтобы закрыть от индексации фрагмент текста или рекламные блоки полностью, а не только ссылки из них. Также этим тегом закрывают блоки меню, чтобы они не передавали вес другим страницам бесконтрольно. Иногда возникает необходимость закрыть дублирующиеся фрагменты текста в рубриках. Особенно это актуально для сайтов со структурой блогов, у которых на главное странице лента из превью (анонсов) статей. Одновременно эти анонсы выводятся на страницах категорий этих статей. И чтобы избежать дублирования текстов их закрывают от индексации на страницах категорий, страниц тэгов похожих статей и тому подобное.

Но есть проблема тег не валидный. То есть при проверке сайта на валидность кода, тэг не проходит по новым стандартам W3C. Чтобы угодить валидатору и закрыть ненужную информацию от индексации нужно закомментировать.

Яндекс сказал, что он понимает такую конструкцию и в то же время валидность вашего сайта не пострадает.

Но меня больше всего заинтересовал тот факт, что робот яндекса может понимать функции закомментированного куска кода. Что же еще он может понимать?

Более подробную и достоверную информацию можно почерпнуть на странице помощи яндекса.