Перейти к содержимому

MOAB

* * * * * 3 Голосов

Тег meta name robots noindex / index, nofollow / follow

meta name robots

  • Войдите, чтобы ответить
В теме одно сообщение

#1 uniks

uniks

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 869 сообщений
2 758
  • ИзИркутск

Отправлено 12 Апрель 2015 - 09:33

Мета-тег robots используется как аналог файла robots.txt, но при этом является более универсальным инструментом, позволяющим точечно исключать страницы из поисковой выдачи, сохраняя возможность роботу посещать их и при необходимости, учитывать ссылки. Для продвижения больших сайтов данный тег становится необходимостью, так как количество технических страниц со временем только растет, но их появление в выдаче поисковиков может приводить к проблемам с определением релевантности, что чревато скачками позиций и потерей трафика.


Наиболее распространенные конструкции мета-тега robots:

1. <meta name="robots" content="noindex, follow"/>: здесь мы запрещаем поисковым роботам индексировать контент на странице, при этом разрешаем переходить по размещенным на ней ссылкам. Используется чаще всего на страницах пагинации, чтобы исключить появление дубликатов текстов, но при этом добиться правильной индексации сайта, либо где мало текстов и нет пользы для поисковиков.

2. <meta name="robots" content="noindex, nofollow"/>: здесь запрещаем целиком индексировать страницу, включая ссылки на ней. Является почти полным аналогом закрытия в файле robots.txt, за исключением того, что поисковый робот будет периодически посещать ее, чтобы убедиться в наличии запрета.

3. <meta name="robots" content="index, follow"/>: разрешение на полную индексацию страницы.


В основном используется первый вариант, так как он более универсальный и позволяет роботу видеть ссылки. Важно учитывать, что если по какой-то причине хотите временно исключить страницы из поисковой выдачи (к примеру, раздел еще не до конца готов, но сайт выложен), а потом быстро вернуть, то использование meta robots позволит это реализовать лучше, чем файл robots.txt, который запрещает роботам даже посещать страницы.

Дополнительным преимуществом meta robots является его возможность точечно исключать ненужные нам страницы, тогда как в robots.txt удобнее закрывать целые разделы или весь сайт, если структура адресов страниц изначально продумана верно.

На практике постоянно приходится сталкиваться с игнорированием Google файла robots.txt, тогда как meta robots он всегда обрабатывает верно. Связано это с тем, что поисковик ставит перед собой задачу индексировать весь контент сайта, а уже дальше разбираться, что к чему. Если у вас изначально стоял запрет в robots.txt, а только потом вы добавили meta robots, то Google может не удалить страницы из поиска, а сохранить их старые версии на момент, когда вы поставили запрет в robots.txt, поэтому использование мета-тега считается более надежным.

Исключенные из поиска страницы можно посмотреть в панели вебмастера Яндекса, так удобнее понимать, не закрыто ли что-то лишнее или, наоборот, что-то было упущено. Чем проще и понятней для поисковых роботов будет ваш сайт, тем легче будет проходить его индексация и переиндексация, поэтому стремитесь исключить все лишнее, оставив только главное.


Вернуться к содержанию SEO-курса

Мои услуги: Консультации по SEO от 15000 р. | Продвижение сайтов от 29000 р. | Разработка сайтов под SEO

Алексей Благих

#2 uniks

uniks

    Почетный

  • Основатель
  • PipPipPipPipPip
  • 2 869 сообщений
2 758
  • ИзИркутск

TC Отправлено 30 Октябрь 2016 - 13:31

Интересное наблюдение в новой панели вебмастера Яндекс. Если у вас стоит meta noindex, follow, то в панели пишется, что ссылки с данной страницы не работают. То есть noindex блочит всю страницу. Решил попробовать снять запрет и посмотреть, что даст.



Похожие темы


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных



© 2017 SMO&SEO форум «WEBIMHO» — продвижение и создание сайтов, интернет-маркетинг

По вопросам рекламы на форуме и цены на рекламу
Все материалы SEO форума разрешены к копированию только с установкой гиперактивной ссылки на webimho.ru,
тем, кто этого не сделает, мы оторвем руки и ноги и поменяем местами,
а когда выйдем из тюрьмы, опять оторвем и опять поменяем.


Россия, г. Москва

Мы в соцсетях: twitter | вконтакте | facebook | livejournal