Тег Noindex в Яндексе — скрытие кода от индексации в Yandex. Как правильно использовать атрибут - секреты SEO Что такое noindex и nofollow

В последнее время, анализируя проблемные сайты клиентов, часто сталкиваюсь с тем фактом, что многие из них активно используют тег для скрытия части контента от Яндекса. Для тех, кто не знаком с этим тегом, привожу ссылку на документацию . Как там указано, он предназначен для запрета индексирования служебных участков текста.

Стоит заметить, что в документации указан ответ на вопрос “как использовать этот тег”, но совсем не сказано “зачем он введён”. Отчасти, это и является причиной возникновения многих вопросов от вебмастеров.

Если мы поищем в Google ответ на вопрос какая польза от тега noindex или любые рекомендации от сотрудников Яндекса по этому поводу, то ожидаемого ответа на вопросы, зачем он всё-таки был введён и в каких случаях его рекомендуется использовать, мы не получим. Сотрудники Яндекса не берут на себя ответственность в подобных рекомендациях, но при этом и не запрещают использовать noindex в своих целях.

Какие были преимущества у этого тега?

1. Можно было закрыть блок внешних ссылок от индексации (как это делает, например, студия Артемия Лебедева в легендарном смайлике).

Действительно, удобно было закрывать таким способом немодерируемые ссылки, в том числе и в комментариях. Но после введения Яндексом возможности использовать rel=nofollow, как это делают другие крупные поисковые системы, можно смело отказаться от тега noindex, если он использовался только для закрытия внешних ссылок.

2. Можно управлять сниппетом (описанием сайта) в поисковой выдаче.

Так как Яндекс не всегда умеет формировать из контента страницы хорошие сниппеты для своей выдачи, оптимизаторы нашли выход использовать , подбирая оптимальные варианты. Кто из вас так делает? Наверняка меньшинство, так как это трудная и долгая работа. Вместо того, чтобы решить проблему на своей стороне (в алгоритмах), Яндекс предлагает решать проблему вебмастерам. Кстати, в Google нет подобного тегу noindex функционала 😉

3. Для Google показывать одно, для Яндекса – другое!

Тегом вебмастера пытались оптимизировать контент сайта и для Яндекса (от которого надо было спрятать некоторые участки кода) и для Google, используя совместно другие техники. Не это ли является явным манипулированием поисковыми алгоритмами или подменой контента, против которой так яро борятся яндексоиды? 🙂

4. Подбирать оптимальную плотность ключевых фраз.

Доходит до того, что в тексте оптимизаторы лишние фразы закрывают этим тегом, чтобы Яндекс не счел этот текст спамным. При этом, для посетителей он-таки часто остаётся спамным 🙂 Отсюда и корни большинства бед в SEO , а нужно было лишь дать оптимизаторам этот тег. С другой стороны, Яндекс всегда может узнать по таким маркерам, работал ли с текстом оптимизатор или это нормальный контент.

Кстати, Яндекс не рекомендовал использовать noindex для подбора оптимальной плотности ключевиков, это уже происки оптимизаторов (об этом яндекс и не мог подозревать при введении поддержки тега), зато он активно пессимизирует документы, где часто встречается этот тег.

5. Закрывать счетчики и баннеры.

Экономя на каждой ссылке, вебмастера закрывали в noindex и счетчики посещаемости. Прошло много лет, сейчас Яндекс прекрасно понимает, где что у вас расположено на сайте (в том числе и счетчики). Закрывать их от индексации смысла нет, лучше убрать всё неиспользуемое.

Как мы видим, используется лишь оптимизаторами и всё, для чего используется это не попытка сделать ресурс лучше, а попытка управлять поисковым алгоритмом в свою сторону, хотя это и не всегда получается. Также все рекомендации, присутствующие в сети по использованию noindex даны оптимизаторами и ни одной от А.Садовского или И.Сегаловича.

Учитывая всё вышеперечисленное, настоятельно не рекомендуется использовать инструмент серой оптимизации noindex, особенно если он раньше не использовался на сайте и существуют дополнительные проблемы с ресурсом (фильтры, подмена релевантной страницы, и другие).

И ещё… У яндекса нет ни одной причины продолжать поддерживать тег noindex (разве что “не трогать то, что работает”). После ввода поддержки атрибута nofollow для ссылок, сложно понять мотив яндексоидов оставить noindex. Возможно, скоро его поддержка будет прекращена.

Таков мой взгляд на однобокий тег noindex. А что вы думаете по этой теме?

Секреты оптимизации сайтов заключаются не только в их продвижении по ключевым запросам, заботе о юзабилити и увеличении трафика, но и в правильном использовании html-кода. Правильное применение тегов и их атрибутов часто помогает избежать многодневной работы. Есть популярные и эффективные приемы. Наверное, в SEO-оптимизации нельзя отделить друг от друга атрибуты rel nofollow и тег noindex. Поэтому в этой статье пойдет речь и о том и о другом, а также о том, для чего они нужны, стоит ли их ставить рядом и в каких случаях ими пользоваться, а когда этого делать не стоит.

Скрыть ссылки от поисковых роботов

Конечно, любой сайт создается с целью получить какую-либо прибыль с него. И вес каждой страницы ценится веб-мастером. Но не размещать в своих публикациях невозможно. На это есть причины, и вот несколько из них:

Покупка и продажа ссылок приносит прибыль;

Повышается посещаемость интернет-проекта.

Существует мнение, что атрибут тега a - rel nofollow поможет скрыть анкоры от поисковых роботов и при этом вес страницы сохранится. Но это утверждение возможно только при правильном написании кода. Точное написание этого атрибута выглядит так:

>анкор.

Правильная перелинковка только придает сайту вес и повышает его ранжирование. Излишне говорить, что для внутренних ссылок нет нужды использовать a href rel nofollow.

Пример использования

Объяснение в общих чертах не всегда открывает полную картину важности применения тех или иных тегов и их атрибутов. Скрыть ссылку, не отдать вес страницы своего сайта другому. Что это? Просто жадность? Нет, это далеко не так. К примеру, на многих сайтах есть кнопки социальных сетей. Согласитесь, что их траст и так велик. Коды социальных кнопок с сохранением веса собственных страниц прописываются с использованием атрибутов target blank, rel nofollow. Первый из них после клика приведет посетителя на сторонние интернет-ресурсы, открыв еще одну вкладку браузера. Второй - не позволит уменьшить вес страницы. Например, для кнопки социальной сети Twitter это будет выглядеть так:

a rel=”nofollow”target=”_blank”href=”URL/home/.

Стоит оговориться о валидности кода - соблюдении всех технических требований html-разметки. Тег rel external nofollow не только не хуже заменяет атрибут target_blank, но и лучше воспринимается роботами поисковых систем.

A rel href nofollow, или Когда он еще нужен

Скрытия от поисковиков ссылок на «плохие» или нетематические сайты;

Того, чтобы спрятать большое количество адресов на сторонние ресурсы;

Скрытия ссылок в случае, если веб-мастер ими торгует;

Непередачи веса мегапопулярным порталам, таким как Яндекс или Google;

Скрытия ссылок в комментариях.

Nofollow спасает сайты, а особенно блоги от спама. Непроверенные ссылки, закрытые таким атрибутом, будут все реже и реже появляться в комментариях.

Noindex, и почему о нем стоит говорить

Запрет индексирования можно задать не только на ссылке внешние и внутренние, но и на отдельные элементы текстов, а также страницы целиком. Для этого веб-мастера используют тег noindex. Скрывает он только тексты. К картинкам и фотографиям не применим. Ссылки же, которые успешно прячет rel nofollow, noindex утаить от поисковых систем не может. Анкоры робот не увидит, а вот адреса проиндексирует. Noindex обычно используют для скрытия части контента:

С нецензурными выражениями;

С неуникальным текстом;

Тег, безусловно, использовать нужно. Но работает он не на каждом движке. Дело в том, что noindex не валиден, то есть не соответствует стандартам. Именно поэтому одна из самых популярных платформ для ведения блогов WordPress «выкидывает» тег из своего кода. Секрет валидности заключается в применении нескольких знаков. . Написав код в таком виде, можно быть уверенным, что страницы блога на WordPress Яндекс не проиндексирует.

Совместное использование

Стоит ли прописывать и тег, и атрибут в коде страницы? Ничего не мешает использовать noindex и a rel nofollow в паре. Тег не мешает атрибуту, и наоборот. Ставят их рядом потому, что поисковые системы по-разному видят код сайта. Например, при использовании и тег, и атрибута веб-мастер может быть уверен, что анкор робот Яндекса не распознает, как и не увидит и саму ссылку. Google же увидит текст, но вес не передаст сторонним страницам других сайтов.

Специально для новичков

Оптимизация сайтов - новая на рынке труда и интересная работа. Отсутствие системно спланированных информационных ресурсов для новичков значительно усложняет их деятельность. И естественно, молодые веб-мастера совершают ошибки. Кто-то наполняет контент безумным количеством ссылок, кто-то оставляет страницы вообще без одной. Та же картина в случае с расстановкой тега noindex и атрибута rel nofollow.

Стремление вывести сайт в ТОП поисковых систем является причиной совершения критической ошибки. Дело в том, что новички часто закрывают внешние ссылки и тегом, и атрибутом. Это в какой-то степени действительно сохраняет вес каждой страницы сайта. Но правда и в том, что те же внешние ссылки повышают доверие со стороны поисковых систем. Компенсировать потерю веса можно продвижением по низко-, и среднечастотным запросам.

Любому оптимизатору стоит помнить, что любая информация будет восприниматься читателями с большим доверием в случае возможности перейти по ссылке к ее источнику. Наверняка сами веб-мастера вряд ли возьмут на вооружение книгу или брошюру, в которой отсутствует список используемой литературы.

Все больше пользователей Интернета ориентируется на авторитетные источники. И если молодой сайт не будет ссылаться на их мнение, то ему будет намного сложнее удержать читателей, привлечь подписчиков. Само собой это негативно повлияет на оптимизацию ресурса по Так стоит ли слепо использовать атрибуты rel nofollow?

Хороший веб-мастер заботится о своем читателе. Помнит, что одна из основ Интернета - это ссылки на авторитетные ресурсы, предоставляющие достоверную информацию. Сайты, сделанные для людей, поисковики «любят». И вес страниц не единственный параметр, по которому страницы с контентом попадают в ТОП. По 800 параметрам Яндекс оценивает интернет-проекты.

И в конце концов, вес страниц имеет значение только для публикаций, получивших его от ссылок со сторонних сайтов. Как показывает опыт, доноры, оставив этот параметр ранжирования себе, не поднимаются по нему выше в «глазах» поисковых систем.

Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.

Внимание! Поисковый робот не обнаружит директиву noindex , если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).

Директива noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому ее рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.

Как добавить атрибут noindex

Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.

Тег

Чтобы заблокировать большинство поисковых роботов , добавьте следующий метатег в раздел веб-страницы:

Если вы хотите закрыть доступ к странице только роботам Google , используйте такой код:

Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.

Помогите нам обнаружить метатеги

Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента . Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt .

Заголовок ответа HTTP

Вместо метатега можно возвращать заголовок X-Robots-Tag . В ответе должно быть указано значение noindex или none . Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу:

HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)

Начнем с того, что обозначим разные способы использования noindex и nofollow:

• Тег и атрибут
• Метатеги и

Тег и атрибут

Тег – это HTML-тег, который запрещает Яндексу индексировать ту или иную область страницы сайта. Для поисковой системы Google этот тег не работает, более того, в Google вообще не предусмотрена возможность исключения части текста страницы из индекса.

Заблуждение №1. Основная ошибка людей, которые используют этот тег, заключается в убеждении, что если часть какого-либо текста помещена между открывающимся и закрывающимся тегом , то робот Яндекса не станет читать и анализировать этот текст.

Единственное, что данный тег запрещает – это помещение содержимого в индексную базу, но это содержимое в любом случае будет прочитано и проанализировано роботом.

Пример: На странице вашего сайта расположен некоторый текст, использующий прямые вхождения предложений из других сторонних источников. Следовательно, эти предложения снижают уникальность вашего текста, а вам необходимо, чтобы уникальность была 100%. Вы решаете закрыть эти предложения тегом , чтобы Яндекс считал ваш текст уникальным. Это заблуждение.

Абсолютно весь текст вашей страницы будет прочитан и обработан роботом, и ему будет известно, что текст вашей страницы не является уникальным.

Сама суть тега – «не индексировать», значит запрета на чтение нет.

Предположим, что поисковый робот зашел на вашу страницу и начал сканировать содержимое. В какой-то момент робот находит открытие тега , что является сигналом роботу – дальше текст не индексировать. Но чтобы найти то место кода, где тег закрывается, роботу необходимо прочесть содержимое, идущее после открытия данного тега. Следовательно, даже теоретически нельзя запретить роботам читать содержимое с помощью тега .

Для чего же тогда нужен тег ?

Он нужен непосредственно для того, чтобы запретить роботу выдавать в выдаче своей поисковой системы какую-либо информацию. Это могут быть, к примеру, контакты, которые по каким-либо причинам не должны отображаться в выдаче.

Заблуждение №2. Ещё одно заблуждение, которое часто встречается среди владельцев сайтов, – это мнение, что ссылка, помещенная в тег , не будет учтена поисковым роботом. Как я говорил ранее, всё, что находится внутри тега , будет прочитано и проанализировано роботом Яндекса. И ссылки не являются исключением. Единственное отличие размещенных обычным образом ссылок от ссылок в теге – это то, что текст (анкор) ссылки не будет проиндексирован.

На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут , который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.

Пример 1:
Создание и продвижение сайтов

Яндекс не индексирует анкор, но учитывает ссылку на сайт и передает по ней вес

Пример 2:
Создание и продвижение сайтов

Яндекс не индексирует анкор и не передает вес по ссылке на сайт

Существует два способа написания тега в коде:

1.

2. Текст, запрещённый к индексированию

Второй вариант более верный. Так как тег не входит в официальную спецификацию языка разметки HTML, то его присутствие в коде может вызвать недопонимание у других поисковых систем, которые будут считать его наличие за ошибку. Чтобы сделать код страницы валидным, для всех поисковых роботов рекомендуется использовать закомментированный вариант написания. Яндекс такое написание распознает, а другие поисковые роботы не будет обращать внимание на его присутствие.

Метатеги и

Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.

Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса :
«Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow»

Подведём итоги

Тег используем только для того, чтобы запретить роботам Яндекс выдавать информацию в выдаче.

Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно может пройти по ссылке (если информация о ней получена из других источников: карта сайта, ссылки) и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.