Начнем с того, что обозначим разные способы использования noindex и nofollow:
- Тег
- Метатеги и
Тег
Тег
Заблуждение №1. Основная ошибка людей, которые используют этот тег, заключается в убеждении, что если часть какого-либо текста помещена между открывающимся и закрывающимся тегом
Единственное, что данный тег запрещает – это помещение содержимого в индексную базу, но это содержимое в любом случае будет прочитано и проанализировано роботом.
Пример: На странице вашего сайта расположен некоторый текст, использующий прямые вхождения предложений из других сторонних источников. Следовательно, эти предложения снижают уникальность вашего текста, а вам необходимо, чтобы уникальность была 100%. Вы решаете закрыть эти предложения тегом
Абсолютно весь текст вашей страницы будет прочитан и обработан роботом, и ему будет известно, что текст вашей страницы не является уникальным.
Сама суть тега
Предположим, что поисковый робот зашел на вашу страницу и начал сканировать содержимое. В какой-то момент робот находит открытие тега
Для чего же тогда нужен тег
Он нужен непосредственно для того, чтобы запретить роботу выдавать в выдаче своей поисковой системы какую-либо информацию. Это могут быть, к примеру, контакты, которые по каким-либо причинам не должны отображаться в выдаче.
Заблуждение №2. Ещё одно заблуждение, которое часто встречается среди владельцев сайтов, – это мнение, что ссылка, помещенная в тег
На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут , который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.
Пример 1:
Яндекс не индексирует анкор, но учитывает ссылку на сайт и передает по ней вес
Пример 2:
Яндекс не индексирует анкор и не передает вес по ссылке на сайт
Существует два способа написания тега
1.
2. Текст, запрещённый к индексированию
Второй вариант более верный. Так как тег
Метатеги и
Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.
Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса :
«Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow»
Подведём итоги
Тег
Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно может пройти по ссылке (если информация о ней получена из других источников: карта сайта, ссылки) и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.
Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.
Внимание! Поисковый робот не обнаружит директиву noindex , если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).
Директива noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому ее рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.
Как добавить атрибут noindex
Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.
Тег
Чтобы заблокировать большинство поисковых роботов , добавьте следующий метатег в раздел
веб-страницы:
Если вы хотите закрыть доступ к странице только роботам Google , используйте такой код:
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
Помогите нам обнаружить метатеги
Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента . Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt .
Заголовок ответа HTTP
Вместо метатега можно возвращать заголовок X-Robots-Tag . В ответе должно быть указано значение noindex или none . Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу.
В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег
Что такое тег
– тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.
Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.
Что такое атрибут rel=”nofollow”
rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.
Ниже будут рассмотрены все примеры использования тега
Тег noindex и атрибут rel=“nofollow”
Тег
Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:
для ссылок
Тег
Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:
для контента - вариант 1
< noindex >< / noindex > |
для контента - вариант 2
Текст, запрещённый к индексированию
< ! -- noindex -- > Текст, запрещённыйкиндексированию< ! -- / noindex -- > |
Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.
rel=”nofollow” для ссылок
Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:
rel=”nofollow”
текст ссылки
Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок . Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:
Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.
Нужно ли использовать rel=”nofollow” для внутренних ссылок
Как использовать совместно тег
Вот пример кода, когда оптимизаторы используют тег
"совместно
Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь >.
Мета-тег
Этот мета-тег устанавливается в секцию
на той странице, которая не должна индексироваться и выглядит это следующим образом:Мета-тег
… ...< head > < meta name = "robots" content = "noindex, nofollow" / > . . . < / head > |
Суть значений noindex и nofollow в мета-теге остается та же:
Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.
– запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).
Комбинации
Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:
- нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
- выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
- – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
- – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
- - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
- - делает то же самое - разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно
Если вам необходимо закрыть от индексации страницы только для Google, можно использовать . Так говорит справка Google .
Если закрыть от индексации только для Яндекса – . Об этом также очень подробно написано в справке Яндекс .
Как сочетать meta name="robots" с robots.txt и в чем принципиальная разница
Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt . Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:
Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.
Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:
Поэтому для непроиндексированных страниц можно использовать любой из вариантов.
Если же страница уже была проиндексирована, рекомендуется установить в секцию
мета-тег . Это исключит ее из индекса и предотвратит последующее попадение в него.Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO . Примерно вот так это выглядит:
Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:
Правильно настроив его, вы сможете видеть контент, завернутый в тег
И использование мета-тега :
Теперь вы знаете как с помощью данных методов настроить правильную индексацию сайта, что может повлиять в лучшую сторону на его продвижение в целом.
Статья для тех, кому лень читать справку по GoogleWebmaster и ЯндексВебмастер
| Закрывание ненужных страниц веб-ресурса от поисковой индексации очень важно для его SEO-оптимизации, особенно на начальном этапе становления сайта или блога «на ноги». Такое действие способствует продвижению в и рекомендовано к применению для служебных страниц. К служебным страницам относятся технические и сервисные страницы, предназначенные исключительно для удобства и обслуживания уже состоявшихся клиентов. Эти страницы с неудобоваримым или дублирующим контентом, который не представляет абсолютно никакой поисковой ценности. Сюда входят - пользовательская переписка, рассылка, статистика, объявления, комментарии, личные данные, пользовательские настройки и т.д. А, также - страницы для сортировки материала (пагинация), обратной связи, правила и инструкции и т.п. |
- Метатег robots
Метатег robots
Для управления поведением поисковых роботов на веб-странице, в существует метатег robots и его атрибут content. закрытия веб-страницы от поисковой индексации,
- Метатег robots
- Почему метатег robots лучше файла robots.txt
Meta tags allow you to specify metadata about a site page. A number of meta tags are also used by search engine robots.
Note. Often the description and title meta tags are created automatically. They duplicate themselves and don"t make the search easier for the users. Meta tags with low quality content can have negative effect on the display of the site pages in the search.
The Yandex robot looks at the content of the following meta tags:
- - May be used when determining the page"s relevance to search queries.
- - The content of this tag can be used in snippets (site descriptions in search results).
- - The robot may look at this tag to determine the type of the document and its encoding.
- Used to adapt the site for mobile devices . It allows controlling the zoom of the viewport in the browser. The value width=device-width adapts the width of the viewport to the device screen. The value initial-scale=1 provides a 1:1 ratio of CSS pixels to independent device pixels.
If the meta tag is omitted, mobile browsers show the page for a computer screen by default. Since the screen width on a mobile device is significantly less than a computer screen, browsers try to optimize the content by increasing the font size, scaling the content to the screen size, or showing only the part of the content that fits on the screen.
- Redirects the user to the page with the specified URL after the users stays N seconds on the current page. For small N values, it is considered a temporary redirect, similar to server redirects with the HTTP code 302/303/307.
The Yandex robot also looks at these meta tags:
- Allows you to index text and links on the page, similar to .
- Prohibits indexing the page text.
- Prohibits following the links on the page.
- Prohibits indexing the text and following the links on the page, similar to .
- Prohibits showing the link to the saved copy on the search results page.
- Prohibits using the Yandex.Catalog description for the snippet in the search results.
In the name attribute, you can use yandex in place of robots to specify directives only for the Yandex robot. For example: \n
The robot doesn"t visit documents if they are linked to from pages containing a nofollow meta tag. However, they may be indexed if other sources link to them without nofollow .
If meta tags aren"t specified, the robot assumes that they have positive values (index, follow, archive). If the robot discovers a tag conflict, it chooses the positive value.
\n\n
There is an exception - the all attribute doesn"t affect noarchive:\n
\n\n
The noindex element
To prohibit indexing of auxiliary fragments of the text, use the
The noindex tag is not sensitive to nesting, meaning it can be placed anywhere in the HTML code of a page. You can use the tag in the following format if necessary for making the site code valid :
the text you want to prohibit from indexing
The rel = \"nofollow\" attribute of the a element
The rel=\"nofollow\" attribute is used in the tag in the following format:
The attribute works the same way as the meta tag with the nofollow value, but it only applies to the specified link.
The rel=\"canonical\" attribute of the link element
If a site has groups of pages with similar content, the webmaster can specify the preferred (canonical) address to use in search results for each group.\nFor example, a page can be accessed using two addresses:
Www.example.com/pages?id=2www.example.com/blog
If the preferred address is /blog , this should be reflected in the page code /pages?id=2:
Likewise, if the page has the rel=\"canonical\" attribute specifying the address of this page, the robot regards it as canonical. This page will be indexed and will appear in the Yandex search results.
The robot doesn"t treat a link with the rel=\"canonical\" attribute as a strict directive, but as an option that is taken into account and may be ignored.
For example, the robot might not use the address you specified if:
The document isn"t accessible for indexing at the canonical address.
The canonical address specifies a URL in a different domain or subdomain.
You specified several canonical addresses.
You also shouldn"t create chains of canonical addresses. For example, for the address example.ru/1 , the canonical address is example.ru/2 , but at the same time, the address example.ru/2 has the canonical address example.ru/3 .
