Цель этого руководства – помочь веб-мастерам и администраторам в использовании robots.txt.
Введение
Стандарт исключений для роботов по сути своей очень прост. Вкратце, это работает следующим образом:
Когда робот, соблюдающий стандарт заходит на сайт, он прежде всего запрашивает файл с названием «/robots.txt». Если такой файл найден, Робот ищет в нем инструкции, запрещающие индексировать некоторые части сайта.
Где размещать файл robots.txt
Робот просто запрашивает на вашем сайте URL «/robots.txt», сайт в данном случае – это определенный хост на определенном порту.
| URL Сайта
|
URL файла robots.txt
|
| http://www.w3.org/
|
http://www.w3.org/robots.txt
|
| http://www.w3.org:80/
|
http://www.w3.org:80/robots.txt
|
| http://www.w3.org:1234/
|
http://www.w3.org:1234/robots.txt
|
| http://w3.org/
|
http://w3.org/robots.txt
|
На сайте может быть только один файл «/robots.txt». Например, не следует помещать файл robots.txt в пользовательские поддиректории – все равно роботы не будут их там искать. Если вы хотите иметь возможность создавать файлы robots.txt в поддиректориях, то вам нужен способ программно собирать их в один файл robots.txt, расположенный в корне сайта. Вместо этого можно использовать .
Не забывайте, что URL-ы чувствительны к регистру, и название файла «/robots.txt» должно быть написано полностью в нижнем регистре.
| Неправильное расположение robots.txt
|
| http://www.w3.org/admin/robots.txt
|
|
| http://www.w3.org/~timbl/robots.txt
|
Файл находится не в корне сайта
|
| ftp://ftp.w3.com/robots.txt
|
Роботы не индексируют ftp
|
| http://www.w3.org/Robots.txt
|
Название файла не в нижнем регистре
|
Как видите, файл robots.txt нужно класть исключительно в корень сайта.
Что писать в файл robots.txt
В файл robots.txt обычно пишут нечто вроде:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
В этом примере запрещена индексация трех директорий.
Затметьте, что каждая директория указана на отдельной строке – нельзя написать «Disallow: /cgi-bin/ /tmp/». Нельзя также разбивать одну инструкцию Disallow или User-agent на несколько строк, т.к. перенос строки используется для отделения инструкций друг от друга.
Регулярные выражения и символы подстановки так же нельзя использовать. «Звездочка» (*) в инструкции User-agent означает «любой робот». Инструкции вида «Disallow: *.gif» или «User-agent: Ya*» не поддерживаются.
Конкретные инструкции в robots.txt зависят от вашего сайта и того, что вы захотите закрыть от индексации. Вот несколько примеров:
Запретить весь сайт для индексации всеми роботами
User-agent: *
Disallow: /
Разрешить всем роботам индексировать весь сайт
User-agent: *
Disallow:
Или можете просто создать пустой файл «/robots.txt».
Закрыть от индексации только несколько каталогов
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Запретить индексацию сайта только для одного робота
User-agent: BadBot
Disallow: /
Разрешить индексацию сайта одному роботу и запретить всем остальным
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
Запретить к индексации все файлы кроме одного
Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:
User-agent: *
Disallow: /docs/
Либо вы можете запретить все запрещенные к индексации файлы:
User-agent: *
Disallow: /private.html
Disallow: /foo.html
Disallow: /bar.html
Любая страница на сайте может быть открыта или закрыта для индексации поисковыми системами. Если страница открыта, поисковая система добавляет ее в свой индекс, если закрыта, то робот не заходит на нее и не учитывает в поисковой выдаче.
При создании сайта важно на программном уровне закрыть от индексации все страницы, которые по каким-либо причинам не должны видеть пользователи и поисковики.
К таким страницам можно отнести административную часть сайта (админку), страницы с различной служебной информацией (например, с личными данными зарегистрированных пользователей), страницы с многоуровневыми формами (например, сложные формы регистрации), формы обратной связи и т.д.
Пример:
Профиль пользователя на форуме о поисковых системах Searchengines.
Обязательным также является закрытие от индексации страниц, содержимое которых уже используется на других страницах.Такие страницы называются дублирующими. Полные или частичные дубли сильно пессимизируют сайт, поскольку увеличивают количество неуникального контента на сайте.
Как видим, контент на обеих страницах частично совпадает. Поэтому страницы категорий на WordPress-сайтах закрывают от индексации, либо выводят на них только название записей.
То же самое касается и страниц тэгов– такие страницы часто присутствуют в структуре блогов на WordPress. Облако тэгов облегчает навигацию по сайту и позволяет пользователям быстро находить интересующую информацию. Однако они являются частичными дублями других страниц, а значит – подлежат закрытию от индексации.
Еще один пример – магазин на CMS OpenCart.
Страница категории товаров http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html .
Страница товаров, на которые распространяется скидка http://www.masternet-instrument.ru/specials.php .
Данные страницы имеют схожее содержание, так как на них размещено много одинаковых товаров.
Особенно критично к дублированию контента на различных страницах сайта относится Google. За большое количество дублей в Google можно заработать определенные санкции вплоть до временного исключения сайта из поисковой выдачи.
Еще один случай, когда содержимое страниц не стоит «показывать» поисковику – страницы с неуникальным контентом. Типичный пример — инструкции к медицинским препаратам в интернет-аптеке. Контент на странице с описанием препарата http://www.piluli.ru/product271593/product_info.html неуникален и опубликован на сотнях других сайтов.
Сделать его уникальным практически невозможно, поскольку переписывание столь специфических текстов – дело неблагодарное и запрещенное. Наилучшим решением в этом случае будет закрытие страницы от индексации, либо написание письма в поисковые системы с просьбой лояльно отнестись к неуникальности контента, который сделать уникальным невозможно по тем или иным причинам.
Как закрывать страницы от индексации
Классическим инструментом для закрытия страниц от индексации является файл robots.txt. Он находится в корневом каталоге вашего сайта и создается специально для того, чтобы показать поисковым роботам, какие страницы им посещать нельзя. Это обычный текстовый файл, который вы в любой момент можете отредактировать. Если файла robots.txt у вас нет или если он пуст, поисковики по умолчанию будут индексировать все страницы, которые найдут.
Структура файла robots.txt довольно проста. Он может состоять из одного или нескольких блоков (инструкций). Каждая инструкция, в свою очередь, состоит из двух строк. Первая строка называется User-agent и определяет, какой поисковик должен следовать этой инструкции. Если вы хотите запретить индексацию для всех поисковиков, первая строка должна выглядеть так:
Если вы хотите запретить индексацию страницы только для одной ПС, например, для Яндекса, первая строка выглядит так:
Вторая строчка инструкции называется Disallow (запретить). Для запрета всех страниц сайта напишите в этой строке следующее:
Чтобы разрешить индексацию всех страниц вторая строка должна иметь вид:
В строке Disallow вы можете указывать конкретные папки и файлы, которые нужно закрыть от индексации.
Например, для запрета индексации папки images и всего ее содержимого пишем:
Чтобы «спрятать» от поисковиков конкретные файлы, перечисляем их:
User-agent: *
Disallow: /myfile1.htm
Disallow: /myfile2.htm
Disallow: /myfile3.htm
Это – основные принципы структуры файла robots.txt. Они помогут вам закрыть от индексации отдельные страницы и папки на вашем сайте.
Еще один, менее распространенный способ запрета индексации – мета-тэг Robots. Если вы хотите закрыть от индексации страницу или запретить поисковикам индексировать ссылки, размещенные на ней, в ее HTML-коде необходимо прописать этот тэг. Его надо размещать в области HEAD, перед тэгом
.</p>
<p>Мета-тег Robots состоит из двух параметров. INDEX – параметр, отвечающий за индексацию самой страницы, а FOLLOW – параметр, разрешающий или запрещающий индексацию ссылок, расположенных на этой странице.</p>
<p>Для запрета индексации вместо INDEX и FOLLOW следует писать NOINDEX и NOFOLLOW соответственно.</p>
<p>Таким образом, если вы хотите закрыть страницу от индексации и запретить поисковикам учитывать ссылки на ней, вам надо добавить в код такую строку:</p>
<blockquote><p><meta name=“robots” content=“noindex,nofollow”></p>
</blockquote>
<p>Если вы не хотите скрывать страницу от индексации, но вам необходимо «спрятать» ссылки на ней, мета-тег Robots будет выглядеть так:</p>
<blockquote><p><metaname=“robots” content=“index,nofollow”></p>
</blockquote>
<p>Если же вам наоборот, надо скрыть страницу от ПС, но при этом учитывать ссылки, данный тэг будет иметь такой вид:</p>
<blockquote><p><meta name=“robots” content=“noindex,follow”></p>
</blockquote>
<p>Большинство современных CMS дают возможность закрывать некоторые страницы от индексации прямо из админ.панели сайта. Это позволяет избежать необходимости разбираться в коде и настраивать данные параметры вручную. Однако перечисленные выше способы были и остаются универсальными и самыми надежными инструментами для запрета индексации.</p>
<p>Технические аспекты созданного сайта играют не менее <a href="/v-obektno-orientirovannyh-yazykah-programmirovaniya-peremennye-igrayut.html">важную роль</a> для продвижения сайта в поисковых системах, чем его наполнение. Одним из наиболее важных технических аспектов является индексирование сайта, т. е. определение областей сайта (файлов и директорий), которые могут или не могут быть проиндексированы роботами поисковых систем. Для этих целей используется robots.txt – это <a href="/kak-udalit-zablokirovannye-faily-s-kompyutera-programmy-dlya-udaleniya-ne.html">специальный файл</a>, который содержит команды для роботов поисковиков. <a href="/pravilnaya-nastroika-faila-podkachki-dlya-windows-7-fail-podkachki-kakoi-razmer.html">Правильный файл</a> robots.txt для Яндекса и Google поможет избежать многих неприятных последствий, связанных с индексацией сайта.</p><h3><b> 2. Понятие файла robots.txt и требования, предъявляемые к нему
</b></h3><p>Файл /robots.txt предназначен для указания всем поисковым роботам (spiders) индексировать <a href="/spisok-informacionnyh-baz-pust-chto-delat-oshibki-pri-sozdanii-bazy.html">информационные сервера</a> так, как определено в этом файле, т.е. только те директории и файлы сервера, которые не описаны в /robots.txt. Этот файл должен содержать 0 или более записей, которые связаны с тем или иным роботом (что определяется значением поля agent_id) и указывают для каждого робота или для всех сразу, что именно им не надо индексировать.</p><p>Синтаксис файла позволяет задавать запретные области индексирования, как для всех, так и для определенных, роботов.</p><p>К файлу robots.txt предъявляются специальные требования, не выполнение которых может привести к неправильному считыванию роботом поисковой системы или вообще к недееспособности <a href="/otkrytie-faila-vvod-dannyh-iz-faila-i-vyvod-v-fail.html">данного файла</a>.</p><p>Основные требования:</p><ul><li>все буквы в названии файла должны быть прописными, т. е. должны иметь нижний регистр:</li><li>robots.txt – правильно,</li><li>Robots.txt или ROBOTS.TXT – неправильно;</li><li>файл robots.txt должен создаваться в <a href="/csv-fail-konvertirovat-v-xls-import-i-eksport-tekstovyh-failov-v.html">текстовом формате</a> Unix. При копировании данного файла на сайт ftp-клиент должен быть настроен на <a href="/kak-ubrat-tekstovyi-rezhim-na-windows-7-vklyuchenie-i-vyklyuchenie-testovogo.html">текстовый режим</a> обмена файлами;</li><li>файл robots.txt должен быть размещен в корневом каталоге сайта.</li>
</ul><h3><b>
3. Содержимое файла robots.txt
</b></h3><p>Файл robots.txt включает в себя две записи: «User-agent» и «Disallow». Названия данных записей не чувствительны к регистру букв.</p><p>Некоторые поисковые системы поддерживают еще и <a href="/kak-zapisat-razgovor-na-honor-7-video-zapis-razgovorov-na-androide.html">дополнительные записи</a>. Так, например, поисковая система «Yandex» использует запись «Host» для определения основного зеркала сайта (основное зеркало сайта – это сайт, находящийся в индексе поисковых систем).</p><p>Каждая запись имеет свое предназначение и может встречаться несколько раз, в зависимости от количества закрываемых от индексации страниц или (и) директорий и количества роботов, к которым Вы обращаетесь.</p><p>Предполагается <a href="/faily-sozdannye-v-prilozhenii-access-imeyut-rasshirenie-kakoi-format-faila.html">следующий формат</a> строк файла robots.txt:</p><p><b>имя_записи
</b>[необязательные</p><p>пробелы]<b>:
</b>[необязательные</p><p>пробелы]<b>значение
</b>[необязательные пробелы]</p><p>Чтобы файл robots.txt считался верным, необходимо, чтобы, как минимум, одна директива «Disallow» присутствовала после каждой записи «User-agent».</p><p>Полностью пустой файл robots.txt эквивалентен его отсутствию, что предполагает разрешение на индексирование всего сайта.</p><h4><b>Запись «User-agent»
</b></h4><p>Запись «User-agent» должна содержать название поискового робота. В данной записи можно указать каждому конкретному роботу, какие страницы сайта индексировать, а какие нет.</p><p>Пример записи «User-agent», где обращение происходит ко всем поисковым системам без исключений и используется символ «*»:</p><p>Пример записи «User-agent», где обращение происходит только к роботу поисковой системы Rambler:</p><p>User-agent: StackRambler</p><p>Робот каждой поисковой системы имеет свое название. Существует два основных способа узнать его (название):</p><p>на сайтах многих поисковых систем присутствует специализированный§ раздел «помощь веб-мастеру», в котором часто указывается название поискового робота;</p><p>при просмотре логов веб-сервера, а именно при просмотре обращений к§ файлу robots.txt, можно увидеть множество имен, в которых присутствуют названия поисковых систем или их часть. Поэтому Вам остается лишь выбрать нужное имя и вписать его в файл robots.txt.</p><h4><b>Запись «Disallow»
</b></h4><p>Запись «Disallow» должна содержать предписания, которые указывают поисковому роботу из записи «User-agent», какие файлы или (и) каталоги индексировать запрещено.</p><p>Рассмотрим <a href="/chto-takoe-border-v-css-primery-s-razlichnymi-granicami-ramok-css-border.html">различные примеры</a> записи «Disallow».</p><p>Пример записи в robots.txt (разрешить все для индексации):</p><p><b>Disallow:
</b></p><p>Пример (сайт полностью запрещен к . Для этого используется символ «/»):Disallow: /</p><p>Пример (для индексирования запрещен файл «page.htm», находящийся в корневом каталоге и файл «page2.htm», располагающийся в директории «dir»):</p><p><b>Disallow: /page.htm
</b></p><p><b>Disallow: /dir/page2.htm
</b></p><p>Пример (для индексирования запрещены директории «cgi-bin» и «forum» и, следовательно, все содержимое данной директории):</p><p><b>Disallow: /cgi-bin/
</b></p><p><b>Disallow: /forum/
</b></p><p>Возможно закрытие от индексирования ряда документов и (или) директорий, начинающихся с одних и тех же символов, используя только одну запись «Disallow». Для этого необходимо прописать начальные одинаковые символы без закрывающей наклонной черты.</p><p>Пример (для индексирования запрещены директория «dir», а так же все файлы и директории, начинающиеся буквами «dir», т. е. файлы: «dir.htm», «direct.htm», директории: «dir», «directory1», «directory2» и т. д.):</p><h4><b>Запись «Allow»
</b></h4><p>Опция «Allow» используется для обозначения исключений из неиндексируемых директорий и страниц, которые заданы записью «Disallow».</p><p>Например, есть запись следующего вида:</p><p>Disallow: /forum/</p><p>Но при этом нужно, чтобы в директории /forum/ индексировалась страница page1. Тогда в файле robots.txt потребуются следующие строки:</p><p>Disallow: /forum/</p><p>Allow: /forum/page1</p><h4><b>Запись «Sitemap»
</b></h4><p>Эта запись указывает на расположение карты сайта в <a href="/xml-format-chem-otkryt-i-redaktirovat-kak-izmenit-fail.html">формате xml</a>, которая используется поисковыми роботами. Эта запись указывает путь к данному файлу.</p><p>Sitemap: http://site.ru/sitemap.xml</p><h4><b>Запись «Host»
</b></h4><p>Запись «host» используется поисковой системой «Yandex». Она необходима для определения основного зеркала сайта, т. е. если сайт имеет зеркала (зеркало – это частичная или <a href="/kak-obezopasit-svoi-smartfon-i-sdelat-bekap-proshivki.html">полная копия</a> сайта. Наличие дубликатов ресурса бывает необходимо владельцам высокопосещаемых сайтов для повышения надежности и доступности их сервиса), то с помощью директивы «Host» можно выбрать то имя, под которым Вы хотите быть проиндексированы. В противном случае «Yandex» выберет главное зеркало самостоятельно, а остальные имена будут запрещены к индексации.</p><p>В целях совместимости с поисковыми роботами, которые при обработке файла robots.txt не воспринимают директиву Host, необходимо добавлять запись «Host» непосредственно после записей Disallow.</p><p>Пример: www.site.ru – основное зеркало:</p><p><b>Host: www.site.ru
</b></p><h4><b>Запись «Crawl-delay»
</b></h4><p>Эту запись воспринимает Яндекс. Она является командой для робота делать промежутки заданного времени (в секундах) между индексацией страниц. Иногда это бывает нужно для защиты сайта от перегрузок.</p><p>Так, запись следующего вида обозначает, что роботу Яндекса нужно переходить с одной страницы на другую не раньше чем через 3 секунды:</p><h4><b>Комментарии
</b></h4><p>Любая строка в robots.txt, начинающаяся с символа «#», считается комментарием. Разрешено использовать комментарии в конце строк с директивами, но некоторые роботы могут неправильно распознать данную строку.</p><p>Пример (комментарий находится на одной строке вместе с директивой):</p><p><b>Disallow: /cgi-bin/ #комментарий
</b></p><p>Желательно размещать комментарий на отдельной строке. Пробел в начале строки разрешается, но не рекомендуется.</p><h3><b>
4. Примеры файлов robots.txt
</b></h3><p>Пример (комментарий находится на отдельной строке):
<br><b>Disallow: /cgi-bin/#комментарий
</b></p><p>Пример файла robots.txt, разрешающего всем роботам индексирование всего сайта:</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего всем роботам индексирование сайта:</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего всем роботам индексирование директории «abc», а так же всех директорий и файлов, начинающихся с символов «abc».</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего индексирование страницы «page.htm», находящейся в корневом каталоге сайта, поисковым роботом «googlebot»:</p><p>User-agent: googlebot</p><p>Disallow: /page.htm</p><p>Host: www.site.ru</p><p>Пример файла robots.txt, запрещающего индексирование:</p><p>– роботу «googlebot» – страницы «page1.htm», находящейся в директории «directory»;</p><p>– роботу «Yandex» – все директории и страницы, начинающиеся символами «dir» (/dir/, /direct/, dir.htm, direction.htm, и т. д.) и находящиеся в корневом каталоге сайта.</p><p>User-agent: googlebot</p><p>Disallow: /directory/page1.htm</p><p>User-agent: Yandex</p><h3>5. Ошибки, связанные с файлом robots.txt</h3><p>Одна из самых распространенных ошибок – перевернутый синтаксис.</p><p><b>Неправильно:
</b></p><p>Disallow: Yandex</p><p><b>Правильно:
</b></p><p>User-agent: Yandex</p><p><b>Неправильно:
</b></p><p>Disallow: /dir/ /cgi-bin/ /forum/</p><p><b>Правильно:
</b></p><p>Disallow: /cgi-bin/</p><p>Disallow: /forum/</p><p>Если при обработке ошибки 404 (документ не найден), веб-сервер выдает специальную страницу, и при этом файл robots.txt отсутствует, то возможна ситуация, когда поисковому роботу при запросе файла robots.txt выдается та самая <a href="/ne-mogu-zaiti-na-stranicu-ispolzuem-specialnyi-skript-chto-delat-esli-voiti.html">специальная страница</a>, никак не являющаяся файлом управления индексирования.</p><p>Ошибка, связанная с неправильным использованием регистра в файле robots.txt. Например, если необходимо закрыть директорию «cgi-bin», то в записе «Disallow» нельзя писать название директории в верхнем регистре «cgi-bin».</p><p><b>Неправильно:
</b></p><p>Disallow: /CGI-BIN/</p><p><b>Правильно:
</b></p><p>Disallow: /cgi-bin/</p><p>Ошибка, связанная с отсутствием открывающей наклонной черты при закрытии директории от индексирования.</p><p><b>Неправильно:
</b></p><p>Disallow: page.HTML</p><p><b>Правильно:
</b></p><p>Disallow: /page.HTML</p><p>Чтобы избежать наиболее распространенных ошибок, файл robots.txt можно проверить средствами Яндекс.Вебмастера или Инструментами для <a href="/kak-otkryt-gostevoi-dostup-k-yandeks-metrike-poshagovo-kak-otkryt-gostevoi.html">вебмастеров Google</a>. Проверка осуществляется после загрузки файла.</p><h3>6. Заключение</h3><p>Таким образом, наличие файла robots.txt, а так же его составление, может повлиять на продвижение сайта в поисковых системах. Не зная синтаксиса файла robots.txt, можно запретить к индексированию возможные продвигаемые страницы, а так же весь сайт. И, наоборот, грамотное составление данного файла может очень помочь в продвижении ресурса, например, можно закрыть от индексирования документы, которые мешают продвижению нужных страниц.</p>
<p>Хотите узнать, как запретить индексацию сайта в robots.txt и с помощью других инструментов? Тогда представленный материал – именно для вас.</p>
<p>Безусловно, владельцы сайтов борются за то, чтобы их ресурс как можно быстрее проиндексировался поисковыми системами. Но бывают случаи, когда необходимо установить запрет индексации сайта, чтобы поисковый бот на какое-то время не посещал ресурс
. Такими случаями могут быть:</p>
<ul><li>недавнее создание сайта, когда на нем еще нет никакой полезной информации;</li>
<li>необходимость внесения обновлений (например, смена дизайна сайта);</li>
<li>наличие скрытых или секретных разделов или <a href="/chitat-poleznoe-v-kontakte-poleznye-sovety-dlya-doma.html">полезных ссылок</a>, которые не хотелось бы передавать поисковым ботам.</li>
</ul><p><i><b>Можно закрыть весь сайт целиком или же его отдельные части:
</b>
</i></p>
<ul><li>отдельный абзац или ссылка;</li>
<li>формы для ввода информации;</li>
<li>админская часть;</li>
<li>страницы <a href="/vosstanovlenie-uchetnoi-zapisi-gugl-vyvody-po-vosstanovleniyu-akkaunta-google.html">пользовательских профилей</a> и регистраций;</li>
<li>дубликаты страниц;</li>
<li>облако тегов и пр.</li>
</ul><blockquote><p>Есть много способов, с помощью которых можно закрыть сайт от индексации. Редактирование файла robots.txt – один из них. Мы рассмотрим этот способ и еще два наиболее популярных и простых.</p>
</blockquote>
<h3>Как закрыть сайт от индексации для Яндекса, Google и всех поисковых систем в robots.txt</h3>
<p><i>Редактирование файла robots.txt – один из самых надежных и быстрых способов
</i> установить этот запрет для поисковых системам на какое-то время или же навсегда. Что для этого нужно сделать:</p>
<ol><li>Создание файла robots.txt. Для этого нужно создать обычный <a href="/skachat-programmu-dlya-redaktirovaniya-tekstovyh-dokumentov-luchshie-tekstovye.html">текстовый документ</a> с расширением.txt, присвоить ему имя «robots».</li>
<li>Созданный файл загрузить в <a href="/chto-znachit-koren-papki-kornevaya-direktoriya.html">корневую папку</a> своего блога. Если сайт создан на <a href="/kak-sozdat-svoi-blog-i-zarabotat-ustanovka-i-nastroika-wordpress-kakimi-dvizhkami.html">движке WordPress</a>, то эту папку можно найти там, где находятся папки wp-includes, wp-content и пр.</li>
<li>Непосредственно установка запрета индексации для поисковиков.</li>
</ol><p>Запрет индексации сайта можно устанавливать как для конкретных поисковых систем, так и всех поисковиков. Мы рассмотрим разные варианты.
</p>
<p><br><img src='https://i1.wp.com/masterproseo.ru/wp-content/uploads/2016/08/robots.jpg' align="center" width="100%" loading=lazy></p><p>Чтобы закрыть сайт от индексации поисковыми ботами Google, потребуется в файле robots.txt написать следующее:</p>
<ol><li>User-agent: Googlebot</li>
<li>Disallow: /</li>
</ol><p><i>Для того, чтобы проверить, закрылся ли сайт от индексации, создается аккаунт и добавляется нужный сайт в Google Webmaster
</i>. Здесь предусмотрена функция проверки.</p>
<p>После этого будут показаны результаты. Если сайт запрещен для индексации, то будет написано «Заблокировано по строке» и указано, какая строка блокирует индексацию. Если же какие-то действия по запрету индексации поисковыми ботами Google были выполнены некорректно, то будет подписано «Разрешено».</p>
<blockquote><p>Следует учесть, что невозможно с помощью robots.txt поисковой <a href="/soobshchenie-o-poiskovoi-sisteme-google-istoriya-google-gugl-kompanii-s-mirovym.html">системе Google</a> на 100% запретить индексацию. Это своего рода рекомендация для Гугла, так как он сам решит, выполнять ли ему индексацию отдельного документа, или нет.</p>
</blockquote>
<p><b>Чтобы закрыть материалы сайта от индексации Яндексом, в файле robots.txt нужно ввести следующее:
</b></p>
<ol><li>User-agent: Yandex</li>
<li>Disallow: /</li>
</ol><p>Для проверки статуса ресурса его нужно добавить в Яндекс Вебмастер, где затем нужно ввести несколько страниц со своего сайта и нажать кнопку «Проверить». Если все получилось, в строке будет высвечиваться надпись «Запрещен правилом».</p>
<p><i>Можно также установить запрет на индексацию вашего сайта одновременно для всех поисковых систем. Для этого, опять же, открываем файл robots.txt и прописываем в нем такую строку
</i>:</p>
<ol><li>User-agent: *</li>
<li>Disallow: /</li>
</ol><blockquote><p>Проверка запрета индексации для Гугла и Яндекса выполняется по вышеописанной схеме в Google Webmaster и Яндекс Вебмастер соответственно.</p>
</blockquote>
<p>Чтобы увидеть свой файл robots.txt, нужно перейти по адресу Вашдомен.ru/robots.txt. Здесь будет отображаться все, что было прописано. Бывает так, что появляется ошибка 404. Это говорит о том, что было выполнено что-то не так при загрузке своего файла.</p>
<p><br><img src='https://i0.wp.com/masterproseo.ru/wp-content/uploads/2016/08/robots-allow-disallow.jpg' align="center" width="100%" loading=lazy></p><h3>Запрет индексации ресурса при помощи панели инструментов</h3>
<p>Способ закрытия сайта от индексации с помощью панели инструментов подойдет только для тех ресурсов, которые были сделаны на Вордпресс.</p>
<p>Порядок действий простой и быстрый:</p>
<ul><li>Откройте «Панель управления», пройдите в «Настройки» – «Чтение»;</li>
<li>Выставьте галочку в окошке «Рекомендовать поисковым машинам не индексировать сайт».</li>
<li>Сохранить изменения.</li>
</ul><p><b>Выполнение данных действий – всего лишь рекомендация для поисковых машин
</b>. А то, будут ли индексироваться или не индексироваться материалы ресурса, они решают самостоятельно. В настройках видимости сайта даже присутствует <a href="/sravnitelnye-testy-kompyuterov-specialnoe-testirovanie.html">специальная строка</a>: «<a href="/poiskovye-mashiny-poisk-informacii-v-web.html">Поисковые машины</a> сами решают, следовать ли Вашей просьбе». Отметим, что Яндекс обычно «слушается», а Гугл может поступать по своему усмотрению и все равно в некоторых случаях индексировать сайт, несмотря на рекомендацию.</p>
<h2>Закрытие сайта от индексации вручную</h2>
<p>В исходном коде при закрытии страницы или всего ресурса от индексации появляется строка <meta name=»robots» content=»noindex,follow» /></p>
<p>Именно эта строка подсказывает поисковым машинам, что не нужно индексировать отдельные материалы или ресурс. Можно вручную в любом месте сайта прописать данную строчку. Главное, чтобы она отображалась на всех страницах.</p>
<p><i><b>Этот способ подойдет также для того, чтобы закрыть какой-либо ненужный документ от индексации.
</b>
</i></p>
<p>После выполнения обновлений нужно проверить, все ли получилось. Для этого нужно открыть <a href="/pochemu-kompyuter-ne-mozhet-prosmotret-kod-elementa-kak-posmotret.html">исходный код</a> с помощью <a href="/deistvie-primenyaemoe-po-hokkeyu-ctrl-x-goryachie-klavishi-na-klaviature.html">клавиш CTRL</a> + U и посмотреть, есть ли в нем нужная строчка. Ее наличие подтверждает успешную операцию по закрытию от индексации. Дополнительно можно осуществить проверку в Яндекс Вебмастер и Google Webmaster.</p>
<p>Итак, мы рассмотрели самые простые и <a href="/pyat-sposobov-bystree-zaryadit-smartfon-vklyuchit-bystruyu-zaryadku-ili.html">быстрые способы</a>, позволяющие закрыть весь сайт или отдельные материалы ресурса от индексации <a href="/kak-funkcioniruyut-poiskovye-mashiny-i-kak-pravilno-stroit-zaprosy.html">поисковыми машинами</a>. И, как выяснилось, robots.txt – один из легких и относительно надежных способов.</p>
<p>Недавно поделился со мной наблюдением, что у многих сайтов, которые приходят к нам на аудит, часто встречаются одни и те же ошибки. Причем эти ошибки не всегда можно назвать тривиальными – их допускают даже продвинутые веб-мастера. Так возникла идея написать серию статей с инструкциями по отслеживанию и исправлению <a href="/ne-udaetsya-aktivirovat-windows-8-kod-oshibki-0x8007007b-standartnoi-sposob.html">подобных ошибок</a>. Первый в очереди – гайд по настройке индексации сайта. Передаю слово автору.
</p>
<p>Для хорошей индексации сайта и лучшего ранжирования страниц нужно, чтобы поисковик обходил ключевые продвигаемые страницы сайта, а на самих страницах мог точно выделить основной контент, не запутавшись в обилие служебной и вспомогательной информации.<br>
У сайтов, приходящих к нам на анализ, встречаются ошибки двух типов:</p>
<p>1. При продвижении сайта их владельцы не задумываются о том, что видит и добавляет в индекс поисковый бот. В этом случае может возникнуть ситуация, когда в индексе больше мусорных страниц, чем продвигаемых, а сами страницы перегружены.</p>
<p>2. Наоборот, владельцы чересчур рьяно взялись за чистку сайта. Вместе с <a href="/gde-knopka-option-otobrazhenie-podrobnoi-informacii-o-seti-zakrytie-nenuzhnyh.html">ненужной информацией</a> могут прятаться и важные для продвижения и оценки страниц данные.</p>
<p>Сегодня мы хотим рассмотреть, что же действительно стоит прятать от поисковых роботов и как это лучше делать. Начнём с контента страниц.</p>
<h2>Контент</h2>
<h3>Проблемы, связанные с закрытием контента на сайте:</h3>
<p>Страница оценивается поисковыми роботами комплексно, а не только по текстовым показателям. Увлекаясь закрытием различных блоков, часто удаляется и важная для оценки полезности и ранжирования информация.</p>
<p><b>Приведём пример наиболее <a href="/oshibka-internal-server-error-chto-eto-i-kak-s-nei-borotsya-obzor-samyh-chastyh.html">частых ошибок</a>:
</b><br>
– прячется шапка сайта. В ней обычно размещается <a href="/kak-skryt-kontaktnuyu-informaciyu-vk-kak-skryt-stranicu-vkontakte-ot.html">контактная информация</a>, ссылки. Если шапка сайта закрыта, поисковики могут не узнать, что вы позаботились о посетителях и поместили <a href="/kak-podobrat-k-materinskoi-plate-blok-pitaniya-kak-vybrat-blok-pitaniya.html">важную информацию</a> на видном месте;</p>
<p>– скрываются от индексации фильтры, форма поиска, сортировка. Наличие таких возможностей у интернет-магазина – важный коммерческий показатель, который лучше показать, а не прятать.<br>
– прячется информация об оплате и доставке. Это делают, чтобы повысить уникальность на товарных карточках. А ведь это тоже информация, которая должна быть на качественной товарной карточке.<br>
– со страниц «вырезается» меню, ухудшая оценку удобства навигации по сайту.</p>
<p><b>Зачем на сайте закрывают часть контента?
</b><br>
Обычно есть несколько целей:<br>
– сделать на странице акцент на основной контент, убрав из индекса вспомогательную информацию, служебные блоки, меню;<br>
– сделать страницу более уникальной, полезной, убрав дублирующиеся на сайте блоки;<br>
– убрать «лишний» текст, повысить текстовую релевантность страницы.</p>
<p><b>Всего этого можно достичь без того, чтобы прятать часть контента!
</b><br><i>У вас очень большое меню?
</i><br>
Выводите на страницах только те пункты, которые непосредственно относятся к разделу.</p>
<p><i>Много возможностей выбора в фильтрах?
</i><br>
Выводите в основном коде только популярные. Подгружайте остальные варианты, только если пользователь нажмёт кнопку «показать всё». Да, здесь используются скрипты, но никакого обмана нет – скрипт срабатывает по требованию пользователя. Найти все пункты поисковик сможет, но при оценке они не получат такое же значение, как основной контент страницы.</p>
<p><i>На странице <a href="/samyi-bolshoi-blok-pitaniya-kak-pravilno-vybrat-bloki-pitaniya.html">большой блок</a> с новостями?
</i><br>
Сократите их количество, выводите только заголовки или просто уберите блок новостей, если пользователи редко переходят по ссылкам в нём или на странице мало основного контента.</p>
<p>Поисковые роботы хоть и далеки от идеала, но постоянно совершенствуются. Уже сейчас Google показывает скрытие скриптов от индексирования как ошибку в <a href="/kak-otklyuchit-stroku-poiska-gugl-android-7-kak-ubrat-poisk-gugl-na-androide.html">панели Google</a> <a href="/proverka-optimizacii-dlya-mobilnyh-ustroistv-proverka.html">Search Console</a> (вкладка «Заблокированные ресурсы»). Не показывать часть контента роботам действительно может быть полезным, но это не метод оптимизации, а, скорее, временные «костыли», которые стоит использовать только при крайней необходимости.</p>
<p><b>Мы рекомендуем:
</b><br>
– относиться к скрытию контента, как к «костылю», и прибегать к нему только в крайних ситуациях, стремясь доработать саму страницу;<br>
– удаляя со страницы часть контента, ориентироваться не только на текстовые показатели, но и оценивать удобство и информацию, влияющую на ;<br>
– перед тем как прятать контент, проводить эксперимент на нескольких тестовых страницах. Поисковые боты умеют разбирать страницы и ваши опасения о снижение релевантности могут оказаться напрасными.</p>
<p><b>Давайте рассмотрим, какие методы используются, чтобы спрятать контент:
</b></p>
<h3>Тег noindex</h3>
<p>У этого метода есть несколько недостатков. Прежде всего этот тег учитывает только Яндекс, поэтому для скрытия текста от Google он бесполезен. Помимо этого, важно понимать, что тег запрещает индексировать и показывать в поисковой выдаче только текст. На остальной контент, например, ссылки, он не распространяется.</p>
<p>Поддержка Яндекса не особо распространяется о том, как работает noindex. Чуть <a href="/cennaya-informaciya-kriterii-otbora-bolshaya-enciklopediya.html">больше информации</a> есть в одном из обсуждений в официальном блоге.</p>
<p><b>Вопрос пользователя:
</b></p>
<blockquote><p>«Не до конца понятна механика действия и влияние на ранжирование тега <noindex>текст</noindex>. Далее поясню, почему так озадачены. А сейчас - есть 2 гипотезы, хотелось бы найти истину.</p>
<p>№1 Noindex не влияет на ранжирование / релевантность страницы вообще</p>
<p>При этом предположении: единственное, что он делает - закрывает часть контента от появления в поисковой выдаче. При этом вся страница рассматривается целиком, включая закрытые блоки, релевантность и сопряженные параметры (уникальность; соответствие и т. п.) для нее вычисляется согласно всему имеющему в коде контенту, даже закрытому.</p>
<p>№2 Noindex влияет на ранжирование и релевантность, так как закрытый в тег контент не оценивается вообще. Соответственно, все наоборот. Страница будет ранжироваться в соответствии с открытым для роботов контентом.»</p>
</blockquote>
<p><b>В каких случаях может быть полезен тег:
</b><br>
– если есть подозрения, что страница понижена в выдаче Яндекса из-за переоптимизации, но при этом занимает ТОПовые позиции по важным фразам в Google. Нужно понимать, что это быстрое и временное решение. Если весь сайт попал под «Баден-Баден», noindex, как неоднократно подтверждали представители Яндекса, не поможет;<br>
– чтобы скрыть общую <a href="/informacionnaya-bezopasnost-organov-vnutrennih-del-zashchita-informacii-v.html">служебную информацию</a>, которую вы из-за корпоративных ли юридических нормативов должны указывать на странице;<br>
– для корректировки сниппетов в Яндексе, если в них попадает нежелательный контент.</p>
<h3>Скрытие контента с помощью AJAX</h3>
<p>Это <a href="/nex-chem-otkryt-est-li-universalnyi-metod-otkrytiya-neizvestnyh-failov.html">универсальный метод</a>. Он позволяет спрятать контент и от Яндекса, и от Google. Если хотите почистить страницу от размывающего релевантность контента, лучше использовать именно его. Представители ПС такой метод, конечно, не приветствую и рекомендуют, чтобы <a href="/kak-rabotayut-poiskovye-roboty-poiskovye-roboty.html">поисковые роботы</a> видели тот же контент, что и пользователи.<br>
Технология <a href="/ajax-chto-eto-takoe-vliyanie-na-seo-preimushchestva-i-nedostatki-tehnologii.html">использования AJAX</a> широко распространена и если не заниматься явным клоакингом, санкции за её использование не грозят. Недостаток метода – вам всё-таки придётся закрывать доступ к скриптам, хотя и Яндекс и Google этого не рекомендуют делать.</p>
<h2>Страницы сайта</h2>
<p>Для <a href="/uspeshnoe-prodvizhenie-v-socialnyh-setyah-prodvizhenie-biznesa-v-socialnyh.html">успешного продвижения</a> важно не только избавиться от <a href="/prilozhenie-dlya-avtomaticheskoi-ochistki-operativnoi-pamyati-android.html">лишней информации</a> на страницах, но и очистить <a href="/chto-znachit-relevantnyi-chto-takoe-relevantnost-poiska-indeks-poiskovoi.html">поисковый индекс</a> сайта от малополезных мусорных страниц.<br>
Во-первых, это ускорит индексацию основных продвигаемых страниц сайта. Во-вторых, наличие в индексе <a href="/samoe-bolshoe-chislo-prosmotrov-na-yutube-pyat-samyh-prosmatrivaemyh-video-na.html">большого числа</a> мусорных страниц будет негативно влиять на оценку сайта и его продвижение.</p>
<p><b>Сразу перечислим страницы, которые целесообразно прятать:
</b></p>
<p>– страницы оформления заявок, корзины пользователей;<br>
– результаты поиска по сайту;<br>
– личная информация пользователей;<br>
– страницы результатов сравнения товаров и подобных <a href="/operacionnaya-sistema-sluzhit-dlya-funkcii-raboty-os-primery.html">вспомогательных модулей</a>;<br>
– страницы, генерируемые фильтрами поиска и сортировкой;<br>
– страницы административной части сайта;<br>
– версии для печати.</p>
<p><b>Рассмотрим способы, которыми можно закрыть страницы от индексации.
</b></p>
<h3>Закрыть в robots.txt</h3>
<p>Это не самый лучший метод.</p>
<p>Во-первых, файл robots не предназначен для борьбы с дублями и чистки сайтов от мусорных страниц. Для этих целей лучше использовать другие методы.</p>
<p>Во-вторых, запрет в файле robots не является гарантией того, что страница не попадёт в индекс.</p>
<p>Вот что Google пишет об этом в своей справке:</p>
<h3>Метатег noindex</h3>
<p>Чтобы гарантированно исключить страницы из индекса, лучше использовать этот метатег.</p>
<p>Ниже приведём вариант метатега, который понимают оба поисковика:</p><p>
<meta name="robots" content="noindex, nofollow">
</p><p><b>Важный момент!
</b></p>
<p>Чтобы Googlebot увидел метатег noindex, нужно открыть доступ к страницам, закрытым в файле robots.txt. Если этого не сделать, робот может просто не зайти на эти страницы.</p>
<h3>Заголовки X-Robots-Tag</h3>
<p>Существенное преимущество такого метода в том, что запрет можно размещать не только в коде страницы, но и через корневой файл.htaccess.</p>
<p>Этот метод не очень распространён в Рунете. Полагаем, основная причина такой ситуации в том, что Яндекс этот метод <a href="/kak-i-gde-hranit-dannye-v-techenie-dolgogo-vremeni-rezervnoe.html">долгое время</a> не поддерживал.<br>
В этом году сотрудники Яндекса написали, что метод теперь поддерживается.</p>
<p>Ответ поддержки подробным не назовёшь))). Прежде чем переходить на запрет индексации, используя X-Robots-Tag, лучше убедиться в работе этого способа под Яндекс. Свои эксперименты на эту тему мы пока не ставили, но, возможно, сделаем в ближайшее время.</p>
<h3>Защита с помощью пароля</h3>
<p>Если нужно скрыть весь сайт, например, тестовую версию, также рекомендуем использовать именно этот метод. Пожалуй, единственный недостаток – могут возникнуть сложности в случае необходимости просканировать домен, скрытый под паролем.</p>
<h3>Исключить появление мусорных страниц c помощью AJAX</h3>
<p>Речь о том, чтобы не просто запретить индексацию страниц, генерируемых фильтрами, сортировкой и т. д., а вообще не создавать <a href="/kak-voiti-na-zablokirovannuyu-stranicu-tor-i-emu-podobnye.html">подобные страницы</a> на сайте.</p>
<p>Например, если пользователь выбрал в фильтре поиска набор параметров, под которые вы не создавали <a href="/kak-udalit-otdelnuyu-stranicu-v-vorde-kak-udalit-stranicu.html">отдельную страницу</a>, изменения в товарах, отображаемых на странице, происходит без изменения самого URL.</p>
<p>Сложность этого метода в том, что обычно его нельзя применить сразу для всех случаев. Часть формируемых страниц используется для продвижения.</p>
<p>Например, страницы фильтров. Для «холодильник + Samsung + белый» нам нужна страница, а для «холодильник + Samsung + белый + двухкамерный + no frost» – уже нет.</p>
<p>Поэтому нужно делать инструмент, предполагающий создание исключений. Это усложняет задачу программистов.</p>
<h3>Использовать методы запрета индексации от поисковых алгоритмов</h3>
<p><b>«Параметры URL» в <a href="/skachat-prilozhenie-nastroika-sistemy-android-planshet-otklyuchi-google-search-i-drugoi.html">Google Search</a> Console
</b></p>
<p>Этот инструмент позволяет указать, как идентифицировать появление в <a href="/stranichnye-bloki-pravilo-page-kak-izmenit-url-stranic-v-wordpress.html">URL страниц</a> новых параметров.</p>
<p><b>Директива Clean-param в robots.txt
</b></p>
<p>В Яндексе аналогичный запрет для параметров URL можно прописать, используя директиву Clean-param.<br>
Почитать об этом можно .</p>
<p>Канонические адреса, как профилактика появления мусорных страниц на сайте<br>
Этот метатег был создан специально для борьбы с дублями и мусорными страницами на сайте. Мы рекомендуем прописывать его на всём сайте, как профилактику появления в индексе дубле и мусорных страниц.</p>
<h3>Инструменты точечного удаления страниц из индекса Яндекса и Google</h3>
<p>Если возникла ситуация, когда нужно срочно удалить информацию из индекса, не дожидаясь, пока ваш запрет увидят <a href="/sovremennye-problemy-nauki-i-obrazovaniya-sushchnostnaya-harakteristika-opytno-eksperimentalnoi-raboty.html">поисковые работы</a>, можно использовать инструменты из панели Яндекс.Вебмастера и Google Search Console.</p>
<p>В Яндексе это «Удалить URL»:</p>
<p>В Google Search Console «Удалить URL-адрес»:</p>
<h2>Внутренние ссылки</h2>
<p>Внутренние ссылки закрываются от индексации для перераспределения внутренних весов на основные продвигаемые страницы. Но дело в том, что:<br>
– такое перераспределение может плохо отразиться на <a href="/naznachenie-sistem-svyazi-obshchie-svedeniya-o-sistemah-svyazi.html">общих связях</a> между страницами;<br>
– ссылки из шаблонных сквозных блоков обычно имеют меньший вес или могут вообще не учитываться.</p>
<p>Рассмотрим варианты, которые используются для скрытия ссылок:</p>
<h3>Тег noindex</h3>
<p>Для скрытия ссылок этот тег бесполезен. Он распространяется только на текст.</p>
<h3>Атрибут rel=”nofollow”</h3>
<p>Сейчас атрибут не позволяет сохранять вес на странице. При использовании rel=”nofollow” вес просто теряется. Само по себе использование тега для внутренних ссылок выглядит не особо логично.</p>
<h3>Скрытие ссылок с помощью скриптов</h3>
<p>Это фактически единственный рабочий метод, с помощью которого можно спрятать ссылки от поисковых систем. Можно использовать Аjax и подгружать блоки ссылок уже после загрузки страницы или добавлять ссылки, подменяя скриптом тег <span> на <a>. При этом важно учитывать, что <a href="/kakie-pravila-effektivnogo-poiska-informacii-v-internete-itak-algoritm.html">поисковые алгоритмы</a> умеют распознавать скрипты.</p>
<p>Как и в случае с контентом – это «костыль», который иногда может решить проблему. Если вы не уверены, что получите положительный эффект от спрятанного блока ссылок, лучше такие методы не использовать.</p>
<h2>Заключение</h2>
<p>Удаление со страницы объёмных сквозных блоков действительно может давать положительный эффект для ранжирования. Делать это лучше, сокращая страницу, и выводя на ней только нужный посетителям контент. Прятать контент от поисковика – костыль, который стоит использовать только в тех случаях, когда сократить другими способами сквозные блоки нельзя.</p>
<p>Убирая со страницы часть контента, не забывайте, что для ранжирования важны не только текстовые критерии, но и полнота информации, коммерческие факторы.</p>
<p>Примерно аналогичная ситуация и с внутренними ссылками. Да, иногда это может быть полезно, но искусственное перераспределение ссылочной массы на сайте – метод спорный. Гораздо безопаснее и надёжнее будет просто отказаться от ссылок, в которых вы не уверены.</p>
<p>Со страницами сайта всё более однозначно. Важно следить за тем, чтобы мусорные, малополезные страницы не попадали в индекс. Для этого есть много методов, которые мы собрали и описали в этой статье.</p>
<p>Вы всегда можете взять у нас консультацию по <a href="/mozhno-li-posle-formatirovaniya-diska-vosstanovit-dannye-tehnicheskie-aspekty.html">техническим аспектам</a> оптимизации, или заказать продвижение под ключ, куда входит .
</p>
<script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+
escape(document.referrer)+((typeof(screen)=="undefined")?"":
";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth?
screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+
";"+Math.random()+
"border='0' width='1' height='1' loading=lazy>");</script>
</div>
<div class="post-social-counters-block">
<div style="margin-top: 12px">
<noindex></noindex>
</div>
</div>
</div>
</div>
<a name="comments"></a>
<h3 class="best-theme-posts-title">Лучшие статьи по теме</h3>
<div class="container-fluid">
<div class="best-theme-posts row">
<div class="theme-post col-sm-4">
<a href="/chto-delat-esli-2-fail-odinakovo-nazyvayutsya-mogut-li-razlichnye-faily-imet.html">
<div class="img_container"><img src="/uploads/936db8040a6ccb00a0951d388906d2f0.jpg" border="0" alt="Могут ли различные файлы иметь одинаковые имена?" width="320" height="180" / loading=lazy></div>
<span class="theme-post-link">Могут ли различные файлы иметь одинаковые имена?</span>
</a>
</div>
<div class="theme-post col-sm-4">
<a href="/kakoi-kod-nado-vvodit-v-servisnye-sekretnye-kody-dlya-smartfonov.html">
<div class="img_container"><img src="/uploads/8eacd5dd8f4a8a35d02bf053282395ce.jpg" border="0" alt="Сервисные (секретные) коды для смартфонов Android" width="320" height="180" / loading=lazy></div>
<span class="theme-post-link">Сервисные (секретные) коды для смартфонов Android</span>
</a>
</div>
<div class="theme-post col-sm-4">
<a href="/polnaya-i-mobilnaya-versii-vkontakte-polnaya-versiya-vk-i-mobilnaya.html">
<div class="img_container"><img src="/uploads/85d5445ff6997e972818e96b86c5e5ef.jpg" border="0" alt="Полная версия ВК и мобильная версия ВК, приложение ВК Как запускается полная версия ВК" width="320" height="180" / loading=lazy></div>
<span class="theme-post-link">Полная версия ВК и мобильная версия ВК, приложение ВК Как запускается полная версия ВК</span>
</a>
</div>
</div>
</div>
</div>
<a name="comments"></a>
</div>
<div class="right-column col-sm-4 col-md-4">
<div class="write">
<span class="tags-title">Категории:</span>
<ul style="height: 286px;" id="right-tags" data-tagscount="18" data-currentmaxtag="10" class="tags">
<li class=""><a href="/category/programs/">Программы</a></li>
<li class=""><a href="/category/safety/">Безопасность</a></li>
<li class=""><a href="/category/windows-10/">Windows 10</a></li>
<li class=""><a href="/category/iron/">Железо</a></li>
<li class=""><a href="/category/windows-8/">Windows 8</a></li>
<li class=""><a href="/category/vkontakte/">Вконтакте</a></li>
<li class=""><a href="/category/errors/">Ошибки</a></li>
</ul>
</div>
<div class="banner">
</div>
</div>
</div>
</div>
<div style="clear:both"></div>
</div>
<div class="footer">
<div class="subscribe">
<div class="main-wrapper container">
<div class="row">
<div class="col-sm-8">
</div>
<div class="col-sm-4">
<div class="social">
<a href="https://vk.com/share.php?url=https://bumotors.ru/zapret-indeksacii-robots-txt-skrytie-ssylok-s-pomoshchyu-skriptov.html" class="vk social-ico"></a>
<a href="https://www.facebook.com/sharer/sharer.php?u=https://bumotors.ru/zapret-indeksacii-robots-txt-skrytie-ssylok-s-pomoshchyu-skriptov.html" class="fb social-ico"></a>
<a href="https://www.twitter.com/share?url=https://bumotors.ru/zapret-indeksacii-robots-txt-skrytie-ssylok-s-pomoshchyu-skriptov.html" class="tw social-ico"></a>
</div>
</div>
</div>
</div>
</div>
<div class="info">
<div class="main-wrapper container">
<div class="row">
<span class="footer-info col-xs-12">
© 2024 bumotors.ru. Как настроить смартфоны и ПК. Информационный портал. </span>
</div>
</div>
</div>
</div>
</body>
</html> 