Что такое индексирование сайта? Как оно происходит? На эти и другие вопросы вы можете найти ответы в статье. в поисковых системах) называют процесс приобщения информации о сайте к базе данных роботом поисковой машины, которая впоследствии используется для розыска сведений на веб-проектах, прошедших такую процедуру.
Данные о веб-ресурсах чаще всего состоят из ключевых слов, статей, ссылок, документов. Индексироваться также могут аудио, изображения и так далее. Известно, что алгоритм выявления ключевых слов зависим от поискового устройства.
На типы индексируемой информации (flash файлы, javascript) существует некоторая лимитация.
Управление приобщением
Индексирование сайта - сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.
Также для ведения индексации применяют теги
В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе - от одной недели до четырёх.
Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.
Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.
Способы обработки
Индексирование сайта может выполняться несколькими способами:
- Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
- Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.
Сроки
Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.
Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.
За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.
Изменения
Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:
- санкции поисковика к веб-узлу;
- наличие погрешностей на сайте;
- изменение алгоритмов поисковиков;
- отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.
Ответы «Яндекса» на обычные вопросы
«Яндекс» - поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.
Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.
Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.
Индексирование сайта в «Яндексе» - довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется - робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.
Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).
Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда - через пару недель.
Процесс обработки
«Яндекс» - поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:
- Поисковый робот выполняет обход страниц ресурса.
- Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
- Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.
Проверка индексации
Как проверить индексацию сайта? Выполнить это можно тремя способами:
- Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
- Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
- Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.
Почему «Яндекс» отказывает?
Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.
У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.
Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.
Ускорение работы «Яндекса»
Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:
Промежуточные действия
Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.
База данных Google
Запрещение
Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?
Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:
- User-agent: *
- Disallow: /kolobok.html
- Disallow: /foto/
Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий - не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».
Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между Запись для запрета, к примеру, может быть написана так: .
Ajax
А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.
Однако системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.
Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.
Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:
- Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
- HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на?_escaped_fragment_=.
Чтобы понять, находится ли конкретная страница сайт в поиске и сколько вообще страниц вашего ресурса видят поисковые машины, нужно не так и много. Подробнее о том, как проверить индексацию сайта и получить нужную информацию, мы расскажем в этой статье. Сразу же отметим, что при сканировании сайта, роботы переносят все полученные сведения о ресурсе в отдельные базы. И далее уже поисковая система работает по этим базам. Однако отметим, что некоторые неопытные веб-мастера путают два понятия: сканирование и индексацию. Сканирование – это, по сути, изучение роботом сайта. На обход всего ресурса нужно не так уж и много времени. А вот индексирование – то есть, добавления информации о ресурсе в базы данных, занимает относительного много времени.
1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров
Этот метод является основным. Для сервиса Google следует выполнить следующие действия:
- перейти в панель управления сервиса;
- выбрать вкладку Search Console;
- после этого перейти в еще одну вкладку «Индекс Google»;
- кликнуть по пункту Статус индексирования.
Для сервиса Яндекс последовательность действий будет следующей:
- открыть Вебмастер;
- найти пункт Индексирование сайта;
- выбрать строку Страницы в поиске.
Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.
Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.
На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.
А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.
2) Проверка поисковыми операторами
С их помощью легко уточнить будущие результаты. Например, отлично для этих целей подходит параметр/оператор «site:», посредством которого вы сможете увидеть, сколько именно страниц проиндексировано.
Для этого в поисковой строке (Яндекс или Google, а лучше и там, и там) вводится следующая комбинация: site: url сайта
Обратите внимание! Большая разница в результатах двух поисковых систем может говорить о наличии тех или иных проблем в работе сайте.
К примеру, сайт cubing.com.ua, данные которого приведены на скринах ниже, находится под фильтром АГС, накладываемым поисковой системой Яндекс.
А вот дополнительные инструменты, которые есть в поисковых системах, дают возможность получить много интересной информации. Например, как менялась индексации за тот или иной период времени.
3) Плагины и расширения
Это автоматизированный метод проверки. Помимо плагинов можно использовать специальные расширения. Их еще называют букмарклеты, который представляют собой программы-скрипты. Они сохраняются в виде обычных браузерных закладок.
Привлекательность скриптов состоит в том, что теперь вам не придется снова и снова открывать поисковую системы и вводить какие-то слова или символы. За вас все сделает программа.
На картинке выше представлен пример работы плагина RDS bar . На скриншоте показано, какие данные он показывает при интеграции в браузер Google Chrome. Но в браузере Mozilla он предоставляет еще больше данных и возможностей.
В частности, такой плагин дает возможность получить данные, как по отдельной странице, так и по всему сайту в целом.
Обратите внимание! Плагины бывают, как платными, так и бесплатными. Явный недостаток бесплатных версий – необходимость постоянно вводить капчу. Нервирует жутко!
Хорошие отзывы заслужил скрипт/букмарклет «Проверка индексации». Его нужно всего лишь перетащить на панель вашего браузера. Потом открывайте нужный вам сайт и кликните по закладке скрипта. Это активирует новую вкладку браузера, на которой показаны все данные.
4) Специальные сервисы
Истинные помощники всех «сеошников». Перечислять подобные сервисы можно долго – их много. К примеру, выделяется ресурс Netpeak Spider .
Основное преимущество сервисов состоит в том, что вы получаете массу дополнительной информации помимо основных данных:
- данные о количестве проиндексированных страниц;
- полный список всех страниц, которые находятся в индексе;
- коды ответа;
- мета-теги;
- файл robots.txt и многое-многое другое.
Кроме того, сервис предоставит информацию об ошибках на сайте.
5) Проверка индексации сайта с помощью Topvisor
Topvisor — является лучшим из сервисов для мониторинга и анализа поискового продвижения. Для проверки индексации следует выполнить следующие действия:
После того, как пройдете регистрацию, выберите проект, которой хотите проиндексировать.
Здесь можно создавать группы ключевых слов для удобства и с помощью сервиса определить частотность запросов и посмотреть их базовые, «фразовые» и «точные» значения. При этом «ключи» вводить можно вручную, импортировать их из файла, а также сделать подбор из Яндекс.Wordstat и Google AdWords.
Для проверки позиций переходим на вкладку «позиции» , выбираем нужную поисковую систему, к примеру Яндекс, выбираем нужную группу ключевых запросов и кликаем по зеленой кнопке в верхнем левом углу «обновить».
Спустя некоторое время данные обновятся. В отчете вы увидите позиции вашего сайта по определенным запросам и частоту запросов по «ключам». Когда происходят какие-либо изменения, например, ваш сайт поднялся на несколько позиций выше в поисковой системе, то эти изменения будут отображены здесь же. Так же доступна опция автоматического запуска проверки в указанное время или в зависимости от апдейтов Яндекса
Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения
Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.
Молодой сайт
Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.
Отсутствует sitemap
Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.
Наличие ошибок
Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.
Проблема с robots
Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.
Что говорит о том, что страница попросту не индексируется.
Ошибка с файлом robots.txt
Правильно написанный – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.
Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.
Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.
Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: / ? Если она присутствует, значит сайт закрыт для индексрования.
И еще несколько причин, по которым сайт не индексируется
Среди основных проблем с индексированием можно выделить:
- наличие дублей страниц;
- использование при наполнении сайта неуникальных материалов;
- низкая скорость загрузки сайта и проблемы с доступом к нему.
Как ускорить индексацию сайта в Яндексе и Гугле?
Главная цель владельца сайта – чтобы все страницы, открытые для поисковых роботов, находились в индексации. Добиться такого результата, скажем откровенно, весьма и весьма сложно.
Кроме того, необходимо постоянно отслеживать весь процесс добавления страниц в индекс. Любые изменения – резкие – будь-то положительные или отрицательные, сигнализируют о наличии конкретных проблем, которые мешают нормальному индексированию ресурса.
Для проверки индексирования сайта воспользуйтесь любым (а лучше последовательно каждым) способом, описанным в нашей статье:
- панелью инструментов в сервисе для веб-мастеров;
- поисковым оператором/параметром site: ;
- плагины и скрипты;
- специализированные онлайн-сервисы.
Бонус, для тех, кто действительно хочет достичь результатов
Представляем специальную таблицу , которая поможет вам при работе с индексацией сайта.
Работать с такой таблицей очень и очень просто. Вот подробная последовательность действий:
- сделайте копию таблицы со столбцами, как на скрине;
- выберите доменную зону;
- в столбик А подгрузите URL сайта;
- подождите, пока подгрузятся все URL – чем их больше, тем дольше ждать результата.
Столбы В и С можно копировать, что позволит вам отслеживать динамику индексации страниц.
Вы еще не прошли обучение на моем авторском курсе «Как создать сайт за 4 дня»? Переходите по ссылке: и регестрируйтесь прямо сейчас либо можете воспользоваться моей инструкцией, где я пошагово показываю ! Приходите, будет интересно!
В этой инструкции мы рассмотрим вопрос добавления нашего нового сайта на индексацию к различным поисковым системам.
Я решил упомянуть как популярные поисковики, так и те, про которые вы возможно и не слышали.
Индексация сайта в Яндексе
Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.
1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.
2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.
3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе .
Индексация сайта в Google (Гугле)
Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url .
Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.
Индексация сайта в Рамблере (Rambler.ru)
Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi
Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.
Индексация сайта в Mail.ru (Майл)
Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl
Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.
Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.
Поисковая система Aport.ru (Апорт)
Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.
Поисковая система Nigma.ru (Нигма)
Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.
Медиа навигатор Tagoo.ru
Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.
Поисковая система Turtle.ru (Черепаха)
Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html . Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.
Зарубежные поисковые системы
Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.
Поисковая система Yahoo.com (Яху)
Поисковая система Bing.com (Бинг)
Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url .
Украинские поисковые системы
И в заключении моего обзора приведу две популярных поисковых системы на Украине.
Украинская поисковая система Meta.ua (Мета)
- Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
- Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
- Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ и .
Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с , предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?
Методы ускорения индексации сайта
- Создание Sitemap . Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO .
- Предоставьте Google Indexing Tool свою карту сайта . Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
- Используйте Google Analytics . Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
- Добавьте вручную . Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
- Создавайте и обновляйте свои социальные профили . Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
- Разместите ссылки на новую страницу на внешних ресурсах . Блоги, статьи, пресс-релизы, посты посетителей и другие варианты значительно ускоряют индексирование страницы.
В этой статье мы расскажем о том, как добавить свой сайт в Google . В рассматриваемом примере мы пошагово покажем, как проиндексировать WordPress –сайт в гугле (Google ), используя плагин Yoast SEO и сервис Google Search Console .
В то же время для тех, кто не использует WordPress , процесс будет таким же, с той лишь разницей, что необходимо будет использовать альтернативный подход для создания карты сайта и обеспечения условий для того, чтобы поисковый робот Google мог просканировать ваш сайт.
Вот краткое описание того, что мы рассмотрим в этой статье:
- Три этапа добавления любого сайта в поиск Google .
- Как добавить свой WordPress-сайт в поиск Google :
- Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt ).
- Как установить и настроить плагин Yoast SEO .
- Как использовать Google Search Console для индексации сайта.
Три шага для добавления любого сайта в поиск Google
Мы рассмотрим весь процесс шаг за шагом для пользователей WordPress , однако почти все те же действия нужно выполнить, независимо от того, какую платформу вы используете:
1. Убедитесь, что поисковый робот Googlebot может получить доступ к страницам сайта, которые вы хотите проиндексировать. Это относится к файлу robots.txt . Если вы — пользователь WordPress , это очень просто, и мы покажем, как это сделать.
2. Настройте Google Search Console для домена, который вы хотите добавить в поиск Google .
3. Отправьте файл Sitemap через Google Search Console и попросите Google выполнить сканирование вашего сайта.
Как добавить свой WordPress-сайт в Google Search Console
Чтобы проиндексировать WordPress-сайт , необходимо включить возможность сканирования вашего сайта для поискового робота Googlebot , затем создать карту сайта и, наконец, отправить файл Sitemap через Google Search Console . Вот, как это делается.
Шаг 1 — Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt)
Включить возможность сканирования вашего WordPress-сайта для поискового робота Google очень просто. Когда вы будете готовы к тому, чтобы ваш сайт стал видимым через поисковые системы, выполните следующие действия:
1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Настройки » и выберите раздел «Чтение ».
2. Прокрутите открывшуюся страницу вниз до раздела «Видимость в поисковых системах » и снимите флажок для опции «Попросить поисковые системы не индексировать этот сайт ». Если данный флажок не будет снят это станет причиной того почему гугл не индексирует сайт и его страницы или делает это плохо.
3. Затем сохраните внесенные изменения
И это все, что вам нужно сделать на данном этапе, чтобы Google мог сканировать ваш сайт. Перейдем к следующему шагу.
Шаг 2. Как установить и настроить плагин Yoast SEO
Yoast SEO — это бесплатный WordPress-плагин , который мы рекомендуем всем пользователям. В данном случае мы будем использовать его для создания карты сайта. В дополнение к этому Yoast SEO является одним из лучших и наиболее доступных WordPress-плагинов для SEO , он регулярно обновляется, чтобы всегда идти в ногу с последними тенденциями.
Вот этапы установки плагина Yoast SEO и создания карты сайта:
1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Плагины » и выберите раздел «Добавить новый «.
2. Вы будете перенаправлены в репозиторий плагинов WordPress . Чтобы найти плагин Yoast SEO , введите в панели поиска «Yoast SEO ». Плагин Yoast SEO будет одним из первых результатов.
4. Затем нажмите кнопку «Установить », чтобы установить плагин.
5. Когда плагин будет установлен, нажмите кнопку «Активировать », чтобы активировать плагин.
6. После активации плагина, вы увидите новую вкладку «SEO » с логотипом Yoast в главном меню WordPress .
7. Наведите указатель мыши на эту вкладку и выберите раздел «Панель мониторинга ».
8. Оттуда перейдите на вкладку «Функции », затем прокрутите панель вниз и включите опцию «Дополнительные параметры ». Сохраните внесенные изменения, нажав соответствующую кнопку, расположенную в нижней части экрана.
9. На вкладке Yoast SEO должны появиться дополнительные вкладки. Перейдите на вкладку «Тайтлы и мета «.
10. Далее перейдите на вкладку «Типы записей ». Здесь можно выбрать элементы сайта, которые вы хотите индексировать. В большинстве случаев необходимо индексировать только страницы и записи. Если этот вариант подходит и вам, установите для параметра «meta robots » значение «no-index » для всего, что вы не хотите индексировать. Если вам нужна дополнительная информация о различных настройках, кликните по ссылке «Справка », и вы получите доступ к видео руководству, относящемуся к странице, на которой вы находитесь, а также к другой справочной информации.
11. После того, как вы закрыли от индексации все типы записей, которые не хотите индексировать, сделайте то же самое на вкладках «Таксономии », «Архивы » и «Другие ».
14. Просмотрите вкладки «Типы записей » и «Таксономии » и включите объекты, которые вы хотите индексировать, и отключите те, которые хотите исключить из процесса индексации. Для большинства сайтов здесь также подходит индексация страниц и записей, однако дополнительную информацию вы всегда можете получить в разделе «Справка ».
15. Затем сохраните внесенные изменения.
16. Перейдите на вкладку «Основные » и кликните по ссылке «XML карта сайта ». Скопируйте ссылку из адресной строки браузера и сохраните ее для дальнейшего использования в Google Search Console .
Это все, что касается установки и настройки плагина Yoast SEO и создания URL-адреса Sitemap . Теперь мы можем перейти к настройке бесплатной учетной записи Google Search Console и индексированию сайта.
Шаг 3 — Как использовать Google Search Console для индексации сайта
Google Search Console — это бесплатный инструмент Google , и мы будем использовать его для сканирования сайта или блога. Этот инструмент также поможет управлять любыми ошибками сканирования, связанными с вашим сайтом. Давайте рассмотрим этапы настройки вашей учетной записи:
1. Перейдите в Google Search Console . Сначала нужно войти в свою учетную запись Google . Здесь не должно быть много информации, если вы не работали с ней раньше.
3. Затем вас попросят подтвердить право собственности на домен. Выберите вкладку «Альтернативные методы » и нажмите кнопку «HTML-тег ». На экране появится мета тег name. Выделите весь тег и скопируйте его.
4. Вернитесь на панель администрирования WordPress и перейдите в раздел инструментов плагина Yoast SEO .
5. Перейдите на вкладку «Инструменты для веб-мастеров ». Здесь вы увидите три текстовых поля. Вставьте мета тег, который вы скопировали из Google Search Console в текстовое поле «Google Search Console «. В качестве дополнительной опции можно проиндексировать свой сайт не только в Google (гугл ), но и в других поисковых системах. Сохраните внесенные изменения.
6. После этого можно вернуться в Google Search Console и нажать кнопку «Проверить ». После этого вы должны увидеть сообщение о том, что Google нашел тег, и все хорошо.
7. Теперь нажмите кнопку «Добавить / Проверить Sitemap ». Надеюсь, вы сохранили URL-адрес Sitemap , который скопировали ранее. Вставьте его во всплывающем окне и нажмите кнопку «Отправить ».
8. Вам следует перезагрузить страницу, и после этого у вас должна появиться новая запись о файле Sitemap . Если на данном этапе у вас возникла ошибка, скорее всего, это связано с тем, что ваш сайт блокирует поисковых роботов. Не беспокойтесь об этом.
9. В разделе меню «Сканирование » перейдите в раздел «Просмотреть как Google ». Затем нажмите кнопку «Извлечь и отобразить ». Это может занять некоторое время.
10. После этого вы должны увидеть статус «Частично ». Нажмите кнопку «Отправить в индекс » рядом с ним. Должно появиться окно с просьбой подтвердить, что вы не робот. Установите галочку и выберите параметр «Сканировать этот URL и все его прямые ссылки ». Нажмите «Отправить ».
11. Рядом со статусом «Частично » теперь должно появиться сообщение, которое гласит о том, что «URL-адрес и его связанные страницы, представленные на индексацию ».
