Индексация сайта - это процесс сканирования, во время которого поисковая система получает информацию о страницах сайта, их адресах и содержании. Индексацию выполняют поисковые боты (пауки) - специальные программы, которые ищут новые и перепроверяют старые страницы в интернете. Страницы, которые прошли сканирование и обработку, сохраняются в базу данных.
Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.
Важно понимать:
- Если страницы нет в поисковом индексе - ее невозможно найти в поисковой системе.
- У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
- Поисковой бот от Google называется Googlebot.
Как проверить индексацию страницы?
Самый быстрый способ - написать в строку поиска команду site:[адрес страницы] . Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]
Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.
Как проверить индексацию всего сайта
Для проверки индексации сайта нужно выполнить 2 простых шага:
Как добавить новый сайт в индекс поисковиков?
Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex . Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.
Узнайте больше о работе поисковой системы
Что делать, если сайт плохо индексируется?
Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:
- Сканирование страниц.
- Обработка страниц.
Как происходит индексация сайта
Этап 1: Сканирование
Сканирование или “обход” страниц - это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:
- Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
- Перечень ссылок, которые находятся на странице.
Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список - “очередь сканирования”, для дальнейшей обработки.
Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта - увеличить количество ссылок на нужные страницы.
Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию - создать карту сайта sitemap.xml и сообщить о ней поисковой системе.
Есть несколько способов создать карту сайта:
- Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com .
- Программа для сканирования сайта, с возможностью создания sitemap - xenu links .
- Библиотека приложений для создания sitemap.
- Самый популярный плагин для создания карты сайта для WordPress .
Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt
Добавление карты сайта в Search Console:
- Зайдите в https://www.google.com/webmasters/tools/
- Добавьте свой сайт или выберите из списка.
- Перейдите в раздел Сканирование — Файлы Sitemap.
- Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.
Добавление sitemap в robots.txt:
- Зайдите в корневой каталог сайта через ftp.
- Откройте файл robots.txt
- Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.
Третий способ ускорить индексацию - сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.
Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.
При запуске нового сайта первые дней 10 вебмастер вынужден ждать, пока его ресурс пройдет индексацию и попадет в выдачу поисковиков. Google обычно индексирует быстрее и качественнее Яндекса. Но все равно обход роботом всего сайта занимает несколько дней. Индексацию можно ускорить и сделать это проще, чем кажется.
Та же ситуация касается и случаев, когда вы вносите существенные изменения в уже работающий сайт. Например, меняете систему урлов или верстку. В таком случае нас будет интересовать переиндексация всех страниц.
Для начала нужно заставить поисковики “полюбить” ваш сайт. В нем не должно быть загадки. Лучший способ это создание карты сайта для удобной навигации.
Создайте Sitemap
Для начала заведите себе карту сайта (Sitemap.xml).
Sitemap это файл с данными о вашем сайте для поисковиков. Он содержит список страниц, которые нужно проиндексировать. Благодаря xml-разметке сайтмеп помогает поисковикам быстро определить структуру сайта, частоту его обновления и “вес” одних страниц в сравнении с другими.
Если вы не знаете о sitemap, это нестрашно. Есть множество онлайн-ресурсов, которые создают его за вас. Например:
- MySiteMapGenerator (язык: русский, до 500 стр. бесплатно)
- Web-Site-Map.com (язык: английский, полностью бесплатно)
- xml-sitemaps.com (язык: английский, до 500 стр. бесплатно)
Все просто: вводите урл и код безопасности, остальные настройки трогать в 90% случаев не нужно.
После этого ждем, пока робот обойдет ваш сайт и добавит все найденные страницы в файл. Этот файл в результате можно будет скачать. Индексация обычно длится минут 10-15. Полученный файл лучше переименовать в sitemap.xml, его нужно загрузить в корневую папку вашего сайта.
Для корректной работы данные о карте сайта в robots.txt . Почитать о том, что это . Вам же для начала нужно просто добавить адрес sitemap в этот файл:
User-agent: *
Allow: /
Sitemap: http://сайт/sitemap.xml
Половина работы сделана. Так держать.
Зарегистрируйтесь в инструментах для веб-мастеров Google
У гугла есть Инструменты для веб-мастеров . Работать с ними просто. Добавляем адрес сайта:
Чтобы ваш сайт не могли отслеживать другие, права на него нужно будет подтвердить. Для этого есть несколько способов. Самый простой - поставить код Google Analytics в
. Просто установите код счетчика и нажмите “Проверить”. Кстати, GA один из лучших способов следить за поведением посетителей на сайте. Поэтому рекомендую им активно пользоваться и интересоваться, чем занимаются гости у вас на сайте. И удобно ли им там.Сайт подтвердили:
Загрузите Sitemap
Открывайте панель управления сайтом, в блоке “Сканирование” откройте “Файлы Sitemap”:
Указывайте адрес карты сайта:
После подтверждения дайте роботам время проверить файл на ошибки и внести список урлов в базу для индексации. Результаты можно будет увидеть позже в этом же разделе. В идеале количество отправленных урлов должно совпадать с количеством проиндексированных.
Упрощайте навигацию, ускоряйте сайт, генерируйте качественный контент. Так ваш сайт будет проиндексирован полностью. И не попадет под фильтр за копипаст.
Как ускорить индексацию
А теперь небольшая фишка, которую я увидел когда-то на англоязычном форуме. Вебмастер интересовался, как ускорить индексацию нового сайта. Sitemap он загрузил, но страницы все не попадали в выдачу. Совет был предельно прост: чтобы “заставить” google сразу запустить сканирование, нужно в панели управления запустить инструмент “Посмотреть как Googlebot”.
В появившейся форме нужно ввести адрес карты сайта. Добавленный файл появится в списке под формой. Жмем “отправить в индекс”. После этого робот гугла пройдется по всем ссылкам из карты сайта, приняв за исходную страницу карту сайта.
В примечании к форме указано, что Google не гарантирует, что все файлы сайта попадут в индекс. Тем не менее этот способ - самый простой, чтобы обратить на свой сайт внимание поисковика.
На сладкое
Когда сайт проиндексирован, можно и отдохнуть. Ну и на десерт для вас этот ролик о лете и активном отдыхе:
Тисни «Лайк», щоб читати нас у Фейсбуці
В этой статье мы расскажем о том, как добавить свой сайт в Google . В рассматриваемом примере мы пошагово покажем, как проиндексировать WordPress –сайт в гугле (Google ), используя плагин Yoast SEO и сервис Google Search Console .
В то же время для тех, кто не использует WordPress , процесс будет таким же, с той лишь разницей, что необходимо будет использовать альтернативный подход для создания карты сайта и обеспечения условий для того, чтобы поисковый робот Google мог просканировать ваш сайт.
Вот краткое описание того, что мы рассмотрим в этой статье:
- Три этапа добавления любого сайта в поиск Google .
- Как добавить свой WordPress-сайт в поиск Google :
- Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt ).
- Как установить и настроить плагин Yoast SEO .
- Как использовать Google Search Console для индексации сайта.
Три шага для добавления любого сайта в поиск Google
Мы рассмотрим весь процесс шаг за шагом для пользователей WordPress , однако почти все те же действия нужно выполнить, независимо от того, какую платформу вы используете:
1. Убедитесь, что поисковый робот Googlebot может получить доступ к страницам сайта, которые вы хотите проиндексировать. Это относится к файлу robots.txt . Если вы — пользователь WordPress , это очень просто, и мы покажем, как это сделать.
2. Настройте Google Search Console для домена, который вы хотите добавить в поиск Google .
3. Отправьте файл Sitemap через Google Search Console и попросите Google выполнить сканирование вашего сайта.
Как добавить свой WordPress-сайт в Google Search Console
Чтобы проиндексировать WordPress-сайт , необходимо включить возможность сканирования вашего сайта для поискового робота Googlebot , затем создать карту сайта и, наконец, отправить файл Sitemap через Google Search Console . Вот, как это делается.
Шаг 1 — Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt)
Включить возможность сканирования вашего WordPress-сайта для поискового робота Google очень просто. Когда вы будете готовы к тому, чтобы ваш сайт стал видимым через поисковые системы, выполните следующие действия:
1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Настройки » и выберите раздел «Чтение ».
2. Прокрутите открывшуюся страницу вниз до раздела «Видимость в поисковых системах » и снимите флажок для опции «Попросить поисковые системы не индексировать этот сайт ». Если данный флажок не будет снят это станет причиной того почему гугл не индексирует сайт и его страницы или делает это плохо.
3. Затем сохраните внесенные изменения
И это все, что вам нужно сделать на данном этапе, чтобы Google мог сканировать ваш сайт. Перейдем к следующему шагу.
Шаг 2. Как установить и настроить плагин Yoast SEO
Yoast SEO — это бесплатный WordPress-плагин , который мы рекомендуем всем пользователям. В данном случае мы будем использовать его для создания карты сайта. В дополнение к этому Yoast SEO является одним из лучших и наиболее доступных WordPress-плагинов для SEO , он регулярно обновляется, чтобы всегда идти в ногу с последними тенденциями.
Вот этапы установки плагина Yoast SEO и создания карты сайта:
1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Плагины » и выберите раздел «Добавить новый «.
2. Вы будете перенаправлены в репозиторий плагинов WordPress . Чтобы найти плагин Yoast SEO , введите в панели поиска «Yoast SEO ». Плагин Yoast SEO будет одним из первых результатов.
4. Затем нажмите кнопку «Установить », чтобы установить плагин.
5. Когда плагин будет установлен, нажмите кнопку «Активировать », чтобы активировать плагин.
6. После активации плагина, вы увидите новую вкладку «SEO » с логотипом Yoast в главном меню WordPress .
7. Наведите указатель мыши на эту вкладку и выберите раздел «Панель мониторинга ».
8. Оттуда перейдите на вкладку «Функции », затем прокрутите панель вниз и включите опцию «Дополнительные параметры ». Сохраните внесенные изменения, нажав соответствующую кнопку, расположенную в нижней части экрана.
9. На вкладке Yoast SEO должны появиться дополнительные вкладки. Перейдите на вкладку «Тайтлы и мета «.
10. Далее перейдите на вкладку «Типы записей ». Здесь можно выбрать элементы сайта, которые вы хотите индексировать. В большинстве случаев необходимо индексировать только страницы и записи. Если этот вариант подходит и вам, установите для параметра «meta robots » значение «no-index » для всего, что вы не хотите индексировать. Если вам нужна дополнительная информация о различных настройках, кликните по ссылке «Справка », и вы получите доступ к видео руководству, относящемуся к странице, на которой вы находитесь, а также к другой справочной информации.
11. После того, как вы закрыли от индексации все типы записей, которые не хотите индексировать, сделайте то же самое на вкладках «Таксономии », «Архивы » и «Другие ».
14. Просмотрите вкладки «Типы записей » и «Таксономии » и включите объекты, которые вы хотите индексировать, и отключите те, которые хотите исключить из процесса индексации. Для большинства сайтов здесь также подходит индексация страниц и записей, однако дополнительную информацию вы всегда можете получить в разделе «Справка ».
15. Затем сохраните внесенные изменения.
16. Перейдите на вкладку «Основные » и кликните по ссылке «XML карта сайта ». Скопируйте ссылку из адресной строки браузера и сохраните ее для дальнейшего использования в Google Search Console .
Это все, что касается установки и настройки плагина Yoast SEO и создания URL-адреса Sitemap . Теперь мы можем перейти к настройке бесплатной учетной записи Google Search Console и индексированию сайта.
Шаг 3 — Как использовать Google Search Console для индексации сайта
Google Search Console — это бесплатный инструмент Google , и мы будем использовать его для сканирования сайта или блога. Этот инструмент также поможет управлять любыми ошибками сканирования, связанными с вашим сайтом. Давайте рассмотрим этапы настройки вашей учетной записи:
1. Перейдите в Google Search Console . Сначала нужно войти в свою учетную запись Google . Здесь не должно быть много информации, если вы не работали с ней раньше.
3. Затем вас попросят подтвердить право собственности на домен. Выберите вкладку «Альтернативные методы » и нажмите кнопку «HTML-тег ». На экране появится мета тег name. Выделите весь тег и скопируйте его.
4. Вернитесь на панель администрирования WordPress и перейдите в раздел инструментов плагина Yoast SEO .
5. Перейдите на вкладку «Инструменты для веб-мастеров ». Здесь вы увидите три текстовых поля. Вставьте мета тег, который вы скопировали из Google Search Console в текстовое поле «Google Search Console «. В качестве дополнительной опции можно проиндексировать свой сайт не только в Google (гугл ), но и в других поисковых системах. Сохраните внесенные изменения.
6. После этого можно вернуться в Google Search Console и нажать кнопку «Проверить ». После этого вы должны увидеть сообщение о том, что Google нашел тег, и все хорошо.
7. Теперь нажмите кнопку «Добавить / Проверить Sitemap ». Надеюсь, вы сохранили URL-адрес Sitemap , который скопировали ранее. Вставьте его во всплывающем окне и нажмите кнопку «Отправить ».
8. Вам следует перезагрузить страницу, и после этого у вас должна появиться новая запись о файле Sitemap . Если на данном этапе у вас возникла ошибка, скорее всего, это связано с тем, что ваш сайт блокирует поисковых роботов. Не беспокойтесь об этом.
9. В разделе меню «Сканирование » перейдите в раздел «Просмотреть как Google ». Затем нажмите кнопку «Извлечь и отобразить ». Это может занять некоторое время.
10. После этого вы должны увидеть статус «Частично ». Нажмите кнопку «Отправить в индекс » рядом с ним. Должно появиться окно с просьбой подтвердить, что вы не робот. Установите галочку и выберите параметр «Сканировать этот URL и все его прямые ссылки ». Нажмите «Отправить ».
11. Рядом со статусом «Частично » теперь должно появиться сообщение, которое гласит о том, что «URL-адрес и его связанные страницы, представленные на индексацию ».
Google – это первый поисковик в мире. В каком бы регионе вы не продвигали сайт, вам обязательно нужно добавить его в этот поисковик. В этой статье я покажу, как добавить сайт в Google и добиться от него быстрой и правильной индексации.
А о том, как добавить сайт в Яндекс, вы можете узнать .
Как добавить сайт в Google
Запаситесь терпением, ведь все поисковые машины очень медлительны. На индексирование сайта уйдёт несколько недель. Это означает, что не нужно откладывать добавление сайта в поисковик. Если вы только создали сайт, и записей в нём ещё нет, то уже можете добавлять.
Чтобы добавить сайт в Google, у вас должен быть аккаунт в этом поисковике (если пользуетесь почтой Gmail, то считайте, что есть аккаунт, через него можно получить доступ ко всем инструментам Google). Сделайте следующие действия по порядку:
- Перейдите в инструменты вебмастера Google, которые находятся , и нажмите на кнопку «Добавить ресурс
». Введите адрес сайта, который добавляете, и нажмите кнопку «Продолжить
».
Добавление сайта в Google
- Появится следующая страница, на которой необходимо подтвердить права на свой сайт. Есть несколько способов, но самый простой и удобный с помощью HTML-файла. Скачайте файл, который вам предлагается в п.1 инструкции Google, и закачайте его в корневой каталог вашего сайта. Если всё сделали правильно, то при клике по ссылке в п.3 в инструкции Google вы увидите содержимое этого сайта. Если нет, то страницу 404. Нажмите кнопку «Подтвердить
».
Подтверждение прав на сайт
- Чтобы добавить сайт в Google и добиться правильной и быстрой индексации, необходимо показать поисковым роботам, где у вас . Для этого переходим в панель управления сайтом в инструментах вебмастера Google, нажимаем пункт «Сканирование
» и выбираем подпункт «Файлы
Sitemap
». Нажмите на кнопку «Добавление/проверка файла
Sitemap
» и введите в строке адрес до карты, например «ru/
sitemap.
xml
». Обратите внимание, что домен сайта там уже написан, поэтому вводить нужно без него – «sitemap.
xml
». Потом нажмите кнопку «Отправить файл
Sitemap
». Если хотите проверить её перед этим на ошибки, нажмите «Проверить
Sitemap
».
Добавление карты сайта
Если вы сделали всё по этих пунктам, то считайте, что у вас получилось добавить сайт в Google. Теперь необходимо немного подождать, пока поисковик всё проиндексирует. Как правило, на это уходит 1-3 недели. Вы можете контролировать весь процесс индексации в
Необходимо, чтобы страницы были проиндексированы. Индексация сайта - что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».
Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»
Как проверить индексацию сайта в Google и Яндекс
Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение - обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:
Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.
В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.
Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.
Проверить индексацию сайта в Яндекс.Вебмастере
Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) - это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.
Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.
Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:
- сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
- можно проверить индексацию еще и в Bing’е.
Как ускорить индексацию сайта
Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.
Самое первое, что нужно сделать - добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.
Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.
Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта - тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).
Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос - тем лучше, ибо если сказать роботу «у нас обед, приходите через час» - робот просто уйдет, причем надолго.
Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.
В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.
Быстрая индексация сайта в Яндексе
Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.
В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.
А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» - «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.
Индексация картинок сайта
В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.
Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?
Однако, есть один универсальный совет по оптимизации изображений - прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.
Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””
Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок - неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.
Как узнать, сколько картинок проиндексировано поисковиком?
Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.
Для Яндекса это будет выглядеть вот так:
А для Google - вот так
Вопросы
Как запретить индексацию сайта
Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько - технические работы на сайте, либо тестируется новый дизайн, и т.д.
Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.
Самый первый, самый популярный и самый простой - через файл robots.txt. Достаточно просто прописать вот этот код:
Теперь давайте разберем, что этот код означает.
User-agent - это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка - значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:
User-agent: yandex
Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.
Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй - индивидуальный список для какого-то конкретного робота. В данном случае - робота поисковой системы Яндекс.
User-agent: Yandex
С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.
Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.
Второй способ - метатег robots. Для этого необходимо в код сайта добавить следующую строку:
META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”
ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.
По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.
Третий способ - закрытие сайта через.htaccess
Способ тоже довольно простой - добавить в файл.htaccess следующий код:
Теперь поисковый робот не сможет без пароля получить доступ к сайту.
Это самый верный способ закрыть сайт от индексации, но появляется другая проблема - возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.
Способ 4 представляет собой настройку заголовка ответа HTTP
Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом - вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.
При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.
При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:
Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.
Как открыть сайт для индексации
Ответ ранее уже прозвучал - с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).
Allow: / разрешает индексацию сайта, а Disallow: / запрещает.
Когда последний раз проходила индексация сайта
Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.
В Яндексе же сделано все еще проще - вся необходимая информация и история доступна в Яндекс.Вебмастере:
Как добавить сайт на индексацию
Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт - тем быстрее Вы получите свой первый поисковый трафик.
Добавление сайта в Google
Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl , логинимся (при необходимости), вводим URL, проходим капчу (в данном случае - ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».
Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».
Если с сайтом все в порядке, то индексация произойдет очень быстро.
Добавление сайта в Яндекс
Первым делом заходим на https://webmaster.yandex.ru/ , регистрируемся, затем переходим в «Индексирование» - «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.
Добавление сайта в Bing
Тут все еще проще - идём сюда http://www.bing.com/toolbox/submit-site-url , вводим имя домена, капчу, и все - готово! Регистрация при этом не требуется.
ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.
Добавление сайта в Поиск Mail.ru
Данная процедура тоже достаточно проста - переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl , регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».
Затем на экран будет выведено вот такое сообщение:
P.S. Индексация сайта на Wordpress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе - ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.
