Indexarea site-ului - acesta este procesul de scanare, în timpul căruia motorul de căutare primește informații despre paginile site-ului, adresele și conținutul acestora. Indexarea este efectuată de roboții de căutare (păianjeni) - programe speciale caută altele noi și verifică din nou paginile vechi de pe Internet. Paginile care au fost scanate și procesate sunt salvate în baza de date.
O astfel de bază se numește „ index de căutare". În această bază de date motorul de căutare caută rezultate care răspund la întrebările utilizatorilor.
Este important să înțelegeți:
- Dacă pagina nu se află în indexul de căutare, nu poate fi găsită în motorul de căutare.
- Fiecare motor de căutare are propriul său index de căutare, propriile roboți de căutare.
- Botul de căutare Google se numește Googlebot.
Cum se verifică indexarea paginii?
Cel mai cale rapidă- scrieți o comandă în bara de căutare site: [adresa paginii]... Astfel de căutarea va găsi toate paginile indexate ale site-ului. Pentru a vizualiza data ultimei scanări a paginii, scrieți în bara de căutare cache: [adresa paginii verificate]
Sfat: Comparați numărul de pagini indexate cu numărul real de pagini de pe site. Acest lucru vă va ajuta să evaluați rapid dacă site-ul dvs. are probleme de indexare. De exemplu: dacă sunt 100 de produse pe site, 10 secțiuni și 10 pagini de informare(120 în total) și există doar 50 de pagini în index, ceea ce înseamnă că motorul de căutare nu cunoaște majoritatea site-ului tău.
Cum se verifică indexarea întregului site
Pentru a verifica indexarea unui site, trebuie să urmați 2 pași simpli:
Cum se adaugă un site nou la indexul motorului de căutare?
Spuneți motorului de căutare despre site-ul dvs. într-un mod special instrument Google sau Yandex. Distribuiți site-ul dvs. pe rețea socială sau creați un link către acesta de pe un alt site, deja indexat.
Aflați mai multe despre cum funcționează un motor de căutare
Ce se întâmplă dacă site-ul este prost indexat?
Pentru a rezolva probleme, trebuie să înțelegeți mai detaliat procesul de indexare. CU punct tehnic Din punct de vedere, „indexarea site-ului” este considerată mai corect ca două procese separate:
- Scanarea paginilor.
- Procesarea paginii.
Cum este indexat site-ul
Etapa 1: Scanare
Accesarea cu crawlere sau „crawling” a paginilor este sarcina principală pe care o îndeplinește un robot de căutare. Sa incepi pagina noua, botul primește două seturi de date de pe pagină:
- Conținutul paginii în sine, informații despre server și datele serviciului. Și anume: răspunsul serverului, html codul paginii, fișierele css stiluri, scenarii, imagini.
- Lista de link-uri care sunt pe pagină.
Conținutul primit este transferat pentru procesare ulterioară și salvare în baza de date. Linkurile scanate sunt, de asemenea, salvate în lista speciala- „coada de scanare” pentru procesare ulterioară.
Când un bot adaugă o pagină care este deja în coadă la coada de indexare, pagina respectivă este clasată mai sus în listă și indexată mai repede. Aceasta înseamnă că prima modalitate de a accelera scanarea site - crește numărul de link-uri către paginile dorite.
Prin crearea unei cozi de accesare cu crawlere, google bot, ca și alți roboți de căutare, examinează harta site-ului și adaugă link-uri de pe această hartă la coadă. A doua modalitate de a îmbunătăți indexarea- creați un sitemap sitemap.xml și raportați-l motorului de căutare.
Există mai multe moduri de a crea un sitemap:
- Liber instrument online pentru site-uri de până la 500 de pagini www.xml-sitemaps.com.
- Program pentru accesarea cu crawlere a unui site, cu capacitatea crearea unui sitemap- legături xenu.
- Biblioteca de aplicații pentru crearea sitemapului.
- Cel mai popular plugin de hartă site pentru WordPress.
Pentru ca Google să știe despre harta dvs. de site, trebuie să adăugați un link către harta site-ului în instrumentele consolei de căutare sau fișierul robots.txt
Adăugarea unui sitemap la Search Console:
- Mergi la https://www.google.com/webmasters/tools/
- Adăugați site-ul dvs. sau selectați din listă.
- Accesați Accesul cu crawlere - Sitemaps.
- Selectați „adăugați fișierul sitemap”, inserați linkul și adăugați un sitemap.
Adăugarea unui sitemap la robots.txt:
- Accesați directorul rădăcină al site-ului prin ftp.
- Deschideți fișierul robots.txt
- Adăugați linia „Hapta site-ului: [adresa site-ului] /sitemap.xml” la sfârșitul fișierului și salvați fișierul.
A treia modalitate de a accelera indexarea- informați botul de căutare despre dată ultima schimbare pagini. Pentru a obține data și ora modificării paginii, roboții folosesc datele din antetul de răspuns al serverului lastmod. Puteți raporta modificările aduse paginii folosind codul de răspuns pentru a nu modifica.
Sper că nu mai aveți o întrebare: „Ce este indexarea site-ului”.
La lansarea unui nou site, în primele 10 zile, webmasterul este obligat să aștepte până când resursa sa este indexată și intră în rezultatele motorului de căutare. Google indexează de obicei mai rapid și mai bine decât Yandex. Dar mai durează câteva zile pentru ca robotul să acceseze cu crawlere întregul site. Indexarea poate fi accelerată și simplificată decât pare.
Aceeași situație se aplică atunci când faceți modificări semnificative la un site care funcționează deja. De exemplu, schimbarea sistemului de adrese URL sau a aspectului. În acest caz, vom fi interesați să reindexăm toate paginile.
Mai întâi trebuie să convingi motoarele de căutare să „iubească” site-ul tău. Nu ar trebui să existe ghicitori în ea. Cel mai bun mod este de a crea un sitemap pentru o navigare ușoară.
Creați un Sitemap
Mai întâi, obțineți un sitemap (Sitemap.xml).
Harta site-ului este un fișier cu date despre site-ul dvs. pentru motoarele de căutare. Conține o listă de pagini care trebuie indexate. Datorită xml-markup, harta site-ului ajută motoarele de căutare să determine rapid structura site-ului, frecvența actualizărilor acestuia și „greutatea” unor pagini în comparație cu altele.
Dacă nu știți despre sitemap, nu este mare lucru. Există multe resurse online care îl creează pentru tine. De exemplu:
- MySiteMapGenerator (limba: rusă, până la 500 de pagini gratuite)
- Web-Site-Map.com (limba: engleză, complet gratuit)
- xml-sitemaps.com (limba: engleză, până la 500 de pagini gratuite)
Este simplu: introduceți url-ul și codul de securitate, restul setărilor nu trebuie atinse în 90% din cazuri.
După aceea, așteptăm ca robotul să acceseze cu crawlere site-ul dvs. și să adauge toate paginile găsite în fișier. Ca rezultat, acest fișier poate fi descărcat. Indexarea durează de obicei 10-15 minute. Este mai bine să redenumiți fișierul rezultat în sitemap.xml, acesta trebuie încărcat în folderul rădăcină Site-ul tău.
Pentru lucru corect datele sitemap în robots.txt... Citiți despre ce este. Pentru început, trebuie doar să adăugați harta site-ului la acest fișier:
Agent utilizator: *
Permite: /
Harta site-ului: http://site/sitemap.xml
Jumătate din muncă este făcută. Ține-o așa.
Înscrieți-vă cu Instrumentele Google pentru webmasteri
Google are Instrumente pentru webmasteri... Este ușor să lucrezi cu ei. Adăugați adresa site-ului:
Pentru a împiedica alte persoane să vă urmărească site-ul, va trebui să verificați drepturile asupra acestuia. Există mai multe moduri de a face acest lucru. Cel mai simplu este de pus cod google Analytics în
... Doar setați codul de contor și faceți clic pe „Verifică”. Apropo, GA este unul dintre moduri mai bune monitorizează comportamentul vizitatorilor pe site. Prin urmare, vă recomand să îl utilizați activ și să fiți interesat de ceea ce fac oaspeții pe site-ul dvs. Și este convenabil pentru ei acolo.Site confirmat de:
Încărcați Sitemap
Deschideți panoul de control al site-ului, în secțiunea „Scanare”, deschideți „Fișiere Sitemap”:
Introdu adresa sitemapului:
După confirmare, acordați timp roboților să verifice fișierul pentru erori și să adauge lista de adrese URL în baza de date pentru indexare. Rezultatele pot fi văzute mai târziu în aceeași secțiune. În mod ideal, numărul de adrese URL trimise ar trebui să se potrivească cu numărul de adrese URL indexate.
Simplificați navigarea, accelerați site-ul, generați continut de calitate... Acest lucru vă va asigura că site-ul dvs. este complet indexat. Și nu va cădea sub filtrul pentru copy-paste.
Cum să accelerezi indexarea
Și acum o mică caracteristică pe care am văzut-o cândva pe un forum vorbitor de engleză. Webmasterul a fost interesat de cum să accelereze indexarea unui site nou. A încărcat harta site-ului, dar toate paginile nu au apărut în rezultatele căutării. Sfatul a fost foarte simplu: pentru a „forța” Google să înceapă scanarea imediat, trebuie să rulați instrumentul în panoul de control „Vizualizați ca Googlebot”.
În formularul care apare, trebuie să introduceți adresa sitemapului. Fișierul adăugat va apărea în lista de sub formular. Apăsăm „trimite la index”. După aceea, robotul Google va trece prin toate linkurile de pe harta site-ului, luând pentru pagina principala harta site-ului.
O notă la formular afirmă că Google nu garantează că toate fișierele site-ului vor fi indexate. Cu toate acestea, această metodă este cea mai ușoară pentru a atrage atenția unui motor de căutare asupra site-ului dvs.
Pentru dulce
Când site-ul este indexat, vă puteți relaxa. Ei bine, ca desert pentru tine, acest videoclip despre vara si activitatile in aer liber:
Ștampilați „Like”, trebuie doar să ne urmăriți pe Facebook
În acest articol, vă vom arăta cum să adăugați site-ul dvs. la Google. În acest exemplu, vă vom arăta pas cu pas cum să indexați un site WordPress în Google ( Google) folosind pluginul Yoast SEO si serviciu cautare Google Consolă.
În același timp, pentru cei care nu folosesc WordPress, procesul va fi același, cu singura diferență că va trebui să utilizați o abordare alternativă pentru a crea un sitemap și pentru a oferi condiții pentru ca crawler-ul Google să vă acceseze site-ul.
Aici scurta descriere ce vom acoperi în acest articol:
- Trei pași pentru a adăuga orice site la căutarea Google.
- Cum să adăugați site-ul dvs. WordPress la căutarea Google:
- Cum să vă asigurați că crawler-ul Google vă poate accesa cu crawlere site-ul ( robots.txt).
- Cum se instalează și se configurează pluginul Yoast SEO.
- Cum să utilizați Google Search Console pentru a indexa site-ul dvs.
Trei pași pentru a adăuga orice site la căutarea Google
Vom parcurge întregul proces pas cu pas pentru utilizatorii WordPress, cu toate acestea, aproape toți aceiași pași trebuie urmați, indiferent de platforma pe care o utilizați:
1. Asigurați-vă că crawler-ul Googlebot poate accesa paginile site-ului pe care doriți să le indexați. Aceasta se referă la fișierul robots.txt. Daca tu - Utilizator WordPress, este foarte simplu și vă vom arăta cum.
2. Configurați Google Search Console pentru domeniul pe care doriți să îl adăugați la căutarea Google.
3. Trimiteți harta site-ului dvs. prin Google Search Console și cereți Google să vă acceseze cu crawlere site-ul.
Cum să adăugați site-ul dvs. WordPress la Google Search Console
Pentru a indexa un site WordPress, trebuie să activați Googlebot să acceseze cu crawlere site-ul dvs., apoi să creați un sitemap și, în final, să trimiteți harta site-ului prin Google Search Console. Iată cum se face.
Pasul 1 - Cum să vă asigurați că Google Crawler vă poate accesa cu crawlere site-ul (robots.txt)
Este ușor să activați crawler-ul Google să acceseze cu crawlere site-ul dvs. WordPress. Când sunteți gata ca site-ul dvs. să fie vizibil prin motoarele de căutare, urmați acești pași:
1. În panoul de administrare WordPress, plasați cursorul mouse-ului peste elementul din meniul principal „ Setări„Și selectați secțiunea” Citind».
2. Derulați în jos pagina care se deschide la „ Vizibilitatea motorului de căutare„Și debifați caseta pentru” Cereți motoarelor de căutare să nu indexeze acest site". Dacă această casetă de selectare nu este debifată, acesta va fi motivul pentru care Google nu indexează site-ul și paginile acestuia sau o face prost.
3. Apoi salvați modificările
Și asta este tot ce trebuie să faceți în această etapă, pentru ca Google să vă poată accesa cu crawlere site-ul. Să trecem la pasul următor.
Pasul 2. Cum se instalează și se configurează pluginul Yoast SEO
Yoast SEO este un plugin WordPress gratuit pe care îl recomandăm tuturor utilizatorilor. V în acest cazîl vom folosi pentru a crea un sitemap. În plus, Yoast SEO este unul dintre cele mai bune și mai accesibile Pluginuri WordPress pentru SEO, este actualizat în mod regulat pentru a fi la curent cu cele mai recente tendințe.
Iată pașii de instalare pluginul Yoast Creare SEO și Sitemap:
1. În panoul de administrare WordPress, plasați cursorul mouse-ului peste elementul din meniul principal „Plugins” și selectați secțiunea „Adăugați nou”.
2. Veți fi redirecționat către depozit Pluginuri WordPress... Pentru a găsi pluginul Yoast SEO, introduceți „ Yoast SEO". Pluginul Yoast SEO va fi unul dintre primele rezultate.
4. Apoi faceți clic pe butonul „Instalare” pentru a instala pluginul.
5. Când pluginul este instalat, faceți clic pe butonul „Activate” pentru a activa pluginul.
6. După activarea pluginului, veți vedea filă nouă « SEO»Cu sigla Yoast în meniul principal WordPress.
7. Deplasați mouse-ul peste această filă și selectați „ Bord».
8. De acolo accesați fila „Funcții”, apoi derulați în jos panoul și activați „ Opțiuni suplimentare ". Salvați modificările făcând clic pe butonul corespunzător situat în partea de jos a ecranului.
9. Ar trebui să apară fila Yoast SEO file suplimentare... Accesați fila „Titluri și meta”.
10. Apoi, accesați fila „Tipuri de înregistrare”. Aici puteți selecta elementele site-ului pe care doriți să fie indexate. În cele mai multe cazuri, doar paginile și postările trebuie indexate. Dacă ți se potrivește și această opțiune, setează parametrul „ meta-roboți" sens " fără index„Pentru orice nu vrei să fii indexat. Dacă aveți nevoie de mai multe informații despre setări diferite, faceți clic pe linkul „Ajutor” și veți avea acces la un tutorial video specific paginii în care vă aflați, precum și la alte informații de ajutor.
11. După ce ați închis toate tipurile de postări pe care nu doriți să le indexați de la indexare, faceți același lucru în filele Taxonomii, Arhive și Altele.
14. Examinați filele Tipuri de postare și Taxonomii și activați elementele pe care doriți să le indexați și dezactivați-le pe cele pe care doriți să le excludeți din procesul de indexare. Totuși, pentru majoritatea site-urilor, indexarea paginilor și a postărilor este potrivită aici Informații suplimentareîl puteți obține oricând în secțiunea „Ajutor”.
15. Apoi salvați modificările.
16. Accesați fila „General” și faceți clic pe linkul „XML Sitemap”. Copiați linkul de la bara de adresa browser și salvați-l pentru utilizare ulterioară în Google Search Console.
Asta e tot pentru instalarea și configurarea pluginului Yoast SEO și generarea URL-ului Sitemap-ului. Acum putem trece la configurarea unui cont gratuit Google Search Console și la indexarea site-ului.
Pasul 3 - Cum să utilizați Google Search Console pentru a vă indexa site-ul
Google Search Console este instrument gratuit Google și îl vom folosi pentru a accesa cu crawlere un site sau un blog. Acest instrument vă va ajuta, de asemenea, să gestionați orice erori de accesare cu crawlere asociate site-ului dvs. Să aruncăm o privire la pașii implicați în configurarea contului dvs.:
1. Accesați Google Search Console. Mai întâi trebuie să vă conectați la dvs cont Google. Nu ar trebui să existe prea multe informații aici dacă nu ați lucrat cu ele înainte.
3. Apoi vi se va cere să verificați calitatea de proprietar al domeniului. Selectează " Metode alternative „Și apăsați butonul” Etichetă HTML". Eticheta meta nume va apărea pe ecran. Selectați întreaga etichetă și copiați-o.
4. Reveniți la panoul de administrare WordPress și navigați la secțiunea Instrumente pentru pluginul Yoast SEO.
5. Accesați „ Instrumente pentru webmasteri". Aici vei vedea trei câmpuri de text... Lipiți metaeticheta pe care ați copiat-o din Google Search Console în caseta de text „ Google Search Console". La fel de opțiune suplimentară vă puteți indexa site-ul nu numai în Google (google), ci și în alte motoare de căutare. Salvați modificările.
6. După aceea, puteți reveni la Google Search Console și faceți clic pe butonul Verificare. După aceea, ar trebui să vedeți un mesaj care spune că Google a găsit eticheta și că sunteți bine.
7. Acum apăsați butonul Adăugați / Verificați Sitemap". Sperăm că ați salvat adresa URL a Sitemap-ului pe care ați copiat-o mai devreme. Lipiți-l în fereastra pop-up și faceți clic pe butonul „Trimite”.
8. Ar trebui să reîncărcați pagina, iar după aceea ar trebui să vedeți intrare nouă O fișier sitemap... Dacă primiți o eroare în această etapă, cel mai probabil aceasta se datorează faptului că site-ul dvs. blochează roboții de căutare. Nu te îngrijora pentru asta.
9. În secțiunea „Scanare” a meniului, accesați „ Vedeți ca Google". Apoi apăsați butonul " Extrageți și afișați". Acest lucru poate dura ceva timp.
10. După aceea, ar trebui să vedeți starea „Parțial”. Apasă pe " Trimite la index"Lângă el. Ar trebui să apară o fereastră care vă cere să confirmați că nu sunteți un robot. Bifați caseta și selectați opțiunea " Accesați cu crawlere această adresă URL și toate linkurile sale directe". Faceți clic pe Trimiteți.
11. Lângă starea „Parțial”, ar trebui să apară acum un mesaj care să arate că „ Adresa URL și paginile asociate acesteia au fost trimise pentru indexare».
Google este primul motor de căutare din lume. În orice regiune în care promovați site-ul, cu siguranță trebuie să îl adăugați la acest motor de căutare. În acest articol, vă voi arăta cum să adăugați site-ul dvs. la Google și să îl indexați rapid și corect.
Puteți afla cum să adăugați un site la Yandex.
Cum să adăugați un site la Google
Ai răbdare, pentru că toată lumea motoare de căutare foarte incet. Va dura câteva săptămâni pentru a indexa site-ul. Aceasta înseamnă că nu este nevoie să amânați adăugarea site-ului la motorul de căutare. Dacă tocmai ați creat un site și nu există încă intrări în el, atunci puteți deja să adăugați.
Pentru a adăuga un site la Google, trebuie să aveți un cont în acest motor de căutare (dacă utilizați prin e-mail Gmail, atunci consideră că există un cont, prin intermediul acestuia poți accesa toate instrumente Google). Faceți următoarele în ordine:
- Accesați instrumente webmaster Google, care se află și faceți clic pe butonul " Adăugați o resursă". Introduceți adresa site-ului pe care îl adăugați și faceți clic pe „ Continua».
Adăugarea unui site la Google
- Va aparea Pagina următoare, unde trebuie să confirmați drepturile asupra site-ului dvs. Există mai multe moduri, dar cea mai simplă și mai convenabilă este utilizarea unui fișier HTML. Descărcați fișierul care vă este oferit în paragraful 1 instructiuni googleși încărcați-l în directorul rădăcină al site-ului dvs. Dacă ați făcut totul corect, atunci când faceți clic pe linkul din paragraful 3 din instrucțiunile Google, veți vedea conținutul acestui site. Dacă nu, atunci pagina 404. Apăsați butonul " A confirma».
Confirmarea drepturilor asupra site-ului
- Pentru a adăuga un site la Google și a-l face corect și indexare rapidă, trebuie să arătați roboților de căutare unde aveți. Pentru a face acest lucru, accesați panoul de control al site-ului din instrumentele Google pentru webmasteri, faceți clic pe elementul " Scanare„Și selectați elementul secundar” FișiereHarta site-ului". Faceți clic pe " Adăugați / verificați fișierulHarta site-ului„Și introduceți adresa înaintea hărții în linie, de exemplu” ru /harta site-ului.xml". Vă rugăm să rețineți că domeniul site-ului este deja scris acolo, așa că trebuie să intrați fără el - " harta site-ului.xml". Apoi apăsați butonul " Trimite fișierHarta site-ului". Dacă doriți să verificați dacă există erori înainte de a face acest lucru, faceți clic pe „ VerificaHarta site-ului».
Adăugarea unui sitemap
Dacă ați făcut totul în aceste puncte, atunci luați în considerare că ați reușit să adăugați site-ul pe Google. Acum trebuie să așteptați puțin timp în care motorul de căutare indexează totul. Acest lucru durează de obicei 1-3 săptămâni. Puteți controla întregul proces de indexare în
Paginile trebuie indexate. Indexarea site-ului - ce este în cuvinte simple? Fiecare motor de căutare are propriul său robot de căutare. El poate vizita oricând site-ul și „plimba” prin el, transferând toate documentele scanate (toate codurile html, textul, imaginile, linkurile și orice altceva) la baza motorului său de căutare. Acest proces se numește „scanare”.
Ei bine, acum să căutăm răspunsuri la întrebările „cum să accelerăm indexarea?” și „cum să îmbunătățim indexarea?”
Cum să verificați indexarea unui site în Google și Yandex
Există mai multe moduri de a obține un răspuns la întrebările „este această pagină indexată?”, „Câte pagini sunt indexate?” etc. Să aruncăm o privire la unele dintre cele mai eficiente. Dar mai întâi, o mică clarificare - procesare interogare de căutare si formarea rezultatele cautarii apare pe baza „copiilor” indexate ale paginilor aflate în baza de date a motorului de căutare, și nu pe baza paginilor disponibile pe site. Ei bine, acum aproximativ trei moduri de a verifica indexarea:
Cabinete ale motoarelor de căutare Yandex, Google, Mail.ru etc. Deja acolo, cu 100% probabilitate, puteți obține toate datele necesare.
Runet este plin de servicii online potrivite. Aproape toate funcționează în același mod: este indicată adresa site-ului și obținem dintr-o privire datele și întregul istoric al indexării site-ului.
Verificare manuală folosind site-ul: operator. Acestea. conduce în șir de căutare site: your-site.guru și obțineți imediat o listă de pagini indexate (sub formă de rezultate de căutare) și numărul acestora.
Verificați indexarea site-ului în Yandex.Webmaster
Aici puteți introduce imediat într-o coloană o listă de site-uri care trebuie verificate pentru indexare. Mai mult, lista poate conține atât nume de domenii exclusiv (de exemplu, site-ul tău.go), cât și link-uri către unele documente specifice (de exemplu, site-ul tău.go / conținut / domashka /) - nu contează, pentru că. La. serviciul „izolează” automat nume de domenii.
Acest serviciu poate verifica indexarea în Google și Yandex. Sunt permise până la 250 de cecuri pe zi.
Pe scurt, serviciul este complet similar cu cel precedent, cu două excepții:
- serviciul verifică indexarea „la bucată”, adică. numai un site poate fi verificat la un moment dat;
- puteți verifica și indexarea în Bing.
Cum să accelerezi indexarea site-ului web
Este puțin probabil ca unii dintre voi să aibă o întrebare „de ce accelerați indexarea?” răspunsul la aceasta este deja evident: pentru a lua totul cât mai repede masurile necesare pentru a câștiga toate pozițiile de top pentru cererile promovate.
Primul lucru de făcut este să adăugați site-ul la conturile dvs. de webmaster de la Google și Yandex. Dacă acest lucru nu se face, atunci site-ul va fi indexat foarte lent și foarte rar, lăsându-l pe webmaster singur cu pistilele lui despre cucerirea cel puțin TOP-10.
În continuare, trebuie să configurați corect robots.txt, deoarece un robot de căutare poate scana doar un anumit număr de pagini pe vizită. Și va fi foarte ofensator dacă robotul începe să scaneze pagini de natură „tehnică” (de exemplu, pagina de înregistrare a site-ului, sau pagina de introducere a parolei de conectare), care nu au nicio legătură în index. Pentru a preveni acest lucru, datele despre paginile care nu trebuie accesate cu crawlere sunt introduse în fișierul robots.txt. Nu vom vorbi despre cum este compilat robots.txt acum, deoarece avem deja un articol detaliat pe acest subiect.
Următorul pas este configurarea sitemap-ului xml (sitemap.xml). Conține o listă cu toate paginile care trebuie indexate de motoarele de căutare. De asemenea, puteți specifica prioritatea indexării și chiar intervalele. Cu cât harta site-ului este actualizată mai des, cu atât este mai mare probabilitatea ca robotul de căutare să decidă să viziteze site-ul mai des (care este exact ceea ce avem nevoie, nu?).
Viteza site-ului poate afecta, de asemenea, indexarea. cu cât robotul de căutare primește mai repede un răspuns la cererea sa, cu atât mai bine, pentru că dacă îi spui robotului „luăm prânzul, întoarce-te într-o oră” - robotul va pleca pur și simplu și pentru mult timp.
Erorile din cod pot afecta, de asemenea, indexarea, doar negativ. Prin urmare, este extrem de important să nu existe deloc erori în cod. în loc de codul 200 (și anume, acest cod este dat când lucru corect) robotul de căutare poate primi un cod, de exemplu, 404, sau altul care indică o eroare.
În cele mai multe cazuri, măsurile descrise mai sus sunt suficiente pentru ca site-ul să fie indexat suficient de rapid.
Indexare rapidă a site-ului în Yandex
Există câteva modalități neevidente de a accelera indexarea unui nou site în Yandex. Am menționat deja de multe ori despre înregistrarea în conturile de webmaster de la Yandex, Google, Bing și Mail.
În aceste cabinete, puteți primi statistici privind reindexarea paginilor, precum și a primi notificări despre anumite erori legate de funcționarea site-ului.
Și acum un mic „life hack”. În Yandex.Webmaster, accesați „Indexare” - „Re-crawling pagini” și specificați adresa paginii nou create. Da, nu ne certăm, nu funcționează întotdeauna, tk. După notificare, robotul de căutare Yandex acționează la propria discreție și nu decide întotdeauna să viziteze această pagină, dar cel puțin va afla despre asta. Prin urmare, vă recomandăm să utilizați acest instrument pentru a accelera indexarea unui nou site sau a paginilor acestuia.
Indexarea imaginilor site-ului
Practic, obținerea acestor informații va fi utilă dacă promovați, de exemplu, găzduirea foto.
Este important de reținut că Google, Bing și Yandex indexează textul și imaginile de către diferiți roboți. Imaginile sunt indexate de Google cel mai rapid. Yandex indexează imaginile mult mai lent în comparație cu Google, dar mult mai rapid în comparație cu Bing, iar acesta din urmă indexează doar lent site-urile Runet. Nu ai încredere?
Cu toate acestea, există un sfat universal pentru optimizarea imaginilor - să scrieți în cod atribute alt= ”” Și titlu = ”” pentru fiecare imagine, deoarece ambele sunt foarte importante.
Dacă treceți cu mouse-ul peste imagine, poate apărea un text explicativ pentru a facilita utilizatorului să înțeleagă „unde să caute și ce să vadă”. Textul acestui sfat este scris în atributul titlu = ””.
Există și situații în care imaginea din anumite motive nu se încarcă (poate fi ștearsă, încărcarea imaginii poate fi dezactivată în browser - nu contează). În acest caz, în loc de o fotografie, ar trebui să apară un text care să descrie exact ce se arată în imaginea care nu s-a încărcat. Acest text este scris în atributul alt = ””.
Cum să afli câte imagini sunt indexate de un motor de căutare?
Răspunsul este extrem de simplu: mergi la cel care ne interesează motor de căutare, în linia de căutare circulăm pe site-ul operatorului :, după două puncte fără spațiu, scrieți numele domeniului, confirmați solicitarea cu tasta Enter, apoi accesați fila „Imagini” sau „Imagini” (în funcție de motorul de căutare). Veți vedea pozele în sine și veți afla numărul exact al acestora.
Pentru Yandex va arăta astfel:
Și pentru Google - așa
Întrebări
Cum să preveniți indexarea site-ului
Uneori devine necesară interzicerea indexării site-ului. Pot exista mai multe motive pentru aceasta - lucrări de inginerie pe site sau este în curs de testare design nou, etc.
Există mai multe moduri de a spune motoarelor de căutare „nu trebuie să indexați nimic aici”.
Primul, cel mai popular și cel mai simplu este prin fișierul robots.txt. Trebuie doar să scrieți acest cod aici:
Acum să aruncăm o privire la ce înseamnă acest cod.
User-agent este o directivă care specifică numele unui robot de căutare pentru care a fost generată o listă de reguli. Dacă este specificat un asterisc ca nume, atunci lista este relevantă pentru toți roboții de căutare (cu excepția celor pentru care au fost compilate liste individuale de reguli). Dacă specificați numele unui robot de căutare în loc de un asterisc, atunci lista de reguli se va aplica în mod specific acestuia:
Agent utilizator: yandex
Directiva Disallow: concepută pentru a le spune roboților de căutare ce fișiere / foldere să scaneze. În cazul nostru, o singură bară oblică indică faptul că este interzisă indexarea întregului site ca întreg.
Sunt cazuri speciale când este necesară închiderea indexării pentru toate motoarele de căutare, cu excepția unuia anume. În acest caz, vom avea 2 liste (dintre care una este afișată mai sus în captură de ecran), iar a doua - o listă individuală pentru un anumit robot. În acest caz, robotul motorului de căutare Yandex.
Agent utilizator: Yandex
Ne-am ocupat de User-agent și Disallow, acum să ne ocupăm de directiva Allow. Este o directivă permisivă. Vorbitor limbaj simplu, codul de mai sus al fișierului robots.txt interzice indexarea site-ului de către toate motoarele de căutare, cu excepția Yandex.
Da, nu ne certăm, în ciuda interdicțiilor, motoarele de căutare pot indexa site-ul. Cu toate acestea, acest lucru este atât de rar încât chiar și o eroare statistică poate fi numită o întindere.
A doua cale sunt roboții. Pentru a face acest lucru, adăugați următoarea linie la codul site-ului:
META NUME = CONȚINUT ”ROBOȚI” = ”NOINDEX, NOFOLLOW”
IMPORTANT!!! Il poti adauga in asa fel incat sa fie incarcat in codul fiecarei pagini a site-ului, fara exceptie, sau il poti adauga la unele pagini separate... Dar, în ambele cazuri, această metaetichetă trebuie plasată în zona head html.
În comparație cu prima, a doua metodă este mai dificilă pentru o interdicție masivă a indexării și mai ușoară pentru un punct unu.
A treia modalitate este de a închide site-ul prin .htaccess
Metoda este, de asemenea, destul de simplă - adăugați următorul cod în fișierul .htaccess:
Acum robotul de căutare nu va putea accesa site-ul fără o parolă.
Acesta este cel mai mult calea cea bunaînchideți site-ul de la indexare, dar apare o altă problemă - există dificultăți la scanarea site-ului pentru erori, deoarece nu orice analizator se poate autentifica.
Metoda 4 este configurarea antetului de răspuns HTTP
Această metodă este, de asemenea, destul de eficientă pentru o interdicție punctuală a indexării. Funcționează după cum urmează - împreună cu codul de răspuns al serverului, este trimis și antetul X-Robots-Tag cu marca noindex. După ce a primit un astfel de răspuns „însoțitor”, motorul de căutare nu va indexa această pagină.
Dacă este necesar, puteți trimite mai multe anteturi X-Robots-Tag. În acest caz, există două dintre ele noarchive și unavailable_after.
Dacă este necesar, înaintea directivei, puteți indica și robotul de căutare căruia îi este adresată directiva, iar directivele în sine pot fi scrise separate prin virgule. De exemplu, așa:
Și, desigur, ați ghicit deja că, dacă nu există un nume de agent de utilizator, comanda va fi executată de toți roboții. Acestea. directivele pot fi combinate în moduri diferite pentru diferite crawler-uri.
Cum se deschide un site pentru indexare
Răspunsul a fost deja sunat - folosind directiva Allow (amintiți-vă de exemplu când folosiți robots.txt am blocat site-ul de la indexarea pentru toate motoarele de căutare, cu excepția Yandex).
Allow: / permite indexarea site-ului și Disallow: / interzice.
Când a fost indexat ultima dată site-ul
Vedeți și accesați istoricul cu crawlere roboți de căutare Google este destul de simplu. Pentru început, în linia de căutare este introdus operatorul site:, după două puncte fără spații este indicat numele domeniului tău, apoi facem clic pe „Tools” și selectăm perioada corespunzătoare într-una din coloane. Dacă selectați „în ultimele 24 de ore”, atunci puteți fie să obțineți o listă cu paginile care au fost indexate în ultimele 24 de ore, fie să obțineți „Nimic găsit”. Aceasta înseamnă că site-ul dvs. nu a fost reindexat în ultimele 24 de ore.
În Yandex, totul se face și mai ușor - toate informatie necesara iar istoricul este disponibil în Yandex.Webmaster:
Cum să adăugați un site pentru indexare
Aceste informații vor fi utile tuturor celor care tocmai și-au creat primul site web, de exemplu. cu cât site-ul este indexat mai repede, cu atât mai repede veți obține primul trafic de căutare.
Adăugarea unui site la Google
În primul rând, urmați linkul http://www.google.com/addurl/?continue=/addurl, conectați-vă (dacă este necesar), introduceți adresa URL, parcurgeți captcha (în acest caz, bifați caseta „Nu sunt robot” și parcurgeți 1-2 sarcini cu imagini) și faceți clic pe „Trimiteți cererea”.
Apoi vi se va da un mesaj ca acesta. Înseamnă „OK, site-ul a fost luat în considerare, ne vom uita acolo în curând”.
Dacă totul este în ordine cu site-ul, indexarea se va întâmpla foarte repede.
Adăugarea unui site la Yandex
În primul rând, accesați https://webmaster.yandex.ru/, înregistrați-vă, apoi accesați Indexare - Re-crawling paginile și adăugați acolo numele de domeniu al site-ului dvs. Tot.
Adăugarea unui site la Bing
Este și mai ușor aici - intrați aici http://www.bing.com/toolbox/submit-site-url, introduceți numele domeniului, captcha și gata! Înregistrarea nu este necesară.
IMPORTANT!!! Pe acest moment nu are rost să promovezi site-uri în limba rusă pe Bing, spre deosebire de cele în limba engleză. Acest lucru se datorează faptului că foarte puțini oameni din Rusia știu despre motorul de căutare Bing.
Adăugarea unui site la Căutare Mail.ru
Această procedură este, de asemenea, destul de simplă - accesați biroul webmasterului mail.ru la linkul http://go.mail.ru/addurl, înregistrați-vă / autentificați-vă, apoi indicați numele de domeniu al site-ului, introduceți captcha și faceți clic pe „ Adăuga".
Apoi, pe ecran va fi afișat următorul mesaj:
P.S. Indexarea unui site pe Wordpress, Wix, Joomla, Ucoz sau orice alt CMS sau constructor nu este diferită. Totul depinde de setul de reguli care sunt scrise în fișierul robots.txt sau chiar în codul paginii. Pentru a afla mai multe despre cum să configurați corect fișierul robots.txt, precum și despre cum să deschideți sau să închideți paginile de accesare cu crawlere în Yandex și Google, citiți ACEST articol! De asemenea, în articol veți găsi gata făcute fișiere roboți pentru indexarea corectă a site-urilor WordPress, Joomla, Wix în Yandex și Google.
