Ce este indexarea și cum se poate îmbunătăți. baza de date Google

Ce este indexarea site-urilor? Cum se întâmplă? Puteți găsi răspunsuri la aceste și alte întrebări în articol. în motoarele de căutare) se numește procesul de adăugare a informațiilor despre un site la o bază de date de către un robot motor de căutare, care este ulterior folosit pentru a căuta informații despre proiectele web care au fost supuse unei astfel de proceduri.

Datele de resurse web constau cel mai adesea în Cuvinte cheie, articole, link-uri, documente. Audio, imaginile și așa mai departe pot fi, de asemenea, indexate. Se știe că algoritmul de identificare a cuvintelor cheie depinde de motorul de căutare.

Există anumite limite pentru tipurile de informații indexate (fișiere flash, javascript).

Managementul implicarii

Indexarea site-ului este un proces complex. Pentru a-l controla (de exemplu, interziceți trimiterea unei anumite pagini), trebuie să utilizați fișierul robots.txt și prescripții precum Permite, Interzice, Întârziere cu crawlere, Agent utilizator și altele.

De asemenea, etichetele sunt folosite pentru indexare. și recuzită care ascund conținutul resursei de roboții Google și Yandex (Yahoo aplică eticheta ).

În motorul de căutare Goglle, site-urile noi sunt indexate de la câteva zile la o săptămână, iar în Yandex - de la o săptămână la patru.

Doriți ca site-ul dvs. să apară în interogările privind rezultatele motorului de căutare? Apoi trebuie procesat de Rambler, Yandex, Google, Yahoo și așa mai departe. Trebuie să informați motoare de căutare(păianjeni, sisteme) despre existența site-ului dvs. și apoi îl vor accesa cu crawlere în întregime sau parțial.

Multe site-uri nu au fost indexate de ani de zile. Informațiile care se află pe ele nu sunt văzute de nimeni, cu excepția proprietarilor lor.

Metode de prelucrare

Indexarea site-ului se poate face în mai multe moduri:

1. Prima opțiune este adăugare manuală... Trebuie să introduceți detaliile site-ului dvs. prin forme speciale oferit de motoarele de căutare.
2. În al doilea caz, robotul motorului de căutare însuși găsește site-ul dvs. din link-uri și îl indexează. El vă poate găsi site-ul prin link-uri din alte resurse care duc la proiectul dumneavoastră. Această metodă este cea mai eficientă. Dacă un motor de căutare găsește un site în acest fel, îl consideră semnificativ.

Sincronizarea

Indexarea site-ului este lentă. Termenii sunt diferiti, de la 1-2 saptamani. Link-urile din resurse autorizate (cu PR și Tit excelente) accelerează semnificativ plasarea unui site în baza de date a motorului de căutare. Astăzi, Google este considerat cel mai lent, deși până în 2012 ar putea face această treabă într-o săptămână. Din păcate, lucrurile se schimbă foarte repede. Se știe că Mail.ru lucrează cu site-uri web în acest domeniu de aproximativ șase luni.

Nu orice specialist este capabil să indexeze un site în motoarele de căutare. Momentul de adăugare a unor noi pagini la baza unui site deja procesat de motoarele de căutare este afectat de frecvența de corectare a conținutului acestuia. Dacă resursa apare în mod constant cu informații proaspete, sistemul o consideră actualizată frecvent și utilă oamenilor. În acest caz, munca ei este accelerată.

Puteți urmări progresul indexării unui site web pe secțiuni speciale pentru webmasteri sau pe motoarele de căutare.

Schimbări

Deci, ne-am dat deja seama cum este indexat site-ul. Trebuie remarcat faptul că bazele de date ale motoarelor de căutare sunt actualizate frecvent. Prin urmare, numărul de pagini din proiectul dvs. adăugate acestora se poate modifica (atât să scadă, cât și să crească) din următoarele motive:

• sancțiuni pentru motoarele de căutare împotriva site-ului;
• prezența erorilor pe site;
• modificări ale algoritmilor motoarelor de căutare;
• hosting dezgustător (inaccesibilitatea serverului pe care se află proiectul) și așa mai departe.

Yandex răspunde la întrebări frecvente

Yandex este un motor de căutare folosit de mulți utilizatori. Ocupă locul cinci printre sistemele de căutare din lume în ceea ce privește numărul de solicitări de cercetare procesate. Dacă ați adăugat un site la acesta, este posibil să dureze prea mult pentru a adăuga la baza de date.

Adăugarea unei adrese URL nu garantează că aceasta va fi indexată. Aceasta este doar una dintre metodele prin care robotul sistemului este informat că a apărut. noua resursa... Dacă există puține sau nu există link-uri către un site de pe alte site-uri, adăugarea acestuia vă va ajuta să îl găsiți mai rapid.

Dacă indexarea nu a avut loc, trebuie să verificați dacă au existat erori pe server în momentul creării unei aplicații pentru acesta de la robotul Yandex. Dacă serverul raportează o eroare, robotul își va înceta activitatea și va încerca să o execute într-o ordine dus-întors. Angajații Yandex nu pot crește viteza de adăugare a paginilor la baza motorului de căutare.

Indexarea unui site în Yandex este o sarcină destul de dificilă. Nu știți cum să adăugați o resursă la un motor de căutare? Dacă există link-uri către acesta de pe alte site-uri web, atunci nu este nevoie să adăugați un site special - robotul îl va găsi automat și îl va indexa. Dacă nu aveți astfel de linkuri, puteți utiliza formularul „Adăugați URL” pentru a declara existența site-ului web motorului de căutare.

Rețineți că adăugarea unei adrese URL nu garantează că creația dvs. va fi indexată (sau viteza).

Mulți oameni se întreabă cât timp durează indexarea unui site în Yandex. Angajații acestei companii nu dau garanții și nu prevăd termeni. De regulă, de când robotul a aflat despre site, paginile acestuia apar în rezultatele căutării în două zile, uneori în câteva săptămâni.

Procesul de procesare

Yandex este un motor de căutare care necesită precizie și atenție. Indexarea site-ului constă din trei părți:

1. Crawler-ul accesează cu crawlere paginile resursei.
2. Conținutul (conținutul) site-ului este înregistrat în baza de date (index) a sistemului de căutare.
3. În 2-4 săptămâni, după actualizarea bazei de date, puteți vedea rezultatele. Site-ul dvs. va apărea (sau nu va apărea) în rezultatele căutării.

Verificare de indexare

Cum se verifică indexarea unui site? Acest lucru se poate face în trei moduri:

1. Introduceți numele companiei dvs. în bara de căutare (de exemplu, Yandex) și verificați fiecare link din prima și a doua pagină. Dacă găsiți acolo adresa URL a creației dvs., atunci robotul și-a finalizat sarcina.
2. Puteți introduce adresa URL a site-ului dvs. în caseta de căutare. Veți putea vedea câte liste de Internet sunt afișate, adică indexate.
3. Înregistrați-vă pe paginile webmasterilor din Mail.ru, Google, Yandex. După ce treceți de verificarea site-ului, veți putea vedea rezultatele indexării și alte servicii ale motoarelor de căutare create pentru a îmbunătăți performanța resursei dvs.

De ce refuză Yandex?

Indexarea site-ului în Google se realizează astfel: robotul introduce în baza de date toate paginile site-ului, de calitate scăzută și de înaltă calitate, fără a selecta. Doar daca documente utile... Și „Yandex” exclude tot gunoiul web simultan. Poate indexa orice pagină, dar motorul de căutare va elimina în cele din urmă toate nedoritățile.

Ambele sisteme au un index suplimentar. Atat una cat si cealalta pagina De calitate inferioară afectează clasamentul site-ului web în ansamblu. Există o filozofie simplă la lucru aici. Resurse preferate utilizator specific va ocupa poziții superioare în rezultatele căutării sale. Dar același individ poate găsi cu greu un site care nu i-a plăcut ultima dată.

De aceea, mai întâi, este necesar să acoperiți copiile documentelor web de la indexare, să verificați disponibilitatea pagini goaleși nu lăsați în emisiune nu continut de calitate.

Accelerează Yandex

Cum puteți accelera indexarea unui site în Yandex? Urmați acești pași:

Acțiuni intermediare

Ce trebuie făcut în timp ce pagina web nu este indexată de Yandex? Motorul de căutare intern ar trebui să considere site-ul ca sursă principală. De aceea, chiar înainte de publicarea unui articol, este imperativ să adăugați conținutul acestuia în formularul „Texte specifice”. În caz contrar, plagiatorii vor copia înregistrarea în resursa lor și vor fi primii în baza de date. Ca urmare, ei vor fi recunoscuți ca autori.

baza de date Google

Interdicţie

Care este interdicția de a indexa un site? Îl puteți suprapune fie pe întreaga pagină, fie pe o parte separată a acesteia (link sau fragment de text). De fapt, există atât o interdicție globală a indexării, cât și una locală. Cum este implementat acest lucru?

Luați în considerare interdicția de a adăuga un motor de căutare pentru site-uri web la baza de date din Robots.txt. Folosind fișierul robots.txt, puteți exclude indexarea unei pagini sau a unei întregi categorii a unei resurse, astfel:

1. Agent utilizator: *
2. Nu permiteți: /kolobok.html
3. Nu permiteți: / foto /

Primul punct spune că instrucțiunile sunt definite pentru toate PS, al doilea indică interzicerea indexării fișierului kolobok.html, iar al treilea nu permite adăugarea întregii umpleri a folderului foto la bază. Dacă trebuie să excludeți mai multe pagini sau foldere, specificați-le pe toate în „Robot”.

Pentru a preveni indexarea unei liste web individuale, puteți utiliza meta-roboți. Diferă de robots.txt prin faptul că oferă instrucțiuni tuturor motoarelor de căutare simultan. Această metaetichetă este supusă principii generale format html... Ar trebui să fie plasat în antetul paginii între intrarea pentru a interzice, de exemplu, poate fi scris astfel: .

Ajax

Cum indexează Yandex site-urile Ajax? Astăzi Tehnologia Ajax folosit de mulți dezvoltatori de site-uri web. Bineînțeles că are mari oportunități... Cu acesta, puteți crea pagini web interactive rapide și eficiente.

Cu toate acestea, sistemul „vede” lista web diferit de utilizator și browser. De exemplu, o persoană se uită la o interfață confortabilă cu liste de internet încărcate mobil. Pentru un crawler, conținutul aceleiași pagini poate fi gol sau prezentat ca restul conținutului HTML static, pentru generarea căruia nu se folosesc scripturi.

Puteți folosi o adresă URL C # pentru a crea site-uri Ajax, dar crawler-ul nu o folosește. De obicei, partea URL după # este eliminată. Acest lucru trebuie luat în considerare. Prin urmare, în loc de o adresă URL ca http://site.ru/#example, el face o solicitare pagina principala resursă aflată la http://site.ru. Aceasta înseamnă că este posibil ca conținutul listei să nu fie inclus în baza de date. Ca urmare, nu va apărea în rezultatele căutării.

Pentru a îmbunătăți indexarea site-urilor Ajax, Yandex a acceptat modificări în robotul de căutare și regulile de procesare a adresei URL a unor astfel de site-uri. Astăzi, webmasterii pot indica motorului de căutare Yandex necesitatea indexării prin crearea unei scheme corespunzătoare în structura resurselor. Este nevoie de:

1. Înlocuiește în URL-urile paginii caracterul # pe # !. Acum robotul va înțelege că poate aplica pentru versiunea HTML a conținutului acestei liste web.
2. Versiunea HTML a conținutului unei astfel de pagini ar trebui plasată pe o adresă URL unde #! înlocuit cu? _escaped_fragment_ =.

Bună prieteni. Astăzi va fi o postare mică, scurtă pentru tine, dar foarte utilă. Profesioniștii în blogging știu deja despre trucul despre care voi vorbi în articol, dar pentru începători va fi doar asta. Va merge cum să accelerați indexarea dvs articol nou Google.

Cum să-ți faci articolul nou și proaspăt să zboare rapid în index. Am un record de 21 de secunde, păcat că nu am făcut o captură de ecran (am uitat), dar am făcut o captură de ecran a unui articol nou din index în 51 de secunde. Prea bun.

Indexarea rapidă de către roboți este cheia sănătății blogului tău. Nu voi explica de ce este importantă indexarea rapidă a unui blog, probabil că știți deja despre asta. Să trecem direct la subiect. Ai scris un articol recent. Am apăsat butonul „Publică” și acesta (articolul) a apărut pe blog.

Bineînțeles că poți aștepta până vine robot googleși îl mănâncă (indexează), dar este mai bine să-l informezi singur că există o nouă adresă URL pe blogul tău - articolul tău. Totul se face foarte simplu.

Fiecare dintre voi probabil are un cont google și știți ce instrumente Google pentru webmasteri(blogul tău a fost deja adăugat acolo). O.K. În general, după ce ai dat clic pe articolul „Publică” de pe blog, mergi tu la acestea instrumente pentru webmasteri Google — Scanare — Vizualizați ca Googlebot .

Acolo introducem adresa noastră URL în rând (rețineți că adresa începe cu un titlu, adică nu trebuie să specificați http://domain.ru/) și faceți clic pe - Scanează .

După ce adresa este scanată și Google dă starea de verificare „Gata”, apoi apăsați butonul „

Este tot! Dacă postați articolul pe blog și scanați adresa URL adrese google va spune că nu a găsit adresa, atunci poate că merită să ștergeți memoria cache a blogului, de asemenea, uneori, Google în sine are erori, dar acest lucru este foarte rar.

Ei bine, puteți să vă prindeți din urmă supliment google incarca link-ul aici:

Aici introduceți deja întregul link URL în șir. Asta e tot pentru azi. Un articol scurt, dar util pentru cei care nu știau despre un astfel de truc. Acum toate articolele mele sunt indexate de Google în medie de 1 minut, probabil chiar mai puțin, ceea ce este bine!

Ei bine, nu uitați, desigur, de alte modalități de îmbunătățire a indexării. Pentru aceasta vă sugerez să citiți acest articol despre. La revedere tuturor. Folosește acest lucru și vei avea întotdeauna o indexare fulgerătoare în Google.

Ei bine, la sfârșitul articolului, am un anunț interesant pentru tine:

Primul plugin rusificat butoane sociale pentru WordPress - Butoane de distribuire Uptolike... Instalare în două clicuri, fără probleme cu codul, un număr infinit de opțiuni pentru stilurile de butoane.

Și, de asemenea, foarte statistici utile: aprecieri, baloane, abonamente, atragerea de noi utilizatori și multe altele.

Cu sinceritate. Alexandru Borisov

La lansarea unui nou site, în primele 10 zile, webmasterul este obligat să aștepte până când resursa sa este indexată și intră în rezultatele motorului de căutare. Google indexează de obicei mai rapid și mai bine decât Yandex. Dar mai durează câteva zile pentru ca robotul să acceseze cu crawlere întregul site. Indexarea poate fi accelerată și simplificată decât pare.

Aceeași situație se aplică atunci când faceți modificări semnificative la un site care funcționează deja. De exemplu, schimbarea sistemului de adrese URL sau a aspectului. În acest caz, vom fi interesați să reindexăm toate paginile.

Mai întâi trebuie să convingi motoarele de căutare să „iubească” site-ul tău. Nu ar trebui să existe ghicitori în ea. Cel mai bun mod este de a crea un sitemap pentru o navigare ușoară.

Creați un Sitemap

Mai întâi, obțineți un sitemap (Sitemap.xml).

Harta site-ului este un fișier cu date despre site-ul dvs. pentru motoarele de căutare. Conține o listă de pagini care trebuie indexate. Datorită xml-markup, harta site-ului ajută motoarele de căutare să determine rapid structura site-ului, frecvența actualizărilor acestuia și „greutatea” unor pagini în comparație cu altele.

Dacă nu știți despre sitemap, nu este mare lucru. Există multe resurse online care îl creează pentru tine. De exemplu:

• MySiteMapGenerator (limba: rusă, până la 500 de pagini gratuite)
• Web-Site-Map.com (limba: engleză, complet gratuit)
• xml-sitemaps.com (limba: engleză, până la 500 de pagini gratuite)

Este simplu: introduceți url-ul și codul de securitate, restul setărilor nu trebuie atinse în 90% din cazuri.

După aceea, așteptăm ca robotul să acceseze cu crawlere site-ul dvs. și să adauge toate paginile găsite în fișier. Ca rezultat, acest fișier poate fi descărcat. Indexarea durează de obicei 10-15 minute. Este mai bine să redenumiți fișierul rezultat în sitemap.xml, acesta trebuie încărcat în folderul rădăcină Site-ul tău.

Pentru lucru corect datele sitemap în robots.txt... Citiți despre ce este. Pentru început, trebuie doar să adăugați harta site-ului la acest fișier:

Agent utilizator: *
Permite: /
Harta site-ului: http://site/sitemap.xml

Jumătate din muncă este făcută. Ține-o așa.

Înscrieți-vă cu Instrumentele Google pentru webmasteri

Google are Instrumente pentru webmasteri... Este ușor să lucrezi cu ei. Adăugați adresa site-ului:

Pentru a împiedica alte persoane să vă urmărească site-ul, va trebui să verificați drepturile asupra acestuia. Există mai multe moduri de a face acest lucru. Cel mai simplu este să pui codul Google Analytics v ... Doar setați codul de contor și faceți clic pe „Verifică”. Apropo, GA este unul dintre moduri mai bune monitorizează comportamentul vizitatorilor pe site. Prin urmare, vă recomand să îl utilizați activ și să fiți interesat de ceea ce fac oaspeții pe site-ul dvs. Și este convenabil pentru ei acolo.

Site confirmat de:

Încărcați Sitemap

Deschideți panoul de control al site-ului, în secțiunea „Scanare”, deschideți „Fișiere Sitemap”:

Introdu adresa sitemapului:

După confirmare, acordați timp roboților să verifice fișierul pentru erori și să adauge lista de adrese URL în baza de date pentru indexare. Rezultatele pot fi văzute mai târziu în aceeași secțiune. În mod ideal, numărul de adrese URL trimise ar trebui să se potrivească cu numărul de adrese URL indexate.

Simplificați navigarea, accelerați-vă site-ul, generați conținut de calitate. Acest lucru vă va asigura că site-ul dvs. este complet indexat. Și nu va cădea sub filtrul pentru copy-paste.

Cum să accelerezi indexarea

Și acum o mică caracteristică pe care am văzut-o cândva pe un forum vorbitor de engleză. Webmasterul a fost interesat de cum să accelereze indexarea unui site nou. A încărcat harta site-ului, dar toate paginile nu au apărut în rezultatele căutării. Sfatul a fost foarte simplu: pentru a „forța” Google să înceapă scanarea imediat, trebuie să rulați instrumentul în panoul de control „Vizualizați ca Googlebot”.

În formularul care apare, trebuie să introduceți adresa sitemapului. Fișierul adăugat va apărea în lista de sub formular. Apăsăm „trimite la index”. După aceea, robotul Google va trece prin toate linkurile de pe harta site-ului, luând pentru pagina principala harta site-ului.

O notă la formular afirmă că Google nu garantează că toate fișierele site-ului vor fi indexate. Cu toate acestea, această metodă este cea mai ușoară pentru a atrage atenția unui motor de căutare asupra site-ului dvs.

Pentru dulce

Când site-ul este indexat, vă puteți relaxa. Ei bine, ca desert pentru tine, acest videoclip despre vara si activitatile in aer liber:

Ștampilați „Like”, trebuie doar să ne urmăriți pe Facebook

Verificarea indexării site-ului este măsura care vă permite să preveniți o scădere a nivelului câștigurilor webmasterului. Faptul este că există așa ceva ca „căderea” de pagini, potrivit motive diferite conducând la pierderea traficului.

Conținut insuficient pe pagină, probleme organizatorice la „relocarea” pe alt domeniu, spam - aceste și alte motive anulează toate eforturile webmasterilor. Cu toate acestea, un optimizator cu experiență nu va permite niciodată o astfel de situație, precum și o reducere a ratingului pentru un site care vinde link-uri „eterne”. Verificarea indexării unui site web nu este un capriciu, ci o necesitate!

Există mai multe tipuri interogări de căutare Google vă permite să vedeți dacă o pagină este indexată sau nu

Pagini de site indexate

Paginile site-ului au trecut Indexarea Google, poate fi vizualizat folosind operatorul „site:”. Trebuie avut în vedere faptul că indexarea este geo-dependentă, prin urmare, un număr diferit de pagini în index pentru și google.com.

Deci, adăugați adresa URL necesară operatorului specificat și nu ar trebui să existe spații între operator și linkul către site-ul însuși:

site: google.ru

Alternativ, puteți căuta în întregul domeniu sau într-un singur subdirector:

site: google.com/ webmasters

Pentru căutare selectivă pentru excludere pagini inutile trebuie să puneți un semn „-” în fața operatorului. Va arata asa:

site: google.ru -site: AdWords. google.com

O astfel de căutare va returna un rezultat care va conține toate paginile indexate din domeniul google.ru, cu excepția paginilor adwords. google.ru.

link: google.ru sau link: www

În plus, o căutare direcționată pentru link-uri către anumite pagini efectuat la cerere:

link: google.ru/webmasters

Memoria cache actuală a site-ului dvs

Operatorul „cache:” informează despre o copie arhivată a unei pagini care este indexată de Google. De exemplu, cache: google.ru recreează cea mai nouă versiune indexată a site-ului principal și oferă, de asemenea, informații despre data la care a fost creată memoria cache, ceea ce face posibilă vizualizarea versiunii paginii cu text simplu... Acest lucru este extrem de convenabil deoarece devine clar cât de exact poate vedea Googlebot-ul pagina.

Folosind comanda noarchive meta tag, puteți restricționa utilizatorii din rezultatele căutării să acceseze versiunea stocată în cache a oricărei pagini. Între timp, pagina va fi accesată cu crawlere și indexată motor de căutare Google:

Pagini similare

Operatorul „related:” vă permite să vedeți resurse care sunt similare cu site-ul pe care îl căutați. O astfel de căutare este folosită, de regulă, pentru resurse care se suprapun.

Google poate folosi o serie de metrici pentru a identifica asemănările, dar calitatea site-urilor returnate nu afectează în niciun fel procesul de indexare a paginilor motorului de căutare. sistemul Google... Vă recomand să citiți postarea despre Google, pot fi pagini care nu sunt în căutarea principală.

Cum să afli rapid dacă o pagină importantă pentru tine a intrat în indexul motoarelor de căutare? Și în general, câte pagini ale site-ului sunt „văzute” de motoarele de căutare? Am descris în această postare metodele care sunt cel mai des folosite de specialiștii SEO și am pregătit un bonus pentru cititori.

La indexarea paginii, robotul motor de căutare adaugă informații despre site la baza de date. Căutare în continuare apare pe paginile indexate. Indexarea și scanarea nu trebuie confundate.

Robotul poate accesa rapid întregul site. Și adăugarea la index este lentă, nu adăugarea unei părți din pagini sau eliminarea paginilor din index.

1. Verificați indexarea în panoul webmasteri

Acest mod de bază verificări pentru webmaster sau proprietarul site-ului.

Google... Trebuie să mergi la Search Console iar în fila „Google Index”, selectați „Starea indexării”.

Yandex... Trecem autorizația în Yandex.Passport, mergeți la Yandex.Webmaster și urmați calea „Indexarea site-ului” - „Pagini în căutare”. O altă opțiune: „Indexare site” - „Istoric” - „Pagini în căutare”. Aici puteți vedea dinamica schimbărilor în numărul de pagini din căutare.

Pentru a utiliza această metodă, trebuie să aveți un anumit nivel de acces la panoul webmasterului. Un exemplu de indexare bună a site-urilor. Cantitate pagini de calitate crește și se adaugă la index.
Problemele de indexare arată astfel:

Captura de ecran arată un site închis de la indexare în fișierul robots.txt

Vrei să afli mai multe despre promovarea motorului de căutare? Abonați-vă la newsletter: