Kako podesiti pametne telefone i računare. Informativni portal
  • Dom
  • Windows 7, XP
  • Upoznajte: trenutno indeksiranje stranica na Google-u. Zašto Google šalje stranice u dodatni indeks? Koliko brzo se stranica indeksira na Googleu

Upoznajte: trenutno indeksiranje stranica na Google-u. Zašto Google šalje stranice u dodatni indeks? Koliko brzo se stranica indeksira na Googleu

Indeksiranje stranice - Ovo je proces indeksiranja, tokom kojeg pretraživač prima informacije o stranicama stranice, njihovim adresama i sadržaju. Indeksiranje vrše botovi za pretragu (pauci) - specijalni programi koji traže nove i ponovo provjeravaju stare stranice na internetu. Stranice koje su skenirane i obrađene se pohranjuju u bazu podataka.

Takva baza se zove indeks pretraživanja". U ovoj bazi podataka tražilica traži rezultate koji odgovaraju na upite korisnika.

Važno je razumjeti:

  • Ako stranica nije u indeksu pretraživanja, ne može se pronaći u tražilici.
  • Svaki pretraživač ima svoj indeks pretraživanja, svoje botove za pretraživanje.
  • Googleov bot za pretragu se zove Googlebot.

Kako provjeriti indeksiranje stranica?

Većina brz način- napišite komandu u traci za pretraživanje web lokacija:[adresa stranice]. Takve pretraga će pronaći sve indeksirane stranice stranice. Da biste vidjeli datum posljednjeg skeniranja stranice, upišite u traku za pretraživanje cache:[url stranice koja se provjerava]

savjet: Uporedite broj indeksiranih stranica sa stvarnim brojem stranica na sajtu. Ovo će vam pomoći da brzo procijenite da li vaša stranica ima problema s indeksiranjem. Na primjer: ako stranica ima 100 proizvoda, 10 odjeljaka i 10 informativne stranice(ukupno 120) a u indeksu ima samo 50 stranica, to znači da pretraživač ne zna za većinu vaše stranice.

Kako provjeriti indeksiranje cijele stranice

Da biste provjerili indeksiranje stranice, trebate slijediti 2 jednostavna koraka:

Kako dodati novu stranicu u indeks tražilice?

Recite tražilici o svojoj web stranici u posebnom Google alat ili Yandex. Podijelite svoju stranicu u socijalna mreža ili kreirajte vezu do njega sa druge, već indeksirane stranice.

Saznajte više o tome kako radi pretraživač

Šta učiniti ako je stranica loše indeksirana?

Da biste riješili probleme, morate detaljnije razumjeti proces indeksiranja. WITH tehnička tačkaŠto se tiče "indeksiranja web stranice", ispravnije je to posmatrati kao dva odvojena procesa:

  1. Skeniranje stranica.
  2. Obrada stranice.

Kako se sajt indeksira

Faza 1: Skeniranje

Puzanje ili "puzanje" stranica je glavni zadatak koji obavlja bot za pretraživanje. Geting on nova stranica, bot prima dva seta podataka sa stranice:

  1. Sadržaj same stranice, informacije o serveru i servisni podaci. Naime: odgovor servera, html kod stranice, fajlovi css stilovi, skripte, slike.
  2. Spisak linkova koji se nalaze na stranici.

Dobijeni sadržaj se prenosi na dalju obradu i čuvanje u bazi podataka. Prepisane veze se također pohranjuju u posebna lista- „red skeniranja“, za dalju obradu.

Kada bot doda stranicu u red za indeksiranje koja je već u redu, ta stranica se rangira više na listi i brže se indeksira. A ovo znači to prvi način da ubrzate skeniranje stranica - povećajte broj linkova na željene stranice.

Prilikom kreiranja reda za indeksiranje, google bot, kao i drugi botovi za pretraživanje, ispituje mapu web stranice i dodaje veze sa ove mape u red čekanja. Drugi način za poboljšanje indeksiranja- kreirajte sitemap.xml sitemap i prijavite ga tražilici.

Postoji nekoliko načina za kreiranje sitemapa:

  • Besplatno online alat za stranice do 500 stranica www.xml-sitemaps.com .
  • Softver za skeniranje web stranica kreiranje mape sajta- xenu linkovi.
  • Biblioteka aplikacija za kreiranje sitemapa.
  • Najpopularniji dodatak za mapu sajta za WordPress.

Da bi Google znao za vašu mapu web-lokacije, potrebno je da dodate link na mapu web-lokacije u alatima konzole za pretraživanje ili u datoteci robots.txt

Dodavanje mape sajta u Search Console:

  1. Idi https://www.google.com/webmasters/tools/
  2. Dodajte svoju web lokaciju ili odaberite sa liste.
  3. Idite na Puzanje - Sitemap.
  4. Odaberite "dodaj mapu stranice", zalijepite vezu i dodajte mapu stranice.

Dodavanje sitemapa u robots.txt:

  1. Idite na korijenski direktorij stranice preko ftp-a.
  2. Otvorite datoteku robots.txt
  3. Dodajte red “Sitemap: [website address]/sitemap.xml” na kraj datoteke i sačuvajte datoteku.

Treći način za ubrzanje indeksiranja- recite botu za pretragu o datumu zadnja promjena stranice. Da bi dobili datum i vrijeme izmjene stranice, botovi koriste podatke iz zaglavlja odgovora lastmod servera. Možete prijaviti prisustvo promjena na stranici pomoću koda odgovora ne mijenjaj.

Nadam se da više nemate pitanje: „Šta je indeksiranje sajta“.

Prilikom pokretanja nove stranice, webmaster mora čekati prvih 10 dana dok se njegov resurs ne indeksira i uđe u rezultate tražilice. Google obično indeksira brže i bolje od Yandexa. Ali ipak, robot za indeksiranje cijele stranice traje nekoliko dana. Indeksiranje se može ubrzati i olakšati nego što mislite.

Ista situacija se primjenjuje kada napravite značajne promjene na web lokaciji koja već radi. Na primjer, promijenite url sistem ili izgled. U ovom slučaju, bit ćemo zainteresirani za ponovno indeksiranje svih stranica.

Prvo morate učiniti da pretraživači "zavole" vašu web lokaciju. Ne bi trebalo da bude misterija. Najbolji način je da kreirate mapu sajta za jednostavnu navigaciju.

Kreirajte Sitemap

Prvo, nabavite sebi mapu sajta (Sitemap.xml).

Sitemap je datoteka sa podacima o vašoj web stranici za pretraživače. Sadrži listu stranica koje treba indeksirati. Zahvaljujući xml oznaci, mapa sajta pomaže pretraživačima da brzo odrede strukturu sajta, učestalost njegovih ažuriranja i „težinu“ nekih stranica u odnosu na druge.

Ako ne znate o sitemapu, to nije velika stvar. Postoje mnogi online resursi koji ga kreiraju za vas. Na primjer:

  • MySiteMapGenerator (jezik: ruski, do 500 stranica besplatno)
  • Web-Site-Map.com (jezik: engleski, potpuno besplatno)
  • xml-sitemaps.com (jezik: engleski, do 500 stranica besplatno)

Jednostavno je: unesite URL i sigurnosni kod, ne morate dirati ostale postavke u 90% slučajeva.

Nakon toga čekamo da robot zaobiđe vašu stranicu i doda sve stranice koje pronađe u datoteku. Ova datoteka se može preuzeti kao rezultat. Indeksiranje obično traje 10-15 minuta. Bolje je preimenovati rezultirajuću datoteku u sitemap.xml, u koju se mora učitati root folder vaš sajt.

Za ispravan rad informacije o mapi lokacije robots.txt. Pročitajte šta je to. Za početak, samo trebate dodati adresu mape web stranice ovoj datoteci:

Korisnički agent: *
dopustiti: /
Mapa sajta: http://site/sitemap.xml

Pola posla je obavljeno. Samo tako nastavi.

Prijavite se za Google Webmaster Tools

Google ima Webmaster Tools. Lako je raditi s njima. Dodajte adresu stranice:

Kako biste spriječili druge da prate vašu web lokaciju, morat ćete provjeriti prava na nju. Postoji nekoliko načina da to učinite. Najlakše je staviti google kod Analitika u . Samo postavite kod brojila i kliknite na "Provjeri". Inače, GA je jedna od njih bolje načine pratiti ponašanje posjetitelja na stranici. Stoga vam preporučujem da ga aktivno koristite i da vas zanima šta vaši gosti rade na vašoj stranici. I da li im je tamo udobno?

Stranica potvrđena:

Preuzmite Sitemap

Otvorite kontrolnu tablu stranice, u odjeljku “Skeniranje” otvorite “Sitemap datoteke”:

Navedite adresu mape lokacije:

Nakon potvrde, dajte robotima vremena da provjere grešku u fajlu i dodaju listu URL-ova u bazu podataka za indeksiranje. Rezultati se mogu vidjeti kasnije u ovom dijelu. U idealnom slučaju, broj dostavljenih URL-ova trebao bi odgovarati broju indeksiranih URL-ova.

Pojednostavite navigaciju, ubrzajte svoju web lokaciju, generirajte kvalitetan sadržaj. Tako će vaša stranica biti u potpunosti indeksirana. I neće potpasti pod filter za copy-paste.

Kako ubrzati indeksiranje

A sada mali trik koji sam jednom vidio na forumu na engleskom jeziku. Webmastera je zanimalo kako ubrzati indeksiranje nove stranice. On je postavio mapu sajta, ali se stranice nisu pojavile u rezultatima pretrage. Savjet je bio krajnje jednostavan: da biste "natjerali" google da odmah počne skenirati, morate pokrenuti alat na kontrolnoj tabli "Pogledaj kao Googlebot".

U obrascu koji se pojavi potrebno je da unesete adresu mape sajta. Dodati fajl će se pojaviti na listi ispod obrasca. Kliknite na "pošalji u indeks". Nakon toga, Google robot će proći kroz sve linkove sa mape stranice, uzimajući za originalna stranica sitemap.

U napomeni uz formular stoji da Google ne garantuje da će svi fajlovi sajta biti indeksirani. Međutim, ova metoda je najlakši način da privučete pažnju pretraživača na vašu web stranicu.

Za desert

Kada je stranica indeksirana, možete se opustiti. Pa, za desert, ovaj video o ljetu i aktivnostima na otvorenom za vas:

Pritisnite "Sviđa mi se" da nas čitate na Facebooku

U ovom članku ćemo govoriti o tome kako dodati svoju web stranicu na Google. U ovom primjeru pokazat ćemo korak po korak kako indeksirati WordPress stranicu na Google-u ( Google) pomoću dodatka Yoast SEO i usluga Google pretraga Konzola.

Za korisnike koji ne koriste WordPress, međutim, proces će biti isti, sa jedinom razlikom što ćete morati da koristite alternativni pristup da biste kreirali mapu sajta i obezbedili uslove za Googleov pretraživač da indeksira vašu veb lokaciju.

Evo Kratki opisšta ćemo obraditi u ovom članku:

  • Tri koraka za dodavanje bilo koje stranice u Google pretragu.
  • Kako poslati svoju WordPress stranicu na Google pretragu:
  • Kako osigurati da Google pretraživač može indeksirati web lokaciju ( robots.txt).
  • Kako instalirati i konfigurirati Yoast SEO dodatak.
  • Kako koristiti Google Search Console za indeksiranje vaše web lokacije.

Tri koraka za dodavanje bilo koje web stranice u Google pretragu

Proći ćemo kroz cijeli proces korak po korak za korisnike WordPress-a, međutim gotovo sve iste korake treba slijediti bez obzira koju platformu koristite:

1. Provjerite može li Googlebot pristupiti stranicama na vašoj web lokaciji koje želite indeksirati. Ovo se odnosi na datoteku robots.txt. Ako ti - WordPress korisnik, vrlo je jednostavno i mi ćemo vam pokazati kako to učiniti.

2. Postavite Google Search Console za domenu koju želite dodati u Google pretragu.

3. Pošaljite svoju Sitemap putem Google Search Console i zamolite Google da indeksira vašu web lokaciju.

Kako dodati svoju WordPress stranicu na Google Search Console

Da biste indeksirali WordPress web lokaciju, morate omogućiti mogućnost indeksiranja vaše stranice za Googlebot pretraživač, zatim kreirati mapu web lokacije i na kraju poslati datoteku Sitemap putem Google Search Console. Evo kako se to radi.

Korak 1 - Kako osigurati da Google pretraživač može indeksirati web lokaciju (robots.txt)

Omogućavanje Google indeksiranja vaše WordPress stranice je vrlo jednostavno. Kada budete spremni da svoju web stranicu učinite vidljivom na pretraživačima, slijedite ove korake:

1. U WordPress admin panelu, zadržite pokazivač iznad stavke glavnog menija “ Postavke” i odaberite odjeljak “ Čitanje».

2. Pomaknite se prema dolje na stranici koja se otvara do odjeljka " Vidljivost na pretraživačima" i poništite opciju " Zamolite pretraživače da ne indeksiraju ovu stranicu". Ako ovo polje za potvrdu nije poništeno, to će biti razlog zašto Google ne indeksira stranicu i njene stranice ili to čini loše.


3. Zatim sačuvajte promjene

I to je sve što trebate učiniti u ovoj fazi kako bi Google indeksirao vašu web lokaciju. Idemo na sljedeći korak.

Korak 2. Kako instalirati i konfigurirati Yoast SEO dodatak

Yoast SEO je besplatni WordPress dodatak koji preporučujemo svim korisnicima. V ovaj slučaj koristićemo ga za kreiranje mape sajta. Uz to, Yoast SEO je jedan od najboljih i najpristupačnijih WordPress dodaci za SEO, redovno se ažurira kako bi bio u toku sa najnovijim trendovima.

Evo koraka instalacije Yoast dodatak SEO i kreiranje sitemapa:

1. U administrativnom panelu WordPress-a, zadržite pokazivač miša iznad stavke glavnog menija "Plugins"i odaberite odjeljak"Dodaj novo".


2. Bićete preusmjereni na spremište WordPress dodaci. Da biste pronašli Yoast SEO dodatak, upišite " Yoast SEO". Yoast SEO dodatak će biti jedan od prvih rezultata.


4. Zatim kliknite na dugme "Instaliraj" da biste instalirali dodatak.

5. Kada je dodatak instaliran, kliknite na dugme Aktiviraj da aktivirate dodatak.


6. Nakon što aktivirate dodatak, vidjet ćete novi tab « SEO” sa Yoast logom u glavnom meniju WordPress-a.

7. Zadržite pokazivač miša preko ove kartice i odaberite " Dashboard».

8. Odatle idite na karticu "Funkcije", zatim skrolujte dole po panelu i omogućite opciju " Dodatne opcije ". Sačuvajte promene klikom na odgovarajuće dugme na dnu ekrana.


9. Yoast SEO kartica bi se trebala prikazati dodatne kartice. Idite na karticu "Naslovi i meta".


10. Zatim idite na karticu „Vrste objava». Ovdje možete odabrati elemente stranice koje želite indeksirati. U većini slučajeva, samo stranice i postovi moraju biti indeksirani. Ako vam i ova opcija odgovara, postavite " meta roboti"značenje" bez indeksa' za sve što ne želite da se indeksira. Ako trebate više informacija o razne postavke, kliknite na link "Pomoć" i imat ćete pristup video vodiču koji se odnosi na stranicu na kojoj se nalazite, kao i drugim informacijama za pomoć.


11. Nakon što ste zatvorili sve vrste postova za koje ne želite da budu indeksirani iz indeksiranja, učinite isto na karticama Taksonomije, Arhive i Ostalo.



14. Pogledajte kartice Vrste postova i taksonomije i omogućite stavke koje želite da indeksirate i onemogućite one koje želite isključiti iz procesa indeksiranja. Međutim, za većinu web stranica indeksiranje stranica i postova je također prikladno ovdje Dodatne informacije uvijek možete pronaći u odjeljku Pomoć.


15. Zatim sačuvajte promjene.

16. Idite na karticu "Osnovno" i kliknite na vezu" XML sitemap». Kopiraj link sa adresna traka pretraživač i sačuvajte ga za kasniju upotrebu u Google Search Console.

To je sve za instalaciju i konfiguraciju dodatka Yoast SEO i kreiranje URL-a Sitemap-a. Sada možemo prijeći na postavljanje besplatnog Google Search Console naloga i indeksiranje stranice.

Korak 3 — Kako koristiti Google Search Console za indeksiranje vaše stranice

Google Search Console je besplatni alat Google i mi ćemo ga koristiti za indeksiranje stranice ili bloga. Ovaj alat će vam također pomoći da upravljate svim greškama indeksiranja koje se odnose na vašu web lokaciju. Prođimo kroz korake za postavljanje vašeg računa:

1. Idite na Google Search Console. Prvo se morate prijaviti na svoj račun Google. Ovdje ne bi trebalo biti puno informacija ako niste ranije radili s tim.


3. Od vas će se tada tražiti da potvrdite vlasništvo nad domenom. Odaberite " Alternativne metode ” i pritisnite dugme “ HTML oznaka". Meta oznaka imena će se pojaviti na ekranu. Odaberite cijelu oznaku i kopirajte je.


4. Vratite se na svoj WordPress admin panel i idite na odjeljak alata Yoast SEO dodatka.

5. Kliknite na " Webmaster Tools". Ovdje ćete vidjeti tri tekstualna polja. Zalijepite meta oznaku koju ste kopirali sa Google Search Console u " Google Search Console". As dodatna opcija možete indeksirati svoju stranicu ne samo na Google-u (google), već i na drugim pretraživačima. Sačuvajte promjene.

6. Nakon toga, možete se vratiti na Google Search Console i kliknuti na "Provjeri". Nakon toga, trebali biste vidjeti poruku da je Google pronašao oznaku i da je sve u redu.


7. Sada pritisnite dugme "Dodaj/Provjeri Sitemap". Nadam se da ste sačuvali URL mape sajta koji ste ranije kopirali. Zalijepite ga u iskačući prozor i kliknite na dugme Pošalji.


8. Trebali biste ponovo učitati stranicu i nakon toga ste trebali novi ulaz O sitemap fajl. Ako u ovoj fazi imate grešku, to je najvjerovatnije zbog činjenice da vaša stranica blokira robote za pretraživanje. Ne brini o tome.

9. U odeljku menija "Skeniranje" idite na " Pogledajte kao Google". Zatim kliknite na " Ekstrakt i prikaz". Ovo može potrajati.

10. Nakon toga, trebali biste vidjeti status "Djelomično". Kliknite na dugme Pošalji u indeks' pored njega. Trebalo bi da se pojavi prozor koji od vas traži da potvrdite da niste robot. Označite okvir i odaberite " Pretražite ovaj URL i sve njegove direktne veze". Kliknite na "Pošalji".

11. Sada bi se pored statusa "Djelomično" trebala pojaviti poruka koja kaže da " URL i srodne stranice dostavljene za indeksiranje».

Google je prvi pretraživač na svijetu. U kojoj god regiji promovirate stranicu, svakako je morate dodati u ovu tražilicu. U ovom članku ću vam pokazati kako dodati web lokaciju na Google i brzo je i ispravno indeksirati.

I možete saznati kako dodati web lokaciju na Yandex.

Kako dodati web lokaciju na Google

Budite strpljivi, jer sve tražilice vrlo sporo. Za indeksiranje stranice bit će potrebno nekoliko sedmica. To znači da ne morate odlagati dodavanje stranice u tražilicu. Ako ste upravo kreirali stranicu, a na njoj još nema unosa, već možete dodati.

Da biste web lokaciju dodali na Google, morate imati račun u ovoj tražilici (ako koristite Gmail, onda smatrajte da postoji račun, preko njega možete pristupiti svima Google alati). Uradite sljedeće redom:

  1. Idite na alate Google webmaster koji se nalaze i kliknite na dugme " Dodaj resurs". Unesite adresu stranice koju dodajete i kliknite na " Nastavi».

    Dodavanje stranice na Google

  2. će se pojaviti Sljedeća stranica, gdje trebate provjeriti prava na svoju stranicu. Postoji nekoliko načina, ali najlakši i najpovoljniji je sa HTML datotekom. Preuzmite datoteku koja vam je ponuđena u paragrafu 1 google upute, i otpremite ga u korijenski direktorij vaše stranice. Ako je sve urađeno kako treba, onda kada kliknete na link u koraku 3 u Google uputama, vidjet ćete sadržaj ove stranice. Ako ne, onda strana 404. Kliknite na dugme " Potvrdi».

    Potvrda prava na stranicu

  3. Da dodate web lokaciju na Google i postignete ispravan i brzo indeksiranje, morate pokazati robotima za pretraživanje gdje imate . Da biste to učinili, idite na kontrolnu ploču stranice u Google Webmaster Tools, kliknite na stavku " Skeniranje” i odaberite podstavku “ FajloviSitemap". Kliknite na dugme " Dodavanje/Provjera datotekeSitemap" i unesite adresu na mapi u red, na primjer " en/sitemap.xml". Imajte na umu da je domena web mjesta već upisana tamo, tako da je morate unijeti bez nje - " sitemap.xml". Zatim pritisnite dugme " Pošalji datotekuSitemap". Ako želite prije toga provjeriti ima li grešaka, kliknite na " ProvjeriSitemap».

    Dodavanje mape sajta

Ako ste uradili sve u skladu sa ovim tačkama, onda smatrajte da ste uspeli da dodate sajt na Google. Sada morate malo pričekati dok tražilica sve indeksira. Po pravilu traje 1-3 sedmice. Možete kontrolirati cijeli proces indeksiranja u

Stranice moraju biti indeksirane. Indeksiranje web stranice - šta je to jednostavnim riječima? Svaki pretraživač ima svoj pretraživač. U bilo koje vrijeme može ući na stranicu i "prošetati" njome, prebacujući sve skenirane dokumente (sve html kodove, tekst, slike, linkove i sve ostalo) u bazu podataka svog pretraživača. Ovaj proces se naziva "skeniranje".

Pa, hajde da sada potražimo odgovore na pitanja "kako ubrzati indeksiranje?" i "kako poboljšati indeksiranje?"

Kako provjeriti indeksiranje stranice u Google i Yandex

Postoji nekoliko načina da dobijete odgovor na pitanja "je li ova stranica indeksirana?", "Koliko je stranica indeksirano?" itd. Pogledajmo neke od najefikasnijih. Ali prvo, malo pojašnjenje - obrada upit za pretragu i formiranje Rezultati pretrage nastaje na osnovu indeksiranih „kopija“ stranica koje se nalaze u bazi podataka pretraživača, a ne na osnovu stranica na sajtu. Pa, sada o tri načina da provjerite indeksiranje:

    Ormari pretraživača Yandex, Google, Mail.ru itd. Već tamo, sa 100% vjerovatnoćom, možete dobiti sve potrebne podatke.

    Runet je pun odgovarajućih online usluga. Gotovo svi funkcionišu na isti način: adresa sajta je naznačena i na prvi pogled dobijamo podatke i celokupnu istoriju indeksiranja sajta.

    Ručna verifikacija sa sajtom: operater. One. vozi u string za pretragu site:your-site.guru i odmah dobijete listu indeksiranih stranica (u obliku rezultata pretrage) i njihov broj.

Provjerite indeksiranje stranice u Yandex.Webmasteru

Ovdje možete odmah baciti u kolonu listu stranica koje treba provjeriti radi indeksiranja. Štaviše, lista može sadržavati i isključivo imena domena (na primjer, your-site.go), i veze do nekih specifičnih dokumenata (na primjer, your-site.go/content/domashka/) - to nije važno, jer . servis automatski "izoluje" imena domena.

Ova usluga može provjeriti indeksiranje u Google i Yandex. Dozvoljeno je do 250 čekova dnevno.

Ukratko, usluga je potpuno slična prethodnoj, sa dva izuzetka:

  • servis provjerava indeksiranje "na komad", tj. možete provjeriti samo jednu lokaciju istovremeno;
  • Takođe možete provjeriti indeksiranje u Bingu.

Kako ubrzati indeksiranje stranice

Malo je vjerovatno da će se iko od vas postaviti pitanje "zašto ubrzati indeksiranje?" odgovor na to je već očigledan: da bi sve uradili što je brže moguće neophodne mere za osvajanje svih najviših pozicija za promovirane upite.

Prva stvar koju treba da uradite je da dodate sajt na svoje webmaster račune sa Google-a i Yandex-a. Ako se to ne učini, onda će stranica biti indeksirana vrlo sporo i vrlo rijetko, ostavljajući webmastera nasamo sa svojim tučkom o osvajanju barem TOP-10.

Zatim morate pravilno konfigurirati robots.txt, jer. u jednoj posjeti, robot za pretraživanje može indeksirati samo određeni broj stranica. I biće vrlo razočaravajuće ako robot počne skenirati stranice „tehničke“ prirode (na primjer, stranicu za registraciju na web-mjestu ili stranicu za unos lozinke), koje nemaju nikakve veze u indeksu. Kako se to ne bi dogodilo, podaci o tome koje stranice ne treba indeksirati se unose u datoteku robots.txt. Nećemo sada govoriti o tome kako se robots.txt kompajlira, jer. već imamo detaljan članak na ovu temu.

Sljedeći korak je postavljanje xml mape stranice (sitemap.xml). Sadrži listu svih stranica koje bi tražilice trebale indeksirati. Također možete odrediti prioritet indeksiranja, pa čak i intervale. Što se mapa sajta češće ažurira, veća je verovatnoća da će robot za pretragu odlučiti da češće posećuje sajt (a to je upravo ono što nam treba, zar ne?).

Brzina sajta takođe može uticati na indeksiranje, jer. što brže robot za pretragu dobije odgovor na svoj zahtjev, to bolje, jer ako robotu kažete „ručamo, vratite se za sat vremena“ - robot će jednostavno otići, i to na duže vrijeme.

Greške u kodu također mogu utjecati na indeksiranje, samo negativno. Stoga je izuzetno važno da u kodu uopće nema grešaka, jer. umjesto koda 200 (naime, takav kod se daje kada korektan rad) robot za pretragu može primiti kod, na primjer, 404 ili neki drugi, koji ukazuje na grešku.

U većini slučajeva, gore opisane mjere su dovoljne da se stranica dovoljno brzo indeksira.

Brzo indeksiranje stranice u Yandexu

Postoji nekoliko neočiglednih načina da se ubrza indeksiranje nove stranice u Yandexu. Već smo mnogo puta spominjali registraciju na webmaster račune sa Yandexa, Googlea, Binga i Mail-a.

U ovim kabinetima možete dobiti statistiku o ponovnom indeksiranju stranica, kao i primati obavještenja o određenim greškama vezanim za rad stranice.

Evo malog "lajf haka". U Yandex.Webmasteru idite na "Indeksiranje" - "Ponovno indeksiranje stranica" i navedite adresu novokreirane stranice. Da, ne svađamo se, ne ide uvek, jer. Yandex pretraživač djeluje po vlastitom nahođenju nakon obavijesti i ne odlučuje uvijek posjetiti ovu stranicu, ali barem sazna za to. Stoga preporučujemo korištenje ovog alata za ubrzavanje indeksiranja nove web stranice ili njenih stranica.

Indeksiranje slika web stranice

U suštini, dobijanje ovih informacija biće korisno ako promovirate, recimo, hosting fotografija.

Važno je napomenuti da Google, Bing i Yandex imaju tekst i slike koje indeksiraju različiti roboti. Najbrže slike indeksira Google. Yandex indeksira slike mnogo sporije od Googlea, ali mnogo brže od Binga, pri čemu ovaj drugi polako indeksira samo Runet stranice. Ne vjeruje?

Međutim, postoji jedan univerzalni savjet za optimizaciju slika - pisati u kodu alt atributi=”” i title=”” za svaku sliku, jer oboje su veoma važni.

Ako zadržite pokazivač miša iznad slike, može se "iskočiti" objašnjenje kako bi korisniku olakšalo razumijevanje "gdje tražiti i šta vidjeti". Tekst ovog nagoveštaja je napisan u atributu title=””

Postoje i situacije kada se slika iz nekog razloga ne učitava (možda je obrisana, možda je učitavanje slike onemogućeno u pregledniku - nije važno). U tom slučaju umjesto fotografije treba da se pojavi tekst koji opisuje šta je tačno prikazano na slici koja nije učitana. Upravo je ovaj tekst napisan u atributu alt="".

Kako saznati koliko slika je indeksirano od strane tražilice?

Odgovor je krajnje jednostavan: idemo u područje koje nas zanima. pretraživač, u liniji za pretragu vozimo na sajtu operatera: nakon dvotočke bez razmaka upišite naziv domene, potvrdite zahtjev Enter ključ, a zatim idite na karticu "Slike" ili "Slike" (u zavisnosti od tražilice). Videćete same slike, a takođe ćete saznati i njihov tačan broj.

Za Yandex to će izgledati ovako:

A za Google - ovako

Pitanja

Kako onemogućiti indeksiranje stranice

Ponekad je potrebno postaviti zabranu indeksiranja sajta. Može postojati nekoliko razloga za to - inženjerskih radova na sajtu ili testirano novi dizajn, itd.

Postoji nekoliko načina da se pretraživačima kaže „nema potrebe da ništa indeksiraju ovdje“.

Prvi, najpopularniji i najlakši način je putem datoteke robots.txt. Dovoljno je samo napisati ovaj kod:

Sada da vidimo šta ovaj kod znači.

User-agent je direktiva koja specificira ime pretraživača za koji se generira lista pravila. Ako je kao ime navedena zvjezdica, tada je lista relevantna za sve robote za pretraživanje (osim onih za koje su sastavljene pojedinačne liste pravila). Ako navedete ime robota za pretragu umjesto zvjezdice, tada će za njega vrijediti lista pravila:

Korisnički agent: yandex

Direktiva Disallow: ima za cilj da kaže tragačima koje datoteke/foldere ne treba indeksirati. U našem slučaju, jedna kosa crta označava da je zabranjeno indeksirati cijelu stranicu.

Postoje također posebnim slučajevima, kada je potrebno zatvoriti indeksiranje za sve pretraživače, osim za određeni. U ovom slučaju imaćemo 2 liste (od kojih je jedna prikazana na slici iznad), a druga je pojedinačna lista za određenog robota. U ovom slučaju, robot pretraživača Yandex.

Korisnički agent: Yandex

Shvatili smo User-agent i Disallow, a sada se pozabavimo direktivom Allow. To je direktiva za omogućavanje. razgovor običan jezik, kod datoteke robots.txt iznad zabranjuje indeksiranje stranice od strane svih pretraživača osim Yandexa.

Da, ne raspravljamo se, uprkos zabranama, pretraživači i dalje mogu indeksirati stranicu. Međutim, to se događa tako rijetko da se čak i statistička greška može nazvati rastezanjem.

Drugi način je robots meta tag. Da biste to učinili, dodajte sljedeći red u kod web stranice:

META NAZIV=”ROBOTI” SADRŽAJ=”NOINDEX, NOFOLLOW”

BITAN!!! Možete ga dodati na način da se učita u kod svake stranice web-mjesta bez izuzetka, ili ga možete dodati nekom pojedinačne stranice. Ali u oba slučaja, ovaj meta tag mora biti postavljen u html oblast head.

U odnosu na prvi, drugi način je teži za masovnu zabranu indeksiranja, a lakši za ciljanu.

Treći način je zatvaranje stranice putem .htaccess-a

Metoda je također prilično jednostavna - dodajte sljedeći kod u .htaccess datoteku:

Sada robot za pretraživanje neće moći pristupiti stranici bez lozinke.

Ovo je najviše na pravi način zatvorite stranicu od indeksiranja, ali se pojavljuje još jedan problem - postoje poteškoće sa skeniranjem stranice na greške, jer Ne može se svaki parser prijaviti.

Metoda 4 je postavljanje zaglavlja HTTP odgovora

Ovaj metod je takođe prilično efikasan za zabranu indeksiranja. Radi na sljedeći način - zajedno sa kodom odgovora servera, šalje se i zaglavlje X-Robots-Tag sa oznakom noindex. Nakon što je dobio takav "popratni" odgovor, pretraživač neće indeksirati ovu stranicu.

Po potrebi se može dati više zaglavlja X-Robots-Tag. U ovom slučaju postoje dva, noarchive i unavailable_after.

Ako je potrebno, prije direktive, također možete specificirati robota za pretraživanje kome je direktiva upućena, a same direktive se mogu pisati odvojene zarezima. Na primjer, ovako:

I, naravno, sami ste već pretpostavili da će u nedostatku imena korisničkog agenta naredbu izvršiti svi roboti. One. direktive se mogu kombinovati na različite načine za različite robote za pretraživanje.

Kako otvoriti stranicu za indeksiranje

Odgovor je već dat ranije - korištenjem direktive Allow (sjetite se primjera kada smo, koristeći robots.txt, zatvorili stranicu od indeksiranja za sve tražilice osim Yandexa).

Dozvoli: / dozvoljava indeksiranje stranice, a Disallow: / to zabranjuje.

Kada je stranica zadnji put bila indeksirana?

Pregledajte i indeksirajte historiju roboti za pretragu Google je dovoljno lak. Za početak, operator sajta se ubacuje u liniju za pretragu: nakon dvotočke bez razmaka, naznači se naziv vašeg domena, zatim kliknite na "Alati" i odaberite odgovarajuću tačku u jednoj od kolona. Ako odaberete "u posljednja 24 sata", tada možete dobiti ili listu stranica koje su indeksirane u posljednja 24 sata, ili možete dobiti "Ništa nije pronađeno". To znači da vaša stranica nije ponovo indeksirana u posljednja 24 sata.

U Yandexu je sve još jednostavnije - sve potrebne informacije a historija je dostupna u Yandex.Webmasteru:

Kako dodati web lokaciju za indeksiranje

Ove informacije će biti korisne svima koji su upravo napravili svoju prvu stranicu, tj. što je brže web mjesto indeksirano, brže ćete dobiti svoj prvi promet pretraživanja.

Dodavanje stranice na Google

Za početak, slijedite link http://www.google.com/addurl/?continue=/addurl, prijavite se (ako je potrebno), unesite URL, prođite kroz captcha (u ovom slučaju označite polje "Ja nisam robot" i prođite kroz 1-2 zadatka sa slikama) i kliknite na "Pošalji zahtjev".

Tada ćete dobiti ovu poruku. To znači "OK, stranica je uzeta u obzir, uskoro ćemo tamo pogledati."

Ako je sve u redu sa sajtom, indeksiranje će se dogoditi vrlo brzo.

Dodavanje web lokacije u Yandex

Prije svega, idemo na https://webmaster.yandex.ru/, registriramo se, zatim idemo na "Indeksiranje" - "Pretraživanje stranica" i tamo dodajemo naziv domene vaše web stranice. Sve.

Dodavanje web lokacije na Bing

Ovdje je još lakše - idite ovdje http://www.bing.com/toolbox/submit-site-url , unesite naziv domene, captcha, i to je to! Registracija nije potrebna.

BITAN!!! Na ovog trenutka nema smisla promovisati sajtove na ruskom jeziku u Bingu, za razliku od onih na engleskom. To je zbog činjenice da vrlo malo ljudi u Rusiji zna za pretraživač Bing.

Dodavanje stranice u Mail.ru pretragu

Ovaj postupak je također prilično jednostavan - idite na kancelariju webmastera mail.ru na linku http://go.mail.ru/addurl , registrirajte se / prijavite se, zatim navedite naziv domene stranice, unesite captcha i kliknite "Dodaj" .

Tada će se na ekranu prikazati sljedeća poruka:

P.S. Indeksiranje web stranica na Wordpress, Wix, Joomla, Ucoz ili bilo koji drugi CMS ili graditelj web stranica se ne razlikuje. Sve zavisi od skupa pravila koja su napisana u datoteci robots.txt ili u samom kodu stranice. Da biste saznali više o tome kako pravilno konfigurirati datoteku robots.txt, kao i kako otvoriti ili zatvoriti stranice od indeksiranja u Yandexu i Googleu, pročitajte OVAJ članak! Također, u članku ćete pronaći gotove robots fajlovi za ispravno indeksiranje WordPress, Joomla, Wix stranica u Yandex i Google.

Top Related Articles