Zabrana indeksiranja robota txt. Skrivanje veza sa skriptama

Svrha ovog vodiča je da pomogne webmasterima i administratorima da koriste robots.txt.

Uvod

Robot Exception Standard je inherentno vrlo jednostavan. Ukratko, funkcionira ovako:

Kada usklađeni robot posjeti lokaciju, on prvo traži datoteku pod nazivom “/robots.txt”. Ako se pronađe takav fajl, Robot u njemu traži uputstva koja zabranjuju indeksiranje nekih delova sajta.

Gdje staviti vaš robots.txt fajl

Robot jednostavno traži URL "/robots.txt" na vašoj web lokaciji, na kojoj se nalazi stranica u ovom slučaju Je određeni host na određenom portu.

Na web lokaciji može postojati samo jedna datoteka "/robots.txt". Na primjer, ne biste trebali stavljati svoju robots.txt datoteku u prilagođene poddirektorije - u svakom slučaju, roboti ih tamo neće tražiti. Ako želite da budete u mogućnosti da kreirate robots.txt datoteke u poddirektorijumima, onda vam je potreban način da ih programski sakupite u jednu datoteku robots.txt koja se nalazi u korenu vašeg sajta. Možete koristiti umjesto toga.

Zapamtite da su URL-ovi osjetljivi na velika i mala slova i naziv datoteke “/robots.txt” mora biti u potpunosti napisan malim slovima.

Kao što vidite, robots.txt fajl treba da se nalazi isključivo u korenu sajta.

Šta napisati u vašu robots.txt datoteku

Datoteka robots.txt obično je napisana nešto poput:

Korisnički agent: *
Disallow: / cgi-bin /
Disallow: / tmp /
Disallow: / ~ joe /

U ovom primjeru je zabranjeno indeksiranje tri direktorija.

Imajte na umu da je svaki direktorij naveden u zasebnom redu - ne možete napisati "Disallow: / cgi-bin / / tmp /". Također ne možete podijeliti jednu naredbu Disallow ili User-agent u nekoliko redaka, jer prijelom reda se koristi za odvajanje instrukcija jedne od druge.

Ne mogu se koristiti ni regularni izrazi i zamjenski znakovi. Zvjezdica (*) u izjavi User-agent označava bilo kojeg robota. Instrukcije poput "Disallow: * .gif" ili "User-agent: Ya *" nisu podržane.

Konkretna uputstva u robots.txt zavise od vaše web lokacije i onoga što želite da blokirate od indeksiranja. Evo nekoliko primjera:

Zabraniti indeksiranje cijele stranice od strane svih robota

Korisnički agent: *
Disallow: /

Dozvolite svim robotima da indeksiraju cijelu stranicu

Korisnički agent: *
Disallow:

Ili možete jednostavno kreirati prazan fajl"/Robots.txt".

Zatvorite samo nekoliko direktorija iz indeksiranja

Korisnički agent: *
Disallow: / cgi-bin /
Disallow: / tmp /
Disallow: / privatno /

Zabrani indeksiranje stranice samo za jednog robota

Korisnički agent: BadBot
Disallow: /

Dozvolite indeksiranje stranice za jednog robota i zabranite sve ostale

Korisnički agent: Yandex
Disallow:

Korisnički agent: *
Disallow: /

Zabrani indeksiranje svih datoteka osim jedne

Ovo nije lako jer ne postoji izjava “Dozvoli”. Umjesto toga, možete premjestiti sve datoteke osim onog kojem želite dopustiti indeksiranje u poddirektorij i zabraniti njegovo indeksiranje:

Korisnički agent: *
Disallow: /docs/

Ili možete odbiti sve datoteke zabranjene za indeksiranje:

Korisnički agent: *
Disallow: /private.html
Disallow: /foo.html
Disallow: /bar.html

Bilo koja stranica na sajtu se može otvoriti ili zatvoriti radi indeksiranja od strane pretraživača. Ako je stranica otvorena, pretraživač je dodaje u svoj indeks, ako je zatvorena, onda je robot ne posjećuje i ne uzima u obzir Rezultati pretrage.

Prilikom kreiranja sajta važno je na programskom nivou zatvoriti sve stranice od indeksiranja koje, iz bilo kog razloga, ne bi trebalo da vide korisnici i pretraživači.

Ove stranice uključuju administrativni dio stranice (admin panel), stranice sa različitim servisnim informacijama (na primjer, sa ličnim podacima registrovanih korisnika), stranice sa višeslojnim obrascima (npr. složenih oblika registracija), obrasci povratne informacije itd.

primjer:
Profil korisnika na forumu o tražilice ah Searchengines.

Također je obavezno zatvoriti iz indeksiranja stranice čiji se sadržaj već koristi na drugim stranicama.Takve stranice se nazivaju duplikatima. Potpuni ili djelomični duplikati uvelike pesimiziraju stranicu, jer povećavaju količinu nejedinstvenog sadržaja na stranici.

Kao što vidite, sadržaj na obje stranice se preklapa. Stoga su stranice kategorija na WordPress stranicama zatvorene od indeksiranja ili se na njima prikazuju samo nazivi postova.

Isto važi i za stranice sa oznakama - takve stranice se često nalaze u strukturi WordPress blogova. Oblak oznaka olakšava navigaciju po stranici i omogućava korisnicima da brzo pronađu informacije od interesa. Međutim, one su djelomične duplikate drugih stranica, što znači da se moraju zatvoriti iz indeksiranja.

Drugi primjer je trgovina na CMS OpenCart.

Stranica kategorije proizvoda http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html.

Stranica proizvoda obuhvaćenih popustom http://www.masternet-instrument.ru/specials.php.

Ove stranice imaju sličan sadržaj, jer sadrže mnogo istih proizvoda.

Posebno kritično za duplirani sadržaj različite stranice stranica pripada Google-u. Per veliki broj duplikata u Google-u, možete zaraditi određene sankcije do privremenog isključenja stranice iz rezultata pretraživanja.

Drugi slučaj kada sadržaj stranica ne treba da se „prikazuje“ pretraživaču su stranice sa nejedinstvenim sadržajem. Tipičan primjer su upute za lijekove u online ljekarni. Sadržaj na stranici s opisom lijeka http://www.piluli.ru/product271593/product_info.html nije jedinstven i objavljen je na stotinama drugih stranica.

Gotovo ga je nemoguće učiniti jedinstvenim, jer je prepisivanje ovako specifičnih tekstova nezahvalan i zabranjen zadatak. Najbolje rješenje u tom slučaju stranica će biti zatvorena od indeksiranja, ili će biti napisano pismo pretraživačima sa zahtjevom da budu lojalni nejedinstvenom sadržaju sadržaja, koji se iz ovog ili onog razloga ne može učiniti jedinstvenim.

Kako blokirati indeksiranje stranica

Klasični alat za zatvaranje stranica iz indeksiranja je datoteka robots.txt. Nalazi se u korijenskom direktoriju vaše stranice i kreiran je posebno da pokaže robotima za pretraživanje koje stranice ne bi trebali posjećivati. Ovo je normalno tekstualni fajl, koji možete uređivati ​​u bilo kojem trenutku. Ako nemate datoteku robots.txt, ili ako je prazna, pretraživači će indeksirati sve stranice koje pronađu prema zadanim postavkama.

Struktura datoteke robots.txt je prilično jednostavna. Može se sastojati od jednog ili više blokova (instrukcija). Svaka instrukcija se zauzvrat sastoji od dva reda. Prvi red se zove User-agent i definiše koji pretraživač treba da prati ovo uputstvo. Ako želite da onemogućite indeksiranje za sve pretraživače, prvi red bi trebao izgledati ovako:

Ako želite zabraniti indeksiranje stranica samo za jednu tražilicu, na primjer, za Yandex, prvi red izgleda ovako:

Drugi red instrukcije se zove Disallow. Da biste zabranili sve stranice na stranici, napišite sljedeće na ovom redu:

Da biste omogućili indeksiranje svih stranica, drugi red bi trebao izgledati ovako:

U redu Disallow možete odrediti određene fascikle i datoteke koje treba zatvoriti iz indeksiranja.

Na primjer, da biste zabranili indeksiranje mape sa slikama i cijelog njenog sadržaja, napišite:

Da bismo "sakrili" određene datoteke od pretraživača, navodimo ih:

Korisnički agent: *
Disallow: /myfile1.htm
Disallow: /myfile2.htm
Disallow: /myfile3.htm

Ovo su osnovni principi strukture datoteke robots.txt. Oni će vam pomoći da zatvorite pojedinačne stranice i mape na vašoj web lokaciji od indeksiranja.

Drugi, manje uobičajen način zabrane indeksiranja je Robots meta tag. Ako želite da zatvorite stranicu od indeksiranja ili sprečite pretraživače da indeksiraju veze postavljene na njoj, morate da upišete ovu oznaku u njen HTML kod. Mora se postaviti u područje HEAD, prije oznake