Zabrana indeksiranja robota txt. Skrivanje poveznica sa skriptama

Svrha ovog vodiča je pomoći webmasterima i administratorima da koriste robots.txt.

Uvod

Robot Exception Standard je inherentno vrlo jednostavan. Ukratko, funkcionira ovako:

Kada usklađeni robot posjeti web-mjesto, prvo traži datoteku pod nazivom “/robots.txt”. Ako se takva datoteka pronađe, Robot u njoj traži upute koje zabranjuju indeksiranje nekih dijelova stranice.

Gdje staviti svoju robots.txt datoteku

Robot jednostavno traži URL "/robots.txt" na vašoj web-lokaciji, na kojoj se nalazi stranica u ovom slučaju Je određeni host na određenom portu.

Na web mjestu može postojati samo jedna datoteka "/robots.txt". Na primjer, ne biste trebali stavljati svoju robots.txt datoteku u prilagođene poddirektorije - u svakom slučaju, roboti ih tamo neće tražiti. Ako želite biti u mogućnosti stvoriti robots.txt datoteke u poddirektorijumima, onda vam je potreban način da ih programski prikupite u jednu datoteku robots.txt koja se nalazi u korijenu vaše stranice. Umjesto toga možete koristiti.

Zapamtite da su URL-ovi osjetljivi na velika i mala slova i naziv datoteke “/robots.txt” mora biti napisan u potpunosti malim slovima.

Kao što vidite, datoteka robots.txt treba biti smještena isključivo u korijenu stranice.

Što napisati u datoteku robots.txt

Datoteka robots.txt obično je napisana nešto poput:

Korisnički agent: *
Zabraniti: / cgi-bin /
Disallow: /tmp/
Disallow: / ~ joe /

U ovom primjeru zabranjeno je indeksiranje tri imenika.

Imajte na umu da je svaki direktorij naveden u zasebnom retku - ne možete napisati "Disallow: / cgi-bin / / tmp /". Također ne možete podijeliti jednu naredbu Disallow ili User-agent u nekoliko redaka, jer prijelom reda se koristi za odvajanje instrukcija jedne od druge.

Ne mogu se koristiti ni regularni izrazi i zamjenski znakovi. Zvjezdica (*) u izjavi User-agent označava bilo kojeg robota. Upute poput "Disallow: * .gif" ili "User-agent: Ya *" nisu podržane.

Konkretne upute u robots.txt ovise o vašoj web-lokaciji i onome što želite blokirati od indeksiranja. Evo nekoliko primjera:

Zabranite indeksiranje cijele stranice od strane svih robota

Korisnički agent: *
Zabraniti: /

Dopusti svim robotima da indeksiraju cijelo web-mjesto

Korisnički agent: *
Zabraniti:

Ili možete jednostavno stvarati prazna datoteka"/Robots.txt".

Zatvorite samo nekoliko direktorija iz indeksiranja

Korisnički agent: *
Zabraniti: / cgi-bin /
Disallow: /tmp/
Disallow: / privatno /

Zabrani indeksiranje stranice samo za jednog robota

Korisnički agent: BadBot
Zabraniti: /

Dopusti indeksiranje web mjesta za jednog robota i zabrani sve ostale

Korisnički agent: Yandex
Zabraniti:

Korisnički agent: *
Zabraniti: /

Zabrani indeksiranje svih datoteka osim jedne

Ovo nije lako jer ne postoji izjava “Allow”. Umjesto toga, možete premjestiti sve datoteke osim one kojoj želite dopustiti indeksiranje u poddirektorij i zabraniti njeno indeksiranje:

Korisnički agent: *
Disallow: /docs/

Ili možete odbiti sve datoteke zabranjene za indeksiranje:

Korisnički agent: *
Disallow: /private.html
Zabraniti: /foo.html
Disallow: /bar.html

Bilo koja stranica na stranici može se otvoriti ili zatvoriti radi indeksiranja tražilicama. Ako je stranica otvorena, tražilica je dodaje u svoj indeks, ako je zatvorena, onda je robot ne posjećuje i ne uzima u obzir Rezultati pretraživanja.

Prilikom izrade stranice važno je na programskoj razini zatvoriti sve stranice od indeksiranja koje iz bilo kojeg razloga ne bi smjele vidjeti korisnici i tražilice.

Ove stranice uključuju administrativni dio stranice (admin panel), stranice s raznim servisnim informacijama (na primjer, s osobnim podacima registriranih korisnika), stranice s višerazinskim obrascima (npr. složenih oblika registracija), obrasci Povratne informacije itd.

Primjer:
Korisnički profil na forumu o tražilice ah tražilice.

Također je obavezno zatvoriti iz indeksiranja stranice čiji se sadržaj već koristi na drugim stranicama, a takve se stranice nazivaju duplikatima. Potpuni ili djelomični duplikati uvelike pesimiziraju stranicu jer povećavaju količinu nejedinstvenog sadržaja na stranici.

Kao što vidite, sadržaj na obje stranice se preklapa. Stoga su stranice kategorija na WordPress stranicama zatvorene od indeksiranja ili se na njima prikazuju samo nazivi postova.

Isto vrijedi i za stranice s oznakama – takve se stranice često nalaze u strukturi WordPress blogova. Oblak oznaka olakšava navigaciju web-mjestom i omogućuje korisnicima da brzo pronađu informacije od interesa. Međutim, one su djelomične duplikate drugih stranica, što znači da se moraju zatvoriti iz indeksiranja.

Drugi primjer je trgovina na CMS OpenCart.

Stranica kategorije proizvoda http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html.

Stranica proizvoda obuhvaćenih popustom http://www.masternet-instrument.ru/specials.php.

Ove stranice imaju sličan sadržaj jer sadrže mnoge iste proizvode.

Posebno kritično za duplicirani sadržaj različite stranice stranica pripada Googleu. Po veliki broj duplikati u Googleu, možete zaraditi određene sankcije do privremenog isključenja stranice iz rezultata pretraživanja.

Drugi slučaj kada se sadržaj stranica ne bi trebao "prikazati" tražilici su stranice s nejedinstvenim sadržajem. Tipičan primjer su upute za lijekove u internetskoj ljekarni. Sadržaj na stranici s opisom lijeka http://www.piluli.ru/product271593/product_info.html nije jedinstven i objavljen je na stotinama drugih stranica.

Gotovo ga je nemoguće učiniti jedinstvenim, budući da je prepisivanje ovako specifičnih tekstova nezahvalan i zabranjen zadatak. Najbolje rješenje u tom slučaju stranica će biti zatvorena od indeksiranja ili će biti napisano pismo tražilicama sa zahtjevom da budu lojalni nejedinstvenom sadržaju sadržaja koji se iz ovog ili onog razloga ne može učiniti jedinstvenim.

Kako blokirati indeksiranje stranica

Klasični alat za zatvaranje stranica iz indeksiranja je datoteka robots.txt. Nalazi se u korijenskom direktoriju vaše stranice i kreiran je posebno da pokaže robotima za pretraživanje koje stranice ne bi trebali posjećivati. Ovo je normalno tekstualnu datoteku, koji možete uređivati ​​u bilo kojem trenutku. Ako nemate datoteku robots.txt ili ako je prazna, tražilice će indeksirati sve stranice koje pronađu prema zadanim postavkama.

Struktura datoteke robots.txt prilično je jednostavna. Može se sastojati od jednog ili više blokova (uputa). Svaka se instrukcija, pak, sastoji od dva retka. Prvi red se zove User-agent i definira koja tražilica treba slijediti ovu uputu. Ako želite onemogućiti indeksiranje za sve tražilice, prvi redak trebao bi izgledati ovako:

Ako želite zabraniti indeksiranje stranica samo za jednu tražilicu, na primjer, za Yandex, prvi redak izgleda ovako:

Drugi redak instrukcije zove se Disallow. Da biste zabranili sve stranice na web mjestu, napišite sljedeće u ovaj redak:

Da biste omogućili indeksiranje svih stranica, drugi red bi trebao izgledati ovako:

U retku Disallow možete odrediti određene mape i datoteke koje će se zatvoriti iz indeksiranja.

Na primjer, da biste zabranili indeksiranje mape slika i cijelog njenog sadržaja, napišite:

Kako bismo "sakrili" određene datoteke od tražilica, navodimo ih:

Korisnički agent: *
Zabraniti: /myfile1.htm
Zabraniti: /myfile2.htm
Zabraniti: /myfile3.htm

Ovo su osnovna načela strukture datoteke robots.txt. Oni će vam pomoći da zatvorite pojedinačne stranice i mape na vašoj web-lokaciji iz indeksiranja.

Drugi, manje uobičajen način zabrane indeksiranja je Robots meta tag. Ako želite zatvoriti stranicu od indeksiranja ili spriječiti tražilice da indeksiraju veze postavljene na nju, trebate upisati ovu oznaku u njezin HTML kod. Mora se postaviti u područje HEAD, prije oznake