Ndalimi i indeksimit të robotëve txt. Fshehja e lidhjeve me skriptet

Qëllimi i këtij udhëzuesi është të ndihmojë webmasterët dhe administratorët të përdorin robots.txt.

Prezantimi

Standardi i përjashtimit të robotëve është në thelb shumë i thjeshtë. Shkurtimisht, funksionon si kjo:

Kur një robot në përputhje me standardet viziton një sajt, ai para së gjithash kërkon një skedar të quajtur "/robots.txt". Nëse gjendet një skedar i tillë, Roboti kërkon udhëzime në të që ndalojnë indeksimin e disa pjesëve të faqes.

Ku të vendosni skedarin robots.txt

Roboti thjesht kërkon URL-në "/robots.txt" në faqen tuaj, siti në këtë rastështë një host specifik në një port të caktuar.

Mund të ketë vetëm një skedar "/robots.txt" për faqe. Për shembull, nuk duhet ta vendosni skedarin robots.txt në nëndrejtoritë e përdoruesve - robotët nuk do t'i kërkojnë gjithsesi atje. Nëse dëshironi të jeni në gjendje të krijoni skedarë robots.txt në nëndrejtori, atëherë ju nevojitet një mënyrë për t'i mbledhur ato në mënyrë programore në një skedar të vetëm robots.txt të vendosur në rrënjën e sajtit. Në vend të kësaj, ju mund të përdorni.

Mos harroni se URL-të janë të ndjeshme ndaj shkronjave të vogla dhe emri i skedarit "/robots.txt" duhet të shkruhet tërësisht me shkronja të vogla.

Siç mund ta shihni, skedari robots.txt duhet të vendoset ekskluzivisht në rrënjën e faqes.

Çfarë të shkruani në skedarin robots.txt

Skedari robots.txt zakonisht shkruhet diçka si:

Agjenti i përdoruesit: *
Mos lejo: /cgi-bin/
Mos lejo: /tmp/
Mos lejo: /~joe/

Në këtë shembull, indeksimi i tre drejtorive është i ndaluar.

Vini re se çdo drejtori është në një rresht të veçantë - nuk mund të shkruani "Disallow: /cgi-bin/ /tmp/". Ju gjithashtu nuk mund të ndani një deklaratë të vetme Disallow ose User-agent në shumë rreshta, si ndërprerja e linjës përdoret për të ndarë udhëzimet nga njëra-tjetra.

Nuk mund të përdoren as shprehjet e rregullta dhe shkronjat e egra. Një yll (*) në ​​deklaratën User-agent do të thotë "çdo robot". Udhëzimet si "Mos lejo: *.gif" ose "Agjent i përdoruesit: Ya*" nuk mbështeten.

Udhëzimet specifike në robots.txt varen nga faqja juaj dhe nga ajo që dëshironi të parandaloni nga indeksimi. Ketu jane disa shembuj:

Parandaloni që i gjithë siti të indeksohet nga të gjithë robotët

Agjenti i përdoruesit: *
mos lejo:/

Lejo që të gjithë robotët të indeksojnë të gjithë faqen

Agjenti i përdoruesit: *
Mos lejo:

Ose thjesht mund të krijoni skedar bosh"/robots.txt".

Mbyllni vetëm disa drejtori nga indeksimi

Agjenti i përdoruesit: *
Mos lejo: /cgi-bin/
Mos lejo: /tmp/
Mos lejo: /private/

Ndaloni indeksimin e faqes vetëm për një robot

Agjenti i përdoruesit: BadBot
mos lejo:/

Lejoni indeksimin e faqes për një robot dhe ndaloni të gjithë të tjerët

Agjenti i përdoruesit: Yandex
Mos lejo:

Agjenti i përdoruesit: *
mos lejo:/

Ndaloni indeksimin e të gjithë skedarëve përveç njërit

Kjo është mjaft e vështirë, sepse. nuk ka asnjë deklaratë "Lejo". Në vend të kësaj, ju mund të zhvendosni të gjithë skedarët përveç atij që dëshironi të lejohet të indeksohet në një nëndrejtori dhe çaktivizoni indeksimin e tij:

Agjenti i përdoruesit: *
Mos lejo: /docs/

Ose mund të çaktivizoni të gjithë skedarët e ndaluar nga indeksimi:

Agjenti i përdoruesit: *
Mos lejo: /private.html
Mos lejo: /foo.html
Mos lejo: /bar.html

Çdo faqe në faqe mund të hapet ose mbyllet për indeksim nga motorët e kërkimit. Nëse faqja është e hapur, motori i kërkimit e shton atë në indeksin e saj, nëse është e mbyllur, atëherë roboti nuk e viziton atë dhe nuk e merr parasysh. rezultatet e kërkimit.

Kur krijoni një faqe, është e rëndësishme në nivelin e programit të mbyllni të gjitha faqet nga indeksimi, të cilat për ndonjë arsye nuk duhet të shihen nga përdoruesit dhe motorët e kërkimit.

Faqe të tilla përfshijnë pjesën administrative të faqes (paneli i administratorit), faqet me informacione të ndryshme shërbimi (për shembull, me të dhënat personale të përdoruesve të regjistruar), faqet me forma shumë nivelesh (për shembull, forma komplekse regjistrim), formularët reagime etj.

Shembull:
Profili i përdoruesit në forum rreth Motorë kërkimi ah motorët e kërkimit.

Gjithashtu, është e detyrueshme mbyllja e faqeve nga indeksimi, përmbajtja e të cilave përdoret tashmë në faqet e tjera, faqe të tilla quhen dublikate. Dublikatat e plota ose të pjesshme e pesimizojnë shumë faqen, pasi ato rrisin sasinë e përmbajtjes jo unike në sajt.

Siç mund ta shihni, përmbajtja në të dyja faqet mbivendoset. Prandaj, faqet e kategorive në faqet e WordPress janë të mbyllura nga indeksimi, ose në to shfaqet vetëm titulli i postimeve.

E njëjta gjë vlen edhe për faqet e etiketave - këto faqe shpesh gjenden në strukturën e blogjeve të WordPress. Reja e etiketave e bën më të lehtë navigimin në faqe dhe i lejon përdoruesit të gjejnë shpejt informacionin me interes. Megjithatë, ato janë dublikatë të pjesshme të faqeve të tjera, që do të thotë se ato janë subjekt i mbylljes nga indeksimi.

Një shembull tjetër është një dyqan në CMS OpenCart.

Faqja e kategorisë së produktit http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html.

Faqja e produkteve të mbuluara nga zbritja http://www.masternet-instrument.ru/specials.php.

Këto faqe kanë përmbajtje të ngjashme, pasi ato përmbajnë shumë produkte të njëjta.

Veçanërisht kritike për kopjimin e përmbajtjes faqe të ndryshme faqja i përket Google. Mbrapa nje numer i madh i dublikatë në Google, ju mund të fitoni sanksione të caktuara deri në përjashtimin e përkohshëm të faqes nga rezultatet e kërkimit.

Një rast tjetër kur përmbajtja e faqeve nuk duhet t'i "tregohet" motorit të kërkimit janë faqet me përmbajtje jo unike. Një shembull tipik janë udhëzimet për barnat në një farmaci në internet. Përmbajtja në faqen e përshkrimit të produktit http://www.piluli.ru/product271593/product_info.html nuk është unike dhe është publikuar në qindra faqe të tjera.

Është praktikisht e pamundur ta bësh atë unik, pasi rishkrimi i teksteve të tilla specifike është një detyrë e pafalshme dhe e ndaluar. zgjidhja më e mirë në këtë rast, faqja do të mbyllet nga indeksimi ose shkrimi i një letre motorëve të kërkimit me një kërkesë për të qenë besnikë ndaj përmbajtjes jo unike që nuk mund të bëhet unike për një arsye ose një tjetër.

Si të mbyllni faqet nga indeksimi

Mjeti klasik për mbylljen e faqeve nga indeksimi është skedari robots.txt. Ndodhet në direktorinë rrënjësore të faqes tuaj dhe është krijuar posaçërisht për të treguar robotët e kërkimit se cilat faqe nuk duhet të vizitojnë. Kjo është e zakonshme skedar teksti të cilat mund t'i modifikoni në çdo kohë. Nëse nuk keni një skedar robots.txt, ose nëse është bosh, motorët e kërkimit do të indeksojnë si parazgjedhje të gjitha faqet që gjejnë.

Struktura e skedarit robots.txt është mjaft e thjeshtë. Mund të përbëhet nga një ose më shumë blloqe (udhëzime). Çdo udhëzim, nga ana tjetër, përbëhet nga dy rreshta. Rreshti i parë quhet User-agent dhe specifikon se cili motor kërkimi duhet të ndjekë këtë udhëzim. Nëse dëshironi të çaktivizoni indeksimin për të gjithë motorët e kërkimit, rreshti i parë duhet të duket kështu:

Nëse dëshironi të çaktivizoni indeksimin e faqeve vetëm për një PS, për shembull, për Yandex, rreshti i parë duket si ky:

Rreshti i dytë i udhëzimit quhet Disallow. Për të çaktivizuar të gjitha faqet e faqes, shkruani sa vijon në këtë rresht:

Për të lejuar indeksimin e të gjitha faqeve, rreshti i dytë duhet të duket si ky:

Në rreshtin Disallow, mund të specifikoni dosje dhe skedarë të veçantë që dëshironi të mbyllni nga indeksimi.

Për shembull, për të çaktivizuar indeksimin e dosjes së imazheve dhe të gjithë përmbajtjes së saj, ne shkruajmë:

Për të "fshehur" skedarë specifikë nga motorët e kërkimit, ne i rendisim ato:

Agjenti i përdoruesit: *
Mos lejo: /myfile1.htm
Mos lejo: /myfile2.htm
Mos lejo: /myfile3.htm

Këto janë parimet bazë të strukturës së skedarit robots.txt. Ata do t'ju ndihmojnë të mbyllni faqet dhe dosjet individuale në faqen tuaj nga indeksimi.

Një mënyrë tjetër, më pak e zakonshme për të çaktivizuar indeksimin është meta-etiketa Robots. Nëse dëshironi të mbyllni një faqe nga indeksimi ose të pengoni motorët e kërkimit të indeksojnë lidhjet e vendosura në të, duhet ta përfshini këtë etiketë në kodin e saj HTML. Duhet të vendoset në zonën HEAD, përpara etiketës