Scopul acestui ghid este de a ajuta webmasterii și administratorii să utilizeze robots.txt.
Introducere
Standardul de excepție pentru robot este în esență foarte simplu. Pe scurt, funcționează astfel:
Când un robot care respectă standardele vizitează un site, în primul rând solicită un fișier numit „/robots.txt”. Dacă se găsește un astfel de fișier, Robotul caută în el instrucțiuni care interzic indexarea unor părți ale site-ului.
Unde să plasați fișierul robots.txt
Robotul solicită pur și simplu adresa URL „/robots.txt” pe site-ul dvs., site-ul în acest caz este o gazdă specifică pe un anumit port.
| Website URL |
URL fișier roboți.txt |
| http://www.w3.org/ |
http://www.w3.org/robots.txt |
| http://www.w3.org:80/ |
http://www.w3.org:80/robots.txt |
| http://www.w3.org:1234/ |
http://www.w3.org:1234/robots.txt |
| http://w3.org/ |
http://w3.org/robots.txt |
Poate exista un singur fișier „/robots.txt” pe site. De exemplu, nu ar trebui să plasați fișierul robots.txt în subdirectoarele utilizatorilor - roboții oricum nu îi vor căuta acolo. Dacă doriți să puteți crea fișiere robots.txt în subdirectoare, atunci aveți nevoie de o modalitate de a le asambla în mod programatic într-un singur fișier robots.txt situat la rădăcina site-ului. În schimb, puteți folosi .
Nu uitați că adresele URL sunt sensibile la majuscule, iar numele fișierului „/robots.txt” trebuie scris în întregime cu litere mici.
| Locație incorectă a robots.txt |
| http://www.w3.org/admin/robots.txt |
|
| http://www.w3.org/~timbl/robots.txt |
Fișierul nu se află în rădăcina site-ului |
| ftp://ftp.w3.com/robots.txt |
Roboții nu indexează ftp |
| http://www.w3.org/Robots.txt |
Numele fișierului nu este scris cu litere mici |
După cum puteți vedea, fișierul robots.txt trebuie plasat exclusiv în rădăcina site-ului.
Ce să scrieți în fișierul robots.txt
Fișierul robots.txt este scris de obicei ceva de genul:
Agent utilizator: *
Nu permiteți: /cgi-bin/
Nu permiteți: /tmp/
Nu permiteți: /~joe/
În acest exemplu, indexarea a trei directoare este interzisă.
Rețineți că fiecare director se află pe o linie separată - nu puteți scrie „Disallow: /cgi-bin/ /tmp/”. De asemenea, nu puteți împărți o singură declarație Disallow sau User-agent în mai multe rânduri, așa cum ruptura de linie este folosită pentru a separa instrucțiunile unele de altele.
Nici expresiile regulate și metacaracterele nu pot fi folosite. Un asterisc (*) în declarația User-agent înseamnă „orice robot”. Instrucțiuni precum „Disallow: *.gif” sau „User-agent: Ya*” nu sunt acceptate.
Instrucțiunile specifice din robots.txt depind de site-ul dvs. și de ceea ce doriți să împiedicați indexarea. Aici sunt cateva exemple:
Preveniți ca întregul site să fie indexat de către toți roboții
Agent utilizator: *
interzice: /
Permiteți tuturor roboților să indexeze întregul site
Agent utilizator: *
Nu permiteți:
Sau poți doar să creezi dosar gol„/roboți.txt”.
Închideți doar câteva directoare de la indexare
Agent utilizator: *
Nu permiteți: /cgi-bin/
Nu permiteți: /tmp/
Nu permiteți: /privat/
Interziceți indexarea site-ului pentru un singur robot
Agent utilizator: BadBot
interzice: /
Permiteți indexarea site-ului pentru un robot și interziceți pe toți ceilalți
Agent utilizator: Yandex
Nu permiteți:
Agent utilizator: *
interzice: /
Interziceți indexarea tuturor fișierelor, cu excepția unuia
Acest lucru este destul de dificil, pentru că. nu există nicio declarație „Permite”. În schimb, puteți muta toate fișierele cu excepția celui care doriți să fie indexat într-un subdirector și să dezactivați indexarea acestuia:
Agent utilizator: *
Nu permiteți: /docs/
Sau puteți dezactiva toate fișierele interzise de indexare:
Agent utilizator: *
Nu permiteți: /private.html
Nu permiteți: /foo.html
Nu permiteți: /bar.html
Orice pagină de pe site poate fi deschisă sau închisă pentru indexare de către motoarele de căutare. Dacă pagina este deschisă, motorul de căutare o adaugă la indexul ei, dacă este închisă, atunci robotul nu o vizitează și nu o ține cont. rezultatele cautarii.
Atunci când creați un site, este important la nivel de program să închideți toate paginile de la indexare, care din anumite motive nu ar trebui să fie văzute de utilizatori și de motoarele de căutare.
Astfel de pagini includ partea administrativă a site-ului (panoul de administrare), pagini cu diverse informații despre servicii (de exemplu, cu datele personale ale utilizatorilor înregistrați), pagini cu formulare pe mai multe niveluri (de exemplu, forme complexeînregistrare), formulare părere etc.
Exemplu:
Profil de utilizator pe forum despre motoare de căutare ah Motoare de căutare.
De asemenea, este obligatorie închiderea paginilor de la indexare, al căror conținut este deja folosit pe alte pagini.Asemenea pagini se numesc duplicat. Dublatele complete sau parțiale pesimizează foarte mult site-ul, deoarece cresc cantitatea de conținut non-unic de pe site.
După cum puteți vedea, conținutul ambelor pagini se suprapune. Prin urmare, paginile de categorii de pe site-urile WordPress sunt închise de la indexare, sau pe ele este afișat doar titlul postărilor.
Același lucru este valabil și pentru paginile de etichete - aceste pagini se găsesc adesea în structura blogurilor WordPress. Norul de etichete facilitează navigarea pe site și permite utilizatorilor să găsească rapid informații de interes. Cu toate acestea, acestea sunt duplicate parțiale ale altor pagini, ceea ce înseamnă că sunt supuse închiderii de la indexare.
Un alt exemplu este un magazin pe CMS OpenCart.
Pagina categoriei de produse http://www.masternet-instrument.ru/Lampy-energosberegajuschie-c-906_910_947.html .
Pagina produselor acoperite de reducere http://www.masternet-instrument.ru/specials.php .
Aceste pagini au conținut similar, deoarece conțin multe dintre aceleași produse.
Deosebit de critic pentru a duplica conținut diverse pagini site-ul aparține Google. In spate un numar mare de duplicate în Google, puteți câștiga anumite sancțiuni până la excluderea temporară a site-ului din rezultatele căutării.
Un alt caz în care conținutul paginilor nu ar trebui să fie „arat” motorului de căutare este paginile cu conținut neunic. Un exemplu tipic este instrucțiunile pentru medicamente dintr-o farmacie online. Conținutul de pe pagina de descriere a produsului http://www.piluli.ru/product271593/product_info.html nu este unic și a fost publicat pe sute de alte site-uri.
Este practic imposibil să-l faci unic, deoarece rescrierea unor astfel de texte specifice este o sarcină ingrată și interzisă. cea mai bună soluțieîn acest caz, pagina va fi închisă de la indexare, sau de la scrierea unei scrisori către motoarele de căutare cu o solicitare de a fi loiali conținutului neunic care nu poate fi făcut unic dintr-un motiv sau altul.
Cum să închideți paginile de la indexare
Instrumentul clasic pentru închiderea paginilor de la indexare este fișierul robots.txt. Acesta se află în directorul rădăcină al site-ului dvs. și este creat special pentru a arăta roboților de căutare paginile pe care nu ar trebui să le viziteze. Acesta este de obicei fisier text pe care le puteți edita oricând. Dacă nu aveți un fișier robots.txt sau dacă este gol, motoarele de căutare vor indexa implicit toate paginile pe care le găsesc.
Structura fișierului robots.txt este destul de simplă. Poate consta din unul sau mai multe blocuri (instrucțiuni). Fiecare instrucțiune, la rândul său, constă din două rânduri. Prima linie se numește User-agent și specifică ce motor de căutare trebuie să urmeze această instrucțiune. Dacă doriți să dezactivați indexarea pentru toate motoarele de căutare, prima linie ar trebui să arate astfel:
Dacă doriți să dezactivați indexarea paginii pentru un singur PS, de exemplu, pentru Yandex, prima linie arată astfel:
A doua linie a instrucțiunii se numește Disallow. Pentru a dezactiva toate paginile site-ului, scrieți următoarele în acest rând:
Pentru a permite indexarea tuturor paginilor, a doua linie ar trebui să arate astfel:
În linia Disallow, puteți specifica anumite foldere și fișiere pe care doriți să le închideți de la indexare.
De exemplu, pentru a dezactiva indexarea folderului de imagini și a întregului conținut al acestuia, scriem:
Pentru a „ascunde” anumite fișiere din motoarele de căutare, le enumerăm:
Agent utilizator: *
Nu permiteți: /myfile1.htm
Nu permiteți: /myfile2.htm
Nu permiteți: /myfile3.htm
Acestea sunt principiile de bază ale structurii fișierului robots.txt. Acestea vă vor ajuta să închideți paginile și folderele individuale de pe site-ul dvs. de la indexare.
Un alt mod, mai puțin obișnuit, de a dezactiva indexarea este metaeticheta Robots. Dacă doriți să închideți o pagină de la indexare sau să împiedicați motoarele de căutare să indexeze linkurile plasate pe ea, trebuie să adăugați această etichetă în codul său HTML. Trebuie plasat în zona HEAD, înainte de etichetă
.</p>
<p>Metaeticheta Robots constă din doi parametri. INDEX este un parametru responsabil de indexarea paginii în sine, iar FOLLOW este un parametru care permite sau interzice indexarea linkurilor aflate pe această pagină.</p>
<p>Pentru a dezactiva indexarea, în loc de INDEX și FOLLOW, ar trebui să scrieți NOINDEX și, respectiv, NOFOLLOW.</p>
<p>Astfel, dacă doriți să închideți pagina de la indexare și să împiedicați motoarele de căutare să ia în considerare link-urile de pe ea, trebuie să adăugați următoarea linie la cod:</p>
<blockquote><p><meta name=“robots” content=“noindex,nofollow”></p>
</blockquote>
<p>Dacă nu doriți să ascundeți pagina de la indexare, dar trebuie să „ascundeți” linkurile de pe ea, metaeticheta Robots va arăta astfel:</p>
<blockquote><p><metaname=“robots” content=“index,nofollow”></p>
</blockquote>
<p>Dacă, dimpotrivă, trebuie să ascundeți pagina de PS, dar țineți cont de linkuri, această etichetă va arăta astfel:</p>
<blockquote><p><meta name=“robots” content=“noindex,follow”></p>
</blockquote>
<p>Majoritatea CMS-urilor moderne fac posibilă închiderea unor pagini de la indexare direct din panoul de administrare al site-ului. Acest lucru evită nevoia de a înțelege codul și de a configura manual acești parametri. Cu toate acestea, metodele enumerate mai sus au fost și rămân instrumentele universale și cele mai de încredere pentru interzicerea indexării.</p>
<p>Aspectele tehnice ale site-ului creat joacă nu mai puțin <a href="https://bumotors.ru/ro/v-obektno-orientirovannyh-yazykah-programmirovaniya-peremennye-igrayut.html">rol important</a> pentru a promova site-ul în motoarele de căutare decât conținutul său. Unul dintre cele mai importante aspecte tehnice este indexarea site-ului, adică determinarea zonelor site-ului (fișiere și directoare) care pot fi sau nu indexate de roboții motoarelor de căutare. În aceste scopuri, se utilizează robots.txt - aceasta este <a href="https://bumotors.ru/ro/kak-udalit-zablokirovannye-faily-s-kompyutera-programmy-dlya-udaleniya-ne.html">dosar special</a>, care conține comenzi pentru roboții motoarelor de căutare. <a href="https://bumotors.ru/ro/pravilnaya-nastroika-faila-podkachki-dlya-windows-7-fail-podkachki-kakoi-razmer.html">Fișier corect</a> robots.txt pentru Yandex și Google va ajuta la evitarea multor consecințe neplăcute asociate cu indexarea site-urilor.</p><h3><b>2. Conceptul fișierului robots.txt și cerințele pentru acesta</b></h3><p>Fișierul /robots.txt are scopul de a instrui toți roboții de căutare (păianjeni) să indexeze <a href="https://bumotors.ru/ro/spisok-informacionnyh-baz-pust-chto-delat-oshibki-pri-sozdanii-bazy.html">servere de informații</a> așa cum este definit în acest fișier, adică numai acele directoare și fișiere server care nu sunt descrise în /robots.txt. Acest fișier trebuie să conțină 0 sau mai multe intrări care sunt asociate cu un anumit robot (după cum este determinat de valoarea câmpului agent_id) și să indice pentru fiecare robot sau pentru toți odată ce anume nu trebuie să fie indexați.</p><p>Sintaxa fișierului vă permite să setați zone de indexare restricționate, atât pentru toți, cât și pentru anumiți roboți.</p><p>Există cerințe speciale pentru fișierul robots.txt, care, dacă nu sunt urmate, pot duce la citirea incorectă de către robotul motorului de căutare sau chiar la incapacitate <a href="https://bumotors.ru/ro/otkrytie-faila-vvod-dannyh-iz-faila-i-vyvod-v-fail.html">fisierul dat</a>.</p><p>Cerințe primare:</p><ul><li>toate literele din numele fișierului trebuie să fie majuscule, adică trebuie să fie litere mici:</li><li>robots.txt este corect</li><li>Robots.txt sau ROBOTS.TXT este greșit;</li><li>fișierul robots.txt trebuie creat în <a href="https://bumotors.ru/ro/csv-fail-konvertirovat-v-xls-import-i-eksport-tekstovyh-failov-v.html">format text</a> Unix. Când copiați acest fișier pe un site, clientul ftp trebuie configurat la <a href="https://bumotors.ru/ro/kak-ubrat-tekstovyi-rezhim-na-windows-7-vklyuchenie-i-vyklyuchenie-testovogo.html">modul text</a> distribuire a unui fisier;</li><li>fișierul robots.txt trebuie plasat în directorul rădăcină al site-ului.</li>
</ul><h3><b>3. Conținutul fișierului robots.txt</b></h3><p>Fișierul robots.txt include două intrări: „User-agent” și „Disallow”. Numele acestor intrări nu fac distincție între majuscule și minuscule.</p><p>Unele motoare de căutare acceptă, de asemenea <a href="https://bumotors.ru/ro/kak-zapisat-razgovor-na-honor-7-video-zapis-razgovorov-na-androide.html">intrări suplimentare</a>. Deci, de exemplu, motorul de căutare Yandex utilizează înregistrarea gazdă pentru a determina oglinda site-ului principal (oglinda site-ului principal este un site care se află în indexul motorului de căutare).</p><p>Fiecare intrare are propriul scop și poate apărea de mai multe ori, în funcție de numărul de pagini și/sau directoare închise de la indexare și de numărul de roboți pe care îi accesați.</p><p>Presupus <a href="https://bumotors.ru/ro/faily-sozdannye-v-prilozhenii-access-imeyut-rasshirenie-kakoi-format-faila.html">următorul format</a> linii ale fișierului robots.txt:</p><p><b>nume_înregistrare</b>[opțional</p><p>spatii] <b>:
</b>[opțional</p><p>spatii] <b>sens</b>[spații opționale]</p><p>Pentru ca un fișier robots.txt să fie considerat valid, cel puțin o directivă „Disallow” trebuie să fie prezentă după fiecare intrare „User-agent”.</p><p>Un fișier robots.txt complet gol este echivalent cu niciun fișier robots.txt, ceea ce implică permisiunea de a indexa întregul site.</p><h4><b>Intrarea „User-agent”.</b></h4><p>Intrarea „User-agent” trebuie să conțină numele crawler-ului. În această intrare, puteți specifica pentru fiecare robot specific ce pagini ale site-ului să indexeze și care nu.</p><p>Un exemplu de intrare „User-agent”, în care toate motoarele de căutare sunt accesate fără excepții și este folosit simbolul „*”:</p><p>Un exemplu de intrare „User-agent”, unde este accesat doar robotul motorului de căutare Rambler:</p><p>Agent utilizator: StackRambler</p><p>Robotul fiecărui motor de căutare are propriul nume. Există două moduri principale de a-l recunoaște (nume):</p><p>pe site-urile multor motoare de căutare există o secțiune § specializată „ajutor pentru webmaster”, care indică adesea numele robotului de căutare;</p><p>la vizualizarea jurnalelor de server web, și anume la vizualizarea apelurilor către fișierul robots.txt, puteți vedea o mulțime de nume care conțin numele motoarelor de căutare sau o parte din acestea. Prin urmare, trebuie doar să alegeți numele dorit și să îl introduceți în fișierul robots.txt.</p><h4><b>Intrarea „Disallow”.</b></h4><p>Intrarea „Disallow” trebuie să conțină prescripții care să indice crawler-ului din intrarea „User-agent” care fișiere și/sau directoare sunt interzise de indexare.</p><p>Considera <a href="https://bumotors.ru/ro/chto-takoe-border-v-css-primery-s-razlichnymi-granicami-ramok-css-border.html">diverse exemple</a> Intrările „Interziceți”.</p><p>Un exemplu de intrare în robots.txt (permiteți totul pentru indexare):</p><p><b>Nu permiteți:</b></p><p>Exemplu (site-ul este complet interzis să . Pentru aceasta, este folosit simbolul „/”): Nu permite: /</p><p>Exemplu (fișierul „page.htm” aflat în directorul rădăcină și fișierul „page2.htm” situat în directorul „dir” nu sunt permise pentru indexare):</p><p><b>Nu permiteți: /page.htm</b></p><p><b>Nu permiteți: /dir/page2.htm</b></p><p>Exemplu (pentru indexare, directoarele „cgi-bin” și „forum” și, prin urmare, tot conținutul acestui director este interzis):</p><p><b>Nu permiteți: /cgi-bin/</b></p><p><b>Nu permiteți: /forum/</b></p><p>Este posibil să blocați indexarea unui număr de documente și (sau) directoare care încep cu aceleași caractere, folosind o singură intrare „Disallow”. Pentru a face acest lucru, trebuie să scrieți caracterele inițiale identice fără o bară oblică de închidere.</p><p>Exemplu (pentru indexare, directorul „dir” este interzis, precum și toate fișierele și directoarele care încep cu literele „dir”, adică fișiere: „dir.htm”, „direct.htm”, directoare: „dir”, „director1” ”, „director2”, etc.):</p><h4><b>Înregistrați „Permite”</b></h4><p>Opțiunea „Permite” este utilizată pentru a indica excluderile din directoare și pagini neindexate care sunt specificate de intrarea „Nepermite”.</p><p>De exemplu, există o intrare ca aceasta:</p><p>Nu permiteți: /forum/</p><p>Dar, în același timp, pagina1 ar trebui să fie indexată în directorul /forum/. Apoi, următoarele linii vor fi necesare în fișierul robots.txt:</p><p>Nu permiteți: /forum/</p><p>Permite: /forum/page1</p><h4><b>Intrare pe harta site-ului</b></h4><p>Această intrare indică locația hărții site-ului în <a href="https://bumotors.ru/ro/xml-format-chem-otkryt-i-redaktirovat-kak-izmenit-fail.html">format xml</a>, care este folosit de roboții de căutare. Această intrare specifică calea către fișierul dat.</p><p>Harta site-ului: http://site.ru/sitemap.xml</p><h4><b>Înregistrați „gazdă”</b></h4><p>Înregistrarea „gazdă” este utilizată de motorul de căutare Yandex. Este necesar să se determine oglinda principală a site-ului, adică dacă site-ul are oglinzi (o oglindă este parțială sau <a href="https://bumotors.ru/ro/kak-obezopasit-svoi-smartfon-i-sdelat-bekap-proshivki.html">copie integrală</a> site-ul. Prezența duplicatelor de resurse poate fi necesară pentru proprietarii de site-uri foarte vizitate pentru a crește fiabilitatea și disponibilitatea serviciului lor), apoi folosind directiva „Gazdă”, puteți selecta numele sub care doriți să fiți indexat. În caz contrar, „Yandex” va alege singur oglinda principală, iar indexarea altor nume va fi interzisă.</p><p>Pentru compatibilitate cu crawlerele care nu acceptă directiva Gazdă atunci când procesați fișierul robots.txt, trebuie să adăugați o intrare „Gazdă” imediat după intrările Disallow.</p><p>Exemplu: www.site.ru - oglinda principală:</p><p><b>Gazdă: www.site.ru</b></p><h4><b>Înregistrați „Crawl-delay”</b></h4><p>Această intrare este acceptată de Yandex. Este o comandă pentru robot care face intervale de timp dat (în secunde) între paginile de indexare. Uneori, acest lucru este necesar pentru a proteja site-ul de supraîncărcări.</p><p>Deci, o înregistrare de următorul tip înseamnă că robotul Yandex trebuie să treacă de la o pagină la alta nu mai devreme de 3 secunde:</p><h4><b>Comentarii</b></h4><p>Orice rând din robots.txt care începe cu un caracter „#” este considerat un comentariu. Este permisă utilizarea comentariilor la sfârșitul rândurilor cu directive, dar este posibil ca unii roboți să nu recunoască corect această linie.</p><p>Exemplu (comentariul este pe aceeași linie cu directiva):</p><p><b>Nu permiteți: /cgi-bin/ #comment</b></p><p>Este recomandabil să plasați comentariul pe un rând separat. Un spațiu la începutul unei linii este permis, dar nu este recomandat.</p><h3><b>4. Exemple de fișiere robots.txt</b></h3><p>Exemplu (comentariul este pe o linie separată): <br><b>Nu permiteți: /cgi-bin/#comment</b></p><p>Un exemplu de fișier robots.txt care permite tuturor roboților să indexeze întregul site:</p><p>Gazdă: www.site.ru</p><p>Un exemplu de fișier robots.txt care interzice tuturor roboților să indexeze site-ul:</p><p>Gazdă: www.site.ru</p><p>Un exemplu de fișier robots.txt care interzice tuturor roboților să indexeze directorul „abc”, precum și toate directoarele și fișierele care încep cu caracterele „abc”.</p><p>Gazdă: www.site.ru</p><p>Un exemplu de fișier robots.txt care interzice indexarea paginii „page.htm”, aflată în directorul rădăcină al site-ului, de către robotul de căutare „googlebot”:</p><p>Agent utilizator: googlebot</p><p>Nu permiteți: /page.htm</p><p>Gazdă: www.site.ru</p><p>Un exemplu de fișier robots.txt care dezactivează indexarea:</p><p>– către robotul „googlebot” – pagina „page1.htm” aflată în directorul „directory”;</p><p>- către robotul „Yandex” - toate directoarele și paginile care încep cu caracterele „dir” (/dir/, /direct/, dir.htm, direction.htm etc.) și situate în directorul rădăcină al site-ului.</p><p>Agent utilizator: googlebot</p><p>Nu permiteți: /directory/page1.htm</p><p>Agent utilizator: Yandex</p><h3>5. Erori legate de fișierul robots.txt</h3><p>Una dintre cele mai frecvente greșeli este sintaxa inversată.</p><p><b>Nu dreapta:</b></p><p>Nu permite: Yandex</p><p><b>Dreapta:</b></p><p>Agent utilizator: Yandex</p><p><b>Nu dreapta:</b></p><p>Nu permiteți: /dir/ /cgi-bin/ /forum/</p><p><b>Dreapta:</b></p><p>Nu permiteți: /cgi-bin/</p><p>Nu permiteți: /forum/</p><p>Dacă, la procesarea unei erori 404 (documentul nu a fost găsit), serverul web emite o pagină specială, iar fișierul robots.txt lipsește, atunci este posibil ca robotul de căutare, la solicitarea fișierului robots.txt, să primească la fel <a href="https://bumotors.ru/ro/ne-mogu-zaiti-na-stranicu-ispolzuem-specialnyi-skript-chto-delat-esli-voiti.html">pagina speciala</a>, care nu este un fișier de control al indexării.</p><p>O eroare legată de utilizarea incorectă a majusculelor în fișierul robots.txt. De exemplu, dacă trebuie să închideți directorul „cgi-bin”, atunci nu puteți scrie numele directorului în majuscule „cgi-bin” în intrarea „Disallow”.</p><p><b>Nu dreapta:</b></p><p>Nu permiteți: /CGI-BIN/</p><p><b>Dreapta:</b></p><p>Nu permiteți: /cgi-bin/</p><p>O eroare legată de absența unei bare oblice de deschidere la închiderea unui director de la indexare.</p><p><b>Nu dreapta:</b></p><p>Nu permiteți: page.HTML</p><p><b>Dreapta:</b></p><p>Nu permiteți: /page.HTML</p><p>Pentru a evita cele mai frecvente erori, fișierul robots.txt poate fi verificat folosind Yandex.Webmaster sau Instrumente pentru <a href="https://bumotors.ru/ro/kak-otkryt-gostevoi-dostup-k-yandeks-metrike-poshagovo-kak-otkryt-gostevoi.html">webmasteri Google</a>. Verificarea se efectuează după ce fișierul este încărcat.</p><h3>6. Concluzie</h3><p>Astfel, prezența unui fișier robots.txt, precum și compilarea acestuia, pot afecta promovarea site-ului în motoarele de căutare. Fără a cunoaște sintaxa fișierului robots.txt, puteți interzice indexarea posibilelor pagini promovate, precum și a întregului site. Și, dimpotrivă, compilarea competentă a acestui fișier poate ajuta foarte mult la promovarea resursei, de exemplu, puteți închide documente care interferează cu promovarea paginilor necesare de la indexare.</p>
<p>Doriți să aflați cum să dezactivați indexarea site-urilor în robots.txt și alte instrumente? Atunci acest articol este doar pentru tine.</p>
<p>Desigur, proprietarii de site-uri se străduiesc să se asigure că resursa lor este indexată de motoarele de căutare cât mai repede posibil. Dar există momente când este necesar să interziceți indexarea site-ului, astfel încât botul de căutare să nu viziteze resursa de ceva timp. Astfel de cazuri pot fi:</p>
<ul><li>crearea recentă a site-ului, când încă nu există informații utile despre acesta;</li>
<li>necesitatea de a face actualizări (de exemplu, schimbarea designului site-ului);</li>
<li>prezența partițiilor ascunse sau secrete sau <a href="https://bumotors.ru/ro/chitat-poleznoe-v-kontakte-poleznye-sovety-dlya-doma.html">Link-uri utile</a>, pe care nu ați dori să-l transmiteți boților de căutare.</li>
</ul><p><i><b>Puteți închide întregul site sau părțile sale individuale:</b>
</i></p>
<ul><li>paragraf sau link separat;</li>
<li>formulare pentru introducerea informațiilor;</li>
<li>parte admin;</li>
<li>pagini <a href="https://bumotors.ru/ro/vosstanovlenie-uchetnoi-zapisi-gugl-vyvody-po-vosstanovleniyu-akkaunta-google.html">profilurile utilizatorilor</a> si inregistrari;</li>
<li>pagini duplicate;</li>
<li>nor de etichete etc.</li>
</ul><blockquote><p>Există multe moduri prin care puteți bloca site-ul de la indexare. Editarea fișierului robots.txt este una dintre ele. Vom lua în considerare această metodă și încă două dintre cele mai populare și simple.</p>
</blockquote>
<h3>Cum să închideți un site de la indexare pentru Yandex, Google și toate motoarele de căutare în robots.txt</h3>
<p><i>Editarea fișierului robots.txt este una dintre cele mai fiabile și mai rapide moduri</i> setați această interdicție pentru motoarele de căutare pentru ceva timp sau pentru totdeauna. Ce trebuie sa fac:</p>
<ol><li>Crearea unui fișier robots.txt. Pentru a face acest lucru, trebuie să creați un obișnuit <a href="https://bumotors.ru/ro/skachat-programmu-dlya-redaktirovaniya-tekstovyh-dokumentov-luchshie-tekstovye.html">Document text</a> cu extensia .txt, numiți-o „roboți”.</li>
<li>Încărcați fișierul generat în <a href="https://bumotors.ru/ro/chto-znachit-koren-papki-kornevaya-direktoriya.html">folderul rădăcină</a> blogul tau. Dacă site-ul este construit pe <a href="https://bumotors.ru/ro/kak-sozdat-svoi-blog-i-zarabotat-ustanovka-i-nastroika-wordpress-kakimi-dvizhkami.html">Motor WordPress</a>, atunci acest folder poate fi găsit unde se află folderele wp-includes, wp-content etc.</li>
<li>Setarea directă a interzicerii indexării pentru motoarele de căutare.</li>
</ol><p>Interzicerea indexării site-urilor poate fi setată atât pentru anumite motoare de căutare, cât și pentru toate motoarele de căutare. Ne vom uita la diferite opțiuni.</p>
<p><br><img src='https://i1.wp.com/masterproseo.ru/wp-content/uploads/2016/08/robots.jpg' align="center" width="100%" loading=lazy loading=lazy></p><p>Pentru a împiedica indexarea site-ului de către roboții de căutare Google, va trebui să scrieți următoarele în fișierul robots.txt:</p>
<ol><li>Agent utilizator: Googlebot</li>
<li>interzice: /</li>
</ol><p><i>Pentru a verifica dacă site-ul a fost închis de la indexare, este creat un cont și site-ul dorit este adăugat la Google Webmaster</i>. Există o funcție de verificare aici.</p>
<p>După aceea, rezultatele vor fi afișate. Dacă site-ul este blocat pentru indexare, va spune „Blocat după linie” și va indica ce linie blochează indexarea. Dacă vreo acțiune de interzicere a indexării de către roboții de căutare Google a fost efectuată incorect, atunci „Permis” va fi semnat.</p>
<blockquote><p>Vă rugăm să rețineți că acest lucru nu este posibil cu motorul de căutare robots.txt <a href="https://bumotors.ru/ro/soobshchenie-o-poiskovoi-sisteme-google-istoriya-google-gugl-kompanii-s-mirovym.html">sistemul Google</a> Dezactivează 100% indexarea. Acesta este un fel de recomandare pentru Google, deoarece va decide singur dacă indexează un singur document sau nu.</p>
</blockquote>
<p><b>Pentru a împiedica indexarea materialelor site-ului de către Yandex, introduceți următoarele în fișierul robots.txt:</b></p>
<ol><li>Agent utilizator: Yandex</li>
<li>interzice: /</li>
</ol><p>Pentru a verifica starea unei resurse, trebuie să o adăugați la Yandex Webmaster, unde apoi trebuie să introduceți câteva pagini de pe site-ul dvs. și să faceți clic pe butonul „Verifică”. Dacă totul a funcționat, în rând va fi afișată inscripția „Interzis de regulă”.</p>
<p><i>De asemenea, puteți seta o interdicție de indexare a site-ului dvs. în același timp pentru toate motoarele de căutare. Pentru a face acest lucru, deschideți din nou fișierul robots.txt și scrieți următoarea linie în el</i>:</p>
<ol><li>Agent utilizator: *</li>
<li>interzice: /</li>
</ol><blockquote><p>Verificarea interdicției de indexare pentru Google și Yandex se efectuează conform schemei de mai sus în Google Webmaster și, respectiv, Yandex Webmaster.</p>
</blockquote>
<p>Pentru a vedea fișierul robots.txt, trebuie să accesați domeniul dumneavoastră.ru/robots.txt. Tot ce a fost scris va fi afișat aici. Se întâmplă să apară o eroare 404. Aceasta indică faptul că ceva a fost greșit la încărcarea fișierului.</p>
<p><br><img src='https://i0.wp.com/masterproseo.ru/wp-content/uploads/2016/08/robots-allow-disallow.jpg' align="center" width="100%" loading=lazy loading=lazy></p><h3>Preveniți indexarea unei resurse utilizând bara de instrumente</h3>
<p>Metoda de închidere a site-ului de la indexare folosind bara de instrumente este potrivită doar pentru acele resurse care au fost realizate pe WordPress.</p>
<p>Procedura este simplă și rapidă:</p>
<ul><li>Deschideți „Panou de control”, accesați „Setări” - „Citire”;</li>
<li>Bifați caseta „Recomandă motoarele de căutare să nu indexeze acest site”.</li>
<li>Salvează modificările.</li>
</ul><p><b>Efectuarea acestor acțiuni este doar o recomandare pentru motoarele de căutare.</b>. Și dacă materialele de resurse vor fi indexate sau nu, ei decid singuri. În setările de vizibilitate a site-ului, există chiar <a href="https://bumotors.ru/ro/sravnitelnye-testy-kompyuterov-specialnoe-testirovanie.html">sfoară specială</a>: « <a href="https://bumotors.ru/ro/poiskovye-mashiny-poisk-informacii-v-web.html">motoare de căutare</a> decideți dacă vă urmați cererea.” Rețineți că Yandex de obicei „se supune”, iar Google poate acționa la propria discreție și, în unele cazuri, poate indexa site-ul, în ciuda recomandării.</p>
<h2>Închiderea manuală a site-ului de la indexare</h2>
<p>În codul sursă, când pagina sau întreaga resursă este închisă de la indexare, apare o linie <meta name=»robots» content=»noindex,follow» /></p>
<p>Această linie le spune motoarelor de căutare că nu este necesară indexarea materialelor sau resurselor individuale. Puteți introduce manual această linie oriunde pe site. Principalul lucru este că este afișat pe toate paginile.</p>
<p><i><b>Această metodă este potrivită și pentru a închide orice document inutil de la indexare.</b>
</i></p>
<p>După efectuarea actualizărilor, trebuie să verificați dacă totul a funcționat. Pentru aceasta trebuie să deschideți <a href="https://bumotors.ru/ro/pochemu-kompyuter-ne-mozhet-prosmotret-kod-elementa-kak-posmotret.html">sursă</a> prin intermediul <a href="https://bumotors.ru/ro/deistvie-primenyaemoe-po-hokkeyu-ctrl-x-goryachie-klavishi-na-klaviature.html">tastele CTRL</a>+ U și vezi dacă conține linia dorită. Prezența acestuia confirmă operațiunea de succes de închidere de la indexare. În plus, puteți verifica în Yandex Webmaster și Google Webmaster.</p>
<p>Deci, am considerat cel mai simplu și <a href="https://bumotors.ru/ro/pyat-sposobov-bystree-zaryadit-smartfon-vklyuchit-bystruyu-zaryadku-ili.html">moduri rapide</a>, permițându-vă să închideți întregul site sau materialele individuale de resurse de la indexare <a href="https://bumotors.ru/ro/kak-funkcioniruyut-poiskovye-mashiny-i-kak-pravilno-stroit-zaprosy.html">motoare de căutare</a>. Și, după cum sa dovedit, robots.txt este una dintre modalitățile ușoare și relativ fiabile.</p>
<p>Recent, mi-a împărtășit observația că multe site-uri care vin la noi pentru audit au adesea aceleași erori. Mai mult decât atât, aceste greșeli nu pot fi numite întotdeauna banale - chiar și webmasterii avansați le fac. Așa că a venit ideea de a scrie o serie de articole cu instrucțiuni de urmărire și remediere <a href="https://bumotors.ru/ro/ne-udaetsya-aktivirovat-windows-8-kod-oshibki-0x8007007b-standartnoi-sposob.html">greseli similare</a>. În primul rând este un ghid pentru configurarea indexării site-urilor. Dau cuvântul autorului.</p>
<p>Pentru o indexare bună a site-ului și o mai bună clasare a paginii, este necesar ca motorul de căutare să ocolească paginile cheie promovate ale site-ului, iar pe paginile în sine să poată evidenția cu acuratețe conținutul principal fără a se confunda în abundența de servicii și informații auxiliare. <br>Site-urile web care vin la noi pentru analiză au două tipuri de erori:</p>
<p>1. Atunci când promovează un site, proprietarii lor nu se gândesc la ceea ce vede botul de căutare și adaugă la index. În acest caz, poate apărea o situație când în index există mai multe pagini nedorite decât cele promovate, iar paginile în sine sunt supraîncărcate.</p>
<p>2. Dimpotrivă, proprietarii sunt prea zeloși să curețe șantierul. Impreuna cu <a href="https://bumotors.ru/ro/gde-knopka-option-otobrazhenie-podrobnoi-informacii-o-seti-zakrytie-nenuzhnyh.html">informatii inutile</a> datele care sunt importante pentru promovarea și evaluarea paginilor pot fi, de asemenea, ascunse.</p>
<p>Astăzi vrem să luăm în considerare ce merită cu adevărat ascuns de roboții de căutare și cum să o facem cel mai bine. Să începem cu conținutul paginii.</p>
<h2>Conţinut</h2>
<h3>Probleme legate de închiderea conținutului de pe site:</h3>
<p>Pagina este evaluată de roboții de căutare în mod cuprinzător și nu numai de indicatori de text. Fiind purtat de inchiderea diverselor blocuri, informatiile care sunt importante pentru evaluarea utilitatii si clasamentului sunt deseori sterse.</p>
<p><b>Să luăm un exemplu dintre cele mai multe <a href="https://bumotors.ru/ro/oshibka-internal-server-error-chto-eto-i-kak-s-nei-borotsya-obzor-samyh-chastyh.html">greșeli comune</a>:
</b><br>ascunde antetul site-ului. De obicei conține <a href="https://bumotors.ru/ro/kak-skryt-kontaktnuyu-informaciyu-vk-kak-skryt-stranicu-vkontakte-ot.html">Informații de contact</a>, linkuri. Dacă antetul site-ului este închis, motoarele de căutare ar putea să nu știe că ați avut grijă de vizitatori și ați plasat <a href="https://bumotors.ru/ro/kak-podobrat-k-materinskoi-plate-blok-pitaniya-kak-vybrat-blok-pitaniya.html">Informații importante</a> pe un loc proeminent;</p>
<p>- filtrele, formularul de căutare, sortarea sunt ascunse de indexare. Prezența unor astfel de oportunități într-un magazin online este un indicator comercial important care este mai bine să arăți decât să ascunzi. <br>- informațiile despre plată și livrare sunt ascunse. Acest lucru se face pentru a crește unicitatea pe cardurile de produse. Dar acestea sunt și informații care ar trebui să fie pe un card de produs de înaltă calitate. <br>– meniul este „decupat” din pagini, înrăutățind evaluarea confortului navigării pe site.</p>
<p><b>De ce o parte din conținutul site-ului este închis?</b><br>De obicei, există mai multe obiective: <br>- să se concentreze pe conținutul principal din pagină, eliminând informațiile auxiliare, blocurile de servicii, meniurile din index; <br>- face pagina mai unică, utilă prin eliminarea blocurilor duplicate de pe site; <br>- eliminați textul „extra”, crește relevanța textului paginii.</p>
<p><b>Toate acestea pot fi realizate fără a fi nevoie să ascundeți o parte din conținut!</b><br><i>Ai un meniu foarte mare?</i><br>Afișați pe pagini numai acele articole care au legătură directă cu secțiunea.</p>
<p><i>Multe alegeri în filtre?</i><br>Afișați numai cele populare în codul principal. Încărcați alte opțiuni numai dacă utilizatorul face clic pe butonul „afișați tot”. Da, aici sunt folosite scripturi, dar nu există nicio înșelăciune - scriptul funcționează la cererea utilizatorului. Motorul de căutare va putea găsi toate articolele, dar atunci când sunt evaluate, acestea nu vor primi aceeași valoare ca și conținutul principal al paginii.</p>
<p><i>Pe pagina <a href="https://bumotors.ru/ro/samyi-bolshoi-blok-pitaniya-kak-pravilno-vybrat-bloki-pitaniya.html">bloc mare</a> cu stirile?</i><br>Reduceți numărul acestora, afișați numai titluri sau pur și simplu eliminați blocul de știri dacă utilizatorii dau clic rar pe linkuri din acesta sau dacă există puțin conținut principal pe pagină.</p>
<p>Roboții de căutare, deși departe de a fi ideali, se îmbunătățesc constant. Google arată deja ascunderea scripturilor de la indexare ca o eroare <a href="https://bumotors.ru/ro/kak-otklyuchit-stroku-poiska-gugl-android-7-kak-ubrat-poisk-gugl-na-androide.html">Tablouri de bord Google</a> <a href="https://bumotors.ru/ro/proverka-optimizacii-dlya-mobilnyh-ustroistv-proverka.html">Search Console</a>(fila „Resurse blocate”). Nu arăta un anumit conținut roboților poate fi într-adevăr util, dar aceasta nu este o metodă de optimizare, ci mai degrabă „cârje” temporare care ar trebui folosite doar atunci când este absolut necesar.</p>
<p><b>Iti recomandam:</b><br>– tratați ascunderea conținutului ca pe o „cârjă”, și recurgeți la ea doar în situații extreme, încercând să rafinați pagina în sine; <br>- atunci când eliminați o parte a conținutului din pagină, concentrați-vă nu numai pe indicatorii de text, ci și evaluați confortul și informațiile care afectează; <br>– înainte de a ascunde conținutul, efectuați un experiment pe mai multe pagini de testare. Boții de căutare știu cum să analizeze paginile, iar temerile tale cu privire la o scădere a relevanței se pot dovedi a fi zadarnice.</p>
<p><b>Să aruncăm o privire la ce metode sunt folosite pentru a ascunde conținutul:</b></p>
<h3>eticheta noindex</h3>
<p>Această metodă are mai multe dezavantaje. În primul rând, această etichetă ia în considerare numai Yandex, deci este inutilă pentru ascunderea textului de la Google. În plus, este important să înțelegeți că eticheta interzice numai textul să fie indexat și afișat în rezultatele căutării. Nu se aplică altor conținuturi, cum ar fi link-urile.</p>
<p>Asistența Yandex nu acoperă cu adevărat modul în care funcționează noindex. puțin <a href="https://bumotors.ru/ro/cennaya-informaciya-kriterii-otbora-bolshaya-enciklopediya.html">mai multe informatii</a> se afla intr-una din discutiile de pe blogul oficial.</p>
<p><b>Întrebarea utilizatorului:</b></p>
<blockquote><p>„Mecanica acțiunii și impactul asupra clasamentului etichetei nu sunt pe deplin înțelese <noindex>text</noindex>. În continuare, voi explica de ce atât de nedumerit. Și acum - sunt 2 ipoteze, aș vrea să aflu adevărul.</p>
<p>#1 Noindex nu afectează deloc clasarea/relevanța paginii</p>
<p>Sub această ipoteză: singurul lucru pe care îl face este să blocheze o parte din conținut să nu apară în rezultatele căutării. În acest caz, întreaga pagină este considerată ca un întreg, inclusiv blocurile închise, relevanța și parametrii asociați (unicitate, conformitate, etc.) pentru aceasta sunt calculate în funcție de tot conținutul din cod, chiar și închis.</p>
<p>Nr. 2 Noindex afectează clasarea și relevanța, deoarece conținutul inclus într-o etichetă nu este evaluat deloc. În consecință, este adevărat opusul. Pagina va fi clasată în funcție de conținutul care este deschis roboților.</p>
</blockquote>
<p><b>Când poate fi utilă o etichetă:</b><br>– dacă există suspiciuni că pagina este retrogradată în rezultatele Yandex din cauza reoptimizării, dar în același timp ocupă poziții de TOP pentru fraze importante în Google. Trebuie să înțelegeți că aceasta este o soluție rapidă și temporară. Dacă întregul site a intrat sub „Baden-Baden”, noindex, după cum au confirmat în mod repetat reprezentanții Yandex, nu va ajuta; <br>- a ascunde generalul <a href="https://bumotors.ru/ro/informacionnaya-bezopasnost-organov-vnutrennih-del-zashchita-informacii-v.html">informatii de serviciu</a>, pe care dumneavoastră, din cauza reglementărilor corporative sau legale, trebuie să le indicați în pagină; <br>– pentru a corecta fragmente în Yandex dacă acestea conțin conținut nedorit.</p>
<h3>Ascunderea conținutului cu AJAX</h3>
<p>Acest <a href="https://bumotors.ru/ro/nex-chem-otkryt-est-li-universalnyi-metod-otkrytiya-neizvestnyh-failov.html">metoda universala</a>. Vă permite să ascundeți conținut atât din Yandex, cât și din Google. Dacă doriți să curățați pagina de conținut care estompează relevanța, este mai bine să o utilizați. Reprezentanții PS, desigur, nu salută această metodă și recomandă asta <a href="https://bumotors.ru/ro/kak-rabotayut-poiskovye-roboty-poiskovye-roboty.html">roboți de căutare</a> au văzut același conținut ca și utilizatorii. <br>Tehnologie <a href="https://bumotors.ru/ro/ajax-chto-eto-takoe-vliyanie-na-seo-preimushchestva-i-nedostatki-tehnologii.html">folosind AJAX</a> este larg răspândită și dacă nu vă angajați în desimulare explicită, sancțiunile pentru utilizarea sa nu amenință. Dezavantajul metodei este că încă trebuie să blocați accesul la scripturi, deși Yandex și Google nu recomandă să faceți acest lucru.</p>
<h2>Paginile site-ului</h2>
<p>Pentru <a href="https://bumotors.ru/ro/uspeshnoe-prodvizhenie-v-socialnyh-setyah-prodvizhenie-biznesa-v-socialnyh.html">promovare de succes</a> este important nu numai să scapi de <a href="https://bumotors.ru/ro/prilozhenie-dlya-avtomaticheskoi-ochistki-operativnoi-pamyati-android.html">Informații suplimentare</a> pe pagini, dar și clar <a href="https://bumotors.ru/ro/chto-znachit-relevantnyi-chto-takoe-relevantnost-poiska-indeks-poiskovoi.html">index de căutare</a> site din pagini nedorite inutile. <br>În primul rând, va accelera indexarea principalelor pagini promovate ale site-ului. În al doilea rând, prezența în index <a href="https://bumotors.ru/ro/samoe-bolshoe-chislo-prosmotrov-na-yutube-pyat-samyh-prosmatrivaemyh-video-na.html">un numar mare</a> paginile nedorite vor afecta negativ evaluarea site-ului și promovarea acestuia.</p>
<p><b>Enumerăm imediat paginile pe care este indicat să le ascundem:</b></p>
<p>– pagini de aplicații, coșuri de utilizator; <br>– rezultatele căutării pe site; <br>– informatiile personale ale utilizatorilor; <br>– pagini de rezultate de comparare a produselor și similare <a href="https://bumotors.ru/ro/operacionnaya-sistema-sluzhit-dlya-funkcii-raboty-os-primery.html">module auxiliare</a>;<br>– pagini generate de filtrele de căutare și sortare; <br>– paginile părții administrative a site-ului; <br>- Versiunea printabila.</p>
<p><b>Luați în considerare modalități prin care puteți închide paginile de la indexare.</b></p>
<h3>Închideți în robots.txt</h3>
<p>Aceasta nu este cea mai bună metodă.</p>
<p>În primul rând, fișierul roboți nu este conceput pentru a trata duplicatele și pentru a curăța site-urile de pagini nedorite. În aceste scopuri, este mai bine să folosiți alte metode.</p>
<p>În al doilea rând, o interdicție în fișierul roboți nu este o garanție că pagina nu va intra în index.</p>
<p>Iată ce spune Google despre asta în ajutorul lor:</p>
<h3>metaetichetă noindex</h3>
<p>Pentru a vă asigura că paginile sunt excluse din index, este mai bine să utilizați această metaetichetă.</p>
<p>Mai jos este o variantă a etichetei meta pe care ambele motoare de căutare o înțeleg:</p><p>
<meta name="robots" content="noindex, nofollow">
</p><p><b>Punct important!</b></p>
<p>Pentru ca Googlebot să vadă metaeticheta noindex, trebuie să deschideți accesul la paginile care sunt închise în fișierul robots.txt. Dacă acest lucru nu se face, robotul poate pur și simplu să nu viziteze aceste pagini.</p>
<h3>X-Roboți-Anteturi de etichete</h3>
<p>Un avantaj semnificativ al acestei metode este că interdicția poate fi plasată nu numai în codul paginii, ci și prin fișierul rădăcină .htaccess.</p>
<p>Această metodă nu este foarte comună în Runet. Credem că principalul motiv pentru această situație este că Yandex utilizează această metodă <a href="https://bumotors.ru/ro/kak-i-gde-hranit-dannye-v-techenie-dolgogo-vremeni-rezervnoe.html">perioadă lungă de timp</a> nu a susținut. <br>În acest an, angajații Yandex au scris că metoda este acum acceptată.</p>
<p>Nu puteți apela răspunsul de asistență detaliat))). Înainte de a trece la interzicerea indexării folosind X-Robots-Tag, este mai bine să vă asigurați că această metodă funcționează sub Yandex. Încă nu ne-am creat propriile experimente pe această temă, dar este posibil să facem acest lucru în viitorul apropiat.</p>
<h3>Protecție cu parolă</h3>
<p>Dacă trebuie să ascundeți întregul site, de exemplu, o versiune de testare, vă recomandăm și utilizarea acestei metode. Poate singurul dezavantaj este că poate fi dificil, dacă este necesar, să scanezi un domeniu ascuns sub o parolă.</p>
<h3>Eliminați paginile nedorite cu AJAX</h3>
<p>Ideea nu este doar de a interzice indexarea paginilor generate de filtre, sortare etc., ci de a nu crea deloc <a href="https://bumotors.ru/ro/kak-voiti-na-zablokirovannuyu-stranicu-tor-i-emu-podobnye.html">pagini similare</a> pe site.</p>
<p>De exemplu, dacă utilizatorul a selectat un set de parametri în filtrul de căutare pe care nu i-ați creat <a href="https://bumotors.ru/ro/kak-udalit-otdelnuyu-stranicu-v-vorde-kak-udalit-stranicu.html">pagină separată</a>, modificările aduse produselor afișate pe pagină au loc fără modificarea adresei URL în sine.</p>
<p>Complexitatea acestei metode este că de obicei nu poate fi aplicată imediat pentru toate cazurile. O parte din paginile generate este folosită pentru promovare.</p>
<p>De exemplu, filtrați paginile. Pentru „frigider + Samsung + alb”, avem nevoie de o pagină, dar pentru „frigider + Samsung + alb + cu două camere + fără îngheț”, nu mai avem nevoie de pagină.</p>
<p>Prin urmare, trebuie să creați un instrument care implică crearea de excepții. Acest lucru complică sarcina programatorilor.</p>
<h3>Folosiți metode de interzicere a indexării din algoritmii de căutare</h3>
<p><b>„Parametri URL” în <a href="https://bumotors.ru/ro/skachat-prilozhenie-nastroika-sistemy-android-planshet-otklyuchi-google-search-i-drugoi.html">Cautare Google</a> Consolă</b></p>
<p>Acest instrument vă permite să specificați cum să identificați o apariție în <a href="https://bumotors.ru/ro/stranichnye-bloki-pravilo-page-kak-izmenit-url-stranic-v-wordpress.html">Adresele URL ale paginilor</a> noi optiuni.</p>
<p><b>Directiva Clean-param în robots.txt</b></p>
<p>În Yandex, o interdicție similară pentru parametrii URL poate fi înregistrată folosind directiva Clean-param. <br>Puteți citi despre asta.</p>
<p>Adrese canonice ca o modalitate de a preveni apariția paginilor nedorite pe site <br>Această metaetichetă a fost creată special pentru a combate duplicatele și paginile nedorite de pe site. Vă recomandăm să îl înregistrați pe întreg site-ul, pentru a preveni apariția paginilor duplicate și gunoi în index.</p>
<h3>Instrumente pentru eliminarea locală a paginilor din indexul Yandex și Google</h3>
<p>Dacă apare o situație când aveți nevoie urgent să eliminați informații din index, fără a aștepta ca banul dvs. să fie văzut <a href="https://bumotors.ru/ro/sovremennye-problemy-nauki-i-obrazovaniya-sushchnostnaya-harakteristika-opytno-eksperimentalnoi-raboty.html">munca de prospectare</a>, puteți utiliza instrumente din panoul Yandex.Webmaster și Google Search Console.</p>
<p>În Yandex, acesta este „Ștergeți adresa URL”:</p>
<p>În Google Search Console „Eliminați adresa URL”:</p>
<h2>Link-uri interne</h2>
<p>Legăturile interne sunt închise de la indexare pentru a redistribui ponderile interne către paginile principale promovate. Dar chestia este: <br>- o astfel de redistribuire poate afecta negativ <a href="https://bumotors.ru/ro/naznachenie-sistem-svyazi-obshchie-svedeniya-o-sistemah-svyazi.html">legături comune</a>între pagini <br>– linkurile de la șablon prin blocuri au de obicei o greutate mai mică sau pot să nu fie luate în considerare deloc.</p>
<p>Luați în considerare opțiunile care sunt utilizate pentru a ascunde legăturile:</p>
<h3>eticheta noindex</h3>
<p>Această etichetă este inutilă pentru ascunderea linkurilor. Se aplică doar textului.</p>
<h3> atribut</h3>
<p>În prezent, atributul nu permite să economisiți greutate pe pagină. Când utilizați , greutatea este pur și simplu pierdută. În sine, utilizarea etichetei pentru legăturile interne nu pare foarte logică.</p>
<h3>Ascunderea linkurilor cu scripturi</h3>
<p>Aceasta este de fapt singura metodă de lucru prin care puteți ascunde link-urile din motoarele de căutare. Puteți utiliza Ajax și puteți încărca blocuri de link-uri după ce pagina s-a încărcat sau puteți adăuga link-uri prin înlocuirea etichetei cu un script <span>pe <a>. În același timp, este important să ținem cont de asta <a href="https://bumotors.ru/ro/kakie-pravila-effektivnogo-poiska-informacii-v-internete-itak-algoritm.html">algoritmi de căutare</a> capabil să recunoască scripturi.</p>
<p>Ca și în cazul conținutului, aceasta este o „cârjă” care poate rezolva uneori o problemă. Dacă nu sunteți sigur că veți obține un efect pozitiv dintr-un bloc ascuns de link-uri, este mai bine să nu utilizați astfel de metode.</p>
<h2>Concluzie</h2>
<p>Eliminarea blocurilor voluminoase transversale dintr-o pagină poate avea într-adevăr un efect pozitiv asupra clasamentelor. Este mai bine să faceți acest lucru prin scurtarea paginii și afișarea numai a conținutului de care au nevoie vizitatorii pe ea. Ascunderea conținutului din motorul de căutare este o cârjă care ar trebui folosită numai în cazurile în care este imposibil să se reducă blocurile transversale în alte moduri.</p>
<p>Când eliminați o parte a conținutului din pagină, nu uitați că nu doar criteriile de text sunt importante pentru clasare, ci și caracterul complet al informațiilor, factorii comerciali.</p>
<p>Situația este aproximativ aceeași cu link-urile interne. Da, uneori poate fi util, dar redistribuirea artificială a masei de link-uri pe site este o metodă controversată. Este mult mai sigur și mai de încredere să respingi pur și simplu link-urile despre care nu ești sigur.</p>
<p>Cu paginile site-ului totul este mai clar. Este important să vă asigurați că paginile nedorite, inutile, nu intră în index. Pentru a face acest lucru, există multe metode pe care le-am colectat și descris în acest articol.</p>
<p>Vă puteți consulta oricând cu noi <a href="https://bumotors.ru/ro/mozhno-li-posle-formatirovaniya-diska-vosstanovit-dannye-tehnicheskie-aspekty.html">aspecte tehnice</a> optimizare sau promovare la cheie, care include .</p>
<script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+
escape(document.referrer)+((typeof(screen)=="undefined")?"":
";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth?
screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+
";"+Math.random()+
"border='0' width='1' height='1' loading=lazy loading=lazy>");</script>
</div>
<div class="post-social-counters-block">
<div style="margin-top: 12px">
<noindex></noindex>
</div>
</div>
</div>
</div>
<a name="comments"></a>
<h3 class="best-theme-posts-title">Top articole similare</h3>
<div class="container-fluid">
<div class="best-theme-posts row">
<div class="theme-post col-sm-4">
<a href="https://bumotors.ru/ro/chto-takoe-formatirovanie-teksta-formatirovanie-simvolov-i-abzacev-v-ms-word-chto.html">
<div class="img_container"><img src="/uploads/0f7078ef1ffdeb53e940166728743cbc.jpg" border="0" alt="Formatarea caracterelor și a paragrafelor în MS Word Ce este formatarea paragrafelor" width="320" height="180" / loading=lazy loading=lazy></div>
<span class="theme-post-link">Formatarea caracterelor și a paragrafelor în MS Word Ce este formatarea paragrafelor</span>
</a>
</div>
<div class="theme-post col-sm-4">
<a href="https://bumotors.ru/ro/failovaya-sistema-vypolnyaet-funkciyu-failovaya-sistema-obzor-rasprostranennyh.html">
<div class="img_container"><img src="/uploads/b668bfdaadf32615c55cdd180bfdaf15.jpg" border="0" alt="Sistemul de fișiere îndeplinește o funcție" width="320" height="180" / loading=lazy loading=lazy></div>
<span class="theme-post-link">Sistemul de fișiere îndeplinește o funcție</span>
</a>
</div>
<div class="theme-post col-sm-4">
<a href="https://bumotors.ru/ro/analiz-elt-monitorov-istoriya-sozdaniya-elt---monitorov-elt-so-shchelevoi-maskoi-slot.html">
<div class="img_container"><img src="/uploads/44579ce5e3e20810027cd287085b5580.jpg" border="0" alt="Istoricul creării monitoarelor CRT - CRT cu o mască de fante (Slot Mask)" width="320" height="180" / loading=lazy loading=lazy></div>
<span class="theme-post-link">Istoricul creării monitoarelor CRT - CRT cu o mască de fante (Slot Mask)</span>
</a>
</div>
</div>
</div>
</div>
<a name="comments"></a>
</div>
<div class="right-column col-sm-4 col-md-4">
<div class="write">
<span class="tags-title">Categorii:</span>
<ul style="height: 286px;" id="right-tags" data-tagscount="18" data-currentmaxtag="10" class="tags">
<li class=""><a href="https://bumotors.ru/ro/category/programs/">Programe</a></li>
<li class=""><a href="https://bumotors.ru/ro/category/safety/">Securitate</a></li>
<li class=""><a href="https://bumotors.ru/ro/category/windows-10/">Windows 10</a></li>
<li class=""><a href="https://bumotors.ru/ro/category/iron/">Fier</a></li>
<li class=""><a href="https://bumotors.ru/ro/category/windows-8/">Windows 8</a></li>
<li class=""><a href="https://bumotors.ru/ro/category/vkontakte/">In contact cu</a></li>
<li class=""><a href="https://bumotors.ru/ro/category/errors/">Greșeli</a></li>
</ul>
</div>
<div class="banner">
</div>
</div>
</div>
</div>
<div style="clear:both"></div>
</div>
<div class="footer">
<div class="subscribe">
<div class="main-wrapper container">
<div class="row">
<div class="col-sm-8">
</div>
<div class="col-sm-4">
<div class="social">
<a href="" class="vk social-ico"></a>
<a href="https://facebook.com/" class="fb social-ico"></a>
<a href="https://twitter.com/" class="tw social-ico"></a>
</div>
</div>
</div>
</div>
</div>
<div class="info">
<div class="main-wrapper container">
<div class="row">
<span class="footer-info col-xs-12">© 2022 bumotors.ru. Cum se configurează smartphone-uri și PC-uri. Portal informativ.</span>
</div>
</div>
</div>
</div>
</body>
</html> 