Iniziamo delineando i diversi modi di utilizzare noindex e nofollow:
- Etichetta
- Meta tags E
Etichetta
Etichetta
Idea sbagliata n. 1. L'errore principale che le persone commettono quando usano questo tag è credere che se del testo viene inserito tra i tag di apertura e di chiusura
L'unica cosa che questo tag vieta è di inserire il contenuto nel database dell'indice, ma questo contenuto verrà comunque letto e analizzato dal robot.
Esempio: in una pagina del tuo sito è presente del testo che utilizza occorrenze dirette di frasi provenienti da altre fonti di terze parti. Pertanto, queste frasi riducono l'unicità del tuo testo e hai bisogno di unicità al 100%. Decidi di chiudere queste frasi con il tag
Assolutamente tutto il testo sulla tua pagina verrà letto ed elaborato dal robot e saprà che il testo sulla tua pagina non è univoco.
L'essenza stessa del tag
Supponiamo che un robot di ricerca abbia visitato la tua pagina e abbia iniziato a scansionare il contenuto. Ad un certo punto il robot trova l'apertura del tag
Perché allora hai bisogno di un tag?
È necessario direttamente per impedire al robot di fornire qualsiasi informazione nei risultati del motore di ricerca. Potrebbero trattarsi, ad esempio, di contatti che per qualche motivo non dovrebbero essere visualizzati nei risultati di ricerca.
Idea sbagliata n. 2. Un altro malinteso che si riscontra spesso tra i proprietari di siti web è l'opinione che un collegamento venga inserito in un tag
In aiuto dei webmaster che hanno bisogno che il robot non tenga ancora conto dei collegamenti dalle pagine, viene in soccorso l'attributo, che funziona sia per Yandex che per Google. Quando si utilizza questo attributo, il collegamento verrà comunque studiato dal robot e verrà effettuato un clic su di esso, ma senza nofollow il peso verrà trasferito al destinatario, mentre con nofollow il peso verrà bruciato.
Esempio 1:
Yandex non indicizza l'ancora, ma tiene conto del collegamento al sito e gli trasferisce il peso
Esempio 2:
Yandex non indicizza l'ancora e non trasferisce peso tramite il collegamento al sito
Esistono due modi per scrivere un tag
1.
2. È vietata l'indicizzazione del testo
La seconda opzione è più corretta. Dal momento che l'etichetta
Meta tags E
L'utilizzo del meta tag noindex nel codice della pagina impedisce a Yandex (Google, anche in questo caso, non è coinvolto) di indicizzare tutto il contenuto testuale della pagina, mentre i collegamenti verranno analizzati completamente. Cioè, la presenza di questo meta tag nel codice della pagina non equivale a chiudere la pagina dall'indice in robots.txt.
La presenza del meta tag nofollow nel codice della pagina impedisce ai motori di ricerca di indicizzare i collegamenti presenti nelle pagine. Inoltre, i robot non seguiranno i collegamenti dalla pagina se questo meta tag è presente. Ma ecco cosa c'è scritto nell'aiuto di Yandex:
"Il robot non visiterà i documenti se sono collegati da una pagina contenente un meta tag con un valore nofollow, tuttavia, potranno essere indicizzati se sono presenti collegamenti ad essi in altre fonti senza nofollow."
Riassumiamo
Etichetta
Se vogliamo che il peso del collegamento non venga trasferito al destinatario, allora utilizziamo l'attributo nofollow. Allo stesso tempo, non dimenticare che il robot può comunque seguire il collegamento (se le informazioni su di esso vengono ottenute da altre fonti: mappa del sito, collegamenti) e analizzare la pagina a cui si collega. Il metodo funziona sia per Yandex che per Google.
Per impedire che una pagina venga visualizzata nei risultati di ricerca di Google, inserisci un attributo noindex nel codice HTML della pagina o un'intestazione noindex nella richiesta HTTP. Durante la scansione, Googlebot lo rileverà e ignorerà la pagina, anche se altri siti vi si collegano.
Attenzione! Il crawler non rileverà la direttiva noindex se la pagina bloccato nel file robots.txt. Una pagina di questo tipo potrebbe apparire nei risultati di ricerca (ad esempio, se è collegata a un'altra pagina).
La direttiva noindex consente di controllare l'accesso alle singole pagine del sito, quindi è consigliabile utilizzarla se non si ha accesso alla directory root sul server.
Come aggiungere l'attributo noindex
Esistono due modi per aggiungere la direttiva noindex. I loro risultati sono equivalenti e la scelta dipende dalla misura in cui puoi controllare il server e da come pubblichi il contenuto.
Etichetta
Bloccare la maggior parte dei robot di ricerca, aggiungi il seguente meta tag alla sezione
pagine web:
Se lo desidera limitare l'accesso alla pagina solo ai robot di Google, usa questo codice:
Altri motori di ricerca potrebbero interpretare l'attributo noindex su una pagina in modo diverso e mostrarlo nei risultati di ricerca.
Aiutaci a scoprire i meta tag
Per rilevare i meta tag, dobbiamo eseguire la scansione della tua pagina. Se la pagina continua a essere visualizzata nei risultati di ricerca, è probabile che non abbiamo ancora eseguito la scansione del tuo sito dopo aver aggiunto il tag. Puoi richiedere a Google di eseguire nuovamente la scansione della pagina utilizzando lo strumento. Un altro motivo è che il file robots.txt blocca questo URL da Googlebot e il meta tag non viene rilevato. Per sbloccare la tua pagina per Google, devi modificare il file robots.txt. Questo può essere fatto utilizzando Strumento di controllo dei file Robots.txt .
Intestazione della risposta HTTP
Invece di un meta tag, puoi restituire l'intestazione X-Robots-Tag. La risposta deve essere noindex o none . Un esempio di risposta HTTP in cui X-Robots-Tag impedisce ai robot di indicizzare la pagina.
Prima di tutto, partiamo dal fatto che esistono diversi concetti fondamentalmente diversi: tag
Cos'è un'etichetta
– un tag che è stato proposto di essere utilizzato dai motori di ricerca per vietare l'indicizzazione del contenuto in esso contenuto. Questo tag non è incluso nelle specifiche ufficiali per il markup ipertestuale delle pagine web HTML.
Importante: viene riconosciuto solo dai motori di ricerca Yandex e Rambler. Google non è uno dei motori di ricerca in grado di comprendere questo tag HTML.
Qual è l'attributo ?
– un valore che impedisce ai motori di ricerca di seguire un collegamento che utilizza questo attributo.
Tutti gli esempi di utilizzo del tag verranno discussi di seguito.
Il tag noindex e l'attributo .
Etichetta
Questo tag può essere utilizzato per impedire l'indicizzazione dei collegamenti. Ecco come apparirà nel codice della pagina:
per i collegamenti
Etichetta
Questo tag può essere utilizzato anche per impedire l'indicizzazione del contenuto. Ci sono due modi. Nel codice della pagina apparirà così:
per i contenuti - opzione 1
< noindex >< / noindex > |
per i contenuti - opzione 2
È vietata l'indicizzazione del testo
< ! -- noindex -- >È vietata l'indicizzazione del testo< ! -- / noindex -- > |
Ma vale la pena ricordare che questo tag è compreso solo dai motori di ricerca Yandex e Rambler. Le sue proprietà non si applicano a Google. Pertanto, se il tuo sito ha contenuti di bassa qualità, puoi chiuderlo in questo modo solo dai robot Yandex e Rambler.
per i collegamenti
Questo attributo viene spesso utilizzato dagli ottimizzatori se desiderano che i motori di ricerca non tengano conto della presenza di un collegamento in uscita come fattore di trasferimento del peso, ma il collegamento verrà comunque studiato dal robot. Ecco come appare nel codice:
testo del collegamento
In genere, ciò è appropriato quando i collegamenti vengono aggiunti automaticamente, ad esempio nei commenti. Se non puoi o non vuoi garantire per il contenuto delle pagine collegate dal tuo sito, dovresti inserire . Questo attributo è compreso sia dai bot di Google che dai bot di Yandex e nel loro aiuto i motori di ricerca scrivono quanto segue:
Se hai letto attentamente le informazioni sui link sopra, ora sai che il peso dei link no-follow non viene trasferito. Ma dalla pratica possiamo tranquillamente affermare che la presenza di tali collegamenti nel profilo dei collegamenti è un fattore molto utile e del tutto naturale agli occhi dei motori di ricerca. Ma avere molti link in uscita sul tuo sito può essere un fattore negativo, anche se vengono chiusi tramite questo attributo.
Dovrei usare per i collegamenti interni?
Come condividere un tag
Ecco un esempio di codice in cui gli ottimizzatori utilizzano il tag
"insieme
Ma questo metodo funziona completamente solo per i robot Yandex. Google capisce solo >.
Metaetichetta
Questo meta tag è installato nella sezione
sulla pagina che non dovrebbe essere indicizzata e appare così:Metaetichetta
… ...< head > < meta name = "robots" content = "noindex, nofollow" / > . . . < / head > |
L'essenza dei valori noindex e nofollow nel meta tag rimane la stessa:
Nessun indice– vieta l'indicizzazione a livello di pagina (tutto il contenuto presente su di essa), ma non impedisce ai robot di ricerca di visitarla e seguire i collegamenti utilizzati nel contenuto.
– vieta ai robot di ricerca di seguire i collegamenti a livello di pagina (sia esterni che interni).
Combinazioni
Esistono diversi casi in cui questo meta tag viene utilizzato nella pratica. Esistono diverse soluzioni per questi casi:
- dovrebbe essere utilizzato se non si desidera che la pagina venga indicizzata dai motori di ricerca, ma i robot potrebbero seguire i collegamenti da questa pagina ad altre. Ad esempio, potrebbe trattarsi della seconda pagina di impaginazione su un sito come site.com/category/?page=2, che contiene collegamenti ai seguenti prodotti e non desideri che questa pagina venga indicizzata da un motore di ricerca.
- fa la stessa cosa. In questo caso impedirai al motore di ricerca di indicizzare la pagina, ma i robot potranno visualizzarla e seguire i collegamenti.
- – vieta l'indicizzazione del contenuto della pagina corrispondente e vieta anche ai robot di seguire i collegamenti.
- – consente ai robot di indicizzare la pagina e seguire i collegamenti. Non ha senso utilizzare un meta tag di questo tipo, poiché per impostazione predefinita, anche senza di esso, i motori di ricerca possono eseguire le stesse azioni. Ma se è installato sul tuo sito e non intendi limitare il lavoro del robot, non ha senso rimuoverlo deliberatamente.
- - consente l'indicizzazione della pagina, ma il robot non seguirà i collegamenti in essa contenuti.
- - fa la stessa cosa - consente l'indicizzazione della pagina, ma il robot non seguirà i collegamenti in essa contenuti.
Questo meta tag può essere utilizzato separatamente sia per Google che per Yandex
Se devi bloccare l'indicizzazione delle pagine solo per Google, puoi utilizzare . Lo dice l'aiuto di Google.
Se blocchi l'indicizzazione solo per Yandex: . Questo è scritto in modo molto dettagliato anche nella guida Yandex.
Come combinare meta name="robots" con robots.txt e qual è la differenza fondamentale
Alcuni SEO non capiscono la differenza tra un meta tag e chiudendo la pagina corrispondente nel file robots.txt. Entrambi i metodi impediscono ai robot di ricerca di indicizzare una pagina del sito, ma c'è comunque una differenza:
Il primo consente ai robot di accedere a questa pagina, vedere il meta tag ed escluderlo dall'indice o non indicizzarlo.
Il secondo ti vieta di visitare la pagina e, se all'improvviso è già stata indicizzata in precedenza, può rimanere a lungo nell'indice del motore di ricerca, anche se la chiudi nel file robots.txt, senza diritto di ri -index, più tardi potrai vederlo in ricerche come questa:
Pertanto, per le pagine non indicizzate, è possibile utilizzare una qualsiasi delle opzioni.
Se la pagina è già stata indicizzata, si consiglia di installarla nella sezione
metatag . Ciò lo rimuoverà dall'indice e impedirà che venga aggiunto nuovamente.Se il tuo sito è costruito su WordPress, il plugin gratuito Yoast SEO ti aiuterà a impostare correttamente questi meta tag. Questo è più o meno quello che sembra:
L'estensione del browser della barra RDS può aiutare ad analizzare la presenza di tutti questi elementi (sia meta tag che tag e attributi) nel codice delle pagine del sito:
Impostandolo correttamente, sarai in grado di vedere il contenuto racchiuso nel tag
E utilizzando il meta tag :
Ora sai come utilizzare questi metodi per impostare una corretta indicizzazione del sito, che può avere un impatto positivo sulla sua promozione complessiva.
Un articolo per coloro che sono troppo pigri per leggere l'aiuto su GoogleWebmaster e YandexWebmaster
| La chiusura delle pagine non necessarie di una risorsa Web dall'indicizzazione della ricerca è molto importante per la sua ottimizzazione SEO, soprattutto nella fase iniziale del lancio di un sito Web o di un blog. Questa azione promuove la promozione e se ne consiglia l'uso nelle pagine dei servizi. Le pagine dei servizi includono pagine tecniche e di servizio destinate esclusivamente alla comodità e al servizio dei clienti esistenti. Si tratta di pagine con contenuti indigeribili o duplicati che non forniscono assolutamente alcun valore di ricerca. Ciò include la corrispondenza degli utenti, le mailing list, le statistiche, gli annunci pubblicitari, i commenti, i dati personali, le impostazioni dell'utente, ecc. E anche pagine per l'ordinamento del materiale (impaginazione), feedback, regole e istruzioni, ecc. |
- Tag Meta Robot
Tag Meta Robot
Per controllare il comportamento dei robot di ricerca su una pagina web, esiste un meta tag robots e il suo attributo contenuto. chiudere una pagina web dall'indicizzazione della ricerca,
- Tag Meta Robot
- Perché il meta tag robots è migliore del file robots.txt?
I meta tag ti consentono di specificare i metadati su una pagina del sito. Numerosi meta tag vengono utilizzati anche dai robot dei motori di ricerca.
Nota. Spesso i meta tag descrizione e titolo vengono creati automaticamente. Si duplicano e non facilitano la ricerca per gli utenti.I meta tag con contenuti di bassa qualità possono avere un effetto negativo sulla visualizzazione delle pagine del sito nella ricerca.
Il robot Yandex esamina il contenuto dei seguenti meta tag:
- - Può essere utilizzato per determinare la pertinenza della pagina rispetto alle query di ricerca.
- - Il contenuto di questo tag può essere utilizzato negli snippet (descrizioni dei siti nei risultati di ricerca).
- - Il robot può guardare questo tag per determinare il tipo di documento e la sua codifica.
- Utilizzato per adattare il sito ai dispositivi mobili. Permette di controllare lo zoom della finestra nel browser. Il valore width=device-width adatta la larghezza del viewport allo schermo del dispositivo. Il valore scala iniziale=1 fornisce un rapporto 1:1 tra pixel CSS e pixel del dispositivo indipendente.
Se il meta tag viene omesso, i browser mobili mostrano per impostazione predefinita la pagina sullo schermo di un computer. Poiché la larghezza dello schermo su un dispositivo mobile è notevolmente inferiore a quella dello schermo di un computer, i browser tentano di ottimizzare il contenuto aumentando la dimensione del carattere, ridimensionando il contenuto in base alle dimensioni dello schermo o mostrando solo la parte del contenuto che si adatta allo schermo.
- Reindirizza l'utente alla pagina con l'URL specificato dopo che l'utente rimane per N secondi sulla pagina corrente. Per valori N piccoli, è considerato un reindirizzamento temporaneo, simile ai reindirizzamenti del server con il codice HTTP 302/303/307.
Il robot Yandex esamina anche questi meta tag:
- Ti consente di indicizzare testo e collegamenti sulla pagina, in modo simile a .
- Proibisce l'indicizzazione del testo della pagina.
- Vieta di seguire i link presenti nella pagina.
- Vieta di indicizzare il testo e seguire i collegamenti sulla pagina, simili a .
- Impedisce di mostrare il collegamento alla copia salvata nella pagina dei risultati di ricerca.
- Vieta l'utilizzo della descrizione Yandex.Catalog per lo snippet nei risultati di ricerca.
Nell'attributo name puoi utilizzare yandex al posto di robots per specificare le direttive solo per il robot Yandex. Per esempio: \N
Il robot non visita i documenti se sono collegati da pagine contenenti un meta tag nofollow, ma potrebbero essere indicizzati se altre fonti si collegano ad essi senza nofollow .
Se i meta tag non sono specificati, il robot presume che abbiano valori positivi (indice, follow, archivio).Se il robot scopre un conflitto di tag, sceglie il valore positivo.
\N \N
Esiste un'eccezione: l'attributo all non influisce su noarchive:\n
\N \N
L'elemento noindex
Per vietare l'indicizzazione di frammenti ausiliari del testo, utilizzare il file
Il tag noindex non è sensibile alla nidificazione, ovvero può essere inserito ovunque nel codice HTML di una pagina. Se necessario, puoi utilizzare il tag nel seguente formato per rendere valido il codice del sito :
il testo di cui desideri impedire l'indicizzazione
L'attributo rel = \"nofollow\" dell'elemento a
L'attributo rel=\"nofollow\" viene utilizzato nel file tag nel seguente formato:
L'attributo funziona allo stesso modo del meta tag con il valore nofollow, ma si applica solo al collegamento specificato.
L'attributo rel=\"canonical\" dell'elemento link
Se un sito dispone di gruppi di pagine con contenuti simili, il webmaster può specificare l'indirizzo preferito (canonico) da utilizzare nei risultati di ricerca per ciascun gruppo.\nAd esempio, è possibile accedere a una pagina utilizzando due indirizzi:
www.example.com/pages?id=2www.example.com/blog
Se l'indirizzo preferito è /blog , questo dovrebbe riflettersi nel codice della pagina /pages?id=2:
Allo stesso modo, se la pagina ha l'attributo rel=\"canonical\" che specifica l'indirizzo di questa pagina, il robot la considera canonica. Questa pagina verrà indicizzata e apparirà nei risultati di ricerca Yandex.
Il robot non tratta un collegamento con l'attributo rel=\"canonical\" come una direttiva rigorosa, ma come un'opzione che viene presa in considerazione e può essere ignorata.
Ad esempio, il robot potrebbe non utilizzare l'indirizzo specificato se:
Il documento non è accessibile per l'indicizzazione all'indirizzo canonico.
L'indirizzo canonico specifica un URL in un dominio o sottodominio diverso.
Hai specificato diversi indirizzi canonici.
Inoltre, non dovresti creare catene di indirizzi canonici. Ad esempio, per l'indirizzo example.ru/1 , l'indirizzo canonico è example.ru/2 , ma allo stesso tempo, l'indirizzo example.ru/2 ha l'indirizzo canonico esempio.ru/3.
