Cos'è il refspam. Sconfiggere lo spam di riferimento in Google Analytics

Ciao webmaster, blogger, SEO e ospiti casuali!

Oggi è una bellissima giornata di primavera! È tempo di scriverne un altro utile.

Sono sicuro che questo post interesserà molti. Ad esempio, ero interessato a un fatto simile e ho deciso di comprendere a fondo questo problema.

Già dal titolo dell'articolo hai capito che stiamo parlando di referral spam e del suo impatto sulla tua risorsa web.

Che cos'è lo spam di riferimento?

Quindi cos'è lo spam di riferimento? Lo spam di riferimento è lo stesso, ma la sua principale differenza rispetto al semplice spam è che non ti viene venduto un determinato prodotto o servizio, ma semplicemente lasci un link di riferimento mascherato.

Se hai una certa curiosità, allora seguirai sicuramente questo link. Fondamentalmente, tali collegamenti portano a risorse web con un indirizzo diverso utilizzando quello configurato. Sul sito finale, le informazioni su un prodotto o servizio specifico vengono presentate come pubblicità.

A proposito, i cookie vengono memorizzati nel browser per un tempo piuttosto lungo (fino a 1 anno), quindi anche se acquisti qualcosa su questo sito dopo un po', continueranno a guadagnare denaro per te.

Bene, ora voglio parlarvi del principio base del funzionamento dei refspammer. Forse sarai interessato a saperlo, come lo è stato per me a tempo debito.

Prima di tutto, vai alle statistiche delle visite al tuo blog: o Yandex.Metrica. Presta attenzione alle transizioni da altri siti al tuo blog, che mostrano frequenze di rimbalzo del 100% e un tempo di visita di 0:00. Questi sono i siti per la posa di refspammer.

Dai un'occhiata alle precedenti statistiche dal mio blog:

Come funzionano i refspammer

Bene, ora condivido con voi il principio del refspammer.

1. Estrae l'ID del contatore di traffico dal codice del tuo blog o in qualsiasi altro modo.

1. Emula le visite al tuo blog e conclude le statistiche delle visite. Tuttavia, non esiste una vera interazione con il tuo blog.

1. In attesa di intervento dal webmaster. Secondo l'idea del refspammer, l'autore del blog, quando vede un gran numero di transizioni al suo blog con strani indicatori (rifiuti del 100%), dovrebbe andare al link di riferimento.

1. L'autore fa clic sul collegamento e quindi, senza il suo consenso, inserisce i file necessari - i cookie, che vengono salvati nel suo browser e lo trasformano automaticamente in un referral. Bene, quando si fa clic sul collegamento, l'autore viene reindirizzato al sito desiderato con informazioni pubblicitarie utilizzando un reindirizzamento.

Come accennato in precedenza, questa strategia è progettata per molto tempo, perché i cookie possono essere memorizzati nel browser per molto tempo. Pertanto, anche dopo un certo tempo, quando l'autore acquista prodotti o servizi, il refspammer può ottenere la sua commissione. Tuttavia, questo potrebbe non essere un acquisto, ma una semplice azione.

Attualmente, i programmi di affiliazione CPA hanno iniziato a svilupparsi attivamente in Runet. Scriverò presto un articolo su di loro, quindi non dimenticare di iscriverti agli aggiornamenti del mio blog.

E un'altra cosa. Come sai, oggi su Internet ci sono un numero molto elevato di siti e blog diversi. Ci sono molti meno artigiani che si occupano di refspam. Pertanto, un tale modello di guadagno può portare solidi profitti con il giusto approccio.

Personalmente, non sono un sostenitore di questo tipo di arricchimento con l'aiuto di tali macchinazioni. Mi sembra che la maggior parte delle persone che non sanno fare altro o non vogliono svilupparsi sono coinvolte in tali truffe.

Il danno da referral spam

Questa è la domanda. Il referral spam è dannoso? Bene, il fatto che non sia utile è al cento per cento. Tuttavia, non ho trovato alcuna conferma su Internet che il refspam danneggi i siti e. Pertanto, ritengo questa domanda aperta.

In teoria, i motori di ricerca sono consapevoli di questo problema, quindi queste "visite al blog" non dovrebbero contare e influenzare il posizionamento del blog nei risultati di ricerca. Ma come questo viene eseguito nella vita reale, fino ad ora, nessuno può dirlo con certezza.

Come sbarazzarsi dello spam dei referral

Beh cosa posso consigliare. Il referral spam è solo un tipo di spam normale. Come gestisci lo spam normale? Destra. Il modo migliore per combattere è ignorare. Sarà sufficiente non fare clic sui collegamenti forniti dei siti registrati nel contatore del traffico. Dai un'occhiata al mio esempio:

In precedenza, questo dominio con il 100% di rifiuti veniva registrato molto spesso, fino a quando non l'ho capito, ma ne parleremo più avanti.

Così. Sai cosa offrono i motori di ricerca per risolvere il problema del referral spam? Basta aggiungere questi domini o i loro indirizzi IP ai filtri delle statistiche del contatore. Fresco. Questo approccio mi ha ricordato il gioco di mio figlio Danilka, quando si nasconde da qualcuno, coprendosi gli occhi con i palmi delle mani, e crede fermamente che nessuno lo noterà. Divertente, non è vero? Qui è lo stesso.

Tutto quello che devi fare è aggiungere questo codice in fondo al tuo file .htaccess e salvare questo file. È tutto. Bene, ora condivido con voi il codice che mi ha davvero aiutato:

Opzioni tutto SetEnvIfNoCase Referer "^ http: // (+.)? Refspammer site. * $" Bad_site Ordina Consenti, Nega Consenti da tutti Nega da env = bad_site

Dopo averlo installato, i domini dei refspammer sono scomparsi dalle statistiche di Google Analytics. Questo è un metodo di lavoro che utilizzo personalmente e che raccomando a tutti i vigili del fuoco. Ecco come ho registrato i domini spam nel mio file .htaccess:

OK è tutto finito adesso. Il mio articolo giunge alla sua logica conclusione. Le informazioni fornite in esso ti sono state utili? Attendo vostre risposte nei commenti.

P.S. Se sei interessato all'antiquariato, alla vendita di cose vecchie, qui troverai

Molto spesso vediamo un picco nel traffico del sito web analizzando i dati raccolti da Google Analytics. Questo è percepito come un interesse per la risorsa. E, naturalmente, un tale aumento di presenze non può che rallegrarsi.

Ma questo non è sempre motivo di gioia. In seguito scopriamo che la maggior parte di questo traffico di riferimento è stato inviato da spammer. È lo spam che ultimamente è diventato un grosso problema.

Il referral spam si verifica quando il tuo sito riceve indicazioni di traffico false dagli spambot. Questo traffico falso è registrato da Google Analytics. Se vedi traffico proveniente da fonti di spam in Analytics, devi intraprendere determinate azioni per eliminare questi dati dalle statistiche.

Che cos'è un bot?

È consuetudine chiamare programmi bot il cui compito è eseguire attività ripetitive con la massima velocità e precisione.

L'uso tradizionale dei bot è l'indicizzazione web del contenuto delle risorse Internet, che viene regolarmente eseguita dai motori di ricerca. Ma i bot possono essere utilizzati anche per scopi dannosi. Ad esempio, per:

• commettere frodi sui clic;
• accumulo di indirizzi di posta elettronica;
• trasferimento di contenuti del sito web;
• distribuzione di software dannoso;
• gonfiando artificialmente il traffico di risorse.

Analizzando i compiti per cui vengono utilizzati i bot, possiamo dividerli in sicuri e pericolosi.

Bot pericolosi e sicuri

Un esempio di un buon bot è Googlebot, che Google utilizza per eseguire la scansione e indicizzare le pagine Web su Internet.

La maggior parte dei bot (sicuro o meno) non esegue JavaScript, ma alcuni lo fanno.

I bot di ricerca che eseguono Javascript (come il codice di Google Analytics) vengono visualizzati nei rapporti di Google Analytics e distorcono le metriche del traffico (traffico diretto, traffico di riferimento) e altre metriche basate sulla sessione (frequenza di rimbalzo, tasso di conversione, ecc.).

I bot di ricerca che non eseguono JavaScript (come Googlebot) non alterano i dati di cui sopra. Ma le loro visite sono ancora registrate nei log del server. Consumano anche risorse del server, riducono la larghezza di banda e possono avere un impatto negativo sulla velocità di caricamento del sito web.

I bot sicuri, a differenza di quelli pericolosi, obbediscono alla direttiva robots.txt. Sono in grado di creare account utente falsi, inviare spam, raccogliere indirizzi e-mail e possono ignorare i CAPTCHA.

I bot pericolosi utilizzano vari metodi che li rendono difficili da rilevare. Possono influenzare il browser web (come Chrome, Internet Explorer, ecc.) e il traffico da un normale sito.

È impossibile dire con certezza quali bot pericolosi possono manomettere i dati di Google Analytics e quali no. Pertanto, vale la pena considerare tutti i bot pericolosi come una minaccia per l'integrità dei dati.

spambot

Come suggerisce il nome, il compito principale di questi bot è lo spam. Visitano un numero enorme di risorse Web ogni giorno, inviando richieste HTTP a siti con intestazioni di referrer false. Ciò consente loro di evitare il rilevamento come bot.

L'intestazione del referrer contraffatto contiene l'URL del sito Web che lo spammer vuole promuovere o per ricevere collegamenti a ritroso.

Quando il tuo sito riceve una richiesta HTTP da uno spam bot con un'intestazione di referrer falsa, viene immediatamente scritta nel registro del server. Se il log del tuo server è pubblicamente disponibile, Google può scansionarlo e indicizzarlo. Il sistema tratta il valore del referrer nel registro del server come un backlink, che in definitiva influisce sul posizionamento del sito Web promosso dallo spammer.

Di recente, gli algoritmi di indicizzazione di Google sono stati costruiti in modo tale da non tenere conto dei dati dei log. Ciò annulla gli sforzi dei creatori di tali robot.

Gli spambot in grado di eseguire JavaScript sono in grado di aggirare i metodi di filtraggio utilizzati da Google Analytics. Grazie a questa capacità, questo traffico si riflette nei rapporti di Google Analytics.

botnet

Quando uno spam bot utilizza una botnet (una rete di computer infetti localizzati localmente o in tutto il mondo), può accedere a un sito Web utilizzando centinaia di indirizzi IP diversi. In questo caso, la lista nera degli indirizzi IP o limitazione della velocità(tasso di traffico inviato o ricevuto) diventare in gran parte inutile.

La capacità di uno spambot di distorcere il traffico verso il tuo sito è direttamente proporzionale alla dimensione della botnet utilizzata dallo spam bot.

Con una botnet di grandi dimensioni con indirizzi IP diversi, uno spam bot può accedere al tuo sito Web senza essere bloccato da un firewall o da altri meccanismi di sicurezza tradizionali.

Non tutti gli spambot inviano intestazioni di riferimento.

In questo caso, il traffico proveniente da tali bot non apparirà come fonte di traffico di riferimento nei rapporti di Google Analytics. Sembra traffico diretto, il che lo rende ancora più difficile da rilevare. In altre parole, ogni volta che non viene inviato un referrer, questo traffico viene trattato come diretto in Google Analytics.

Spambot può creare dozzine di false intestazioni di referrer.

Se hai bloccato una fonte di riferimento, gli spambots invieranno un altro falso al sito. Pertanto, i filtri antispam in Google Analytics o .htaccess non garantiscono che il tuo sito sia completamente bloccato dagli spambot.

Ora sai che non tutti gli spambot sono pericolosi. Ma alcuni di loro sono davvero pericolosi.

Spambot molto pericolosi

L'obiettivo degli spambot davvero pericolosi non è solo quello di distorcere il traffico della tua risorsa web, ripulire il contenuto o ottenere indirizzi e-mail. Il loro obiettivo è infettare il computer di qualcun altro con malware, per rendere la tua macchina parte di una botnet.

Una volta che il tuo computer è integrato nella botnet, viene utilizzato per inviare spam, virus e altro malware ad altri computer su Internet.

Esistono centinaia e migliaia di computer in tutto il mondo che vengono utilizzati da persone reali, che allo stesso tempo fanno parte di una botnet.

C'è un'alta probabilità che il tuo computer faccia parte di una botnet, ma non ne sei a conoscenza.

Se decidi di bloccare una botnet, molto probabilmente stai bloccando il traffico di utenti reali.

È possibile che non appena visiti un sito sospetto dal tuo rapporto sul traffico di riferimento, il tuo computer venga infettato da malware.

Pertanto, non visitare siti sospetti dai rapporti di analisi senza installare una protezione adeguata (programmi antivirus installati sul computer). È preferibile utilizzare una macchina separata appositamente per visitare tali siti. In alternativa, puoi contattare l'amministratore di sistema per risolvere questo problema.

Spambot intelligenti

Alcuni spambot (come darodar.com) possono inviare traffico artificiale anche senza visitare il tuo sito. Lo fanno riproducendo le richieste HTTP che provengono dal codice di monitoraggio di Google Analytics utilizzando il tuo ID risorsa web. Non solo possono inviarti traffico falso, ma anche referenti falsi. Ad esempio, bbc.co.uk. Poiché la BBC è un sito legittimo, quando vedi questo referrer nel tuo rapporto, non pensi nemmeno che il traffico proveniente da un sito affidabile possa essere falso. In effetti, nessuno della BBC ha visitato il tuo sito.

Questi robot intelligenti e pericolosi non hanno bisogno di visitare il tuo sito Web o eseguire JavaScript. Poiché in realtà non visitano il tuo sito, queste visite non vengono registrate nel registro del server.

E, poiché le loro visite non vengono registrate nel registro del server, non puoi bloccarle in alcun modo (blocco IP, utente, traffico di riferimento, ecc.).

Gli spambot intelligenti eseguono la scansione del tuo sito alla ricerca di ID proprietà web. Le persone che non utilizzano Google Tag Manager lasciano il codice di monitoraggio di Google Analytics sulle loro pagine web.

Il codice di monitoraggio di Google Analytics contiene il tuo ID proprietà web. L'identificatore viene rubato da un bot di spam intelligente e può essere passato ad altri bot per l'uso. Nessuno può garantire che il bot che ha rubato l'identificatore della tua risorsa web e il bot che ti invia traffico artificiale siano la stessa "persona".

Puoi risolvere questo problema utilizzando Google Tag Manager (GTM).

Usa GTM per monitorare Google Analytics sul tuo sito web. Se il tuo ID risorsa web è già stato preso in prestito, molto probabilmente è troppo tardi per risolvere questo problema. Tutto ciò che puoi fare ora è utilizzare un ID diverso o attendere che Google risolva il problema.

Non tutti i siti vengono attaccati dagli spambot.

Inizialmente, il compito degli spambot è quello di rilevare e utilizzare i lati vulnerabili di una risorsa web. Attaccano siti debolmente protetti. Di conseguenza, se hai posizionato la tua pagina su un hosting "budget" o utilizzi un CMS personalizzato, ha buone probabilità di essere attaccato.

A volte è sufficiente che un sito spesso attaccato da bot pericolosi cambi il proprio web hosting. Questo modo semplice può davvero aiutare.

Segui le istruzioni di seguito per scoprire le fonti di spam

1) Vai al rapporto sul traffico di riferimento nel tuo account Google Analytics e ordina il rapporto per frequenza di rimbalzo in ordine decrescente:

2) Guarda i referrer con frequenza di rimbalzo del 100% o 0%, così come quelli con 10 o più sessioni. Molto probabilmente sono spammer.

3) Se uno dei tuoi referrer sospetti appartiene all'elenco dei siti elencati di seguito, si tratta di spam di riferimento. Non devi controllarlo tu stesso:

pulsanti-per-sito-web.com

7makemoneyonline.com

ilovevitaly.ru

resellerclub.com

vodkoved.ru

cenokos.ru

76brighton.co.uk

sharebutton.net

simple-share-buttons.com
forum20.smailik.org
social-buttons.com
forum.topic39398713.darodar.com

Un elenco completo delle fonti di spam è disponibile per il download.

4) Quando non è stato possibile verificare l'identità del tuo referente sospetto, correre il rischio e visitare il sito Web discutibile. Forse questa è davvero una risorsa normale. Assicurati di avere un software antivirus prima di visitare tali risorse discutibili. Sono in grado di infettare il tuo computer nel momento in cui vai alla loro pagina.

5) Dopo aver confermato l'identità dei bot pericolosi, il passaggio successivo è impedire loro di visitare nuovamente il tuo sito.

Come puoi limitare il tuo sito dagli spambot?

Crea annotazioni sul tuo grafico e scrivi una nota che spiega cosa ha causato l'insolito picco di traffico ... Sarà possibile scartare questo traffico durante l'analisi.

Blocca lo spam di riferimento utilizzando le funzionalità di Spambot ... Aggiungi il seguente codice al tuo file .htaccess (o alla configurazione web se usi IIS):

RewriteEngine On Options + FollowSymlinks RewriteCond% (HTTP_REFERER) ^ https?: // ([^.] + \.) * Buttons-for-website \ .com \ RewriteRule. * - [F]

Questo codice bloccherà tutte le destinazioni HTTP e HTTPS da button-for-website.com, inclusi i sottodomini button-for-website.com.

Blocca l'indirizzo IP utilizzato dallo spam bot ... Prendi il file .htaccess e completa con il codice mostrato di seguito:

Riscrivi motore acceso
Opzioni + Segui i collegamenti simbolici
Ordine Nega, Consenti
Nega dal 234.45.12.33

Nota: Non c'è bisogno di copiare il codice nel tuo .htaccess - lo schema non funzionerà. Questo è solo un esempio di come bloccare l'indirizzo IP nel file .htaccess.

Gli spambot sono in grado di utilizzare indirizzi IP diversi. Aggiungi sistematicamente all'elenco degli indirizzi IP di spambot disponibili sul tuo sito.

Blocca solo gli indirizzi IP che interessano il sito.

È inutile cercare di bloccare ogni indirizzo IP conosciuto. Il file Htaccess diventerà molto ingombrante. Diventerà difficile da gestire e le prestazioni del server web diminuiranno.

Hai notato che il numero di titoli nella lista nera degli indirizzi IP è in rapido aumento? Questo è un chiaro segno di problemi di sicurezza emergenti. Verificare con il proprio host web o amministratore di sistema. Usa Google per trovare una lista nera per bloccare gli indirizzi IP. Automatizza questo lavoro scrivendo uno script in grado di trovare e negare in modo indipendente indirizzi IP la cui nocività non è messa in discussione.

Approfitta della possibilità di bloccare gli intervalli IP utilizzati dai bot di spam ... Quando sei sicuro che uno specifico intervallo di indirizzi IP viene utilizzato da uno spam bot, puoi bloccare un numero di indirizzi IP contemporaneamente in una sola mossa, come mostrato di seguito:

RiscriviMotoreSopra

Opzioni + SeguiSimlink

Negarea partire dal 76.149.24.0/24

Consenti da tutti

Qui 76.149.24.0/24 è l'intervallo CIDR (CIDR è il metodo utilizzato per rappresentare gli intervalli di indirizzi).

L'utilizzo del blocco CIDR è più efficace del blocco di indirizzi IP specifici, poiché occupa un minimo di spazio sul server.

Nota: Puoi nascondere un numero di indirizzi IP in CIDR e, viceversa, aprirli con questo strumento: www.ipaddressguide.com/cidr

Blocca gli utenti bannati usando gli spambot ... Analizza settimanalmente i file di registro del server, rileva e blocca agenti utente dannosi utilizzando gli spambot. Una volta bloccati, non potranno accedere alla risorsa web. La capacità di farlo è mostrata di seguito:

RiscriviMotoreSopra

Opzioni + Segui i collegamenti simbolici

RiscriviCond% (HTTP_USER_AGENT) Baiduspider

RewriteRule.* -

Utilizzando una casella di ricerca di Google, puoi ottenere un elenco impressionante di risorse che conservano i record di agenti utente vietati noti. Usa queste informazioni per identificare questi agenti utente sul tuo sito.

Il modo più semplice è scrivere uno script per automatizzare l'intero processo. Crea un database con tutti gli agenti utente esclusi noti. Utilizza uno script che li identificherà e li bloccherà automaticamente in base ai dati del database. Aggiorna regolarmente il database con nuovi interpreti bannati: quelli appaiono con una consistenza invidiabile.

Blocca solo gli interpreti che influiscono effettivamente sulla risorsa. È inutile cercare di bloccare ogni indirizzo IP noto: questo renderà il file .htaccess troppo grande e difficile da gestire. Anche le prestazioni del server diminuiranno.

Utilizza il filtro "Filtro bot" disponibile in Google Analytics - "Escludi hit da bot e spider noti".

Monitora i log del server almeno una volta alla settimana . È possibile iniziare la lotta contro bot pericolosi a livello di server. Fino a quando non sei riuscito a "scoraggiare" gli spambot dal visitare la tua risorsa, non escluderli dai rapporti analitici di Google.

Usa un firewall ... Il firewall diventerà un filtro affidabile tra il tuo computer (server) e lo spazio virtuale. È in grado di proteggere una risorsa web da bot pericolosi.

Ottieni l'aiuto di un esperto dal tuo amministratore di sistema . La protezione 24 ore su 24 delle risorse Web del client da oggetti dannosi è il suo compito principale. La persona responsabile della sicurezza della rete ha molti più strumenti per respingere gli attacchi dei bot rispetto al proprietario del sito. Se trovi un nuovo bot che minaccia il sito, informa immediatamente l'amministratore di sistema della scoperta.

Uso Google Cromo per la navigazione web . Nel caso in cui non sia in uso alcun firewall, è meglio utilizzare Google Chrome per navigare in Internet.

Cromoanche in grado di rilevare software dannoso. Allo stesso tempo, apre le pagine Web più velocemente di altri browser, senza dimenticare di scansionarle alla ricerca di malware.

Se utilizzi Chrome, il rischio di "raccogliere" malware sul tuo computer è ridotto. Anche quando visiti una risorsa sospetta dai rapporti sul traffico di riferimento di Google Analytics.

Utilizza avvisi personalizzati durante il monitoraggio di picchi di traffico imprevisti. Gli avvisi personalizzati in Google Analytics ti consentiranno di rilevare e neutralizzare rapidamente le richieste bot dannose, riducendo al minimo il loro impatto dannoso sul sito.

Usa i filtri disponibili in Google Analytics . Per fare ciò, nella scheda "Amministratore" nella colonna "Visualizzazioni", seleziona "Filtri" e creane uno nuovo.

L'impostazione dei filtri è piuttosto semplice. La cosa principale è sapere come è fatto.

È possibile utilizzare la casella di controllo Filtro bot situata nella sezione Visualizza impostazioni della scheda Amministratore. Non farà male.

Nonostante la facilità d'uso dei filtri in Google Analytics, sconsigliamo comunque di utilizzarli nella pratica.

Ci sono tre buone ragioni per questo:

• Ci sono centinaia e migliaia di bot cattivi, ogni giorno ne appaiono un numero enorme di nuovi. Quanti filtri dovrai creare e applicare ai tuoi rapporti?

• Più filtri applichi, più difficile sarà analizzare i report di Google Analytics.

• Bloccare il traffico di spam in Google Analytics è un insabbiamento, ma non una soluzione. Perderai la capacità di valutare il grado di distorsione del traffico da parte degli spambot.

Allo stesso modo, non bloccare il traffico dei referral con " Elenco di esclusione dei referral "- questo non risolverà il tuo problema. Al contrario, questo traffico verrà successivamente valutato come diretto, il che porterà alla perdita della capacità di monitorare l'impatto dello spam sul traffico della tua risorsa web.

Una volta che uno spam bot entra nelle statistiche di un servizio di analisi di Google, i dati sul traffico verranno distorti per sempre. Non puoi più aggiustarlo.

Conclusione

Ci auguriamo che i consigli di cui sopra ti aiutino a sbarazzarti di tutte le fonti di spam sul tuo sito. Questo può essere fatto in diversi modi, ma abbiamo descritto quelli che hanno aiutato molte risorse a proteggere i propri dati in Google Analytics.

Tag: Aggiungi tag

Il referral spam è quando il tuo sito riceve traffico falso da bot di spam, identificato da Google Analytics come traffico "in tempo reale" da altri siti.

Cos'è un "bot"?

il bot È un programma che invia attività ripetitive al sito con alta velocità e precisione.

I bot vengono spesso utilizzati per indicizzare i siti e aggiornare i contenuti.

Ma a volte vengono utilizzati anche per scopi dannosi:

• fare clic fraudolenti;
• analizzare gli indirizzi e-mail;
• analizzare il contenuto del sito;
• distribuire malware;
• indirizzare il traffico al sito.

Pertanto, possiamo concludere che, a seconda dello scopo di utilizzo, i bot possono essere sia utili che dannosi.

Bot utili e dannosi

Tutti i bot sono divisi in quelli che possono eseguire lo script. javascript e quelli per i quali questa funzione non è disponibile.

I bot che eseguono javascript vengono visualizzati nei rapporti GA come hit e distorcono i dati sul traffico (sia diretto che di riferimento), nonché i dati su rimbalzi, conversioni, ecc.

I bot che non eseguono javascript non possono influenzare il contatore. Non vengono visualizzati come traffico nei rapporti e non modificano le impostazioni delle metriche.

Un esempio di bot utile è il bot di Google utilizzato da Google per eseguire la scansione di un sito e indicizzarne il contenuto.

I bot di Google seguono le regole robots.txt, mentre i bot dannosi non li obbediscono, a causa dei quali causano danni molto significativi: creano account falsi, inviano spam e-mail, analizzano indirizzi e-mail e aggirano i captcha.

I robot dannosi utilizzano una varietà di tecniche di mimetizzazione, il che li rende difficili da individuare. Fingendosi traffico proveniente da un sito reale, il bot inganna facilmente quasi tutti gli utenti.

Nessuno può dire con certezza quali dei bot dannosi possono riflettersi nei report della tua GA e quali no, quindi, per i tuoi dati analitici, tutti i bot dannosi sono potenzialmente pericolosi.

spambot

Quando un bot dannoso viene utilizzato per lo spam, si chiama così: bot spam .

Gli spambot visitano centinaia e persino migliaia di siti ogni giorno, inviando loro richieste http da domini diversi. Questa tattica consente loro di impersonare utenti reali.

Spesso è così che gli spammer cercano di ottenere backlink ai loro siti.

Quando il tuo sito riceve una richiesta da uno spambot di riferimento, i dati vengono immediatamente scritti nel tuo file di registro. Successivamente, Google esamina i tuoi file di registro, tratta il link spam come un backlink dal tuo sito e lo identifica automaticamente come donatore di link per il sito spam.

Questa è la sequenza di azioni su cui contano gli spammer. Infatti, un bot di Google è in grado di distinguere un file di log da una vera pagina web e ignorare tali pseudo-link. E infine, gli spambot possono aggirare i filtri di Google Analytics: ecco perché entrano nei rapporti sul traffico di riferimento.

botnet

Se il bot spam usa botnet (ovvero una rete di computer infetti), quindi invia richieste di riferimento al tuo sito da centinaia di IP diversi, motivo per cui un metodo per combattere i bot come la compilazione di una lista nera di indirizzi IP si rivela inefficace. E più botnet di uno spammer, più rovinerà le statistiche sul traffico del tuo sito.

Ma ci sono spambot che inviano non referral, ma richieste dirette ai siti, e quindi i dati sulle loro visite vengono visualizzati nei rapporti sul traffico diretto.

Un singolo bot di spam è in grado di generare dozzine di siti di referral falsi, quindi il blocco di un referral non può garantire l'isolamento immediato dell'intero bot. L'attività di tali spambots porta molti problemi, ma, nel complesso, non rappresenta un enorme pericolo, ma il vero pericolo ti aspetta dall'altra parte.

Spambot davvero pericolosi

Forse i più pericolosi sono gli spambot, il cui compito non è solo quello di rovinare le tue statistiche, analizzare il contenuto o i dati degli utenti, ma anche infettare il tuo computer per renderlo parte di una botnet. E la parte peggiore è che potresti non sospettare nemmeno che il tuo computer faccia parte di una botnet.

In genere, un computer viene infettato nel modo seguente. Un sito web viene visualizzato nel rapporto sui referral di GA. Segui il link per vedere che tipo di piattaforma è e durante la transizione il tuo computer "cattura" un virus. Per evitare che ciò accada, devi sempre ricordare: non dovresti visitare siti sconosciuti dal rapporto di riferimento senza l'antivirus attivato. Se per qualche motivo è necessaria la transizione a un collegamento dubbio, è meglio utilizzare un altro computer (non quello principale).

Spambot intelligenti

Alcuni spambot particolarmente intelligenti possono rovinare il tuo rapporto GA senza visitare il tuo sito. Per fare ciò, hanno bisogno del tuo contatore GA.

Ad esempio, possono inviare una richiesta da bbc.co.uk, il sito web ufficiale della BBC. Quando lo vedi nel rapporto sul traffico di riferimento, puoi essere sicuro che gli utenti sono venuti da te dal sito Web della BBC, ma, sfortunatamente, la realtà sarà diversa. Poiché tali bot non visitano il tuo sito, ma danno solo l'impressione di visitarlo, le informazioni su di essi non vengono registrate sul tuo server di log, il che significa che non puoi bloccarli né tramite IP, né tramite l'agente utente, né tramite un referral collegamento, o da qualsiasi o altro.

Non tutti i siti web sono influenzati dai bot allo stesso modo

Il grado di impatto su un sito è direttamente proporzionale alla sua vulnerabilità. I bot attaccano siti poco protetti ospitati su hosting a basso costo o utilizzando CMS gratuiti. Il problema con i CMS gratuiti e l'hosting economico è che sono raramente e mal testati per la vulnerabilità. Pertanto, uno dei consigli per proteggere il tuo sito dagli attacchi dei bot è utilizzare solo CMS affidabili e hosting con una buona reputazione.

Inoltre, i siti che partecipano a programmi di affiliazione vengono spesso attaccati da spambot. Se paghi un partner per un acquisto completato, un'applicazione confermata sul sito o qualsiasi altra azione che puoi verificare in modo indipendente, non c'è nulla di cui preoccuparsi. Ma se il risultato del pagamento di un partner è un aumento del traffico sul sito o un'applicazione completata (ma non confermata), allora preparati al fatto che ci saranno webmaster senza scrupoli che utilizzeranno i bot per concludere visite o registrazioni e ricevere una ricompensa da questo.

Passaggi per aiutare a sbarazzarsi dello spam di riferimento:

Passo 1: Apri il rapporto sui referral in Google Analytics e ordina i dati in base alla frequenza di rimbalzo in ordine decrescente.

Passo 2: seleziona siti con una frequenza di rimbalzo del 100% e 0% e il numero di visite da 10 - c'è un'alta probabilità che si tratti di spambot.

Passaggio n. 3: controlla se i referral selezionati sono presenti in questo elenco - la loro presenza sarà una conferma innegabile che si tratta di uno spam bot.

Passaggio n. 4: se un sito sospetto non è in questo elenco, è possibile che sia reale. Se necessario, puoi verificarlo visitando la sua pagina. Ma dovresti correre questo rischio solo se sei sicuro che il tuo sito e il tuo computer siano protetti da un antivirus affidabile.

Passaggio n. 5: Una volta deciso l'elenco dei bot di riferimento, dovrebbe essere loro impedito di visitare il tuo sito.

Nota : un tentativo di rimuovere i bot di referral dalle fonti di referral non porterà al risultato desiderato. Al momento della rimozione dei dati sulle visite dei bot dal rapporto sul traffico di riferimento, GA trasferirà i dati sulle visite al rapporto sul traffico diretto e, se vengono visualizzati lì, sarà impossibile eliminare questo traffico.

Allora cosa fai?

1. Apri il file .htaccess del tuo sito e aggiungi il seguente codice:

Riscrivi motore acceso

Opzioni + Segui i collegamenti simbolici

RewriteCond% (HTTP_REFERER) ^ https?: // ([^.] + \.) * Semalt \ .com \

Riscrivi regola. * - [F]

Questo codice bloccherà tutti i referral http e https. In questo esempio, di conseguenza, tutte le visite dai domini e sottodomini di "semalt.com" verranno bloccate.

2. Blocca gli indirizzi IP degli spambot e aggiungi il seguente codice nel file .htaccess:

Riscrivi motore acceso

Opzioni + Segui i collegamenti simbolici

Ordine Nega, Consenti

Nega dal 234.45.12.33

Di conseguenza, nel campo "Nega da", inserisci l'IP del bot destinato al blocco.

Non cercare di bloccare tutti i bot IP conosciuti, poiché ciò sovraccaricherà il tuo file .htaccess e influenzerà negativamente la qualità del tuo server. Blocca solo quelli che hanno attaccato il tuo sito. Se il tuo elenco di IP spam continua a crescere attivamente, significa che il tuo sito ha grossi problemi con la protezione. Contatta il tuo provider di hosting per risolvere il problema. Se dopo il ricorso non segue un risultato positivo tangibile, cambialo.

3. Per bloccare un numero di IP, è adatto il seguente codice:

Riscrivi motore acceso

Opzioni + Segui i collegamenti simbolici

Rifiuta da 76.149.24.0/24

Consenti da tutti

dove 76.149.24.0/24 è CIDR (instradamento tra domini senza classi)... Maggiori informazioni su questo strumento possono essere trovate qui: http://www.ipaddressguide.com/cidr.

4. Blocca l'agente utente utilizzato dai bot di spam.

Per identificarli in tempo, è necessario controllare i file di registro del server almeno una volta alla settimana. Se viene trovato un agente utente sospetto, bloccalo utilizzando il codice fornito in .htaccess:

Riscrivi motore acceso

Opzioni + Segui i collegamenti simbolici

RiscriviCond% (HTTP_USER_AGENT) Baiduspider

RewriteRule.* -

Per una definizione più accurata degli agenti utente dannosi, trova il loro elenco su Google e confrontalo con il tuo. Le posizioni corrispondenti dovrebbero essere bloccate immediatamente.

Prova anche ad automatizzare il processo di rilevamento di agenti utente dannosi utilizzando uno script speciale. E non dimenticare il costante aggiornamento del database di script dannosi.

5. Utilizza il filtro bot in Google Analytics per escluderli dai dati sul traffico dei referral.

6. Controlla il tuo server di log almeno una volta alla settimana.

Inizia a combattere i bot a livello di server. Se riesci a identificarli ed escluderli in questo passaggio, non dovrai più lottare con loro nei rapporti GA in un secondo momento.

7. Usa un firewall come filtro tra il tuo computer/server web e Internet.

8. Per proteggere ulteriormente il tuo computer e il tuo sito web, utilizza Google Chrome per accedere a Internet: filtra i siti dannosi di alta qualità, riducendo automaticamente il rischio di infezione.

9. Utilizza avvisi personalizzati in GA: segnala i rinvii sospetti con un alto grado di precisione.

Buona fortuna a combattere gli spammer!

Ultimamente, un'immagine simile è familiare a molti (soprattutto le piccole aziende che non hanno così tante sorgenti di traffico in Google Analytics):

I rivenditori intraprendenti generano clic falsi e lasciano il referrer o la fonte della campagna nella speranza che il proprietario dell'account GA presti attenzione al collegamento e decida di seguirlo.

Facendo clic su tale collegamento, una persona attenderà qualsiasi sito che partecipa a una delle reti CPA (ad esempio, aliexpress). Naturalmente, una persona chiuderà un sito del genere, tuttavia avrà ancora un cookie. L'intero calcolo è finalizzato a "infettare" quante più persone possibili con tali cookie e affinché alcuni dei visitatori eseguano (immediatamente o entro 30 giorni) un'azione mirata su questo sito.

Dal momento che non vogliamo acquistare nulla su aliexpress, dobbiamo in qualche modo sbarazzarci di questi collegamenti che ingombrano i nostri rapporti in GA. Di seguito sono riportati alcuni modi per sbarazzarsi dello spam di Google Analytics.

Escluse le fonti

Filtrato (non modifica i dati storici)

Per escludere tutte le fonti non necessarie, creeremo una nuova vista, alla quale applicheremo il nostro filtro (mostrato nello screenshot):

L'ultimo modello di filtro (raccolto dalle fonti più abbondanti) -

Darodar \. | Semalt \. | Pulsanti-per-sito web | blackhatworth | ilovevitaly | prodvigator | cenokos \. | Pulsanti di condivisione gratuiti \. | Acquista online a buon mercato \. | Googlsucks \. | Theguardlan \. | Youporn- forum \. | get-free-traffic-now \. | ranksonic \. | adcash \. | simple-share-buttons \. | social-buttons \. | hulfingtonpost \. | best-seo-solution \. | button- per-il-tuo-sito \. Ricordati di controllare il filtro per assicurarti di non escludere nulla di superfluo.

upd: solo 255 caratteri si adattano al modello di filtro (quindi il controllo potrebbe generare un errore), consiglio di dividere la riga in 2 filtri o di utilizzare un segmento esteso.

Utilizzo di un segmento (modifica i dati storici)

Crea un segmento esteso con le seguenti impostazioni:

Escludiamo esattamente le stesse fonti nella sorgente / canale - darodar \. | Semalt \. | Pulsanti-per-sito web | blackhatworth | ilovevitaly | prodvigator | cenokos \. | Pulsanti di condivisione gratuiti \. | Acquista online a buon mercato \ . | googlsucks \. | theguardlan \. | youporn-forum \. | get-free-traffic-now \. | ranksonic \. | adcash \. | simple-share-buttons \. | social-buttons \. | hulfingtonpost \ . | best-seo-solution \. | pulsanti-per-il-tuo-sito web \.

Dopo aver applicato un tale segmento, puoi osservare una differenza significativa nei rapporti:

Il risultato è ovvio. Spero che questo articolo possa essere utile per le piccole aziende (startup) che affrontano ogni giorno questo problema.

Se conosci metodi più convenienti e automatici, condividi nei commenti.