Ce este refspam. Învingerea spamului de recomandare în Google Analytics

Bună ziua, webmasteri, bloggeri, optimizatori și invitați aleatori!

Astăzi este o zi frumoasă de primăvară! Este timpul să mai scriem una utilă.

Sunt sigur că această postare va fi de interes pentru mulți. De exemplu, am fost interesat de un fapt similar și am decis să analizez această problemă în detaliu.

Din titlul articolului, ați înțeles deja că vom vorbi despre spam de trimitere și impactul acestuia asupra resursei dvs. web.

Ce este spamul de trimitere

Deci, ce este spamul de trimitere? Spamul de recomandare este același, dar principala sa diferență față de spam-ul simplu este că nu vă vând un anumit produs sau serviciu, ci pur și simplu lasă un link de referință deghizat.

Dacă aveți ceva curiozitate, probabil veți da clic pe acest link. Practic, astfel de link-uri duc la resurse web cu o adresă diferită, folosind un . Site-ul final oferă informații despre un anumit produs sau serviciu ca reclamă.

Apropo, cookie-urile sunt stocate în browser pentru o perioadă destul de lungă de timp (până la 1 an), așa că chiar dacă după ceva timp vei cumpăra ceva de pe acest site, tot vor face bani pe tine.

Ei bine, acum vreau să vă spun principiul de bază al modului în care funcționează refspammerii. Poate că vei fi la fel de interesat să știi asta ca și mine la un moment dat.

În primul rând, accesați statisticile vizitatorilor blogului dvs.: sau Yandex.Metrica. Acordați atenție recomandărilor de pe alte site-uri către blogul dvs., care arată o rată de respingere de 100% și un timp de vizită de 0:00. Acestea sunt site-uri refspammer.

Aruncă o privire la fostele statistici de pe blogul meu:

Cum funcționează refspammerii

Ei bine, acum vă împărtășesc principiul de funcționare al unui refspammer.

1. Preia ID-ul contorului de trafic din codul blogului dvs. sau în orice alt mod.

1. Emulează vizitele pe blogul tău și mărește statisticile vizitelor. Nu există o interacțiune reală cu blogul tău.

1. Așteaptă o acțiune din partea webmasterului. Conform planului refspammer-ului, autorul blogului, atunci când vede un număr mare de trimiteri către blogul său cu indicatori ciudați (100% eșecuri), ar trebui să urmeze linkul de trimitere.

1. Autorul urmărește linkul și prin aceasta, fără acordul său, i se oferă fișierele necesare - cookie-uri, care sunt salvate în browser-ul său și îl transformă automat într-un referral. Ei bine, atunci când dați clic pe link, autorul este redirecționat printr-o redirecționare către site-ul dorit cu informații publicitare.

După cum am menționat mai devreme, această strategie este concepută pentru a dura mult timp, deoarece cookie-urile pot fi stocate în browser pentru o perioadă lungă de timp. Prin urmare, chiar și după un anumit timp, când autorul achiziționează produse sau servicii, refspammer-ul își poate primi comisioanele. Cu toate acestea, aceasta poate să nu fie o achiziție, ci o simplă acțiune.

În prezent, programele de afiliere CPA au început să se dezvolte activ în RuNet. Voi scrie un articol despre ei în curând, așa că nu uitați să vă abonați la actualizările blogului meu.

Și încă ceva. După cum știți, astăzi există un număr foarte mare de site-uri și bloguri diferite pe Internet. Sunt mult mai puțini meșteri care se ocupă de refspam. Prin urmare, acest model de câștig poate aduce profituri substanțiale cu abordarea corectă.

Personal, nu sunt un susținător al acestui tip de îmbogățire prin astfel de fraude. Mi se pare că în mare parte astfel de escrocherii sunt efectuate de oameni care nu știu să facă altceva sau nu vor să se dezvolte.

Daune din spam-ul de recomandare

Aceasta este întrebarea. Este spamul de recomandare dăunător? Ei bine, faptul că nu este util este sută la sută. Cu toate acestea, nu am găsit nicio dovadă online că refspam dăunează site-urilor web și . Prin urmare, consider această întrebare deschisă.

În teorie, motoarele de căutare sunt conștiente de această problemă, așa că astfel de „vizite pe blog” nu ar trebui să fie luate în considerare și să aibă un impact asupra clasamentului blogului în rezultatele căutării. Dar nimeni nu poate spune cu siguranță cum se face acest lucru în viața reală.

Cum să scapi de spam-ul de recomandare

Ei bine, ce pot recomanda? Spam-ul de recomandare este doar un tip de spam obișnuit. Cum combati spamul obisnuit? Dreapta. Cel mai bun mod de a lupta este să ignori. Va fi suficient să nu faceți clic pe linkurile furnizate către site-uri care sunt înregistrate în contorul dvs. de trafic. Iată o privire la exemplul meu:

Anterior, acest domeniu a fost foarte des înregistrat cu 100% eșecuri, până mi-am dat seama, dar mai multe despre asta mai târziu.

Asa de. Știți ce oferă motoarele de căutare pentru a rezolva problema spam-ului de trimitere? Da, trebuie doar să adăugați aceste domenii sau adresele lor IP la filtrele de statistici de contor. Misto. Această abordare mi-a amintit de jocul pe care l-a jucat fiul meu Danilka, când se ascunde de cineva, acoperindu-și ochii cu palmele și crede cu fermitate că nimeni nu-l va observa. E amuzant, nu-i așa? La fel este și aici.

Tot ce trebuie să faceți este să adăugați acest cod în partea de jos a fișierului .htaccess și să salvați acest fișier. Asta e tot. Ei bine, acum vă împărtășesc codul care m-a ajutat cu adevărat:

Opțiuni Toate SetEnvIfNoCase Referer „^http://(+.)?refspammer site.*$” bad_site Comanda Allow, Deny Permite de la toate Deny from env=bad_site

După ce l-am instalat, domeniile refspammer au dispărut din statisticile Google Analytics. Aceasta este o metodă de lucru pe care o folosesc personal și ți-o recomand pentru fiecare pompier. Iată cum am înregistrat domenii de spam în fișierul meu .htaccess:

OK, totul sa terminat acum. Articolul meu ajunge la concluzia sa logica. Ți s-au părut utile informațiile furnizate în acesta? Aștept cu nerăbdare răspunsurile voastre în comentarii.

P.S. Dacă sunteți interesat de antichități - să vindeți lucruri vechi, atunci aici veți găsi

Foarte des observăm o creștere a traficului pe site-ul web prin analiza datelor colectate de Google Analytics. Acest lucru este perceput ca interes pentru resursă. Și, desigur, o astfel de creștere a prezenței nu poate decât să se bucure.

Dar acesta nu este întotdeauna un motiv de bucurie. Mai târziu descoperim că cea mai mare parte din acest trafic de recomandare a fost trimis de la spammeri. Spamul a devenit recent o mare problemă.

Spam-ul de recomandare apare atunci când site-ul dvs. primește recomandări de trafic false de la spamboți. Acest trafic fals este înregistrat de Google Analytics. Dacă observați trafic în Analytics care provine din surse de spam, trebuie să luați anumiți pași pentru a elimina aceste date din statistici.

Ce este un bot?

Boții sunt de obicei numiți programe a căror sarcină este de a efectua sarcini repetitive cu viteză și grad de precizie maxime.

Utilizarea tradițională a boților este indexarea web a conținutului resurselor de pe Internet, efectuată în mod regulat de motoarele de căutare. Dar boții pot fi folosiți și în scopuri rău intenționate. De exemplu, pentru:

• comiterea fraudei prin clic;
• acumulare de adrese de e-mail;
• transmiterea continutului site-ului web;
• distribuție de software rău intenționat;
• umflarea artificială a traficului de resurse.

Analizând sarcinile pentru care sunt folosiți roboții, le putem împărți în sigure și periculoase.

Boți periculoși și siguri

Un exemplu de robot bun este „Googlebot”, folosit de Google pentru a accesa cu crawlere și a indexa paginile web de pe Internet.

Majoritatea roboților (indiferent dacă sunt benign sau periculoși) nu execută JavaScript, dar unii fac.

Boții de căutare care rulează scripturi Javascript (cum ar fi codul Google Analytics) apar în rapoartele Google Analytics și distorsionează valorile de trafic (trafic direct, trafic de recomandare) și alte valori bazate pe sesiune (rata de respingere, rata de conversie etc.).

Boții de căutare care nu execută JavaScript (cum ar fi Googlebot) nu distorsionează datele de mai sus. Dar vizitele lor sunt încă înregistrate în jurnalele serverului. De asemenea, consumă resurse de server, degradează lățimea de bandă și pot afecta negativ viteza de încărcare a site-ului.

Boții siguri, spre deosebire de cei periculoși, respectă directiva robots.txt. Sunt capabili să creeze conturi de utilizator false, să trimită spam, să colecteze adrese de e-mail și pot ocoli CAPTCHA-urile.

Boții periculoși folosesc o varietate de tehnici care îi fac dificil de detectat. Acestea pot afecta browserul web (ex. Chrome, Internet Explorer etc.) precum și traficul care vine de pe site-ul normal.

Este imposibil să spunem cu siguranță care roboți periculoși pot distorsiona datele de analiză Google și care nu. Prin urmare, merită să luați în considerare toți roboții periculoși ca o amenințare la adresa integrității datelor.

Boti de spam

După cum sugerează și numele, sarcina principală a acestor roboți este spamul. Ei vizitează un număr mare de resurse web în fiecare zi, trimițând solicitări HTTP către site-uri cu anteturi de referință false. Acest lucru le permite să evite detectarea ca roboți.

Antetul de referință falsificat conține adresa site-ului web pe care spammerul dorește să o promoveze sau să primească backlink-uri.

Când site-ul dvs. primește o solicitare HTTP de la un spambot cu un antet de referință fals, aceasta este imediat înregistrată în jurnalul serverului. Dacă jurnalul serverului dvs. este accesibil public, acesta poate fi accesat cu crawlere și indexat de Google. Sistemul tratează valoarea de referință din jurnalul serverului ca pe un backlink, care afectează în cele din urmă clasarea site-ului web promovat de spammer.

Recent, algoritmii de indexare ai Google au fost proiectați în așa fel încât să nu țină cont de datele din jurnale. Acest lucru neutralizează eforturile creatorilor unor astfel de roboți.

Spamboții care au capacitatea de a executa scripturi JavaScript pot ocoli metodele de filtrare utilizate de Google Analytics. Datorită acestei abilități, acest trafic se reflectă în rapoartele de analiză Google.

botnet

Când un spambot utilizează o rețea botnet (o rețea de computere infectate situate local sau în întreaga lume), poate accesa un site web folosind sute de adrese IP diferite. În acest caz, o listă neagră de adrese IP sau limitare de rata(rata de trafic trimis sau primit) devin în mare parte inutile.

Capacitatea unui spambot de a distorsiona traficul către site-ul dvs. este direct proporțională cu dimensiunea rețelei botne pe care o folosește spambotul.

Dacă botnetul este mare și are adrese IP diferite, un spambot vă poate accesa site-ul web fără a fi blocat de un firewall sau alt mecanism de securitate tradițional.

Nu toți spamboții trimit anteturi de referință.

În acest caz, traficul de la astfel de roboți nu va apărea ca sursă de trafic de recomandare în rapoartele Google Analytics. Arată ca traficul direct, ceea ce îl face și mai dificil de detectat. Cu alte cuvinte, ori de câte ori un referrer nu este trecut, acel trafic este tratat ca trafic direct în Google Analytics.

Spambotul poate crea zeci de anteturi de referință false.

Dacă blocați o sursă de referință, spamboții vor trimite un alt fals pe site. Prin urmare, filtrele de spam din Google Analytics sau .htaccess nu garantează că site-ul dvs. este complet blocat de roboții de spam.

Acum știi că nu toți roboții de spam sunt periculoși. Dar unele dintre ele sunt cu adevărat periculoase.

Boți de spam foarte periculoși

Scopul roboților de spam cu adevărat periculoși nu este doar de a distorsiona traficul resursei dvs. web, de a răzui conținut sau de a obține adrese de e-mail. Scopul lor este să infecteze computerul altcuiva cu malware și să facă mașina dvs. parte a unei rețele bot.

Odată ce computerul dvs. este integrat într-o rețea botnet, este folosit pentru a trimite spam, viruși și alte programe malware către alte computere de pe Internet.

Există sute și mii de computere în întreaga lume care sunt folosite de oameni reali, în timp ce fac parte dintr-o rețea botnet.

Există șanse mari ca computerul dvs. să facă parte dintr-o rețea botnet, dar nu o știți.

Dacă decideți să blocați o rețea botnet, cel mai probabil blocați traficul care vine de la utilizatori reali.

Există posibilitatea ca, de îndată ce vizitați un site suspect din raportul de trafic de recomandare, aparatul dumneavoastră să fie infectat cu programe malware.

Prin urmare, nu vizitați site-uri suspecte din rapoartele de analiză fără a instala o protecție adecvată (programe antivirus instalate pe computer). Este de preferat să folosiți o mașină separată special pentru vizitarea unor astfel de site-uri. Ca alternativă, puteți contacta administratorul de sistem pentru a ajuta la rezolvarea acestei probleme.

Boți de spam inteligenți

Unii spamboți (cum ar fi darodar.com) pot trimite trafic artificial fără măcar să vă viziteze site-ul. Ei fac acest lucru prin reluarea solicitărilor HTTP care provin din codul de urmărire Google Analytics folosind ID-ul proprietății web. Nu numai că vă pot trimite trafic fals, ci și referrere false. De exemplu, bbc.co.uk. Deoarece BBC este un site legitim, atunci când vezi acest referrer în raportul tău, nici măcar nu crezi că traficul care vine de la un site de renume ar putea fi fals. De fapt, nimeni de la BBC nu v-a vizitat site-ul.

Acești roboți inteligenți și periculoși nu trebuie să vă viziteze site-ul web sau să execute scripturi JavaScript. Deoarece nu vă vizitează de fapt site-ul, acele vizite nu sunt înregistrate în jurnalul serverului.

Și, din moment ce vizitele lor nu sunt înregistrate în jurnalul serverului, nu le puteți bloca folosind niciun mijloc (blocare IP, blocare utilizatori, blocare trafic de referință etc.).

Spamboții inteligenți accesează cu crawlere site-ul dvs. căutând ID-uri de proprietate web. Persoanele care nu folosesc Google Tag Manager lasă codul de urmărire Google Analytics pe paginile lor web.

Codul de urmărire Google Analytics conține ID-ul proprietății web. ID-ul este furat de un robot spam inteligent și poate fi partajat cu alți roboți. Nimeni nu va garanta că botul care v-a furat ID-ul resursei web și botul care vă trimite trafic artificial sunt aceeași „persoană”.

Puteți rezolva această problemă utilizând Google Tag Manager (GTM).

Utilizați GTM pentru urmărirea Google Analytics pe site-ul dvs. web. Dacă ID-ul resursei dvs. web a fost deja împrumutat, atunci cel mai probabil este prea târziu pentru a rezolva această problemă. Tot ce puteți face acum este să utilizați un alt ID sau să așteptați ca Google să rezolve problema.

Nu toate site-urile web sunt atacate de spamboți.

Inițial, sarcina roboților de spam este să detecteze și să exploateze vulnerabilitățile unei resurse web. Ei atacă locuri slab protejate. În consecință, dacă ați plasat o pagină pe o găzduire „buget” sau folosind un CMS personalizat, există șanse mari de a fi atacat.

Uneori, un site care este adesea atacat de roboți periculoși trebuie doar să-și schimbe găzduirea web. Această metodă simplă poate ajuta cu adevărat.

Urmați instrucțiunile de mai jos pentru a detecta sursele de spam

1) Accesați raportul de trafic de recomandare din contul dvs. Google Analytics și sortați raportul după rata de respingere în ordine descrescătoare:

2) Uită-te la referreri cu o rată de respingere de 100% sau 0%, precum și la cei cu 10 sau mai multe sesiuni. Cel mai probabil aceștia sunt spammeri.

3) Dacă unul dintre referenții dumneavoastră suspecti aparține listei de site-uri enumerate mai jos, atunci acesta este spam de trimitere. Nu trebuie să verificați singuri acest lucru:

butoane-pentru-website.com

7makemoneyonline.com

ilovevitaly.ru

resellerclub.com

vodkoved.ru

cenokos.ru

76brighton.co.uk

sharebutton.net

simple-share-buttons.com
forum20.smailik.org
social-buttons.com
forum.topic39398713.darodar.com

O listă cuprinzătoare a surselor de spam poate fi descărcată.

4) Atunci când identitatea refererului dumneavoastră suspect nu poate fi verificată, asumați-vă riscul și vizitați site-ul web discutabil. Poate că aceasta este cu adevărat o resursă normală. Asigurați-vă că aveți software antivirus înainte de a vizita astfel de site-uri dubioase. Sunt capabili să vă infecteze computerul în momentul în care le vizitați pagina.

5) După confirmarea identității boților periculoși, următorul pas este să îi blocați să vă viziteze din nou site-ul.

Cum îți poți limita site-ul web de spamboți?

Creați o adnotare pe graficul dvs. și scrieți o notă care explică ce a cauzat creșterea neobișnuită a traficului . Acest trafic va fi posibil în timpul analizei.

Blocați spamul de recomandare folosind capabilitățile Spambot . În fișierul .htaccess (sau configurația web dacă utilizați IIS), adăugați următorul cod:

RewriteEngine On Options +FollowSymlinks RewriteCond %(HTTP_REFERER) ^https?://([^.]+\.)*buttons-for-website\.com\ RewriteRule .* – [F]

Acest cod va bloca toate direcțiile HTTP și HTTPS de la buttons-for-website.com, inclusiv subdomeniile buttons-for-website.com.

Blocați adresa IP folosită de robotul de spam . Luați fișierul .htaccess și adăugați codul prezentat mai jos:

RewriteEngine Pornit
Opțiuni +FollowSymlinks
Comanda Respinge, Permite
Refuza de la 234.45.12.33

Notă: Nu este nevoie să copiați codul în .htaccess - schema nu va funcționa. Acesta este doar un exemplu de blocare a unei adrese IP în fișierul .htaccess.

Boții de spam sunt capabili să folosească adrese IP diferite. Extindeți sistematic lista adreselor IP ale spamboților disponibile pe site-ul dvs.

Blocați numai adresele IP care afectează site-ul.

Nu are rost să încerci să blochezi fiecare adresă IP cunoscută. Fișierul .htaccess va deveni foarte voluminos. Va deveni dificil de gestionat și performanța serverului web va scădea.

Ați observat că numărul listelor negre de adrese IP crește rapid? Există un semn clar de probleme de securitate. Contactați reprezentantul dvs. de găzduire web sau administratorul de sistem. Utilizați Google pentru a găsi o listă neagră pentru a bloca adrese IP. Automatizați această lucrare scriind un script care poate găsi și interzice în mod independent adrese IP care nu sunt în discuție.

Profitați de capacitatea de a bloca intervalele de adrese IP utilizate de roboții spammer . Când sunteți sigur că o anumită gamă de adrese IP este utilizată de un spambot, puteți bloca un număr de adrese IP dintr-o singură mișcare, după cum se arată mai jos:

RewriteEnginePe

Opțiuni + UrmărițiSymlinks

Negațidin 76.149.24.0/24

Permite de la toți

Aici 76.149.24.0/24 este intervalul CIDR (CIDR este o metodă folosită pentru a reprezenta intervalele de adrese).

Utilizarea blocării CIDR este mai eficientă decât blocarea unor adrese IP specifice, deoarece vă permite să ocupați spațiu minim pe server.

Notă: Puteți ascunde un număr de adrese IP în CIDR și viceversa să le deschideți folosind acest instrument: www.ipaddressguide.com/cidr

Blocați utilizatorii interziși folosind spamboți . Analizați săptămânal fișierele jurnal ale serverului, detectați și blocați agenții utilizatori rău intenționați folosind roboții de spam. Odată blocați, aceștia nu vor putea accesa resursa web. Opțiunea de a face acest lucru este prezentată mai jos:

RewriteEnginePe

Opțiuni +FollowSymlinks

RewriteCond %(HTTP_USER_AGENT) Baiduspider

RewriteRule .* –

Folosind bara de căutare Google, puteți obține o listă impresionantă de resurse care acceptă înregistrările agenților utilizatori interziși cunoscuți. Utilizați aceste informații pentru a identifica acești agenți utilizatori pe site-ul dvs.

Cel mai simplu mod este să scrieți un script care automatizează întregul proces. Compilați o bază de date cu toți agenții utilizator interziși cunoscuți. Utilizați un script care le va identifica și bloca automat, pe baza datelor din baza de date. Completați în mod regulat baza de date cu noi agenți utilizatori interziși - aceștia apar cu o regularitate de invidiat.

Blocați numai agenții utilizator care afectează efectiv resursa. Nu are rost să încercați să blocați fiecare adresă IP cunoscută - acest lucru va face fișierul .htaccess prea mare și dificil de gestionat. Performanța serverului va scădea, de asemenea.

Utilizați filtrul „Filtrare bot” disponibil în Google Analytics - „Excludeți accesările de la roboții și păianjeni cunoscuți”.

Monitorizați jurnalele serverului cel puțin o dată pe săptămână . Este posibil să începeți lupta împotriva roboților periculoși la nivel de server. Deși nu ați reușit să „descurajați” roboții de spam să vă viziteze resursa, nu-i excludeți din raportarea analitică Google.

Utilizați un firewall . Firewall va deveni un filtru de încredere între computerul (serverul) și spațiul virtual. Este capabil să protejeze o resursă web de roboții periculoși.

Primiți asistență calificată de la administratorul de sistem . Protecția 24/7 a resurselor web ale clientului împotriva obiectelor rău intenționate este sarcina lui principală. Persoana responsabilă cu securitatea rețelei are mult mai multe instrumente pentru a respinge atacurile botului decât proprietarul site-ului. Dacă descoperiți un bot nou care amenință site-ul, informați imediat administratorul de sistem despre descoperire.

Foloseste-l Google Crom pentru navigarea pe web . Dacă nu utilizați un firewall, cel mai bine este să utilizați Google Chrome pentru a naviga pe internet.

Cromde asemenea, capabil să detecteze software rău intenționat. În același timp, deschide paginile web mai rapid decât alte browsere, fără a uita să le scaneze pentru malware.

Dacă utilizați Chrome, este mai puțin probabil ca computerul să primească programe malware. Chiar și atunci când accesați o resursă suspectă din rapoartele de trafic de recomandare Google Analytics.

Utilizați alerte personalizate atunci când monitorizați vârfurile neașteptate ale traficului. O alertă personalizată în Google Analytics va face posibilă detectarea și neutralizarea rapidă a solicitărilor bot dăunătoare, minimizând impactul dăunător al acestora asupra site-ului.

Utilizați filtrele disponibile în Google Analytics . Pentru a face acest lucru, în fila „Administrator” din coloana „Vizualizări”, trebuie să selectați „Filtre” și să creați unul nou.

Configurarea filtrelor este destul de simplă. Principalul lucru este să știi cum se face.

Puteți utiliza caseta de selectare „Filtrare bot” aflată în secțiunea „Vizualizare setări” din fila „Administrator”. Nu va strica.

În ciuda ușurinței utilizării filtrelor în Google Analytics, încă nu recomandăm să le folosiți în practică.

Există trei motive bune pentru aceasta:

• Există sute și mii de boți răi, cu un număr mare de noi care apar în fiecare zi. De câte filtre veți avea nevoie pentru a crea și a aplica rapoartelor dvs.?

• Cu cât aplicați mai multe filtre, cu atât va fi mai dificil să analizați rapoartele primite de la Google Analytics.

• Blocarea traficului de spam în Google Analytics este o acoperire, nu o soluție. Veți pierde capacitatea de a evalua gradul de distorsiune a traficului de către spamboți.

De asemenea, nu blocați traficul de recomandare cu „ Lista de excludere a recomandărilor - acest lucru nu vă va rezolva problema. Dimpotrivă, acest trafic va fi ulterior evaluat ca fiind direct, ceea ce va duce la pierderea capacității de a monitoriza impactul spam-ului asupra traficului resursei dvs. web.

Odată ce un robot spam este inclus în statisticile serviciului Google Analytics, datele de trafic vor fi distorsionate pentru totdeauna. Nu o vei mai putea repara.

Concluzie

Sperăm că recomandările enumerate mai sus vă vor ajuta să scăpați de toate sursele de spam de pe site-ul dvs. Acest lucru se poate face în diferite moduri, dar le-am descris pe cele care au ajutat multe resurse să își protejeze datele în Google Analytics.

Etichete: Adăugați etichete

Spamul de recomandare este atunci când site-ul dvs. primește trafic fals de la roboții de spam, identificați de Google Analytics ca trafic „în direct” de la alte site-uri.

Ce este un „bot”?

Bot este un program care trimite sarcini repetitive către site cu mare viteză și acuratețe.

Boții sunt folosiți cel mai adesea pentru a indexa site-urile web și pentru a actualiza conținutul.

Dar uneori sunt folosite în scopuri rău intenționate:

• comite fraude cu clicuri;
• analiza adrese de e-mail;
• analizarea conținutului site-ului;
• distribuie malware;
• conduce traficul către site.

Astfel, putem concluziona că, în funcție de scopul utilizării, boții pot fi atât utili, cât și rău intenționați.

Boți utili și dăunători

Toți roboții sunt împărțiți în cei care pot executa scriptul javascript, și cele pentru care această funcție nu este disponibilă.

Boții care execută scripturi javascript apar ca accesări în rapoartele GA și distorsionează datele despre trafic (atât direct, cât și cele de referință), precum și datele despre respingeri, conversii etc.

Boții care nu execută un script javascript nu pot influența contorul. Acestea nu sunt afișate ca trafic în rapoarte și nu modifică setările pentru valori.

Un exemplu de bot util este botul Google, care este folosit de Google pentru a accesa cu crawlere un site web și a indexa conținutul acestuia.

Boții Google respectă regulile robots.txt, în timp ce roboții rău intenționați nu le respectă, drept urmare provoacă un prejudiciu foarte important: creează conturi false, trimit spam prin e-mail, analizează adresele de e-mail și ocolesc captcha.

Boții rău intenționați folosesc o varietate de metode pentru a se deghiza, ceea ce îi face dificil de detectat. Prezentându-se drept trafic de pe un site web real, botul induce în eroare aproape orice utilizator.

Nimeni nu poate spune cu certitudine care roboți rău intenționați pot apărea în rapoartele dvs. GA și care nu, așa că toți roboții rău intenționați sunt potențial periculoși pentru datele dvs. de analiză.

Boti de spam

Când un bot rău intenționat este folosit pentru spam, acesta se numește - spam bot .

Boții de spam vizitează sute și chiar mii de site-uri în fiecare zi, trimițându-le solicitări http de la diferite domenii. Această tactică le permite să se usureze pe utilizatori reali.

Acesta este adesea modul în care spammerii încearcă să obțină înapoi link-uri către site-urile lor.

Când site-ul dvs. primește o solicitare de la un spambot de trimitere, datele sunt imediat înregistrate în fișierul dvs. jurnal. Apoi, Google analizează fișierele dvs. jurnal, percepe linkul de spam ca pe un backlink de la site-ul dvs. și îl identifică automat ca donator de link pentru site-ul spammer.

Aceasta este exact secvența de acțiuni pe care se bazează spammerii. De fapt, Googlebot este capabil să distingă un fișier jurnal de o pagină web reală și să ignore astfel de pseudo-linkuri. Și, în sfârșit, spamboții pot ocoli filtrele Google Analytics, motiv pentru care ajung în rapoartele de trafic de recomandare.

botnet

Dacă un spambot folosește botnet (adică o rețea de computere infectate), apoi trimite cereri de trimitere către site-ul tău de la sute de IP-uri diferite, motiv pentru care o astfel de metodă de combatere a roboților precum compilarea unei liste negre de adrese IP se dovedește a fi ineficientă. Și cu cât rețeaua botnet a spammerului este mai mare, cu atât mai mult va strica statisticile de trafic ale site-ului dvs.

Dar există roboți de spam care trimit solicitări directe, mai degrabă decât recomandări, către site-uri, iar apoi datele despre vizitele lor apar în rapoartele de trafic direct.

Un bot de spam este capabil să genereze zeci de site-uri de recomandare false, așa că blocarea unei recomandări nu poate garanta izolarea imediată a întregului bot. Activitățile unor astfel de roboți de spam aduc multe probleme, dar, în general, nu reprezintă un pericol uriaș, dar pericolul real vă așteaptă pe partea cealaltă.

Boți de spam cu adevărat periculoși

Poate cei mai periculoși sunt roboții de spam, a căror sarcină nu este doar să vă strice statisticile, să răzuiți conținutul sau datele utilizatorului, ci și să vă infectați computerul pentru a-l face parte dintr-o rețea botnet. Și partea cea mai proastă este că s-ar putea să nu realizezi că computerul tău face parte dintr-o rețea botnet.

De obicei, un computer se infectează după cum urmează. Un anumit site apare în raportul dvs. de recomandare GA. Urmați linkul pentru a vedea ce fel de site este, iar în timpul tranziției computerul „prinde” un virus. Pentru a preveni acest lucru, ar trebui să vă amintiți întotdeauna: nu ar trebui să navigați către site-uri necunoscute din raportul de recomandare fără antivirusul activat. Dacă este necesar să faceți clic pe un link dubios dintr-un anumit motiv, este mai bine să utilizați un alt computer (nu principal).

Boți de spam inteligenți

Unii spamboți deosebit de inteligenți vă pot distruge raportul GA fără a vă vizita site-ul. Pentru a face acest lucru, au nevoie de contorul tău GA.

De exemplu, pot trimite o solicitare de la bbc.co.uk - site-ul oficial al canalului de televiziune BBC. Când îl vei vedea în raportul tău de trafic de referință, vei fi sigur că utilizatorii au venit la tine de pe site-ul BBC, dar, din păcate, starea reală a lucrurilor va fi diferită. Deoarece astfel de roboți nu vă vizitează site-ul, ci doar creează aparența de a-l vizita, informațiile despre aceștia nu sunt înregistrate pe serverul dvs. de jurnal, ceea ce înseamnă că nu veți putea să-i blocați nici prin IP, nici prin agentul utilizator, sau prin link de recomandare sau prin orice alt mijloc sau altfel.

Nu toate site-urile web sunt afectate de roboți în mod egal

Gradul de impact asupra unui site este direct proporțional cu vulnerabilitatea acestuia. Boții atacă site-uri web slab protejate găzduite pe găzduire ieftină sau folosind CMS gratuit. Problema cu CMS-ul gratuit și găzduirea ieftină este că acestea sunt rar și prost testate pentru vulnerabilitate. Prin urmare, una dintre recomandările pentru a vă proteja site-ul de atacuri bot este să utilizați doar CMS-uri dovedite și găzduire cu o bună reputație.

Site-urile web care participă la programe de afiliere sunt, de asemenea, adesea atacate de spamboți. Dacă plătiți unui partener pentru o achiziție finalizată, o aplicație confirmată pe site sau orice altă acțiune pe care o puteți verifica singur, atunci nu aveți de ce să vă faceți griji. Dar dacă rezultatul plății unui partener este o creștere a traficului către site sau o aplicație finalizată (dar neconfirmată), atunci fiți pregătiți pentru faptul că vor exista webmasteri fără scrupule care vor folosi boți pentru a crește vizitele sau înregistrările și vor primi un recompensa din asta.

Pași pentru a scăpa de spam-ul de recomandare:

Pasul 1: Deschideți raportul referințe în Google Analytics și sortați datele după rata de respingere în ordine descrescătoare.

Pasul 2: selectați site-uri cu o rată de respingere de 100% și 0% și numărul de vizite de la 10 - există o probabilitate mare ca aceștia să fie roboți de spam.

Pasul 3: verificați dacă recomandările selectate sunt prezente în această listă - prezența lor va fi o confirmare fără îndoială că acesta este un robot spam.

Pasul #4: dacă un site suspect nu se află pe această listă, atunci există șansa ca acesta să fie real. Dacă este necesar, puteți verifica acest lucru vizitând pagina sa. Dar ar trebui să vă asumați un astfel de risc doar dacă sunteți sigur că site-ul și computerul dvs. sunt protejate de un antivirus de încredere.

Pasul #5: Odată ce v-ați decis cu privire la lista de roboți de recomandare, aceștia ar trebui să fie blocați să vă viziteze site-ul.

Notă : Încercarea de a elimina roboții de recomandare din sursele de recomandare nu va aduce rezultatul dorit. În momentul în care datele privind vizitele botului sunt eliminate din raportul de trafic de referință, GA va transfera datele vizitei în raportul de trafic direct, iar dacă acestea sunt afișate acolo, nu va mai putea scăpa de acest trafic.

Deci ce să fac?

1. Deschideți .htaccess al site-ului dvs. și adăugați următorul cod acolo:

RewriteEngine Pornit

Opțiuni +FollowSymlinks

RewriteCond %(HTTP_REFERER) ^https?://([^.]+\.)*semalt\.com\

RewriteRule .* – [F]

Acest cod va bloca toate trimiterile http și https. În acest exemplu, ca urmare, toate vizitele de la domeniile și subdomeniile „semalt.com” vor fi blocate.

2. Blocați adresele IP ale roboților de spam și scrieți următorul cod în fișierul .htaccess:

RewriteEngine Pornit

Opțiuni +FollowSymlinks

Comanda Respinge, Permite

Refuza de la 234.45.12.33

În consecință, în câmpul „Refuză de la”, introduceți IP-ul botului care urmează să fie blocat.

Nu încercați să blocați toți roboții IP pe care îi cunoașteți, deoarece acest lucru vă va supraîncărca fișierul .htaccess și va afecta negativ calitatea serverului dvs. Blocați numai pe cei care vă atacă site-ul. Dacă lista dvs. de IP-uri spam continuă să crească în mod activ, atunci acest lucru indică faptul că site-ul dvs. are probleme serioase de protecție. Contactați furnizorul dvs. de găzduire pentru a rezolva problema. Dacă după contact nu există un rezultat pozitiv tangibil, schimbați-l.

3. Următorul cod este potrivit pentru blocarea unei game întregi de IP-uri:

RewriteEngine Pornit

Opțiuni +FollowSymlinks

Refuza de la 76.149.24.0/24

Permite de la toți

unde 76.149.24.0/24 este CIDR (Routare inter-domeniu fără clasă). O descriere mai detaliată a acestui instrument poate fi găsită aici: http://www.ipaddressguide.com/cidr.

4. Blocați agenții utilizatori utilizați de roboții de spam.

Pentru a le identifica la timp, trebuie să verificați fișierele jurnal ale serverului cel puțin o dată pe săptămână. Dacă detectați agenți utilizatori suspecti, blocați-i folosind acest cod în .htaccess:

RewriteEngine Pornit

Opțiuni +FollowSymlinks

RewriteCond %(HTTP_USER_AGENT) Baiduspider

RewriteRule .* –

Pentru a identifica mai precis agenții utilizatori rău intenționați, găsiți lista lor pe Google și comparați-le cu a dvs. Pozițiile potrivite trebuie blocate imediat.

De asemenea, încercați să automatizați procesul de identificare a agenților utilizatori rău intenționați folosind un script special. Și nu uitați de actualizarea constantă a bazei de date cu scripturi rău intenționate.

5. Utilizați filtrul bot din Google Analytics pentru a le exclude din datele dvs. de trafic de recomandare.

6. Verificați serverul de jurnal cel puțin o dată pe săptămână.

Începeți să vă luptați cu roboții la nivel de server. Dacă le puteți identifica și elimina în acest pas, nu va trebui să vă luptați cu ele în rapoartele GA mai târziu.

7. Utilizați un firewall ca filtru între computer/serverul dvs. web și Internet.

8. Pentru a vă proteja în continuare computerul și site-ul web, utilizați Google Chrome pentru a accesa Internetul: filtrează eficient site-urile rău intenționate, ceea ce reduce automat riscul de infecție.

9. Utilizați alerte personalizate în Google Analytics: oferă semnale despre recomandările suspecte cu un grad ridicat de acuratețe.

Succes în lupta împotriva spammerilor!

Recent, o imagine similară a devenit familiară multora (în special companiile mici care nu au multe surse de trafic în Google Analytics):

Oamenii de afaceri întreprinzători generează tranziții false către site și își părăsesc referrerul sau sursa campaniei, în speranța că proprietarul contului GA va acorda atenție linkului și va decide să îl urmeze.

Făcând clic pe un astfel de link, o persoană va aștepta un site care participă la una dintre rețelele CPA (de exemplu, aliexpress). Desigur, o persoană va închide un astfel de site, totuși, va avea în continuare cookie-ul de vizită. Întregul calcul este să „infectăm” cât mai multe persoane cu astfel de cookie-uri și să ne asigurăm că unii dintre vizitatori efectuează (imediat sau în decurs de 30 de zile) acțiunea vizată pe acest site.

Deoarece nu vrem să cumpărăm nimic de pe Aliexpress, trebuie să scăpăm cumva de aceste link-uri care ne aglomerează rapoartele în GA. Mai jos sunt câteva modalități de a scăpa de spam-ul Google Analytics.

Excluzând sursele

Utilizarea unui filtru (nu modifică datele istorice)

Pentru a exclude toate sursele de care nu avem nevoie, vom crea o nouă vizualizare la care vom aplica filtrul nostru (prezentat în captură de ecran):

Cel mai recent șablon de filtru (se colectează cele mai accesibile surse) -

Darodar\.|semalt\.|butoane-pentru-site|blackhatworth|ilovevitaly|prodvigator|cenokos\.|butoane-de-distribuire gratuit\.|cumpara-ieftin-online\.|googlsucks\.|theguardlan\.|youporn- forum\.|get-free-traffic-now\.|ranksonic\.|adcash\.|simple-share-buttons\.|social-buttons\.|hulfingtonpost\.|best-seo-solution\.|buttons- pentru-site-ul-dvs\. Nu uitați să vă verificați filtrul pentru a vă asigura că nu excludeți nimic inutil.

upd: șablonul de filtru se potrivește doar 255 de caractere (deci verificarea poate da o eroare), recomand împărțirea liniei în 2 filtre sau folosirea unui segment extins.

Utilizarea unui segment (modifică datele istorice)

Creăm un segment extins cu următoarele setări:

Excludem exact aceleași surse din sursă/canal - darodar\.|semalt\.|buttons-for-website|blackhatworth|ilovevitaly|prodvigator|cenokos\.|free-share-buttons\.|buy-cheap-online\ .| googlsucks\.|theguardlan\.|youporn-forum\.|get-free-traffic-now\.|ranksonic\.|adcash\.|simple-share-buttons\.|social-buttons\.|hulfingtonpost\ .| cea mai bună soluție de seo\.|butoane-pentru-site-ul-web\.

După aplicarea unui astfel de segment, puteți observa o diferență semnificativă în rapoarte:

Rezultatul este evident. Sper că acest articol va fi util companiilor mici (startup-urilor) care se confruntă cu această problemă în fiecare zi.

Dacă cunoașteți alte metode mai convenabile și mai automate, vă rugăm să distribuiți în comentarii.