Dvostruki sadržaj: uzroci i rješenja. Duplicirani sadržaj

Dvostruki sadržaj jedan je od glavnih problema niskog rangiranja web stranice u tražilicama. Ovaj problem je uzrokovan prisutnošću na stranici stranica koje su potpuno ili djelomično identične jedna drugoj. Naravno, za tražilice prisutnost bezvrijednih stranica na web stranici predstavlja ozbiljan problem, budući da moraju trošiti snagu poslužitelja da ih obrade. Nema smisla da tražilice troše fizičke resurse na indeksiranje takvog beskorisnog sadržaja. Stoga se bore protiv takvih stranica primjenom filtra na njih ili snižavanjem rangiranja, što dovodi do niskih pozicija za promovirane upite.

Duplikati i SEO

Prisutnost dupliciranih stranica na web mjestu dovodi do sljedećeg:

• Korisni sok veza se troši na ove beskorisne stranice.
• Duplicirana stranica zamjenjuje se nakon sljedećeg ažuriranja odredišna stranica i ona gubi tlo pod nogama.
• Dvostruki sadržaj smanjuje jedinstvenost svih stranica na kojima je objavljen.
• Budući da se tražilica bori protiv takvih stranica tako što ih uklanja iz pretraživanja, također može isključiti stranicu koja se promovira.

Klasifikacija duplikata i rješenja za njihovo uklanjanje

Duplikati mogu biti potpuni ili djelomični. Potpuni duplikati su kada su stranice potpuno identične. Sukladno tome, djelomični duplikati su kada se stranice ne podudaraju u potpunosti. Potpuni duplikati eliminiraju se korištenjem robots.txt i postavljanjem 301 preusmjeravanja. Djelomični duplikati uklanjaju se potrebnim izmjenama na stranici.

Evo popisa kontrolnih popisa koje morate proći kako biste identificirali i riješili problem duplikata:

• Pronađite duplikate početna stranica mjesto. Na primjer, mogu postojati sljedeće opcije početne stranice: http://www.domen.com/, http://www.domen.com/index.php, http://www.domen.com, http:/ /domen.com/, https://www.domen.com/, http://www.domen.com/index.html. Kao što vidite, postoji mnogo opcija, ali optimalna opcija je http://www.domen.com/. Kako bi se uklonile druge kopije glavne stranice, koristi se 301 preusmjeravanje i zatvaranje u robots.txt (u slučaju struktura poput https://www.domen.com/.
• Provjera temelja (zlato) SEO pravila) - svaka stranica treba biti dostupna samo na jednoj adresi. Adrese ne mogu varirati kako slijedi: http://www.domen.com/stranica1/stranica2/ i http://www.domen.com/stranica2/stranica1/.
• Provjera prisutnosti varijabli u URL-u. Ne smiju biti u adresi stranice. Na primjer, generiranje URL-ova poput: http://www.domen.ru/index.php?dir=4567&id=515 je pogreška. Ispravan URL bi bio: http://www.domen.ru/dir/4567/id/515.
• Provjera prisutnosti identifikatora sesije u URL-ovima. Na primjer, URL-ovi poput http://www.domen.ru/dir/4567/id/515.php?PHPSESSID=3451 su neprihvatljivi. Takvi URL-ovi sadrže beskonačan broj kopija svake stranice. Stoga je potrebno zatvoriti sve identifikatore sesije u robots.txt.

Dvostruki sadržaj je djelomično ili potpuno identičan tekst, slike i drugi elementi sadržaja web stranice, dostupni na različitim adresama stranica (URL). Prisutnost duplikata može značajno zakomplicirati promocija tražilice mjesto.

Prema stručnjacima, dupli sadržaj je najčešća pogreška interna optimizacija, prisutan na svakom drugom web izvoru.

Kako provjeriti postoje li duplikati na vašoj stranici i kako ih se riješiti? O tome ćemo vam reći u novom broju našeg biltena.

Što su duplikati?

Zapisi mogu biti jasni ili nejasni (ili potpuni ili nepotpuni).

Jasno uzima – kopirati stranice s potpuno istim sadržajem meta oznaka Opis I naslov Naslov, dostupni na različitim adresama. Na primjer, na izvorna stranica Mogu se pojaviti sljedeći duplikati:

• ogledalo sa ili bez WWW;
• stranice s različitim ekstenzijama (.html, .htm, index.php, GET parametar “?a=b” itd.);
• verzija za ispis;
• RSS verzija;
• isti URL obrazac nakon promjene motora;
• i tako dalje.

Fuzzy uzima – djelomično identičan sadržaj na različitim URL-ovima.

Primjeri takvih duplikata uključuju sljedeće:

• kartice sličnih proizvoda s dvostrukim ili nedostajućim opisima;
• najave članaka, vijesti, proizvoda u različitim odjeljcima, na stranicama s oznakama i paginaciji;
• arhiva datuma bloga;
• stranice na kojima blokovi od kraja do kraja volumenom premašuju glavni sadržaj;
• stranice iz različite tekstove, ali identičan naslov i opis.

Zašto su duplikati opasni za napredovanje?

1. Teško je indeksirati stranicu (i odrediti glavnu stranicu)

Zbog duplikata, broj stranica u bazi podataka tražilice može se povećati nekoliko puta; neke stranice možda neće biti indeksirane, budući da je robotu za pretraživanje dodijeljena fiksna kvota stranica za indeksiranje stranice.

Postaje teže odrediti glavnu stranicu koja će se pojaviti u rezultatima pretraživanja: izbor robota možda se neće poklapati s izborom webmastera.

2. Glavna stranica u rezultatima pretraživanja može se zamijeniti duplom

Ako dvojnik primi dobar promet i bihevioralne metrike, onda sa sljedećim ažuriranjem može zamijeniti glavnu (promoviranu) stranicu u rezultatima pretraživanja. U tom će slučaju pozicije u pretrazi "sleći", jer duplikat neće imati popularnost veze.

3. Gubitak vanjskih poveznica na glavnu stranicu

4. Opasnost od pada ispod PS filtera

I Yandex i Google se bore s nejedinstvenim sadržajem i stoga se mogu prijaviti na "začepljenu" stranicu AGS filteri i Panda.

5. Gubitak značajnih stranica u indeksu

Nepotpuni duplikati (stranice kategorija, vijesti, kartice proizvoda itd.) zbog svoje niske jedinstvenosti imaju šanse da uopće ne budu uključeni u indeks tražilice. Na primjer, to se može dogoditi s nekim karticama proizvoda koje algoritam pretraživanja smatrati duplikatima.

Kako pronaći i ukloniti duplikate na web stranici

Kao vlasnik web stranice, čak i bez posebnih znanja i vještina, možete samostalno pronaći duplikate na svom resursu. U nastavku su upute za pronalaženje i uklanjanje dupliciranog sadržaja.

Potražite kompletne snimke

Najviše brz način pronađite potpune duplikate na stranici - pratite podudaranja Naslovne oznake i Opis. Da biste to učinili, možete koristiti Google webmaster panel ili uslugu Xenu, popularnu među optimizatorima. Pretraga se provodi među indeksiranim stranicama.

Nedostaci: ne mogu se (i trebaju) izbrisati svi duplikati (na primjer, verzije stranica s reklamnim oznakama); radno intenzivan rad koji traje velike količine stranice puno vremena. Ne isključuje pojavu novih duplikata. Težina iz duplikata ne prenosi se na glavnu stranicu.

• Prednosti: ne zahtijeva posebne vještine programiranja.

6. Gotova rješenja za popularni CMS

Programeri popularnog CMS-a osigurali su niz rješenja za sprječavanje duplikata. Istodobno, webmasteri moraju pažljivo postaviti postavke pri radu s motorom. Ako ste nešto previdjeli, a duplikati se i dalje pojavljuju, nikad nije kasno da sve ispravite i eliminirate kopije. Jasne upute za postavljanje motora i korištenje SEO dodataka mogu se pronaći na specijaliziranim blogovima i forumima za WordPress, Joomla, Drupal, Bitrix, kao i druge široko zastupljene CMS-ove.

Korisni SEO dodaci za borbu protiv duplikata:

• WordPress: Sve u jednom SEO paketu, Clearfy;
• Drupal: globalno preusmjeravanje, naslov stranice;
• Joomla: Canonical Links All in One, JL Bez dupliranja.

7. Borba na razini motora

Univerzalno rješenje za široku paletu CMS-ova je spriječiti pojavu novih duplikata na razini motora. Potrebno je postaviti uvjet pod kojim se u procesu obrade adrese CMS veze razlikovat će "dobro" od "lošeg" i prikazati u retku preglednika samo one koji su dopušteni pravilom. Time će se izbjeći stvaranje sinonimnih stranica (sa i bez znaka “/”, s nepotrebnim završetkom .html, GET parametrima itd.), ali neće zaštititi od duplikata ako stranice nemaju jedinstveni naslov i opis.

Za provedbu ovu metodu Sljedeće pravilo mora biti uključeno u datoteku .htaccess:

RewriteEngine na RewriteCond %(REQUEST_FILENAME) !-d RewriteCond %(REQUEST_FILENAME) !-f RewriteRule ^(.*)$ index.php

Osim toga, trebali biste implementirati potrebne provjere u samom motoru.

Metoda je drugačija visoka složenost i zahtijeva kontaktiranje stručnjaka za razvoj.

• Protiv: izuzetno visok stupanj složenosti.
• Prednosti: sprječava pojavu sinonimnih stranica.

Pronalaženje nepotpunih duplikata

1. Pretražujte pomoću usluge Google webmaster ili Xenu

Algoritam radnji u tim uslugama potpuno je isti kao i za traženje potpunih duplikata. Jedina razlika je u tome što je među pronađenim duplikatima potrebno odabrati one stranice koje imaju identičan naslov i/ili opis, ali potpuno različit sadržaj.

Kao rezultat Google pretraživanja, pronašli smo grupu nepotpunih duplikata (Slika 2).

Riža. 2. Potpuno različite vijesti s duplim metapodacima

2. Pretražite u Yandex ili Google traci za pretraživanje

Stranice s djelomično sličnim sadržajem, ali različitim metapodacima ne mogu se identificirati gore navedenom metodom. U ovom slučaju morat ćete raditi ručno.

Za početak, okvirno označite rizična područja:

• oskudan sadržaj (blokovi od kraja do kraja volumenom premašuju glavni tekst stranice);
• kopirani sadržaj (opisi sličnih proizvoda);
• presjek sadržaja (najave, kategorije/podimenici, filtri, sortiranje).

Odaberite nekoliko stranica iz svake grupe.

Kako bismo jasno ilustrirali primjer, upotrijebili smo jednu od kartica proizvoda na web stranici trgovine namještajem koja je bila revidirana u našem odjeljku "Stručnost". Vjerojatnost pojavljivanja duplikata ovdje je prilično velika, budući da karticama dominiraju slike i blokovi od kraja do kraja, a jedinstven sadržaj sveo na minimum.

Navodimo u retku Google pretraživanje isječak teksta iz opisa proizvoda, pod navodnicima, i domena stranice s operatorom site: (slika 3).

Mnogi vlasnici web stranica prvenstveno se usredotočuju na to da sadržaj bude jedinstven u usporedbi s drugim resursima. Međutim, ne biste trebali izgubiti iz vida prisutnost dupliciranog sadržaja unutar iste stranice. To također ima snažan utjecaj na rangiranje.

Što je duplicirani sadržaj

Ponavljajući ili duplicirani sadržaj su voluminozni blokovi teksta koji se podudaraju unutar stranice. različite stranice. To nije nužno učinjeno sa zlom namjerom - češće se događa iz tehničkih razloga, o kojima se detaljno govori u nastavku.

Opasnost je u tome što se često duplicirani sadržaj ne vidi golim okom, ali ga tražilica savršeno vidi i reagira u skladu s tim.

Odakle dolazi duplicirani sadržaj i gdje je najčešći?

Glavni razlozi za ovaj fenomen:

• Promjena strukture stranice;
• Namjena u specifične namjene(recimo, tiskane verzije);
• Pogrešne radnje programera i webmastera;
• Problemi s CMS-om.

Na primjer, događa se uobičajena situacija: replytocom (odgovor na komentar) u WordPressu automatski generira nove stranice s različitim URL-ovima, ali ne i sadržajem.

Obično se dupli sadržaj primjećuje prilikom izrade najava članaka na drugim stranicama stranice, objavljivanja recenzija, kao i kada postoje identični opisi proizvoda, kategorija i naslova.

Zašto je dupli sadržaj loš

Ponovljeni sadržaj ima analogiju iz područja ekonomije - bankovno prekoračenje. Tu se troši takozvani puzajući proračun. Ovo je broj stranica resursa koje se mogu indeksirati u određenom vremenskom razdoblju. pretraživač. Resurs je vrlo vrijedan i bolje ga je potrošiti na doista važne i relevantne stranice nego na desetke duplikata identičnog teksta.

Dakle, dvostruki sadržaj pogoršava optimizaciju tražilice. Osim toga, izgubljeni su prirodne veze a link juice unutar stranice je pogrešno distribuiran. Također se zamjenjuju uistinu relevantne stranice.

Kako pronaći duplicirani sadržaj na web stranici (ručno, programi i usluge)

postojati posebni programi za analizu resursa. Od njih korisnici posebno ističu Netpeak Spider. Ona traži pune kopije stranice, podudaranja u naslovu ili opisu, naslovi. Druga opcija je Screaming Frog, koja ima sličnu funkcionalnost i bitno se razlikuje samo u sučelju. Tu je i aplikacija Xenu`s Link Sleuth, koja radi na sličan način kao tražilica i sposobna je vrlo učinkovito pročešljati stranicu u potrazi za duplikatima.

Nažalost, ne postoje alati koji mogu u potpunosti pratiti sve duplikate teksta. Stoga ćete najvjerojatnije morati izvršiti ručnu provjeru. Evo popisa mogućih čimbenika koji su uzrokovali problem:

Smislili smo kako pronaći duplicirani sadržaj. A najbolji pomagači U borbi protiv njega to su 301 redirect, Canonical URL oznake, upute u robots.txt te parametri Nofollow i Noindex u sklopu meta oznake “robots”.

Jedan od načina za brzo rješenje provjerite postoji li dvostruki sadržaj na web mjestu pomoću naprednog pretraživanja u Yandexu ili Googleu. Morate unijeti adresu stranice i dio teksta sa stranice koju ste odlučili provjeriti. Također možete koristiti brojne programe za provjeru jedinstvenosti teksta:

• Text.Ru;
• eTXT Antiplagijat;
• Advego Plagiatus;
• Sadržaj-Gledaj.

Kako se nositi s dupliciranim sadržajem i očistiti ga

Jos uvijek isti referentni sustav Google daje niz savjeta kako spriječiti pojavu ovog problema.

• 301. Kada radite strukturne promjene na resursu, morate navesti 301 preusmjeravanje u htaccess datoteci.
• Koristiti jedinstveni standard poveznice.
• Sadržaj za određenu regiju najbolje je postaviti na domene vrhunska razina nego na poddomenama ili poddirektorijima.
• Postavite željenu metodu indeksiranja pomoću Search Consolea.
• Nemojte koristiti šablone. Umjesto postavljanja autorskog teksta na svaku stranicu, bolje je napraviti poveznicu koja će voditi na posebnu stranicu s tim tekstom.
• Kada razvijate nove stranice, pobrinite se da su zatvorene od indeksiranja dok ne budu potpuno spremne.
• Shvatite točno kako se vaš sadržaj prikazuje - mogu postojati razlike u prikazu na blogovima i forumima.
• Ako na stranici postoji mnogo sličnih članaka, bolje je ili kombinirati njihov sadržaj u jednu cjelinu ili svaki jedinstveno izdvojiti.

Tražilice ne nameću nikakve sankcije protiv stranica koje imaju dupli sadržaj iz tehničkih razloga (za razliku od onih koje to rade namjerno kako bi manipulirale rezultatima pretraživanja ili dovele posjetitelje u zabludu).

Nakon što su duplikati izbrisani, sve što preostaje je ukloniti ih iz Rezultati pretraživanja. Yandex to radi sam, pod uvjetom da je datoteka robots.txt ispravno konfigurirana. Što se tiče Googlea: morat ćete ručno postaviti pravila u Webmasteru, na kartici "Parametri URL-a".

Zaključak

Borba protiv dupliciranog sadržaja na web stranici važan je aspekt aktivnosti vlasnika svake web stranice. Razloga za njegovu pojavu ima poprilično, a isto toliko i načina kako ga otkloniti.

Ipak, glavno pravilo ostaje: objavljivati ​​isključivo originalan sadržaj, bez obzira na vrstu stranice. Čak i ako se radi o velikom lancu trgovina s tisućama stranica.

PRIMAJTE NAJAVE SLIČNIH OBJAVA NA VAŠU E-POŠTU

Pretplatite se i ne više od jednom tjedno primajte nešto zanimljivo iz svijeta internet marketinga, SEO-a, promocije web stranica, online trgovina, zarađivanja na web stranicama.

Dvostruki sadržaj pogoršava indeksiranje stranice

“Različiti putevi vode na različita mjesta, a samo je jedan od njih pravi.”

Pozdrav prijatelji! Dugo sam planirao raspravljati o ovoj temi na stranicama svoje web stranice, pa sam, nakon što sam proučio dosta materijala o dupliciranju sadržaja i njegovim uzrocima, posljedicama i načinima uklanjanja ove negativne pojave, odlučio iznijeti svoja razmišljanja o tome problem na mom skromnom resursu.

Budite strpljivi i pažljivo proučite sve preporuke u članku, a zatim provjerite status svojih resursa. Ako želite vidjeti izvrsno rangiranje stranica vaše web stranice u tražilicama, striktno ih slijedite.

Bez traženja svega moguće načine otklanjajući uzroke dupliciranja sadržaja, ipak ću najviše predložiti proučavanje važne točke ovo pitanje.

Ako redoviti korisnik(a ponekad i sam webmaster) možda neće primijetiti dvostruki sadržaj na stranici, ali tražilice će to odmah otkriti. Njihova reakcija bit će jasna: sadržaj s ovih stranica prestat će biti jedinstven. A to već nije dobro, jer će negativno utjecati na njihov plasman.

Osim toga, dupliciranje zamagljuje težinu veze, na određenu objavu koju ste optimizacijom pokušali promovirati u TOP, poput landing stranice. Duplikati će jednostavno uništiti sve pokušaje optimizacije, a učinak međusobnog povezivanja bit će minimalan.

Što su duplicirani sadržaji?

1. Sadržaj koji je netko ili vi osobno kopirao i objavio na resursima trećih strana.

Na internetu možete pročitati mnoge članke o tome kako se nositi s ukradenim sadržajem, a jedna od opcija je i moj članak. Je li moguće istrijebiti je retoričko pitanje i danas, po mom mišljenju, kardinalne odluke Ovaj problem ne postoji na internetu. Postoji samo nekoliko više ili manje učinkovitih tehnika.

2. Sadržaj je duplikat koji webmaster izrađuje vlastitim rukama.

Potpuni (ili nepotpuni) duplikat prilikom distribucije informacija (ili, kako se još nazivaju, najava) na posebnim stranicama i forumima. Ako želite dobiti duplikat svojeg posta na Internetu, duplicirajte ga na nekom pristojnom izvoru - rezultat će gotovo uvijek biti trenutačni. Duplikat je moguć izravno na stranicama web mjesta. Jeste li ikada vidjeli dvije identične stranice na svojoj web stranici, a stvorili ste samo jednu? Zašto se ovo događa? Razlozi uključuju uređivanje unosa ili spremanje nedovršenih u skice, a zatim nenamjerno stvaranje duplikata. Webmaster, a da to sam nije primijetio i bez naknadnog pregledavanja svih svojih unosa, kako ne bi otkrio duplikat, živi sretno do kraja života, ne sumnjajući da ima "blizance", "trojke" itd.

3. Dupliciranje iz tehničkih razloga – pojava duplikata za što je kriv CMS.

Ove se pogreške pojavljuju jer programeri CMS-a ne razmišljaju kao preglednici ili pauci za pretraživanje, već razmišljaju onako kako bi trebali razvijači web stranica; Mnogi su ljudi krivi za to - Joomla, na primjer.

Da malo pojasnim. Pretpostavimo da imate članak sa ključna fraza "duplicirani sadržaj". Trebao bi se nalaziti na stranici sa sljedećom adresom: http://domain.ru/dupliciranje sadržaja/, ali se isti sadržaj može prikazati, na primjer, ovako: http://domain.ru/article-category/dupliciranje sadržaja/. A ako uzmemo u obzir i druga dupliciranja, stranice, na primjer: http://domain.ru/dupliciranje sadržaja/?source=rss. Svi ti URL-ovi različite su adrese za bilo kojeg, ali isti za korisnika (čitatelja). Ove razlike omogućuju webmasteru da prati odakle je korisnik došao, ali također mogu uzrokovati štetu ako se ne postupe ispravno. potrebne postavke indeksiranje.

Poznato je da web stranice rade zahvaljujući postojeći sustav Baza podataka. Postoji samo jedna verzija određenog članka (ID) u bazi podataka, ali skripte stranice dopuštaju prikazati ovaj članak iz baze podataka na različitim stranicama (URL). Ali tražilice trebaju dokument (URL) - samo je to jedinstveni identifikator i ništa drugo!

4. Nejasna preuzimanja.

Posebna vrsta dupliciranja koja se javlja uglavnom u online trgovinama, gdje se stranice s karticama proizvoda razlikuju samo u nekoliko rečenica s opisom, a sav ostali sadržaj, koji se sastoji od end-to-end blokova i drugih elemenata, je isti . Teško je okriviti webmastera, iako postoje neke mogućnosti za njihovo uklanjanje.

Dakle, pozabavili smo se uzrocima i posljedicama dupliciranog sadržaja. Sada prijeđimo na rješavanje problema. Prije svega, saznajmo

Kako otkriti duplicirane stranice?

1. Ručna metoda.

1) Ako vaš sadržaj nije prevelik, samo se pomičite kroz stranicu u administratorskoj ploči „Svi unosi» i, ako se pronađu duplikati, izbrišite nepotrebne.

2) Da biste saznali prisutnost duplikata, možete koristiti usluge tražilica "Yandex Webmaster" ili Google Webmaster Tools.

Na primjer, u alatima za webmastere otvorite stranicu “Alati za webmastere” - “Optimizacija” - “Optimizacija HTML-a”: Ako postoje pogreške i duplikati, čarobnjak će vam pokazati sve. Shvatite to s klikovima, uklonite pogreške i duplikate, u isto vrijeme.

3) Koristite izravno prozore za pretraživanje sustava (približna metoda). Unesite za svaki od njih unos obrasca web mjesto: domain.ru i usporediti njihove rezultate. Ako nisu jako različiti, onda vaše dupliciranje i nije tako loše.

4) Postoji jedan učinkovit način za pronalaženje duplikata - pretraživanje fragmenata teksta. To se radi jednostavno: u prozoru za pretraživanje bilo kojeg sustava unesite fragment teksta svoj unos (članak) u 10-20 riječi (po mogućnosti od sredine) i analizirajte rezultat. Prisutnost dvije ili više stranica u rezultatima pretraživanja znači da postoje duplikati za ovaj opus. Ako ne, možete se malo veseliti :).

Teško je ako web mjesto ima mnogo stranica. Gornja provjera može postati nepodnošljiva rutinski rad. Ako želite minimizirati vremenske troškove, koristite program Xenuova veza detektiv.

Da biste provjerili stranicu, morate je otvoriti novi projekt, odabirom “Provjeri URL” iz izbornika “Datoteka”, unesite adresu i kliknite “U redu”. Nakon toga program će započeti s obradom svih URL-ova stranica. Po završetku provjere potrebno je izvesti primljene podatke u bilo koji zgodan urednik i počnite tražiti duplikate.

Kome treba link za preuzimanje datoteke ovog programa neka napiše u komentarima, poslat ću vam na e-mail.

Dakle, otkrili smo koji (glavni) razlozi dovode do dupliciranog sadržaja. Odredimo sada kako to eliminirati.

Načini uklanjanja dupliciranog sadržaja

Kanonski URL-ovi – konceptualno rješenje problema

Ako nemate opciju () za uklanjanje duplikata, problem se može riješiti pomoću oznake kanonika l (koristi se za nejasne kopije). Kanonska oznaka također je prikladna za verzije stranica za ispis i u drugim sličnim slučajevima. Primjenjuje se vrlo jednostavno - atribut rel=”canonical” naveden je za sve kopije, ali ne i za glavnu stranicu, koja je najrelevantnija. Kôd bi trebao izgledati otprilike ovako: link rel=”canonical” href=”http://domain.ru/page-copy”/ i biti unutar oznake head.

Za korisnike s WordPress motor Postoji sjajna prilika da sve to učinite automatski instaliranjem dodatka all in one seo pack ili sličnog. U postavkama je ova operacija postavljena sa sljedećim oznakama:

Postavljanje funkcija onemogućavanja u datoteci robots.txt vaše web stranice

Iako postavka odbijanja stranica za indeksiranje nije uvijek učinkovit način od duplikata, budući da ih tražilice ponekad uspiju zaobići, ipak će ispravno konfiguriran robot.txt uvelike olakšati zadatak njihovog izbjegavanja.

Swwwili bezwww

Kako će izgledati stranice vaše stranice - samo sa koristeći http ili http.www? Neizvjesnost će stvoriti dupliranje. Odmah nakon izrade stranice odredite koji ćete protokol za prijenos hiperteksta koristiti. Da biste to učinili, unesite svoj izbor u panele webmastera Yandex i Google (u Googleu se to može učiniti za obje verzije, ali morat ćete potvrditi prava na obje adrese). Možete ga ostaviti kao zadani ili "izbor robota za pretraživanje", ali bolje je jasno ga definirati.

Postavljanje preusmjeravanja

Preusmjeravanje 301 izvrsno je za spajanje kopiranih stranica čiji se URL-ovi razlikuju u prisutnosti i odsutnosti www. Kao što ste već shvatili (pogledajte gornju sliku zaslona), postavljanje preusmjeravanja na WordPress također je pojednostavljeno korištenjem dodatka. U biti, ako ste vi i robot za pretraživanje "odlučili" o svom izboru - sa ili bez www ili bez njega bit će glavna domena, postavljanje preusmjeravanja za sve stranice nije potrebno. Međutim, tema postavljanja preusmjeravanja i njegove izvedivosti je tema zasebnog članka.

Rezultati i zaključci

• nemojte dopustiti dupliciranje stranica (sadržaja) na svojim resursima, jer duplikati dovode do ozbiljnog smanjenja relevantnosti stranica, što otežava njihovo dovođenje u prvi plan u rezultatima pretraživanja (TOP);
• Većina problema s umnožavanjem sadržaja ima rješenje - upotrijebite sva moguća sredstva da to učinite;
• Stalno nadzirite proces indeksiranja vašeg sadržaja i ne stvarajte duplikate na njemu

To je to, dragi čitatelju. Ako me imate što dodati ili ispraviti, postavite pitanje - riskirajte!

Nije baš na temu, ali o blizancima.

(Posjećeno 28 puta, 1 posjeta danas)

Zasigurno ste više puta čuli izraz "dvostruki sadržaj" i vi, kao iskusni vlasnik web stranice, nikada ne biste dva puta objavili isti sadržaj, zar ne?

Dvostruki sadržaj može se usporediti s bankovnim prekoračenjem. Samo tada uzalud trošite svoj vrijedni proračun za indeksiranje.

Proračun indeksiranja je broj stranica na web mjestu koje robot za pretraživanje može skenirati određeno vrijeme. Zato je jako važno potrošiti ga na stranice koje su nam potrebne.

Manifestirajući se u različitim oblicima, dvostruki sadržaj može biti jedan od najneuhvatljivijih i najnevidljivijih problema koji može negativno utjecati na rangiranje i promociju web stranice. Njegov izgled često je povezan sa značajkama arhitekture stranice ili ograničenjima CMS-a.

Nažalost, ne postoji takav checker Google Webmaster e, koji bi mogao lako otkriti dvostruki sadržaj. Čak i najnapredniji alate treće strane ne snalaze se uvijek dobro s tim zadatkom, pogotovo kada je izvor problema unutarnji. Ručna provjera ne može se izbjeći.

Evo popisa s 8 mogućih razloga za pojavu dupliciranih stranica na web mjestu:

HTTP i HTTPS stranice

Jedan od naj brze provjere Ako imate dvije verzije stranice dostupne za indeksiranje, pokušajte joj pristupiti koristeći i HTTP i HTTPS protokol. Ako se otvore obje verzije, očito je da je vaš programer prebacio web mjesto na HTTPS i nije postavio preusmjeravanje 301 s HTTP verzije.

Prije nego što je Google počeo aktivno poticati webmastere da svoje web stranice u potpunosti prebace na HTTPS, mnogi su omogućili HTTPS samo na odvojene stranice koji je trebao dodatna sigurnost, na primjer, stranice za prijavu ili stranice za transakcije. Ako je programer koristio relativne veze, svaki put kada robot za pretraživanje posjeti zaštićene stranice, prisiljen je dodati HTTPS svim URL-ovima, što u konačnici dovodi do dupliciranih stranica.

Na isti način treba provjeriti ima li stranica dvije verzije stranica, sa WWW i bez WWW. Ovaj problem možete riješiti postavljanjem 301 preusmjeravanja i navođenjem željene domene (glavnog ogledala) u Google Webmasteru.

Web stranice koje kradu vaš sadržaj

Sve dok ne postoji zakon koji vam ukradeni sadržaj vraća, postoje samo načini na koje možete upotrijebiti kod kako biste otežali posao lopovima koji pokušavaju vaš sadržaj predstaviti kao svoj. Da biste to učinili, uvijek koristite apsolutne veze na svojoj web stranici umjesto relativnih:

Apsolutne veze: http://seo.artox-media.ru/wiki/dublirovannyi-kontent.html (počinje protokolom i sadrži naziv stranice).
Relativne veze:/wiki/dublirovannyi-kontent.html (počinje od korijena stranice ili trenutnog dokumenta).

Zašto je to važno? Kada koristite relativne URL-ove, vaš preglednik pretpostavlja da veza upućuje na stranicu na kojoj se već nalazite. Neki programeri preferiraju relativne URL-ove jer olakšavaju proces kodiranja.

Ako programer ne želi ponovno napisati cijelu web-lokaciju, mogu se koristiti samoreferencirajuće kanonske oznake. Kada se vaš sadržaj objavi na drugoj web stranici, kanonske oznake mogu ostati, pomažući Googleu da utvrdi da je vaša web stranica izvorni izvor sadržaja.

Da biste saznali je li vaš sadržaj ukraden, možete upotrijebiti bilo koji od besplatne usluge(na primjer, Siteliner, Copyscape. Etxt, AdvegoPlagiatus itd.)

Napuštene poddomene

Recimo da ste se odlučili protiv poddomene i umjesto toga odlučili koristiti poddirektorij. Ili ste, na primjer, izradili potpuno novu web stranicu. U svakom slučaju, vaš stari sadržaj može biti dostupan i, štoviše, može loše utjecati na rangiranje novih stranica. Da biste riješili problem, najbolje je koristiti 301 preusmjeravanje s ove poddomene na novu stranicu/direktorij. Ovo je posebno važno ako vaš stari resurs ima veliku masu veza.

Skrivene stranice u izradi

Odlučili ste ažurirati svoj dizajn? Pripremate li svoju web stranicu za velike promjene? Ako prije toga niste blokirali indeksiranje svojih testnih stranica (a još više dev verzije web-mjesta), tada niste imuni na činjenicu da ih robot neće otkriti.

Postoji uobičajena zabluda da nitko nikada neće pasti na pamet unijeti neki fiktivni URL na vašoj web stranici http://razrabotka.sait.ru/ u redak preglednika; ako nigdje u kodu nema poveznice na njega, čini se da je ovo jednostavno je nerealno. Ali to nije istina! Google neprestano traži i indeksira nove web stranice, uključujući i one u razvoju. Sve to može utjecati na rezultate rangiranja i dovesti korisnike u zabludu.

To ne samo da uzrokuje veliku štetu web-mjestu u smislu privatnosti i sigurnosti, već također može uzrokovati ozbiljnu štetu proračunu za indeksiranje. To je lako izbjeći: koristite meta oznaku robots s noindex na svim testnim stranicama ili ih blokirajte u datoteci robots.txt.

ili

Obje opcije znače zabranu indeksiranja teksta i praćenja poveznica na stranici.

Imajte na umu da kada migrirate stranice iz dev moda u live mode, trebate ukloniti ove blokirajuće direktive iz koda.

Dinamički generirani parametri u URL-u

Najčešće se dinamički URL-ovi generiraju na temelju filtara koji se koriste na stranici. Kako točno ti URL-ovi izgledaju?

URL 1: www.shop.com/chocolate/cake/vanilla
URL 2: www.shop.com/chocolate/cake/vanilla%8in
URL 3: www.shop.com/chocolate/cake/vanilla%8in=marble

Ovo je jednostavan primjer, ali vaš CMS može dodati raznih parametara filtre i generirati nepotrebno duge nizove URL-ova koje alat za indeksiranje može indeksirati.

Na taj način Google može stvoriti i indeksirati beskonačne kombinacije URL-ova koje korisnik niti ne zahtijeva.

U u ovom slučaju, primijenite kanonsku oznaku s željenim URL-om i konfigurirajte postavke indeksiranja URL-a u Google Webmasteru.

Možete preskočiti ovaj korak i blokirati određene URL-ove u svojoj datoteci robots.txt pomoću znaka (*) kako biste spriječili indeksiranje svega što je uključeno u indeks. navedeni imenik. Na primjer: Disallow:/chocolate/cake/*

Mirror poddirektorije

Posluje li vaša tvrtka u nekoliko regija? Neke tvrtke odlučuju stvoriti glavnu odredišnu stranicu koja korisnicima omogućuje odabir regije koja im najviše odgovara, a zatim ih preusmjerava na odgovarajući poddirektorij. Na primjer:

URL 1: www.wonderfullywhisked.com/fr
URL 2: www.wonderfullywhisked.com/de

Iako se ovo može činiti logičnim, razmislite postoji li doista potreba za ovom postavom. Uostalom, dok ciljate na različite publike, postoji mogućnost da će se oba poddirektorija potpuno duplirati sadržajem. Kako biste riješili ovaj problem, upotrijebite Google Webmaster za postavljanje geografskog ciljanja.

Sindikacija sadržaja

Sindikacija sadržaja - ponovno koristiti isti sadržaj na različitim resursima kako biste promovirali svoju web stranicu/brand/sadržaj i privukli dodatni promet.

Sindikacija je na sjajan način predstaviti nova publika S vašom web stranicom, međutim, vrijedi definirati pravila o tome tko će ponovno objaviti vaš sadržaj.

U idealnom slučaju, od izdavača bi se trebalo tražiti da koriste atribut "rel=canonical" na stranici sa sadržajem kako bi naznačili tražilice da je vaša web stranica izvorni izvor sadržaja. Osim toga, također mogu spriječiti indeksiranje sadržaja, što će pomoći u rješavanju potencijalnih problema s dupliciranjem u rezultatima pretraživanja.

Uostalom, izdavači se mogu vratiti na izvorni članak, navodeći vas kao izvorni izvor.

Povezani sadržaj

Sličan sadržaj može uzrokovati jednaku štetu kao i dvostruki sadržaj. U Google definicija izraz "u suštini sličan" pojavljuje se čak i u vezi s dvostrukim sadržajem. I iako se dijelovi materijala mogu razlikovati u sintaksi, opće pravilo je da ako iz njih možete prikupiti iste informacije, onda nema razloga da oboje postoje na web stranici. Ovdje je izvrsno rješenje problema korištenje kanonske oznake ili razmatranje spajanja ovih dijelova sadržaja u jedan.

zaključke

Vrlo je važno pratiti pojavu dupliciranog sadržaja na web stranici kako biste izbjegli iskorištenje proračuna za indeksiranje jer to sprječava robota u pretraživanju i indeksiranju novih stranica koje su vam potrebne. U ovom slučaju, najbolji alati Vaš arsenal može uključivati ​​kanonske oznake, 301 preusmjeravanja, atribute nofollow/noindex u meta oznaci "robots" i direktive u datoteci robots.txt. Radite na identificiranju i uklanjanju dupliciranog sadržaja dodavanjem ovih kontrolnih točaka u vašu SEO reviziju.