Arhitektura pretraživača obično uključuje:
Collegiate YouTube
1 / 5
✪ Lekcija 3: Kako radi pretraživač. Uvod u SEO
✪ Pretraživač iznutra
✪ Shodan - Crni Google
✪ Pretraživač CHEBURASHKA će zamijeniti Google i Yandex u Rusiji
✪ Lekcija 1 - Kako radi pretraživač
Titlovi
Priča
| Hronologija | ||
|---|---|---|
| Godina | Sistem | Događaj |
| 1993 | W3Catalog ?! | Trčanje |
| Aliweb | Trčanje | |
| JumpStation | Trčanje | |
| 1994 | Webcrawler | Trčanje |
| Infoseek | Trčanje | |
| Lycos | Trčanje | |
| 1995 | AltaVista | Trčanje |
| Daum | Baza | |
| Otvorite tekst Web Index | Trčanje | |
| Magellane | Trčanje | |
| Uzbudi se | Trčanje | |
| SAPO | Trčanje | |
| Yahoo! | Trčanje | |
| 1996 | Dogpile | Trčanje |
| Inktomi | Baza | |
| Rambler | Baza | |
| HotBot | Baza | |
| Pitaj jeeves | Baza | |
| 1997 | Northern light | Trčanje |
| Yandex. | Trčanje | |
| 1998 | Trčanje | |
| 1999 | AlltheWeb | Trčanje |
| GenieKnows | Baza | |
| Naver | Trčanje | |
| Teoma | Baza | |
| Vivisimo | Baza | |
| 2000 | Baidu | Baza |
| Exalead | Baza | |
| 2003 | Info.com | Trčanje |
| 2004 | Yahoo! Traži | Konačno lansiranje |
| A9.com | Trčanje | |
| Sogou | Trčanje | |
| 2005 | MSN Search | Konačno lansiranje |
| Ask.com | Trčanje | |
| Nygma | Trčanje | |
| GoodSearch | Trčanje | |
| SearchMe | Baza | |
| 2006 | wikiseek | Baza |
| Quaero | Baza | |
| Live Search | Trčanje | |
| ChaCha | Pokreni (beta) | |
| Guruji.com | Pokreni (beta) | |
| 2007 | wikiseek | Trčanje |
| Sproose | Trčanje | |
| Wikia Search | Trčanje | |
| Blackle.com | Trčanje | |
| 2008 | DuckDuckGo | Trčanje |
| Tooby | Trčanje | |
| Picolator | Trčanje | |
| Viewzi | Trčanje | |
| Cuil | Trčanje | |
| Boogami | Trčanje | |
| LeapFish | Pokreni (beta) | |
| Forestle | Trčanje | |
| VADLO | Trčanje | |
| Powerset | Trčanje | |
| 2009 | Bing | Trčanje |
| KAZ.KZ | Trčanje | |
| Yebol | Pokreni (beta) | |
| Mugurdy | Zatvaranje | |
| Scout | Trčanje | |
| 2010 | Cuil | Zatvaranje |
| Blekko | Pokreni (beta) | |
| Viewzi | Zatvaranje | |
| 2012 | WAZZUB | Trčanje |
| 2014 | Satelit | Pokreni (beta) |
U ranim danima interneta, Tim Berners-Lee je vodio listu web servera objavljenu na web stranici CERN-a. Postojalo je sve više i više sajtova i postajalo je sve teže ručno održavati takvu listu. Na web stranici NCSA postojao je poseban odjeljak Što je novo. (engleski What "s New!), gdje su objavili linkove ka novim stranicama.
Prvi kompjuterski program koji je pretraživao Internet bio je program Archie(Engleski archie je arhiva bez slova "in"). Stvorili su ga 1990. Alan Emtage, Bill Heelan i J. Peter Deutsch, studenti informatike na Univerzitetu McGill u Montrealu. Program je preuzeo listu svih datoteka sa svih dostupnih anonimnih FTP servera i napravio bazu podataka koja se može pretraživati po nazivima datoteka. Međutim, Archiejev program nije indeksirao sadržaj ovih datoteka, jer je količina podataka bila toliko mala da se sve moglo lako pronaći ručno.
Razvoj i širenje Gopher mrežnog protokola, koji je 1991. izumio Mark McCahill sa Univerziteta Minnesota, doveo je do stvaranja dva nova programa pretraživanja, Veronica i Jughead. Kao i Archie, tražili su imena datoteka i zaglavlja pohranjena u Gopher indeksnim sistemima. Veronika (eng. Vrlo jednostavan internetski indeks kompjuteriziranih arhiva orijentiran na glodare) dozvoljeno pretraživanje ključnih riječi za većinu naslova Gopher izbornika na svim Gopher listama. Jughead program (eng. Jonzyjev univerzalni gopher hijerarhijski iskopavanje i prikaz) preuzima informacije iz menija sa određenih Gopher servera. Iako ime pretraživača Archie nije imalo nikakve veze sa ciklusom stripa "Archie" međutim Veronica i Jughead su likovi u ovim stripovima.
Do ljeta 1993. još uvijek nije postojao sistem za pretraživanje interneta, iako su brojni specijalizovani direktoriji ručno održavani. Oscar Nierstrasz sa Univerziteta u Ženevi napisao je seriju Perl skripti koje su povremeno kopirale ove stranice i transkribovale ih u standardni format. Ovo je postalo osnova za W3Catalog ?!, prvi primitivni pretraživač na webu, pokrenut 2. septembra 1993. godine.
Vjerovatno prvi pretraživač koji je napisan na Perlu bio je "World Wide Web Wanderer" - bot Matthewa Greya iz juna 1993. godine. Ovaj robot je kreirao Wandex indeks pretraživanja. Cilj robota Wanderer bio je izmjeriti veličinu svjetske mreže i pronaći sve web stranice koje sadrže riječi iz upita. 1993. godine pojavio se drugi pretraživač, Aliweb. Aliweb nije koristio pretraživač, već je čekao obavještenja od administratora web stranice o prisutnosti indeksne datoteke u određenom formatu na njihovim stranicama.
JumpStation, koju je u decembru 1993. godine kreirao Jonathan Fletcher, tražio je web stranice i napravio njihove indekse pomoću alata za indeksiranje, te koristio web obrazac kao interfejs za formulisanje pretraživanja. Bio je to prvi alat za pretraživanje interneta koji je kombinovao tri osnovne funkcije pretraživača (potvrđivanje, indeksiranje i stvarna pretraga). Zbog ograničenih resursa kompjutera u to vrijeme, indeksiranje, a samim tim i pretraživanje, bilo je ograničeno samo na naslove i naslove web stranica koje je pronašao robot za pretraživanje.
Pretraživači su učestvovali u dotcom balonu kasnih 1990-ih. Nekoliko kompanija je uspješno ušlo na tržište, ostvarivši rekordnu dobit tokom inicijalne javne ponude. Neki su napustili tržište pretraživača otvorenog koda i počeli raditi samo s korporativnim sektorom, na primjer, Northern light.
Google je preuzeo ideju prodaje ključnih riječi 1998. godine kada je bila mala kompanija koja je pokretala pretraživač na goto.com. Ovaj potez je najavio pomak za pretraživače od međusobnog nadmetanja u jedan od najprofitabilnijih poslovnih poduhvata na internetu. Pretraživači su počeli da prodaju najviše pozicije u rezultatima pretrage pojedinačnim kompanijama.
Google pretraživač je bio istaknut od ranih 2000-ih. Kompanija je postigla visoku poziciju zahvaljujući dobrim rezultatima pretrage koristeći PageRank algoritam. Algoritam je predstavljen javnosti u članku "Anatomija pretraživača", koji su napisali Sergey Brin i Larry Page, osnivači Gugla. Ovaj iterativni algoritam rangira web stranice na osnovu procjene broja hiperlinkova na web stranicu, pretpostavljajući više veza na „dobre“ i „važne“ stranice od ostalih. Googleov interfejs je spartanski i nema ništa suvišno, za razliku od mnogih njegovih konkurenata koji su tražilicu ugradili u web portal. Google pretraživač postao je toliko popularan da su postojali sistemi koji ga oponašaju, npr. Mystery Seeker(tajni pretraživač).
Tražite informacije na ruskom
Godine 1996. implementirana je pretraga uzimajući u obzir rusku morfologiju na pretraživaču Altavista i pokrenuti su originalni ruski pretraživači Rambler i Aport. 23. septembra 1997. godine pokrenut je Yandex pretraživač. Rostelekom je 22. maja 2014. pokrenuo nacionalni pretraživač Sputnjik, koji je u vreme 2015. godine u beta testiranju. 22. aprila 2015. godine pušten je u rad novi servis Sputnjik. Djeca posebno za djecu sa povećanom sigurnošću.
Metode klaster analize i pretraživanja metapodataka postale su veoma popularne. Od međunarodnih automobila ove vrste, najpoznatiji je primljen "clusty" kompanija Vivisimo... U Rusiji je 2005. godine, uz podršku Moskovskog državnog univerziteta, pokrenut pretraživač „Nigma“ koji podržava automatsko grupisanje. 2006. godine otvorena je ruska metamašina Quintura koja nudi vizuelno grupisanje u obliku oblaka oznaka. Nygma je takođe eksperimentisao sa vizuelnim grupisanjem.
Kako radi pretraživač
Glavne komponente pretraživača: robot za pretraživanje, indekser, pretraživač.
Tipično, sistemi rade u fazama. Prvo, indeksator prima sadržaj, zatim indekser generiše indeks koji se može pretraživati, i konačno, pretraživač pruža funkcionalnost pretraživanja indeksiranih podataka. Za ažuriranje pretraživača, ovaj ciklus indeksiranja se ponavlja.
Pretraživači rade tako što pohranjuju informacije o mnogim web stranicama koje preuzimaju sa HTML stranica. Crawler ili "crawler" je program koji automatski prelazi sve linkove pronađene na stranici i ističe ih. Crawler, na osnovu linkova ili na osnovu unapred određene liste adresa, traži nove dokumente koji još nisu poznati pretraživaču. Vlasnik stranice može isključiti određene stranice koristeći robots.txt, koji se može koristiti za sprječavanje indeksiranja datoteka, stranica ili direktorija web mjesta.
Pretraživač analizira sadržaj svake stranice radi daljeg indeksiranja. Riječi se mogu izdvojiti iz naslova, teksta stranice ili posebnih polja - meta tagova. Indekser je modul koji analizira stranicu nakon što je razbije na dijelove koristeći vlastite leksičke i morfološke algoritme. Svi elementi web stranice su izolirani i analizirani zasebno. Podaci o web stranicama pohranjuju se u indeksnu bazu podataka za korištenje u narednim upitima. Indeks vam omogućava da brzo pronađete informacije na zahtjev korisnika. Brojni pretraživači, poput Googlea, pohranjuju originalnu stranicu u cijelosti ili djelomično, takozvanu keš memoriju, kao i razne informacije o web stranici. Drugi sistemi poput AltaVista pohranjuju svaku riječ svake stranice koju pronađe. Korištenje keš memorije pomaže da se ubrza preuzimanje informacija sa već posjećenih stranica. Keširane stranice uvijek sadrže tekst koji je korisnik naveo u upitu za pretraživanje. Ovo može biti korisno u slučaju kada je web stranica osvježena, odnosno više ne sadrži tekst zahtjeva korisnika, a stranica u kešu je još uvijek stara. Ova situacija je povezana sa gubitkom linkova (eng. linkrot) i Googleov pristup prilagođen korisniku (upotrebljivost). Ovo uključuje dohvaćanje kratkih dijelova teksta iz keša koji sadrže tekst zahtjeva. Primjenjuje se princip najmanjeg iznenađenja, korisnik obično očekuje da vidi tražene riječi u tekstovima primljenih stranica ( Očekivanja korisnika). Osim ubrzavanja pretraživanja korištenjem keširanih stranica, stranice u predmemoriji mogu sadržavati informacije koje više nisu dostupne nigdje drugdje.
Pretraživač radi sa izlaznim datotekama primljenim od indeksera. Pretraživač prihvaća upite korisnika, obrađuje ih pomoću indeksa i vraća rezultate pretraživanja.
Kada korisnik unese upit u tražilicu (obično koristeći ključne riječi), sistem provjerava njihov indeks i proizvodi listu najpogodnijih web stranica (sortiranih po nekom kriteriju), obično s kratkom napomenom koja sadrži naslov dokumenta i ponekad dijelovi teksta. Indeks pretraživanja je napravljen upotrebom posebne tehnike zasnovane na informacijama izvučenim sa web stranica. Od 2007. godine Google pretraživač vam omogućava da pretražujete po vremenu, kreirate željene dokumente (pozovite meni „Alatke za pretragu“ i odredite vremenski raspon). Većina pretraživača podržava upotrebu logičkih operatora AND, OR, NOT u upitima, što vam omogućava da precizirate ili proširite listu ključnih riječi koje tražite. U ovom slučaju, sistem će tražiti riječi ili fraze tačno onako kako su unesene. Neki pretraživači imaju tu opciju približna pretraga, u ovom slučaju, korisnici proširuju svoju pretragu navođenjem udaljenosti do ključnih riječi. Postoje također konceptualno traženje, koji koristi statističku analizu upotrebe riječi i fraza za pretraživanje u tekstovima web stranica. Ovi sistemi vam omogućavaju da sastavljate upite na prirodnom jeziku. Primjer takve tražilice je ask com.
Korisnost pretraživača zavisi od relevantnosti stranica koje pronađe. Iako milioni web stranica mogu sadržavati riječ ili frazu, neke mogu biti relevantnije, popularnije ili autoritativne od drugih. Većina pretraživača koristi tehnike rangiranja kako bi "najbolje" rezultate doveli na vrh liste. Pretraživači odlučuju koje su stranice relevantnije i kojim redoslijedom bi se rezultati trebali prikazati, na različite načine. Metode pretraživanja, poput samog interneta, mijenjaju se s vremenom. Tako su se pojavila dva glavna tipa pretraživača: sistemi unapred definisanih i hijerarhijski uređenih ključnih reči i sistemi u kojima se na osnovu analize teksta generiše obrnuti indeks.
Većina pretraživača su komercijalna preduzeća koja profitiraju od oglašavanja, u nekim pretraživačima možete kupiti prva mjesta u SERP-u za date ključne riječi uz naknadu. Od kontekstualnog oglašavanja zarađuju pretraživači koji ne naplaćuju redoslijed prikazivanja rezultata, dok oglasne poruke odgovaraju zahtjevu korisnika. Takve reklame se prikazuju na stranici sa listom rezultata pretrage, a pretraživači zarađuju svaki put kada korisnik klikne na reklamu.
Vrste pretraživača
Postoje četiri vrste pretraživača: robotski, vođeni ljudima, hibridni i metasistemi.
- sistemi pretraživača
- sistemi kojima upravljaju ljudi (direktoriji resursa)
- hibridni sistemi
- meta-sistemi
Tržište pretraživača
Google je najpopularniji pretraživač na svijetu sa tržišnim udjelom od 68,69%. Bing je na drugom mjestu sa 12,26% udjela.
Najpopularniji pretraživači na svijetu:
| Sistem pretraživanja | Tržišni udio u julu 2014 | Tržišni udio u oktobru 2014 | Tržišni udio u septembru 2015 |
|---|---|---|---|
| 68,69 % | 58.01 % | 69.24% | |
| Baidu | 17,17 % | 29.06 % | 6,48% |
| Bing | 6.22 % | 8.01 % | 12,26% |
| Yahoo! | 6.74 % | 4.01 % | 9,19% |
| Aol | 0,13 % | 0.21 % | 1,11% |
| Uzbudi se | 0.22 % | 0,00 % | 0.00% |
| Pitaj | 0,13 % | 0,10 % | 0,24% |
Azija
U istočnoazijskim zemljama i Rusiji, Google nije najpopularniji pretraživač. U Kini je, na primjer, popularniji Soso pretraživač.
U Južnoj Koreji, Naverov vlasnički portal za pretraživanje koristi oko 70% Yahoo! Japan i Yahoo! Tajvan su najpopularniji pretraživači u Japanu i Tajvanu, respektivno.
Rusija i pretraživači na ruskom jeziku
Prema podacima LiveInterneta iz juna 2015. o dosegu upita za pretraživanje na ruskom jeziku:
- svejezično:
- Yahoo! (0,1%) i pretraživači u vlasništvu ove kompanije: Inktomi, AltaVista, Alltheweb
- Govorni engleski i međunarodni:
- AskJeeves(Teoma mehanizam)
- Ruski govorni - većina pretraživača koji "rusko govore" indeksiraju i traže tekstove na mnogim jezicima - ukrajinskom, bjeloruskom, engleskom, tatarskom i drugima. Oni se razlikuju od „svejezičnih” sistema koji indeksiraju sve dokumente zaredom, po tome što uglavnom indeksiraju resurse koji se nalaze u domenskim zonama u kojima dominira ruski jezik, ili na druge načine ograničavaju svoje robote na sajtove na ruskom jeziku.
Neki od pretraživača koriste eksterne algoritme pretraživanja.
Kvantitativni podaci Google pretraživača
Broj korisnika Interneta i pretraživača i zahtjevi korisnika za ove sisteme stalno raste. Da bi se povećala brzina traženja informacija koje su vam potrebne, veliki pretraživači sadrže veliki broj servera. Serveri se obično grupišu u serverske centre (centre podataka). Popularni pretraživači imaju serverske centre raštrkane po cijelom svijetu.
U oktobru 2012. Google je pokrenuo projekat Gdje internet živi, koji korisnicima pruža priliku da istraže centre podataka kompanije.
Google pretraživač zna sljedeće o radu data centara:
- Ukupni kapacitet svih Google data centara od 2011. godine procijenjen je na 220 MW.
- Kada je Google planirao da otvori novi kompleks od 6,5 miliona m² u Oregonu 2008. godine, Harper's Magazine je izračunao da tako veliki kompleks troši preko 100 megavata električne energije, što je uporedivo sa potrošnjom energije grada od 300.000 ljudi.
- Procijenjeni broj Google servera u 2012. godini je 1.000.000.
- Googleova potrošnja na data centre iznosila je 1,9 milijardi dolara 2006. godine i 2,4 milijarde dolara 2007. godine.
Veličina World Wide Weba, koju je Google indeksirao u decembru 2014., iznosi približno 4,36 milijardi stranica.
Pretraživači koji poštuju vjerske zabrane
Globalno širenje interneta i sve veća popularnost elektronskih uređaja u arapskom i muslimanskom svijetu, posebno u zemljama Bliskog istoka i indijskog potkontinenta, doprinijeli su razvoju lokalnih pretraživača koji uzimaju u obzir islamske tradicije. Takvi pretraživači sadrže posebne filtere koji korisnicima pomažu da ne idu na zabranjene stranice, na primjer, stranice sa pornografijom, i dozvoljavaju im korištenje samo onih stranica čiji sadržaj nije u suprotnosti s islamskom vjerom. Neposredno prije muslimanskog mjeseca Ramazana, u julu 2013. godine, svijet je predstavljen Halalgoogling- sistem koji korisnicima daje samo halal "ispravne" veze, filtrirajući rezultate pretrage primljene od drugih pretraživača kao što su Google i Bing. Dvije godine ranije, u septembru 2011., pokrenut je I'mHalal pretraživač za korisnike na Bliskom istoku. Međutim, ova usluga pretraživanja morala je uskoro biti zatvorena, prema riječima vlasnika, zbog nedostatka sredstava.
Nedostatak investicija i spor tempo širenja tehnologije u muslimanskom svijetu ometali su napredak i omeli uspjeh ozbiljnog islamskog pretraživača. Očigledan neuspjeh ogromnih ulaganja u muslimanske web projekte, od kojih je jedan bio Muxlim... Dobio je milione dolara od investitora kao što je Rite Internet Ventures i sada - prema najnovijoj poruci I'mHalala prije zatvaranja - dolazi na sumnjivu ideju da bi "sljedeći Facebook ili Google mogao biti samo na Bliskom istoku .ako podržavate našu briljantnu mladost." Bez obzira na to, islamski internet stručnjaci proveli su mnogo godina definirajući šta je ili nije u skladu sa šerijatom i klasificirajući web stranice kao “halal” ili “haram”. Svi bivši i sadašnji islamski pretraživači su jednostavno posebno indeksirani skup podataka, ili su glavni pretraživači kao što su Google, Yahoo i Bing, sa nekim sistemom filtriranja koji se koristi da spriječi korisnike da pristupe haram stranicama kao što su stranice o golotinji, LGBT, kockanje i bilo koje drugo, čija se tema smatra antiislamskom.
Druge religiozno orijentisane tražilice uključuju Jewogle, jevrejsku verziju Google-a, i SeekFind.org, kršćansku stranicu koja uključuje filtere kako bi korisnike zaštitila od sadržaja koji bi mogao potkopati ili oslabiti njihovu vjeru.
Personalizirani rezultati i mjehurići filtera
Mnogi pretraživači, kao što su Google i Bing, koriste algoritme kako bi selektivno pogodili koje informacije bi korisnik želio vidjeti na osnovu svojih prošlih aktivnosti na sistemu. Kao rezultat toga, web stranice prikazuju samo informacije koje su u skladu s prethodnim interesima korisnika. Ovaj efekat se naziva filter mehur.
Sve to dovodi do toga da korisnici dobijaju mnogo manje konfliktnih informacija i postaju intelektualno izolovani u sopstvenom „informacionom balonu“. Dakle, „efekat balona“ može imati negativne posljedice na formiranje građanskog mišljenja.
Pristrasnost pretraživača
Dok su pretraživači programirani da rangiraju web stranice na osnovu neke kombinacije popularnosti i relevantnosti, u stvarnosti, eksperimentalna istraživanja pokazuju da različiti politički, ekonomski i društveni faktori utiču na rezultate pretraživanja.
Ova pristranost može biti direktan rezultat ekonomskih i komercijalnih procesa: kompanije koje se oglašavaju na pretraživaču mogu postati popularnije u organskim rezultatima pretraživanja unutar tog pretraživača. Uklanjanje rezultata pretraživanja koji nisu u skladu s lokalnim zakonima primjer je utjecaja političkih procesa. Na primjer, Google neće prikazivati neke neonacističke web stranice u Francuskoj i Njemačkoj, gdje je poricanje holokausta nezakonito.
Pristrasnost također može biti posljedica društvenih procesa, jer su algoritmi pretraživača često dizajnirani da isključe neformalna gledišta u korist „popularnijih“ rezultata. Algoritmi indeksiranja za glavne pretraživače daju prioritet američkim stranicama.
Bomba za pretragu je jedan primjer pokušaja upravljanja rezultatima pretrage iz političkih, društvenih ili komercijalnih razloga.
vidi takođe
- Qwika
- Elektronska biblioteka # Bibliotečke liste i pretraživači
- Kontrolna tabla za web programere
Bilješke (uredi)
Književnost
- Ašmanov I.S., Ivanov A.A. Promocija web stranica na pretraživačima. - M.: Williams, 2007.-- 304 str. - ISBN 978-5-8459-1155-1.
- Baikov V.D. Internet. Potražite informacije. Promocija web stranice. - SPb. : BHV-Peterburg, 2000.-- 288 str. - ISBN 5-8206-0095-9.
- Kolisničenko D.N. Tražilice i promocija web stranica na Internetu. - M.: Dijalektika, 2007.-- 272 str. - ISBN 978-5-8459-1269-5.
- Lande D.V. Potražite znanje na internetu. - M.: Dijalektika, 2005.-- 272 str. - ISBN 5-8459-0764-0.
- Lande D.V., Snarskiy A.A., Bezsudnov I.V. Internetika: Navigacija u složenim mrežama: modeli i algoritmi. - M.: Librokom (Editorial URSS), 2009.-- 264 str. - ISBN 978-5-397-00497-8.
- Chu H., Rosenthal M. Pretraživači za World Wide Web: komparativna studija i metodologija evaluacije // PROCEEDINGS OF THE ANNUAL MEETING-AMERICAN SOCIETY FOR INFORMATION SCIENCE: časopis. - 1996. - Vol. 33. - P. 127-135.
- Gandal, Neil. Dinamika konkurencije na tržištu internet pretraživača. - 2001. - Vol. 19. - P. 1103-1117. -
Profesionalno pretraživanje na Internetu zahtijeva specijalizovani softver, kao i specijalizovane pretraživače i usluge pretraživanja.
PROGRAMI
http://dr-watson.wix.com/home - program je dizajniran da proučava nizove tekstualnih informacija kako bi se identifikovali entiteti i odnosi između njih. Rezultat rada je izvještaj o objektu koji se proučava.
http://www.fmsasg.com/ - jedan od najboljih svjetskih programa za vizualizaciju komunikacije i odnosa Sentinel Vizualizer. Kompanija je potpuno rusificirala svoje proizvode i povezala dežurnu liniju na ruskom jeziku.
http://www.newprosoft.com/ - “Web Content Extractor” je najmoćniji softver za ekstrakciju podataka web stranice koji je jednostavan za korištenje. Takođe ima efikasan vizuelni veb pauk.
SiteSputnik – jedinstveni softverski paket u svijetu koji vam omogućava da pretražujete i obrađujete njegove rezultate na vidljivom i nevidljivom internetu, koristeći sve pretraživače potrebne korisniku.
WebSite-Watcher - omogućava praćenje web stranica, uključujući one zaštićene lozinkom, nadgledanje foruma, RSS feedova, diskusionih grupa, lokalnih datoteka. Ima moćan sistem filtera. Monitoring se vrši automatski i isporučuje se u formi prilagođenoj korisniku. Napredni program košta 50 eura. Konstantno ažurirano.
http://www.scribd.com/ je najpopularnija platforma na svijetu i sve se više koristi u Rusiji za smještaj raznih vrsta dokumenata, knjiga itd. za besplatan pristup sa vrlo pogodnom tražilicom za imena, teme itd.
http://www.atlasti.com/ - je najmoćniji i najefikasniji alat za kvalitetnu analizu informacija dostupan pojedinačnim korisnicima, malim, pa čak i srednjim preduzećima. Program je multifunkcionalan i stoga koristan. Kombinira mogućnosti stvaranja jedinstvenog informacionog okruženja za rad sa različitim tekstualnim, tabelarnim, audio i video datotekama u cjelini, kao i alate za kvalitativnu analizu i vizualizaciju.
Ashampoo ClipFinder HD - video je sve veći udio u protoku informacija. Shodno tome, agentima konkurentske obavještajne službe potrebni su alati za rad s ovim formatom. Jedan od takvih proizvoda je obezbeđeni besplatni uslužni program. Omogućava vam da pretražujete video zapise prema određenim kriterijima na skladištima video datoteka kao što je YouTube. Program je jednostavan za korištenje, prikazuje sve rezultate pretraživanja na jednoj stranici sa detaljnim informacijama, naslovima, trajanjem, vremenom kada je video postavljen u skladište itd. Postoji ruski interfejs.
http://www.advego.ru/plagiatus/ - program su napravili seo optimizatori, ali je sasvim prikladan kao alat za internet inteligenciju. Plagijat pokazuje stepen jedinstvenosti teksta, izvore teksta, procenat podudarnosti teksta. Program također provjerava jedinstvenost navedenog URL-a. Program je besplatan.
http://neiron.ru/toolbar/ - uključuje dodatak za kombinovanje Google i Yandex pretraga, a takođe omogućava analizu konkurencije zasnovanu na proceni efikasnosti sajtova i kontekstualnog oglašavanja. Implementirano kao dodatak za FF i GC.
http://web-data-extractor.net/ je rješenje na jednom mjestu za dobijanje svih podataka dostupnih na Internetu. Podešavanje rezanja podataka sa bilo koje stranice vrši se u nekoliko klikova mišem. Vi samo trebate odabrati područje podataka koje želite spremiti i Datacol će odabrati formulu za rezanje ovog bloka.
CaptureSaver je profesionalni alat za istraživanje interneta. Jednostavno nezamjenjiv radni program koji vam omogućava da snimite, pohranite i izvezete sve informacije na Internetu, uključujući ne samo web stranice, blogove, već i RSS vijesti, e-poštu, slike i još mnogo toga. Ima najširu funkcionalnost, intuitivno sučelje i smiješnu cijenu.
http://www.orbiscope.net/en/software.html - sistem za praćenje web stranica po više nego pristupačnim cijenama.
http://www.kbcrawl.co.uk/ - softver za rad, uključujući "Nevidljivi Internet".
http://www.copernic.com/en/products/agent/index.html - program vam omogućava da pretražujete koristeći više od 90 pretraživača, više od 10 parametara. Omogućava vam kombiniranje rezultata, uklanjanje duplikata, blokiranje neispravnih veza, prikazivanje najrelevantnijih rezultata. Dolazi u besplatnoj, ličnoj i profesionalnoj verziji. Koristi ga više od 20 miliona korisnika.
Maltego je fundamentalno novi softver koji vam omogućava da uspostavite odnos subjekata, događaja i objekata u stvarnom životu i na Internetu.
USLUGE
novi https://hunter.io/ je efikasan servis za otkrivanje i provjeru e-pošte.
https://www.whatruns.com/ je jednostavan za korištenje, ali efikasan skener koji otkriva šta radi, a šta ne radi na web stranici i koje su sigurnosne rupe. Također implementiran kao dodatak za Chrom.
https://www.crayon.co/ je američko tržište koje se financira iz budžeta i platforma za konkurentnu obavještajnu djelatnost na internetu.
http://www.cs.cornell.edu/~bwong/octant/ - identifikator hosta.
https://iplogger.ru/ je jednostavan i zgodan servis za određivanje tuđe IP adrese.
http://linkurio.us/ je moćan novi proizvod za radnike ekonomske sigurnosti i istražitelje korupcije. Obrađuje i vizualizira ogromne količine nestrukturiranih informacija iz finansijskih izvora.
http://www.intelsuite.com/en - online platforma na engleskom jeziku za obavještavanje i praćenje konkurencije.
http://yewno.com/about/ - prvi operativni sistem za prevođenje informacija u znanje i vizualizaciju nestrukturiranih informacija. Trenutno podržava engleski, francuski, njemački, španski i portugalski.
https://start.avalancheonline.ru/landing/?next=%2F - Prognoza i analitičke usluge Andreja Masaloviča.
https://www.outwit.com/products/hub/ - kompletan set samostalnih programa za profesionalni rad na webu 1.
https://github.com/search?q=user%3Acmlh+maltego - ekstenzije za Maltego.
http://www.whoishostingthis.com/ - pretraživač za hosting, IP adrese itd.
http: // appfollow .ru / - analiza aplikacija na osnovu recenzija, ASO optimizacije, pozicija u vrhovima i rezultata pretrage za App Store, Google Play i Windows Phone Store.
http://spiraldb.com/ je usluga implementirana kao dodatak za Chrom, koji vam omogućava da dobijete mnogo vrijednih informacija o bilo kojem elektronskom resursu.
https://millie.northernlight.com/dashboard.php?id=93 - besplatna usluga koja prikuplja i strukturira ključne informacije po djelatnostima i kompanijama. Moguće je koristiti informativne panele na osnovu analize teksta.
http://byratino.info/ - prikupljanje činjeničnih podataka iz javno dostupnih izvora na internetu.
http://www.datafox.co/ - CI platforma koja prikuplja i analizira informacije o kompanijama od interesa za klijente. Postoji demo.
https://unwiredlabs.com/home je specijalizirana aplikacija s API-jem za pretraživanje geolokacijom bilo kojeg uređaja povezanog na Internet.
http://visualping.io/ - servis za praćenje sajtova i, pre svega, fotografija i slika dostupnih na njima. Čak i ako se fotografija pojavi na sekundu, ona će biti u emailu pretplatnika. Ima dodatak za Google Chrome.
http://spyonweb.com/ je istraživački alat koji omogućava dubinsku analizu bilo kojeg Internet izvora.
http://bigvisor.ru/ - usluga vam omogućava da pratite reklamne kampanje za određene segmente robe i usluga ili određene organizacije.
http://www.itsec.pro/2013/09/microsoft-word.html - Uputstva Artema Ageeva o korišćenju Windows programa za potrebe konkurentske inteligencije.
http://granoproject.org/ je alat otvorenog koda za istraživače koji prate mreže veza između pojedinaca i organizacija u politici, ekonomiji, kriminalu i još mnogo toga. Omogućava vam povezivanje, analizu i vizualizaciju informacija dobijenih iz različitih izvora, kao i pokazivanje značajnih veza.
http://imgops.com/ je servis za izdvajanje metapodataka iz grafičkih datoteka i rad sa njima.
http://sergeybelove.ru/tools/one-button-scan/ - mali on-line skener za provjeru sigurnosnih rupa na stranicama i drugim resursima.
http://isce-library.net/epi.aspx - servis za pretraživanje primarnih izvora po komadu teksta na engleskom
https://www.rivaliq.com/ je efikasan alat za vođenje obavještajnih podataka o konkurenciji na zapadnom, prvenstveno evropskom i američkom tržištu roba i usluga.
http://watchthatpage.com/ je usluga koja vam omogućava da automatski prikupljate nove informacije iz nadgledanih resursa na Internetu. Usluga je besplatna.
http://falcon.io/ je vrsta izvještaja za web. Nije zamjena za Rapportive, ali pruža dodatne alate. Za razliku od Rapportive, on daje opći profil osobe, kao da je zalijepljen od podataka s društvenih mreža i spominjanja na webu.http: //watchthatpage.com/ - servis koji vam omogućava da automatski prikupljate nove informacije iz praćenih resursa na internet. Usluga je besplatna.
https://addons.mozilla.org/ru/firefox/addon/update-scanner/ - dodatak za Firefox. Prati ažuriranja web stranica. Korisno za web stranice koje nemaju feedove vijesti (Atom ili RSS).
http://agregator.pro/ - agregator vijesti i medijskih portala. Koriste ga trgovci, analitičari itd. analizirati vijesti o određenim temama.
http://price.apishops.com/ - automatizirani web servis za praćenje cijena za odabrane grupe proizvoda, određene online trgovine i druge parametre.
http://www.la0.ru/ je zgodan i relevantan servis za analizu veza i povratnih veza do internetskog izvora.
www.recordedfuture.com je moćan alat za analizu i vizualizaciju podataka koji se implementira kao online usluga računarstva u oblaku.
http://advse.ru/ - usluga pod sloganom “Naučite sve o svojim konkurentima”. Omogućava, u skladu sa upitima za pretragu, da dobijete sajtove konkurenata, da analizirate reklamne kompanije konkurenata u Google i Yandex.
http://spyonweb.com/ - usluga vam omogućava da identifikujete stranice sa istim karakteristikama, uključujući one koje koriste iste identifikatore statističke usluge Google Analytics, IP adrese itd.
http://www.connotate.com/solutions - linija proizvoda za konkurentsku inteligenciju, upravljanje protokom informacija i transformaciju informacija u informacijsku imovinu. Uključuje i složene platforme i jednostavne jeftine usluge koje omogućavaju efikasno praćenje uz kompresiju informacija i dobijanje samo potrebnih rezultata.
http://www.clearci.com/ - Konkurentna obavještajna platforma za preduzeća različitih veličina od novoosnovanih i malih kompanija do kompanija sa liste Fortune 500. Rešeno kao saas.
http://startingpage.com/ je Google dodatak koji vam omogućava da pretražujete na Googleu bez popravljanja vaše IP adrese. U potpunosti podržava sve Googleove mogućnosti pretraživanja, uključujući i ruski.
http://newspapermap.com/ je jedinstvena usluga vrlo korisna za takmičare izviđača. Povezuje geolokaciju sa internet pretraživačem medija. One. birate regiju koja vas zanima, ili čak grad, ili jezik, na mapi vidite mjesto i listu online verzija novina i časopisa, kliknite na odgovarajuće dugme i čitajte. Podržava ruski, vrlo jednostavan interfejs.
http://infostream.com.ua/ je vrlo zgodan, prvoklasan izbor, sasvim dostupan svakom novčaniku, Infostream sistem za praćenje vijesti iz jednog od klasika internet pretraživanja D.V. Landea.
http://www.instapaper.com/ je vrlo jednostavan i efikasan alat za čuvanje osnovnih web stranica. Može se koristiti na računarima, iPhone uređajima, iPadima itd.
http://screen-scraper.com/ - omogućava vam da automatski izvučete sve informacije sa web stranica, preuzmete veliku većinu formata datoteka, automatski unesete podatke u različite oblike. Pohranjuje preuzete datoteke i stranice u baze podataka i obavlja mnoge druge izuzetno korisne funkcije. Radi na svim glavnim platformama, ima potpuno funkcionalnu besplatnu i vrlo moćnu profesionalnu verziju.
http://www.mozenda.com/ - web servis multifunkcionalnog web praćenja i dostave potrebnih informacija korisniku sa odabranih sajtova, koji ima više tarifnih planova i dostupan je i malim preduzećima.
http://www.recipdonor.com/ - servis omogućava automatsko praćenje svega što se dešava na sajtovima konkurenata.
http://www.spyfu.com/ - a ovo je ako imate strane konkurente.
www.webground.su je servis za praćenje Runeta kreiran od strane profesionalaca internet pretraživanja, koji uključuje sve glavne davaoce informacija, vijesti i sl., sposoban je za individualne postavke praćenja za potrebe korisnika.
TRAŽI
https: // www .idmarch .org / - najbolji pretraživač za svjetsku arhivu pdf dokumenata u smislu kvaliteta izlaza. Trenutno je indeksirano više od 18 miliona pdf dokumenata, od knjiga do povjerljivih izvještaja.
http://www.marketvisual.com/ je jedinstveni pretraživač koji vam omogućava da pretražujete vlasnike i top menadžment po punom imenu, nazivu kompanije, poziciji ili njihovoj kombinaciji. Rezultati pretrage ne sadrže samo objekte koje tražite, već i njihove veze. Dizajniran prvenstveno za zemlje engleskog govornog područja.
http://worldc.am/ je javno dostupan pretraživač fotografija povezan sa geolokacijom.
https://app.echosec.net/ je pretraživač otvorenog koda koji sebe opisuje kao najnapredniji analitički alat za provođenje zakona i sigurnosne i obavještajne profesionalce. Omogućava vam da pretražujete fotografije objavljene na raznim stranicama, društvenim platformama i društvenim mrežama u odnosu na određene geolokacijske koordinate. Trenutno je povezano sedam izvora podataka. Do kraja godine njihov broj će biti više od 450. Hvala Dementiju na napojnici.
http://www.quandl.com/ - pretraživač za sedam miliona finansijskih, ekonomskih i društvenih baza podataka.
http://bitzakaz.ru/ - pretraživač za tendere i vladine naloge sa dodatnim plaćenim funkcijama
Website-Finder - omogućava pronalaženje web lokacija koje su loše indeksirane od strane Google-a. Jedino ograničenje je da pretražuje samo 30 web stranica za svaku ključnu riječ. Program je jednostavan za korištenje.
http://www.dtsearch.com/ - najmoćniji pretraživač koji vam omogućava obradu terabajta teksta. Radi na desktopu, internetu i intranetu. Podržava i statičke i dinamičke podatke. Omogućava pretraživanje u svim MS Office programima. Pretraživanje se zasniva na frazama, riječima, oznakama, indeksima i još mnogo toga. Jedini dostupan federalni pretraživač. Ima i plaćenu i besplatnu verziju.
http://www.strategator.com/ - Pretražuje, filtrira i agregira informacije o kompaniji sa desetina hiljada web izvora. Traži SAD, UK, glavne zemlje EEZ. Odlikuje se visokom relevantnošću, jednostavnošću za korisnika, ima besplatnu i plaćenu opciju (14 USD mjesečno).
http://www.shodanhq.com/ je neobičan pretraživač. Odmah nakon pojavljivanja dobio je nadimak "Google za hakere". Ne traži stranice, već određuje IP adrese, tipove rutera, računara, servera i radnih stanica koji se nalaze na određenoj adresi, prati lance DNS servera i omogućava vam da implementirate mnoge druge zanimljive funkcije za konkurentsku inteligenciju.
http://search.usa.gov/ - pretraživač za web stranice i otvorene baze podataka svih američkih vladinih agencija. Baze podataka sadrže mnogo praktičnih korisnih informacija, uključujući i upotrebu u našoj zemlji.
http://visual.ly/ - Danas se vizualizacija sve više koristi za predstavljanje podataka. To je prvi infografski pretraživač na webu. Uz tražilicu, portal ima moćne alate za vizualizaciju podataka koji ne zahtijevaju vještine programiranja.
http://go.mail.ru/realtime - traži diskusije o temama, događajima, objektima, temama u stvarnom ili prilagođenom vremenu. Prethodno veoma kritikovana Mail.ru pretraga radi veoma efikasno i daje zanimljive, relevantne rezultate.
Zanran je novi početak, ali već odlično radi prvi i jedini pronalazač podataka, izdvajanje podataka iz PDF datoteka, EXCEL tabela, podataka u HTML stranicama.
http://www.ciradar.com/Competitive-Analysis.aspx je jedan od najboljih svjetskih pretraživača za konkurentsku inteligenciju na dubokom webu. Izvlači gotovo sve vrste datoteka u svim formatima na temu od interesa. Implementirano kao web servis. Cijene su više nego razumne.
http://public.ru/ - Efikasna pretraga i profesionalna analiza informacija, medijska arhiva od 1990. godine. Online medijska biblioteka nudi širok spektar informacionih usluga: od pristupa elektronskim arhivama medijskih publikacija na ruskom jeziku i gotovih tematskih pregleda štampe do individualnog praćenja i ekskluzivnih analitičkih studija zasnovanih na materijalima za štampu.
Cluuz je mlad pretraživač sa širokim mogućnostima za konkurentsku inteligenciju, posebno na engleskom govornom području. Omogućava ne samo pronalaženje, već i vizualizaciju, uspostavljanje veza između ljudi, kompanija, domena, e-mailova, adresa itd.
www.wolframalpha.com je pretraživač sutrašnjice. Kao odgovor na upit za pretraživanje, izdaje statističke i činjenične informacije dostupne na objektu upita, uključujući vizualizirane informacije.
www.ist-budget.ru - univerzalna pretraga u bazama podataka o državnim kupovinama, trgovinama, aukcijama itd.
Pretraživač je baza podataka specifičnih informacija na Internetu. Mnogi korisnici vjeruju da čim unesu upit u tražilicu, odmah počnu skenirati cijeli internet, ali to uopće nije slučaj. Internet se stalno skenira, brojnim programima, podaci o sajtovima se unose u bazu podataka, gde se, prema određenim kriterijumima, svi sajtovi i sve njihove stranice raspoređuju u razne vrste lista i baza podataka. Odnosno, radi se o svojevrsnom kabinetu za arhiviranje podataka, a pretraga se ne odvija na internetu, već prema ovoj kartoteci.
Popularni pretraživači
Yandex je najveći pretraživač na ruskom internetu.
Pored pretraživača, Yandex nudi 77 dodatnih usluga, od kojih su najpopularniji Yandex mail servis, Yandex pretraživač, Yandex disk, informacije o saobraćaju i vremenu, Yandex novac i još mnogo toga. Tražilica uzima u obzir vašu lokaciju kada prikazuje rezultate pretraživanja. Takođe, program pretraživanja se stalno modernizuje kako bi pružio što tačnije rezultate, dizajniran za što veći informativni sadržaj za korisnika.
Google je najpopularniji pretraživač na svijetu.
Pored pretraživača, Google nudi mnoge dodatne usluge, softver i hardver, uključujući mail servis, Google Chrome pretraživač, najveću youtube videoteku i mnoge druge projekte. Google samouvjereno kupuje mnoge projekte koji ostvaruju veliku zaradu. Većina usluga nije usmjerena na direktne korisnike, već na zaradu na internetu i integrirana je s fokusom na interese evropskih i američkih korisnika.
Mail je pretraživač popularan uglavnom zbog svoje usluge e-pošte.
Postoji mnogo dodatnih usluga, od kojih je ključ Mail, trenutno kompanija Mail posjeduje društvenu mrežu Odnoklassniki, vlastitu mrežu "My World", Money-mail servis, mnoge online igrice, tri gotovo identična pretraživača sa različitim nazivima . Sve aplikacije i usluge imaju puno reklamnog sadržaja. Društvena mreža VKonatkte blokira direktne veze sa uslugama pošte, agregirajući veliki broj virusa.
Wikipedia.
Wikipedia je sistem pomoći za pretraživanje.
Neprofitni pretraživač koji pokreće privatne donacije, tako da ne popunjava stranice oglasima. Višejezični projekat čiji je cilj stvaranje kompletne referentne enciklopedije na svim jezicima svijeta. Nema posebnih saradnika, završavaju ga i njime upravljaju volonteri iz cijelog svijeta. Svaki korisnik može pisati i uređivati članak.
Zvanična stranica je www.wikipedia.org.
Youtube je najveća biblioteka video datoteka.
Video hosting sa elementima društvene mreže, gdje svaki korisnik može dodati video. Od trenutka kada ih je nabavio Google Ink, nije potrebna posebna registracija za YouTube, dovoljno je da se registrujete na Google mail servisu.
Zvanična stranica je youtube.com.
Yahoo! - drugi najvažniji pretraživač na svijetu.
Postoje i dodatne usluge, od kojih je najpoznatiji Yahoo mail. Kao dio poboljšanja kvaliteta pretraživača, Yahoo šalje podatke o korisnicima i njihovim upitima Microsoftu. Iz ovih podataka se formira predstava o interesima korisnika, kao i tržište reklamnih sadržaja. Pretraživač Yahoo, kao i, bavi se preuzimanjem drugih kompanija, na primjer, Yahoo posjeduje uslugu pretraživanja Altavista i sajt za e-trgovinu Alibaba.
Zvanična stranica je www.yahoo.com.
WDL je digitalna biblioteka.
Biblioteka prikuplja knjige koje pružaju kulturnu vrijednost u digitalnom obliku. Osnovni cilj je povećanje nivoa kulturnog sadržaja na internetu. Pristup biblioteci je besplatan.
Zvanična stranica je www.wdl.org/ru/.
Bing je pretraživač iz Microsofta.
Zvanična stranica je www.baidu.com.
Pretraživači u Rusiji
Rambler je "proamerički" pretraživač.
Prvobitno je kreiran kao internetski medijski portal. Kao i mnoge druge tražilice, ima usluge pretraživanja slika, video fajlova, mapa, vremenske prognoze, vijesti i još mnogo toga. Izdavači takođe nude besplatan pretraživač Rambler-Nichrome.
Zvanična stranica je www.rambler.ru.
Nigma je inteligentna tražilica.
Pogodniji pretraživač zbog prisustva mnogih filtera i postavki. Sučelje vam omogućava da uključite ili isključite predložene slične vrijednosti u potrazi za boljim rezultatima. Takođe, kada dobijete rezultat pretrage, omogućava vam da koristite informacije drugih velikih pretraživača.
Službena stranica je www.nigma.ru.
Aport - online katalog robe.
U prošlosti je pretraživač, ali nakon činjenice da su razvoj i inovacije prekinuti, brzo gubio tlo pod nogama i. Aport je trenutno trgovačka platforma na kojoj se prezentuje roba iz više od 1.500 kompanija.
Službena stranica je www.aport.ru.
Sputnjik je nacionalni pretraživač i internet portal.
Kreirao Rostelecom. Trenutno je u fazi testiranja.
Zvanična stranica je www.sputnik.ru.
Metabot je pretraživač koji se razvija.
Zadaci Metabota su kreiranje pretraživača za sve ostale pretraživače, kreiranje pozicija za izdavanje rezultata, uzimajući u obzir podatke čitave liste pretraživača. Odnosno, to je pretraživač za pretraživače.
Zvanična stranica je www.metabot.ru.
Pretraživač je obustavljen.
Službena stranica je www.turtle.ru.
KM je multi-portal.
U početku je stranica bila multi-portal s naknadnim uvođenjem tražilice. Pretraživanje se može vršiti i unutar stranice i na svim praćenim stranicama ruskog Interneta.
Službena stranica - www.km.ru.
Gogo - ne radi, preusmjerava na pretraživač.
Službena stranica - www.gogo.ru.
Ruskom multiportalu, koji nije baš popularan, treba malo poraditi. Pretraživač uključuje vijesti, televiziju, igrice, mapu.
Zvanična stranica je www.zoneru.org.
Tražilica ne radi, programeri predlažu korištenje tražilice.
Službena stranica - www.au.ru.
Pretraživači (SE) su već neko vrijeme nezamjenjiv dio interneta. Danas su to ogromni i složeni mehanizmi, koji nisu samo alat za pronalaženje svih potrebnih informacija, već i prilično uzbudljiva područja za poslovanje.
Mnogi korisnici pretrage nikada nisu razmišljali o principima svog rada, o načinima obrade korisničkih zahtjeva, o tome kako su ovi sistemi izgrađeni i funkcionišu. Ovaj materijal će pomoći ljudima koji se bave optimizacijom i razumjeti strukturu i osnovne funkcije pretraživača.
Funkcije i koncept PS
Sistem pretraživanja Je hardversko-softverski kompleks koji je dizajniran za obavljanje funkcije pretraživanja na Internetu, a na zahtjev korisnika, koji se obično postavlja u obliku tekstualne fraze (ili, preciznije, upita za pretraživanje), odgovara izdavanjem lista linkova do izvora informacija, sprovedena prema relevantnosti. Najčešći i najveći pretraživači su Google, Bing, Yahoo, Baidu. U Runetu - Yandex, Mail.Ru, Rambler.Pogledajmo pobliže samo značenje upita za pretragu, uzimajući Yandex sistem kao primjer.
Zahtjev mora biti formulisan od strane korisnika u potpunosti u skladu sa predmetom njegovog pretraživanja, što jednostavnije i sažetije. Na primjer, želimo pronaći informacije u ovoj tražilici: "kako odabrati automobil za sebe." Da biste to učinili, otvorite glavnu stranicu i unesite upit za pretragu "kako odabrati automobil". Tada se naše funkcije svode na praćenje pruženih veza do izvora informacija na mreži.
Ali čak i ako se ponašate na ovaj način, možda nećete dobiti informacije koje su nam potrebne. Ako smo dobili ovako negativan rezultat, potrebno je samo ponovo formirati svoj zahtjev, ili u bazi pretraživanja zaista nema korisnih informacija o ovoj vrsti zahtjeva (ovo je sasvim moguće sa datim "uskim" parametrima upita, kao npr. , na primjer, "kako odabrati automobil u Anadyru ").
Najosnovniji zadatak svakog pretraživača je da ljudima pruži upravo onu vrstu informacija koja im je potrebna. I praktično je nemoguće obučiti korisnike da kreiraju "ispravan" tip upita tražilicama, odnosno fraze koje će odgovarati njihovim principima rada.
Zato programeri pretraživača prave takve principe i algoritme za svoj rad, koji bi korisnicima omogućili da pronađu informacije koje ih zanimaju. To znači da sistem mora "razmišljati" na isti način kao što čovjek razmišlja kada traži potrebne informacije na internetu.
Kada unese svoj upit u pretraživač, želi da pronađe ono što mu treba, što je lakše i brže. Nakon što dobije rezultat, korisnik daje vlastitu procjenu rada sistema, vodeći se nekoliko kriterija. Da li je uspio pronaći informacije koje su mu bile potrebne? Ako nije, koliko puta je morao preformatirati tekst upita da bi ga pronašao? Koliko su relevantne informacije koje je dobio? Koliko brzo je pretraživač obradio njegov zahtjev? Koliko su zgodni bili rezultati pretrage? Da li je željeni rezultat bio prvi ili je bio na 30. mjestu? Koliko je smeća (nepotrebnih informacija) pronađeno zajedno sa korisnim informacijama? Hoće li biti relevantnih informacija za njega, kada koristi PS, za sedmicu ili mjesec?
Kako bi dobili prave odgovore na ovakva pitanja, programeri pretraživanja konstantno unapređuju principe rangiranja i njegove algoritme, dodajući im nove karakteristike i funkcije i na bilo koji način pokušavaju ubrzati rad sistema.
Glavne karakteristike pretraživača
Označimo glavne karakteristike pretrage:Kompletnost.
Kompletnost je jedna od najvažnijih karakteristika pretrage, to je omjer broja informativnih dokumenata pronađenih na zahtjev prema njihovom ukupnom broju na Internetu koji se odnosi na ovaj zahtjev. Na primjer, na Internetu postoji 100 stranica koje imaju izraz "kako odabrati automobil", a za isti upit odabrano je samo 60 od ukupnog broja, tada će u ovom slučaju kompletnost pretrage biti 0,6. Jasno je da što je sama pretraga potpunija, veća je vjerovatnoća da će korisnik pronaći upravo onaj dokument koji mu je potreban, naravno, ako on uopće postoji.Preciznost.
Još jedna primarna funkcija pretraživača je tačnost. Određuje stepen korespondencije sa zahtjevom korisnika pronađenih stranica na Webu. Na primjer, ako postoje stotine dokumenata za ključnu frazu "kako odabrati automobil", polovina njih sadrži ovu frazu, a ostali jednostavno sadrže takve riječi (kako pravilno odabrati auto radio i ugraditi ga u automobil " ), tada je tačnost pretraživanja jednaka 50/100 = 0,5.Što je pretraga preciznija, prije će korisnik pronaći informacije koje mu trebaju, manje će se različitog "smeća" naći među rezultatima, što manje pronađenih dokumenata neće odgovarati značenju upita.
Relevantnost.
Ovo je značajna komponenta pretrage koju karakteriše vreme koje protekne od trenutka objavljivanja informacija na Internetu do unošenja u indeksnu bazu pretraživača.Na primjer, dan nakon što su se pojavile informacije o izlasku novog iPada, mnogi korisnici su se okrenuli pretraživanju s odgovarajućim vrstama upita. U većini slučajeva informacije o ovoj vijesti su već dostupne u pretrazi, iako je od njenog pojavljivanja prošlo vrlo malo vremena. To je zbog činjenice da veliki pretraživači imaju "brzu bazu", koja se ažurira nekoliko puta dnevno.
Brzina pretrage.
Funkcija kao što je brzina pretraživanja usko je povezana sa takozvanim "otporom opterećenja". Svake sekunde se ogroman broj ljudi okrene pretraživanju, takvo opterećenje zahtijeva značajno smanjenje vremena obrade jednog zahtjeva. Ovdje se interesi i tražilice i korisnika potpuno poklapaju: posjetitelj želi što prije dobiti rezultate, a pretraživač mora što brže obraditi njegov zahtjev kako ne bi usporio obradu naknadnih zahtjeva.Vidljivost.
Jasna prezentacija rezultata je bitan element pogodnosti pretraživanja. Za mnoge upite, pretraživač pronalazi hiljade, au nekim slučajevima i milione različitih dokumenata. Zbog nejasnog sastava ključnih fraza za pretragu ili njihove nepreciznosti, čak ni prvi rezultati upita nemaju uvijek samo potrebne informacije.To znači da osoba često mora sama tražiti među ponuđenim rezultatima. Različite komponente stranica s rezultatima pretraživanja pomažu u navigaciji u rezultatima pretraživanja.
Istorija razvoja pretraživača
Kada je Internet tek počeo da se razvija, broj njegovih redovnih korisnika bio je mali, a količina informacija kojima se pristupa bila relativno mala. U osnovi, samo stručnjaci iz istraživačkih područja imali su pristup ovoj mreži. U to vrijeme zadatak pronalaženja informacija nije bio tako hitan kao sada.Jedan od najranijih metoda organizovanja širokog pristupa informacionim resursima bilo je kreiranje kataloga sajtova, a veze ka njima su počele da se grupišu po temama. Ovaj prvi projekat bio je resurs Yahoo.com, koji je otvoren u proljeće 1994. godine. Nakon toga, kada se broj lokacija u Yahoo imeniku značajno povećao, dodana je opcija za traženje potrebnih informacija u direktoriju. To još nije bila u potpunosti tražilica, jer je područje takve pretrage bilo ograničeno samo na stranice uključene u ovaj direktorij, a ne na apsolutno sve resurse na Internetu. Direktoriji linkova bili su naširoko korišteni ranije, ali sada su gotovo potpuno izgubili svoju popularnost.
Na kraju krajeva, čak i današnji ogromni katalozi sadrže informacije o neznatnom dijelu stranica na Internetu. Najpoznatiji i najveći imenik na svijetu ima informacije na pet miliona stranica, dok Google baza podataka sadrži informacije na više od 25 milijardi stranica.
Prvi pravi pretraživač bio je WebCrawler, koji se pojavio davne 1994. godine.
Sljedeće godine pojavili su se AltaVista i Lycos. Štaviše, prvi je dugo bio lider u traženju informacija.
Godine 1997. Sergey Brin je zajedno sa Larry Pageom kreirao Google pretraživač kao istraživački projekat na Univerzitetu Stanford. Danas je to Google, najtraženiji i najpopularniji pretraživač na svijetu.
U septembru 1997. godine objavljen je (službeno) PS Yandex, koji je trenutno najpopularniji pretraživač na Runetu.
Prema podacima o septembar 2015, udjeli pretraživača u svijetu su raspoređeni na sljedeći način:
- Google - 69,24%;
- Bing - 12,26%;
- Yahoo! - 9,19%;
- Baidu - 6,48%;
- AOL - 1,11%;
- Pitanja - 0,23%;
- Uzbuditi - 0,00%
Prema podacima o decembar 2016, udio pretraživača u Runetu:
- Yandex - 48,40%
- Google - 45,10%
- Search.Mail.ru - 5,70%
- Rambler - 0,40%
- Bing - 0,30%
- Yahoo - 0,10%
Kako radi pretraživač
U Rusiji je glavni pretraživač Yandex, zatim Google, a zatim [email protected]. Svi veliki pretraživači imaju svoju strukturu, koja se jako razlikuje od ostalih. Ipak, možemo izdvojiti osnovne elemente zajedničke svim pretraživačima.Modul za indeksiranje.
Ova komponenta se sastoji od tri robotska programa:Pauk(na engleskom spider) - program koji je dizajniran za preuzimanje web stranica. Pauk preuzima određenu stranicu, istovremeno izvlačeći sve veze sa nje. HTML kod se preuzima sa skoro svake stranice. Da bi to učinili, roboti koriste HTTP protokole.
"Pauk" funkcionira na sljedeći način. Robot šalje zahtjev serveru “get/path/document” i druge naredbe HTTP zahtjeva. Kao odgovor, program robota prima tok teksta koji sadrži informacije o vrsti usluge i, naravno, sam dokument.
- URL preuzete stranice;
- datum kada je stranica preuzeta;
- zaglavlje http odgovora servera;
- html-code, "tijelo" stranice.
Indekser(robot indekser) je program koji analizira stranice koje su pauci preuzeli.
Indekser u potpunosti analizira stranicu na njene sastavne elemente i analizira ih koristeći svoje morfološke i leksičke tipove algoritama.
Analiza se vrši na različitim dijelovima stranice, kao što su naslovi, tekst, veze, stilske i strukturne karakteristike, html oznake itd.
Dakle, modul za indeksiranje omogućava praćenje linkova određenog broja resursa, preuzimanje stranica, izdvajanje mase linkova na nove stranice iz primljenih dokumenata i njihovu detaljnu analizu.
Baza podataka
Baza podataka(ili indeks pretraživača) je kompleks za skladištenje podataka, niz informacija u kojem se na određeni način pohranjuju parametri svakog preuzetog i obrađenog dokumenta koji modul za indeksiranje obrađuje.Search Server
Ovo je najvažniji element čitavog sistema, jer brzina i, naravno, kvalitet pretrage direktno zavise od algoritama koji su u osnovi njegove funkcionalnosti.Pretraživač radi na sljedeći način:
- Zahtjev koji dolazi od korisnika se podvrgava morfološkoj analizi. Generiše se informaciono okruženje bilo kog dokumenta dostupnog u bazi podataka (dalje će biti prikazano kao isječak, tj. informacijsko polje teksta koji odgovara ovom zahtjevu).
- Primljeni podaci se kao ulazni parametri prosleđuju specijalizovanom modulu za rangiranje. Oni se obrađuju za sve dokumente, a kao rezultat toga, za svaki takav dokument se izračunava sopstvena ocjena koja karakteriše relevantnost takvog dokumenta za zahtjev korisnika i ostale komponente.
- Ovisno o uvjetima koje postavlja korisnik, ova ocjena se može prilagoditi dodatnim.
- Tada se generiše sam snippet, tj. za svaki pronađeni dokument iz odgovarajuće tabele izdvajaju se naslov, beleška koja najbolje odgovara zahtevu i veza do ovog dokumenta, dok su pronađeni oblici reči i reči istaknuti.
- Rezultati rezultirajuće pretrage se prenose osobi koja ju je izvršila u obliku stranice na kojoj se daju rezultati pretrage (SERP).
Izdali smo novu knjigu „Marketing sadržaja na društvenim mrežama: Kako doći do glava pretplatnika i zaljubiti se u svoj brend“.
Ako zaista nešto razumete, onda temeljno. A ako ste pretplaćeni na naš blog, onda verovatno želite da postanete kul specijalista ili želite da saznate više o onlajn pretrazi. Da biste postigli ono što želite - trikovi i životni hakovi nisu dovoljni. Morate proširiti svoje vidike.
Pretraživač je veliki i složen program dizajniran za pronalaženje informacija na Internetu.
Da li ste se ikada zapitali kako se pojavilo ono što svakodnevno koristimo, koji postoje na internetu i zašto svi studiji rade samo sa i? Ovakva pitanja ne treba odlagati na pozadinu. Samo 10 minuta i evo još jedne teme razgovora koju možete lako podržati.
Kako su se pojavile tražilice
Nekada davno, kada je internet bio mlad i zelen...
Korisnici, kojih je, moram reći, bilo vrlo malo, imali su svoje markere. Ali to nije dugo trajalo: uskoro je osobi postalo teško kretati se raznolikošću koja se pojavila na mreži za kratko vrijeme.
A da bi se haos nekako pojednostavio, izmišljeni su direktoriji Yahoo, DMOZ i drugi (neki postoje i dan-danas), u koje su autori dodavali i sortirali nove stranice u kategorije. Za neko vrijeme život je postao lakši.
Ali internet se nastavio širiti i ubrzo je veličina direktorija prerasla u nešto zapanjujuće ogromno. Tada su programeri prvi put razmišljali o pretraživanju unutar direktorija, pa tek onda o kreiranju automatiziranog sistema indeksiranja za sve na Internetu kako bi se pojednostavio rad svim korisnicima.
Tako su se pojavili prvi roboti za pretragu.
Koji je pretraživač prvi došao
Razmatra se prvi pretraživač Wandex (pa, zbunjeno sa Yandexom!).Ova i druge prve usluge, naravno, bile su daleko od savršene. Na upit za pretragu dali su nešto sasvim drugačije od onoga što smo sada navikli da vidimo, tj. ne najviše relevantan stranicama, ali sve redom, zanemarujući rangiranje. 1. januara 2012, Wandex je ponovo pokrenut.
Tako je prvi PS počeo sa radom.Šta su pretraživačina modernom internetu? Prilažem listu.
Pretraživači su: kraljevi plesnog podija
Iznenađujuće, ima onih koji se svađajukako je pretraživač bolji... Ne bih to radio, jednostavno iz razloga što su različiti i generalno sve zavisi od cilja i kakav ste korisnik.
Yandex.
Ovo je najpopularniji pretraživač u našoj zemlji. To tvrdi LiveInternet Yandex koristi 50,9%, dok na Google otpada 40,6% (podaci iz juna 2015. godine).
Postoji takav mit, kažu, da u Yandexu ima mnogo puta više komercijalnih zahtjeva nego kod najbližeg konkurenta. Nekoliko puta sam naišao na ideju da se zbog regionalnosti usavršavane godinama, tip publike ili njen broj može razlikovati - to je razlog za superiornost Yandexa u komercijalnim upitima. Zato nemojte vjerovati. Oni lažu.
Gugl pretraživač je najpopularniji svuda osim u Rusiji :) Ima puno mogućnosti u različitim pravcima. Općenito, neprikosnoveni svjetski lider među robotima za pretraživanje.
Sam Google se pojavio otprilike zajedno sa Yandexom, a kod nas je došao u Rusiju tek 2004. godine, kada je Yandex ojačao svoju poziciju.
Proces pretraživanja u Guglu već je postao ime za mnoge zemljane. Ali kada svojoj majci kažem "Gugl", ona ipak ide da traži informacije koje su joj potrebne u Yandexu :) Uopšte ne znakoji pretraživači postoje na internetu.
Šta su pretraživači: lista malo poznatih pretraživača
Većina korisnika interneta ni ne znakoji su pretraživači osim Yandexai Google. Pa evo ih;) Upoznajte se!
Udio pretraživanja ovog pretraživača teško se može nazvati velikim, ali pokazatelji polako rastu. Iako ne treba zanemariti činjenicu da ove brojke direktno zavise od Odnoklassniki, Mail.ru pošte i drugih stvari iz Mail Corporation.
Ovo je prava stara škola. Zamislite samo: kada se ovaj pretraživač pojavio, neki SEO-i su tek učili hodati. Generalno, Rambler je imao priliku da ubaci loptu, ali to se iz više razloga nije dogodilo. Trenutno to više nije baš tražilica, već neka vrsta skupa usluga koje koriste Yandex motor kao tražilicu - na primjer, imaju svoje. Posjećenost je, inače, sasvim pristojna: početnu stranicu Ramblera dnevno posjeti nešto više od milion korisnika.
Rambler takođe ima verziju Rambler Lite (svejedno, samo bez vremena, vijesti, reklama itd.) i XRambler , koji kombinuje 15 pretraživača odjednom.
Koliko je imena ovaj pretraživač promijenio! Osam godina je uspio da ocrni ime MSN Search, zatim Windows Live Search, zatim skratio prethodni naziv u Live Search i sada je došao do imena Bing. Mnogi tvrde da je kvalitet pretrage blizak Googleovom standardu.
Sada je teško nazvati Yahu pretraživačem, jer se prema ugovoru, Bingov pretraživač koristi na svim stranicama u vlasništvu Yahua. Najnovije vijesti o ugovoru možete pronaći na Tražilice.
Webalta
Sigurno vam je poznat ovaj takozvani pretraživač. Da li ste morali da ga iščupate kao krpelja sa svog pretraživača?Već dugo vremena svi znaju za mračna djela ovog pretraživača. Jao, ovaj PS nikoga ne zanima. Korisnici traže samo članke o tome kako ukloniti ovo smeće sa svog računara.
Nygma
Ovaj pretraživač se znatno razlikuje od ostalih. A ako nikoga nećete iznenaditi indeksnom bazom drugih pretraživača, onda sposobnost rješavanja problema iz hemije i matematike izdvaja Nigmu od ostalih PS-a. Nigma takođe nudi pretragu muzike, knjiga, igara i torenta.
Pretraživač, koji je naručila ruska vlada, smatra se prvim svjetskim pretraživačem u državnom vlasništvu. Nudi zasebnu medicinsku pretragu (traženje ljekarni, lijekova i artikala za bolesti). Veoma zgodna tema sa "Zgodnom zemljom", gde su na jednom mestu sakupljene sve preporuke koje pomažu građaninu. Na primjer, odjeljak "Dokumenti".
Ovaj PS se bitno razlikuje od togašta su pretraživači na internetu. DuckDuckGo - pretraživač otvorenog koda i zanimljiva politika nekorištenja filter balona. Za one koji ne znaju: „filterski balon“ je kada pretraživač u rezultatima pretrage prikazuje samo one rezultate pretrage koje (ovaj PS) smatra potrebnim za određenog korisnika. Istovremeno, mišljenje samog korisnika nikoga ne zanima. DuckDuckGo osigurava da će korištenje njihove tražilice osigurati da dobijete sve informacije koje pretraživač ima.
"Duck Duck Go" uzima maha. Već ovog ljeta (2015.) kreator PS-a je prijavio tri milijarde zahtjeva godišnje.
Dok sam pisao ovaj članak, imao sam nekoliko pitanja. U takvim slučajevima se ne oslanjam na izdavanje, da, a zašto, ako je pored mene osoba koja zna sve o internetu? Mini-intervju sa Igorom Ivanovim.
Igor Ivanov
Voditeljica studija SEMANTICA
Ako je moja web lokacija na Google-u i Yandexu, hoće li moja stranica biti na vrhu rezultata pretraživanja u drugim, manjim pretraživačima?
Vrlo je velika vjerovatnoća da će tako i biti. Yandex i Google razvijaju svoje algoritme u pravom smjeru, a drugi pretraživači slijede njihov primjer. Postojao je slučaj kada su Google stručnjaci primijetili da Bing pretraživač ne kopira samo njihove algoritme, već i rezultate pretrage.
Zašto vjerovatnoća, a ne potpuna sigurnost? Zato što drugi pretraživači neće imati vremena da prilagode svoje algoritme rangiranja standardima koje su postavili njihovi uspješniji konkurenti.
Da li se uopšte isplati promovisati u Sputnjiku, Miletu i drugim „našim“ pretraživačima? Koji pretraživač je najbolji?
