Motorët e famshëm të kërkimit në internet. Motorët e kërkimit në Rusi

Motorët e kërkimit (SE) kanë qenë një pjesë e pazëvendësueshme e internetit për mjaft kohë. Sot ato janë mekanizma të mëdhenj dhe kompleksë, të cilët nuk janë vetëm një mjet për të gjetur çdo informacion të nevojshëm, por edhe fusha mjaft emocionuese për biznesin.

Shumë përdorues të kërkimit nuk kanë menduar kurrë për parimet e punës së tyre, për mënyrat e përpunimit të kërkesave të përdoruesve, për mënyrën se si ndërtohen dhe funksionojnë këto sisteme. Ky material do të ndihmojë njerëzit që janë të angazhuar në optimizim dhe të kuptojnë strukturën dhe funksionet themelore të motorëve të kërkimit.

Funksionet dhe koncepti i PS

Sistemi i kërkimitËshtë një kompleks harduerësh dhe softuerësh që është krijuar për të kryer funksionin e kërkimit në internet dhe i përgjigjet një kërkese të përdoruesit, e cila zakonisht vendoset në formën e një fraze teksti (ose, më saktë, një pyetje kërkimi), duke lëshuar një listë lidhjesh me burimet e informacionit, e kryer sipas rëndësisë. Motorët më të zakonshëm dhe më të mëdhenj të kërkimit janë Google, Bing, Yahoo, Baidu. Në Runet - Yandex, Mail.Ru, Rambler.

Le të hedhim një vështrim më të afërt në vetë kuptimin e pyetjes për kërkim, duke marrë si shembull sistemin Yandex.

Kërkesa duhet të formulohet nga përdoruesi në përputhje të plotë me objektin e kërkimit të tij, sa më thjeshtë dhe koncize. Për shembull, ne duam të gjejmë informacion në këtë motor kërkimi: "si të zgjidhni një makinë për veten tuaj". Për ta bërë këtë, hapni faqen kryesore dhe shkruani një pyetje kërkimi "si të zgjidhni një makinë". Pastaj funksionet tona zbresin në ndjekjen e lidhjeve të dhëna për burimet e informacionit në rrjet.

Por edhe duke vepruar në këtë mënyrë, ju mund të mos merrni informacionin që na nevojitet. Nëse kemi marrë një rezultat kaq negativ, thjesht duhet të riformoni kërkesën tuaj, ose në bazën e kërkimit nuk ka vërtet asnjë informacion të dobishëm për këtë lloj kërkese (kjo është mjaft e mundur me parametrat e dhënë "të ngushtë" të pyetjes, si p.sh. për shembull, "si të zgjidhni një makinë në Anadyr ").

Detyra më themelore e çdo motori kërkimi është t'u japë njerëzve saktësisht llojin e informacionit që u nevojitet. Dhe është praktikisht e pamundur të trajnohen përdoruesit për të krijuar llojin "korrekt" të pyetjeve për motorët e kërkimit, domethënë frazat që do të korrespondojnë me parimet e tyre të punës.

Kjo është arsyeja pse zhvilluesit e motorëve të kërkimit bëjnë parime dhe algoritme të tilla për punën e tyre, të cilat do t'u mundësonin përdoruesve të gjejnë informacionin që u intereson. Kjo do të thotë që sistemi duhet të "mendojë" në të njëjtën mënyrë siç mendon një person kur kërkon informacionin e nevojshëm në internet.

Kur ai fut pyetjen e tij në një motor kërkimi, ai dëshiron të gjejë atë që i nevojitet, sa më lehtë dhe shpejt të jetë e mundur. Pas marrjes së rezultatit, përdoruesi bën vlerësimin e tij të funksionimit të sistemit, i udhëhequr nga disa kritere. A arriti të gjente informacionin që i nevojitej? Nëse jo, sa herë iu desh të riformatonte tekstin e pyetjes për ta gjetur atë? Sa i rëndësishëm ishte informacioni që ai mori? Sa shpejt e përpunoi motori i kërkimit kërkesën e tij? Sa të përshtatshme janë dhënë rezultatet e kërkimit? Rezultati i dëshiruar ishte i pari apo ishte në vendin e 30-të? Sa junk (informacion i panevojshëm) u gjet së bashku me informacione të dobishme? A do të ketë informacione të rëndësishme për të, kur përdor PS, brenda një jave apo një muaji?

Për të marrë përgjigjet e duhura për pyetje të tilla, zhvilluesit e kërkimit po përmirësojnë vazhdimisht parimet e renditjes dhe algoritmet e tij, duke u shtuar atyre veçori dhe funksione të reja dhe me çdo mjet përpiqen ta bëjnë sistemin të funksionojë më shpejt.

Karakteristikat kryesore të motorëve të kërkimit

Le të përcaktojmë karakteristikat kryesore të kërkimit:

Plotësia.

Plotësia është një nga karakteristikat më të rëndësishme të një kërkimi, është raporti i numrit të dokumenteve të informacionit që gjenden sipas kërkesës me numrin total të tyre në internet në lidhje me këtë kërkesë. Për shembull, ka 100 faqe në internet që kanë frazën "si të zgjidhni një makinë", dhe për të njëjtin pyetje janë zgjedhur vetëm 60 nga totali, atëherë në këtë rast plotësia e kërkimit do të jetë 0.6. Është e qartë se sa më i plotë të jetë vetë kërkimi, aq më shumë ka të ngjarë që përdoruesi të gjejë saktësisht dokumentin që i nevojitet, natyrisht, nëse ekziston fare.

Saktësia.

Një funksion tjetër kryesor i një motori kërkimi është saktësia. Ai përcakton shkallën e korrespondencës me kërkesën e përdoruesit për faqet e gjetura në Ueb. Për shembull, nëse ka qindra dokumente për frazën kryesore "si të zgjidhni një makinë", gjysma e tyre përmbajnë këtë frazë, dhe pjesa tjetër thjesht kanë fjalë të tilla (si të zgjidhni saktë një radio makine dhe ta instaloni atë në një makinë " ), atëherë saktësia e kërkimit është e barabartë me 50/100 = 0,5.

Sa më i saktë të jetë kërkimi, aq më shpejt përdoruesi do të gjejë informacionin që i nevojitet, aq më pak "mbeturina" të ndryshme do të gjenden midis rezultateve, aq më pak dokumente të gjetura nuk do të korrespondojnë me kuptimin e pyetjes.

Rëndësia.

Ky është një komponent i rëndësishëm i kërkimit, i cili karakterizohet nga koha që kalon nga momenti i publikimit të informacionit në internet deri në futjen e tij në bazën e indeksit të motorit të kërkimit.

Për shembull, një ditë pasi u shfaq informacioni për lëshimin e iPad-it të ri, shumë përdorues iu drejtuan kërkimit me llojet përkatëse të pyetjeve. Në shumicën e rasteve, informacioni për këtë lajm është tashmë i disponueshëm në kërkim, megjithëse ka kaluar shumë pak kohë nga shfaqja e tij. Kjo për faktin se motorët e mëdhenj të kërkimit kanë një "bazë të shpejtë", e cila përditësohet disa herë në ditë.

Shpejtësia e kërkimit.

Një funksion i tillë si shpejtësia e kërkimit është i lidhur ngushtë me të ashtuquajturën "rezistenca e ngarkesës". Çdo sekondë një numër i madh njerëzish i drejtohen kërkimit, një ngarkesë e tillë kërkon një reduktim të ndjeshëm të kohës për të përpunuar një kërkesë. Këtu, interesat e motorit të kërkimit dhe përdoruesit përkojnë plotësisht: vizitori dëshiron të marrë rezultate sa më shpejt të jetë e mundur, dhe motori i kërkimit duhet të përpunojë kërkesën e tij sa më shpejt që të jetë e mundur në mënyrë që të mos ngadalësojë përpunimin e kërkesave të mëvonshme.

Dukshmëria.

Një paraqitje e qartë e rezultateve është një element thelbësor i komoditetit të kërkimit. Për shumë pyetje, motori i kërkimit gjen mijëra, dhe në disa raste miliona dokumente të ndryshme. Për shkak të përbërjes së paqartë të frazave kyçe për kërkimin ose pasaktësisë së tij, edhe rezultatet e para të një pyetjeje nuk kanë gjithmonë vetëm informacionin e nevojshëm.

Kjo do të thotë që një person shpesh duhet të bëjë kërkimin e tij midis rezultateve të ofruara. Komponentë të ndryshëm të faqeve të rezultateve të motorit të kërkimit ndihmojnë për të lundruar në rezultatet e kërkimit.

Historia e zhvillimit të motorëve të kërkimit

Kur Interneti filloi të zhvillohej për herë të parë, numri i përdoruesve të tij të rregullt ishte i vogël dhe sasia e informacionit për të hyrë ishte relativisht e vogël. Në thelb, vetëm specialistët e fushave kërkimore kishin akses në këtë rrjet. Në atë kohë, detyra për të gjetur informacion nuk ishte aq urgjente sa është tani.

Një nga metodat më të hershme të organizimit të aksesit të gjerë në burimet e informacionit ishte krijimi i katalogëve të vendeve, dhe lidhjet me to filluan të grupohen sipas subjektit. Ky projekt i parë ishte burimi Yahoo.com, i cili u hap në pranverën e vitit 1994. Më pas, kur numri i faqeve në drejtorinë Yahoo u rrit ndjeshëm, u shtua një opsion për të kërkuar informacionin e nevojshëm në drejtori. Nuk ishte ende plotësisht një motor kërkimi, pasi zona e një kërkimi të tillë ishte e kufizuar vetëm në faqet e përfshira në këtë drejtori, dhe jo nga absolutisht të gjitha burimet në internet. Drejtoritë e lidhjeve u përdorën gjerësisht më parë, por tani ato pothuajse e kanë humbur plotësisht popullaritetin e tyre.

Në fund të fundit, edhe katalogët e mëdhenj të sotëm kanë informacione për një pjesë të parëndësishme të faqeve në internet. Drejtoria më e famshme dhe më e madhe në botë ka informacione për pesë milionë faqe, kur baza e të dhënave Google përmban informacione në më shumë se 25 miliardë faqe.

Motori i parë i vërtetë i kërkimit ishte WebCrawler, i cili u shfaq në 1994.

Vitin tjetër, u shfaqën AltaVista dhe Lycos. Për më tepër, i pari ishte lider në kërkimin e informacionit për një kohë shumë të gjatë.

Në vitin 1997, Sergey Brin dhe Larry Page krijuan motorin e kërkimit Google si një projekt kërkimor në Universitetin Stanford. Sot është Google, motori i kërkimit më i kërkuar dhe më popullor në botë.

Në Shtator 1997, u njoftua (zyrtarisht) PS Yandex, i cili aktualisht është motori më i popullarizuar i kërkimit në Runet.

Sipas të dhënave për shtator 2015, aksionet e motorëve të kërkimit në botë shpërndahen si më poshtë:

• Google - 69,24%;
• Bing - 12,26%;
• Yahoo! - 9,19%;
• Baidu - 6,48%;
• AOL - 1,11%;
• Pyet - 0,23%;
• Eksitim - 0,00%

Sipas të dhënave për dhjetor 2016, pjesa e motorëve të kërkimit në Runet:

• Yandex - 48.40%
• Google - 45,10%
• Search.Mail.ru - 5,70%
• Rambler - 0,40%
• Bing - 0,30%
• Yahoo - 0.10%

Si funksionon motori i kërkimit

Në Rusi, motori kryesor i kërkimit është Yandex, pastaj Google dhe më pas [email protected]. Të gjithë motorët e mëdhenj të kërkimit kanë strukturën e tyre, e cila është shumë e ndryshme nga të tjerët. Megjithatë, ne mund të veçojmë elementet bazë të përbashkëta për të gjithë motorët e kërkimit.

Moduli i indeksimit.

Ky komponent përbëhet nga tre programe robotike:

Merimanga(në anglisht spider) - një program që është krijuar për të shkarkuar faqe në internet. Merimanga shkarkon një faqe specifike, duke nxjerrë njëkohësisht të gjitha lidhjet prej saj. Kodi html shkarkohet pothuajse nga çdo faqe. Për ta bërë këtë, robotët përdorin protokollet HTTP.

"merimanga" funksionon si më poshtë. Roboti dërgon kërkesën te serveri "get / path / document" dhe komandat e tjera të kërkesës HTTP. Si përgjigje, programi robot merr një rrjedhë teksti që përmban informacione të një lloji shërbimi dhe, natyrisht, vetë dokumentin.

• URL-ja e faqes së shkarkuar;
• data kur është shkarkuar faqja;
• kreu i përgjigjes së serverit http;
• html-code, "trupi" i faqes.

Zvarritës(merimanga "Udhëtuese"). Ky program shkon automatikisht në të gjitha lidhjet që gjenden në faqe dhe gjithashtu i nxjerr në pah ato. Detyra e saj është të përcaktojë se ku duhet të shkojë merimanga në të ardhmen, bazuar në këto lidhje ose në bazë të një liste të caktuar adresash.

Indeksues(një robot indeksues) është një program që analizon faqet që merimangat kanë shkarkuar.

Indeksuesi e analizon plotësisht faqen në elementët e saj përbërës dhe i analizon ato duke përdorur llojet e tij morfologjike dhe leksikore të algoritmeve.

Analiza kryhet në pjesë të ndryshme të faqes, si titujt, teksti, lidhjet, veçoritë e stilimit dhe strukturës, etiketat html, etj.

Kështu, moduli i indeksimit bën të mundur ndjekjen e lidhjeve të një numri të caktuar burimesh, shkarkimin e faqeve, nxjerrjen e masës së lidhjeve në faqet e reja nga dokumentet e marra dhe analizën e tyre të detajuar.

Baza e të dhënave

Baza e të dhënave(ose indeksi i motorit të kërkimit) është një kompleks i ruajtjes së të dhënave, një grup informacioni në të cilin parametrat e çdo dokumenti të shkarkuar dhe të përpunuar të përpunuar nga moduli i indeksimit ruhen në një mënyrë të caktuar.

Kërko Server

Ky është elementi më i rëndësishëm i të gjithë sistemit, sepse shpejtësia dhe, natyrisht, cilësia e kërkimit varen drejtpërdrejt nga algoritmet që qëndrojnë në themel të funksionalitetit të tij.

Motori i kërkimit funksionon si më poshtë:

• Kërkesa që vjen nga përdoruesi i nënshtrohet analizës morfologjike. Gjenerohet mjedisi i informacionit i çdo dokumenti të disponueshëm në bazën e të dhënave (ai do të shfaqet më tej si një fragment, d.m.th. fusha e informacionit të tekstit që korrespondon me këtë kërkesë).
• Të dhënat e marra kalohen si parametra hyrës në një modul të specializuar të renditjes. Ato përpunohen për të gjitha dokumentet, dhe si rezultat, për secilin dokument të tillë, llogaritet vlerësimi i tij, i cili karakterizon rëndësinë e një dokumenti të tillë me kërkesën e përdoruesit dhe përbërësit e tjerë.
• Në varësi të kushteve të vendosura nga përdoruesi, ky vlerësim mund të rregullohet nga të tjera.
• Pastaj krijohet vetë fragmenti, d.m.th. për çdo dokument të gjetur, një titull, një shënim që plotëson më mirë kërkesën dhe një lidhje me këtë dokument nxirren nga tabela përkatëse, ndërsa format dhe fjalët e gjetura janë të theksuara.
• Rezultatet e kërkimit që rezulton i transmetohen personit që e ka kryer atë në formën e një faqeje në të cilën jepen rezultatet e kërkimit (SERP).

Të gjithë këta elementë janë të ndërlidhur ngushtë dhe funksionojnë, ndërveprojnë, duke formuar një mekanizëm të veçantë, por mjaft të ndërlikuar për funksionimin e SP-së, i cili kërkon shpenzime të mëdha burimesh.

Në shikim të parë, mund të duket se vetëm Yandex mund të jetë më i mirë se Google, dhe madje ky nuk është një fakt. Këto kompani po investojnë shuma të mëdha parash në inovacion dhe zhvillim. A ka dikush vërtet një shans jo vetëm për të konkurruar me drejtuesit, por edhe për të fituar? Përgjigja e Lifehacker: "Po!" Ka disa motorë kërkimi që kanë pasur sukses. Le t'i hedhim një sy heronjve tanë.

çfarë është ajo

Është një motor kërkimi mjaft i njohur me burim të hapur. Serverët janë të vendosur në SHBA. Përveç robotit të vet, motori i kërkimit përdor rezultate nga burime të tjera: Yahoo! Kërko BOSS, Wikipedia, Wolfram | Alpha.

Sa më mirë

DuckDuckGo pozicionohet si një motor kërkimi që ofron privatësi dhe konfidencialitet maksimal. Sistemi nuk mbledh asnjë të dhënë përdoruesi, nuk ruan regjistrat (pa histori kërkimi), përdorimi i cookies është sa më i kufizuar që të jetë e mundur.

DuckDuckGo nuk mbledh ose ndan informacione personale nga përdoruesit. Kjo është politika jonë e privatësisë.
Gabriel Weinberg, themeluesi i DuckDuckGo

Pse ju duhet

Të gjithë motorët kryesorë të kërkimit përpiqen të personalizojnë rezultatet e kërkimit bazuar në të dhënat për personin përpara monitorit. Ky fenomen quhet "flluska e filtrit": përdoruesi sheh vetëm ato rezultate që përputhen me preferencat e tij ose që sistemi i konsideron si të tilla.

DuckDuckGo krijon një pamje objektive që nuk varet nga sjellja juaj e kaluar në ueb dhe heq qafe reklamat tematike të Google dhe Yandex bazuar në pyetjet tuaja. DuckDuckGo e bën të lehtë kërkimin e informacionit në gjuhë të huaja: Google dhe Yandex si parazgjedhje u japin përparësi faqeve në gjuhën ruse, edhe nëse kërkesa është futur në një gjuhë tjetër.

çfarë është ajo

"" Është një sistem rus metakërkimor i zhvilluar nga të diplomuarit e MSU Viktor Lavrenko dhe Vladimir Chernyshov. Kërkon indekset e Google, Bing, Yandex dhe të tjerë, dhe gjithashtu ka algoritmin e vet të kërkimit.

Sa më mirë

Kërkimi i indekseve të të gjithë motorëve kryesorë të kërkimit ju lejon të gjeneroni rezultate përkatëse. Përveç kësaj, "Nigma" i ndan rezultatet në disa grupe tematike (grupe) dhe e shtyn përdoruesin të ngushtojë fushën e kërkimit duke hedhur poshtë ato të panevojshme ose duke theksuar ato me përparësi. Falë moduleve "Matematika" dhe "Kimi", ju mund të zgjidhni problemet e matematikës pikërisht në shiritin e kërkimit dhe të kërkoni rezultatet e reaksioneve kimike.

Pse ju duhet

Eliminon nevojën për të kërkuar të njëjtën pyetje në motorë të ndryshëm kërkimi. Sistemi i grupimeve e bën të lehtë manipulimin e rezultateve të kërkimit. Për shembull, Nigma mbledh rezultatet nga dyqanet online në një grup të veçantë. Nëse nuk keni ndërmend të blini diçka, atëherë thjesht përjashtoni këtë grup. Duke zgjedhur grupin "Sajtet në gjuhën angleze", do të merrni rezultatet vetëm në anglisht. Modulet "Matematika" dhe "Kimi" do të ndihmojnë nxënësit e shkollës.

Fatkeqësisht, projekti aktualisht nuk po zhvillohet, pasi zhvilluesit i kanë zhvendosur aktivitetet e tyre në tregun vietnamez. Megjithatë, "Nigma" jo vetëm që nuk është e vjetëruar, por në disa gjëra ende i jep një fillim Google. Shpresojmë se zhvillimi do të rifillojë.

çfarë është ajo

jo Evil është një motor kërkimi për rrjetin anonim Tor. Për ta përdorur atë, duhet të shkoni në këtë rrjet, për shembull, duke hapur një shfletues të specializuar me të njëjtin emër. jo Evil nuk është i vetmi motor kërkimi i këtij lloji. Ekziston LOOK (kërkimi i paracaktuar në shfletuesin Tor, i aksesueshëm nga interneti i rregullt) ose TORCH (një nga motorët më të vjetër të kërkimit në rrjetin Tor) dhe të tjera. Ne u vendosëm për jo të keqen për shkak të aludimit të qartë për vetë Google (thjesht shikoni faqen fillestare).

Sa më mirë

Kërkimet ku Google, Yandex dhe motorët e tjerë të kërkimit janë të mbyllura në parim.

Pse ju duhet

Ka shumë burime në rrjetin Tor që nuk mund të gjenden në internetin që i bindet ligjit. Dhe ndërsa autoritetet forcojnë kontrollin e tyre mbi përmbajtjen e Uebit, numri i tyre do të rritet. Tor është një lloj Rrjeti brenda Rrjetit: me rrjetet e veta sociale, gjurmuesit e torrenteve, mediat, tregjet, bloget, bibliotekat, e kështu me radhë.

YaCy

çfarë është ajo

YaCy është një motor kërkimi i decentralizuar i bazuar në rrjetet P2P. Çdo kompjuter në të cilin është instaluar moduli kryesor i softuerit skanon internetin në mënyrë të pavarur, domethënë është një analog i një roboti kërkimi. Rezultatet e marra janë mbledhur në një bazë të dhënash të përbashkët, e cila përdoret nga të gjithë pjesëmarrësit në YaCy.

Sa më mirë

Është e vështirë të thuhet nëse është më mirë apo më keq këtu, pasi YaCy është një qasje krejtësisht e ndryshme për organizimin e kërkimit. Mungesa e një serveri të vetëm dhe një pronari kompanie i bën rezultatet plotësisht të pavarura nga preferencat e dikujt. Autonomia e secilës nyje përjashton censurën. YaCy është i aftë të kërkojë në ueb të thellë dhe në rrjete publike jo të indeksuar.

Pse ju duhet

Nëse jeni përkrahës i softuerit me kod të hapur dhe i internetit falas, i cili nuk ndikohet nga agjencitë qeveritare dhe korporatat e mëdha, atëherë YaCy është zgjedhja juaj. Mund të përdoret gjithashtu për të organizuar kërkime brenda një korporate ose një rrjeti tjetër autonom. Dhe ndërsa YaCy nuk është shumë i dobishëm në jetën e përditshme, ai është një alternativë e denjë për Google për sa i përket procesit të kërkimit.

Pipl

çfarë është ajo

Pipl është një sistem i krijuar për të kërkuar informacione për një person specifik.

Sa më mirë

Autorët e Pipl pretendojnë se algoritmet e tyre të specializuara kërkojnë në mënyrë më efikase sesa motorët e kërkimit "të rregullt". Në veçanti, burimet prioritare të informacionit janë profilet e mediave sociale, komentet, listat e anëtarëve dhe bazat e ndryshme të të dhënave ku publikohen informacione për persona, si bazat e të dhënave të vendimeve gjyqësore. Udhëheqja e Pipl në këtë fushë është vërtetuar nga Lifehacker.com, TechCrunch dhe të tjerë.

Pse ju duhet

Nëse keni nevojë të gjeni informacione për një person që jeton në Shtetet e Bashkuara, atëherë Pipl do të jetë shumë më efektiv se Google. Bazat e të dhënave të gjykatave ruse janë me sa duket të paarritshme për një motor kërkimi. Prandaj, ai nuk përballet aq mirë me qytetarët e Rusisë.

çfarë është ajo

Një tjetër motor kërkimi i specializuar. Kërkon tinguj të ndryshëm (shtëpi, natyrë, makina, njerëz etj.) në burime të hapura. Shërbimi nuk i mbështet kërkesat në Rusisht, por ekziston një listë mbresëlënëse e etiketave në gjuhën ruse që mund të kërkoni.

Sa më mirë

Rezultatet janë vetëm tinguj dhe asgjë më shumë. Në cilësimet e kërkimit, mund të vendosni formatin e dëshiruar dhe cilësinë e zërit. Të gjithë tingujt e gjetur janë të disponueshëm për shkarkim. Ekziston një kërkim për tingujt sipas modelit.

Pse ju duhet

Nëse ju duhet të gjeni shpejt tingullin e një goditjeje musket, goditjet e një qukapiku thithës ose klithmën e Homer Simpson, atëherë ky shërbim është për ju. Dhe unë e zgjodha këtë vetëm nga kërkesat e disponueshme në gjuhën ruse. Në anglisht, spektri është edhe më i gjerë. Por seriozisht, një shërbim i specializuar merr një audiencë të specializuar. Por çfarë nëse ju vjen në dobi?

Jeta e motorëve alternativë të kërkimit është shpesh e shkurtër. Lifehacker pyeti Sergei Petrenko, ish-drejtorin e përgjithshëm të degës ukrainase të Yandex, për perspektivat afatgjata të projekteve të tilla.

Sa i përket fatit të motorëve alternative të kërkimit, është e thjeshtë: të jenë projekte shumë të veçanta me një audiencë të vogël, pra, pa perspektiva të qarta tregtare, ose, anasjelltas, me qartësi të plotë të mungesës së tyre.

Nëse shikoni shembujt në artikull, mund të shihni se motorë të tillë kërkimi ose specializohen në një vend të ngushtë, por të kërkuar, i cili, ndoshta vetëm deri më tani, nuk është rritur aq sa të jetë i dukshëm në radarët e Google ose Yandex, ose po testojnë një hipotezë origjinale në renditje.e cila ende nuk është e zbatueshme në kërkimin e rregullt.

Për shembull, nëse një kërkim në Tor papritmas rezulton të jetë i kërkuar, domethënë, rezultatet nga atje do të nevojiten të paktën nga një përqindje e audiencës së Google, atëherë, natyrisht, motorët e zakonshëm të kërkimit do të fillojnë të zgjidhin problemin se si për t'i gjetur dhe treguar ato përdoruesit. Nëse sjellja e audiencës tregon se rezultatet duken më të rëndësishme për një pjesë të dukshme të përdoruesve në një numër të dukshëm pyetjesh, të dhënash pa marrë parasysh faktorët e varur nga përdoruesi, atëherë Yandex ose Google do të fillojnë të japin rezultate të tilla.

“Të jesh më i mirë” në kontekstin e këtij artikulli nuk do të thotë “të jesh më i mirë në çdo gjë”. Po, në shumë aspekte heronjtë tanë janë larg Google dhe Yandex (madje Bing është shumë larg). Por nga ana tjetër, secili prej këtyre shërbimeve i jep përdoruesit diçka që gjigantët e industrisë së kërkimit nuk mund ta ofrojnë.

Le të hedhim një vështrim në motorët e kërkimit më të njohur në Rusi dhe në botë.

Motorët më të njohur të kërkimit në Rusi

Yandex.

Yandex është sistemi më i popullarizuar i kërkimit të informacionit në Runet... Përsa i përket sigurisë, ajo zë vendin e parë! Zgjedhur nga 27 milionë njerëz.

Shërbimi i kërkimit rus Yandex u shfaq në vitin 1997. Udhëheqësi i padyshimtë i pjesës ruse-folëse të internetit. Ka një nga motorët e kërkimit rajonal më të mirë në botë. ka aftësia për të gjetur njerëz në rrjetet sociale. Ky sistem ka një numër të madh shtesash të dobishme:

• Yandex.Disk
• Kartat
• Orari i fluturimeve, trenave dhe autobusëve
• Moti dhe më shumë.

Është në kërkesë të mirë midis vendeve fqinje, pasi menaxhimi i shërbimit merr parasysh kërkesat e përdoruesve nga vendet e CIS.

Postë

Mail.ru është një shërbim postar premtues që ka një numër të madh fansash.

Jo shumë kohë më parë, fillova të pozicionohem si një motor kërkimi. Mund të vendoset si parazgjedhje kur ngarkoni aplikacione të ndryshme.

Aport

Një motor kërkimi mjaft i zakonshëm në pjesën ruse-folëse të internetit. Për sa i përket popullaritetit, ky shërbim renditet i dyti në Rusi.

Përparësitë e motorit të kërkimit Aport:

1. Morfologjia e gjuhës ruse merret parasysh.
2. Mund të nënvizoni kontekstin e fjalëve të shfaqura.
3. Kërko sipas kategorisë.
4. Ekziston një funksion i përsosjes së rezultateve të kërkimit në përputhje me serverët dhe seksionet e disponueshme të katalogut.
5. Çdo kërkesë mund të përkthehet në anglisht dhe anasjelltas.

Rambler

përfaqëson sistemi i parë i marrjes së informacionit, e cila u bë e disponueshme në territorin e Rusisë. Më parë, ishte konkurrenti kryesor i "Yandex" pasi përdor teknologjinë e kërkimit Yandex. Morfologjia e gjuhës ruse merret parasysh. Në vlerësimin tonë, ajo zuri një vend të tretë të nderuar.

Motorët e kërkimit më të njohur në botë

Google

Google është një gjigant global. Prandaj, nuk është për t'u habitur që ky motor kërkimi zotëron pjesën më të madhe të trafikut në botë.

motori i kërkimit Google

Çështje live shumë e thjeshtë dhe me cilësi të lartë dhe një numër i madh mjetesh të dobishme:

• Dokumentacioni;
• Blog;
• YouTube;
• Rrjete sociale;
• Google + dhe shumë gjëra interesante.

Baidu

Baidu është një motor kërkimi kinez. Kina është vendi më i populluar në tokë. Duhet gjithashtu të theksohet se qasja në World Wide Web është plotësisht e mbyllur.

Ky "motor kërkimi" u preferua nga miliona njerëz. Ne do të vazhdojmë nga fakti se ata thjesht nuk kanë zgjidhje, por, megjithatë, duke gjykuar nga rishikimet, ky sistem gjen shumë informacione interesante dhe të dobishme.

Bing

Bing është një motor kërkimi nga Microsoft. Në kërkesë në Evropë dhe SHBA.

Krahasuar me Google, ka trafik të ulët. Cakto si kërkim standard në .

Yahoo!

Sot është një katalog burimesh dhe një "motor kërkimi" në një person, shërbimi funksionon si një projekt i pavarur. Për sa i përket popullaritetit, ajo zuri pozicionin e katërt në vlerësimin tonë.

Përfitimet e motorit të kërkimit Yahoo:

1. Mund të kërkojë informacione të llojeve të ndryshme në Rusisht.
2. Përdoret një direktori me lidhje të dobishme me burimet e rrjetit në vende të ndryshme të botës.

AltaVista

Një tjetër zhvillim i motorit të kërkimit që kërkon në internet për informacionin që ju nevojitet. Niveli i popullaritetit e lejoi atë të ishte në rreshtin e pestë.

Përfitimet e motorit të kërkimit AltaVista:

1. Ka mbështetje për hapësirën rusishtfolëse.

Lycos

Drejtoria e përbashkët e burimeve të rrjetit. Faqja bazohet në një motor kërkimi së bashku me një rubrikator të portaleve në internet. Ofron lidhje me botime të ndryshme të lokalizuara të katalogut. përdoret anglishtja... Për sa i përket popullaritetit, është në vendin e gjashtë në vlerësimin tonë.

Motori ukrainas i kërkimit Meta

Sistemi i unifikuar i kërkimit me origjinë ukrainase. Niveli i famës e lejoi atë të zinte vendin e shtatë.

Përfitimet e motorit të kërkimit Meta:

1. Shërbimi merr parasysh veçoritë morfologjike të gjuhëve ruse dhe ukrainase.
2. Nëse është e nevojshme, mund të nënvizoni fjalët e ndryshme që gjenden në kontekst.
3. Do të jetë gjithashtu e mundur të përkthehen rezultatet e kërkimit dhe pyetjet e kërkimit në rusisht, ukrainisht dhe anglisht.

FTP-Kërkimi

"Motori i kërkimit të skedarëve". Një nga njëqind serverët më të mëdhenj FTP në Federatën Ruse. Niveli i popullaritetit korrespondon me vendin e tetë.

çfarë është ajo

DuckDuckGo është një motor kërkimi mjaft i njohur me burim të hapur. Serverët janë të vendosur në SHBA. Përveç robotit të vet, motori i kërkimit përdor rezultatet e burimeve të tjera: Yahoo, Bing, Wikipedia.

Sa më mirë

DuckDuckGo pozicionohet si një motor kërkimi që ofron privatësi dhe konfidencialitet maksimal. Sistemi nuk mbledh asnjë të dhënë përdoruesi, nuk ruan regjistrat (pa histori kërkimi), përdorimi i cookies është sa më i kufizuar që të jetë e mundur.

DuckDuckGo nuk mbledh ose ndan informacione personale nga përdoruesit. Kjo është politika jonë e privatësisë.

Gabriel Weinberg, themeluesi i DuckDuckGo

Pse ju duhet

Të gjithë motorët kryesorë të kërkimit përpiqen të personalizojnë rezultatet e kërkimit bazuar në të dhënat për personin përpara monitorit. Ky fenomen quhet "flluska e filtrit": përdoruesi sheh vetëm ato rezultate që përputhen me preferencat e tij ose që sistemi i konsideron si të tilla.

Formon një pamje objektive që nuk varet nga sjellja juaj e kaluar në ueb, dhe heq qafe reklamat tematike të Google dhe Yandex, bazuar në pyetjet tuaja. DuckDuckGo e bën të lehtë kërkimin e informacionit në gjuhë të huaja, ndërsa Google dhe Yandex si parazgjedhje u japin përparësi faqeve në gjuhën ruse, edhe nëse kërkesa është futur në një gjuhë tjetër.

çfarë është ajo

jo Evil është një motor kërkimi për rrjetin anonim Tor. Për ta përdorur atë, duhet të shkoni në këtë rrjet, për shembull duke hapur një të specializuar.

jo Evil nuk është i vetmi motor kërkimi i këtij lloji. Ekziston LOOK (kërkimi i paracaktuar në shfletuesin Tor, i aksesueshëm nga interneti i rregullt) ose TORCH (një nga motorët më të vjetër të kërkimit në rrjetin Tor) dhe të tjera. Ne u vendosëm për jo të keqen për shkak të aludimit të qartë të Google (thjesht shikoni faqen fillestare).

Sa më mirë

Kërkimet ku Google, Yandex dhe motorët e tjerë të kërkimit janë të mbyllura në parim.

Pse ju duhet

Ka shumë burime në rrjetin Tor që nuk mund të gjenden në internetin që i bindet ligjit. Dhe numri i tyre do të rritet ndërsa qeveria forcon kontrollin e saj mbi përmbajtjen e Uebit. Tor është një lloj rrjeti brenda Rrjetit me rrjetet e veta sociale, gjurmues torrent, media, tregje, blogje, biblioteka, etj.

3. YaCy

çfarë është ajo

YaCy është një motor kërkimi i decentralizuar i bazuar në rrjetet P2P. Çdo kompjuter në të cilin është instaluar moduli kryesor i softuerit skanon internetin në mënyrë të pavarur, domethënë është një analog i një roboti kërkimi. Rezultatet e marra janë mbledhur në një bazë të dhënash të përbashkët, e cila përdoret nga të gjithë pjesëmarrësit në YaCy.

Sa më mirë

Është e vështirë të thuhet nëse është më mirë apo më keq këtu, pasi YaCy është një qasje krejtësisht e ndryshme për organizimin e kërkimit. Mungesa e një serveri të vetëm dhe një pronari kompanie i bën rezultatet plotësisht të pavarura nga preferencat e dikujt. Autonomia e secilës nyje përjashton censurën. YaCy është i aftë të kërkojë në ueb të thellë dhe në rrjete publike jo të indeksuar.

Pse ju duhet

Nëse jeni përkrahës i burimit të hapur dhe internetit falas, i cili nuk ndikohet nga agjencitë qeveritare dhe korporatat e mëdha, atëherë YaCy është zgjedhja juaj. Mund të përdoret gjithashtu për të organizuar kërkime brenda një korporate ose një rrjeti tjetër autonom. Dhe ndërsa YaCy nuk është shumë i dobishëm në jetën e përditshme, ai është një alternativë e denjë për Google për sa i përket procesit të kërkimit.

4. Pipl

çfarë është ajo

Pipl është një sistem i krijuar për të kërkuar informacione për një person specifik.

Sa më mirë

Autorët e Pipl pretendojnë se algoritmet e tyre të specializuara kërkojnë në mënyrë më efikase sesa motorët e kërkimit "të rregullt". Në veçanti, prioritet u jepet profileve të mediave sociale, komenteve, listave të pjesëmarrësve dhe bazave të ndryshme të të dhënave ku publikohen informacione për persona, si bazat e të dhënave të vendimeve gjyqësore. Udhëheqja e Pipl në këtë fushë është vërtetuar nga Lifehacker.com, TechCrunch dhe të tjerë.

Pse ju duhet

Nëse keni nevojë të gjeni informacione për një person që jeton në Shtetet e Bashkuara, atëherë Pipl do të jetë shumë më efektiv se Google. Bazat e të dhënave të gjykatave ruse janë me sa duket të paarritshme për një motor kërkimi. Prandaj, ai nuk përballet aq mirë me qytetarët e Rusisë.

çfarë është ajo

FindSounds është një tjetër motor kërkimi i specializuar. Kërkon burime të hapura për tinguj të ndryshëm: shtëpi, natyrë, makina, njerëz etj. Shërbimi nuk mbështet pyetje në rusisht, por ekziston një listë mbresëlënëse e etiketave në gjuhën ruse që mund të kërkoni.

Sa më mirë

Rezultatet janë vetëm tinguj dhe asgjë më shumë. Në cilësimet, mund të vendosni formatin e dëshiruar dhe cilësinë e zërit. Të gjithë tingujt e gjetur janë të disponueshëm për shkarkim. Kërkimi sipas modelit është i disponueshëm.

Pse ju duhet

Nëse ju duhet të gjeni shpejt tingullin e një goditjeje musket, goditjet e një qukapiku thithës ose klithmën e Homer Simpson, atëherë ky shërbim është për ju. Dhe ne e zgjodhëm këtë vetëm nga kërkesat e disponueshme në gjuhën ruse. Në anglisht, spektri është edhe më i gjerë.

Seriozisht, një shërbim i specializuar supozon një audiencë të specializuar. Por çfarë nëse ju vjen në dobi?

çfarë është ajo

Wolfram | Alpha është një motor kërkimi kompjuterik. Në vend të lidhjeve me artikujt që përmbajnë fjalë kyçe, ai ofron një përgjigje të gatshme ndaj kërkesës së një përdoruesi. Për shembull, nëse futni "krahasoni popullsitë e Nju Jorkut dhe San Franciskos" në anglisht në formularin e kërkimit, Wolfram | Alpha do të shfaqë menjëherë tabela dhe grafikë me një krahasim.

Sa më mirë

Ky shërbim është më i mirë se të tjerët për gjetjen e fakteve dhe llogaritjen e të dhënave. Wolfram | Alpha mbledh dhe organizon njohuritë e disponueshme në ueb nga një sërë fushash, duke përfshirë shkencën, kulturën dhe argëtimin. Nëse kjo bazë të dhënash përmban një përgjigje të gatshme për një pyetje kërkimi, sistemi e shfaq atë; nëse jo, ai llogarit dhe shfaq rezultatin. Në këtë rast, përdoruesi sheh vetëm dhe asgjë të tepërt.

Pse ju duhet

Nëse jeni, për shembull, student, analist, gazetar ose shkencëtar kërkimor, mund të përdorni Wolfram | Alpha për të gjetur dhe llogaritur të dhëna në lidhje me punën tuaj. Shërbimi nuk i kupton të gjitha kërkesat, por vazhdimisht po evoluon dhe bëhet më i zgjuar.

çfarë është ajo

Motori metakërkues Dogpile shfaq një listë të kombinuar të rezultateve nga rezultatet e kërkimit nga Google, Yahoo dhe motorë të tjerë të njohur kërkimi.

Sa më mirë

Së pari, Dogpile shfaq më pak reklama. Së dyti, shërbimi përdor një algoritëm të veçantë për të gjetur dhe shfaqur rezultatet më të mira nga motorë të ndryshëm kërkimi. Sipas zhvilluesve të Dogpile, sistemi i tyre gjeneron rezultatet më të plota të kërkimit në të gjithë internetin.

Pse ju duhet

Nëse nuk mund të gjeni informacion në Google ose në një motor tjetër kërkimi standard, kërkojeni atë në disa motorë kërkimi menjëherë duke përdorur Dogpile.

çfarë është ajo

BoardReader është një sistem për kërkimin e tekstit në forume, shërbime pyetjesh dhe përgjigjesh dhe komunitete të tjera.

Sa më mirë

Shërbimi ju lejon të ngushtoni fushën e kërkimit në platformat sociale. Falë filtrave specialë, mund të gjeni shpejt postime dhe komente që përputhen me kriteret tuaja: gjuhën, datën e publikimit dhe emrin e faqes.

Pse ju duhet

BoardReader mund të jetë i dobishëm për specialistët e PR dhe profesionistët e tjerë të medias që janë të interesuar për opinionin e masës për çështje të caktuara.

Së fundi

Jeta e motorëve alternativë të kërkimit është shpesh e shkurtër. Lifehacker pyeti Sergei Petrenko, ish-drejtorin e përgjithshëm të degës ukrainase të Yandex, për perspektivat afatgjata të projekteve të tilla.

Sergej Petrenko

Ish CEO i Yandex.Ukraine.

Sa i përket fatit të motorëve alternative të kërkimit, është e thjeshtë: të jenë projekte shumë të veçanta me një audiencë të vogël, pra, pa perspektiva të qarta tregtare, ose, anasjelltas, me qartësi të plotë të mungesës së tyre.

Nëse shikoni shembujt në artikull, mund të shihni se motorë të tillë kërkimi ose specializohen në një vend të ngushtë, por të kërkuar, i cili, ndoshta vetëm deri më tani, nuk është rritur aq sa të jetë i dukshëm në radarët e Google ose Yandex, ose po testojnë një hipotezë origjinale në renditje.e cila ende nuk është e zbatueshme në kërkimin e rregullt.

Për shembull, nëse një kërkim në Tor papritmas rezulton të jetë i kërkuar, domethënë, rezultatet nga atje do të nevojiten të paktën nga një përqindje e audiencës së Google, atëherë, natyrisht, motorët e zakonshëm të kërkimit do të fillojnë të zgjidhin problemin se si për t'i gjetur dhe treguar ato përdoruesit. Nëse sjellja e audiencës tregon se rezultatet duken më të rëndësishme për një pjesë të dukshme të përdoruesve në një numër të dukshëm pyetjesh, të dhënash pa marrë parasysh faktorët e varur nga përdoruesi, atëherë Yandex ose Google do të fillojnë të japin rezultate të tilla.

“Të jesh më i mirë” në kontekstin e këtij artikulli nuk do të thotë “të jesh më i mirë në çdo gjë”. Po, në shumë aspekte heronjtë tanë janë larg Yandex (madje edhe Bing është larg). Por nga ana tjetër, secili prej këtyre shërbimeve i jep përdoruesit diçka që gjigantët e industrisë së kërkimit nuk mund ta ofrojnë. Me siguri edhe ju njihni projekte të ngjashme. Ndani me ne - ne do të diskutojmë.

Ata janë bërë një pjesë integrale e internetit rus për një kohë të gjatë. Motorët e kërkimit tani janë mekanizma të mëdhenj dhe kompleks që përfaqësojnë jo vetëm një mjet për gjetjen e informacionit, por edhe zona tërheqëse për biznesin.

Shumica e përdoruesve të motorëve të kërkimit nuk kanë menduar kurrë (ose kanë menduar, por nuk kanë gjetur përgjigje) për parimin e punës së motorëve të kërkimit, për skemën e përpunimit të kërkesave të përdoruesve, për atë nga përbëhen këto sisteme dhe si funksionojnë ato. .

Kjo klasë master synon t'i përgjigjet pyetjes se si funksionojnë motorët e kërkimit. Megjithatë, këtu nuk do të gjeni faktorë që ndikojnë në renditjen e dokumenteve. Për më tepër, nuk duhet të mbështeteni në një shpjegim të detajuar të algoritmit të funksionimit Yandex. Ai, sipas Ilya Segalovich, është drejtor i teknologjive dhe zhvillimit të motorit të kërkimit "Yandex", mund të njihet vetëm "nën torturë" nga vetë Ilya Segalovich ...

2. Koncepti dhe funksionet e motorit të kërkimit

Një motor kërkimi është një kompleks softuerësh dhe harduerësh i krijuar për të kryer kërkime në internet dhe për t'iu përgjigjur kërkesës së një përdoruesi, të specifikuar në formën e një fraze teksti (pyetje kërkimi), duke lëshuar një listë lidhjesh me burimet e informacionit, sipas rëndësisë. (në përputhje me kërkesën). Motorët kryesorë të kërkimit ndërkombëtar: "Google", "Yahoo", "MSN". Në internetin rus, këto janë Yandex, Rambler dhe Aport.

Le të hedhim një vështrim më të afërt në konceptin e një pyetje kërkimi duke përdorur motorin e kërkimit Yandex si shembull. Pyetja e kërkimit duhet të formulohet nga përdoruesi në përputhje me atë që ai dëshiron të gjejë, sa më shkurt dhe thjesht të jetë e mundur. Le të themi se duam të gjejmë informacion në Yandex se si të zgjedhim një makinë. Për ta bërë këtë, hapni faqen kryesore të "Yandex" dhe shkruani tekstin e pyetjes së kërkimit "si të zgjidhni një makinë". Më tej, detyra jonë është të hapim lidhje me burimet e informacionit në internet të ofruara me kërkesën tonë. Megjithatë, është shumë e mundur që të mos gjejmë informacionin që na nevojitet. Nëse kjo ndodh, atëherë ose duhet të riformuloni kërkesën tuaj, ose nuk ka vërtet asnjë informacion të përshtatshëm për kërkesën tonë në bazën e të dhënave të motorit të kërkimit (kjo mund të jetë kur vendosni pyetje shumë "të ngushta", të tilla si "si të zgjidhni një makinë në Arkhangelsk ")

Detyra kryesore e çdo motori kërkimi është t'u japë njerëzve saktësisht informacionin që ata kërkojnë. Dhe për t'i mësuar përdoruesit të bëjnë kërkesa "korrekte" në sistem, dmth. pyetjet që përputhen me parimet e motorëve të kërkimit nuk janë të mundshme. Prandaj, zhvilluesit krijojnë algoritme dhe parime të motorëve të kërkimit që do t'i lejojnë përdoruesit të gjejnë informacionin që kërkojnë.

Kjo do të thotë se motori i kërkimit duhet të "mendojë" ashtu siç mendon përdoruesi kur kërkon informacion. Kur një përdorues i bën një kërkesë një motori kërkimi, ai dëshiron të gjejë atë që i nevojitet sa më shpejt dhe me lehtësi. Pasi ka marrë rezultatin, ai vlerëson punën e sistemit, i udhëhequr nga disa parametra bazë. A e gjeti atë që kërkonte? Nëse jo, sa herë iu desh të riformulonte pyetjen për të gjetur atë që kërkonte? Sa i rëndësishëm ishte ai në gjendje të gjente informacion? Sa shpejt ishte motori i kërkimit duke përpunuar kërkesën? Sa të përshtatshme ishin rezultatet e kërkimit? Rezultati i dëshiruar ishte i pari apo i qindti? Sa mbeturina u gjetën së bashku me informacione të dobishme? A do ta gjeni informacionin që ju nevojitet kur t'i drejtoheni një motori kërkimi, të themi, në një javë apo në një muaj?

Për të kënaqur të gjitha këto pyetje me përgjigje, zhvilluesit e motorëve të kërkimit po përmirësojnë vazhdimisht algoritmet dhe parimet e kërkimit, duke shtuar funksione dhe aftësi të reja dhe duke u përpjekur në çdo mënyrë të mundshme të përshpejtojnë punën e sistemit.

3. Karakteristikat kryesore të motorit të kërkimit

Le të përshkruajmë karakteristikat kryesore të motorëve të kërkimit:

• Plotësia

  Plotësia është një nga karakteristikat kryesore të një motori kërkimi, që është raporti i numrit të dokumenteve të gjetura sipas kërkesës me numrin total të dokumenteve në internet që plotësojnë këtë kërkesë. Për shembull, nëse ka 100 faqe në internet që përmbajnë shprehjen "si të zgjidhni një makinë", dhe vetëm 60 prej tyre u gjetën për pyetjen përkatëse, atëherë plotësia e kërkimit do të jetë 0.6. Natyrisht, sa më i plotë të jetë kërkimi, aq më pak ka gjasa që përdoruesi të mos gjejë dokumentin që i nevojitet, me kusht që ai të ekzistojë fare në internet.

• Saktësia

  Saktësia është një tjetër karakteristikë kryesore e një motori kërkimi, e cila përcaktohet nga shkalla në të cilën dokumentet e gjetura përputhen me kërkesën e përdoruesit. Për shembull, nëse pyetja "si të zgjidhni një makinë" përmban 100 dokumente, 50 prej tyre përmbajnë frazën "si të zgjidhni një makinë", dhe pjesa tjetër përmban thjesht këto fjalë ("si të zgjidhni regjistruesin e duhur të radios dhe të instaloni atë në një makinë”), atëherë saktësia e kërkimit konsiderohet e barabartë me 50/100 (= 0,5). Sa më i saktë të jetë kërkimi, aq më shpejt përdoruesi do të gjejë dokumentet që i nevojiten, aq më pak lloje të ndryshme "plehrash" do të hasen midis tyre, aq më rrallë dokumentet e gjetura nuk do të përputhen me kërkesën.

• Rëndësia

  Rëndësia është një komponent po aq i rëndësishëm i kërkimit, i cili karakterizohet nga koha që kalon nga momenti kur dokumentet publikohen në internet derisa ato të futen në bazën e indeksit të motorit të kërkimit. Për shembull, të nesërmen pas shfaqjes së lajmeve interesante, një numër i madh përdoruesish iu drejtuan motorëve të kërkimit me pyetje përkatëse. Objektivisht ka kaluar më pak se një ditë nga publikimi i informacionit të lajmeve për këtë temë, por dokumentet kryesore tashmë janë indeksuar dhe janë në dispozicion për kërkim, falë ekzistencës së të ashtuquajturës "bazë e shpejtë" në motorët e mëdhenj të kërkimit. e cila përditësohet disa herë në ditë.

• Shpejtësia e kërkimit

  Shpejtësia e kërkimit është e lidhur ngushtë me rezistencën e saj ndaj stresit. Për shembull, sipas Rambler Internet Holding LLC, sot, gjatë orarit të punës, motori i kërkimit Rambler merr rreth 60 pyetje në sekondë. Një ngarkesë e tillë kërkon një reduktim të kohës së përpunimit të një kërkese individuale. Këtu, interesat e përdoruesit dhe motorit të kërkimit përkojnë: vizitori dëshiron të marrë rezultate sa më shpejt të jetë e mundur, dhe motori i kërkimit duhet të përpunojë pyetjen sa më shpejt që të jetë e mundur në mënyrë që të mos ngadalësojë llogaritjen e pyetjeve të mëposhtme.

• Dukshmëria

4. Një histori e shkurtër e zhvillimit të motorëve të kërkimit

Në periudhën fillestare të zhvillimit të internetit, numri i përdoruesve të tij ishte i vogël, dhe sasia e informacionit në dispozicion ishte relativisht e vogël. Në pjesën më të madhe, vetëm punonjësit hulumtues kishin akses në internet. Në këtë kohë, detyra e kërkimit të informacionit në internet nuk ishte aq urgjente sa është tani.

Një nga mënyrat e para për të organizuar aksesin në burimet e informacionit të rrjetit ishte krijimi i katalogëve të hapur të faqeve, lidhjet me burimet në të cilat grupoheshin sipas temës. Projekti i parë i tillë ishte faqja Yahoo.com, e cila u hap në pranverën e vitit 1994. Pasi numri i vendeve në katalog u rrit ndjeshëm, u shtua aftësia për të kërkuar informacionin e nevojshëm në katalog. Në kuptimin e plotë, ai nuk ishte ende një motor kërkimi, pasi zona e kërkimit ishte e kufizuar vetëm në burimet e pranishme në drejtori, dhe jo në të gjitha burimet e Internetit.

Drejtoritë e lidhjeve janë përdorur gjerësisht në të kaluarën, por kanë humbur pothuajse plotësisht popullaritetin e tyre në kohën e tanishme. Meqenëse edhe moderne, të mëdha për nga vëllimi i tyre, katalogët përmbajnë informacion vetëm për një pjesë të parëndësishme të internetit. Drejtoria më e madhe e rrjetit DMOZ (i quajtur edhe Projekti i Drejtorisë së Hapur) përmban informacion mbi 5 milionë burime, ndërsa baza e motorit të kërkimit Google përbëhet nga më shumë se 8 miliardë dokumente.

Në 1995, u shfaqën motorët e kërkimit Lycos dhe AltaVista. I fundit për shumë vite ishte një lider në fushën e kërkimit të informacionit në internet.

Në vitin 1997, Sergey Brin dhe Larry Page krijuan motorin e kërkimit Google si pjesë e një projekti kërkimor në Universitetin Stanford. Google është aktualisht motori më i popullarizuar i kërkimit në botë!

Në Shtator 1997, u njoftua zyrtarisht motori i kërkimit Yandex, i cili është më i popullarizuari në internetin rusishtfolës.

Aktualisht, ekzistojnë tre motorë kërkimi kryesorë (ndërkombëtarë) - Google, Yahoo dhe, të cilët kanë bazat e të dhënave dhe algoritmet e tyre të kërkimit. Shumica e motorëve të tjerë të kërkimit (nga të cilët ka një numër të madh) përdorin në një formë ose në një tjetër rezultatet e tre të listuara. Për shembull, kërkimi AOL (search.aol.com) përdor një bazë Google, ndërsa AltaVista, Lycos dhe AllTheWeb përdorin një bazë Yahoo.

5. Përbërja dhe parimet e motorit të kërkimit

Në Rusi, motori kryesor i kërkimit është Yandex, pastaj - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Për më tepër, për momentin, Mail.ru përdor motorin e kërkimit dhe bazën e të dhënave Yandex.

Pothuajse të gjithë motorët kryesorë të kërkimit kanë strukturën e tyre që është e dallueshme nga të tjerët. Sidoqoftë, është e mundur të veçohen komponentët kryesorë të përbashkët për të gjithë motorët e kërkimit. Dallimet në strukturë mund të jenë vetëm në formën e zbatimit të mekanizmave për ndërveprimin e këtyre komponentëve.

Moduli i indeksimit

Moduli i indeksimit përbëhet nga tre programe ndihmëse (robotët):

Spider (merimangë) - një program i krijuar për të shkarkuar faqe në internet. Merimanga shkarkon faqen dhe nxjerr të gjitha lidhjet e brendshme nga ajo faqe. html-kodi i secilës faqe shkarkohet. Robotët përdorin protokollet HTTP për të shkarkuar faqet. "Merimanga" funksionon si më poshtë. Roboti dërgon kërkesën "merr / shteg / dokument" dhe disa komanda të tjera të kërkesës HTTP në server. Si përgjigje, roboti merr një rrjedhë teksti që përmban informacionin e shërbimit dhe vetë dokumentin.

• URL e faqes
• data e shkarkimit të faqes
• Përgjigja e serverit http header
• trupi i faqes (html-code)

Crawler (merimangë "udhëtuese") - një program që zvarritet automatikisht të gjitha lidhjet që gjenden në faqe. Thekson të gjitha lidhjet e pranishme në faqe. Detyra e tij është të përcaktojë se ku duhet të shkojë më pas merimanga, bazuar në lidhje ose bazuar në një listë të paracaktuar adresash. Crawler, duke ndjekur lidhjet e gjetura, kërkon dokumente të reja që janë ende të panjohura për motorin e kërkimit.

Indexer është një program që analizon faqet e internetit të shkarkuara nga merimangat. Indeksuesi e analizon faqen në pjesët përbërëse të saj dhe i analizon ato duke përdorur algoritmet e veta leksikore dhe morfologjike. Analizohen elementë të ndryshëm të faqeve, të tilla si teksti, titujt, lidhjet, veçoritë strukturore dhe të stilit, etiketat e shërbimit të veçantë html, etj.

Kështu, moduli i indeksimit ju lejon të zvarritni një grup të caktuar burimesh sipas lidhjeve, të shkarkoni faqet e hasura, të nxirrni lidhje me faqet e reja nga dokumentet e marra dhe të kryeni një analizë të plotë të këtyre dokumenteve.

Baza e të dhënave

Një bazë të dhënash, ose një indeks i një motori kërkimi, është një sistem ruajtjeje të dhënash, një grup informacioni që ruan parametrat e konvertuar posaçërisht të të gjithë dokumenteve të shkarkuar dhe përpunuar nga moduli i indeksimit.

Kërko Server

Serveri i kërkimit është një element thelbësor i të gjithë sistemit, pasi cilësia dhe shpejtësia e kërkimit varet drejtpërdrejt nga algoritmet që qëndrojnë në themel të funksionimit të tij.

Motori i kërkimit funksionon si më poshtë:

• Kërkesa e marrë nga përdoruesi i nënshtrohet analizës morfologjike. Gjenerohet mjedisi i informacionit i secilit dokument që gjendet në bazën e të dhënave (i cili më pas do të shfaqet si informacion teksti që korrespondon me kërkesën në faqen e rezultateve të kërkimit).
• Të dhënat e marra kalohen si parametra hyrës në një modul të veçantë të rangut. Të dhënat përpunohen për të gjitha dokumentet, si rezultat i të cilave, për secilin dokument, llogaritet vlerësimi i tij, i cili karakterizon rëndësinë e pyetjes së futur nga përdoruesi dhe përbërësit e ndryshëm të këtij dokumenti të ruajtur në indeksin e motorit të kërkimit.
• Në varësi të zgjedhjes së përdoruesit, ky vlerësim mund të rregullohet nga kushte shtesë (për shembull, i ashtuquajturi "kërkim i avancuar").
• Më pas, gjenerohet një fragment, domethënë për çdo dokument të gjetur, titulli, një shënim i shkurtër që përputhet më mirë me kërkesën dhe një lidhje me vetë dokumentin nxirren nga tabela e dokumentit dhe theksohen fjalët e gjetura.
• Rezultatet e kërkimit që rezultojnë i transmetohen përdoruesit në formën e një SERP (Search Engine Result Page) - faqja e rezultateve të kërkimit.

Siç mund ta shihni, të gjithë këta komponentë janë të lidhur ngushtë me njëri-tjetrin dhe punojnë në ndërveprim, duke formuar një mekanizëm të qartë, mjaft kompleks për funksionimin e motorit të kërkimit, i cili kërkon një shpenzim të madh burimesh.

6. Përfundim

Tani le të përmbledhim të gjitha sa më sipër.

• Detyra kryesore e çdo motori kërkimi është t'u japë njerëzve saktësisht informacionin që ata kërkojnë.
• Karakteristikat kryesore të motorëve të kërkimit:
  1. Plotësia
  2. Saktësia
  3. Rëndësia
  4. Shpejtësia e kërkimit
  5. Dukshmëria
• Motori i parë i plotë i kërkimit ishte projekti WebCrawler, i botuar në 1994.
• Motori i kërkimit përfshin komponentët e mëposhtëm:
  1. Moduli i indeksimit
  2. Baza e të dhënave
  3. Kërko Server

Shpresojmë që klasa jonë master do t'ju lejojë të njiheni më shumë rreth konceptit të motorëve të kërkimit, të njihni më mirë funksionet kryesore, karakteristikat dhe parimin e funksionimit të motorëve të kërkimit.