Cherokee daje naslov svim publikacijama korisnika. Korištenje malo poznatih Google funkcija za pronalaženje skrivene stvari

Za svakog operatera postoji lakša verzija sa kraćim imenom (bez prefiksa all). Razlika je u tome što će allinurl pronaći veze sa svim riječima, dok će inurl pronaći veze samo sa prvom od njih. Druga i naredne riječi iz upita mogu se pojaviti bilo gdje na web stranicama. Operator inurl se također razlikuje od drugog sličnog po značenju - site. Prvi vam takođe omogućava da pronađete bilo koji niz znakova u linku do željenog dokumenta (na primer, /cgi-bin/), koji se široko koristi za pronalaženje komponenti sa poznatim ranjivostima.

Hajde da probamo u praksi. Uzimamo filter allintext i tjeramo upit da vrati listu brojeva kreditnih kartica i verifikacionih kodova, koji će isteći tek nakon dvije godine (ili kada se vlasnici umore od hranjenja svih za redom).

Allintext: datum isteka broja kartice /2017 cvv

Kada na vijestima pročitate da je mladi haker "provalio u servere" Pentagona ili NASA-e, kradući povjerljive podatke, onda se u većini slučajeva radi upravo o ovoj elementarnoj tehnici korištenja Gugla. Pretpostavimo da nas zanima lista NASA-inih zaposlenika i njihove kontakt podatke. Svakako da je takva lista u elektronskom obliku. Radi praktičnosti ili zbog previda, može se nalaziti i na samoj web stranici organizacije. Logično je da u ovom slučaju neće biti referenci na njega, jer je namijenjen za internu upotrebu. Koje riječi mogu biti u takvom fajlu? Najmanje - polje "adresa". Lako je testirati sve ove pretpostavke.

inurl:nasa.gov tip datoteke:xlsx "adresa"

Koristimo birokratiju

Takvi nalazi su ugodna sitnica. Zaista solidan ulov dolazi iz detaljnijeg poznavanja Google Webmaster Operatora, samog Weba i strukture onoga što tražite. Poznavajući detalje, možete lako filtrirati izlaz i precizirati svojstva datoteka koje su vam potrebne kako biste u ostatku dobili zaista vrijedne podatke. Smiješno je da ovdje birokratija priskače u pomoć. Proizvodi tipične formulacije koje olakšavaju traženje tajnih informacija koje su slučajno procurile na web.

Na primjer, izjava o distribuciji, koja je obavezna u uredu Ministarstva odbrane SAD-a, znači standardizirana ograničenja distribucije dokumenta. Slovo A označava javna saopštenja u kojima nema ničeg tajnog; B - namenjen samo za internu upotrebu, C - strogo poverljivo, i tako dalje do F. Posebno se nalazi slovo X koje označava posebno vredne podatke koji predstavljaju državnu tajnu najvišeg nivoa. Neka takvi dokumenti traže oni koji to treba da rade na dužnosti, a mi ćemo se ograničiti na fajlove sa slovom C. Prema DoDI 5230.24, takva oznaka se dodjeljuje dokumentima koji sadrže opis kritičnih tehnologija koje potpadaju pod kontrolu izvoza. Takve pažljivo čuvane informacije možete pronaći na sajtovima u domenu najvišeg nivoa .mil koji je dodeljen američkoj vojsci.

"IZJAVA O DISTRIBUCIJI C" inurl:navy.mil

Veoma je zgodno da se u .mil domenu prikupljaju samo sajtovi Ministarstva odbrane SAD i njegovih ugovornih organizacija. Rezultati pretraživanja ograničeni na domene su izuzetno čisti, a naslovi govore sami za sebe. Praktično je beskorisno tražiti ruske tajne na ovaj način: haos vlada u domenima .ru i .rf, a nazivi mnogih oružanih sistema zvuče kao botanički (PP "Kiparis", samohodne topove "Acacia") ili čak fantastičan (TOS "Pinokio").

Pažljivim ispitivanjem bilo kog dokumenta sa sajta u domenu .mil, možete videti druge markere kako biste precizirali pretragu. Na primjer, referenca na ograničenja izvoza "Sec 2751", koja je također zgodna za traženje zanimljivih tehničkih informacija. S vremena na vrijeme se uklanja sa zvaničnih stranica, gdje se nekada pojavio, pa ako ne možete pratiti zanimljiv link u rezultatima pretrage, koristite Google cache (cache operator) ili web stranicu Internet Archive.

Penjemo se u oblake

Osim slučajno deklasificiranih dokumenata iz vladinih odjela, u Google cache-u povremeno iskaču linkovi ka ličnim datotekama iz Dropboxa i drugih servisa za pohranu podataka koji stvaraju "privatne" veze ka javno objavljenim podacima. Još je gore sa alternativnim i samostalnim uslugama. Na primjer, sljedeći upit pronalazi podatke svih Verizon klijenata koji imaju instaliran FTP server i koji aktivno koriste ruter na svom ruteru.

Allinurl:ftp://verizon.net

Sada ima više od četrdeset hiljada takvih pametnih ljudi, a u proljeće 2015. bilo ih je za red veličine više. Umjesto Verizon.net-a, možete zamijeniti ime bilo kojeg poznatog provajdera, a što je poznatiji, ulov može biti veći. Preko ugrađenog FTP servera možete vidjeti datoteke na vanjskom disku spojenom na ruter. Obično je ovo NAS za daljinski rad, lični oblak ili neka vrsta peer-to-peer preuzimanja datoteka. Sav sadržaj takvih medija je indeksiran od strane Google-a i drugih pretraživača, tako da možete pristupiti datotekama pohranjenim na vanjskim diskovima putem direktne veze.

Peeping configs

Prije masovne migracije na oblake, jednostavni FTP serveri, koji također nisu imali ranjivosti, vladali su kao udaljena skladišta. Mnogi od njih su i danas aktuelni. Na primjer, popularni program WS_FTP Professional pohranjuje konfiguracijske podatke, korisničke račune i lozinke u datoteci ws_ftp.ini. Lako ga je pronaći i pročitati jer su svi unosi pohranjeni u običnom tekstu, a lozinke su šifrirane pomoću Triple DES algoritma nakon minimalnog zamagljivanja. U većini verzija dovoljno je jednostavno odbaciti prvi bajt.

Dešifriranje takvih lozinki je jednostavno pomoću uslužnog programa WS_FTP Password Decryptor ili besplatnog web servisa.

Kada se govori o hakiranju proizvoljnog sajta, oni obično misle na dobijanje lozinke iz logova i rezervnih kopija CMS ili konfiguracionih datoteka aplikacije za e-trgovinu. Ako znate njihovu tipičnu strukturu, lako možete naznačiti ključne riječi. Linije poput onih koje se nalaze u ws_ftp.ini su izuzetno česte. Na primjer, Drupal i PrestaShop uvijek imaju korisnički ID (UID) i odgovarajuću lozinku (pwd), a sve informacije se pohranjuju u datoteke sa ekstenzijom .inc. Možete ih tražiti ovako:

"pwd=" "UID=" ext:inc

Otkrivamo lozinke iz DBMS-a

U konfiguracijskim datotekama SQL servera, korisnička imena i adrese e-pošte pohranjuju se u čistom tekstu, a umjesto lozinki, snimaju se njihovi MD5 hešovi. Njihovo dešifriranje, strogo govoreći, nemoguće je, ali možete pronaći podudaranje među poznatim parovima heš-lozinke.

Do sada postoje DBMS-ovi koji čak ne koriste heširanje lozinke. Konfiguracijske datoteke bilo koje od njih mogu se jednostavno pregledati u pretraživaču.

Intext:DB_PASSWORD tip datoteke:env

Pojavom Windows servera, mjesto konfiguracijskih datoteka dijelom je zauzeo registar. Možete pretraživati ​​njegove grane na potpuno isti način, koristeći reg kao tip datoteke. Na primjer, ovako:

Filetype:reg HKEY_CURRENT_USER "Lozinka"=

Ne zaboravite očigledno

Ponekad je moguće doći do povjerljivih informacija uz pomoć podataka koje je Google slučajno otvorio i uhvatio. Idealna opcija je pronaći listu lozinki u nekom uobičajenom formatu. Samo očajni ljudi mogu pohraniti informacije o nalogu u tekstualnu datoteku, Word dokument ili Excel tabelu, ali uvijek ih ima dovoljno.

Tip datoteke:xls inurl:lozinka

S jedne strane, postoji mnogo sredstava za sprečavanje ovakvih incidenata. Potrebno je navesti odgovarajuća prava pristupa u htaccess-u, zakrpiti CMS, ne koristiti lijeve skripte i zatvoriti ostale rupe. Postoji i datoteka sa listom isključenja robots.txt, koja zabranjuje pretraživačima da indeksiraju datoteke i direktorije navedene u njoj. S druge strane, ako se struktura robots.txt na nekom serveru razlikuje od standardne, onda odmah postaje jasno šta na njoj pokušavaju da sakriju.

Listi direktorija i datoteka na bilo kojoj stranici prethodi standardni natpis indeks. Budući da se mora pojaviti u naslovu u svrhu usluge, ima smisla ograničiti njegovu pretragu na operator naslova. Zanimljive stvari se mogu naći u direktorijumima /admin/, /personal/, /etc/ pa čak i /secret/.

Pratite ažuriranja

Ovdje je relevantnost izuzetno važna: stare ranjivosti se vrlo sporo zatvaraju, ali Google i njegovi rezultati pretraživanja se stalno mijenjaju. Postoji čak i razlika između filtera "poslednje sekunde" (&tbs=qdr:s na kraju URL-a zahtjeva) i filtera "u stvarnom vremenu" (&tbs=qdr:1).

Vremenski interval datuma posljednjeg ažuriranja fajla od Google-a je također implicitno naznačen. Preko grafičkog web sučelja možete odabrati jedan od tipičnih perioda (sat, dan, sedmica i tako dalje) ili postaviti raspon datuma, ali ovaj metod nije prikladan za automatizaciju.

Iz izgleda adresne trake, može se samo nagađati način da se ograniči izlaz rezultata korištenjem &tbs=qdr: konstrukcije. Slovo y iza njega navodi ograničenje od jedne godine (&tbs=qdr:y), m prikazuje rezultate za posljednji mjesec, w za sedmicu, d za prošli dan, h za posljednji sat, n za minut, i s za trenutak. Najnoviji rezultati koji su upravo poznati Googleu nalaze se pomoću &tbs=qdr:1 filtera.

Ako trebate napisati lukavu skriptu, bit će korisno znati da je raspon datuma postavljen u Googleu u julijanskom formatu preko operatora raspona datuma. Na primjer, ovako možete pronaći listu PDF dokumenata sa riječju povjerljivo postavljenih od 1. januara do 1. jula 2015. godine.

Povjerljivi tip datoteke:pdf daterange:2457024-2457205

Opseg je naveden u julijanskom formatu datuma bez decimala. Nezgodno ih je prevoditi ručno sa gregorijanskog kalendara. Lakše je koristiti konvertor datuma.

Ponovno ciljanje i filtriranje

Pored navođenja dodatnih operatora u upitu za pretraživanje, oni se mogu poslati direktno u tijelo veze. Na primjer, karakteristika filetype:pdf odgovara konstrukciji as_filetype=pdf. Stoga je zgodno postaviti bilo kakva pojašnjenja. Recimo da se izlaz rezultata samo iz Republike Honduras postavlja dodavanjem konstrukcije cr=countryHN URL-u pretrage, ali samo iz grada Bobruisk - gcs=Bobruisk . Pogledajte odjeljak za programere za kompletnu listu .

Googleovi alati za automatizaciju dizajnirani su da olakšaju život, ali često povećavaju gnjavažu. Na primjer, korisnikov grad je određen IP-om korisnika preko WHOIS-a. Na osnovu ovih informacija, Google ne samo da balansira opterećenje između servera, već i mijenja rezultate pretraživanja. Ovisno o regiji, za isti upit, različiti rezultati će doći do prve stranice, a neki od njih mogu se pokazati potpuno skrivenim. Osjećate se kao kosmopolita i u potrazi za informacijama iz bilo koje zemlje pomoći će njen dvoslovni kod nakon direktive gl=country. Na primjer, kod Holandije je NL, dok Vatikan i Sjeverna Koreja nemaju svoj kod u Guglu.

Često su rezultati pretraživanja pretrpani čak i nakon upotrebe nekoliko naprednih filtera. U ovom slučaju, lako je precizirati upit dodavanjem nekoliko riječi izuzetaka (svakoj od njih prethodi znak minus). Na primjer, bankarstvo, imena i tutorial se često koriste uz riječ Personal. Stoga, jasniji rezultati pretraživanja neće pokazati primjer upita iz udžbenika, već rafinirani:

Naslov:"Indeks /Personal/" -nazivi -vodič -bankarstvo

Poslednji primer

Sofisticiranog hakera odlikuje činjenica da sam sebi obezbjeđuje sve što mu je potrebno. Na primjer, VPN je zgodna stvar, ali skupa ili privremena i sa ograničenjima. Registrirati se samo za sebe je preskupo. Dobro je što postoje grupne pretplate, a uz pomoć Google-a lako je postati dio grupe. Da biste to učinili, samo pronađite Cisco VPN konfiguracijsku datoteku, koja ima prilično nestandardnu ​​ekstenziju PCF i prepoznatljivu putanju: Program Files\Cisco Systems\VPN Client\Profiles. Jedan zahtjev i pridružite se, na primjer, ljubaznom osoblju Univerziteta u Bonu.

Tip datoteke:pcf vpn ILI grupa

INFO

Lozinke su pohranjene u šifriranom obliku, ali Maurice Massard je već napisao program za njihovo dešifriranje i pruža ga besplatno putem thecampusgeeks.com.

Uz pomoć Google-a izvode se stotine različitih vrsta napada i testova penetracije. Postoji mnogo opcija koje utiču na popularne programe, glavne formate baza podataka, brojne ranjivosti PHP-a, oblake i tako dalje. Znajući šta tačno tražite, znatno je lakše doći do informacija koje su vam potrebne (naročito do informacija koje niste namjeravali objaviti). Ne samo Shodan daje zanimljive ideje, već bilo koja baza podataka indeksiranih mrežnih resursa!

A danas ću vam reći o još jednom pretraživaču koji koriste pentesteri/hakeri - Google-u, tačnije o skrivenim karakteristikama Google-a.

Šta je google dorks?

Google Dork ili Google Dork Queries (GDQ) je skup upita za identifikaciju najgorih sigurnosnih rupa. Sve što nije propisno skriveno od robota za pretraživanje.

Radi sažetosti, takvi zahtjevi se nazivaju Google dorks ili jednostavno dorks, poput onih administratora čiji su resursi hakovani pomoću GDQ-a.

Google Operatori

Za početak, želio bih dati malu listu korisnih Google komandi. Među svim naprednim naredbama Google pretraživanja, najviše nas zanimaju ove četiri:

• site - traženje određene stranice;
• inurl - označava da riječi za pretraživanje trebaju biti dio stranice/adrese web-mjesta;
• intitle - operator pretraživanja u naslovu same stranice;
• ext ili filetype - traži datoteke određenog tipa prema ekstenziji.

Također, kada kreirate Dork, morate znati nekoliko važnih operatora koji su postavljeni posebnim znakovima.

• | - operator OR, također poznat kao vertikalna kosa crta (logička ili), označava da želite prikazati rezultate koji sadrže barem jednu od riječi navedenih u upitu.
• "" - Operator navodnika označava pretragu tačnog podudaranja.
• - - operator minus se koristi za isključivanje iz izlaza rezultata sa riječima navedenim iza minusa.
• * - operator zvjezdica, ili zvjezdica se koristi kao maska ​​i znači "bilo što".

Gdje pronaći Google Dorks

Najzanimljiviji dork su svježi, a najsvježiji su oni koje je pentester sam pronašao. Istina, ako se previše zanesete eksperimentima, bit ćete zabranjeni na Googleu... dok ne unesete captcha.

Ako nemate dovoljno mašte, možete pokušati pronaći svježe kretene na mreži. Najbolja stranica za pronalaženje glupana je Exploit-DB.

Online usluga Exploit-DB je neprofitni projekat Ofanzivne sigurnosti. Ukoliko neko nije upoznat, ova kompanija se bavi obukom iz oblasti informacione sigurnosti, a pruža i usluge pentest (penetracijskog testiranja).

Exploit-DB baza podataka ima ogroman broj gluposti i ranjivosti. Da biste tražili dorkove, idite na stranicu i idite na karticu "Google Hacking Database".

Baza podataka se ažurira svakodnevno. Na vrhu možete pronaći najnovije dodatke. Na lijevoj strani datum kada je dork dodan, naslov i kategorija.

Na dnu ćete pronaći dork sortirane po kategorijama.

Još jedna dobra stranica je ovo. Tamo često možete pronaći zanimljive, nove kretene koji ne završe uvijek na Exploit-DB-u.

Primjeri korištenja Google Dork-a

Evo primjera glupana. Kada eksperimentišete sa dorkovima, ne zaboravite na odricanje odgovornosti!

Ovaj materijal je samo u informativne svrhe. Namijenjen je stručnjacima iz oblasti informacione sigurnosti i onima koji će to postati. Informacije sadržane u članku date su samo u informativne svrhe. Ni uredništvo stranice www.site niti autor publikacije ne snose nikakvu odgovornost za bilo kakvu štetu uzrokovanu materijalom u ovom članku.

Dorks za pronalaženje problema sa sajtom

Ponekad je korisno proučiti strukturu web lokacije tako što ćete dobiti listu datoteka na njoj. Ako je stranica napravljena na WordPress engine-u, tada datoteka repair.php pohranjuje imena drugih PHP skripti.

Inurl tag govori Google-u da traži prvu riječ u tijelu veze. Ako bismo napisali allinurl, onda bi se pretraga odvijala po cijelom tijelu veze, a rezultati pretrage bi bili razbacani. Stoga je dovoljno uputiti ovakav zahtjev:

inurl:/maint/repair.php?repair=1

Kao rezultat, dobićete listu sajtova na WP-u, čiju strukturu možete videti preko repair.php.

Mnogo problema administratorima isporučuje WordPress sa neotkrivenim greškama u konfiguraciji. Iz otvorenog dnevnika možete saznati barem nazive skripti i preuzetih datoteka.

inurl:"wp-content/uploads/file-manager/log.txt"

U našem eksperimentu, najjednostavniji zahtjev nam je omogućio da pronađemo direktnu vezu do sigurnosne kopije u dnevniku i preuzmemo je.

Mnogo vrijednih informacija može se izvući iz dnevnika. Dovoljno je znati kako izgledaju i po čemu se razlikuju od mase drugih fajlova. Na primjer, sučelje otvorenog koda za bazu podataka pod nazivom pgAdmin kreira pgadmin.log servisnu datoteku. Često sadrži korisnička imena, nazive stupaca baze podataka, interne adrese i slično.

Dnevnik se pronalazi pomoću elementarnog upita:

ext:log inurl:"/pgadmin"

Postoji mišljenje da je open source siguran kod. Međutim, sama po sebi, otvorenost izvornih kodova znači samo mogućnost da se oni istraže, a ciljevi takvog istraživanja daleko su od uvijek dobri.

Na primjer, među okvirima za razvoj web aplikacija popularno je Symfony Standard Edition. Kada se implementira, automatski kreira datoteku parameters.yml u direktoriju /app/config/, gdje sprema ime baze podataka, kao i korisničko ime i lozinku.

Ovu datoteku možete pronaći sa sljedećim upitom:

inurl:app/config/ intext:parameters.yml intitle:index.of

Naravno, tada se lozinka može promijeniti, ali najčešće ostaje ista kao što je postavljena u fazi implementacije.

Otvoreni izvorni alat UniFi API pretraživača se sve više koristi u korporativnom okruženju. Koristi se za upravljanje segmentima bežičnih mreža kreiranih po principu "bešavne Wi-Fi mreže". Odnosno, u šemi implementacije mreže preduzeća u kojoj se mnoge pristupne tačke kontrolišu iz jednog kontrolera.

Uslužni program je dizajniran da prikaže podatke tražene preko Ubiquiti UniFi Controller API-ja. Uz njegovu pomoć, lako je pregledati statistiku, informacije o povezanim klijentima i druge informacije o radu servera putem UniFi API-ja.

Programer iskreno upozorava: „Imajte na umu da ovaj alat otkriva VIŠE informacija dostupnih u vašem kontroleru, tako da biste trebali nekako ograničiti pristup njemu! Nema sigurnosnih kontrola ugrađenih u alat…”. Ali čini se da mnogi ova upozorenja ne shvataju ozbiljno.

Znajući za ovu funkciju i postavljajući još jedan specifičan zahtjev, vidjet ćete mnogo servisnih podataka, uključujući ključeve aplikacije i pristupne fraze.

inurl:"/api/index.php" intitle:UniFi

Opće pravilo pretraživanja: prvo određujemo najkonkretnije riječi koje karakteriziraju odabrani cilj. Ako je to datoteka evidencije, po čemu se razlikuje od drugih dnevnika? Ako je ovo datoteka sa lozinkama, gdje i u kojem obliku se one mogu pohraniti? Riječi markera uvijek se nalaze na nekom određenom mjestu - na primjer, u naslovu web stranice ili njenoj adresi. Ograničavanjem opsega vaše pretrage i postavljanjem preciznih markera, dobit ćete sirove rezultate pretraživanja. Zatim ga očistite od krhotina, navodeći zahtjev.

Dorks za pronalaženje otvorenog NAS-a

Kućna i kancelarijska mrežna skladišta su popularna ovih dana. Funkciju NAS-a podržavaju mnogi eksterni diskovi i ruteri. Većina njihovih vlasnika ne zamara se sigurnošću, pa čak ni ne mijenjaju zadane lozinke poput admin/admin. Popularni NAS možete pronaći prema tipičnim naslovima njihovih web stranica. Na primjer, zahtjev:

intitle:"Dobro došli u QNAP Turbo NAS"

će vratiti listu NAS IP-ova koje je proizveo QNAP. Ostaje samo pronaći među njima slabo zaštićene.

QNAP cloud servis (kao i mnogi drugi) ima funkciju dijeljenja datoteka putem privatne veze. Problem je što nije toliko zatvoren.

inurl:share.cgi?ssid=

Ovaj jednostavan upit prikazuje datoteke koje se dijele putem QNAP oblaka. Mogu se pogledati direktno iz pretraživača ili preuzeti za detaljnije informacije.

Dorks za pretraživanje IP kamera, medijskih servera i web administratora

Osim NAS-a, možete pronaći mnogo drugih mrežnih uređaja kojima se upravlja putem weba s naprednim Google pretragama.

Najčešća upotreba za ovo je CGI skriptiranje, tako da je main.cgi datoteka obećavajuća meta. Međutim, on se može sresti bilo gdje, pa je bolje razjasniti zahtjev.

Na primjer, dodavanjem tipa poziva? next_file. Kao rezultat, dobijamo budala u obliku:

inurl:"img/main.cgi?next_file"

Pored kamera, slično su locirani i medijski serveri, otvoreni za sve. Ovo posebno važi za Twonky servere koje proizvodi Lynx Technology. Imaju vrlo prepoznatljivo ime i podrazumevani port 9000.

Za jasnije rezultate pretrage, bolje je navesti broj porta u URL-u i isključiti ga iz tekstualnog dijela web stranica. Zahtjev ima formu

intitle:"twonky server" inurl:"9000" -intext:"9000"

Tipično, Twonky server je ogromna biblioteka medija koja dijeli sadržaj putem UPnP-a. Autorizacija na njima je često onemogućena „zbog pogodnosti“.

Dorks za pronalaženje ranjivosti

Veliki podaci su trenutno u modi: vjeruje se da će, ako dodate velike podatke bilo čemu, magijski funkcionirati bolje. U stvarnosti, postoji vrlo malo pravih stručnjaka za ovu temu, a uz zadanu konfiguraciju, veliki podaci dovode do velikih ranjivosti.

Hadoop je jedan od najlakših načina za kompromitaciju tera-, pa čak i petabajta podataka. Ova platforma otvorenog koda sadrži dobro poznata zaglavlja, brojeve portova i servisne stranice koje olakšavaju pronalaženje čvorova kojima upravlja.

intitle:"Informacije o nazivu" I inurl:":50070/dfshealth.html"

Sa ovim konkatenacionim upitom, dobijamo rezultat pretrage sa listom ranjivih sistema zasnovanih na Hadoop-u. Možete proći kroz HDFS sistem datoteka direktno iz pretraživača i preuzeti bilo koju datoteku.

Google Dorki je moćan alat za svakog pentestera, za koji ne bi trebao znati samo stručnjak za sigurnost informacija, već i običan korisnik mreže.

Jezik upita je umjetno stvoren programski jezik koji se koristi za izradu upita u bazama podataka i informacionim sistemima.

Općenito, takve metode upita mogu se klasificirati ovisno o tome da li služe za bazu podataka ili za pronalaženje informacija. Razlika je u tome što se zahtjevi prema ovakvim servisima postavljaju kako bi se dobili stvarni odgovori na postavljena pitanja, dok tražilica pokušava pronaći dokumente koji sadrže informacije vezane za oblast od interesa za korisnika.

Baza podataka

Jezici upita za baze podataka uključuju sljedeće primjere:

• QL - objektno orijentisan, odnosi se na nasljednika Datalog-a.
• Kontekstualni (CQL) je formalni jezik upita za sisteme za pronalaženje informacija (kao što su web indeksi ili bibliografski katalozi).
• CQLF (CODYASYL) - za baze podataka tipa CODASYL.
• Konceptualno orijentisani jezik upita (COQL) – koristi se u konformnim modelima (com). Zasnovan je na principima konstruktivnog modeliranja podataka i koristi operacije kao što su projekcija i deprojekcija multivarijantne analize, analitičke operacije i inferencije.
• DMX - koristi se za modele
• Datalog je deduktivni jezik upita za bazu podataka.
• Gellish English je jezik koji se može koristiti za upite Gellish English bazama podataka i omogućava dijaloge (upite i odgovore) kao i modeliranje informacija o znanju.
• HTSQL - prevodi http zahtjeve u SQL.
• ISBL - koristi se za PRTV (jedan od prvih sistema za upravljanje relacionim bazama podataka).
• LDAP je protokol za upite i usluge direktorija koji radi preko TCP/IP-a.
• MDX - potreban za OLAP baze podataka.

Pretraživači

Jezik upita za pretragu je zauzvrat usmjeren na pronalaženje podataka u tražilicama. Razlikuje se po tome što upiti često sadrže običan tekst ili hipertekst sa dodatnom sintaksom (npr. "i"/"ili"). Značajno se razlikuje od standardnih sličnih jezika, koji su vođeni strogim pravilima sintakse komandi ili sadrže pozicione parametre.

Kako se klasifikuju upiti za pretraživanje?

Postoje tri široke kategorije koje pokrivaju većinu pojmova za pretraživanje: informativni, navigacijski i transakcijski. Iako ova klasifikacija nije teoretski utvrđena, empirijski je potvrđena prisustvom stvarnih upita u pretraživačima.

Info upiti su oni koji pokrivaju široke teme (kao što je određeni grad ili model kamiona) za koje se mogu generirati hiljade relevantnih rezultata.

Navigacijski upiti su pretrage za jednu stranicu ili web stranicu na određenu temu (kao što je YouTube).

Transakcijski – odražavaju namjeru korisnika da izvrši određenu radnju, na primjer, da kupi automobil ili rezervira kartu.

Pretraživači često podržavaju četvrti tip upita, koji se mnogo rjeđe koristi. To su takozvani zahtjevi za povezivanje koji izvještavaju o povezanosti indeksiranog web grafa (broj veza do određenog URL-a ili koliko stranica je indeksirano sa određene domene).

Kako se traže informacije?

Postale su poznate interesantne karakteristike pretraživanja weba:

Prosječna dužina upita za pretraživanje bila je 2,4 riječi.

• Otprilike polovina korisnika poslala je jedan zahtjev, a nešto manje od trećine korisnika je poslalo tri ili više jedinstvenih zahtjeva jedan za drugim.
• Gotovo polovina korisnika je pogledala samo prvu ili dvije stranice rezultata.
• Manje od 5% korisnika koristi napredne opcije pretraživanja (kao što je odabir bilo koje određene kategorije ili pretraživanje u pretrazi).

Karakteristike prilagođenih radnji

Studija je takođe pokazala da 19% upita sadrži geografski pojam (npr. imena, poštanski brojevi, geografske karakteristike, itd.). Također je vrijedno napomenuti da su pored kratkih upita (odnosno, uz nekoliko uvjeta), često postojali i predvidljivi obrasci u kojima su korisnici mijenjali svoje fraze za pretraživanje.

Također je utvrđeno da se 33% zahtjeva od istog korisnika ponavlja, au 87% slučajeva korisnik klikne na isti rezultat. Ovo sugerira da mnogi korisnici koriste ponovljene upite za reviziju ili ponovno otkrivanje informacija.

Distribucija frekvencija zahtjeva

Osim toga, stručnjaci su potvrdili da frekvencijske distribucije zahtjeva odgovaraju zakonu moći. Odnosno, mali dio ključnih riječi se posmatra na najvećoj listi za pretragu (na primjer, više od 100 miliona), a one su najčešće korištene. Preostale fraze u okviru istih tema koriste se rjeđe i više pojedinačno. Ovaj fenomen je nazvan Pareto princip (ili "pravilo 80-20"), i omogućio je pretraživačima da koriste tehnike optimizacije kao što su indeksiranje ili particioniranje baze podataka, keširanje i prethodno dohvaćanje, a također je omogućio poboljšanje pretraživača. jezik upita.

Poslednjih godina otkriveno je da se prosečna dužina upita stalno povećava tokom vremena. Dakle, prosječan upit na engleskom je postao duži. S tim u vezi, Google je implementirao ažuriranje pod nazivom "Kolibri" (u avgustu 2013.), koje je u stanju da obrađuje duge fraze za pretraživanje s neprotokolskim, "kolokvijalnim" jezikom upita (poput "gdje je najbliži kafić?").

Za duže upite koristi se njihova obrada - podijeljeni su na fraze formulirane na standardnom jeziku, a odgovori se prikazuju zasebno za različite dijelove.

Strukturirani upiti

Pretraživači koji podržavaju sintaksu također koriste naprednije jezike upita. Korisnik koji traži dokumente koji pokrivaju više tema ili aspekata može svaku od njih opisati logičkom karakteristikom riječi. U svojoj srži, jezik logičkog upita je skup određenih fraza i znakova interpunkcije.

Šta je napredna pretraga?

Jezik upita "Yandex" i "Google" je u stanju da izvrši usko ciljanu pretragu, pod određenim uslovima. Napredno pretraživanje može pretraživati ​​prema dijelu naslova stranice ili prefiksu naslova, kao i prema određenim kategorijama i listama imena. Također može ograničiti pretraživanje stranica koje sadrže određene riječi u naslovu ili su u određenim grupama tema. Kada se pravilno koristi, jezik upita može upravljati parametrima koji su složeniji od površnih rezultata većine pretraživača, uključujući riječi koje je odredio korisnik s promjenjivim završetcima i sličnim pravopisima. Prilikom predstavljanja naprednih rezultata pretrage, bit će prikazana veza do relevantnih dijelova stranice.

To je također mogućnost pretraživanja svih stranica koje sadrže određenu frazu, dok sa standardnim upitom, pretraživači ne mogu stati ni na jednoj stranici diskusije. U mnogim slučajevima, jezik upita može dovesti do bilo koje stranice koja se nalazi u noindex oznakama.

U nekim slučajevima, dobro oblikovan upit vam omogućava da pronađete informacije koje sadrže niz posebnih znakova i slova iz drugih alfabeta (kineske znakove na primjer).

Kako se čitaju znakovi jezika upita?

Velika i mala slova, kao i neki (umlauti i akcenti) se ne uzimaju u obzir prilikom pretraživanja. Na primjer, pretraživanjem ključne riječi Citroen nećete pronaći stranice koje sadrže riječ "Citroen". Ali neke ligature odgovaraju pojedinačnim slovima. Na primjer, pretraživanjem riječi "aeroskobing" lako ćete pronaći stranice koje sadrže "Ereskoebing" (AE = Æ).

Mnogi nealfanumerički znakovi se dosljedno zanemaruju. Na primjer, nemoguće je pronaći informacije o upitu koji sadrži string |L| (slovo između dvije okomite trake), iako se ovaj znak koristi u nekim predlošcima konverzije. Rezultati će sadržavati samo podatke sa "LT". Neki znakovi i fraze se obrađuju drugačije: "zajam (finansije)" će prikazati članke s riječima "zajam" i "finansije" zanemarujući zagrade, čak i ako postoji članak s tačnim naslovom "zajam (finansije)".

Postoji mnogo funkcija koje se mogu koristiti pomoću jezika upita.

Sintaksa

Jezik upita "Yandex" i "Google" može koristiti neke interpunkcijske znakove da precizira pretragu. Primjer su vitičaste zagrade - ((pretraga)). Fraza sadržana u njima će se pretraživati ​​u cijelosti, bez promjena.

Fraza in vam omogućava da odredite objekat pretrage. Na primjer, citirana riječ će biti prepoznata kao korištena u figurativnom smislu ili kao izmišljeni lik, bez navodnika kao informacija više dokumentarne prirode.

Osim toga, svi glavni pretraživači podržavaju znak "-" za logično "ne" kao i/ili. Izuzetak su pojmovi koji ne mogu imati prefiks sa crticom ili crticom.

Netačno podudaranje fraze za pretraživanje označeno je simbolom ~. Na primjer, ako se ne sjećate tačnog teksta pojma ili imena, možete ga unijeti u traku za pretragu sa navedenim znakom i moći ćete dobiti rezultate koji imaju maksimalnu sličnost.

Opcije prilagođene pretrage

Tu su i parametri pretraživanja kao što su naslov i kategorija. Oni su filteri razdvojeni dvotočkom u obliku "filter: string upita". Niz upita može sadržavati traženi pojam ili frazu, dio ili puni naziv stranice.

Funkcija "intitle:query" daje prioritet rezultatima pretraživanja naslova, ali također prikazuje normalne rezultate za sadržaj naslova. Nekoliko ovih filtera se može koristiti istovremeno. Kako iskoristiti ovu priliku?

Upit poput "intitle: naziv aerodroma" će vratiti sve članke koji sadrže naziv aerodroma u naslovu. Ako to formulirate kao „naslov parkinga: naziv aerodroma“, dobićete članke sa nazivom aerodroma u naslovu i spominjanjem parkinga u tekstu.

Pretraga po filteru "kategorija: Kategorija" radi na principu inicijalnog izdavanja članaka koji pripadaju određenoj grupi ili listi stranica. Na primjer, upit za pretragu poput "Kategorija hramova: Istorija" će vratiti rezultate koji se odnose na istoriju hramova. Ova funkcija se također može koristiti kao napredna funkcija postavljanjem različitih parametara.