Strukturirani tipovi podataka. Velika enciklopedija nafte i gasa

Stranica 1

Strukturirani podaci u Adi se mogu koristiti u obliku nizova i zapisa. Pored toga, strukturiranim podacima u Adi se može pristupiti pomoću pokazivača. Upotreba nizova sa nespecificiranim granicama omogućava parametriziranje nizova i korištenje potprograma koji koriste nizove promjenljive veličine kao parametre.

Semantika varijabli u jeziku PILOT / 2.

Obrada složeno strukturiranih podataka u vanjskoj memoriji je karakteristično svojstvo svih LPZ-ova. Ali pored ovoga, potrebne su i obične varijable. Zato su registri i stekovi uvedeni u PILOT/2.

Skupovi procedura koje predstavljaju strukturirane podatke imaju zanimljivo i ponekad korisno svojstvo: mogu se koristiti za konstruiranje drugih mogućih reprezentacija. Tako, na primjer, prikaz liste 2 logički slijedi iz prikaza liste 1, a prvi od njih bi mogao biti opremljen instrukcijama korištenjem odgovarajućih kontrolnih direktiva koje bi omogućile izlaz drugog pogleda. U ovom kontekstu, prikaz liste 2 bi se ponašao kao normalan skup procedura koje proizvode izlaz. Ova sposobnost logičkih iskaza da istovremeno funkcionišu i kao obične procedure i kao reprezentacije struktura podataka pokazuje da je svaka navodna razlika između procedura i podataka u suštini pragmatična i da se odnosi samo na upotrebu ovih resursa, a ne na njihove inherentne atribute.

Komponente niza predstavljaju strukturirane podatke istog tipa. Niz kombinuje podatke sa istim svojstvima. Za razliku od nizova, komponente direktnog (kartezijanskog) proizvoda mogu imati različite tipove. Direktni (kartezijanski) proizvod, poput niza, jedan je od osnovnih strukturiranih tipova podataka, a naziva se i zapis ili struktura.

Znanje su dobro strukturirani podaci, ili podaci o podacima, ili metapodaci.

U terminskoj reprezentaciji, strukturirani podaci se formiraju korištenjem funkcionalnih simbola koji omogućavaju da se njegovi sastavni dijelovi sastave u grupe. Tako bi, na primjer, lista (10 20 30) mogla biti predstavljena terminom 10.20.30. NIL, u kojem svaki funktor tačke grupiše element s njegove lijeve strane s repom liste s njegove desne strane. I konstante i strukturirani termini mogu se smatrati u suštini pasivnim objektima namijenjenim za manipulaciju procedurama.

Tehnologija ALTOP, nastala na osnovu rada na softveru automatizovanog sistema upravljanja, fokusirana je na klasu programa za strukturiranu obradu podataka. Ovaj razvoj uključuje originalne alate za sastavljanje početnih opisa, o kojima se govori u odjeljcima 2.4 i 2.5, i metodologiju dizajna (vidi pogl.

Dakle, klasa strukturiranih podataka predstavlja podatke za koje skladištenje zahtijeva kreiranje fiksnih skupova formata. Baze podataka koje pohranjuju takve podatke formatirane su determinističkom shemom, orijentiranom na preliminarnu fiksaciju i klasifikaciju objekata u vanjskom okruženju, precizan iskaz svojstava i odnosa opisanih u bazi podataka iz unaprijed kreiranog skupa fiksnih formata.

Baza podataka je zbirka strukturiranih podataka.

Koriste se različite tehnike i metode za postavljanje strukturiranih podataka u linearne memorijske strukture. Takvi podaci se po pravilu prikazuju u obliku lista, a efikasnost pretraživanja i druge karakteristike sistema za obradu podataka direktno zavise od njihove organizacije.

Imena u programima se koriste za označavanje jednostavnih varijabli, strukturiranih podataka, strukturiranih elemenata podataka, konstanti, potprograma, operacija, oznaka izraza, formalnih parametara i drugih elemenata programa. Imena mogu biti nesložena ili složena.

Jezik jezika je zasnovan na neoperatorskim sredstvima za opisivanje hijerarhijski strukturiranih podataka. Jedinstveno određuje putanju kretanja i pristup bazi podataka. Osim toga, jezici imaju alate slične proceduralnim programskim jezicima.

Formalni upitnik dizajniran za obradu i snimanje strukturiranih podataka.

U ovoj terminologiji, baza podataka se može definirati kao zbirka posebno strukturiranih podataka i veza između njihovih elemenata, segmenata i logičkih zapisa. Konstrukcija baza podataka u ovom shvatanju moguća je samo za informacione objekte koji imaju svojstva zajednička za celu klasu. Ako je potrebno objektima dati pojedinačna svojstva u informacijskoj bazi, preporučljivo je izgraditi nestrukturirane baze podataka koje omogućavaju zapis informacija na prirodnom jeziku.

26.05.2017 Vrijeme čitanja: 30 minuta

Jedna od najdubljih želja vlasnika web stranica i SEO stručnjaka je da se njihova web stranica istakne u rezultatima pretrage kako bi se izdvojila od konkurencije i korisnici češće kliknuli na nju. Najefikasniji metod za postizanje ovog cilja je rad sa strukturiranim podacima. U ovom članku pokušat ćemo razumjeti što su strukturirani podaci i kako ih možete implementirati na svoju web stranicu.

Gdje je sve počelo?

Jedinstvena shema formata za semantičko označavanje stranica, koju sada svi znamo i koristimo, pojavila se 2011. godine uz podršku takvih divova kao što su Google, Yahoo! i Microsoft (kasnije se pridružio četvrti igrač, Yandex). Prije toga, označavanje podataka je postojalo u različitim formatima i nije postojala jedinstvena struktura. Na primjer, Yahoo! postojao je servis pod nazivom “SearchMonkey”, koji vam je već 2008. godine omogućio da označite podatke na stranici i kreirate jedinstvene isječke u rezultatima pretraživanja vašeg pretraživača.

Korporacije su imale globalni cilj - razviti zajednički format za strukturirane podatke koji bi poboljšao prikaz stranica u pretraživačima i poboljšao kvalitet pretraživanja. Inicijatori su postigli svoje ciljeve, kao rezultat toga je nastao rječnik schema.org, koji kombinira ogroman broj pravila za označavanje mikro podataka na web stranici.

Šta su strukturirani podaci?

Strukturirani podaci su informacije koje su predstavljene u jedinstvenom i ispravnom obliku u skladu sa određenim skupom pravila.

Nećemo opisivati ​​principe rada sa svakim rječnikom, već ćemo detaljnije analizirati samo tri od njih: Json-ld, Opne Graph i schema.org.

Počnimo s popularnim rječnikom mikropodataka schema.org. Rezultat saradnje između Google-a, Yahoo-a!, Microsoft-a i Yandexa aktivno se razvija i redovno se ažurira do danas. U trenutku kreiranja članka, rječnik sadrži opise za 589 tipova dokumenata, 860 svojstava objekata i 114 specifičnih vrijednosti. Kompletna lista svih svojstava navedena je u razgrananoj hijerarhiji na ovoj stranici.

Glavni najviši tip entiteta u schema.org rječniku je Thing, koji je zauzvrat podijeljen na nekoliko drugih podtipova. Neki od njih:

• CreativeWork – opšti skup pravila za opisivanje kreativnog rada: članci, knjige, filmovi, fotografije, softver, itd.;
• Događaj – skup pravila za događaje koji su se desili ili će se desiti u određenom vremenskom periodu: sastanci, koncerti, izložbe itd.;
• Nematerijalno je klasa usluga koja uključuje nekoliko nematerijalnih stvari kao što su veličine, ocjene, opisi slobodnih radnih mjesta, usluge itd.;
• Organizacija – skup pravila za označavanje organizacija, potpuna lista različitih tipova poslovanja navedena je na stranici localBusiness. Ovu listu možete pogledati i u pomoći za Yandex https://yandex.ru/support/webmaster/supported-schemas/address-organization.html;
• Osoba – entitet koji se koristi za opisivanje živih, umrlih, izmišljenih pojedinaca ili likova;
• Mjesto – skup pravila za nešto što ima fiksnu fizičku lokaciju (zgrada, park, spomenik, itd.);
• Proizvod je sve što je stvoreno za prodaju. Na primjer, par cipela, karta ili auto.

Svaki podtip uključuje veliki broj oznaka za opis, tako da će gotovo svaka vrsta poslovanja pronaći potrebnu vrstu oznake.

Većina oznaka u rječniku ima slučajeve upotrebe u obliku primjera HTML koda ili JSON-LD skripte. U nastavku ćemo pogledati primjere izgleda stranica sa člankom (člankom), proizvodom (proizvodom) i organizacijom (organizacijom).

Predložak za označavanje članka pomoću schema.org

Najčešće se označavaju mikropodaci kao što su URL, datePublished, dateModified, naslov, slika, autor, izdavač itd. Pogledajmo konkretan primjer:

Primjeri označavanja članaka pomoću schema.org IME PREZIME "ŠIRINA LOGO U PIKSELIMA" visina= "VISINA LOGO U PIKSELIMA" src= "LINK NA SLIKA LOGO" alt= /> NAZIV ČLANKA OPIS ČLANKA IME AUTORA NASLOV H1 "PREGLED ŠIRINE U PIKSELIMA" height= "PREGLED VISINE U PIKSELIMA" src= "LINK ZA PREGLED SLIKE" alt= "ALTERNATNI OPIS PREGLEDA" /> ОСНОВНОЙ ТЕКСТ СТАТЬИ ДОЛЖЕН БЫТЬ ЗДЕСЬ !}

Većina označenih članaka slijedi sličan obrazac. Vrijedi napomenuti da su u ovom primjeru neki od tagova naznačeni u odjeljku (meta opis i link do autora u g+), a ostatak je napisan u tijelu HTML dokumenta. Nije potrebno koristiti neke oznake, na primjer, članak će se osjećati sjajno bez označavanja člankomBody ili oznakama izdavača, ali tada je malo vjerovatno da će proći provjeru valjanosti u Yandex ili Google alatima.

Slika 3. Primjer stranice u rezultatima pretrage sa mikro markiranjem članka u Google-u. Datum objave se pojavljuje pored članka.

Slika 4. Primjer stranice u rezultatima pretrage za isti zahtjev kao na slici 3, samo u Yandexu. Datum se pojavljuje na desnoj strani, s datumom objavljenim ili kreiranim na vrhu i datumom izmijenjenim ispod.

Predložak mikro označavanja kartice proizvoda pomoću schema.org

Sljedeća vrsta mikro označavanja koju ćemo razmotriti bit će proizvod ili, drugim riječima, semantička oznaka kartice proizvoda.

SADRŽAJ H1 "LINK NA SLIKU" title= "CONTENTS H1" >!} CIJENA U RUBLJAMA KOJA UKAZUJE DOSTUPNOST PROIZVODA OPIS PROIZVODA

Obratite posebnu pažnju na format cijene, jer većina grešaka u mikro označavanju kartica proizvoda leži u njemu. Možemo napisati bilo koju cijenu u tekstu u bilo kojem formatu, a direktno u samoj oznaci cijene navodimo cijenu strogo u monetarnom formatu, inače će pretraživači zanemariti ovu liniju.

Slika 5. Primjer iz rezultata Google pretraživanja koji pokazuje cijenu u formatu “OD” i “DO”.

Predložak organizacijske sheme koristeći schema.org

Posljednji obrazac koji ćemo pogledati je označavanje organizacije. Obično se ova oznaka koristi za strukturiranje informacija na stranici za kontakt.

NAZIV ORGANIZACIJE ULICA, GRAD, REGIJA. "LINK NA LOGO" /> Telefon: BROJ TELEFONA

schema.org ima veoma veliki vokabular. Zbog toga mogu nastati poteškoće pri radu s njim, ali nisu sve oznake u markiranju potrebne i većina se može napustiti. U navedenim primjerima naznačio sam najosnovnije oznake koje se mogu koristiti pri radu sa schema.org markupom, ali ih može biti mnogo više.

Google ima specijal alat za označavanje stranica prema schema.org rječniku. To čini kreiranje izgleda stranica mnogo lakšim.

Slika 6. Primjer iz Yandex. Dodatne informacije o organizaciji prikazane su ispod opisa stranice i mogu se implementirati ručno, korištenjem oznake ili pomoću usluge Yandex.Directory.

Prednosti i nedostaci mikro markiranja schema.org

• Veliki rečnik koji se stalno ažurira;
• Podržavaju svi popularni pretraživači;
• Kod nije skriven skriptama i u potpunosti je sadržan u sadržaju stranice;
• Poboljšava prikaz isječaka u rezultatima pretrage;
• Možete pronaći oznake za skoro svaku web lokaciju;
• Postoje dodaci za automatizaciju generisanja mikro markupa;
• Aktivno se razvija i širi.

• Veliki broj šema označavanja može uplašiti nepripremljenog korisnika;
• Potrebno je osnovno poznavanje izgleda i promjena koda stranice;
• Komplikuje HTML kod, što usporava razvoj sajta;
• Sva zvanična referentna dokumentacija je na engleskom jeziku;
• Nemaju sve nekretnine primjere korištenja na službenoj web stranici.

Alati za rad sa schema.org mikro markiranjem

Kada radite sa mikro markiranjem schema.org, usluge kao što su:

• Google alat za provjeru strukturiranih podataka;
• Asistent na mikro označavanju stranica prema schema.org rječniku od Google-a. Kao rezultat, dobijamo HTML kod stranice sa već implementiranim mikro markiranjem;
• Provjera semantičke oznake iz Yandexa;
• Službena web stranica za označavanje;
• Neslužbeni prijevod web stranice schema.org na ruski;
• “All In One Schema.org Rich Snippets”, “Wprichsnippets.com”, “Schema App Structured Data” - dodaci za WordPress koji automatski generišu schema.org semantičke oznake;
• Notepad++ - ili bilo koji drugi uređivač teksta.

Ovaj protokol je razvio Facebook kako bi poboljšao prikaz isječaka linkova sa vanjskih stranica na društvenim mrežama. Ovo je vjerovatno jedan od najjednostavnijih i najmanjih rječnika mikropodataka. Možete početi implementirati markup s četiri osnovna svojstva:

• og:title - naslov stranice.
• og:type - tip objekta, na primjer, “music.album”(album). U zavisnosti od tipa, podržana su i druga svojstva. Sve moguće karakteristike tipske oznake navedene su na službenoj web stranici.
• og:image - URL slike.
• og:url - kanonski URL objekta.

Sve oznake "Open Graph" za označavanje su napisane u kontejneru.

Osim osnovnih svojstava, možete odrediti i dodatna koja će poboljšati prikaz linkova na društvenim mrežama:

• og:audio – URL do audio datoteke ako se pušta muzika pri otvaranju stranice.
• og:determiner je riječ koja se pojavljuje ispred imena ovog objekta u rečenici. Unesite enum (a, an, the, "", auto). Ako je odabrano automatski, korisnik podataka mora izabrati između "a" ili "an". Podrazumevano je " " (prazno). Oznaka je najrelevantnija za segment engleskog govornog područja zbog upotrebe različitih članaka poput “a”, “the”, “an” itd.
• og:description – opis stranice, dozvoljeni broj znakova od 160 do 295 karaktera.
• og:locale – jezik i država. Format prikaza je language_TERRITORY, default je en_US. Za segment na ruskom jeziku upisuje se oznaka ru_RU.
• og:locale:alternate – alternativni jezik ili država.
• og:site_name – naziv stranice.
• og:video – URL videa.

Otvorite predložak rasporeda stranice grafikona

Ispod je primjer HTML koda sa svim mogućim svojstvima; u praksi, neke od navedenih oznaka nisu specificirane i dovoljna su standardna četiri svojstva:

NASLOV STRANICE...

Prednosti i nedostaci Open Graph mikropodataka

Posljednji tip označavanja i strukturiranja podataka koji ćemo pogledati je JSON-LD. Ovo užasno ime znači “JavaScript Object Notation Linked Data”. “World Wide Web Consortium” ili, drugim riječima, “W3C” je odgovoran za razvoj formata. Ovaj format obavlja istu funkciju kao schema.org, ali na malo drugačiji način: strukturira podatke koristeći JavaScript, što čini rad nekoliko puta lakšim.

Jedna od prednosti ovog formata je što se za opisivanje podataka koristi rječnik schema.org. Dakle, koristeći JSON-LD skripte možemo opisati bilo koju vrstu entiteta i poboljšati prikaz naše stranice u rezultatima pretraživanja, trošeći minimalno vrijeme na to. Štoviše, to se može učiniti bez uvođenja HTML oznaka u tijelo stranice; samo trebate navesti u kontejneru, a zatim zapisati sve potrebne uvjete za označavanje i zatvoriti skriptu.

Radi jasnoće, uporedimo oznake schema.org i JSON-LD:

Tenisice

Tenisice ( "@context" : "https://schema.org/" , "@type" : "Proizvod" , "price" : "100,00" ) Tenisice

Predložak za označavanje članka koristeći JSON-LD

Uzeo sam primjer označavanja koristeći JSON-LD na osnovu mikro označavanja članka na schema.org iz istog materijala iznad. Koriste se sva ista svojstva.

NAZIV ČLANKA //Tip skripte je naznačen, u našem slučaju to je ld+json ( "@context" : "https://schema.org" ,//Navedena je biblioteka koja će se koristiti za označavanje stranice " @type" : "Članak" ,/ /Odredite tip entiteta "mainEntityOfPage" : ( //ID članka je naveden, obično je veza do članka jednostavno navedena "@type" : "WebPage" , "@id " : "LINK NA ČLANAK" ), "url" : "LINK NA ČLANAK " , // Navedite kanonsku vezu na članak "datePublished" : "DATUM OBJAVLJIVANJA" , // Navedite datum objave "dateModified" : "DATUM PROMJENE" , // Navedite datum izmjene "headline" : "HEADING H1" , // Odredite naslov "image" : ( "@type" : "ImageObject" , "url" : "LINK TO PREVIEW" , //Umeće vezu na sliku za pregled članka "visina" : PREGLED VISINA U PIKSELIMA , //Određuje visinu i širinu slike u pikselima "width" : PREGLED ŠIRINA U PIKSELAMA), "articleBody" : "" , "author" : ( "@type" : "Osoba" , "ime" : "IME AUTORA" , //Navedite ime autora "url" : "LINK DO PROFILA AUTORA (G+, LIČNA STRANA NA SAJTU )" //Navedite link do profila autora na Google Plus ili do lične stranice na stranici), "izdavač": ( "@type": "Organizacija", "name": "NAZIV ORGANIZACIJE" ,//Navedite naziv organizacije "logo" : ( "@type" : "ImageObject" , "url" : "LINK NA LOGO" ,//Označi vezu do logotipa kompanije "visina" : LOGO VISINA , // Visina i širina logotipa "širina" se upisuje: LOGO WIDTH ) ) ) NAZIV ČLANKA

Postavlja se prirodno pitanje: šta je bolje schema.org ili JSON-LD? Ovdje je nemoguće dati precizan odgovor. Rad sa mikro-oznakama u JSON-LD formatu je lakši i ugodniji od rada sa istim schema.org rječnikom u HTML formatu, ali ima i svojih nedostataka. Na primjer, Google pretraživaču se savjetuje da koristi ovu tehnologiju za označavanje svojih stranica. Ali postoje problemi s Yandexom: ova vrsta oznake još se ne prikazuje u rezultatima pretraživanja zbog skripti, iako se stranice s JSON-LD oznakom provjeravaju na valjanost.

Yandex pretraživač ne prikazuje informacije označene pomoću JSON-LD meta-jezika u rezultatima pretraživanja.

Slika 8. Pismo Yandex tehničke podrške u vezi sa planovima za JSON-LD. Hvala korisniku na snimku ekranaOleh Holovkin .

U tom slučaju morate ispravno postaviti svoje prioritete. Ako su vam potrebni prošireni isječci u Yandexu i Google-u, onda koristimo staru dobru schema.org markup; ako ciljamo na Zapad, a naš glavni pretraživač je samo Google, tada se JSON-LD označavanje mora uzeti i implementirati bez odlaganja.

Prednosti i nedostaci JSON-LD markupa

• Format je nešto jednostavniji u poređenju sa schema.org;
• Preporučio Google;
• Postoje visokokvalitetni dodaci za WordPress engine;
• Zahvaljujući JavaScript-u, oznake su “nevidljive” prosječnom korisniku, za razliku od HTML-a;
• Skripta se postavlja samo u kontejner bez uvođenja dodatnih linija koda u tijelo stranice;
• Validirano u službenim Yandex i Google alatima za verifikaciju.

Kako drugačije možete označiti svoju stranicu?

Gore navedene metode označavanja odnose se na direktnu intervenciju u izvornom kodu stranice, ali postoje i druge metode strukturiranja podataka. To su marker podataka (marker) od Google-a i “Proizvodi i cijene” iz Yandexa. Koristeći ove alate, možete direktno proširiti isječke stranice u rezultatima pretraživanja s webmaster panela.

Slika 9. “Marker” u Search Console-u i usluga “Proizvodi i cijene” od Yandexa.

Google marker

Za početak obilježavanja potrebno vam je:

Idi instrument i odaberite tip podataka za označavanje. Trenutno ih ima samo 9:

• Događaji
• Lokalne organizacije
• Book Reviews
• Prijave
• Proizvodi
• Restorani
• Članci
• TV serije
• Filmovi

Slika 10. Panel za odabir vrste informacija za označavanje u Search Consoleu.

Zatim će Google ponuditi da provjeri ispravnost automatskog označavanja pet stranica. Ako se tokom procesa verifikacije pronađu greške u označavanju, one se mogu ispraviti. Posebno obratite pažnju na cijene ako označavate kartice proizvoda, jer alat vrlo često griješi u označavanju troška. Ako je alat označio stranicu na drugu temu (na primjer, označili ste kartice proizvoda i predložio je označavanje stranice kontakata), tada se ova stranica može izbrisati pomoću gumba u gornjem desnom kutu.

Slika 12. Dugme za brisanje pogrešno definisane markup stranice u Search Consoleu.

Nakon provjere uzoraka, ponovo provjeravamo listu označenih stranica i objavljujemo ih. Po završetku, Search Console će prikazati listu svih označenih grupa stranica na web mjestu koje se mogu uređivati ​​ili potpuno izbrisati.

Slika 13. Primjer liste već označenih stranica pomoću Google markera.

Ovo završava označavanje pomoću Google Markera. U ovom slučaju, nema apsolutno nikakve potrebe da znate HTML ili JavaScript, samo trebate ručno označiti svaku stranicu, a Google će sam obraditi podatke i izvršiti prilagođavanja isječaka pretraživanja. Ali Marker također ima svoje prednosti i nedostatke.

Prednosti i nedostaci označavanja pomoću Google Markera

• Označavanje bez uplitanja u izvorni kod stranica;
• Alat živi direktno u Google Search Console;
• Stranice se označavaju poluautomatski;
• Stranice možete grupirati po tipu;

• Oznake će se pojaviti samo u rezultatima Google pretraživanja;
• Alat ne označava uvijek informacije ispravno;
• Prilikom obilježavanja velike web stranice puno je ručnog rada.

Usluga "Proizvodi i cijene" Yandexa

Ovaj alat se sam po sebi ne odnosi baš na uobičajeno razumijevanje označavanja stranica, budući da se u Yandexu obično koristi za učitavanje informacija o proizvodu u Yandex.Market u YML formatu. Začudo, Yasha je uspio pronaći upotrebu za ovu vrstu informacija o proizvodu, a sada se stranice označene ovom uslugom često nalaze u organskim rezultatima pretraživanja. Glavna karakteristika “Proizvodi i cijene” je prikaz cijene proizvoda/usluge desno od linka na web stranicu u rezultatima Yandex pretrage.

Slika 14. Primjer prikaza cijene usluge u rezultatima Yandex pretrage sa povezanom uslugom „Proizvodi i cijene“.

Uslugu „Proizvodi i cijene“ mogu koristiti ne samo online trgovine, već i organizacije koje pružaju usluge. U tom slučaju ćete morati ručno kreirati YML dokument.

Dakle, da biste povezali uslugu "Proizvodi i cijene" u Yandexu, trebate:

Dodajte svoju web lokaciju Yandex Webmasteru i idite na uslugu "Proizvodi i cijene";

Zatim morate prihvatiti uslove ugovora ako ova usluga nije ranije bila povezana na stranicu.

Slika 15. Yandex ponudeupoznati sa YML formatom imenadžment putem veze.

Prednosti i nedostaci alata Yandex proizvodi i cijene

• To uvelike razlikuje stranicu od ostalih konkurenata u pretrazi i povećava CTR;
• Prije odlaska na stranicu korisnik dobiva informaciju o cijeni usluge/proizvoda;
• Pored cene, YML dokument navodi i druge parametre koji se takođe uzimaju u obzir prilikom generisanja isečka;
• U većini popularnih mehanizama za web stranice, generiranje datoteka se događa automatski ili poluautomatski.

• Rezultati sa cijenama bit će vidljivi samo u Yandex rezultatima;
• Učitavanje YML dokumenta nije omogućeno u svim CMS-ovima;
• Ako se cijene na sajtu često mijenjaju, potrebno je redovno generiranje dokumenata;
• Radno intenzivan ako trebate ručno označiti veliki broj stranica.

Alati za rad s uslugom Yandex proizvodi i cijene

Za razliku od Google Markera, za rad sa YML fajlom trebat će vam sljedeći alati za rad:

• Lista web mašina sa mogućnošću učitavanja YML dokumenata;
• YML generator dokumenata za ručno generiranje datoteke;

Zaključak

Implementacija označavanja strukturiranih podataka važan je korak koji može naknadno povećati CTR stranice u pretrazi i poboljšati prikaz sadržaja u rezultatima pretraživanja. Postoji nekoliko načina za označavanje vaše web stranice, ali trenutno je najprovjerenija implementacija schema.org markupa, budući da druge metode ili imaju ograničenu funkcionalnost ili su označene unutar iste tražilice.

Svaka metoda označavanja podataka ima svoje prednosti i nedostatke; prije početka implementacije trebali biste trezveno procijeniti svoje mogućnosti i odabrati najbolju opciju. Pojedinačne metode označavanja mogu se kombinirati jedna s drugom, na primjer, Open Graph sa schema.org i "Proizvodi i cijene" iz Yandexa. I zapamtite: prisustvo mikro označavanja na web mjestu ne garantuje promjenu isječka pretraživanja u rezultatima; prije svega, olakšava pretraživačima da indeksiraju stranicu.

Članak pripremio: Abdulin Konstantin, tehnolog SEO-ekspert kompanije za web sajt

Tema 4.7

Algoritamsko programiranje
formiranje i obrada
jednodimenzionalni nizovi

Strukturirani podaci

Često je potrebno obraditi ne pojedinačne podatke, već zbirku podataka istog tipa. Na primjer, zadatak tabelarna funkcija, koji se sastoji od dobivanja niza vrijednosti date funkcije za nekoliko vrijednosti argumenata. Da biste posredno pohranili svaku vrijednost primljenih podataka, morate deklarirati vlastitu varijablu s jedinstvenim imenom.

Pozivanje na svaku varijablu sekvence po imenu pretvara se u dugačak niz sličnih operacija sa svakom varijablom. Programski kod postaje slabo vidljiv. Takav program zahtijeva dosta memorije za smještaj.

Da bi eliminisali ove probleme, algoritamski jezici koriste strukturirane podatke. Najjednostavniji strukturirani podaci su skupovi podataka .

Niz je kolekcija varijabli istog tipa ( elementi niza). Sve varijable imaju isto ime, a za pristup određenom elementu niza koristi se dodatni identifikator - njegov serijski broj (indeks) koji počinje od 0.

Pored nizova u programiranju, druge standardne strukture podataka mogu se koristiti za izgradnju efikasnih algoritama, kao što su strukture podataka stekovi, redovi, povezane liste i drugi.

Zajedno sa standardnim strukturama podataka, mogu se koristiti korisnički definirane strukture podataka. Ove strukture podataka su definirane objektno orijentiranim programskim alatima koji koriste casovi .

4.7.2. Alati za opisivanje i rad sa jednodimenzionalnim
skupovi podataka

Niz je niz varijabli istog tipa, ujedinjenih zajedničkim ime. Na primjer: jednodimenzionalni niz a(9) sastoji se od 10 elemenata sa zajedničkim imenom a: a(0), a(1), a(2), a(3),..., a(9) , poredano po indeksu i, koji uzima vrijednosti od 0 do 9:

a(i)
i

Niz se deklarira u VB programu na isti način kao što su deklarirane jednostavne varijable. Ako je niz deklarisan lokalni, može se koristiti samo u postupku u kojem je deklariran. Ako je niz deklarisan kao globalno, može se koristiti bilo gdje u programu.

Kada deklarišete niz, izjava deklaracije mora sadržavati sljedeće informacije:

· ime niza– naziv (identifikator) koji se koristi za predstavljanje niza u programu;

· tip podataka– tip podataka koji imaju elementi niza;

· dimenzija (rang)– broj dimenzija deklariranog niza (tj. broj indeksa kada su deklarirani; jednodimenzionalni nizovi imaju jednu dimenziju);

· količina elemenata– broj elemenata koji će biti sadržani u nizu.

Pogledajmo primjere opisa nekih nizova:

U ovim primjerima deklarirani su sljedeći nizovi:

· jednodimenzionalni niz d, koji se sastoji od 31 elementa tipa Integer sa indeksima od 0 do 30;

· jednodimenzionalni niz a, koji se sastoji od 11 elemenata tipa Double sa indeksima od 0 do 10;

· dvodimenzionalni niz b, koji se sastoji od 14x11=151 elemenata tipa Single sa indeksima duž redova od 0 do 13 i kolona od 0 do 10.

Imajte na umu da je vrijednost donje granice niza u VBmože postojati samo 0 .

Dakle, niz se sastoji od elemenata kojima se može pristupiti pomoću indeksi. Prilikom pristupa elementima niza indeksi se pišu iza imena u zagradama i mogu biti bilo koji važeći cjelobrojni izraz. Na primjer, d(24), a(2*i+1).

Imajte na umu da broj indeksa označava veličinu niza. Dakle, u gornjem primjeru, dimenzija niza a(10) je jednaka jedan. Niz b(2,3) ima dimenziju 2.

Za razliku od dimenzije , veličina niza je broj elemenata u nizu. U našem primjeru, veličina niza, a(10) je 11.

Prije upotrebe niza u programu, on mora biti deklariran pomoću naredbe Dim, a elementima niza moraju biti dodijeljene određene vrijednosti. Dim operator dodeljuje memorijski prostor računar za postavljanje elemenata niza, nula elemente numeričkih nizova ili ispunjava elemente nizova nizova praznim nizovima ("""").

Kao i kod jednostavnih tipova podataka, kada se deklarišu nizovi, koji su strukturirani tipovi podataka, postoje dva načina da se dodijeli memorija: statički– u fazi kompilacije prije izvršavanja programa, i dinamičan– tokom izvršavanja programa. Po defaultu, niz čije su granice specificirane konstantnim izrazima smatra se statičkim. Memorija za smještaj takvog niza se dodjeljuje u fazi kompilacije i zadržava se za cijeli period izvršavanja.

Elemente niza možete ispuniti određenim vrijednostima koristeći unos vrijednosti elementa niza pomoću operatora zadaci ili koristeći inicijalizacija elementi niza.

Inicijaliziranje elemenata niza je dodjela vrijednosti element po element u iskazu deklaracije niza. U ovom slučaju, veličina niza nije navedena u zagradama iza imena niza, već je određena implicitno veličinom liste vrijednosti. Lista vrijednosti počinje s elementom na indeksu 0 i zatvorena je u kovrčavu zagrade, Na primjer:

Treba napomenuti da se, bez obzira na specifičan zadatak, algoritmi za formiranje i obradu nizova obično grade pomoću regularnih cikličkih struktura:

Da bi se olakšao rad s nizovima u procedurama, ugrađena funkcija se koristi za određivanje gornje granice niza
vezan( ArrayName).

Ova funkcija vraća (određuje) broj posljednjeg elementa niza i omogućava vam da obrađujete nizove u procedurama bez prosljeđivanja broja elemenata niza kao parametra. Na primjer,

Također možete koristiti metodu GetUpperBound() da odredite gornju granicu jednodimenzionalnog niza. Pošto je niz jednodimenzionalan, vrijednost 0 treba navesti u zagradama. Na primjer:

Osim toga, znamo da ključna riječ ByVal specificira da se argument niza prenosi po vrijednosti, a ByRef ključna riječ specificira da se argument niza prosljeđuje referencom. Imajte na umu da ako su ključne riječi ByVal ili ByRef izostavljene, argument niza se prosljeđuje referencom.

Dakle, kada se opisuju formalni parametri bilo koje procedure poslije ArrayNameUvijek morate uključiti prazne zagrade jer one označavaju da je ovaj parametar jednodimenzionalni niz.

Imajte na umu da nema zagrada iza imena niza, što je stvarni parametar.

Kao što znate, prosljeđivanje argumenata po vrijednosti (koristeći ključnu riječ ByVal) uzrokuje da VB prosledi kopiju podataka proceduri. Stoga, ne biste trebali prosljeđivati ​​nizove po vrijednosti osim ako to zaista nije potrebno.

Informatika 2017

Učitelj: Makhno K.V.

Tema lekcije: „Datoteke i njihova obrada. Strukturirani podaci"

Svrha: upoznati učenike sa konceptom niza, razmotriti tehnike rada sa ovim vrstama nizova.

Ciljevi lekcije:

Obrazovni– razvoj kognitivnog interesovanja, logičkog mišljenja.

Obrazovni– uvesti pojam niza, proučiti i konsolidovati osnovne vještine u radu s nizovima.

Razvojni– razvoj logičkog mišljenja, pamćenja, pažnje, širenje vidika.

Vrsta lekcije: lekcija - učenje novog gradiva.

Pogled: lekcija - predavanje.

Tehnologija: problematično - istraživanje.

Oprema: posteri koji prikazuju sintaksu niza u sva tri korišćena programska jezika, interaktivna tabla, projektor.

Plan lekcije

Organiziranje vremena.

Proučavanje nove teme.

Faza generalizacije, sistematizacije znanja i konsolidacije naučenog.

Sumiranje, domaći.

Tokom nastave

Danas u lekciji moramo predstaviti holističku sliku tipova podataka Pascal jezika. Pripremite se da pažljivo sagledate informacije. Tokom predavanja biće prikazana prezentacija koja će prikazati bitne tačke teme. Morate ih zapisati u svoju svesku.

Funkcioniranje bilo kojeg programa povezano je s obradom podataka. Podaci koji su namijenjeni za obradu nazivaju se početnim i obično se navode na početku programa. Tokom izvršavanja, program može zahtijevati izvorne podatke koji nedostaju.

Tokom izvršavanja programa, ulazni podaci se pretvaraju u rezultate.

Svaki element podataka koji se koristi u programu je konstanta ili varijabla.

Strukturirani tipovi podataka definiraju uređenu kolekciju skalarnih varijabli i karakteriziraju ih tipom njihovih komponenti.

Strukturirani tipovi podataka, za razliku od jednostavnih, definiraju mnoge složene vrijednosti s jednim zajedničkim imenom. Možemo reći da strukturni tipovi određuju određeni način formiranja novih tipova od postojećih.

Postoji nekoliko metoda strukturiranja. Prema načinu organizacije i vrsti komponenti u složenim tipovima podataka razlikuju se sljedeće varijante: regularni tip (nizovi); kombinovani tip (zapisi); vrsta datoteke(fajlovi); više vrsta; string type(strings); u jeziku Turbo Pascal verzije 6.0 i starijim, uveden je tip objekta (objekti).

Za razliku od jednostavnih tipova podataka, podatke strukturiranog tipa karakteriše mnogostrukost elemenata koji formiraju ovaj tip, tj. varijabla ili konstanta strukturiranog tipa uvijek ima više komponenti. Svaka komponenta, zauzvrat, može pripadati strukturiranom tipu, tj. moguće je ugniježđenje tipova.

Svi strukturirani tipovi podataka zahtijevaju posebno razmatranje i u budućnosti ćemo ih detaljno proučavati, ali danas ćemo ih samo definirati.

Linije. String je niz znakova iz tablice kodova personalnog računara. Broj znakova po redu može varirati od 0 do 255.

Nizovi. Jednostavni tipovi definiraju različite skupove neodvojivih vrijednosti. Nasuprot tome, strukturirani tipovi definiraju skupove složenih vrijednosti, od kojih svaka čini kolekciju od nekoliko vrijednosti drugog tipa. U strukturnim tipovima razlikuje se regularni tip (nizovi). Nizovi su dobili naziv regularni tip (ili redovi) jer kombinuju elemente istog tipa, poređane (uređene) po indeksima koji određuju poziciju svakog elementa u nizu.

Mnoštvo. Skup je strukturirani tip podataka koji je skup objekata međusobno povezanih nekom karakteristikom ili grupom karakteristika koje se mogu smatrati jedinstvenom cjelinom. Svaki objekat u skupu se poziva element skupa. Svi elementi skupa moraju pripadati jednom od skalarnih tipova, osim realnih.

Records. Za snimanje kombinacije objekata različitih tipova u Pascalu koristi se kombinovani tip podataka - record. Na primjer, proizvod u skladištu se opisuje sljedećim vrijednostima: naziv, količina, cijena, dostupnost certifikata kvalitete itd. U ovom primjeru, ime je vrijednost niza, količina je cijeli broj, cijena je realna, a prisutnost certifikata je boolean.

Zapis je najopštiji i najfleksibilniji strukturirani tip podataka, budući da se može formirati od heterogenih komponenti i eksplicitno izražava odnos između elemenata podataka koji karakterišu stvarni objekat.

Fajlovi. Pogodno je imati velike skupove podataka snimljene u eksternu memoriju u obliku niza signala. U Pascalu su za ove svrhe predviđeni posebni objekti - datoteke. Datoteka je zbirka podataka snimljenih u eksternoj memoriji pod određenim imenom.

Razmotrite probleme pri deklariranju varijabli i konstanti skalarnog tipa.

Kada počnete rješavati probleme s deklariranjem podataka skalarnog tipa, treba imati na umu sljedeće:

Svaka programska varijabla mora biti deklarirana;

· deklaracije varijabli se stavljaju u dio koji počinje riječju var; konstante se stavljaju u dio koji počinje riječju const; varijable korisničkih tipova (nabrojane i intervalne) se deklarišu prema posebnoj šemi;

Ime varijable može koristiti slova latinice i brojeve (prvi znak mora biti slovo);

Instrukcija za deklarisanje konstanti izgleda ovako: ConstantName = konstantna vrijednost;

primjer:

min=1; (minimalna vrijednost)

max=54; (maksimalna vrijednost)

//instrukcija za deklarisanje varijabli izgleda ovako: name VariableName: tip;

k1: cijeli broj; (broj sveska)

k2:bajt; (broj olovaka)

c1: pravi; (cijena jedne sveske)

//uputstva za deklariranje varijabli intervalnog tipa smještena su u dvije sekcije tipa, var i izgledaju ovako:

dana=1..31 ; (dani u mjesecu)

radni dan: dani; (radni dani)

vihodday: dani; (vikend)

//uputstva za deklariranje varijabli nabrojanog tipa smještena su u dva odjeljka tipa, var i izgledaju ovako:

dani=(ponedjeljak, ponedjeljak, srijeda, četvrtak, petak, subota, nedelja) ; (dana)

dan: dani; (dani u sedmici)

godišnje doba: (maj, april, jun); (dani odmora)

Zadaća:

Pripremite izvještaj o bilo kojem aplikacijskom programu.

Svako preduzeće ima mnogo različitih baza podataka koje se popunjavaju iz strukturiranih izvora podataka. Strukturirani podaci su podaci koji se unose u baze podataka u određenom obliku, na primjer, Excel tabele, sa strogo definiranim poljima. Skup baza podataka preduzeća se u engleskoj literaturi naziva Enterprise Data Warehouse (EDW) - doslovno "skladište podataka". Još nisam naišao na analog ovog pojma u literaturi na ruskom jeziku, pa ga nazovimo „skladište podataka preduzeća“. Za ljepotu ćemo koristiti englesku skraćenicu EDW.

Strukturirani izvori podataka su aplikacije koje hvataju podatke iz različitih transakcija. Na primjer, to mogu biti CDR-ovi u mreži operatera, obavještenja o problemima s mrežom (problemi), finansijske transakcije na bankovnim računima, podaci sistema ER (Enterprise Resource Planning), podaci aplikacijskog programa itd.

Business Intelligence BI (Business Intelligence) je komponenta za obradu podataka. To su različite aplikacije, alati i uslužni programi koji vam omogućavaju da analizirate podatke prikupljene u EDW-u i na osnovu njih donosite odluke. To su sistemi za generisanje operativnih izvještaja, selektivni upiti, OLAP (On-Line Analytical Processing) aplikacije, tzv. „disruptivna analitika“, sistemi za prediktivnu analizu i vizualizaciju podataka. Jednostavno rečeno, menadžer mora vidjeti poslovni proces u lako čitljivom obliku, po mogućnosti grafičkom i animiranom, kako bi brzo donosio optimalne odluke. Prvi zakon poslovanja: prava odluka je odluka doneta na vreme. Ako se danas donese ispravna odluka za jučer, nije činjenica da je još uvijek ispravna.

Ali šta ako su izvori podataka nestrukturirani, heterogeni, dobijeni iz različitih izvora? Kako će analitički sistemi raditi s njima? Pokušajte odabrati nekoliko ćelija s podacima u Excel tablici pomoću miša i zalijepiti ih u jednostavan uređivač teksta (na primjer, Notepad) i vidjet ćete što su "nestrukturirani podaci". Primjeri nestrukturiranih podataka: e-pošta, informacije društvenih medija, XML podaci, video, audio i slikovne datoteke, GPS podaci, satelitski snimci, podaci senzora, web zapisi, podaci o primopredaji mobilnih pretplatnika, RFID oznake, PDF dokumenti...

Za skladištenje takvih informacija u podatkovnim centrima (podatkovnim centrima) koristi se Hadoop distribuirani sistem datoteka, HDFS (Hadoop Distributed File System). HDFS može pohraniti sve vrste podataka: strukturirane, nestrukturirane i polustrukturirane.

Big Data aplikacije za poslovnu inteligenciju nisu samo komponenta obrade, već i sa podacima, kako strukturiranim tako i ne. Oni uključuju aplikacije, alate i uslužne programe koji pomažu u analizi velikih količina podataka i donošenju odluka na osnovu podataka iz Hadoop-a i drugih nerelacionih sistema za skladištenje podataka. Ne uključuje tradicionalne BI analitičke aplikacije, niti alate za proširenje za sam Hadoop.

Pored toga, važna komponenta Hadoop-a je sistem MapReduce. Dizajniran je za upravljanje resursima i obradom podataka u Hadoop-u kako bi se osigurala pouzdanost skladištenja i optimizirano postavljanje podataka u geografski raspoređenim centrima podataka. MapReduce sistem se sastoji od dvije glavne komponente - Map, koja distribuira duplikate blokova nestrukturiranih podataka po različitim čvorovima sistema za skladištenje (u svrhu pouzdanog skladištenja informacija), i Reduce - komponente za uklanjanje identičnih podataka, obje u cilju smanjiti potrebnu ukupnu zapreminu skladištenja i povećati ispravnost naknadnih radnji na podacima. MapReduce je značajan po tome što obrađuje podatke tamo gdje su pohranjeni (tj. u HDFS), umjesto da ih premješta negdje radi obrade, a zatim zapisuje rezultate negdje drugdje, što se obično radi u konvencionalnom EDW-u. MapReduce ima i ugrađeni sistem za oporavak podataka, tj. ako jedan čvor za skladištenje pokvari, MapReduce uvijek zna gdje da traži kopiju izgubljenih podataka.

Iako je brzina MapReduce obrade podataka za red veličine veća od tradicionalnih metoda obrade sa ekstrakcijom podataka, ipak, zbog neuporedivo velike količine podataka (zato su Big Data), MapReduce obično koristi paralelnu obradu tokova podataka ( batch mod). Uz Hadoop 2.0, upravljanje resursima je zasebna funkcionalnost (nazvana YARN), tako da MapReduce više nije usko grlo u velikim podacima.

Prelazak na sisteme velikih podataka ne znači da tradicionalni EDW treba ukinuti. Umjesto toga, mogu se koristiti zajedno kako bi se iskoristile prednosti oba i izvukle nova poslovna vrijednost iz njihove sinergije.

čemu sve ovo?

Među potrošačima IT i telekom opreme rašireno je mišljenje da su sve ove spektakularne kombinacije stranih riječi i slova – Cloud Computing, Big Data i razni drugi IMS sa softswitchevima izmislili lukavi dobavljači opreme kako bi zadržali svoju maržu. Odnosno, prodavati, prodavati i prodavati nove projekte. U suprotnom, plan prodaje neće biti ispunjen i Bill Jobs Chambers će reći “ah-ah-ah”. I "bonus za kvartal je bio pokriven."

Stoga, hajde da pričamo o potrebi za svim ovim i trendovima.

Vjerovatno mnogi još nisu zaboravili strašni virus gripe H1N1. Postojala je bojazan da bi mogao biti i jači od španskog gripa iz 1918. godine, kada se broj žrtava kretao u desetinama miliona. Iako je trebalo da lekari redovno izveštavaju o porastu slučajeva bolesti (a prijavljivali su ih), analiza ovih informacija kasnila je 1-2 nedelje. I sami su ljudi primjenjivali, u pravilu, 3-5 dana nakon pojave bolesti. Odnosno, mjere su poduzete, uglavnom, retroaktivno.

Ovisnost vrijednosti informacije o vremenu obično ima oblik krivulje u obliku slova U.

Informacije su najvrednije ili odmah nakon što su primljene (za donošenje operativnih odluka) ili nakon nekog vremena (za analizu trenda).

Google, koji čuva dugogodišnju istoriju pretraživanja, odlučio je da analizira 50 miliona najpopularnijih upita iz žarišta prethodnih epidemija gripa i uporedi ih sa medicinskom statistikom tokom ovih epidemija. Razvijen je sistem za uspostavljanje korelacije između učestalosti određenih upita i pronađeno je 40-50 tipičnih upita. Koeficijent korelacije dostigao je 97%.

U 2009. godini bilo je moguće izbjeći ozbiljne posljedice epidemije H1N1, upravo zato što su podaci dobijeni odmah, a ne nakon 1-2 sedmice, kada u ambulantama u epidemijskim područjima više ne bi bile gužve. Ovo je možda bila prva upotreba tehnologije velikih podataka, iako se u to vrijeme još nije tako zvala.

Poznato je da je cijena avio karte vrlo nepredvidiva i zavisi od mnogo faktora. Nedavno sam se našao u situaciji da mogu kupiti istu kartu ekonomske klase, od iste avio kompanije do istog grada, na dvije moguće opcije. Za let koji polazi za tri sata uveče, karta košta 12 hiljada rubalja, a za sutra rano ujutro - 1500 rubalja. Ponavljam, postoji jedna aviokompanija, a čak su i avioni na oba leta istog tipa. Tipično, cijena karte postaje skuplja što je vrijeme polaska bliže. Postoji mnogo drugih faktora koji utiču na cenu karte - jednom mi je agent za rezervaciju objasnio suštinu ovog niza cena, ali ja i dalje ništa nisam razumeo. Može doći do slučajeva da cijena karte, naprotiv, padne ako, kako se datum polaska približava, ima mnogo neprodatih mjesta, u slučaju bilo kakvih promocija itd.

Jednog dana, Oren Encioni, direktor programa za veštačku inteligenciju na Državnom univerzitetu Vašington, spremao se da odleti na venčanje svog brata. Kako se vjenčanja obično planiraju unaprijed, kartu je kupio odmah, mnogo prije polaska. Karta je zaista bila jeftina, mnogo jeftinija nego inače kada je kupio kartu za hitno poslovno putovanje. Tokom leta hvalio se komšiji kako je jeftino uspeo da kupi kartu. Ispostavilo se da je komšijina karta još jeftinija, a on ju je kasnije kupio. Iz frustracije, gospodin Encioni je direktno u kabini sproveo improvizirano sociološko istraživanje o cijenama karata i datumima kupovine. Većina putnika platila je manje od Encionija, a skoro svi su karte kupili kasnije od Encionija. Bilo je veoma čudno. I Enzioni je, kao profesionalac, odlučio da se pozabavi ovim problemom.

Nabavivši uzorak od 12 hiljada transakcija na web stranici jedne od turističkih agencija, kreirao je model za predviđanje cijena avio karata. Sistem je analizirao samo cijene i datume, bez uzimanja u obzir faktora. Samo „šta“ i „koliko“, bez analize „zašto“. Rezultat je bila prediktivna vjerovatnoća smanjenja ili povećanja cijene leta, na osnovu historije promjena cijena za druge letove. Kao rezultat toga, naučnik je osnovao malu konsultantsku firmu pod nazivom Farecast (igra riječi: Fare - tarifa, cijena; Forecast - prognoza) za predviđanje cijena avio karata, na osnovu velike baze podataka o rezervacijama letova, što je, naravno, i jeste. ne daju 100% tačnosti (što je naznačeno u korisničkom ugovoru), ali sa razumnim stepenom vjerovatnoće mogu odgovoriti na pitanje da li kupiti kartu odmah ili čekati. Da bi se dodatno zaštitio od tužbi, sistem je takođe obezbedio „ocenu samopouzdanja“ otprilike ovako: „Postoji 83,65% šanse da će cena karte biti niža za tri dana“.

Zatim je Farecast kupio Microsoft za nekoliko milijardi dolara i integrirao svoj model u svoj pretraživač Bing. (I, kako to najčešće biva kod Microsofta, ništa se više ne čuje o ovoj funkcionalnosti, jer malo ljudi koristi ovaj Bing, a oni koji ga koriste ne znaju ništa o ovoj funkciji).

Ova dva primjera pokazuju kako se društvene koristi i ekonomske koristi mogu postići pomoću Big Data analitike.

Šta su zapravo Big Data?

Ne postoji stroga definicija za „velike podatke“. Kako su se pojavile tehnologije za rad sa velikim količinama podataka, za koje memorija jednog računara više nije bila dovoljna i morala se negdje pohraniti (MapReduce, Apache Hadoop), postalo je moguće raditi s mnogo većim količinama podataka nego prije. U ovom slučaju podaci mogu biti nestrukturirani.

To omogućava napuštanje ograničenja tzv. „reprezentativnih uzoraka“ iz kojih se mogu izvući veći zaključci. Analizu kauzalnosti zamjenjuje analiza jednostavnih korelacija: ne analizira se „zašto“, već „šta“ i „koliko“. Ovo iz temelja mijenja ustaljene pristupe donošenju odluka i analiziranju situacije.

Desetine milijardi transakcija se dešavaju na berzama svakog dana, a oko dve trećine trgovanja odlučeno je kompjuterskim algoritmima zasnovanim na matematičkim modelima koji koriste ogromne količine podataka.

Još 2000. godine količina digitaliziranih informacija činila je samo 25% ukupne količine informacija u svijetu. Trenutno je količina pohranjenih informacija u svijetu reda zetabajta, od čega na nedigitalne informacije otpada manje od 2%.

Prema istoričarima, od 1453. do 1503. (preko 50 godina) štampano je oko 8 miliona knjiga. Ovo je više od svih rukopisnih knjiga koje su napisali pisari od rođenja Hristovog. Drugim riječima, trebalo je 50 godina da se otprilike udvostruči zaliha informacija. Danas se to dešava svaka tri dana.

Da bismo razumjeli vrijednost “velikih podataka” i kako oni funkcioniraju, dajmo jednostavan primjer. Prije pronalaska fotografije bilo je potrebno od nekoliko sati do nekoliko dana ili čak sedmica da se nacrta portret osobe. U ovom slučaju, umjetnik je napravio određeni broj poteza ili poteza, čiji se broj (da bi se postigla "portretna sličnost") može mjeriti stotinama i hiljadama. Istovremeno, bilo je važno KAKO crtati, kako nanositi boju, kako sjenčati, itd. Sa izumom fotografije, broj "zrnaca" u analognoj fotografiji, odnosno broj "piksela" u digitalnoj fotografiji, promenjeno za nekoliko redova veličine, a KAKO ih rasporediti nije nam bitno - na nama je da to uradi kamera.

Međutim, rezultat je u suštini isti – slika osobe. Ali postoje i razlike. Kod rukom pisanog portreta tačnost sličnosti je vrlo relativna i zavisi od „vizije“ umjetnika; izobličenje proporcija, dodavanje nijansi i detalja, koji su u „originalu“, odnosno neizbježni su. u ljudskom licu, nije ga bilo. Fotografija precizno i ​​skrupulozno prenosi „ŠTA“, ostavljajući „KAKO“ u pozadini.

Uz malo alegorije, možemo reći da je fotografija Big Data za rukom pisani portret.

A sada ćemo snimati svaki ljudski pokret u strogo određenim i prilično malim vremenskim intervalima. Ispostaviće se da je to film. Film je “big data” u odnosu na fotografiju. Povećali smo količinu podataka i obrađivali ih u skladu s tim, što je rezultiralo novim kvalitetom – pokretnom slikom. Promjenom količine, dodavanjem algoritma obrade, dobijamo novi kvalitet.

Sada same video slike služe kao hrana za Big Data kompjuterske sisteme.

Kako se obim obrađenih podataka povećava, pojavljuju se nove mogućnosti koje nisu dostupne pri obradi manjih količina podataka. Google ne predviđa epidemije gripa ništa gore i mnogo brže od zvanične medicinske statistike. Da bi se to postiglo, potrebna je temeljita analiza stotina milijardi izvornih podataka, zbog čega daje odgovor mnogo brže od zvaničnih izvora.

Pa, ukratko o još dva aspekta velikih podataka.

Preciznost.

Big Data sistemi mogu analizirati ogromne količine podataka, au nekim slučajevima - sve podatke, a NE uzorke. Koristeći sve podatke, dobijamo precizniji rezultat i možemo vidjeti nijanse koje nisu dostupne uz ograničeno uzorkovanje. Međutim, u ovom slučaju treba se zadovoljiti općom idejom, a ne razumijevanjem fenomena do najsitnijih detalja. Međutim, nepreciznosti na mikro nivou omogućavaju, uz veliku količinu podataka, da se otkriju na makro nivou.

Uzročnost.

Navikli smo da u svemu tražimo razloge. To je, zapravo, ono na čemu se zasniva naučna analiza. U svijetu velikih podataka uzročnost nije toliko važna. Važnije su korelacije između podataka, koje mogu pružiti potrebna znanja. Korelacije ne mogu odgovoriti na pitanje "zašto", ali dobro rade u predviđanju "šta" će se dogoditi ako se otkriju određene korelacije. A najčešće je to upravo ono što je potrebno.

***