Big Data. Veliki podaci – šta su sistemi velikih podataka? Razvoj Big Data tehnologija

Big Data– to nisu samo sami podaci, već i tehnologije za njihovu obradu i korištenje, metode za traženje potrebnih informacija u velikim nizovima. Problem velikih podataka i dalje ostaje otvoren i vitalan za sve sisteme koji decenijama gomilaju širok spektar informacija.

Ovaj izraz je povezan sa izrazom "Jačina, brzina, raznolikost"– principi na kojima se zasniva rad sa velikim podacima. Direktno je količina informacija, brzina njegove obrade I raznovrsnost informacija, pohranjeno u nizu. Nedavno je na tri osnovna principa dodat još jedan princip - Vrijednost, što znači vrijednost informacija. Odnosno, mora biti korisna i neophodna u teorijskom ili praktičnom smislu, što bi opravdalo troškove njegovog skladištenja i obrade.

Primjer tipičnog izvora velikih podataka su društvene mreže – svaki profil ili javna stranica predstavlja jednu malu kap u nestrukturiranom oceanu informacija. Štaviše, bez obzira na količinu informacija pohranjenih u određenom profilu, interakcija sa svakim korisnikom bi trebala biti što brža.

Veliki podaci se kontinuirano akumuliraju u gotovo svim područjima ljudskog života. Ovo uključuje bilo koju industriju koja uključuje interakciju ljudi ili računarstvo. To uključuje društvene mreže, medicinu, bankarstvo, kao i sisteme uređaja koji dobijaju brojne rezultate iz svakodnevnih proračuna. Na primjer, astronomska zapažanja, meteorološke informacije i informacije sa uređaja za mjerenje Zemlje.

Informacije iz svih vrsta sistema za praćenje u realnom vremenu takođe idu na servere određene kompanije. Televizijsko i radio emitovanje, baze podataka poziva mobilnih operatera - interakcija svake pojedinačne osobe s njima je minimalna, ali u zbiru sve ove informacije postaju veliki podaci.

Tehnologije velikih podataka postale su sastavni dio istraživanja i trgovine. Štaviše, počinju da preuzimaju sferu javne uprave – i svuda je potrebno uvođenje sve efikasnijih sistema za skladištenje i manipulaciju informacijama.

Termin “veliki podaci” se prvi put pojavio u štampi 2008. godine, kada je urednik Nature Clifford Lynch objavio članak o razvoju budućnosti nauke koristeći tehnologije za rad sa velikim količinama podataka. Do 2009. ovaj termin se razmatrao samo sa stanovišta naučne analize, ali nakon objavljivanja još nekoliko članaka, štampa je počela naširoko koristiti koncept velikih podataka - i nastavlja ga koristiti i danas.

2010. godine počeli su se pojavljivati ​​prvi pokušaji rješavanja rastućeg problema velikih podataka. Objavljeni su softverski proizvodi čija je akcija bila usmjerena na minimiziranje rizika pri korištenju ogromnih količina informacija.

Do 2011. velike kompanije poput Microsofta, Oraclea, EMC-a i IBM-a zainteresovale su se za velike podatke – postale su prve koje su koristile razvoj velikih podataka u svojim razvojnim strategijama, i to prilično uspješno.

Univerziteti su počeli proučavati velike podatke kao poseban predmet već 2013. godine – sada se problemima u ovoj oblasti bavi ne samo nauka o podacima, već i inženjerstvo, zajedno sa predmetima iz računarstva.

Glavne metode analize i obrade podataka uključuju sljedeće:

1. Metode klase ili dubinska analiza (Data Mining).

Ove metode su prilično brojne, ali jedno im je zajedničko: matematički alati koji se koriste u sprezi sa dostignućima iz oblasti informacionih tehnologija.

1. Crowdsourcing.

Ova tehnika vam omogućava da istovremeno dobijete podatke iz nekoliko izvora, a broj potonjih je praktički neograničen.

1. A/B testiranje.

Iz cjelokupnog volumena podataka odabire se kontrolni skup elemenata koji se naizmjenično uspoređuje sa drugim sličnim skupovima gdje je jedan od elemenata promijenjen. Provođenje takvih testova pomaže u određivanju koje fluktuacije parametara imaju najveći utjecaj na kontrolnu populaciju. Zahvaljujući obimu Big Data, moguće je izvršiti ogroman broj iteracija, pri čemu se svaka od njih približava najpouzdanijem rezultatu.

1. Prediktivna analitika.

Stručnjaci u ovoj oblasti pokušavaju unaprijed predvideti i planirati kako će se kontrolirani objekt ponašati kako bi u ovoj situaciji donijeli najisplativiju odluku.

1. Mašinsko učenje (vještačka inteligencija).

Zasnovan je na empirijskoj analizi informacija i naknadnoj konstrukciji algoritama za samoučenje za sisteme.

1. Analiza mreže.

Najčešći metod za proučavanje društvenih mreža je da se nakon dobijanja statističkih podataka analiziraju čvorovi kreirani u mreži, odnosno interakcije između pojedinačnih korisnika i njihovih zajednica.

U 2017. godini, kada su veliki podaci prestali biti nešto novo i nepoznato, njihov značaj ne samo da se nije smanjio, već je još više porastao. Stručnjaci se sada klade da će analitika velikih podataka postati dostupna ne samo velikim organizacijama, već i malim i srednjim preduzećima. Planirano je da se ovaj pristup implementira korištenjem sljedećih komponenti:

• Cloud storage.

Skladištenje i obrada podataka postaju brži i ekonomičniji – u poređenju sa troškovima održavanja vlastitog podatkovnog centra i mogućim proširenjem osoblja, iznajmljivanje oblaka se čini mnogo jeftinijom alternativom.

• Korištenje tamnih podataka.

Takozvani „tamni podaci“ su sve nedigitalizovane informacije o kompaniji, koje nemaju ključnu ulogu u njenom direktnom korišćenju, ali mogu poslužiti kao razlog za prelazak na novi format za skladištenje informacija.

• Umjetna inteligencija i duboko učenje.

Tehnologija učenja mašinske inteligencije, koja imitira strukturu i rad ljudskog mozga, idealno je prikladna za obradu velikih količina informacija koje se stalno mijenjaju. U ovom slučaju, mašina će učiniti sve što bi i osoba, ali je vjerovatnoća greške značajno smanjena.

• Blockchain

Ova tehnologija omogućava ubrzanje i pojednostavljenje brojnih online transakcija, uključujući i međunarodne. Još jedna prednost Blockchaina je da smanjuje troškove transakcije.

• Samoposluživanje i snižene cijene.

U 2017. godini planirano je uvođenje „samouslužnih platformi“ – to su besplatne platforme na kojima predstavnici malih i srednjih preduzeća mogu samostalno procijeniti podatke koje pohranjuju i sistematizirati ih.

Sve marketinške strategije su na ovaj ili onaj način zasnovane na manipulaciji informacijama i analizi postojećih podataka. Zato korištenje velikih podataka može predvidjeti i omogućiti prilagođavanje daljeg razvoja kompanije.

Na primjer, RTB aukcija kreirana na bazi velikih podataka omogućava vam da efikasnije koristite oglašavanje - određeni proizvod će biti prikazan samo onoj grupi korisnika koji su zainteresirani da ga kupe.

Koje su prednosti korištenja big data tehnologija u marketingu i poslovanju?

1. Uz njihovu pomoć možete mnogo brže kreirati nove projekte, koji će vjerovatno postati traženi među kupcima.
2. Pomažu u povezivanju zahtjeva klijenta sa postojećom ili dizajniranom uslugom i na taj način ih prilagoditi.
3. Metode velikih podataka omogućavaju procjenu stepena trenutnog zadovoljstva svih korisnika i svakog pojedinačnog korisnika.
4. Povećana lojalnost kupaca postiže se metodama obrade velikih podataka.
5. Privlačenje vaše ciljne publike na mreži postaje lakše zahvaljujući mogućnosti kontrole ogromnih količina podataka.

Na primjer, jedan od najpopularnijih servisa za predviđanje vjerovatne popularnosti proizvoda je Google.trends. Široko ga koriste trgovci i analitičari, omogućavajući im da dobiju statistiku o prethodnoj upotrebi određenog proizvoda i prognozu za sljedeću sezonu. To omogućava menadžerima kompanija da efikasnije raspodijele budžet za oglašavanje i odrede u koju oblast je najbolje uložiti novac.

Primjeri korištenja Big Data

Aktivno uvođenje Big Data tehnologija na tržište i moderni život počelo je odmah nakon što su ih počele koristiti svjetski poznate kompanije s klijentima u gotovo svim dijelovima svijeta.

Riječ je o društvenim divovima kao što su Facebook i Google, IBM, kao i o finansijskim institucijama poput Master Card, VISA i Bank of America.

Na primjer, IBM primjenjuje tehnike velikih podataka na tekuće monetarne transakcije. Uz njihovu pomoć otkriveno je 15% više lažnih transakcija, što je omogućilo povećanje iznosa zaštićenih sredstava za 60%. Rešeni su i problemi sa lažnim alarmima sistema - njihov broj je smanjen za više od pola.

Kompanija VISA je na sličan način koristila Big Data, prateći lažne pokušaje da se izvrši određena operacija. Zahvaljujući tome, štede više od 2 milijarde dolara godišnje od curenja.

Njemačko ministarstvo rada uspjelo je smanjiti troškove za 10 milijardi eura uvođenjem sistema velikih podataka u svoj rad na izdavanju naknada za nezaposlene. Istovremeno, otkriveno je da petina građana prima ove naknade bez razloga.

Big Data nije poštedio ni industriju igara. Stoga su programeri World of Tanks proveli studiju informacija o svim igračima i uporedili dostupne pokazatelje njihove aktivnosti. Ovo je pomoglo da se predvidi mogući budući odliv igrača - na osnovu napravljenih pretpostavki, predstavnici organizacije su bili u mogućnosti da efikasnije komuniciraju sa korisnicima.

Značajne organizacije koje koriste velike podatke uključuju i HSBC, Nasdaq, Coca-Cola, Starbucks i AT&T.

Najveći problem s velikim podacima je cijena njihove obrade. To može uključivati ​​i skupu opremu i troškove plaća za kvalifikovane stručnjake koji su sposobni da servisiraju ogromne količine informacija. Očigledno je da će se oprema morati redovno ažurirati kako ne bi izgubila minimalnu funkcionalnost kako se količina podataka povećava.

Drugi problem je opet vezan za veliku količinu informacija koje je potrebno obraditi. Ako, na primjer, studija daje ne 2-3, već veliki broj rezultata, vrlo je teško ostati objektivan i iz općeg toka podataka odabrati samo one koji će stvarno utjecati na stanje bilo koje pojave.

Problem privatnosti velikih podataka. S obzirom da većina usluga za korisničku podršku prelazi na korištenje onlajn podataka, vrlo je lako postati sljedeća meta sajber kriminalaca. Čak i jednostavno pohranjivanje osobnih podataka bez obavljanja ikakvih transakcija na mreži može biti ispunjeno neželjenim posljedicama za klijente za pohranu u oblaku.

Problem gubitka informacija. Mjere predostrožnosti zahtijevaju da se ne ograničavate na jednokratnu sigurnosnu kopiju podataka, već da napravite najmanje 2-3 sigurnosne kopije skladišta. Međutim, kako se obim povećava, povećavaju se i poteškoće s redundantnošću - a IT stručnjaci pokušavaju pronaći optimalno rješenje za ovaj problem.

Tržište tehnologije velikih podataka u Rusiji i svijetu

Od 2014. godine, 40% obima tržišta velikih podataka čine usluge. Prihodi od upotrebe Big Data u kompjuterskoj opremi su nešto inferiorniji (38%) u odnosu na ovaj pokazatelj. Preostalih 22% dolazi od softvera.

Najkorisniji proizvodi u globalnom segmentu za rješavanje problema velikih podataka, prema statistikama, su In-memory i NoSQL analitičke platforme. 15 odnosno 12 posto tržišta zauzimaju analitički softver Log-file i Columnar platforme. Ali Hadoop/MapReduce se u praksi ne nosi baš efikasno sa problemima velikih podataka.

Rezultati implementacije big data tehnologija:

• povećanje kvaliteta usluge korisnicima;
• optimizacija integracije lanca snabdevanja;
• optimizacija planiranja organizacije;
• ubrzanje interakcije sa klijentima;
• povećanje efikasnosti obrade zahtjeva kupaca;
• smanjenje troškova usluga;
• optimizacija obrade zahtjeva klijenata.

Najbolje knjige o velikim podacima

Pogodno za početno proučavanje tehnologija obrade velikih podataka - upoznaje vas lako i jasno. Pojašnjava kako je obilje informacija uticalo na svakodnevni život i sve njegove sfere: nauku, biznis, medicinu itd. Sadrži brojne ilustracije, pa se percipira bez mnogo truda.

"Uvod u rudarenje podataka" Pang-Ning Tan, Michael Steinbach i Vipin Kumar

Za početnike je korisna i knjiga o velikim podacima, koja objašnjava rad sa velikim podacima po principu „od jednostavnog ka složenom“. Pokriva mnoge važne tačke u početnoj fazi: pripremu za obradu, vizualizaciju, OLAP, kao i neke metode analize i klasifikacije podataka.

Praktični vodič za korištenje i rad s velikim podacima koristeći programski jezik Python. Pogodno za studente inženjerstva i profesionalce koji žele produbiti svoje znanje.

"Hadoop za lutke", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop je projekt kreiran posebno za rad s distribuiranim programima koji organiziraju izvršavanje akcija na hiljadama čvorova istovremeno. Upoznavanje će vam pomoći da detaljnije shvatite praktičnu primjenu velikih podataka.

Stalno ubrzanje rasta podataka sastavni je element moderne stvarnosti. Društvene mreže, mobilni uređaji, podaci s mjernih uređaja, poslovne informacije samo su nekoliko vrsta izvora koji mogu generirati ogromne količine podataka.

Trenutno je termin Big Data postao prilično uobičajen. Nisu svi još uvijek svjesni koliko brzo i duboko tehnologije za obradu velikih količina podataka mijenjaju najrazličitije aspekte društva. Promjene se dešavaju u različitim oblastima, što dovodi do novih problema i izazova, uključujući i oblast informacione sigurnosti, gdje bi u prvom planu trebali biti njeni najvažniji aspekti kao što su povjerljivost, integritet, dostupnost itd.

Nažalost, mnoge moderne kompanije pribjegavaju tehnologiji velikih podataka bez stvaranja odgovarajuće infrastrukture za sigurno pohranjivanje ogromnih količina podataka koje prikupljaju i pohranjuju. S druge strane, blockchain tehnologija se trenutno ubrzano razvija, koja je dizajnirana da riješi ovaj i mnoge druge probleme.

Šta su Big Data?

Zapravo, definicija pojma je jasna: „veliki podaci“ označavaju upravljanje veoma velikim količinama podataka, kao i njihovu analizu. Ako pogledamo šire, radi se o informacijama koje se zbog velike količine ne mogu obraditi klasičnim metodama.

Sam termin Big Data pojavio se relativno nedavno. Prema Google Trends, aktivni rast popularnosti termina dogodio se krajem 2011:

2010. godine počeli su da se pojavljuju prvi proizvodi i rješenja direktno vezana za obradu velikih podataka. Do 2011. godine većina najvećih IT kompanija, uključujući IBM, Oracle, Microsoft i Hewlett-Packard, aktivno koriste termin Big Data u svojim poslovnim strategijama. Postepeno, analitičari tržišta informacionih tehnologija počinju aktivno istraživanje ovog koncepta.

Trenutno je ovaj izraz stekao značajnu popularnost i aktivno se koristi u raznim oblastima. Međutim, ne može se sa sigurnošću reći da su veliki podaci neka vrsta fundamentalno novog fenomena – naprotiv, veliki izvori podataka postoje već dugi niz godina. U marketingu, to uključuje baze podataka o kupovini kupaca, kreditnoj istoriji, životnom stilu itd. Tokom godina, analitičari su koristili ove podatke da pomognu kompanijama da predvide buduće potrebe kupaca, procijene rizike, oblikuju preferencije potrošača i još mnogo toga.

Trenutno se situacija promijenila u dva aspekta:

— pojavili su se sofisticiraniji alati i metode za analizu i poređenje različitih skupova podataka;
— alati za analizu su dopunjeni mnogim novim izvorima podataka, zbog široko rasprostranjenog prelaska na digitalne tehnologije, kao i novih metoda prikupljanja i mjerenja podataka.

Istraživači predviđaju da će se tehnologije velikih podataka najaktivnije koristiti u proizvodnji, zdravstvu, trgovini, državnoj administraciji i drugim različitim područjima i industrijama.

Veliki podaci nisu određeni niz podataka, već skup metoda za njihovu obradu. Definirajuća karakteristika velikih podataka nije samo njihov obim, već i druge kategorije koje karakteriziraju radno intenzivne procese obrade i analize podataka.

Početni podaci za obradu mogu biti, na primjer:

— evidencije ponašanja korisnika interneta;
— Internet stvari;
- društveni mediji;
— meteorološki podaci;
— digitalizovane knjige iz većih biblioteka;
— GPS signali iz vozila;
— informacije o transakcijama klijenata banke;
— podatke o lokaciji pretplatnika mobilne mreže;
— informacije o kupovini u velikim trgovačkim lancima itd.

Vremenom, obim podataka i broj njihovih izvora stalno raste, a na tom pozadini se pojavljuju nove metode obrade informacija i unapređuju se postojeće.

Osnovni principi Big Data:

— Horizontalna skalabilnost – nizovi podataka mogu biti ogromni, a to znači da se sistem za obradu velikih podataka mora dinamički širiti kako se njihov volumen povećava.
— Tolerancija grešaka – čak i ako neki elementi opreme pokvare, cijeli sistem mora ostati u funkciji.
— Lokalitet podataka. U velikim distribuiranim sistemima, podaci se obično distribuiraju na značajan broj mašina. Međutim, kad god je to moguće i radi uštede resursa, podaci se često obrađuju na istom serveru gdje se pohranjuju.

Za stabilan rad sva tri principa i, shodno tome, visoku efikasnost skladištenja i obrade velikih podataka, potrebne su nove revolucionarne tehnologije, kao što je, na primer, blockchain.

Zašto su nam potrebni veliki podaci?

Opseg Big Data se stalno širi:

— Veliki podaci se mogu koristiti u medicini. Dakle, dijagnoza se može postaviti za pacijenta ne samo na osnovu podataka iz analize pacijentove povijesti bolesti, već i uzimajući u obzir iskustva drugih liječnika, informacije o ekološkoj situaciji u području stanovanja pacijenta i mnogi drugi faktori.
— Big Data tehnologije se mogu koristiti za organizovanje kretanja bespilotnih vozila.
— Obradom velikih količina podataka možete prepoznati lica na fotografijama i video zapisima.
— Tehnologije Big Data mogu koristiti trgovci na malo – trgovačke kompanije mogu aktivno koristiti skupove podataka sa društvenih mreža kako bi efikasno prilagodile svoje reklamne kampanje, koje mogu biti maksimalno ciljane na određeni segment potrošača.
— Ova tehnologija se aktivno koristi u organizovanju predizbornih kampanja, uključujući i analizu političkih preferencija u društvu.
— Upotreba Big Data tehnologija je relevantna za rješenja klase osiguranja prihoda (RA), koja uključuju alate za otkrivanje nedosljednosti i dubinsku analizu podataka, omogućavajući pravovremenu identifikaciju vjerovatnih gubitaka ili izobličenja informacija koje bi mogle dovesti do smanjenja finansijski rezultati.
— Telekomunikacijski provajderi mogu agregirati velike podatke, uključujući geolokaciju; zauzvrat, ove informacije mogu biti od komercijalnog interesa za reklamne agencije, koje ih mogu koristiti za prikazivanje ciljanog i lokalnog oglašavanja, kao i za trgovce na malo i banke.
— Veliki podaci mogu igrati važnu ulogu u odlučivanju o otvaranju maloprodajnog objekta na određenoj lokaciji na osnovu podataka o prisutnosti snažnog ciljanog toka ljudi.

Dakle, najočitija praktična primjena Big Data tehnologije leži u području marketinga. Zahvaljujući razvoju interneta i proliferaciji svih vrsta komunikacionih uređaja, podaci o ponašanju (kao što su broj poziva, kupovne navike i kupovine) postaju dostupni u realnom vremenu.

Tehnologije velikih podataka također se mogu efikasno koristiti u finansijama, za sociološka istraživanja i u mnogim drugim oblastima. Stručnjaci tvrde da su sve ove mogućnosti korištenja velikih podataka samo vidljivi dio ledenog brijega, budući da se te tehnologije u mnogo većim količinama koriste u obavještajnim i kontraobavještajnim poslovima, u vojnim poslovima, kao i u svemu što se obično naziva informacionim ratom.

Uopšteno govoreći, redoslijed rada s velikim podacima sastoji se od prikupljanja podataka, strukturiranja primljenih informacija pomoću izvještaja i nadzornih ploča, a zatim formulisanja preporuka za akciju.

Razmotrimo ukratko mogućnosti korištenja Big Data tehnologija u marketingu. Kao što znate, za trgovca su informacije glavni alat za predviđanje i razvoj strategije. Analiza velikih podataka već dugo se uspješno koristi za određivanje ciljne publike, interesa, potražnje i aktivnosti potrošača. Analiza velikih podataka, posebno, omogućava prikazivanje reklama (zasnovanog na modelu RTB aukcije - Real Time Bidding) samo onim potrošačima koji su zainteresovani za proizvod ili uslugu.

Upotreba Big Data u marketingu omogućava privrednicima da:

— bolje upoznajte svoje potrošače, privucite sličnu publiku na internetu;
— procijeniti stepen zadovoljstva kupaca;
— razumjeti da li predložena usluga ispunjava očekivanja i potrebe;
— pronaći i implementirati nove načine za povećanje povjerenja kupaca;
— kreirati projekte koji su traženi, itd.

Na primjer, usluga Google.trends može trgovcu ukazati na prognozu sezonske aktivnosti potražnje za određenim proizvodom, fluktuacije i geografiju klikova. Ako uporedite ove informacije sa statističkim podacima koje prikuplja odgovarajući dodatak na vašoj web stranici, možete napraviti plan raspodjele budžeta za oglašavanje, navodeći mjesec, regiju i druge parametre.

Prema mnogim istraživačima, uspjeh Trumpove predizborne kampanje leži u segmentaciji i korištenju velikih podataka. Tim budućeg predsjednika SAD uspio je pravilno podijeliti publiku, razumjeti njene želje i pokazati upravo onu poruku koju birači žele vidjeti i čuti. Tako je, prema riječima Irine Belysheve iz Data-Centric Alliancea, Trumpova pobjeda u velikoj mjeri bila moguća zahvaljujući nestandardnom pristupu internet marketingu, koji se temeljio na Big Data, psihološkoj i biheviorističkoj analizi i personaliziranom oglašavanju.

Trampovi politički stratezi i trgovci koristili su posebno razvijen matematički model, koji je omogućio dubinu analizu podataka svih američkih glasača i njihovu sistematizaciju, čineći ultraprecizno ciljanje ne samo po geografskim karakteristikama, već i po namerama, interesima birača, njihov psihotip, karakteristike ponašanja itd. Da bi to postigli, marketari su organizovali personalizovanu komunikaciju sa svakom grupom građana na osnovu njihovih potreba, raspoloženja, političkih stavova, psiholoških karakteristika, pa čak i boje kože, koristeći svoju poruku za skoro svakog pojedinačnog glasača.

Što se tiče Hillary Clinton, ona je u svojoj kampanji koristila “vremenski testirane” metode zasnovane na sociološkim podacima i standardnom marketingu, podijelivši biračko tijelo samo na formalno homogene grupe (muškarci, žene, Afroamerikanci, Latinoamerikanci, siromašni, bogati itd.) .

Kao rezultat toga, pobjednik je bio onaj koji je cijenio potencijal novih tehnologija i metoda analize. Važno je napomenuti da su troškovi kampanje Hillary Clinton bili duplo veći od troškova njenog protivkandidata:

Podaci: Pew Research

Glavni problemi korištenja Big Data

Osim visoke cijene, jedan od glavnih faktora koji ometa implementaciju Big Data u raznim oblastima je problem odabira podataka koji će se obraditi: odnosno određivanje koje podatke treba preuzeti, pohraniti i analizirati, a koje treba ne uzeti u obzir.

Drugi problem sa velikim podacima je etički. Drugim riječima, postavlja se logično pitanje: može li se takvo prikupljanje podataka (posebno bez znanja korisnika) smatrati kršenjem privatnosti?

Nije tajna da informacije pohranjene u pretraživačima Google i Yandex omogućavaju IT divovima da konstantno poboljšavaju svoje usluge, čine ih jednostavnijim za korištenje i kreiraju nove interaktivne aplikacije. Da bi to učinili, pretraživači prikupljaju korisničke podatke o aktivnostima korisnika na Internetu, IP adresama, geolokacijskim podacima, interesima i online kupovinama, ličnim podacima, email porukama itd. Sve to im omogućava da prikazuju kontekstualno oglašavanje u skladu s ponašanjem korisnika na internet. U ovom slučaju se za to obično ne traži pristanak korisnika, a ne daje se mogućnost da izaberu koje će podatke o sebi dati. Odnosno, po defaultu, sve se prikuplja u Big Data, koji će zatim biti pohranjeni na serverima podataka web lokacija.

Ovo dovodi do sljedećeg važnog problema u pogledu sigurnosti pohranjivanja i korištenja podataka. Na primjer, da li je određena analitička platforma na koju potrošači automatski prenose svoje podatke bezbedna? Osim toga, mnogi poslovni predstavnici primjećuju nedostatak visoko kvalificiranih analitičara i marketinških stručnjaka koji mogu efikasno rukovati velikim količinama podataka i uz njihovu pomoć rješavati specifične poslovne probleme.

Uprkos svim poteškoćama sa implementacijom Big Data, biznis namerava da poveća ulaganja u ovoj oblasti. Prema istraživanju Gartnera, lideri u industrijama koje ulažu u velike podatke su mediji, maloprodaja, telekomunikacije, bankarstvo i uslužne kompanije.

Izgledi za interakciju između blockchaina i Big Data tehnologija

Integracija s velikim podacima ima sinergijski učinak i otvara širok spektar novih mogućnosti za poslovanje, uključujući omogućavanje:

— dobiti pristup detaljnim informacijama o preferencijama potrošača, na osnovu kojih možete izgraditi detaljne analitičke profile za određene dobavljače, proizvode i komponente proizvoda;
— integrisati detaljne podatke o transakcijama i statistici potrošnje pojedinih grupa roba po različitim kategorijama korisnika;
— primati detaljne analitičke podatke o lancima snabdevanja i potrošnje, kontrolisati gubitke proizvoda tokom transporta (na primer, gubitak težine usled sušenja i isparavanja određenih vrsta robe);
— suzbijanje krivotvorenja proizvoda, povećanje efikasnosti borbe protiv pranja novca i prevare, itd.

Pristup detaljnim podacima o upotrebi i potrošnji robe značajno će otkriti potencijal Big Data tehnologije za optimizaciju ključnih poslovnih procesa, smanjenje regulatornih rizika, otkrivanje novih mogućnosti za monetizaciju i kreiranje proizvoda koji će najbolje zadovoljiti trenutne preferencije potrošača.

Kao što je poznato, predstavnici najvećih finansijskih institucija već pokazuju značajno interesovanje za blockchain tehnologiju, uključujući itd. Prema rečima Olivera Busmanna, IT menadžera švajcarskog finansijskog holdinga UBS, blockchain tehnologija može „skratiti vreme obrade transakcija sa nekoliko dana na nekoliko dana. minuta”.

Potencijal za analizu iz blockchaina korištenjem Big Data tehnologije je ogroman. Tehnologija distribuirane knjige obezbeđuje integritet informacija, kao i pouzdano i transparentno skladištenje celokupne istorije transakcija. Veliki podaci, zauzvrat, pružaju nove alate za efikasnu analizu, predviđanje, ekonomsko modeliranje i, shodno tome, otvaraju nove mogućnosti za donošenje informiranih upravljačkih odluka.

Tandem blockchaina i Big Data može se uspješno koristiti u zdravstvu. Kao što je poznato, nesavršeni i nepotpuni podaci o zdravstvenom stanju pacijenta uvelike povećavaju rizik od pogrešne dijagnoze i pogrešno propisanog liječenja. Kritični podaci o zdravlju klijenata zdravstvenih ustanova treba da budu maksimalno zaštićeni, da imaju svojstva nepromjenjivosti, da budu provjerljivi i da ne budu podložni bilo kakvoj manipulaciji.

Informacije u blockchainu ispunjavaju sve gore navedene zahtjeve i mogu poslužiti kao visokokvalitetni i pouzdani izvorni podaci za dubinsku analizu korištenjem novih Big Data tehnologija. Osim toga, uz pomoć blockchaina, medicinske ustanove bi mogle razmjenjivati ​​pouzdane podatke sa osiguravajućim kućama, pravosudnim organima, poslodavcima, naučnim institucijama i drugim organizacijama kojima su potrebne medicinske informacije.

Veliki podaci i sigurnost informacija

U širem smislu, informacijska sigurnost je zaštita informacija i prateće infrastrukture od slučajnih ili namjernih negativnih uticaja prirodne ili vještačke prirode.

U oblasti informacione sigurnosti, veliki podaci se suočavaju sa sljedećim izazovima:

— problemi zaštite podataka i osiguranja njihovog integriteta;
— rizik od vanjskog uplitanja i curenja povjerljivih informacija;
— nepravilno čuvanje povjerljivih informacija;
— rizik od gubitka informacija, na primjer, zbog nečijih zlonamjernih radnji;
— rizik od zloupotrebe ličnih podataka od strane trećih lica, itd.

Jedan od glavnih problema velikih podataka za koje je blockchain dizajniran da riješi leži u području sigurnosti informacija. Osiguravajući usklađenost sa svim svojim osnovnim principima, tehnologija distribuiranog registra može garantovati integritet i pouzdanost podataka, a zbog odsustva jedne tačke kvara, blockchain čini rad informacionih sistema stabilnim. Tehnologija distribuirane knjige može pomoći u rješavanju problema povjerenja u podatke, kao i omogućiti univerzalnu razmjenu podataka.

Informacije su vrijedna imovina, što znači da osiguranje osnovnih aspekata sigurnosti informacija mora biti u prvom planu. Kako bi preživjele konkurenciju, kompanije moraju ići u korak s vremenom, što znači da ne mogu zanemariti potencijalne mogućnosti i prednosti koje sadrže blockchain tehnologija i Big Data alati.

Samo lijeni ne pričaju o velikim podacima, ali jedva razumiju šta je to i kako funkcionira. Počnimo od najjednostavnije stvari - terminologije. Govoreći na ruskom, veliki podaci su različiti alati, pristupi i metode za obradu i strukturiranih i nestrukturiranih podataka kako bi se koristili za određene zadatke i svrhe.

Nestrukturirani podaci su informacije koje nemaju unaprijed određenu strukturu ili nisu organizirane određenim redoslijedom.

Termin "veliki podaci" uveo je urednik časopisa Nature Clifford Lynch 2008. godine u specijalnom izdanju posvećenom eksplozivnom rastu svjetske količine informacija. Iako su, naravno, i sami veliki podaci postojali i ranije. Prema mišljenju stručnjaka, kategorija Big data uključuje većinu protoka podataka preko 100 GB dnevno.

Pročitajte također:

Danas ovaj jednostavan pojam krije samo dvije riječi - skladištenje i obrada podataka.

Veliki podaci - jednostavnim riječima

U savremenom svijetu, veliki podaci su društveno-ekonomski fenomen koji je povezan s činjenicom da su se pojavile nove tehnološke mogućnosti za analizu ogromne količine podataka.

Pročitajte također:

Da biste lakše razumjeli, zamislite supermarket u kojem sva roba nije onim redom na koji ste navikli. Hleb pored voća, paradajz pasta pored smrznute pice, tečnost za upaljač ispred stalka za tampone, koja između ostalog sadrži avokado, tofu ili šitake pečurke. Big data stavlja sve na svoje mjesto i pomaže vam da pronađete mlijeko s orašastim plodovima, saznate cijenu i rok trajanja, kao i ko, osim vas, kupuje ovo mlijeko i zašto je bolje od kravljeg mlijeka.

Kenneth Cukier: Veliki podaci su bolji podaci

Tehnologija velikih podataka

Ogromne količine podataka se obrađuju kako bi osoba dobila konkretne i potrebne rezultate za njihovu dalju efikasnu upotrebu.

Pročitajte također:

U stvari, veliki podaci su rješenje problema i alternativa tradicionalnim sistemima za upravljanje podacima.

Tehnike i metode analize primjenjive na Big data prema McKinseyju:

• Crowdsourcing;

  Miješanje i integracija podataka;

  Strojno učenje;

  Umjetne neuronske mreže;

  Prepoznavanje uzoraka;

  Prediktivna analitika;

  Simulacijsko modeliranje;

  Prostorna analiza;

  Statistička analiza;

• Vizualizacija analitičkih podataka.

Horizontalna skalabilnost koja omogućava obradu podataka je osnovni princip obrade velikih podataka. Podaci se distribuiraju preko računarskih čvorova, a obrada se odvija bez degradacije performansi. McKinsey je takođe uključio sisteme relacionog upravljanja i poslovnu inteligenciju u kontekstu primenljivosti.

Tehnologije:

• NoSQL;
• MapReduce;
• Hadoop;
• Hardverska rješenja.

Pročitajte također:

Za velike podatke postoje tradicionalne karakteristike koje je razvila Meta Group još 2001. godine, a koje se nazivaju „ Tri V»:

1. Volume- količina fizičkog volumena.
2. Brzina- stopa rasta i potreba za brzom obradom podataka za postizanje rezultata.
3. Raznolikost- mogućnost istovremene obrade različitih vrsta podataka.

Veliki podaci: aplikacije i mogućnosti

Tradicionalnim alatima nemoguće je obraditi količine heterogenih digitalnih informacija koje brzo pristižu. Sama analiza podataka vam omogućava da vidite određene i neprimjetne obrasce koje osoba ne može vidjeti. To nam omogućava da optimiziramo sva područja našeg života - od javne uprave do proizvodnje i telekomunikacija.

Na primjer, neke kompanije su prije nekoliko godina štitile svoje klijente od prijevare, a briga o novcu klijenata znači i brigu o svom novcu.

Susan Etliger: Šta je sa velikim podacima?

Rešenja zasnovana na Big data: Sberbank, Beeline i druge kompanije

Beeline ima ogromnu količinu podataka o pretplatnicima, koje koriste ne samo za rad s njima, već i za kreiranje analitičkih proizvoda, poput eksternog savjetovanja ili IPTV analitike. Beeline je segmentirao bazu podataka i zaštitio klijente od finansijskih prevara i virusa, koristeći HDFS i Apache Spark za skladištenje, a Rapidminer i Python za obradu podataka.

Pročitajte također:

Ili se sjetimo Sberbanke sa njihovim starim slučajem AS SAFI. Ovo je sistem koji analizira fotografije kako bi identifikovao klijente banke i sprečio prevaru. Sistem je uveden još 2014. godine, sistem se bazira na upoređivanju fotografija iz baze podataka, koje do tamo dolaze sa web kamera na štandovima zahvaljujući kompjuterskom vidu. Osnova sistema je biometrijska platforma. Zahvaljujući tome, slučajevi prevara su se smanjili za 10 puta.

Veliki podaci u svijetu

Do 2020. godine, prema prognozama, čovječanstvo će generirati 40-44 zetabajta informacija. A do 2025. će porasti 10 puta, prema izvještaju The Data Age 2025, koji su pripremili analitičari iz IDC-a. U izvještaju se navodi da će većinu podataka generirati sama preduzeća, a ne obični potrošači.

Analitičari istraživanja vjeruju da će podaci postati vitalna imovina, a sigurnost kritična osnova u životu. Autori rada su također uvjereni da će tehnologija promijeniti ekonomski krajolik, a prosječan korisnik će komunicirati sa povezanim uređajima oko 4.800 puta dnevno.

Tržište velikih podataka u Rusiji

Veliki podaci obično dolaze iz tri izvora:

• Internet (društvene mreže, forumi, blogovi, mediji i druge stranice);
• Arhiva korporativnih dokumenata;
• Očitavanja sa senzora, instrumenata i drugih uređaja.

Veliki podaci u bankama

Pored gore opisanog sistema, strategija Sberbanke za period 2014-2018 uključuje: govori o važnosti analize super podataka za kvalitetnu uslugu korisnicima, upravljanje rizicima i optimizaciju troškova. Sada banka koristi Big data za upravljanje rizicima, borbu protiv prevara, segmentaciju i procjenu kreditne sposobnosti klijenata, upravljanje osobljem, predviđanje redova u ekspoziturama, obračun bonusa zaposlenima i druge poslove.

VTB24 koristi velike podatke za segmentiranje i upravljanje odlivom kupaca, generisanje finansijskih izveštaja i analizu recenzija na društvenim mrežama i forumima. Za to koristi rješenja iz Teradata, SAS Visual Analytics i SAS Marketing Optimizer.

"Big Data" je tema o kojoj aktivno raspravljaju tehnološke kompanije. Neki od njih su se razočarali u velike podatke, dok ih drugi, naprotiv, maksimalno iskorištavaju za posao... Svježi analitički pregled domaćeg i globalnog tržišta velikih podataka, koji je pripremila Moskovska berza zajedno sa analitičarima IPOboarda , pokazuje koji su trendovi trenutno najrelevantniji na tržištu. Nadamo se da će informacije biti zanimljive i korisne.

ŠTA JE VELIKI PODACI?

Ključne karakteristike

Veliki podaci trenutno su jedan od ključnih pokretača razvoja informacionih tehnologija. Ovaj pravac, relativno nov za rusko poslovanje, postao je široko rasprostranjen u zapadnim zemljama. To je zbog činjenice da se u eri informatičke tehnologije, posebno nakon procvata društvenih mreža, počela akumulirati značajna količina informacija za svakog korisnika interneta, što je u konačnici dovelo do razvoja velikih podataka.

Izraz “Big Data” izaziva mnogo kontroverzi; mnogi vjeruju da on označava samo količinu akumuliranih informacija, ali ne treba zaboraviti ni tehničku stranu; ovo područje uključuje tehnologije skladištenja podataka, računarstvo i usluge.

Treba napomenuti da ovo područje uključuje obradu velike količine informacija, koje je teško obraditi tradicionalnim metodama*.

Ispod je tabela poređenja između tradicionalnih i velikih baza podataka.

Područje velikih podataka karakteriziraju sljedeće karakteristike:
Volume – obim, akumulirana baza podataka predstavlja veliku količinu informacija koje je radno intenzivna za obradu i skladištenje na tradicionalne načine, zahtijevaju novi pristup i poboljšane alate.
Brzina – brzina, ovaj atribut ukazuje i na sve veću brzinu akumulacije podataka (90% informacija je prikupljeno u posljednje 2 godine) i na brzinu obrade podataka; tehnologije obrade podataka u realnom vremenu su u posljednje vrijeme sve traženije.
Raznolikost – raznolikost, tj. sposobnost simultane obrade strukturiranih i nestrukturiranih informacija različitih formata. Glavna razlika između strukturiranih informacija je u tome što se one mogu klasificirati. Primjer takvih informacija bi bile informacije o transakcijama klijenata.
Nestrukturirane informacije uključuju video, audio datoteke, slobodan tekst, informacije koje dolaze sa društvenih mreža. Danas je 80% informacija nestrukturirano. Ove informacije zahtijevaju složenu analizu kako bi bile korisne za dalju obradu.
Veracity – pouzdanosti podataka, korisnici su počeli da pridaju sve veći značaj pouzdanosti dostupnih podataka. Tako internet kompanije imaju problem u razdvajanju radnji koje obavlja robot i osoba na web stranici kompanije, što u konačnici dovodi do poteškoća u analizi podataka.
Vrijednost – vrijednost akumuliranih informacija. Veliki podaci moraju biti korisni za kompaniju i donijeti joj određenu vrijednost. Na primjer, pomoć u poboljšanju poslovnih procesa, izvještavanju ili optimizaciji troškova.

Ako je ispunjeno gornjih 5 uslova, akumulirani obim podataka može se klasifikovati kao veliki.

Područja primjene Big Data

Opseg upotrebe Big Data tehnologija je širok. Tako, uz pomoć Big Data, možete saznati o preferencijama kupaca, učinkovitosti marketinških kampanja ili provesti analizu rizika. U nastavku su rezultati istraživanja IBM Instituta o oblastima upotrebe velikih podataka u kompanijama.

Kao što se vidi iz dijagrama, većina kompanija koristi Big Data u oblasti korisničkog servisa, druga najpopularnija oblast je operativna efikasnost, dok su u oblasti upravljanja rizicima Big Data trenutno manje zastupljeni.

Takođe treba napomenuti da su Big Data jedna od najbrže rastućih oblasti informacionih tehnologija; prema statistikama, ukupna količina primljenih i pohranjenih podataka udvostručuje se svake 1,2 godine.
Između 2012. i 2014. godine, količina podataka koji se mjesečno prenose mobilnim mrežama porasla je za 81%. Prema procjenama Cisco-a, u 2014. obim mobilnog saobraćaja iznosio je 2,5 eksabajta (mjerna jedinica za količinu informacija jednaka 10^18 standardnih bajtova) mjesečno, a 2019. godine iznosiće 24,3 eksabajta.
Dakle, veliki podaci su već etablirana oblast tehnologije, iako je relativno mlada, koja je postala široko rasprostranjena u mnogim oblastima poslovanja i igra važnu ulogu u razvoju kompanija.

Big Data Technologies

Tehnologije koje se koriste za prikupljanje i obradu velikih podataka mogu se podijeliti u 3 grupe:

• softver;
• Oprema;
• Usluge.

Najčešći pristupi obradi podataka (DP) uključuju:
SQL – strukturirani jezik upita koji vam omogućava rad sa bazama podataka. Koristeći SQL, možete kreirati i mijenjati podatke, a upravljanjem nizom podataka upravlja odgovarajući sistem upravljanja bazom podataka.
NoSQL – izraz je skraćenica za Ne samo SQL (ne samo SQL). Uključuje niz pristupa koji imaju za cilj implementaciju baze podataka koji se razlikuju od modela koji se koriste u tradicionalnim relacionim DBMS-ovima. Pogodni su za korištenje kada se struktura podataka stalno mijenja. Na primjer, za prikupljanje i pohranjivanje informacija na društvenim mrežama.
MapReduce – model distribucije proračuna. Koristi se za paralelno računanje na veoma velikim skupovima podataka (petabajta* ili više). U programskom interfejsu se ne prenose podaci u program na obradu, već program u podatke. Dakle, zahtjev je poseban program. Princip rada je sekvencijalna obrada podataka koristeći dvije metode: Map i Reduce. Mapa bira preliminarne podatke, Reduce ih agregira.
Hadoop – koristi se za implementaciju pretraživačkih i kontekstualnih mehanizama za visoko opterećene stranice - Facebook, eBay, Amazon, itd. Karakteristična karakteristika je da je sistem zaštićen od kvara bilo kojeg od čvorova klastera, jer svaki blok ima barem jednu kopiju podatke na drugom čvoru.
SAP HANA – NewSQL platforma visokih performansi za skladištenje i obradu podataka. Omogućava veliku brzinu obrade zahtjeva. Još jedna karakteristična karakteristika je da SAP HANA pojednostavljuje sistemski pejzaž, smanjujući troškove podrške analitičkim sistemima.

Tehnološka oprema uključuje:

• serveri;
• infrastrukturna oprema.

Serveri uključuju skladištenje podataka.
Infrastrukturna oprema uključuje alate za ubrzanje platforme, neprekidna napajanja, setove serverskih konzola itd.

Usluge.
Usluge obuhvataju usluge izgradnje arhitekture sistema baze podataka, uređenje i optimizaciju infrastrukture i osiguranje sigurnosti skladištenja podataka.

Softver, hardver i usluge zajedno čine sveobuhvatne platforme za skladištenje i analizu podataka. Kompanije kao što su Microsoft, HP, EMC nude usluge za razvoj, implementaciju i upravljanje velikim podacima.

Primjena u industriji

Veliki podaci su postali široko rasprostranjeni u mnogim poslovnim sektorima. Koriste se u zdravstvu, telekomunikacijama, trgovini, logistici, finansijskim kompanijama, kao i u državnoj administraciji.
Ispod su neki primjeri aplikacija Big Data u nekim industrijama.

Maloprodaja
Baze podataka maloprodajnih objekata mogu akumulirati mnogo informacija o kupcima, sistemima upravljanja zalihama i zalihama komercijalnih proizvoda. Ove informacije mogu biti korisne u svim područjima aktivnosti trgovine.

Tako, uz pomoć akumuliranih informacija, možete upravljati nabavkom robe, njihovim skladištenjem i prodajom. Na osnovu prikupljenih informacija moguće je predvidjeti potražnju i ponudu robe. Također, sistem za obradu i analizu podataka može riješiti i druge probleme trgovca, na primjer, optimizaciju troškova ili pripremu izvještaja.

Finansijske usluge
Veliki podaci omogućavaju analizu kreditne sposobnosti zajmoprimca, a korisni su i za ocjenjivanje kredita* i osiguranje**. Uvođenje Big Data tehnologija će smanjiti vrijeme za razmatranje zahtjeva za kredit. Uz pomoć Big Data moguće je analizirati transakcije određenog klijenta i ponuditi mu bankarske usluge koje odgovaraju njemu.

Telekom
U industriji telekomunikacija, veliki podaci su postali široko rasprostranjeni među mobilnim operaterima.
Mobilni operateri, zajedno sa finansijskim institucijama, imaju neke od najobimnijih baza podataka, što im omogućava da sprovode najdublju analizu akumuliranih informacija.
Glavna svrha analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinili, kompanije segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika.

Osim korištenja velikih podataka u marketinške svrhe, tehnologije se koriste za sprječavanje lažnih finansijskih transakcija.

Rudarska i naftna industrija
Big Data se koristi kako u vađenju minerala tako i u njihovoj preradi i marketingu. Na osnovu dobijenih informacija, preduzeća mogu izvući zaključke o efikasnosti razvoja polja, pratiti raspored velikih popravki i stanje opreme, te prognozirati potražnju za proizvodima i cijene.

Prema istraživanju Tech Pro Research-a, veliki podaci su najrašireniji u telekomunikacijskoj industriji, kao iu inženjeringu, IT, finansijskim i državnim preduzećima. Prema rezultatima ovog istraživanja, veliki podaci su manje popularni u obrazovanju i zdravstvu. Rezultati ankete su predstavljeni u nastavku:

Primjeri korištenja Big Data u kompanijama

Danas se Big Data aktivno implementira u stranim kompanijama. Kompanije kao što su Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix već koriste Big Data resurse.

Primjena obrađenih informacija je raznolika i varira ovisno o industriji i zadacima koje je potrebno izvršiti.
U nastavku će biti predstavljeni primjeri primjene Big Data tehnologija u praksi.

HSBC koristi Big Data tehnologije za borbu protiv lažnih transakcija sa plastičnim karticama. Uz pomoć Big Data, kompanija je povećala efikasnost službe sigurnosti za 3 puta, a prepoznavanje lažnih incidenata za 10 puta. Ekonomski efekat od uvođenja ovih tehnologija premašio je 10 miliona dolara.

Antifraud* VISA omogućava vam da automatski identifikujete lažne transakcije; sistem trenutno pomaže u sprečavanju lažnih plaćanja u iznosu od 2 milijarde dolara godišnje.

Watson superkompjuter IBM analizira u realnom vremenu tok podataka o monetarnim transakcijama. Prema IBM-u, Watson je povećao broj otkrivenih lažnih transakcija za 15%, smanjio lažne pozitivne rezultate za 50% i povećao količinu novca zaštićenog od transakcija ove prirode za 60%.

Procter & Gamble koristeći Big Data za dizajniranje novih proizvoda i kreiranje globalnih marketinških kampanja. P&G je kreirao namenske kancelarije Business Spheres u kojima se informacije mogu pregledati u realnom vremenu.
Tako je menadžment kompanije imao priliku da trenutno testira hipoteze i sprovede eksperimente. P&G vjeruje da Big Data pomaže u predviđanju performansi kompanije.

Prodavac kancelarijskog materijala OfficeMax Koristeći Big Data tehnologije, analiziraju ponašanje kupaca. Analiza velikih podataka omogućila je povećanje B2B prihoda za 13% i smanjenje troškova za 400.000 USD godišnje.

Prema Caterpillar , njegovi distributeri propuštaju 9 do 18 milijardi dolara profita svake godine jednostavno zato što ne implementiraju tehnologije obrade velikih podataka. Big Data bi omogućio kupcima da efikasnije upravljaju svojom flotom analizom informacija koje dolaze od senzora instaliranih na mašinama.

Danas je već moguće analizirati stanje ključnih komponenti, njihov stepen istrošenosti, upravljati troškovima goriva i održavanja.

Luxottica group je proizvođač sportskih naočara, brendova kao što su Ray-Ban, Persol i Oakley. Kompanija koristi Big Data tehnologije za analizu ponašanja potencijalnih kupaca i “pametni” SMS marketing. Kao rezultat Big Data, Luxottica grupa je identifikovala više od 100 miliona svojih najvrednijih kupaca i povećala efikasnost svoje marketinške kampanje za 10%.

Uz pomoć Yandex Data Factory, programeri igara World of Tanks analizira ponašanje igrača. Big Data tehnologije su omogućile analizu ponašanja 100 hiljada igrača World of Tanks koristeći više od 100 parametara (informacije o kupovini, igricama, iskustvu itd.). Kao rezultat analize dobijena je prognoza odliva korisnika. Ove informacije vam omogućavaju da smanjite odlazak korisnika i ciljano radite s učesnicima igre. Pokazalo se da je razvijeni model 20-30% efikasniji od standardnih alata za analizu industrije igara.

njemačko ministarstvo rada koristi Big Data u radu koji se odnosi na analizu pristiglih zahtjeva za naknade za nezaposlene. Dakle, nakon analize informacija, postalo je jasno da je 20% naknada isplaćeno nezasluženo. Ministarstvo rada je uz pomoć Big Data smanjilo troškove za 10 milijardi eura.

Dječija bolnica u Torontu implementirao projekat Artemis. Ovo je informacioni sistem koji prikuplja i analizira podatke o bebama u realnom vremenu. Sistem svake sekunde prati 1260 indikatora stanja svakog djeteta. Projekt Artemis omogućava predviđanje nestabilnog stanja djeteta i početak prevencije bolesti kod djece.

PREGLED SVJETSKOG TRŽIŠTA BIG PODATAKA

Trenutno stanje na svjetskom tržištu

U 2014. godini, Big Data je, prema Data Collectiveu, postao jedno od prioritetnih područja ulaganja u venture industriju. Kako navodi informativni portal Computerra, to je zbog činjenice da je razvoj u ovoj oblasti počeo da donosi značajne rezultate za svoje korisnike. U protekloj godini broj kompanija sa realizovanim projektima u oblasti upravljanja velikim podacima povećan je za 125%, a obim tržišta je porastao za 45% u odnosu na 2013. godinu.

Većinu prihoda na tržištu Big Data, prema Wikibonu, u 2014. godini činile su usluge, njihov udio je bio jednak 40% ukupnog prihoda (pogledajte grafikon ispod):

Ako uzmemo u obzir Big Data za 2014. po podtipovima, tržište će izgledati ovako:

Prema Wikibonu, aplikacije i analitika činili su 36% prihoda Big Data u 2014. godini od Big Data aplikacija i analitike, 17% od računarske opreme i 15% od tehnologija za skladištenje podataka. Najmanje prihoda ostvarile su NoSQL tehnologije, infrastrukturna oprema i mrežna oprema za kompanije (korporativne mreže).

Najpopularnije Big Data tehnologije su in-memory platforme SAP, HANA, Oracle itd. Rezultati istraživanja T-Systems pokazali su da ih je odabralo 30% anketiranih kompanija. Druge po popularnosti bile su NoSQL platforme (18% korisnika), kompanije su koristile i analitičke platforme Splunk i Dell, izabralo ih je 15% kompanija. Prema rezultatima ankete, Hadoop/MapReduce proizvodi su se pokazali najmanje korisnim za rješavanje problema velikih podataka.

Prema istraživanju Accenture-a, u više od 50% kompanija koje koriste Big Data tehnologije, Big Data troškovi se kreću od 21% do 30%.
Prema sljedećoj Accenture analizi, 76% kompanija vjeruje da će se ovi troškovi povećati u 2015. godini, a 24% kompanija neće mijenjati budžet za Big Data tehnologije. To sugerira da je u ovim kompanijama Big Data postao etablirana oblast IT-a, koja je postala sastavni dio razvoja kompanije.

Rezultati istraživanja Economist Intelligence Unit potvrđuju pozitivan efekat implementacije Big Data. 46% kompanija kaže da je korišćenjem Big Data tehnologija poboljšalo uslugu korisnicima za više od 10%, 33% kompanija je optimizovalo zalihe i poboljšalo produktivnost osnovnih sredstava, a 32% kompanija je unapredilo procese planiranja.

Big Data u različitim zemljama svijeta

Danas se tehnologije Big Data najčešće implementiraju u američkim kompanijama, ali druge zemlje širom svijeta već su počele pokazivati ​​interesovanje. U 2014. godini, prema IDC-u, zemlje u Evropi, Bliskom istoku, Aziji (bez Japana) i Africi činile su 45% tržišta softvera, usluga i opreme u oblasti velikih podataka.

Također, prema istraživanju CIO, kompanije iz azijsko-pacifičke regije ubrzano usvajaju nova rješenja u oblasti analize velikih podataka, sigurnog skladištenja i cloud tehnologija. Latinska Amerika je na drugom mjestu po broju ulaganja u razvoj Big Data tehnologija, ispred evropskih zemalja i SAD.
Zatim će biti predstavljen opis i prognoze za razvoj tržišta velikih podataka u nekoliko zemalja.

kina
Obim informacija u Kini je 909 eksabajta, što je jednako 10% ukupne količine informacija u svetu, do 2020. godine obim informacija će dostići 8060 eksabajta, udeo informacija u globalnoj statistici će se takođe povećati, za 5 godine iznosiće 18%. Potencijalni rast kineskih velikih podataka ima jednu od najbrže rastućih dinamika.

Brazil
Krajem 2014. Brazil je akumulirao informacije u vrijednosti od 212 eksabajta, što je 3% globalnog obima. Do 2020. obim informacija će porasti na 1600 eksabajta, što će činiti 4% svjetskih informacija.

Indija
Prema EMC-u, obim akumuliranih podataka u Indiji na kraju 2014. je 326 eksabajta, što je 5% ukupnog obima informacija. Do 2020. obim informacija će porasti na 2800 eksabajta, što će činiti 6% svjetskih informacija.

Japan
Obim akumuliranih podataka u Japanu na kraju 2014. godine iznosi 495 eksabajta, što je 8% ukupne količine informacija. Do 2020. obim informacija će porasti na 2.200 eksabajta, ali će se japanski tržišni udio smanjiti i iznositi 5% ukupne količine informacija u cijelom svijetu.
Tako će se veličina japanskog tržišta smanjiti za više od 30%.

Njemačka
Prema EMC-u, obim akumuliranih podataka u Njemačkoj na kraju 2014. godine iznosi 230 eksabajta, što je 4% ukupne količine informacija u svijetu. Do 2020. obim informacija će porasti na 1100 eksabajta i iznositi 2%.
Na njemačkom tržištu veliki udio prihoda, prema prognozama Experton grupe, ostvarit će segment usluga, čiji će udio u 2015. biti 54%, au 2019. porasti na 59%; udjeli softvera i hardver će se, naprotiv, smanjiti.

Sve u svemu, veličina tržišta će porasti sa 1,345 milijardi evra u 2015. na 3,198 milijardi evra u 2019. godini, prosečna stopa rasta od 24%.
Dakle, na osnovu analize CIO-a i EMC-a, možemo zaključiti da će zemlje u razvoju u narednim godinama postati tržišta za aktivan razvoj Big Data tehnologija.

Glavni tržišni trendovi

Prema IDG Enterprise-u, u 2015. potrošnja kompanija na Big Data će u prosjeku iznositi 7,4 miliona dolara po kompaniji, velike kompanije namjeravaju potrošiti oko 13,8 miliona dolara, male i srednje kompanije - 1,6 miliona dolara.
Većina ulaganja će biti u oblastima kao što su analiza podataka, vizualizacija i prikupljanje podataka.
Na osnovu trenutnih trendova i potražnje tržišta, ulaganja u 2015. godini će se iskoristiti za poboljšanje kvaliteta podataka, poboljšanje planiranja i predviđanja, te povećanje brzine obrade podataka.
Kompanije u finansijskom sektoru, prema Bain Company's Insights Analysis, napravit će značajna ulaganja, pa u 2015. planiraju potrošiti 6,4 milijarde dolara na Big Data tehnologije, prosječna stopa rasta investicija će biti 22% do 2020. godine. Internet kompanije planiraju da potroše 2,8 milijardi dolara, uz prosječnu stopu rasta od 26% za Big Data potrošnju.
Prilikom sprovođenja ankete Economist Intelligence Unit identifikovane su prioritetne oblasti za razvoj velikih podataka u 2014. iu naredne 3 godine, distribucija odgovora je sledeća:

Prema prognozama IDC-a, trendovi razvoja tržišta su sljedeći:

• U narednih 5 godina troškovi za cloud rješenja u području Big Data tehnologija će rasti 3 puta brže od troškova za lokalna rješenja. Hibridne platforme za skladištenje podataka će postati tražene.
• Rast aplikacija koje koriste sofisticiranu i prediktivnu analitiku, uključujući strojno učenje, ubrzat će se 2015. godine, s tim da će tržište takvih aplikacija rasti 65% brže od aplikacija koje ne koriste prediktivnu analitiku.
• Medijska analitika će se utrostručiti u 2015. i postat će ključni pokretač rasta na tržištu Big Data tehnologije.
• Trend uvođenja rješenja za analizu stalnog protoka informacija koji je primjenjiv na Internet stvari će se ubrzati.
• Do 2018. 50% korisnika će komunicirati sa uslugama zasnovanim na kognitivnom računarstvu.

Tržišni pokretači i ograničavači

Stručnjaci IDC-a identifikovali su 3 pokretača tržišta velikih podataka u 2015. godini:

Prema istraživanju Accenture-a, pitanja sigurnosti podataka su sada glavna prepreka implementaciji Big Data tehnologija, pri čemu je više od 51% ispitanika potvrdilo da su zabrinuti za osiguranje zaštite i povjerljivosti podataka. 47% kompanija je prijavilo nemogućnost implementacije Big Data zbog ograničenih budžeta, 41% kompanija je kao problem navelo nedostatak kvalifikovanog osoblja.

Wikibon predviđa da će tržište velikih podataka porasti na 38,4 milijarde dolara u 2015., što je porast od 36% u odnosu na prethodnu godinu. U narednim godinama doći će do pada stopa rasta na 10% u 2017. Uzimajući u obzir ove prognoze, veličina tržišta će u 2020. biti jednaka 68,7 milijardi američkih dolara.

Distribucija globalnog tržišta velikih podataka po poslovnim kategorijama će izgledati ovako:

Kao što se vidi iz dijagrama, najveći dio tržišta zauzimat će tehnologije u oblasti poboljšanja usluge korisnicima. Ciljani marketing će biti drugi prioritet za kompanije do 2019. godine, a 2020. će, prema Heavy Readingu, ustupiti mjesto rješenjima za poboljšanje operativne efikasnosti.
Najveću stopu rasta imat će i segment „poboljšanja usluga za korisnike“ sa porastom od 49% na godišnjem nivou.
Prognoza tržišta za podtipove Big Data će izgledati ovako:

Dominantan tržišni udio, kao što se vidi iz dijagrama, zauzimaju profesionalne usluge, najveću stopu rasta imat će aplikacije sa analitikom, njihov udio će se povećati sa sadašnjih 12% na 18% u 2020. godini i obim ovog segmenta će biti jednak 12,3 milijarde američkih dolara Udio računarske opreme će, naprotiv, pasti sa 20% na 14% i iznositi oko 9,3 milijarde američkih dolara u 2020., tržište oblaka tehnologija će se postepeno povećavati i 2020. dostići 6,3 milijarde američkih dolara, tržišni udio rješenja za pohranu podataka, naprotiv, smanjit će se sa 15% u 2014. na 13% u 2020. godini i u monetarnom smislu će biti jednak 8,9 milijardi američkih dolara.
Prema prognozi Bain & Company's Insights Analysis, distribucija tržišta velikih podataka po industrijama u 2020. će biti sljedeća:

• Finansijska industrija će potrošiti 6,4 milijarde dolara na velike podatke sa prosječnom stopom rasta od 22% godišnje;
• Internet kompanije će potrošiti 2,8 milijardi dolara, a prosječna stopa rasta troškova će biti 26% u narednih 5 godina;
• Troškovi javnog sektora biće srazmerni troškovima internet kompanija, ali će stopa rasta biti niža - 22%;
• Sektor telekomunikacija će rasti po CAGR od 40% kako bi dostigao 1,2 milijarde USD u 2020. godini;

Energetske kompanije će investirati relativno mali iznos u ove tehnologije - 800 miliona dolara, ali će stopa rasta biti jedna od najvećih - 54% godišnje.
Tako će najveći udio na tržištu velikih podataka u 2020. godini zauzeti kompanije u finansijskoj industriji, a najbrže rastući sektor biće energetika.
Prema prognozama analitičara, ukupna veličina tržišta će se povećati u narednim godinama. Tržišni rast će se postići implementacijom Big Data tehnologija u zemljama u razvoju svijeta, što se može vidjeti iz grafikona ispod.

Predviđena veličina tržišta zavisiće od toga kako zemlje u razvoju percipiraju Big Data tehnologije i da li će one biti popularne kao u razvijenim zemljama. U 2014. godini, zemlje u razvoju su činile 40% obima akumuliranih informacija. Prema prognozi EMC-a, u 2017. godini će se promijeniti sadašnja tržišna struktura, u kojoj dominiraju razvijene zemlje. Prema EMC analitici, 2020. godine udio zemalja u razvoju bit će više od 60%.
Prema Cisco-u i EMC-u, zemlje u razvoju širom svijeta će prilično aktivno raditi s velikim podacima, uglavnom zbog dostupnosti tehnologije i akumulacije dovoljne količine informacija do nivoa velikih podataka. Mapa svijeta predstavljena na sljedećoj stranici će pokazati prognozu povećanja obima i stope rasta Big Data po regijama.

ANALIZA RUSKOG TRŽIŠTA

Trenutno stanje na ruskom tržištu

Prema rezultatima studije CNews Analytics i Oraclea, nivo zrelosti ruskog tržišta velikih podataka porastao je u protekloj godini. Ispitanici, koji predstavljaju 108 velikih preduzeća iz različitih delatnosti, pokazali su veći stepen svesti o ovim tehnologijama, kao i utvrđeno razumevanje potencijala ovakvih rešenja za njihovo poslovanje.
Od 2014. godine, prema IDC-u, Rusija je akumulirala 155 eksabajta informacija, što je samo 1,8% svjetskih podataka. Količina informacija do 2020. godine dostići će 980 eksabajta i zauzimati 2,2%. Tako će prosječna stopa rasta obima informacija biti 36% godišnje.
IDC procjenjuje rusko tržište na 340 miliona dolara, od čega su 100 miliona dolara SAP rješenja, oko 240 miliona su slična rješenja Oraclea, IBM-a, SAS-a, Microsofta itd.
Stopa rasta ruskog tržišta velikih podataka nije manja od 50% godišnje.
Predviđa se da će se pozitivna dinamika nastaviti u ovom sektoru ruskog IT tržišta, čak iu uslovima opšte ekonomske stagnacije. To je zbog činjenice da preduzeća i dalje traže rješenja koja poboljšavaju operativnu efikasnost, kao i optimiziraju troškove, poboljšavaju preciznost predviđanja i minimiziraju moguće rizike kompanije.
Glavni pružaoci usluga u oblasti velikih podataka na ruskom tržištu su:

• Oracle
• Microsoft
• Cloudera
• Hortonworks
• Teradata.

Pregled tržišta po djelatnostima i iskustvo u korištenju Big Data u kompanijama

Prema CNews-u, u Rusiji je samo 10% kompanija počelo da koristi Big Data tehnologije, dok je u svijetu udio takvih kompanija oko 30%. Spremnost za Big Data projekte raste u mnogim sektorima ruske ekonomije, navodi se u izvještaju CNews Analytics i Oraclea. Više od trećine ispitanih kompanija (37%) počelo je da radi sa Big Data tehnologijama, od kojih 20% već koristi takva rešenja, a 17% počinje da eksperimentiše sa njima. Druga trećina ispitanika trenutno razmatra ovu mogućnost.

U Rusiji su Big Data tehnologije najpopularnije u bankarskom i telekom sektoru, ali su tražene iu rudarskoj industriji, energetici, maloprodaji, logističkim kompanijama i javnom sektoru.
Zatim će se razmotriti primjeri korištenja Big Data u ruskoj stvarnosti.

Telekom
Telekom operateri imaju neke od najobimnijih baza podataka, što im omogućava da provedu najdublju analizu akumuliranih informacija.
Jedno od područja primjene Big Data tehnologije je upravljanje lojalnošću pretplatnika.
Glavna svrha analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinili, kompanije segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika. Osim korištenja informacija u marketinške svrhe, telekom tehnologije se koriste za sprječavanje lažnih finansijskih transakcija.
Jedan od upečatljivih primjera ove industrije je VimpelCom. Kompanija koristi Big Data za poboljšanje kvaliteta usluge na nivou svakog pretplatnika, sastavljanje izveštaja, analizu podataka za razvoj mreže, borbu protiv neželjene pošte i personalizaciju usluga.

Banke
Značajan dio korisnika Big Data su stručnjaci iz finansijske industrije. Jedan od uspješnih eksperimenata izveden je u Uralskoj banci za obnovu i razvoj, gdje je baza podataka počela da se koristi za analizu klijenata, banka je počela nuditi specijalizirane ponude kredita, depozita i druge usluge. U roku od godinu dana korišćenja ovih tehnologija, kreditni portfolio kompanije je porastao za 55%.
Alfa-Bank analizira informacije sa društvenih mreža, obrađuje kreditne zahtjeve i analizira ponašanje korisnika web stranice kompanije.
Sberbank je takođe počela da obrađuje ogromnu količinu podataka kako bi segmentirala klijente, sprečila lažne aktivnosti, unakrsnu prodaju i upravljala rizicima. U budućnosti se planira unapređenje usluge i analiza akcija korisnika u realnom vremenu.
Sveruska regionalna razvojna banka analizira ponašanje vlasnika plastičnih kartica. To omogućava identifikaciju transakcija koje su netipične za određenog klijenta, čime se povećava vjerovatnoća otkrivanja krađe sredstava sa plastičnih kartica.

Maloprodaja
U Rusiji su tehnologije Big Data implementirale i kompanije za trgovinu na mreži i van mreže. Danas, prema CNews Analytics, velike podatke koristi 20% trgovaca. 75% profesionalaca u maloprodaji smatra Big Data neophodnim za razvoj konkurentske strategije promocije kompanije. Prema Hadoop statistici, nakon implementacije Big Data tehnologije, profit u trgovačkim organizacijama raste za 7-10%.
Stručnjaci M.Video govore o poboljšanom logističkom planiranju nakon implementacije SAP HANA, također, kao rezultat njegove implementacije, izrada godišnjih izvještaja smanjena je sa 10 dana na 3, brzina dnevnog učitavanja podataka smanjena je sa 3 sata na 30 minuta.
Wikimart koristi ove tehnologije da generiše preporuke za posetioce sajta.
Jedna od prvih oflajn prodavnica koja je uvela analizu velikih podataka u Rusiji bila je Lenta. Uz pomoć Big Data, maloprodaja je počela proučavati informacije o kupcima iz računa blagajne. Prodavac prikuplja informacije kako bi kreirao modele ponašanja, što omogućava donošenje informiranih odluka na operativnom i komercijalnom nivou.

Industrija nafte i gasa
U ovoj industriji, opseg velikih podataka je prilično širok. Tehnologije velikih podataka mogu se koristiti u vađenju minerala iz podzemlja. Uz njihovu pomoć možete analizirati sam proces ekstrakcije i najefikasnije načine ekstrakcije, pratiti proces bušenja, analizirati kvalitet sirovina, kao i preradu i plasman finalnog proizvoda. U Rusiji su Transnjeft i Rosnjeft već počeli da koriste ove tehnologije.

Državni organi
U zemljama kao što su Nemačka, Australija, Španija, Japan, Brazil i Pakistan, tehnologije velikih podataka koriste se za rešavanje nacionalnih problema. Ove tehnologije pomažu državnim organima da efikasnije pružaju usluge stanovništvu i pružaju ciljanu socijalnu podršku.
U Rusiji su ove tehnologije počele savladavati vladina tijela kao što su Penzioni fond, Federalna porezna služba i Fond obaveznog zdravstvenog osiguranja. Potencijal za implementaciju projekata koji koriste Big Data je veliki, te tehnologije mogu pomoći u poboljšanju kvaliteta usluga, a kao rezultat toga, i životnog standarda stanovništva.

Logistika i transport
Big Data mogu koristiti i transportne kompanije. Koristeći Big Data tehnologije, možete pratiti svoj vozni park, uzeti u obzir troškove goriva i pratiti zahtjeve kupaca.
Ruske željeznice su implementirale Big Data tehnologije zajedno sa SAP-om. Ove tehnologije su pomogle da se smanji vrijeme pripreme izvještaja za 43,5 puta (sa 14,5 sati na 20 minuta) i poveća tačnost distribucije troškova za 40 puta. Big Data je također uveden u procese planiranja i regulacije tarifa. Ukupno, kompanije koriste više od 300 sistema baziranih na SAP rješenjima, uključena su 4 data centra, a broj korisnika je 220.000.

Glavni pokretači i ograničavači tržišta

Pokretači razvoja Big Data tehnologija na ruskom tržištu su:

• Povećano interesovanje korisnika za mogućnosti Big Data kao načina povećanja konkurentnosti kompanije;
• Razvoj metoda za obradu medijskih datoteka na globalnom nivou;
• Transfer servera koji obrađuju lične podatke na teritoriju Rusije, u skladu sa usvojenim zakonom o čuvanju i obradi ličnih podataka;
• Implementacija industrijskog plana uvozne supstitucije softvera. Ovaj plan uključuje državnu podršku domaćim proizvođačima softvera, kao i davanje preferencija za domaće IT proizvode prilikom kupovine o državnom trošku.
• U novoj ekonomskoj situaciji, kada se kurs dolara skoro udvostručio, postojaće trend sve većeg korišćenja usluga ruskih provajdera usluga u oblaku, a ne stranih.
• Stvaranje tehnoloških parkova koji doprinose razvoju tržišta informacionih tehnologija, uključujući tržište velikih podataka;
• Državni program za implementaciju mrežnih sistema zasnovanih na Big Data tehnologijama.

Glavne prepreke razvoju velikih podataka na ruskom tržištu su:

• Osiguravanje sigurnosti i povjerljivosti podataka;
• Nedostatak kvalifikovanog osoblja;
• Nedovoljni akumulirani informacioni resursi do nivoa Big Data u većini ruskih kompanija;
• Poteškoće u uvođenju novih tehnologija u uspostavljene informacione sisteme preduzeća;
• Visoki troškovi Big Data tehnologija, što dovodi do ograničenog broja preduzeća koja imaju priliku da implementiraju ove tehnologije;
• Politička i ekonomska neizvjesnost, koja je dovela do odliva kapitala i zamrzavanja investicionih projekata u Rusiji;
• Rast cijena uvoznih proizvoda i porast inflacije, prema IDC-u, usporavaju razvoj cjelokupnog IT tržišta.

Prognoza ruskog tržišta

Rusko tržište velikih podataka od danas nije toliko popularno kao u razvijenim zemljama. Većina ruskih kompanija pokazuje interesovanje za to, ali se ne usuđuju da iskoriste svoje mogućnosti.
Primjeri velikih kompanija koje su već imale koristi od korištenja Big Data tehnologija povećavaju svijest o mogućnostima ovih tehnologija.
Analitičari takođe imaju prilično optimistične prognoze u pogledu ruskog tržišta. IDC vjeruje da će se rusko tržište povećati u narednih 5 godina, za razliku od njemačkog i japanskog tržišta.
Do 2020. obim velikih podataka u Rusiji će porasti sa sadašnjih 1,8% na 2,2% globalnog obima podataka. Količina informacija će porasti, prema EMC-u, sa sadašnjih 155 eksabajta na 980 eksabajta u 2020.
Trenutno Rusija nastavlja da akumulira količinu informacija do nivoa velikih podataka.
Prema istraživanju CNews Analytics, 44% anketiranih kompanija radi sa podacima ne većim od 100 terabajta*, a samo 13% radi sa volumenima većim od 500 terabajta.

Ipak, rusko tržište će, prateći svjetske trendove, rasti. Od 2014. IDC procjenjuje veličinu tržišta na 340 miliona dolara.
Stopa rasta tržišta u prethodnim godinama iznosila je 50% godišnje, a ako ostane na istom nivou, onda će u 2018. obim tržišta dostići 1,7 milijardi dolara. Udeo ruskog tržišta na svetskom tržištu iznosiće oko 3%, sa sadašnjih 1,2%.

Najprihvatljivije industrije za korištenje velikih podataka u Rusiji uključuju:

• Maloprodaji i bankama, za njih je prvenstveno važna analiza baze klijenata i procjena efekta marketinških kampanja;
• Telekom – segmentacija korisničke baze i monetizacija prometa;
• Javni sektor – izvještavanje, analiza prijava javnosti i dr.;
• Naftne kompanije – praćenje rada i planiranje proizvodnje i prodaje;
• Energetske kompanije – stvaranje inteligentnih elektroenergetskih sistema, operativni nadzor i predviđanje.

U razvijenim zemljama, veliki podaci su postali široko rasprostranjeni u oblastima zdravstva, osiguranja, metalurgije, internet kompanija i proizvodnih preduzeća; najverovatnije će u bliskoj budućnosti i ruske kompanije sa ovih prostora ceniti efekat uvođenja Big Data i prilagođavaće se ove tehnologije u svojim industrijama.
U Rusiji, kao iu svijetu, u bliskoj budućnosti će se pojaviti trend vizualizacije podataka, analize medijskih datoteka i razvoja interneta stvari.
Uprkos opštoj stagnaciji privrede, analitičari u narednim godinama predviđaju dalji rast Big Data tržišta, prvenstveno zbog činjenice da korišćenje Big Data tehnologija svojim korisnicima daje konkurentsku prednost u smislu povećanja operativne efikasnosti. poslovanje, privlačenje dodatnog protoka kupaca, minimiziranje rizika i implementacija tehnologija predviđanja podataka.
Dakle, možemo zaključiti da je segment Big Data u Rusiji u fazi formiranja, ali potražnja za ovim tehnologijama raste svake godine.

Glavni rezultati analize tržišta

Svjetsko tržište

Na kraju 2014. godine tržište velikih podataka karakteriziraju sljedeći parametri:

• obim tržišta iznosio je 28,5 milijardi američkih dolara, što je povećanje od 45% u odnosu na prethodnu godinu;
• najveći dio prihoda tržišta Big Data dolazi od usluga, njihov udio je bio jednak 40% ukupnog prihoda;
• 36% prihoda došlo je od Big Data aplikacija i analitike, 17% od računarske opreme i 15% od tehnologija za skladištenje podataka;
• Najpopularnije za rješavanje problema velikih podataka su in-memory platforme kompanija kao što su SAP, HANA i Oracle.
• broj kompanija sa realizovanim projektima iz oblasti upravljanja velikim podacima povećan je za 125%;

Prognoza tržišta za naredne godine je sljedeća:

• u 2015. obim tržišta će dostići 38,4 milijarde američkih dolara, u 2020. godini – 68,7 milijardi američkih dolara;
• prosječna stopa rasta iznosiće 16% godišnje;
• prosječni troškovi kompanije za Big Data tehnologije iznosit će 13,8 miliona dolara za velike kompanije i 1,6 miliona dolara za mala i srednja preduzeća;
• tehnologije će biti najrasprostranjenije u oblastima usluga korisnicima i ciljanog marketinga;
• U 2017. godini globalna tržišna struktura će se promijeniti u pravcu prevlasti korisničkih kompanija iz zemalja u razvoju.

Rusko tržište

Rusko tržište velikih podataka je u fazi formiranja, a rezultati u 2014. su sljedeći:

• obim tržišta dostigao 340 miliona dolara;
• prosječna stopa rasta tržišta u prethodnim godinama iznosila je 50% godišnje;
• ukupna količina akumuliranih informacija iznosila je 155 eksabajta;
• 10% ruskih kompanija počelo je da koristi Big Data tehnologije;
• Big Data tehnologije su bile popularnije u bankarskom sektoru, telekomunikacijama, internet kompanijama i maloprodaji.

Prognoza ruskog tržišta za naredne godine je sljedeća:

• obim ruskog tržišta u 2015. godini dostići će 500 miliona američkih dolara, au 2018. godini – 1,7 milijardi američkih dolara;
• udio ruskog tržišta na globalnom tržištu će biti oko 3% u 2018. godini;
• količina akumuliranih podataka u 2020. godini iznosit će 980 eksabajta;
• obim podataka će porasti na 2,2% globalnog obima podataka u 2020.;
• Tehnologije za vizualizaciju podataka, analizu medijskih datoteka i Internet stvari će postati najpopularnije.

Na osnovu rezultata analize možemo zaključiti da je tržište velikih podataka još uvijek u ranoj fazi razvoja, au bliskoj budućnosti ćemo vidjeti njegov rast i proširenje mogućnosti ovih tehnologija.

Hvala vam što ste odvojili vrijeme da pročitate ovo obimno djelo, pretplatite se na naš blog - obećavamo mnogo novih zanimljivih publikacija!

Znate ovaj poznati vic, zar ne? Big Data je kao seks prije 18.

• svi razmišljaju o tome;
• svi pričaju o tome;
• svi misle da to rade njihovi prijatelji;
• skoro niko to ne radi;
• ko god to radi, čini to loše;
• svi misle da će sledeći put biti bolje;
• niko ne preduzima mere bezbednosti;
• bilo ko se stidi priznati da nešto ne zna;
• ako neko u nečemu uspe, uvek se diže velika buka oko toga.

Ali budimo iskreni, uz svaki hype uvijek će postojati uobičajena radoznalost: kakva je to gužva i ima li tu nečeg zaista važnog? Ukratko, da, postoji. Detalji su u nastavku. Odabrali smo za vas najnevjerovatnije i najzanimljivije aplikacije Big Data tehnologija. Ova mala studija tržišta, koristeći jasne primjere, suočava nas s jednostavnom činjenicom: budućnost ne dolazi, nema potrebe da se "čeka još n godina i magija će postati stvarnost". Ne, već je stiglo, ali je još nevidljivo oku i stoga izgaranje singularnosti još nije toliko zapalilo određenu tačku tržišta rada. Idi.

1 Kako se Big Data tehnologije primjenjuju tamo gdje su nastale

Velike IT kompanije su mjesto nastanka nauke o podacima, pa je njihovo interno znanje u ovoj oblasti najzanimljivije. Kampanja Google, rodno mjesto Map Reduce paradigme, čija je jedina svrha da obuči svoje programere u tehnologijama mašinskog učenja. I tu je njihova konkurentska prednost: nakon sticanja novih znanja, zaposleni će uvesti nove metode u one Google projekte u kojima stalno rade. Zamislite koliko je ogromna lista oblasti u kojima kampanja može revolucionirati. Jedan primjer: koriste se neuronske mreže.

Korporacija implementira mašinsko učenje u sve svoje proizvode. Njegova prednost je prisustvo velikog ekosistema, koji uključuje sve digitalne uređaje koji se koriste u svakodnevnom životu. Ovo omogućava Appleu da dosegne nemoguć nivo: kampanja ima više korisničkih podataka od bilo koje druge. Istovremeno, politika privatnosti je vrlo stroga: korporacija se oduvijek hvalila da ne koristi podatke korisnika u reklamne svrhe. U skladu s tim, informacije o korisniku su šifrirane tako da Apple odvjetnici ili čak FBI s nalogom ne mogu da ih pročitaju. Ovdje ćete pronaći veliki pregled Appleovog razvoja u oblasti AI.

2 Big Data na 4 točka

Savremeni automobil je skladište informacija: on akumulira sve podatke o vozaču, okruženju, povezanim uređajima i sebi. Uskoro će jedno vozilo koje je povezano na mrežu poput ove generirati do 25 GB podataka na sat.

Telematiku vozila već dugi niz godina koriste proizvođači automobila, ali sada postoji lobiranje za sofisticiraniju metodu prikupljanja podataka koja u potpunosti koristi prednosti velikih podataka. To znači da tehnologija sada može upozoriti vozača na loše uslove na putu automatskim aktiviranjem sistema protiv blokiranja točkova pri kočenju i kontrole proklizavanja.

Druge kompanije, uključujući BMW, koriste tehnologiju Big Data, u kombinaciji sa informacijama prikupljenim od prototipova koji se testiraju, sistema memorije grešaka u vozilu i žalbi kupaca, kako bi identifikovali slabosti modela u ranoj fazi proizvodnje. Sada, umjesto ručnog vrednovanja podataka, što traje mjesecima, koristi se moderan algoritam. Greške i troškovi rješavanja problema su smanjeni, što ubrzava radni tok analize informacija u BMW-u.

Prema procjenama stručnjaka, do 2019. godine tržišni promet povezanih automobila dostići će 130 milijardi dolara, što nije iznenađujuće, s obzirom na brzinu integracije tehnologija koje su sastavni dio vozila od strane proizvođača automobila.

Korištenje Big Data pomaže da automobil bude sigurniji i funkcionalniji. Tako je Toyota integrisala informaciono komunikacione module (DCM). Ovaj alat za velike podatke obrađuje i analizira podatke koje je prikupio DCM kako bi dodatno izvukao vrijednost iz njih.

3 Primena velikih podataka u medicini

Implementacija Big Data tehnologija u medicinskom polju omogućava doktorima da detaljnije prouče bolest i odaberu efikasan tok liječenja za određeni slučaj. Zahvaljujući analizi informacija, zdravstvenim radnicima postaje lakše predvidjeti recidive i poduzeti preventivne mjere. Rezultat je preciznija dijagnoza i poboljšane metode liječenja.

Nova tehnika nam je omogućila da sagledamo probleme pacijenata iz drugačije perspektive, što je dovelo do otkrivanja ranije nepoznatih izvora problema. Na primjer, neke rase su genetski sklonije srčanim oboljenjima od drugih etničkih grupa. Sada, kada se pacijent žali na određenu bolest, doktori uzimaju u obzir podatke o pripadnicima njegove rase koji su se žalili na isti problem. Prikupljanje i analiza podataka omogućava nam da saznamo mnogo više o pacijentima: od preferencija u hrani i načina života do genetske strukture DNK i metabolita ćelija, tkiva i organa. Tako Centar za dječju genomsku medicinu u Kanzas Cityju koristi pacijente i analizira mutacije u genetskom kodu koje uzrokuju rak. Individualni pristup svakom pacijentu, uzimajući u obzir njegovu DNK, podići će efikasnost liječenja na kvalitativno drugačiji nivo.

Razumijevanje načina na koji se Big Data koriste je prva i vrlo važna promjena u medicinskom polju. Kada se pacijent podvrgne liječenju, bolnica ili druga zdravstvena ustanova može dobiti mnogo relevantnih informacija o osobi. Prikupljene informacije se koriste za predviđanje recidiva bolesti sa određenim stepenom tačnosti. Na primjer, ako je pacijent doživio moždani udar, liječnici proučavaju podatke o vremenu cerebrovaskularne nezgode, analiziraju međuperiod između prethodnih presedana (ako ih je bilo), obraćajući posebnu pažnju na stresne situacije i teške fizičke aktivnosti u životu pacijenta. Na osnovu ovih podataka, bolnice daju pacijentu jasan plan akcije kako bi se spriječila mogućnost moždanog udara u budućnosti.

Nosivi uređaji također igraju ulogu, pomažu u prepoznavanju zdravstvenih problema čak i ako osoba nema očigledne simptome određene bolesti. Umjesto da procjenjuje stanje pacijenta kroz dugi tok pregleda, doktor može izvući zaključke na osnovu informacija prikupljenih fitness trackerom ili pametnim satom.

Jedan od najnovijih primjera je . Dok je muškarac bio na pregledu zbog novog napada uzrokovanog propuštenim lijekom, ljekari su otkrili da muškarac ima mnogo ozbiljniji zdravstveni problem. Ispostavilo se da je ovaj problem fibrilacija atrija. Dijagnoza je postavljena zahvaljujući činjenici da je osoblje odjela dobilo pristup pacijentovom telefonu, odnosno aplikaciji povezanoj s njegovim fitnes trackerom. Podaci iz aplikacije pokazali su se ključnim faktorom u postavljanju dijagnoze, jer u trenutku pregleda kod muškarca nisu otkrivene srčane abnormalnosti.

Ovo je samo jedan od rijetkih slučajeva koji pokazuje zašto koristiti velike podatke igra tako značajnu ulogu u medicinskom polju danas.

4 Analiza podataka je već postala srž maloprodaje

Razumijevanje korisničkih upita i ciljanja jedno je od najvećih i najpublikovanijih područja primjene Big Data alata. Big Data pomaže u analizi navika kupaca kako bi se bolje razumjeli potrebe potrošača u budućnosti. Kompanije žele proširiti tradicionalni skup podataka informacijama s društvenih mreža i historijom pretraživanja pretraživača kako bi stvorile najpotpuniju moguću sliku korisnika. Ponekad velike organizacije odlučuju kreirati svoj vlastiti model predviđanja kao globalni cilj.

Na primjer, lanac Target prodavnica, koristeći dubinsku analizu podataka i sopstveni sistem predviđanja, uspeva da odredi sa velikom preciznošću - . Svakom klijentu se dodjeljuje ID, koji je zauzvrat povezan s kreditnom karticom, imenom ili emailom. Identifikator služi kao svojevrsna korpa za kupovinu u kojoj se pohranjuju podaci o svemu što je osoba ikada kupila. Stručnjaci mreže su otkrili da trudnice aktivno kupuju proizvode bez mirisa prije drugog tromjesečja trudnoće, a tokom prvih 20 sedmica oslanjaju se na suplemente kalcija, cinka i magnezija. Na osnovu primljenih podataka, Target kupcima šalje kupone za proizvode za bebe. Popusti na robu za samu djecu “razvodnjeni” su kuponima za ostale proizvode, tako da ponude za kupovinu krevetića ili pelena ne izgledaju previše nametljivo.

Čak su i vladine službe pronašle način da koriste Big Data tehnologije za optimizaciju predizbornih kampanja. Neki smatraju da je za pobjedu Baracka Obame na američkim predsjedničkim izborima 2012. zaslužan odličan rad njegovog tima analitičara, koji je na pravi način obradio ogromne količine podataka.

5 Veliki podaci štite zakon i red

U proteklih nekoliko godina, agencije za provođenje zakona uspjele su shvatiti kako i kada koristiti Big Data. Općepoznata je činjenica da Agencija za nacionalnu sigurnost koristi Big Data tehnologije za sprječavanje terorističkih napada. Ostali odjeli koriste naprednu metodologiju za sprječavanje manjih zločina.

Policijska uprava Los Angelesa koristi . Ona radi ono što se obično naziva proaktivna policija. Koristeći izvještaje o kriminalu tokom određenog vremenskog perioda, algoritam identifikuje oblasti u kojima je najvjerovatnije da će se zločin dogoditi. Sistem označava takva područja na mapi grada malim crvenim kvadratima i ti podaci se odmah prenose patrolnim automobilima.

Čikaški policajci koristiti Big Data tehnologije na malo drugačiji način. Službenici za provođenje zakona u Gradu vjetrova rade isto, ali ima za cilj da ocrta "krug rizika" koji se sastoji od ljudi koji bi mogli biti žrtva ili učesnik u oružanom napadu. Prema The New York Timesu, ovaj algoritam dodjeljuje osobi ocenu ranjivosti na osnovu njene kriminalne istorije (hapšenja i učešće u pucnjavi, članstvo u kriminalnim grupama). Programer sistema kaže da sistem ispituje kriminalnu istoriju osobe, ali ne uzima u obzir sekundarne faktore kao što su rasa, pol, etnička pripadnost i lokacija osobe.

6 Kako tehnologije velikih podataka pomažu gradovima da se razvijaju

Izvršni direktor Veniama Joao Barros pokazuje mapu praćenja Wi-Fi rutera u autobusima u Portu

Analiza podataka se također koristi za poboljšanje brojnih aspekata života gradova i država. Na primjer, znajući tačno kako i kada koristiti Big Data tehnologije, možete optimizirati prometne tokove. Da bi se to postiglo, uzima se u obzir kretanje automobila na mreži, analiziraju se društveni mediji i meteorološki podaci. Danas se veliki broj gradova obavezao da će pomoću analitike podataka kombinovati saobraćajnu infrastrukturu sa drugim vrstama javnih usluga u jedinstvenu celinu. Ovo je koncept “pametnog” grada, u kojem autobusi čekaju na kasne vozove, a semafori su u stanju da predvide gužve u saobraćaju kako bi smanjili gužve u saobraćaju.

Na osnovu tehnologije Big Data, grad Long Beach koristi pametne vodomjere koji se koriste za zaustavljanje ilegalnog zalijevanja. Ranije su se koristile za smanjenje potrošnje vode u privatnim domaćinstvima (maksimalni rezultat je smanjenje od 80%). Štednja svježe vode uvijek je goruće pitanje. Pogotovo kada država proživljava najgoru sušu ikada zabilježenu.

Predstavnici Ministarstva saobraćaja Los Anđelesa pridružili su se listi onih koji koriste Big Data. Na osnovu podataka dobijenih od senzora saobraćajnih kamera, nadležni prate rad semafora, što zauzvrat omogućava regulisanje saobraćaja. Kompjuterizovani sistem kontroliše oko 4.500 hiljada semafora širom grada. Prema zvaničnim podacima, novi algoritam je pomogao u smanjenju zagušenja za 16%.

7 Motor napretka u marketingu i prodaji

U marketingu, alati Big Data omogućavaju da se identifikuje koje su ideje najefikasnije u promociji u određenoj fazi prodajnog ciklusa. Analiza podataka određuje kako ulaganja mogu poboljšati upravljanje odnosima s klijentima, koju strategiju treba usvojiti za poboljšanje stope konverzije i kako optimizirati životni ciklus korisnika. U kompanijama u oblaku, Big Data algoritmi se koriste kako bi se otkrilo kako minimizirati troškove akvizicije kupaca i povećati životni ciklus korisnika.

Diferencijacija cjenovnih strategija u zavisnosti od unutarsistemskog nivoa klijenta je možda glavna stvar za koju se Big Data koristi u polju marketinga. McKinsey je otkrio da oko 75% prihoda prosječne firme dolazi od osnovnih proizvoda, od kojih je 30% pogrešno ocijenjeno. Povećanje cijene od 1% rezultira povećanjem operativne dobiti za 8,7%.

Forresterov istraživački tim je otkrio da analitika podataka omogućava marketinškim stručnjacima da se usredsrede na to kako da odnose s kupcima učine uspješnijim. Ispitujući pravac razvoja kupaca, stručnjaci mogu procijeniti nivo njihove lojalnosti, kao i produžiti životni ciklus u kontekstu određene kompanije.

Optimizacija prodajnih strategija i faza izlaska na nova tržišta pomoću geoanalitike odražavaju se u biofarmaceutskoj industriji. Prema McKinseyju, kompanije za proizvodnju lijekova troše u prosjeku 20 do 30% profita na administraciju i prodaju. Ako preduzeća postanu aktivnija koristiti Big Data kako bi se identifikovala najprofitabilnija i najbrže rastuća tržišta, troškovi će se odmah smanjiti.

Analitika podataka je sredstvo za kompanije da steknu potpunu sliku o ključnim aspektima svog poslovanja. Povećanje prihoda, smanjenje troškova i smanjenje obrtnog kapitala tri su izazova koje moderna preduzeća pokušavaju riješiti uz pomoć analitičkih alata.

Konačno, 58% marketing direktora tvrdi da se implementacija Big Data tehnologija može vidjeti u optimizaciji za pretraživače (SEO), e-mailu i mobilnom marketingu, gdje analiza podataka igra najznačajniju ulogu u formiranju marketinških programa. A samo 4% manje ispitanika je uvjereno da će Big Data igrati značajnu ulogu u svim marketinškim strategijama u godinama koje dolaze.

8 Globalna analiza podataka

Ništa manje radoznala nije... Moguće je da će mašinsko učenje na kraju biti jedina sila koja je u stanju da održi delikatnu ravnotežu. Tema ljudskog uticaja na globalno zagrevanje i dalje izaziva mnogo kontroverzi, pa samo pouzdani prediktivni modeli zasnovani na analizi velike količine podataka mogu dati tačan odgovor. Na kraju, smanjenje emisija će nam svima pomoći: manje ćemo trošiti na energiju.

Sada veliki podaci nisu apstraktni koncept koji bi svoju primjenu mogao naći za nekoliko godina. Ovo je potpuno funkcionalan skup tehnologija koje mogu biti korisne u gotovo svim područjima ljudske djelatnosti: od medicine i javnog reda do marketinga i prodaje. Faza aktivne integracije Big Data-a u naš svakodnevni život je tek počela, a ko zna kakva će biti uloga Big Data-a za nekoliko godina?