Veliki podaci. Big Data - što su sustavi velikih podataka? Razvoj Big Data tehnologija

Veliki podaci– to nisu samo sami podaci, već i tehnologije za njihovu obradu i korištenje, metode za traženje potrebnih informacija u velikim nizovima. Problem velikih podataka i dalje ostaje otvoren i vitalan za sve sustave koji desetljećima gomilaju najrazličitije informacije.

Ovaj pojam je povezan s izrazom "Glasnoća, brzina, raznolikost"– načela na kojima se temelji rad s velikim podacima. Izravno je količina informacija, brzina njegove obrade I raznolikost informacija, pohranjen u nizu. Nedavno je trima osnovnim načelima dodan još jedan - Vrijednost, što znači vrijednost informacije. Odnosno, mora biti koristan i neophodan u teoretskom ili praktičnom smislu, koji bi opravdao troškove njegovog skladištenja i obrade.

Primjer tipičnog izvora velikih podataka su društvene mreže – svaki profil ili javna stranica predstavlja jednu malu kap u nestrukturiranom oceanu informacija. Štoviše, bez obzira na količinu informacija pohranjenih u pojedinom profilu, interakcija sa svakim korisnikom treba biti što brža.

Veliki podaci kontinuirano se gomilaju u gotovo svim područjima ljudskog života. Ovo uključuje bilo koju industriju koja uključuje ljudsku interakciju ili računalstvo. To uključuje društvene medije, medicinu, bankarstvo, kao i sustave uređaja koji dobivaju brojne rezultate iz dnevnih izračuna. Na primjer, astronomska promatranja, meteorološke informacije i informacije iz uređaja za osjet Zemlje.

Informacije iz svih vrsta sustava za praćenje u stvarnom vremenu također idu na poslužitelje određene tvrtke. Televizijsko i radijsko emitiranje, baze podataka poziva mobilnih operatera - interakcija svake pojedine osobe s njima je minimalna, ali u zbiru sve te informacije postaju veliki podaci.

Tehnologije velikih podataka postale su sastavni dio istraživanja i trgovine. Štoviše, počinju preuzimati sferu javne uprave – i posvuda se zahtijeva uvođenje sve učinkovitijih sustava za pohranjivanje i manipuliranje informacijama.

Pojam “veliki podaci” prvi put se pojavio u tisku 2008. godine, kada je urednik časopisa Nature Clifford Lynch objavio članak o razvoju budućnosti znanosti koja koristi tehnologije za rad s velikim količinama podataka. Do 2009. ovaj se pojam razmatrao samo sa stajališta znanstvene analize, ali nakon objavljivanja još nekoliko članaka, tisak je počeo naširoko koristiti koncept Big Data - i nastavlja ga koristiti i danas.

U 2010. godini počeli su se pojavljivati ​​prvi pokušaji rješavanja rastućeg problema velikih podataka. Pušteni su softverski proizvodi čija je radnja bila usmjerena na smanjenje rizika pri korištenju ogromne količine informacija.

Do 2011. velike tvrtke poput Microsofta, Oraclea, EMC-a i IBM-a zainteresirale su se za velike podatke - postale su prve koje su koristile razvoj velikih podataka u svojim razvojnim strategijama, i to prilično uspješno.

Sveučilišta su već 2013. počela proučavati velike podatke kao zaseban predmet - sada se problemima u ovom području ne bavi samo znanost o podacima, već i inženjerstvo, zajedno s predmetima računarstva.

Glavne metode analize i obrade podataka uključuju sljedeće:

1. Klasne metode ili duboka analiza (Data Mining).

Te su metode brojne, no jedno im je zajedničko: matematički alati koji se koriste u sprezi s dostignućima iz područja informacijske tehnologije.

1. Crowdsourcing.

Ova tehnika omogućuje istovremeno dobivanje podataka iz nekoliko izvora, a broj potonjih je praktički neograničen.

1. A/B testiranje.

Iz cjelokupne količine podataka odabire se kontrolni skup elemenata koji se naizmjenično uspoređuje s drugim sličnim skupovima kod kojih je neki od elemenata promijenjen. Provođenje takvih testova pomaže odrediti koje fluktuacije parametara imaju najveći utjecaj na kontrolnu populaciju. Zahvaljujući količini Big Data, moguće je provesti ogroman broj iteracija, pri čemu se svaka od njih približava najpouzdanijem rezultatu.

1. Prediktivna analitika.

Stručnjaci u ovom području pokušavaju unaprijed predvidjeti i isplanirati kako će se kontrolirani objekt ponašati kako bi u ovoj situaciji donijeli najprofitabilniju odluku.

1. Strojno učenje (umjetna inteligencija).

Temelji se na empirijskoj analizi informacija i kasnijoj konstrukciji samoučećih algoritama za sustave.

1. Analiza mreže.

Najčešća metoda proučavanja društvenih mreža je da se nakon dobivanja statističkih podataka analiziraju čvorovi kreirani u gridu, odnosno interakcije između pojedinih korisnika i njihovih zajednica.

U 2017. godini, kada su veliki podaci prestali biti nešto novo i nepoznato, njihov značaj ne samo da se nije smanjio, već je još više porastao. Stručnjaci se sada klade da će analitika velikih podataka postati dostupna ne samo gigantskim organizacijama, već i malim i srednjim tvrtkama. Ovaj pristup planira se implementirati pomoću sljedećih komponenti:

• Pohrana u oblaku.

Pohranjivanje i obrada podataka postaje sve brža i ekonomičnija – u usporedbi s troškovima održavanja vlastitog podatkovnog centra i mogućeg povećanja broja zaposlenih, najam oblaka čini se puno jeftinijom alternativom.

• Korištenje mračnih podataka.

Takozvani “tamni podaci” su svi nedigitalizirani podaci o poduzeću, koji nemaju ključnu ulogu u njegovom izravnom korištenju, ali mogu poslužiti kao razlog za prelazak na novi format pohranjivanja informacija.

• Umjetna inteligencija i duboko učenje.

Tehnologija učenja strojne inteligencije, koja oponaša strukturu i rad ljudskog mozga, idealna je za obradu velikih količina informacija koje se stalno mijenjaju. U ovom slučaju, stroj će učiniti sve što bi osoba učinila, ali je vjerojatnost pogreške značajno smanjena.

• Blockchain

Ova tehnologija omogućuje ubrzanje i pojednostavljenje brojnih online transakcija, uključujući i međunarodne. Još jedna prednost Blockchaina je to što smanjuje transakcijske troškove.

• Samoposluživanje i snižene cijene.

U 2017. godini planira se uvesti “samoposlužne platforme” - to su besplatne platforme na kojima predstavnici malih i srednjih poduzeća mogu samostalno procijeniti podatke koje pohranjuju i sistematizirati ih.

Sve marketinške strategije na ovaj ili onaj način temelje se na manipulaciji informacijama i analizi postojećih podataka. Zato korištenje big data može predvidjeti i omogućiti prilagođavanje daljnjeg razvoja tvrtke.

Na primjer, RTB aukcija kreirana na temelju velikih podataka omogućuje vam učinkovitije korištenje oglašavanja - određeni proizvod bit će prikazan samo onoj skupini korisnika koji su zainteresirani za njegovu kupnju.

Koje su prednosti korištenja big data tehnologija u marketingu i poslovanju?

1. Uz njihovu pomoć možete puno brže kreirati nove projekte, koji će vjerojatno postati traženi među kupcima.
2. Pomažu povezati zahtjeve klijenta s postojećom ili osmišljenom uslugom i tako ih prilagoditi.
3. Big data metode omogućuju procjenu stupnja trenutnog zadovoljstva svih korisnika i svakog pojedinog korisnika.
4. Povećana lojalnost kupaca postiže se metodama obrade velikih podataka.
5. Privlačenje ciljane publike online postaje lakše zahvaljujući mogućnosti kontrole ogromne količine podataka.

Na primjer, jedna od najpopularnijih usluga za predviđanje vjerojatne popularnosti proizvoda je Google.trends. Naširoko ga koriste trgovci i analitičari, omogućujući im da dobiju statistiku o prošlom korištenju određenog proizvoda i prognozu za sljedeću sezonu. To omogućuje menadžerima poduzeća da učinkovitije raspodijele proračun za oglašavanje i odrede u koje je područje najbolje uložiti novac.

Primjeri korištenja Big Data

Aktivno uvođenje Big Data tehnologija na tržište iu suvremeni život počelo je tek nakon što su ih počele koristiti svjetski poznate tvrtke s klijentima u gotovo svim dijelovima svijeta.

Riječ je o društvenim divovima kao što su Facebook i Google, IBM, kao i financijskim institucijama kao što su Master Card, VISA i Bank of America.

Na primjer, IBM primjenjuje tehnike velikih podataka na tekuće novčane transakcije. Uz njihovu pomoć identificirano je 15% više lažnih transakcija, što je omogućilo povećanje iznosa zaštićenih sredstava za 60%. Riješeni su i problemi s lažnim alarmima sustava – njihov broj smanjen je za više od polovice.

Tvrtka VISA na sličan je način koristila Big Data, prateći lažne pokušaje izvođenja određene operacije. Zahvaljujući tome, godišnje uštede više od 2 milijarde dolara od curenja.

Njemačko ministarstvo rada uspjelo je smanjiti troškove za 10 milijardi eura uvođenjem sustava velikih podataka u svoj rad na dodjeli naknada za nezaposlene. Istodobno se pokazalo da petina građana te naknade prima bez razloga.

Big Data nije poštedio ni gaming industriju. Stoga su programeri World of Tanks proveli studiju informacija o svim igračima i usporedili dostupne pokazatelje njihove aktivnosti. To je pomoglo u predviđanju mogućeg budućeg odljeva igrača - na temelju napravljenih pretpostavki, predstavnici organizacije uspjeli su učinkovitije komunicirati s korisnicima.

Značajne organizacije koje koriste velike podatke također uključuju HSBC, Nasdaq, Coca-Colu, Starbucks i AT&T.

Najveći problem s velikim podacima je cijena njihove obrade. To može uključivati ​​i skupu opremu i troškove plaća za kvalificirane stručnjake koji su sposobni servisirati ogromne količine informacija. Očito je da će se oprema morati redovito ažurirati kako ne bi izgubila minimalnu funkcionalnost s povećanjem količine podataka.

Drugi problem opet je vezan uz veliku količinu informacija koje je potrebno obraditi. Ako, primjerice, studija ne daje 2-3, nego velik broj rezultata, vrlo je teško ostati objektivan i iz općeg toka podataka odabrati samo one koji će stvarno utjecati na stanje bilo koje pojave.

Problem privatnosti velikih podataka. Budući da većina službi za korisničku podršku prelazi na online korištenje podataka, vrlo je lako postati sljedeća meta kibernetičkih kriminalaca. Čak i jednostavno pohranjivanje osobnih podataka bez obavljanja internetskih transakcija može biti prepuno neželjenih posljedica za klijente pohrane u oblaku.

Problem gubitka informacija. Mjere predostrožnosti zahtijevaju da se ne ograničite na jednostavno jednokratno sigurnosno kopiranje podataka, već napravite najmanje 2-3 sigurnosne kopije pohrane. Međutim, kako se obujam povećava, povećavaju se i poteškoće sa redundancijom - a IT stručnjaci pokušavaju pronaći optimalno rješenje za ovaj problem.

Tržište tehnologije velikih podataka u Rusiji i svijetu

Od 2014. 40% volumena tržišta velikih podataka čine usluge. Prihod od korištenja Big Data u računalnoj opremi malo je inferioran (38%) u odnosu na ovaj pokazatelj. Preostalih 22% dolazi od softvera.

Najkorisniji proizvodi u globalnom segmentu za rješavanje Big Data problema, prema statistikama, su In-memory i NoSQL analitičke platforme. Log-file analitički softver i Columnar platforme zauzimaju 15 odnosno 12 posto tržišta. Ali Hadoop/MapReduce u praksi se ne nosi baš učinkovito s problemima velikih podataka.

Rezultati implementacije big data tehnologija:

• povećanje kvalitete usluge kupcima;
• optimizacija integracije opskrbnog lanca;
• optimizacija organizacijskog planiranja;
• ubrzanje interakcije s klijentima;
• povećanje učinkovitosti obrade zahtjeva kupaca;
• smanjenje troškova usluge;
• optimizacija obrade zahtjeva klijenata.

Najbolje knjige o velikim podacima

Prikladno za početno proučavanje tehnologija obrade velikih podataka - uvodi vas jednostavno i jasno. Pojašnjava kako je obilje informacija utjecalo na svakodnevni život i sve njegove sfere: znanost, poslovanje, medicinu itd. Sadrži brojne ilustracije, pa se percipira bez puno napora.

"Uvod u rudarenje podataka" Pang-Ning Tan, Michael Steinbach i Vipin Kumar

Za početnike je korisna i knjiga o velikim podacima, koja objašnjava rad s velikim podacima po principu „od jednostavnog prema složenom“. Pokriva mnoge važne točke u početnoj fazi: pripremu za obradu, vizualizaciju, OLAP, kao i neke metode analize i klasifikacije podataka.

Praktičan vodič za korištenje i rad s velikim podacima pomoću programskog jezika Python. Prikladno i za studente inženjerstva i za profesionalce koji žele produbiti svoje znanje.

"Hadoop for Dummies", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop je projekt stvoren posebno za rad s distribuiranim programima koji organiziraju izvršavanje radnji na tisućama čvorova istovremeno. Upoznavanje s njim pomoći će vam da detaljnije razumijete praktičnu primjenu big data.

Stalno ubrzanje rasta podataka sastavni je element moderne stvarnosti. Društvene mreže, mobilni uređaji, podaci s mjernih uređaja, poslovne informacije samo su neki od izvora koji mogu generirati goleme količine podataka.

Trenutno je pojam Big Data postao dosta uobičajen. Još uvijek nisu svi svjesni koliko brzo i duboko tehnologije za obradu velikih količina podataka mijenjaju najrazličitije aspekte društva. Promjene se događaju u različitim područjima, iz kojih proizlaze novi problemi i izazovi, pa tako iu području informacijske sigurnosti, gdje bi njezini najvažniji aspekti poput povjerljivosti, cjelovitosti, dostupnosti i dr. trebali biti u prvom planu.

Nažalost, mnoge moderne tvrtke pribjegavaju Big Data tehnologiji bez stvaranja odgovarajuće infrastrukture za sigurno pohranjivanje ogromnih količina podataka koje prikupljaju i pohranjuju. S druge strane, trenutno se ubrzano razvija blockchain tehnologija koja je osmišljena da riješi ovaj i mnoge druge probleme.

Što je Big Data?

Zapravo, definicija pojma je jednostavna: "veliki podaci" označavaju upravljanje vrlo velikim količinama podataka, kao i njihovu analizu. Promatramo li šire, radi se o informacijama koje se zbog velikog obima ne mogu obraditi klasičnim metodama.

Sam pojam Big Data pojavio se relativno nedavno. Prema Google Trends, aktivni rast popularnosti pojma dogodio se krajem 2011. godine:

U 2010. godini počeli su se pojavljivati ​​prvi proizvodi i rješenja izravno vezana uz obradu velikih podataka. Do 2011. godine većina najvećih IT tvrtki, uključujući IBM, Oracle, Microsoft i Hewlett-Packard, aktivno koriste pojam Big Data u svojim poslovnim strategijama. Postupno, analitičari tržišta informacijske tehnologije počinju aktivno istraživati ​​ovaj koncept.

Trenutno je ovaj pojam stekao značajnu popularnost i aktivno se koristi u različitim područjima. Međutim, ne može se sa sigurnošću reći da je Big Data neka vrsta fundamentalno novog fenomena - naprotiv, veliki izvori podataka postoje već dugi niz godina. U marketingu to uključuje baze podataka o kupnjama kupaca, kreditnoj povijesti, životnim stilovima itd. Tijekom godina analitičari su koristili ove podatke kako bi pomogli tvrtkama u predviđanju budućih potreba kupaca, procjeni rizika, oblikovanju preferencija potrošača i još mnogo toga.

Trenutno se situacija promijenila u dva aspekta:

— pojavili su se sofisticiraniji alati i metode za analizu i usporedbu različitih skupova podataka;
— alati za analizu dopunjeni su mnogim novim izvorima podataka, zbog raširenog prijelaza na digitalne tehnologije, kao i novim metodama prikupljanja i mjerenja podataka.

Istraživači predviđaju da će se Big Data tehnologije najaktivnije koristiti u proizvodnji, zdravstvu, trgovini, državnoj upravi iu drugim različitim područjima i industrijama.

Big Data nije određeni niz podataka, već skup metoda za njihovu obradu. Definirajuća karakteristika velikih podataka nije samo njihov obujam, već i druge kategorije koje karakteriziraju radno intenzivne procese obrade i analize podataka.

Početni podaci za obradu mogu biti npr.

— evidencije ponašanja korisnika interneta;
— Internet stvari;
- društveni mediji;
— meteorološki podaci;
— digitalizirane knjige iz velikih knjižnica;
— GPS signali iz vozila;
— informacije o transakcijama klijenata banke;
— podaci o lokaciji pretplatnika mobilne mreže;
— informacije o kupnji u velikim trgovačkim lancima i sl.

Tijekom vremena količina podataka i broj njihovih izvora stalno raste, au tom kontekstu pojavljuju se nove metode obrade informacija i unapređuju se postojeće.

Osnovni principi Big Data:

— Horizontalna skalabilnost – podatkovni nizovi mogu biti ogromni, a to znači da se sustav za obradu velikih podataka mora dinamički širiti kako se njihov volumen povećava.
— Tolerancija na greške – čak i ako neki elementi opreme zakažu, cijeli sustav mora ostati u funkciji.
— Lokalitet podataka. U velikim distribuiranim sustavima podaci se obično distribuiraju na značajan broj strojeva. Međutim, kad god je to moguće i radi uštede resursa, podaci se često obrađuju na istom poslužitelju na kojem su pohranjeni.

Za stabilan rad sva tri principa i, sukladno tome, visoku učinkovitost pohrane i obrade velikih podataka, potrebne su nove revolucionarne tehnologije, kao što je, na primjer, blockchain.

Zašto su nam potrebni veliki podaci?

Opseg Big Data neprestano se širi:

— Veliki podaci mogu se koristiti u medicini. Dakle, dijagnoza se može postaviti za pacijenta ne samo na temelju podataka iz analize pacijentove povijesti bolesti, već i uzimajući u obzir iskustvo drugih liječnika, informacije o ekološkoj situaciji u području pacijentovog prebivališta i mnogi drugi faktori.
— Tehnologije Big Data mogu se koristiti za organiziranje kretanja bespilotnih vozila.
— Obradom velike količine podataka možete prepoznati lica na fotografijama i videozapisima.
— Tehnologije Big Data mogu koristiti trgovci na malo - trgovačke tvrtke mogu aktivno koristiti skupove podataka s društvenih mreža kako bi učinkovito prilagodile svoje reklamne kampanje, koje mogu biti maksimalno ciljane na određeni segment potrošača.
— Ova se tehnologija aktivno koristi u organiziranju izbornih kampanja, uključujući i analizu političkih preferencija u društvu.
— Korištenje tehnologija velikih podataka relevantno je za rješenja klase osiguranja prihoda (RA), koja uključuju alate za otkrivanje nedosljednosti i dubinsku analizu podataka, omogućujući pravovremenu identifikaciju vjerojatnih gubitaka ili iskrivljenja informacija koji bi mogli dovesti do smanjenja financijski rezultati.
— Pružatelji telekomunikacijskih usluga mogu agregirati velike podatke, uključujući geolokaciju; zauzvrat, ove informacije mogu biti od komercijalnog interesa za reklamne agencije, koje ih mogu koristiti za prikazivanje ciljanog i lokalnog oglašavanja, kao i za trgovce i banke.
— Veliki podaci mogu igrati važnu ulogu pri donošenju odluke o otvaranju maloprodajnog mjesta na određenoj lokaciji na temelju podataka o prisutnosti snažnog ciljanog protoka ljudi.

Dakle, najočitija praktična primjena Big Data tehnologije leži u području marketinga. Zahvaljujući razvoju interneta i širenju svih vrsta komunikacijskih uređaja, podaci o ponašanju (kao što su broj poziva, kupovne navike i kupnje) postaju dostupni u stvarnom vremenu.

Tehnologije velikih podataka također se mogu učinkovito koristiti u financijama, za sociološka istraživanja i u mnogim drugim područjima. Stručnjaci tvrde da su sve te mogućnosti korištenja velikih podataka samo vidljivi dio ledenog brijega, budući da se te tehnologije mnogo više koriste u obavještajnoj i protuobavještajnoj službi, u vojnim poslovima, kao i u svemu što se uobičajeno naziva informacijskim ratovanjem.

Općenito, redoslijed rada s velikim podacima sastoji se od prikupljanja podataka, strukturiranja primljenih informacija pomoću izvješća i nadzornih ploča, a zatim formuliranja preporuka za djelovanje.

Razmotrimo ukratko mogućnosti korištenja Big Data tehnologija u marketingu. Kao što znate, za trgovca su informacije glavni alat za predviđanje i razvoj strategije. Big data analiza odavno se uspješno koristi za određivanje ciljane publike, interesa, potražnje i aktivnosti potrošača. Analiza velikih podataka posebno omogućuje prikazivanje oglasa (na temelju RTB aukcijskog modela - Real Time Bidding) samo onim potrošačima koji su zainteresirani za proizvod ili uslugu.

Korištenje Big Data u marketingu omogućuje poslovnim ljudima da:

— bolje upoznajte svoje potrošače, privucite sličnu publiku na Internetu;
— procijeniti stupanj zadovoljstva kupaca;
— razumjeti ispunjava li predložena usluga očekivanja i potrebe;
— pronaći i primijeniti nove načine za povećanje povjerenja kupaca;
— stvarati projekte koji su traženi, itd.

Na primjer, usluga Google.trends može marketinškom stručnjaku dati prognozu sezonske aktivnosti potražnje za određenim proizvodom, fluktuacije i geografiju klikova. Usporedite li te podatke sa statističkim podacima prikupljenim odgovarajućim dodatkom na vlastitoj web stranici, možete sastaviti plan raspodjele proračuna za oglašavanje, navodeći mjesec, regiju i druge parametre.

Prema mnogim istraživačima, uspjeh Trumpove izborne kampanje leži u segmentaciji i korištenju Big Data. Tim budućeg predsjednika SAD-a uspio je ispravno podijeliti publiku, razumjeti njezine želje i prikazati upravo onu poruku koju birači žele vidjeti i čuti. Tako je, prema Irini Belyshevoj iz Data-Centric Alliancea, Trumpova pobjeda bila uvelike moguća zahvaljujući nestandardnom pristupu internet marketingu, koji se temeljio na Big Data, psihološkoj i bihevioralnoj analizi te personaliziranom oglašavanju.

Trumpovi politički stratezi i marketinški stručnjaci koristili su se posebno razvijenim matematičkim modelom, koji je omogućio dubinsku analizu podataka svih američkih birača i njihovu sistematizaciju, čineći ultraprecizno ciljanje ne samo po geografskim karakteristikama, već i po namjerama, interesima birača, njihov psihotip, karakteristike ponašanja itd. Da bi to postigli, marketinški stručnjaci organizirali su personaliziranu komunikaciju sa svakom skupinom građana na temelju njihovih potreba, raspoloženja, političkih stavova, psiholoških karakteristika pa čak i boje kože, koristeći vlastitu poruku za gotovo svakog pojedinog birača.

Što se tiče Hillary Clinton, ona je u svojoj kampanji koristila “vremenski provjerene” metode temeljene na sociološkim podacima i standardnom marketingu, dijeleći biračko tijelo samo na formalno homogene skupine (muškarci, žene, Afroamerikanci, Latinoamerikanci, siromašni, bogati itd.) .

Kao rezultat toga, pobjednik je bio onaj koji je cijenio potencijal novih tehnologija i metoda analize. Važno je napomenuti da su troškovi kampanje Hillary Clinton bili dvostruko veći od troškova njezine protukandidatkinje:

Podaci: Pew Research

Glavni problemi korištenja Big Data

Uz visoku cijenu, jedan od glavnih čimbenika koji otežava implementaciju Big Data u raznim područjima je problem odabira podataka koji će se obrađivati, odnosno određivanje koje podatke treba dohvatiti, pohraniti i analizirati, a koje ne uzeti u obzir.

Još jedan problem s velikim podacima je etički. Drugim riječima, postavlja se logično pitanje: može li se takvo prikupljanje podataka (osobito bez znanja korisnika) smatrati povredom privatnosti?

Nije tajna da informacije pohranjene u tražilicama Google i Yandex omogućuju IT divovima da stalno poboljšavaju svoje usluge, čine ih jednostavnijima za korištenje i stvaraju nove interaktivne aplikacije. U tu svrhu tražilice prikupljaju korisničke podatke o aktivnostima korisnika na internetu, IP adresama, geolokacijskim podacima, interesima i online kupnjama, osobnim podacima, porukama e-pošte itd. Sve im to omogućuje prikazivanje kontekstualnog oglašavanja u skladu s ponašanjem korisnika na Internet. U tom slučaju se za to obično ne traži suglasnost korisnika i ne daje im se mogućnost da izaberu koje će informacije o sebi dati. To jest, prema zadanim postavkama, sve se prikuplja u Big Data, koji će se zatim pohraniti na podatkovne poslužitelje web-mjesta.

To dovodi do sljedećeg važnog problema koji se tiče sigurnosti pohranjivanja i korištenja podataka. Na primjer, je li određena analitička platforma na koju potrošači automatski prenose svoje podatke sigurna? Osim toga, mnogi poslovni predstavnici primjećuju nedostatak visokokvalificiranih analitičara i marketinških stručnjaka koji bi mogli učinkovito rukovati velikim količinama podataka i uz njihovu pomoć riješiti specifične poslovne probleme.

Unatoč svim poteškoćama s implementacijom Big Data, tvrtka namjerava povećati ulaganja u ovo područje. Prema istraživanju Gartnera, lideri u industrijama koje ulažu u Big Data su medijske, maloprodajne, telekomunikacijske, bankarske i uslužne tvrtke.

Izgledi za interakciju između blockchaina i Big Data tehnologija

Integracija s Big Data ima sinergijski učinak i otvara širok raspon novih mogućnosti za poslovanje, uključujući dopuštanje:

— dobiti pristup detaljnim informacijama o preferencijama potrošača, na temelju kojih možete izgraditi detaljne analitičke profile za određene dobavljače, proizvode i komponente proizvoda;
— integrirati detaljne podatke o transakcijama i statistici potrošnje pojedinih skupina robe po različitim kategorijama korisnika;
— primati detaljne analitičke podatke o lancima nabave i potrošnje, kontrolirati gubitke proizvoda tijekom transporta (primjerice, gubitak težine zbog sušenja i isparavanja određenih vrsta robe);
— suzbijanje krivotvorenja proizvoda, povećanje učinkovitosti borbe protiv pranja novca i prijevara itd.

Pristup detaljnim podacima o korištenju i potrošnji dobara značajno će otkriti potencijal Big Data tehnologije za optimizaciju ključnih poslovnih procesa, smanjenje regulatornih rizika, otkrivanje novih prilika za monetizaciju i kreiranje proizvoda koji će na najbolji način zadovoljiti trenutne preferencije potrošača.

Kao što je poznato, predstavnici najvećih financijskih institucija već pokazuju značajan interes za blockchain tehnologiju, uključujući itd. Prema Oliveru Bussmannu, IT menadžeru švicarskog financijskog holdinga UBS, blockchain tehnologija može „skratiti vrijeme obrade transakcija s nekoliko dana na nekoliko minuta” .

Potencijal za analizu iz blockchaina korištenjem Big Data tehnologije je ogroman. Tehnologija distribuirane knjige osigurava cjelovitost informacija, kao i pouzdanu i transparentnu pohranu cjelokupne povijesti transakcija. Big Data, zauzvrat, pruža nove alate za učinkovitu analizu, predviđanje, ekonomsko modeliranje i, sukladno tome, otvara nove mogućnosti za donošenje informiranijih upravljačkih odluka.

Tandem blockchaina i Big Data može se uspješno koristiti u zdravstvu. Kao što je poznato, nesavršeni i nepotpuni podaci o zdravstvenom stanju pacijenta uvelike povećavaju rizik od pogrešne dijagnoze i pogrešno propisanog liječenja. Kritični podaci o zdravlju klijenata zdravstvenih ustanova trebaju biti maksimalno zaštićeni, imati svojstva nepromjenjivosti, biti provjerljivi i ne smiju biti podložni nikakvoj manipulaciji.

Informacije u blockchainu ispunjavaju sve gore navedene zahtjeve i mogu poslužiti kao visokokvalitetni i pouzdani izvorni podaci za dubinsku analizu korištenjem novih Big Data tehnologija. Osim toga, uz pomoć blockchaina, zdravstvene ustanove bi mogle razmjenjivati ​​pouzdane podatke s osiguravajućim društvima, pravosudnim tijelima, poslodavcima, znanstvenim institucijama i drugim organizacijama kojima su potrebni medicinski podaci.

Big Data i informacijska sigurnost

U širem smislu, informacijska sigurnost je zaštita informacija i prateće infrastrukture od slučajnih ili namjernih negativnih utjecaja prirodne ili umjetne prirode.

U području informacijske sigurnosti Big Data se suočava sa sljedećim izazovima:

— problemi zaštite podataka i osiguranja njihovog integriteta;
— rizik od vanjskog uplitanja i curenja povjerljivih informacija;
— nepropisno čuvanje povjerljivih informacija;
— rizik gubitka informacija, na primjer, zbog nečijih zlonamjernih radnji;
— rizik zlouporabe osobnih podataka od strane trećih strana, itd.

Jedan od glavnih problema s velikim podacima za čije rješavanje je dizajniran blockchain leži u području informacijske sigurnosti. Osiguravajući usklađenost sa svim svojim osnovnim načelima, tehnologija distribuiranog registra može jamčiti cjelovitost i pouzdanost podataka, a zbog nepostojanja jedne točke kvara, blockchain čini rad informacijskih sustava stabilnim. Tehnologija distribuirane knjige može pomoći u rješavanju problema povjerenja u podatke, kao i omogućiti univerzalno dijeljenje podataka.

Informacije su vrijedna imovina, što znači da osiguravanje osnovnih aspekata informacijske sigurnosti mora biti u prvom planu. Kako bi preživjele konkurenciju, tvrtke moraju ići u korak s vremenom, što znači da ne mogu zanemariti potencijalne prilike i prednosti koje blockchain tehnologija i Big Data alati sadrže.

Samo lijeni ne govore o Big data, ali jedva da razumiju što je to i kako funkcionira. Počnimo s najjednostavnijim – terminologijom. Govoreći na ruskom, veliki podaci su različiti alati, pristupi i metode za obradu strukturiranih i nestrukturiranih podataka kako bi se koristili za određene zadatke i svrhe.

Nestrukturirani podaci su informacije koje nemaju unaprijed određenu strukturu ili nisu organizirane određenim redoslijedom.

Pojam “veliki podaci” uveo je urednik časopisa Nature Clifford Lynch još 2008. godine u posebnom broju posvećenom eksplozivnom rastu količine informacija u svijetu. Iako su, naravno, veliki podaci postojali i prije. Prema stručnjacima, Big data kategorija uključuje većinu protoka podataka preko 100 GB dnevno.

Pročitajte također:

Danas se pod ovim jednostavnim pojmom kriju samo dvije riječi - pohrana i obrada podataka.

Big data - jednostavnim riječima

U suvremenom svijetu Big data je društveno-ekonomski fenomen koji se povezuje s činjenicom da su se pojavile nove tehnološke mogućnosti za analizu ogromne količine podataka.

Pročitajte također:

Radi lakšeg razumijevanja zamislite supermarket u kojem nije sva roba u redoslijedu na koji ste navikli. Kruh uz voće, pasta od rajčice uz smrznutu pizzu, tekućina za upaljače ispred stalka za tampone u kojoj se, između ostalog, nalaze avokado, tofu ili shiitake gljive. Veliki podaci stavljaju sve na svoje mjesto i pomažu vam da pronađete mlijeko od orašastih plodova, saznate cijenu i rok trajanja, ali i tko osim vas kupuje ovo mlijeko i zašto je bolje od kravljeg.

Kenneth Cukier: Veliki podaci su bolji podaci

Tehnologija velikih podataka

Obrađuju se ogromne količine podataka kako bi osoba dobila konkretne i potrebne rezultate za njihovu daljnju učinkovitu upotrebu.

Pročitajte također:

Zapravo, Big data je rješenje problema i alternativa tradicionalnim sustavima upravljanja podacima.

Tehnike i metode analize primjenjive na Big data prema McKinseyju:

• Crowdsourcing;

  Miješanje i integracija podataka;

  Strojno učenje;

  Umjetne neuronske mreže;

  Prepoznavanje uzorka;

  Prediktivna analitika;

  Simulacijsko modeliranje;

  Prostorna analiza;

  Statistička analiza;

• Vizualizacija analitičkih podataka.

Horizontalna skalabilnost koja omogućuje obradu podataka osnovni je princip obrade velikih podataka. Podaci se distribuiraju po računalnim čvorovima, a obrada se odvija bez degradacije performansi. McKinsey je također uključio sustave relacijskog upravljanja i Business Intelligence u kontekstu primjenjivosti.

Tehnologije:

• NoSQL;
• MapReduce;
• Hadoop;
• Hardverska rješenja.

Pročitajte također:

Za velike podatke postoje tradicionalne definirajuće karakteristike koje je razvila Meta Grupa još 2001. godine, a koje se nazivaju " Tri V»:

1. Volumen- količina fizičkog volumena.
2. Brzina- brzina rasta i potreba za brzom obradom podataka za dobivanje rezultata.
3. Raznolikost- mogućnost istodobne obrade različitih vrsta podataka.

Veliki podaci: primjene i mogućnosti

Tradicionalnim alatima nemoguće je obraditi količine heterogenih i brzo pristiglih digitalnih informacija. Sama analiza podataka omogućuje vam da vidite određene i neprimjetne obrasce koje osoba ne vidi. To nam omogućuje optimizaciju svih područja našeg života – od javne uprave do proizvodnje i telekomunikacija.

Primjerice, neke su tvrtke prije nekoliko godina zaštitile svoje klijente od prijevara, a brinuti se o novcu klijenta znači brinuti se o vlastitom novcu.

Susan Etliger: Što je s velikim podacima?

Rješenja temeljena na velikim podacima: Sberbank, Beeline i druge tvrtke

Beeline ima ogromnu količinu podataka o pretplatnicima, koje koriste ne samo za rad s njima, već i za izradu analitičkih proizvoda, poput vanjskog savjetovanja ili IPTV analitike. Beeline je segmentirao bazu podataka i zaštitio klijente od financijskih prijevara i virusa, koristeći HDFS i Apache Spark za pohranu, te Rapidminer i Python za obradu podataka.

Pročitajte također:

Ili se sjetimo Sberbanke s njihovim starim slučajem AS SAFI. Ovo je sustav koji analizira fotografije kako bi identificirao klijente banke i spriječio prijevaru. Sustav je uveden još 2014. godine, a temelji se na usporedbi fotografija iz baze podataka koje tamo stižu s web kamera na stalcima zahvaljujući računalnom vidu. Osnova sustava je biometrijska platforma. Zahvaljujući tome, slučajevi prijevara su se smanjili za 10 puta.

Veliki podaci u svijetu

Do 2020. godine, prema predviđanjima, čovječanstvo će generirati 40-44 zetabajta informacija. A do 2025. porast će 10 puta, navodi se u izvješću The Data Age 2025. koje su pripremili analitičari IDC-a. U izvješću se navodi da će većinu podataka generirati same tvrtke, a ne obični potrošači.

Istraživački analitičari vjeruju da će podaci postati vitalna imovina, a sigurnost ključni temelj u životu. Autori rada također su uvjereni da će tehnologija promijeniti ekonomski krajolik, a prosječan korisnik će komunicirati s povezanim uređajima oko 4800 puta dnevno.

Tržište velikih podataka u Rusiji

Veliki podaci obično dolaze iz tri izvora:

• Internet (društvene mreže, forumi, blogovi, mediji i druge stranice);
• Arhiva korporativnih dokumenata;
• Očitavanja senzora, instrumenata i drugih uređaja.

Veliki podaci u bankama

Osim gore opisanog sustava, strategija Sberbanka za 2014.-2018. uključuje: govori o važnosti analize super podataka za kvalitetnu korisničku uslugu, upravljanje rizicima i optimizaciju troškova. Sada banka koristi Big data za upravljanje rizicima, borbu protiv prijevara, segmentiranje i procjenu kreditne sposobnosti klijenata, upravljanje osobljem, predviđanje redova u poslovnicama, izračun bonusa za zaposlenike i druge zadatke.

VTB24 koristi velike podatke za segmentiranje i upravljanje odljevima klijenata, generiranje financijskih izvješća i analizu recenzija na društvenim mrežama i forumima. U tu svrhu koristi rješenja Teradata, SAS Visual Analytics i SAS Marketing Optimizer.

"Veliki podaci" tema je o kojoj tehnološke tvrtke aktivno raspravljaju. Neki od njih su se razočarali u big data, dok ih drugi, naprotiv, maksimalno iskorištavaju za poslovanje... Svježi analitički pregled domaćeg i globalnog tržišta Big Data, koji je pripremila Moskovska burza zajedno s analitičarima IPOboarda , pokazuje koji su trendovi trenutno najrelevantniji na tržištu. Nadamo se da će informacije biti zanimljive i korisne.

ŠTO JE BIG DATA?

Glavne značajke

Big Data trenutno je jedan od ključnih pokretača razvoja informacijske tehnologije. Ovaj smjer, relativno nov za rusko poslovanje, postao je raširen u zapadnim zemljama. To je zbog činjenice da se u eri informacijske tehnologije, posebice nakon procvata društvenih mreža, počela gomilati značajna količina informacija za svakog korisnika interneta, što je u konačnici dovelo do razvoja Big Data.

Pojam “Big Data” izaziva mnogo kontroverzi, mnogi vjeruju da on označava samo količinu akumuliranih informacija, ali ne treba zaboraviti na tehničku stranu, ovo područje uključuje tehnologije pohrane, računalstvo i usluge.

Treba napomenuti da ovo područje uključuje obradu velike količine informacija koje je teško obraditi tradicionalnim metodama*.

U nastavku je usporedna tablica između tradicionalnih i velikih baza podataka.

Područje Big Data karakteriziraju sljedeće značajke:
Volumen – volumen, akumulirana baza podataka predstavlja veliku količinu informacija koje je zahtjevno obraditi i pohraniti na tradicionalne načine, zahtijevaju novi pristup i poboljšane alate.
Brzina – brzina, ovaj atribut ukazuje na sve veću brzinu prikupljanja podataka (90% informacija prikupljeno je u posljednje 2 godine) i brzinu obrade podataka; tehnologije obrade podataka u stvarnom vremenu u posljednje su vrijeme postale sve traženije.
Raznolikost – raznolikost, tj. sposobnost istodobne obrade strukturiranih i nestrukturiranih informacija različitih formata. Glavna razlika između strukturiranih informacija je da se mogu klasificirati. Primjer takvih informacija bile bi informacije o transakcijama kupaca.
Nestrukturirane informacije uključuju video, audio datoteke, slobodni tekst, informacije koje dolaze s društvenih mreža. Danas je 80% informacija nestrukturirano. Ove informacije zahtijevaju složenu analizu kako bi bile korisne za daljnju obradu.
Istinitost – pouzdanosti podataka, korisnici su sve veću važnost počeli pridavati pouzdanosti dostupnih podataka. Stoga internetske tvrtke imaju problem u razdvajanju radnji koje provode robot i osoba na web stranici tvrtke, što u konačnici dovodi do poteškoća u analizi podataka.
Vrijednost – vrijednost akumuliranih informacija. Big Data mora biti koristan tvrtki i donijeti joj neku vrijednost. Na primjer, pomoć u poboljšanju poslovnih procesa, izvješćivanju ili optimizaciji troškova.

Ako je ispunjeno gornjih 5 uvjeta, akumulirane količine podataka mogu se klasificirati kao velike.

Područja primjene Big Data

Opseg korištenja Big Data tehnologija je opsežan. Tako uz pomoć Big Data možete saznati više o preferencijama kupaca, učinkovitosti marketinških kampanja ili provesti analizu rizika. U nastavku donosimo rezultate istraživanja IBM Instituta o područjima korištenja Big Data u tvrtkama.

Kao što je vidljivo iz dijagrama, većina tvrtki koristi Big Data u području korisničke službe, drugo najpopularnije područje je operativna učinkovitost; u području upravljanja rizicima Big Data je trenutno rjeđi.

Također treba napomenuti da je Big Data jedno od najbrže rastućih područja informacijske tehnologije; prema statistici ukupna količina primljenih i pohranjenih podataka udvostručuje se svake 1,2 godine.
Između 2012. i 2014. mjesečno prenesena količina podataka putem mobilnih mreža porasla je za 81%. Prema procjenama Cisca, u 2014. obujam mobilnog prometa iznosio je 2,5 eksabajta (mjerna jedinica količine informacija jednaka 10^18 standardnih bajtova) mjesečno, au 2019. iznosit će 24,3 egzabajta.
Dakle, Big Data je već etablirano područje tehnologije, unatoč svojoj relativno mladoj dobi, koje je postalo rašireno u mnogim područjima poslovanja i igra važnu ulogu u razvoju tvrtki.

Tehnologije velikih podataka

Tehnologije koje se koriste za prikupljanje i obradu Big Data mogu se podijeliti u 3 skupine:

• Softver;
• Oprema;
• Usluge.

Najčešći pristupi obradi podataka (DP) uključuju:
SQL – strukturirani upitni jezik koji vam omogućuje rad s bazama podataka. Pomoću SQL-a možete kreirati i mijenjati podatke, a upravljanje nizom podataka obavlja odgovarajući sustav za upravljanje bazom podataka.
NoSQL – izraz označava Not Only SQL (ne samo SQL). Uključuje niz pristupa usmjerenih na implementaciju baze podataka koji se razlikuju od modela korištenih u tradicionalnim relacijskim DBMS-ovima. Pogodni su za korištenje kada se struktura podataka stalno mijenja. Na primjer, za prikupljanje i pohranjivanje informacija na društvenim mrežama.
MapReduce – model distribucije proračuna. Koristi se za paralelno računanje na vrlo velikim skupovima podataka (petabajti* ili više). U programskom sučelju podaci se ne prenose u program za obradu, već program u podatke. Dakle, zahtjev je zaseban program. Princip rada je sekvencijalna obrada podataka pomoću dvije metode: Map i Reduce. Karta odabire preliminarne podatke, Reduce ih agregira.
Hadoop – koristi se za implementaciju mehanizama pretraživanja i kontekstualnih mehanizama za visokoopterećene stranice - Facebook, eBay, Amazon, itd. Posebnost je da je sustav zaštićen od kvara bilo kojeg od čvorova klastera, budući da svaki blok ima barem jednu kopiju podataka na drugom čvoru.
SAP HANA – NewSQL platforma visokih performansi za pohranu i obradu podataka. Omogućuje veliku brzinu obrade zahtjeva. Još jedna posebnost je da SAP HANA pojednostavljuje krajolik sustava, smanjujući troškove podrške analitičkim sustavima.

Tehnološka oprema uključuje:

• poslužitelji;
• infrastrukturna oprema.

Poslužitelji uključuju pohranu podataka.
Infrastrukturna oprema uključuje alate za ubrzanje platforme, besprekidne izvore napajanja, setove poslužiteljskih konzola itd.

Usluge.
Usluge uključuju usluge izgradnje arhitekture sustava baze podataka, uređenja i optimizacije infrastrukture te osiguranja sigurnosti pohrane podataka.

Softver, hardver i usluge zajedno čine sveobuhvatne platforme za pohranu i analizu podataka. Tvrtke kao što su Microsoft, HP, EMC nude usluge za razvoj, implementaciju i upravljanje Big Data rješenjima.

Primjene u industriji

Veliki podaci postali su rašireni u mnogim poslovnim sektorima. Koriste se u zdravstvu, telekomunikacijama, trgovini, logistici, financijskim tvrtkama, kao iu državnoj upravi.
Ispod su neki primjeri primjene Big Data u nekim industrijama.

Maloprodaja
Baze podataka maloprodajnih trgovina mogu akumulirati mnogo informacija o kupcima, sustavima upravljanja zalihama i zalihama komercijalnih proizvoda. Ove informacije mogu biti korisne u svim područjima djelatnosti trgovine.

Dakle, uz pomoć prikupljenih informacija, možete upravljati nabavom robe, njihovim skladištenjem i prodajom. Na temelju prikupljenih informacija moguće je predvidjeti potražnju i ponudu robe. Također, sustav obrade i analize podataka može riješiti i druge probleme trgovca, primjerice optimizaciju troškova ili izradu izvješća.

Financijske usluge
Big Data omogućuje analizu kreditne sposobnosti zajmoprimca, a također je koristan za kreditno bodovanje* i osiguranje**. Uvođenjem Big Data tehnologija smanjit će se vrijeme potrebno za razmatranje zahtjeva za kredit. Uz pomoć Big Data moguće je analizirati transakcije određenog klijenta i ponuditi bankarske usluge koje su njemu primjerene.

Telekom
U telekomunikacijskoj industriji Big Data je postao raširen među mobilnim operaterima.
Operateri mobilne telefonije, uz financijske institucije, imaju neke od najobimnijih baza podataka, što im omogućuje provođenje najdublje analize prikupljenih informacija.
Glavna svrha analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinile, tvrtke segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika.

Osim korištenja velikih podataka u marketinške svrhe, tehnologije se koriste za sprječavanje lažnih financijskih transakcija.

Rudarstvo i naftna industrija
Big Data se koristi kako u vađenju minerala tako iu njihovoj preradi i marketingu. Na temelju primljenih informacija, poduzeća mogu izvući zaključke o učinkovitosti razvoja polja, pratiti raspored velikih popravaka i stanje opreme te predvidjeti potražnju za proizvodima i cijenama.

Prema istraživanju Tech Pro Researcha, Big Data je najrašireniji u telekomunikacijskoj industriji, kao iu inženjerskim, IT, financijskim i državnim poduzećima. Prema rezultatima ovog istraživanja Big Data je manje popularan u obrazovanju i zdravstvu. Rezultati ankete prikazani su u nastavku:

Primjeri korištenja Big Data u tvrtkama

Danas se Big Data aktivno implementira u strane tvrtke. Kompanije kao što su Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix već koriste Big Data resurse.

Primjene obrađenih informacija su različite i razlikuju se ovisno o industriji i zadacima koje je potrebno izvršiti.
Zatim će biti prikazani primjeri primjene Big Data tehnologija u praksi.

HSBC koristi Big Data tehnologije za borbu protiv lažnih transakcija plastičnim karticama. Uz pomoć Big Data, tvrtka je povećala učinkovitost sigurnosne službe za 3 puta, a prepoznavanje prijevarnih incidenata za 10 puta. Ekonomski učinak uvođenja ovih tehnologija premašio je 10 milijuna dolara.

Protiv prijevara* VISA omogućuje vam da automatski identificirate lažne transakcije; sustav trenutno pomaže u sprječavanju lažnih plaćanja u iznosu od 2 milijarde dolara godišnje.

Watson superračunalo IBM analizira tijek podataka o novčanim transakcijama u stvarnom vremenu. Prema IBM-u, Watson je povećao broj otkrivenih lažnih transakcija za 15%, smanjio lažno pozitivne za 50% i povećao količinu novca zaštićenu od transakcija ove prirode za 60%.

Procter & Gamble koristeći Big Data za dizajniranje novih proizvoda i stvaranje globalnih marketinških kampanja. P&G je stvorio namjenske urede Business Spheres u kojima se informacije mogu vidjeti u stvarnom vremenu.
Tako je uprava tvrtke imala priliku trenutno testirati hipoteze i provoditi eksperimente. P&G vjeruje da Big Data pomaže u predviđanju uspješnosti tvrtke.

Maloprodaja uredskog materijala OfficeMax Koristeći Big Data tehnologije analiziraju ponašanje kupaca. Analiza Big Data omogućila je povećanje B2B prihoda za 13% i smanjenje troškova za 400.000 USD godišnje.

Prema Gusjenica , njegovi distributeri svake godine propuštaju dobit od 9 do 18 milijardi dolara jednostavno zato što ne implementiraju tehnologije obrade velikih podataka. Big Data bi korisnicima omogućio da učinkovitije upravljaju svojom flotom analizirajući informacije koje dolaze od senzora instaliranih na strojevima.

Danas je već moguće analizirati stanje ključnih komponenti, njihov stupanj istrošenosti te upravljati troškovima goriva i održavanja.

grupa Luxottica je proizvođač sportskih naočala, kao što su Ray-Ban, Persol i Oakley. Tvrtka koristi Big Data tehnologije za analizu ponašanja potencijalnih kupaca i “pametni” SMS marketing. Kao rezultat Big Data, Luxottica grupa je identificirala više od 100 milijuna svojih najvrjednijih kupaca i povećala učinkovitost svoje marketinške kampanje za 10%.

Uz pomoć Yandex Data Factoryja, programera igara Svijet tenkova analizirati ponašanje igrača. Big Data tehnologije omogućile su analizu ponašanja 100 tisuća igrača World of Tanks koristeći više od 100 parametara (informacije o kupnjama, igrama, iskustvu itd.). Kao rezultat analize dobivena je prognoza odljeva korisnika. Ove vam informacije omogućuju smanjenje odlaska korisnika i ciljani rad sa sudionicima igre. Pokazalo se da je razvijeni model 20-30% učinkovitiji od standardnih alata za analizu industrije igara.

Njemačko ministarstvo rada koristi Big Data u radu vezanom uz analizu pristiglih zahtjeva za naknade za nezaposlene. Dakle, nakon analize podataka, postalo je jasno da je 20% naknada isplaćeno nezasluženo. Ministarstvo rada je uz pomoć Big Data smanjilo troškove za 10 milijardi eura.

Dječja bolnica u Torontu implementirao projekt Projekt Artemida. Riječ je o informacijskom sustavu koji u stvarnom vremenu prikuplja i analizira podatke o bebama. Sustav svake sekunde prati 1260 pokazatelja stanja svakog djeteta. Projekt Artemis omogućuje predviđanje nestabilnog stanja djeteta i početak prevencije bolesti kod djece.

PREGLED SVJETSKOG BIG DATA TRŽIŠTA

Trenutno stanje na svjetskom tržištu

U 2014. Big Data je, prema Data Collectiveu, postao jedno od prioritetnih područja ulaganja u venture industriji. Kako navodi informativni portal Computerra, razlog tome je činjenica da su razvoji na ovom području počeli donositi značajne rezultate za njihove korisnike. Tijekom protekle godine broj tvrtki s realiziranim projektima u području upravljanja velikim podacima povećao se za 125%, a obujam tržišta je porastao za 45% u odnosu na 2013. godinu.

Većinu tržišnih prihoda Big Data, prema Wikibonu, u 2014. godini činile su usluge, njihov udio iznosio je 40% ukupnog prihoda (vidi grafikon u nastavku):

Ako razmotrimo Big Data za 2014. prema podvrsti, tržište će izgledati ovako:

Prema Wikibonu, aplikacije i analitika činile su 36% prihoda od Big Data u 2014. od Big Data aplikacija i analitike, 17% od računalne opreme i 15% od tehnologija za pohranu podataka. Najmanje prihoda generirale su NoSQL tehnologije, infrastrukturna oprema i pružanje mreže za tvrtke (korporacijske mreže).

Najpopularnije Big Data tehnologije su in-memory platforme SAP, HANA, Oracle itd. Rezultati istraživanja T-Systems pokazali su da ih je odabralo 30% anketiranih tvrtki. Druge po popularnosti bile su NoSQL platforme (18% korisnika), tvrtke su također koristile analitičke platforme Splunk i Dell, njih je odabralo 15% tvrtki. Prema rezultatima ankete, proizvodi Hadoop/MapReduce pokazali su se najmanje korisnima za rješavanje problema Big Data.

Prema istraživanju Accenturea, u više od 50% tvrtki koje koriste Big Data tehnologije, troškovi Big Data kreću se od 21% do 30%.
Prema sljedećoj Accenture analizi, 76% tvrtki vjeruje da će ti troškovi porasti u 2015. godini, a 24% kompanija neće promijeniti svoj proračun za Big Data tehnologije. To sugerira da je u ovim tvrtkama Big Data postao ustaljeno područje IT-a, koje je postalo sastavni dio razvoja tvrtke.

Rezultati istraživanja Economist Intelligence Unita potvrđuju pozitivan učinak implementacije Big Data. 46% tvrtki navodi da su korištenjem Big Data tehnologija poboljšale korisničku uslugu za više od 10%, 33% kompanija je optimiziralo zalihe i poboljšalo produktivnost dugotrajne imovine, a 32% kompanija je poboljšalo procese planiranja.

Big Data u različitim zemljama svijeta

Danas se Big Data tehnologije najčešće implementiraju u američkim tvrtkama, no interes su već počele pokazivati ​​i druge zemlje diljem svijeta. U 2014. godini, prema podacima IDC-a, zemlje u Europi, Bliskom istoku, Aziji (bez Japana) i Africi činile su 45% tržišta softvera, usluga i opreme u području Big Data.

Također, prema istraživanju CIO-a, tvrtke iz azijsko-pacifičke regije ubrzano usvajaju nova rješenja u području analize velikih podataka, sigurne pohrane i cloud tehnologija. Latinska Amerika je na drugom mjestu po broju ulaganja u razvoj Big Data tehnologija, ispred europskih zemalja i SAD-a.
Zatim će biti predstavljen opis i predviđanja razvoja Big Data tržišta u nekoliko zemalja.

Kina
Količina informacija u Kini iznosi 909 eksabajta, što je jednako 10% ukupne količine informacija u svijetu, do 2020. godine količina informacija će dosegnuti 8060 egzabajta, udio informacija u globalnoj statistici također će se povećati, u 5. godine iznosit će 18%. Potencijalni rast velikih podataka u Kini ima jednu od najbrže rastućih dinamika.

Brazil
Krajem 2014. Brazil je prikupio informacije u vrijednosti od 212 egzabajta, što je 3% globalnog volumena. Do 2020. godine količina informacija će narasti na 1600 egzabajta, što će činiti 4% svjetskih informacija.

Indija
Prema EMC-u, količina akumuliranih podataka u Indiji na kraju 2014. iznosi 326 eksabajta, što je 5% ukupne količine informacija. Do 2020. godine količina informacija će narasti na 2800 eksabajta, što će činiti 6% svjetskih informacija.

Japan
Količina akumuliranih podataka u Japanu na kraju 2014. iznosi 495 eksabajta, što je 8% ukupne količine informacija. Do 2020. godine količina informacija će narasti na 2200 eksabajta, ali će se tržišni udio Japana smanjiti i iznositi 5% ukupne količine informacija u cijelom svijetu.
Tako će se veličina japanskog tržišta smanjiti za više od 30%.

Njemačka
Prema EMC-u, količina akumuliranih podataka u Njemačkoj na kraju 2014. iznosi 230 eksabajta, što je 4% ukupne količine informacija u svijetu. Do 2020. godine obujam informacija će narasti na 1100 egzabajta i iznositi 2%.
Na njemačkom tržištu veliki udio prihoda, prema predviđanjima Experton Grupe, ostvarit će segment usluga, čiji će udio u 2015. iznositi 54%, au 2019. porasti na 59%, udjeli softvera i hardver će se, naprotiv, smanjiti.

Sveukupno, veličina tržišta će narasti s 1,345 milijardi eura u 2015. na 3,198 milijardi eura u 2019., prosječna stopa rasta od 24%.
Dakle, na temelju analitike CIO-a i EMC-a, možemo zaključiti da će zemlje u razvoju svijeta u narednim godinama postati tržišta za aktivan razvoj Big Data tehnologija.

Glavni tržišni trendovi

Prema IDG Enterpriseu, u 2015. godini potrošnja tvrtki na Big Data iznosit će u prosjeku 7,4 milijuna dolara po tvrtki, velike tvrtke namjeravaju potrošiti približno 13,8 milijuna dolara, male i srednje tvrtke - 1,6 milijuna dolara.
Većina ulaganja bit će u područjima kao što su analiza podataka, vizualizacija i prikupljanje podataka.
Na temelju trenutačnih trendova i potražnje tržišta, ulaganja u 2015. godini bit će usmjerena na poboljšanje kvalitete podataka, poboljšanje planiranja i predviđanja te povećanje brzine obrade podataka.
Tvrtke u financijskom sektoru, prema Bain Company’s Insights Analysis, značajno će investirati, pa tako u 2015. godini planiraju potrošiti 6,4 milijarde dolara na Big Data tehnologije, prosječna stopa rasta ulaganja bit će 22% do 2020. godine. Internetske tvrtke planiraju potrošiti 2,8 milijardi dolara, s prosječnom stopom rasta od 26% za potrošnju na Big Data.
Prilikom provođenja istraživanja Economist Intelligence Unit identificirana su prioritetna područja razvoja Big Data u 2014. iu sljedeće 3 godine, distribucija odgovora je sljedeća:

Prema predviđanjima IDC-a, trendovi razvoja tržišta su sljedeći:

• U sljedećih 5 godina troškovi za cloud rješenja u području Big Data tehnologija rasti će 3 puta brže od troškova za lokalna rješenja. Hibridne platforme za pohranu podataka postat će sve traženije.
• Rast aplikacija koje koriste sofisticiranu i prediktivnu analitiku, uključujući strojno učenje, ubrzat će se u 2015., pri čemu će tržište takvih aplikacija rasti 65% brže od aplikacija koje ne koriste prediktivnu analitiku.
• Medijska analitika će se u 2015. utrostručiti i postat će ključni pokretač rasta na tržištu Big Data tehnologije.
• Ubrzat će se trend uvođenja rješenja za analizu stalnog protoka informacija koja su primjenjiva na Internet stvari.
• Do 2018. 50% korisnika će komunicirati s uslugama temeljenim na kognitivnom računalstvu.

Tržišni pokretači i ograničavači

Stručnjaci IDC-a identificirali su 3 pokretača tržišta velikih podataka u 2015.:

Prema anketi tvrtke Accenture, pitanja sigurnosti podataka sada su glavna prepreka implementaciji tehnologija Big Data, a više od 51% ispitanika potvrdilo je da su zabrinuti oko osiguravanja zaštite i povjerljivosti podataka. 47% tvrtki prijavilo je nemogućnost implementacije Big Data zbog ograničenih budžeta, 41% tvrtki kao problem navelo je nedostatak kvalificiranog osoblja.

Wikibon predviđa da će tržište velikih podataka porasti na 38,4 milijarde dolara u 2015., što je 36% više u odnosu na prethodnu godinu. U nadolazećim godinama doći će do pada stopa rasta na 10% u 2017. godini. Uzimajući u obzir ove prognoze, veličina tržišta u 2020. bit će jednaka 68,7 milijardi američkih dolara.

Distribucija globalnog Big Data tržišta prema poslovnoj kategoriji izgledat će ovako:

Kao što je vidljivo iz dijagrama, najveći dio tržišta će zauzeti tehnologije u području poboljšanja korisničke usluge. Ciljani marketing bit će drugi prioritet za tvrtke do 2019. godine, a 2020. godine, prema Heavy Readingu, ustupit će mjesto rješenjima za poboljšanje operativne učinkovitosti.
Segment “poboljšanje korisničke usluge” također će imati najveću stopu rasta, s porastom od 49% godišnje.
Tržišna prognoza za podvrste Big Data izgledat će ovako:

Prevladavajući tržišni udio, kao što je vidljivo iz dijagrama, zauzimaju profesionalne usluge, najveću stopu rasta imat će aplikacije s analitikom, njihov će udio porasti sa sadašnjih 12% na 18% u 2020. godini, a obujam ovog segmenta iznosit će 12,3 milijarde američkih dolara. Udio računalne opreme, naprotiv, pasti će s 20% na 14% i iznositi oko 9,3 milijarde američkih dolara u 2020. godini, tržište tehnologija u oblaku postupno će se povećavati i 2020. dosegnuti 6,3 milijarde američkih dolara, tržišni udio rješenja za pohranu podataka, naprotiv, smanjit će se sa 15% u 2014. na 13% u 2020. godini te će u novčanom smislu iznositi 8,9 milijardi američkih dolara.
Prema predviđanju Bain & Company Insights Analysis, distribucija tržišta velikih podataka po djelatnostima u 2020. bit će sljedeća:

• Financijska industrija potrošit će 6,4 milijarde dolara na Big Data s prosječnom stopom rasta od 22% godišnje;
• Internetske tvrtke potrošit će 2,8 milijardi dolara, a prosječna stopa rasta troškova bit će 26% u sljedećih 5 godina;
• Troškovi javnog sektora bit će razmjerni troškovima internetskih tvrtki, ali će stopa rasta biti niža - 22%;
• Telekomunikacijski sektor će rasti po CAGR-u od 40% kako bi dosegao 1,2 milijarde USD u 2020.;

Energetske tvrtke će u ove tehnologije uložiti relativno male iznose - 800 milijuna dolara, ali će stopa rasta biti jedna od najvećih - 54% godišnje.
Tako će najveći udio na Big Data tržištu 2020. godine zauzeti tvrtke iz financijske industrije, a najbrže rastući sektor bit će energetika.
Prema predviđanjima analitičara, ukupna veličina tržišta će se povećati u nadolazećim godinama. Rast tržišta ostvarit će se implementacijom Big Data tehnologija u zemljama u razvoju svijeta, što je vidljivo iz grafikona u nastavku.

Predviđena veličina tržišta ovisit će o tome kako zemlje u razvoju percipiraju Big Data tehnologije i hoće li one biti jednako popularne kao u razvijenim zemljama. U 2014. godini zemlje u razvoju u svijetu činile su 40% količine prikupljenih informacija. Prema prognozi EMC-a, trenutna struktura tržišta, s prevlašću razvijenih zemalja, promijenit će se u 2017. godini. Prema analitici EMC-a, 2020. godine udio zemalja u razvoju bit će veći od 60%.
Prema Ciscu i EMC-u, zemlje u razvoju diljem svijeta prilično će aktivno raditi s Big Data, ponajviše zbog dostupnosti tehnologije i akumulacije dovoljne količine informacija do razine Big Data. Karta svijeta predstavljena na sljedećoj stranici pokazat će prognozu povećanja obujma i stope rasta Big Data po regijama.

ANALIZA RUSKOG TRŽIŠTA

Trenutno stanje ruskog tržišta

Prema rezultatima studije koju su proveli CNews Analytics i Oracle, razina zrelosti ruskog tržišta velikih podataka porasla je tijekom prošle godine. Ispitanici, koji su predstavljali 108 velikih poduzeća iz različitih industrija, pokazali su viši stupanj svijesti o ovim tehnologijama, kao i utvrđeno razumijevanje potencijala takvih rješenja za njihovo poslovanje.
Od 2014. godine, prema IDC-u, Rusija je akumulirala 155 egzabajta informacija, što je samo 1,8% svjetskih podataka. Količina informacija do 2020. godine dosegnut će 980 eksabajta i zauzimati 2,2%. Tako će prosječna stopa rasta količine informacija biti 36% godišnje.
IDC procjenjuje rusko tržište na 340 milijuna dolara, od čega je 100 milijuna dolara SAP rješenja, približno 240 milijuna dolara slična rješenja Oraclea, IBM-a, SAS-a, Microsofta itd.
Stopa rasta ruskog tržišta velikih podataka iznosi najmanje 50% godišnje.
Predviđa se da će se pozitivna dinamika nastaviti u ovom sektoru ruskog IT tržišta, čak iu uvjetima opće gospodarske stagnacije. To je zbog činjenice da poduzeća i dalje zahtijevaju rješenja koja poboljšavaju operativnu učinkovitost, kao i optimiziraju troškove, poboljšavaju točnost predviđanja i minimiziraju moguće rizike tvrtke.
Glavni pružatelji usluga u području Big Data na ruskom tržištu su:

• Oracle
• Microsoft
• Cloudera
• Hortonworks
• Teradata.

Pregled tržišta po djelatnostima i iskustvo u korištenju Big Data u tvrtkama

Prema CNewsu, u Rusiji je samo 10% kompanija počelo koristiti Big Data tehnologije, dok je u svijetu udio takvih kompanija oko 30%. Spremnost za Big Data projekte raste u mnogim sektorima ruskog gospodarstva, prema izvješću CNews Analyticsa i Oraclea. Više od trećine ispitanih tvrtki (37%) počelo je raditi s Big Data tehnologijama, od čega 20% već koristi takva rješenja, a 17% počinje s njima eksperimentirati. Ovu mogućnost trenutno razmatra druga trećina ispitanika.

U Rusiji su Big Data tehnologije najpopularnije u bankarskom i telekomunikacijskom sektoru, ali također su tražene u rudarskoj industriji, energetici, maloprodaji, logističkim tvrtkama i javnom sektoru.
Zatim će se razmotriti primjeri korištenja Big Data u ruskim stvarnostima.

Telekom
Telekom operateri imaju neke od najopsežnijih baza podataka, što im omogućuje provođenje najdublje analize prikupljenih informacija.
Jedno od područja primjene Big Data tehnologije je upravljanje lojalnošću pretplatnika.
Glavna svrha analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinile, tvrtke segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika. Uz korištenje informacija u marketinške svrhe, telekomunikacijske tehnologije koriste se za sprječavanje lažnih financijskih transakcija.
Jedan od upečatljivih primjera ove industrije je VimpelCom. Tvrtka koristi Big Data za poboljšanje kvalitete usluge na razini svakog pretplatnika, sastavljanje izvješća, analizu podataka za razvoj mreže, borbu protiv spama i personalizaciju usluga.

banke
Značajan dio korisnika Big Data su stručnjaci iz financijske industrije. Jedan od uspješnih eksperimenata proveden je u Uralskoj banci za obnovu i razvoj, gdje se baza informacija počela koristiti za analizu klijenata, banka je počela nuditi specijalizirane ponude kredita, depozite i druge usluge. U roku od godinu dana korištenja ovih tehnologija, portfelj kredita za stanovništvo narastao je za 55%.
Alfa-Bank analizira informacije s društvenih mreža, obrađuje zahtjeve za kredite i analizira ponašanje korisnika web stranice tvrtke.
Sberbank je također počela obrađivati ​​golemu količinu podataka kako bi segmentirala klijente, spriječila lažne aktivnosti, unakrsnu prodaju i upravljala rizicima. U budućnosti se planira poboljšati uslugu i analizirati radnje korisnika u stvarnom vremenu.
All-Russian Regional Development Bank analizira ponašanje vlasnika plastičnih kartica. To omogućuje prepoznavanje transakcija koje su netipične za određenog klijenta, čime se povećava vjerojatnost otkrivanja krađe sredstava s plastičnih kartica.

Maloprodaja
U Rusiji su Big Data tehnologije implementirale i online i offline trgovačke tvrtke. Danas, prema CNews Analyticsu, Big Data koristi 20% trgovaca. 75% maloprodajnih stručnjaka smatra Big Data neophodnim za razvoj strategije konkurentne promocije tvrtke. Prema Hadoop statistici, nakon implementacije Big Data tehnologije, profit u trgovačkim organizacijama povećava se za 7-10%.
Stručnjaci M.Video govore o poboljšanom logističkom planiranju nakon implementacije SAP HANA; također, kao rezultat njegove implementacije, priprema godišnjih izvješća smanjena je s 10 dana na 3, brzina dnevnog učitavanja podataka smanjena je s 3 sata na 30 minuta.
Wikimart koristi ove tehnologije za generiranje preporuka za posjetitelje stranice.
Jedna od prvih izvanmrežnih trgovina koja je u Rusiji uvela analizu Big Data bila je Lenta. Maloprodaja je uz pomoć Big Data počela proučavati podatke o kupcima s računa na blagajni. Trgovac na malo prikuplja informacije za izradu modela ponašanja, što omogućuje donošenje informiranijih odluka na operativnoj i komercijalnoj razini.

Industrija nafte i plina
U ovoj je industriji opseg Big Data prilično širok. Big Data tehnologije mogu se koristiti u vađenju minerala iz podzemlja. Uz njihovu pomoć možete analizirati sam proces ekstrakcije i najučinkovitije načine ekstrakcije, pratiti proces bušenja, analizirati kvalitetu sirovina, kao i preradu i plasman finalnog proizvoda. U Rusiji su Transneft i Rosneft već počeli koristiti ove tehnologije.

Državna tijela
U zemljama kao što su Njemačka, Australija, Španjolska, Japan, Brazil i Pakistan, Big Data tehnologije koriste se za rješavanje nacionalnih problema. Ove tehnologije pomažu državnim tijelima da učinkovitije pružaju usluge stanovništvu i pružaju ciljanu socijalnu podršku.
U Rusiji su te tehnologije počela svladavati državna tijela kao što su Mirovinski fond, Savezna porezna služba i Fond obveznog zdravstvenog osiguranja. Potencijal za provedbu projekata koji koriste Big Data je velik, te tehnologije mogu pomoći u poboljšanju kvalitete usluga, a time i životnog standarda stanovništva.

Logistika i transport
Big Data mogu koristiti i prijevozničke tvrtke. Koristeći Big Data tehnologije, možete pratiti svoj vozni park, uzeti u obzir troškove goriva i pratiti zahtjeve kupaca.
Ruske željeznice implementirale su Big Data tehnologije zajedno sa SAP-om. Te su tehnologije pomogle smanjiti vrijeme pripreme izvješća za 43,5 puta (s 14,5 sati na 20 minuta), te povećati točnost raspodjele troškova za 40 puta. Big Data je također uveden u procese planiranja i regulacije tarifa. Ukupno, tvrtke koriste više od 300 sustava baziranih na SAP rješenjima, uključena su 4 podatkovna centra, a broj korisnika je 220.000.

Glavni pokretači i ograničavači tržišta

Pokretači razvoja Big Data tehnologija na ruskom tržištu su:

• Povećan interes korisnika za mogućnostima Big Data kao načina povećanja konkurentnosti poduzeća;
• Razvoj metoda za obradu medijskih datoteka na globalnoj razini;
• Prijenos poslužitelja koji obrađuju osobne podatke na područje Rusije, u skladu s usvojenim zakonom o pohrani i obradi osobnih podataka;
• Provedba industrijskog plana za supstituciju uvoza softvera. Ovaj plan uključuje državnu potporu domaćim proizvođačima softvera, kao i davanje povlastica za domaće IT proizvode pri kupnji o javnom trošku.
• U novoj gospodarskoj situaciji, kada se tečaj dolara gotovo udvostručio, postojat će trend sve većeg korištenja usluga ruskih pružatelja usluga u oblaku umjesto stranih.
• Stvaranje tehnoloških parkova koji pridonose razvoju tržišta informacijske tehnologije, uključujući tržište Big Data;
• Državni program za implementaciju grid sustava temeljenih na Big Data tehnologijama.

Glavne prepreke razvoju Big Data na ruskom tržištu su:

• Osiguravanje sigurnosti i povjerljivosti podataka;
• Nedostatak kvalificiranog osoblja;
• Nedovoljno akumuliranih informacijskih resursa do razine Big Data u većini ruskih tvrtki;
• Poteškoće pri uvođenju novih tehnologija u uspostavljene informacijske sustave poduzeća;
• Visoka cijena Big Data tehnologija, što dovodi do ograničenog broja poduzeća koja imaju priliku implementirati te tehnologije;
• Politička i ekonomska neizvjesnost, koja je dovela do odljeva kapitala i zamrzavanja investicijskih projekata u Rusiji;
• Rast cijena uvoznih proizvoda i skok inflacije, prema IDC-u, usporavaju razvoj cijelog IT tržišta.

Prognoza ruskog tržišta

Od danas rusko tržište velikih podataka nije toliko popularno kao u razvijenim zemljama. Većina ruskih tvrtki pokazuje interes za to, ali se ne usuđuju iskoristiti njihove mogućnosti.
Primjeri velikih tvrtki koje su već imale koristi od korištenja Big Data tehnologija povećavaju svijest o mogućnostima tih tehnologija.
Analitičari također imaju prilično optimistične prognoze za rusko tržište. IDC vjeruje da će se ruski tržišni udio povećati u sljedećih 5 godina, za razliku od njemačkog i japanskog tržišta.
Do 2020. količina velikih podataka u Rusiji porast će sa sadašnjih 1,8% na 2,2% globalne količine podataka. Količina informacija porast će, prema EMC-u, sa sadašnjih 155 egzabajta na 980 egzabajta u 2020. godini.
U ovom trenutku Rusija nastavlja akumulirati količinu informacija do razine Big Data.
Prema istraživanju CNews Analyticsa, 44% anketiranih tvrtki radi s podacima ne većim od 100 terabajta*, a samo 13% radi s volumenima većim od 500 terabajta.

Ipak, rusko tržište će, prateći svjetske trendove, rasti. Od 2014. IDC procjenjuje veličinu tržišta na 340 milijuna dolara.
Stopa rasta tržišta prethodnih godina iznosila je 50% godišnje; ako ostane na istoj razini, tada će u 2018. obujam tržišta dosegnuti 1,7 milijardi dolara. Udio ruskog tržišta u svjetskom tržištu iznosit će oko 3%, povećavajući se sa sadašnjih 1,2%.

Najprihvatljivije industrije za korištenje Big Data u Rusiji uključuju:

• Stanovništvu i bankama, za njih je prvenstveno važna analiza baze klijenata i procjena učinka marketinških kampanja;
• Telekom – segmentacija korisničke baze i monetizacija prometa;
• Javni sektor – izvješćivanje, analiza prijava javnosti i dr.;
• Naftne tvrtke – praćenje rada i planiranje proizvodnje i prodaje;
• Energetske tvrtke – izgradnja inteligentnih elektroenergetskih sustava, pogonski nadzor i predviđanje.

U razvijenim zemljama Big Data je postao široko rasprostranjen u područjima zdravstva, osiguranja, metalurgije, internetskih kompanija i proizvodnih poduzeća; najvjerojatnije će u bliskoj budućnosti i ruske tvrtke iz ovih područja također cijeniti učinak uvođenja Big Data i prilagoditi se ove tehnologije u svojim industrijama.
U Rusiji, kao iu svijetu, u bliskoj će budućnosti postojati trend prema vizualizaciji podataka, analizi medijskih datoteka i razvoju Interneta stvari.
Unatoč općoj stagnaciji gospodarstva, u nadolazećim godinama analitičari predviđaju daljnji rast Big Data tržišta, prvenstveno zbog činjenice da korištenje Big Data tehnologija svojim korisnicima daje konkurentsku prednost u smislu povećanja operativne učinkovitosti poslovanje, privlačenje dodatnog protoka kupaca, minimiziranje rizika i implementacija tehnologija za predviđanje podataka.
Dakle, možemo zaključiti da je segment Big Data u Rusiji u fazi formiranja, ali potražnja za tim tehnologijama raste svake godine.

Glavni rezultati analize tržišta

Svjetsko tržište

Krajem 2014. Big Data tržište karakteriziraju sljedeći parametri:

• obujam tržišta iznosio je 28,5 milijardi američkih dolara, što je povećanje od 45% u odnosu na prethodnu godinu;
• većina tržišnih prihoda Big Data dolazi od usluga, njihov udio iznosio je 40% ukupnih prihoda;
• 36% prihoda dolazi od Big Data aplikacija i analitike, 17% od računalne opreme i 15% od tehnologija za pohranu podataka;
• Najpopularnije za rješavanje problema Big Data su in-memory platforme tvrtki kao što su SAP, HANA i Oracle.
• broj tvrtki s implementiranim projektima u području upravljanja velikim podacima povećao se za 125%;

Tržišna prognoza za sljedeće godine je sljedeća:

• u 2015. obujam tržišta dosegnut će 38,4 milijarde američkih dolara, u 2020. – 68,7 milijardi američkih dolara;
• prosječna stopa rasta bit će 16% godišnje;
• prosječni troškovi poduzeća za Big Data tehnologije bit će 13,8 milijuna USD za velike tvrtke i 1,6 milijuna USD za male i srednje tvrtke;
• tehnologije će biti najraširenije u područjima korisničke službe i ciljanog marketinga;
• U 2017. globalna tržišna struktura će se promijeniti prema prevlasti korisničkih tvrtki iz zemalja u razvoju.

rusko tržište

Rusko tržište velikih podataka je u fazi formiranja, rezultati 2014. su sljedeći:

• obujam tržišta dosegao je 340 milijuna USD;
• prosječna stopa rasta tržišta prethodnih godina bila je 50% godišnje;
• ukupni volumen akumuliranih informacija bio je 155 eksabajta;
• 10% ruskih tvrtki počelo je koristiti Big Data tehnologije;
• Big Data tehnologije bile su popularnije u bankarskom sektoru, telekomu, internetskim tvrtkama i maloprodaji.

Prognoza ruskog tržišta za naredne godine je sljedeća:

• obujam ruskog tržišta u 2015. dosegnut će 500 milijuna američkih dolara, au 2018. – 1,7 milijardi američkih dolara;
• udio ruskog tržišta u svjetskom tržištu bit će oko 3% u 2018.;
• količina akumuliranih podataka u 2020. bit će 980 egzabajta;
• količina podataka porast će na 2,2% globalne količine podataka u 2020.;
• Tehnologije za vizualizaciju podataka, analizu medijskih datoteka i Internet of Things postat će najpopularnije.

Na temelju rezultata analize možemo zaključiti da je Big Data tržište još uvijek u ranoj fazi razvoja, au skoroj budućnosti očekuje nas njegov rast i širenje mogućnosti ovih tehnologija.

Hvala vam što ste odvojili vrijeme za čitanje ovog opsežnog djela, pretplatite se na naš blog - obećavamo mnogo novih zanimljivih publikacija!

Znate ovaj poznati vic, zar ne? Big Data je kao seks prije 18.

• svi misle o tome;
• svi govore o tome;
• svi misle da to rade njihovi prijatelji;
• ovo gotovo nitko ne radi;
• tko god to radi, loše radi;
• svi misle da će sljedeći put biti bolje;
• nitko ne poduzima sigurnosne mjere;
• tko se stidi priznati da nešto ne zna;
• ako netko u nečemu uspije uvijek se oko toga diže velika buka.

No, budimo iskreni, uz svaki hype uvijek će biti uobičajena znatiželja: kakva je to frka i ima li tu nečeg stvarno važnog? Ukratko, da, postoji. Detalji su u nastavku. Odabrali smo za vas najčudesnije i najzanimljivije primjene Big Data tehnologija. Ova mala studija tržišta, koristeći jasne primjere, suočava nas s jednostavnom činjenicom: budućnost ne dolazi, nema potrebe čekati još n godina i magija će postati stvarnost. Ne, već je stigao, ali je još uvijek nevidljiv oku i stoga spaljivanje singularnosti još nije toliko spalilo određenu točku tržišta rada. Ići.

1 Kako se Big Data tehnologije primjenjuju tamo gdje su nastale

Podatkovna znanost nastala je u velikim IT tvrtkama, pa su njihova interna znanja u tom području najzanimljivija. Kampanja Google, rodno mjesto paradigme Map Reduce, čija je jedina svrha osposobiti svoje programere za tehnologije strojnog učenja. I tu je njihova konkurentska prednost: nakon stjecanja novih znanja zaposlenici će uvoditi nove metode u one Googleove projekte na kojima stalno rade. Zamislite koliki je popis područja u kojima kampanja može napraviti revoluciju. Jedan primjer: koriste se neuronske mreže.

Korporacija implementira strojno učenje u sve svoje proizvode. Njegova prednost je prisutnost velikog ekosustava koji uključuje sve digitalne uređaje koji se koriste u svakodnevnom životu. To omogućuje Appleu da dosegne nemoguću razinu: kampanja ima više korisničkih podataka od bilo koje druge. Istodobno, politika privatnosti je vrlo stroga: korporacija se uvijek hvalila da ne koristi podatke o klijentima u reklamne svrhe. Sukladno tome, podaci o korisniku su šifrirani tako da ih Appleovi odvjetnici ili čak FBI s nalogom ne mogu pročitati. Ovdje ćete pronaći veliki pregled razvoja Applea u području umjetne inteligencije.

2 Big Data na 4 kotača

Moderan automobil je skladište informacija: akumulira sve podatke o vozaču, okolini, povezanim uređajima i sebi. Uskoro će jedno vozilo spojeno na mrežu poput ovoga generirati do 25 GB podataka na sat.

Proizvođači automobila već godinama koriste telematiku vozila, ali sada se lobira za sofisticiraniju metodu prikupljanja podataka koja u potpunosti iskorištava prednosti velikih podataka. To znači da tehnologija sada može upozoriti vozača na loše uvjete na cesti automatskim aktiviranjem sustava protiv blokiranja kotača i kontrole proklizavanja.

Ostale tvrtke, uključujući BMW, koriste tehnologiju Big Data, u kombinaciji s informacijama prikupljenim iz prototipova koji se testiraju, sustava za pamćenje pogrešaka u vozilu i pritužbi kupaca, kako bi identificirali slabosti modela u ranoj fazi proizvodnje. Sada se umjesto ručne procjene podataka, koja traje mjesecima, koristi moderan algoritam. Troškovi pogrešaka i otklanjanja problema su smanjeni, što ubrzava tijek rada analize informacija u BMW-u.

Prema procjenama stručnjaka, do 2019. tržišni promet povezanih automobila dosegnut će 130 milijardi dolara, što i ne čudi s obzirom na brzinu integracije tehnologija koje su sastavni dio vozila od strane proizvođača automobila.

Korištenje velikih podataka čini automobil sigurnijim i funkcionalnijim. Tako je Toyota integracijom informacijsko komunikacijskih modula (DCM). Ovaj alat za velike podatke obrađuje i analizira podatke koje je prikupio DCM kako bi iz njih dodatno izvukao vrijednost.

3 Primjena Big Data u medicini

Implementacija Big Data tehnologija u medicinskom području omogućuje liječnicima da temeljitije prouče bolest i odaberu učinkovit način liječenja za određeni slučaj. Zahvaljujući analizi informacija, zdravstvenim radnicima postaje lakše predvidjeti recidive i poduzeti preventivne mjere. Rezultat je točnija dijagnoza i poboljšane metode liječenja.

Nova tehnika nam je omogućila da probleme pacijenata sagledamo iz druge perspektive, što je dovelo do otkrića dosad nepoznatih izvora problema. Na primjer, neke su rase genetski sklonije srčanim bolestima nego druge etničke skupine. Sada, kada se pacijent žali na neku bolest, liječnici uzimaju u obzir podatke o pripadnicima njegove rase koji su se žalili na isti problem. Prikupljanje i analiza podataka omogućuje nam da saznamo mnogo više o pacijentima: od prehrambenih preferencija i načina života do genetske strukture DNK i metabolita stanica, tkiva i organa. Tako Centar za dječju genomsku medicinu u Kansas Cityju koristi pacijente i analizira mutacije u genetskom kodu koje uzrokuju rak. Individualni pristup svakom pacijentu, uzimajući u obzir njegov DNK, podići će učinkovitost liječenja na kvalitativno drugačiju razinu.

Razumijevanje načina na koji se koriste veliki podaci prva je i vrlo važna promjena u području medicine. Kada se pacijent podvrgne liječenju, bolnica ili druga zdravstvena ustanova može dobiti mnogo relevantnih podataka o osobi. Prikupljene informacije koriste se za predviđanje recidiva bolesti s određenim stupnjem točnosti. Na primjer, ako je pacijent doživio moždani udar, liječnici proučavaju informacije o vremenu cerebrovaskularnog inzulta, analiziraju međurazdoblje između prethodnih presedana (ako ih ima), obraćajući posebnu pozornost na stresne situacije i tešku tjelesnu aktivnost u životu pacijenta. Na temelju tih podataka bolnice daju pacijentu jasan akcijski plan za sprječavanje mogućnosti moždanog udara u budućnosti.

Nosivi uređaji također igraju ulogu, pomažući u prepoznavanju zdravstvenih problema čak i ako osoba nema očite simptome određene bolesti. Umjesto da procjenjuje stanje pacijenta kroz dugotrajan pregled, liječnik može izvući zaključke na temelju podataka prikupljenih fitness trackerom ili pametnim satom.

Jedan od najnovijih primjera je . Dok su muškarca pregledavali zbog novog napadaja uzrokovanog propuštenim lijekom, liječnici su otkrili da muškarac ima mnogo ozbiljniji zdravstveni problem. Pokazalo se da je ovaj problem fibrilacija atrija. Dijagnoza je postavljena zahvaljujući činjenici da je osoblje odjela dobilo pristup pacijentovom telefonu, odnosno aplikaciji povezanoj s njegovim fitness trackerom. Podaci iz aplikacije pokazali su se ključnim čimbenikom u određivanju dijagnoze, jer u trenutku pregleda kod muškarca nisu otkrivene srčane abnormalnosti.

Ovo je samo jedan od rijetkih slučajeva koji pokazuje zašto koristiti velike podatke igra tako značajnu ulogu u medicinskom polju danas.

4 Analiza podataka već je postala srž maloprodaje

Razumijevanje korisničkih upita i ciljanja jedno je od najvećih i najobjavljenijih područja primjene Big Data alata. Big Data pomaže u analizi navika kupaca kako bi se bolje razumjele potrebe potrošača u budućnosti. Tvrtke nastoje proširiti tradicionalni skup podataka informacijama s društvenih mreža i povijesti pretraživanja preglednika kako bi stvorile što cjelovitiju sliku kupaca. Ponekad velike organizacije odluče stvoriti vlastiti prediktivni model kao globalni cilj.

Na primjer, trgovački lanac Target, koristeći dubinsku analizu podataka i vlastiti sustav predviđanja, uspijeva s velikom točnošću odrediti - . Svakom klijentu se dodjeljuje ID, koji je pak povezan s kreditnom karticom, imenom ili e-poštom. Identifikator služi kao neka vrsta košarice za kupnju, gdje se pohranjuju informacije o svemu što je osoba ikada kupila. Mrežni stručnjaci otkrili su da trudnice aktivno kupuju proizvode bez mirisa prije drugog tromjesečja trudnoće, a tijekom prvih 20 tjedana oslanjaju se na dodatke kalcija, cinka i magnezija. Na temelju dobivenih podataka Target kupcima šalje kupone za proizvode za bebe. Sami popusti na robu za djecu “razrijeđeni” su kuponima za druge proizvode, tako da ponude za kupnju krevetića ili pelena ne izgledaju previše napadno.

Čak su i državni odjeli pronašli način da koriste Big Data tehnologije za optimizaciju izbornih kampanja. Neki smatraju da je pobjedu Baracka Obame na predsjedničkim izborima u SAD-u 2012. godine zahvalio izvrsnom radu njegovog tima analitičara koji su na pravi način obradili ogromne količine podataka.

5 Big Data štiti zakon i red

Tijekom proteklih nekoliko godina, agencije za provođenje zakona uspjele su shvatiti kako i kada koristiti Big Data. Opće je poznata činjenica da Agencija za nacionalnu sigurnost koristi Big Data tehnologije za sprječavanje terorističkih napada. Ostali odjeli koriste naprednu metodologiju za sprječavanje manjih zločina.

Policija Los Angelesa koristi . Ona radi ono što se obično naziva proaktivna policija. Koristeći izvješća o zločinima tijekom određenog vremenskog razdoblja, algoritam identificira područja gdje je najvjerojatnije da će se zločin dogoditi. Sustav označava takva područja na karti grada malim crvenim kvadratićima i ti se podaci odmah prenose patrolnim vozilima.

Čikaški policajci koristiti Big Data tehnologije na malo drugačiji način. Policijski službenici u Vjetrovitom gradu rade isto, ali to je usmjereno na ocrtavanje "kruga rizika" koji se sastoji od ljudi koji bi mogli biti žrtve ili sudionici oružanog napada. Prema The New York Timesu, ovaj algoritam dodjeljuje osobi ocjenu ranjivosti na temelju njezine kriminalne prošlosti (uhićenja i sudjelovanje u pucnjavi, članstvo u kriminalnim skupinama). Programer sustava kaže da iako sustav ispituje nečiju kriminalnu prošlost, ne uzima u obzir sekundarne faktore kao što su rasa, spol, etnička pripadnost i lokacija osobe.

6 Kako Big Data tehnologije pomažu gradovima u razvoju

Izvršni direktor Veniama Joao Barros pokazuje kartu praćenja Wi-Fi rutera u autobusima u Portu

Analiza podataka također se koristi za poboljšanje niza aspekata života gradova i zemalja. Na primjer, znajući točno kako i kada koristiti Big Data tehnologije, možete optimizirati tokove prometa. Da bi se to postiglo, uzima se u obzir kretanje automobila online, analiziraju se društveni mediji i meteorološki podaci. Danas su se brojni gradovi obvezali na korištenje analitike podataka kako bi spojili prometnu infrastrukturu s drugim vrstama javnih usluga u jedinstvenu cjelinu. Ovo je koncept "pametnog" grada u kojem autobusi čekaju vlakove koji kasne, a semafori mogu predvidjeti prometne gužve kako bi se gužve svele na minimum.

Na temelju Big Data tehnologija, grad Long Beach upravlja pametnim vodomjerima koji se koriste za zaustavljanje ilegalnog zalijevanja. Prethodno su se koristili za smanjenje potrošnje vode u privatnim kućanstvima (maksimalni rezultat bio je smanjenje od 80%). Ušteda svježe vode uvijek je gorući problem. Pogotovo kada se država suočava s najgorom sušom ikad zabilježenom.

Predstavnici Odjela za promet Los Angelesa pridružili su se popisu onih koji koriste Big Data. Na temelju podataka dobivenih od senzora prometnih kamera, vlasti nadziru rad semafora, što zauzvrat omogućuje regulaciju prometa. Kompjuterizirani sustav kontrolira oko 4.500 tisuća semafora diljem grada. Prema službenim podacima, novi algoritam pomogao je smanjiti gužve za 16%.

7 Motor napretka u marketingu i prodaji

U marketingu, Big Data alati omogućuju prepoznavanje ideja koje su najučinkovitije u promicanju u određenoj fazi prodajnog ciklusa. Analiza podataka određuje kako ulaganja mogu poboljšati upravljanje odnosima s klijentima, koju bi strategiju trebalo usvojiti za poboljšanje stopa konverzije i kako optimizirati životni ciklus korisnika. U poduzećima u oblaku, algoritmi Big Data koriste se kako bi se otkrilo kako minimizirati troškove akvizicije korisnika i produžiti životni ciklus korisnika.

Diferencijacija cjenovnih strategija ovisno o razini unutar sustava klijenta možda je glavna stvar za koju se Big Data koristi u području marketinga. McKinsey je otkrio da oko 75% prihoda prosječne tvrtke dolazi od osnovnih proizvoda, od kojih je 30% pogrešne cijene. Povećanje cijene od 1% rezultira povećanjem operativne dobiti od 8,7%.

Forresterov istraživački tim otkrio je da analitika podataka omogućuje marketinškim stručnjacima da se usredotoče na to kako odnose s klijentima učiniti uspješnijim. Proučavajući smjer razvoja kupaca, stručnjaci mogu procijeniti razinu njihove lojalnosti, kao i produljiti životni ciklus u kontekstu određene tvrtke.

Optimizacija prodajnih strategija i faza ulaska na nova tržišta korištenjem geoanalitike odražavaju se u biofarmaceutskoj industriji. Prema McKinseyju, tvrtke za proizvodnju lijekova troše u prosjeku 20 do 30% dobiti na administraciju i prodaju. Ako poduzeća postanu aktivnija koristiti Big Data kako bismo identificirali najprofitabilnija i najbrže rastuća tržišta, troškovi će se odmah smanjiti.

Analitika podataka je način na koji tvrtke mogu dobiti potpunu sliku o ključnim aspektima svog poslovanja. Povećanje prihoda, smanjenje troškova i smanjenje obrtnog kapitala tri su izazova koje moderna poduzeća pokušavaju riješiti uz pomoć analitičkih alata.

Konačno, 58% direktora marketinga tvrdi da se implementacija Big Data tehnologija može vidjeti u optimizaciji za tražilice (SEO), e-mail i mobilnom marketingu, gdje analiza podataka ima najznačajniju ulogu u formiranju marketinških programa. A samo 4% manje ispitanika uvjereno je da će Big Data igrati značajnu ulogu u svim marketinškim strategijama u godinama koje dolaze.

8 Globalna analiza podataka

Ništa manje znatiželjan nije... Moguće je da će strojno učenje u konačnici biti jedina sila sposobna održati osjetljivu ravnotežu. Tema utjecaja čovjeka na globalno zatopljenje još uvijek izaziva brojne kontroverze, stoga samo pouzdani prediktivni modeli temeljeni na analizi velike količine podataka mogu dati točan odgovor. U konačnici, smanjenje emisija pomoći će nam svima: trošit ćemo manje energije.

Sada Big Data nije apstraktan koncept koji bi svoju primjenu mogao naći za nekoliko godina. Ovo je potpuno funkcionalan skup tehnologija koji može biti koristan u gotovo svim područjima ljudske djelatnosti: od medicine i javnog reda do marketinga i prodaje. Faza aktivne integracije Big Data u naš svakodnevni život tek je započela, a tko zna kakva će biti uloga Big Data za nekoliko godina?