Samo lijeni ne pričaju o velikim podacima, ali malo je vjerovatno da će razumjeti šta su to i kako funkcioniraju. Počnimo s najjednostavnijim - terminologijom. Govoreći na ruskom, veliki podaci su različiti alati, pristupi i metode za obradu strukturiranih i nestrukturiranih podataka kako bi se koristili za određene zadatke i svrhe.
Nestrukturirani podaci su informacije koje nemaju unaprijed definiranu strukturu ili nisu organizirane po određenom redoslijedu.
Termin "veliki podaci" skovao je urednik časopisa Nature Clifford Lynch još 2008. godine u specijalnom izdanju posvećenom eksplozivnom rastu svjetskih količina informacija. Iako su, naravno, i sami veliki podaci postojali i ranije. Prema mišljenju stručnjaka, većina tokova podataka preko 100 GB dnevno spada u kategoriju velikih podataka.
Pročitajte također:
Danas ovaj jednostavan termin krije samo dvije riječi - skladištenje i obrada podataka.
Veliki podaci - jednostavnim riječima
U savremenom svijetu, veliki podaci su društveno-ekonomski fenomen koji je povezan s činjenicom da su se pojavile nove tehnološke mogućnosti za analizu ogromne količine podataka.
Pročitajte također:
Radi lakšeg razumijevanja, zamislite supermarket u kojem sva roba nije u vašem uobičajenom redu. Hleb pored voća, paradajz pasta pored smrznute pice, upaljač ispred stalka za tampone koji između ostalog sadrži avokado, tofu ili shiitake pečurke. Big data sve stavlja na svoje mjesto i pomaže vam da pronađete mlijeko s orašastim plodovima, saznate cijenu i rok trajanja, kao i ko osim vas kupuje takvo mlijeko i zašto je bolje od kravljeg mlijeka.
Kenneth Kukier: Veliki podaci su najbolji podaci
Tehnologija velikih podataka
Ogromne količine podataka se obrađuju kako bi osoba dobila konkretne i potrebne rezultate za njihovu dalju efikasnu upotrebu.
Pročitajte također:
U stvari, veliki podaci su rešenje za rešavanje problema i alternativa tradicionalnim sistemima za upravljanje podacima.
Tehnike i metode analize primjenjive na velike podatke prema McKinseyju:
Crowdsourcing;
Miješanje i integracija podataka;
Strojno učenje;
Umjetne neuronske mreže;
Prepoznavanje uzoraka;
Prediktivna analitika;
Simulacijsko modeliranje;
Prostorna analiza;
Statistička analiza;
- Analitička vizualizacija podataka.
Horizontalna skalabilnost koja omogućava obradu podataka je osnovni princip obrade velikih podataka. Podaci se distribuiraju do računarskih čvorova, a obrada se odvija bez degradacije performansi. McKinsey je takođe uključio sisteme relacionog upravljanja i poslovnu inteligenciju u kontekstu primenljivosti.
Tehnologije:
- NoSQL;
- MapReduce;
- Hadoop;
- Hardverska rješenja.
Pročitajte također:
Za velike podatke postoje tradicionalne karakteristike koje je razvila Meta Grupa još 2001. godine, a koje se nazivaju „ Tri V»:
- Volume- veličina fizičkog volumena.
- Brzina- brzina rasta i potreba za brzom obradom podataka za postizanje rezultata.
- Raznolikost- mogućnost istovremene obrade različitih vrsta podataka.
Veliki podaci: aplikacije i mogućnosti
Nemoguće je obraditi količine heterogenih i digitalnih informacija koje brzo pristižu tradicionalnim alatima. Sama analiza podataka omogućava vam da vidite određene i neprimjetne obrasce koje osoba ne može vidjeti. To nam omogućava da optimiziramo sva područja našeg života - od vlade do proizvodnje i telekomunikacija.
Na primjer, neke kompanije su prije nekoliko godina štitile svoje klijente od prevare, a briga o novcu klijenata bila je briga o svom novcu.
Susan Etleiger: Šta je sa velikim podacima?
Rešenja zasnovana na velikim podacima: Sberbank, Beeline i druge kompanije
Beeline ima ogromnu količinu podataka o pretplatnicima, koje koriste ne samo za rad s njima, već i za kreiranje analitičkih proizvoda, poput eksternog savjetovanja ili IPTV analitike. Beeline je segmentirao bazu podataka i zaštitio kupce od novčane prevare i virusa, koristeći HDFS i Apache Spark za skladištenje, te Rapidminer i Python za obradu podataka.
Pročitajte također:
Ili se sjetite Sberbanke sa njihovim starim slučajem AS SAFI. To je sistem koji analizira fotografije kako bi identificirao klijente banke i spriječio prevare. Sistem je uveden još 2014. godine, u srcu sistema je poređenje fotografija iz baze podataka, koje tamo dolaze sa web kamera na regalima zahvaljujući kompjuterskom vidu. Osnova sistema je biometrijska platforma. Zahvaljujući tome, slučajevi prevara su se smanjili za 10 puta.
Veliki podaci u svijetu
Do 2020. godine, prema prognozama, čovječanstvo će generirati 40-44 zetabajta informacija. A do 2025. će porasti 10 puta, prema izvještaju The Data Age 2025, koji su pripremili analitičari IDC-a. U izvještaju se navodi da će većinu podataka generirati same kompanije, a ne potrošači.
Analitičari istraživanja vjeruju da će podaci postati vitalna imovina, a sigurnost će postati kritična osnova u životu. Autori rada također su uvjereni da će tehnologija promijeniti ekonomski krajolik, a prosječan korisnik će komunicirati sa povezanim uređajima oko 4800 puta dnevno.
Tržište velikih podataka u Rusiji
Obično veliki podaci dolaze iz tri izvora:
- Internet (društvene mreže, forumi, blogovi, mediji i druge stranice);
- Korporativne arhive dokumenata;
- Očitavanja sa senzora, instrumenata i drugih uređaja.
Veliki podaci u bankama
Pored gore opisanog sistema, u strategiji Sberbanke za 2014-2018. govori o važnosti analize ogromnih količina podataka za kvalitetnu uslugu korisnicima, upravljanje rizicima i optimizaciju troškova. Sada banka koristi Big data za upravljanje rizicima, borbu protiv prevara, segmentaciju i procjenu kreditne sposobnosti klijenata, upravljanje osobljem, predviđanje redova u ekspoziturama, obračun bonusa zaposlenima i druge poslove.
VTB24 koristi velike podatke za segmentiranje i upravljanje odljevom kupaca, generiranje finansijskih izvještaja, analizu recenzija na društvenim mrežama i forumima. Za to koristi rješenja Teradata, SAS Visual Analytics i SAS Marketing Optimizer.
Big Data- ovo nisu samo sami podaci, već i tehnologije za njihovu obradu i korištenje, metode za pronalaženje potrebnih informacija u velikim nizovima. Problem velikih podataka ostaje otvoren i vitalan za sve sisteme koji decenijama akumuliraju širok spektar informacija.
Ovaj izraz je povezan sa izrazom "Jačina, brzina, raznolikost"- principi na kojima se zasniva rad sa velikim podacima. Ovo direktno količina informacija, brzina obrade i raznovrsnost informacija pohranjene u nizu. Nedavno je na tri osnovna principa počeo da se dodaje još jedan - Vrijednostšto znači vrijednost informacija... Odnosno, mora biti korisna i neophodna u teoretskom ili praktičnom smislu, što bi opravdalo troškove njegovog skladištenja i obrade.
Društveni mediji su primjer tipičnog izvora velikih podataka - svaki profil ili javna stranica je jedna mala kap u nestrukturiranom oceanu informacija. Štaviše, bez obzira na količinu informacija pohranjenih u određenom profilu, interakcija sa svakim od korisnika trebala bi biti što brža.
Veliki podaci se neprestano gomilaju u gotovo svim oblastima ljudskog života. Ovo uključuje bilo koju industriju koja se odnosi na interakciju ljudi ili računarstvo. To su društveni mediji, medicina i bankarstvo, kao i sistemi uređaja koji primaju brojne rezultate svakodnevnih proračuna. Na primjer, astronomska zapažanja, meteorološke informacije i informacije sa uređaja za mjerenje Zemlje.
Informacije sa svih vrsta sistema za praćenje u realnom vremenu takođe idu na servere određene kompanije. Emitovanje televizije i radija, baze poziva mobilnih operatera - interakcija svakog pojedinca sa njima je minimalna, ali u zbiru, sve ove informacije postaju veliki podaci.
Tehnologije velikih podataka postale su sastavni dio istraživanja i razvoja i trgovine. Štaviše, počinju da preuzimaju sferu javne uprave – i svuda se traži uvođenje sve efikasnijih sistema za skladištenje i manipulaciju informacijama.
Termin “veliki podaci” prvi put se pojavio u štampi 2008. godine, kada je urednik Nature Clifford Lynch objavio članak o razvoju budućnosti nauke koristeći tehnologije za rad s velikim količinama podataka. Do 2009. ovaj termin se razmatrao samo sa stanovišta naučne analize, ali nakon objavljivanja još nekoliko članaka, štampa je počela naširoko koristiti koncept velikih podataka - i nastavlja ga koristiti i danas.
U 2010. godini počeli su se pojavljivati prvi pokušaji rješavanja rastućeg problema velikih podataka. Objavljeni su softverski proizvodi, čija je akcija bila usmjerena na minimiziranje rizika pri korištenju ogromnih nizova informacija.
Do 2011. velike kompanije poput Microsofta, Oraclea, EMC-a i IBM-a zainteresovale su se za velike podatke – one su prve koristile razvoj velikih podataka u svojim razvojnim strategijama, i to prilično uspješno.
Univerziteti su počeli da sprovode proučavanje velikih podataka kao poseban predmet već 2013. godine – sada se problemima u ovoj oblasti bave ne samo nauka o podacima, već i inženjerstvo, zajedno sa predmetima računarstva.
Glavne metode analize i obrade podataka uključuju sljedeće:
- Metode klase ili dubinska analiza (Data Mining).
Ove metode su prilično brojne, ali ih objedinjuje jedno: korišćeni matematički alati u sprezi sa dostignućima u oblasti informacionih tehnologija.
- Crowdsourcing.
Ova tehnika vam omogućava da istovremeno dobijete podatke iz više izvora, a broj potonjih je praktički neograničen.
- A/B testiranje.
Iz cjelokupne količine podataka odabire se kontrolni skup elemenata koji se naizmjenično uspoređuje sa drugim sličnim populacijama, gdje je jedan od elemenata promijenjen. Provođenje takvih testova pomaže u određivanju koje fluktuacije parametara imaju najveći utjecaj na kontrolnu populaciju. Zahvaljujući obimu Big Data, moguće je izvršiti ogroman broj iteracija, pri čemu se svaka od njih približava najpouzdanijem rezultatu.
- Prediktivna analitika.
Stručnjaci u ovoj oblasti pokušavaju unaprijed predvideti i planirati kako će se kontrolirani objekt ponašati kako bi u ovoj situaciji donijeli najpovoljniju odluku.
- Mašinsko učenje (vještačka inteligencija).
Zasnovan je na empirijskoj analizi informacija i naknadnoj konstrukciji algoritama za sisteme koji samouče.
- Analiza mreže.
Najčešći metod istraživanja društvenih mreža - nakon dobijanja statističkih podataka analiziraju se čvorovi kreirani u mreži, odnosno interakcije između pojedinačnih korisnika i njihovih zajednica.
U 2017. godini, kada su veliki podaci prestali da budu nešto novo i nepoznato, njihov značaj ne samo da se nije smanjio, već se još više povećao. Sada se stručnjaci klade da će analiza velikih količina podataka postati dostupna ne samo za gigantske organizacije, već i za mala i srednja preduzeća. Planirano je da se ovaj pristup implementira korištenjem sljedećih komponenti:
- Pohrana u oblaku.
Pohranjivanje i obrada podataka postaje sve brža i ekonomičnija – u poređenju sa troškovima održavanja vlastitog podatkovnog centra i mogućim proširenjem osoblja, iznajmljivanje oblaka se čini mnogo jeftinijom alternativom.
- Korištenje tamnih podataka.
Takozvani "tamni podaci" - sve nedigitalne informacije o kompaniji, koje ne igraju ključnu ulogu u njenom direktnom korištenju, ali mogu poslužiti kao razlog za prelazak na novi format za pohranjivanje informacija.
- Umjetna inteligencija i duboko učenje.
Tehnologija učenja mašinske inteligencije, koja oponaša strukturu i rad ljudskog mozga, najprikladnija je za obradu velike količine informacija koje se stalno mijenjaju. U ovom slučaju, mašina će učiniti potpuno istu stvar koju bi čovjek trebao učiniti, ali je u isto vrijeme vjerovatnoća greške značajno smanjena.
- Blockchain.
Ova tehnologija omogućava da se ubrzaju i pojednostave brojne internet transakcije, uključujući i međunarodne. Još jedan plus Blockchaina je to što smanjuje troškove transakcije.
- Samoposluživanje i sniženje cijena.
U 2017. godini planirano je uvođenje "samouslužnih platformi" - riječ je o besplatnim stranicama na kojima će predstavnici malih i srednjih preduzeća moći samostalno procijeniti podatke koje pohranjuju i organizovati ih.
Sve marketinške strategije na ovaj ili onaj način zasnivaju se na manipulaciji informacijama i analizi postojećih podataka. Zato korištenje velikih podataka može predvidjeti i omogućiti prilagođavanje daljeg razvoja kompanije.
Na primjer, RTB aukcija kreirana na bazi velikih podataka omogućava vam da efikasnije koristite oglašavanje - određeni proizvod će biti prikazan samo onoj grupi korisnika koji su zainteresirani da ga kupe.
Koja je prednost korištenja big data tehnologija u marketingu i poslovanju?
- Uz njihovu pomoć možete mnogo brže kreirati nove projekte, koji će vjerovatno postati traženi među kupcima.
- Pomažu u povezivanju zahtjeva klijenta sa postojećom ili projektovanom uslugom i na taj način ih ispravljati.
- Metode velikih podataka nam omogućavaju da procenimo stepen trenutnog zadovoljstva svih korisnika i svakog pojedinačno.
- Lojalnost kupaca se povećava kroz tehnike obrade velikih podataka.
- Privlačenje vaše ciljne publike na Internetu postaje lakše zahvaljujući mogućnosti kontrole ogromnih količina podataka.
Na primjer, jedan od najpopularnijih servisa za predviđanje vjerovatne popularnosti proizvoda je Google.trends. Široko ga koriste trgovci i analitičari, omogućavajući im da dobiju statistiku o korištenju određenog proizvoda u prošlosti i prognozu za sljedeću sezonu. Ovo omogućava čelnicima kompanija da efikasnije raspoređuju budžet za oglašavanje, da odrede u koju oblast je najbolje uložiti novac.
Primjeri korištenja Big Data
Aktivno uvođenje Big Data tehnologija na tržište i moderni život počelo je odmah nakon što su ih počele koristiti svjetski poznate kompanije, koje imaju klijente gotovo u svim dijelovima svijeta.
To su društveni divovi poput Facebooka i Googlea, IBM-a, kao i finansijske strukture poput Master Carda, VISA i Bank of America.
Na primjer, IBM primjenjuje tehnike velikih podataka na svoje monetarne transakcije. Uz njihovu pomoć otkriveno je 15% više lažnih transakcija, što je omogućilo povećanje iznosa zaštićenih sredstava za 60%. Rešeni su i problemi sa lažnim pozitivama sistema - njihov broj je smanjen za više od pola.
VISA je koristila Big Data na sličan način, prateći lažne pokušaje izvršenja ove ili one operacije. Zahvaljujući tome, svake godine štede više od 2 milijarde dolara od curenja.
Njemačko ministarstvo rada uspjelo je smanjiti troškove za 10 milijardi eura integracijom velikih podataka u naknade za nezaposlene. Istovremeno, otkriveno je da jedna petina građana ove naknade prima neopravdano.
Big Data nije poštedio ni industriju igara. Dakle, programeri World of Tanks proveli su studiju informacija o svim igračima i uporedili dostupne pokazatelje njihove aktivnosti. Ovo je pomoglo da se predvidi mogući budući odliv igrača - na osnovu napravljenih pretpostavki, predstavnici organizacije su bili u mogućnosti da efikasnije komuniciraju sa korisnicima.
Značajne organizacije koje koriste velike podatke uključuju i HSBC, Nasdaq, Coca-Cola, Starbucks i AT&T.
Najveći problem s velikim podacima je cijena njihove obrade. Ovo može uključivati i skupu opremu i troškove plaća kvalifikovanih stručnjaka koji su sposobni da pruže ogromne količine informacija. Očigledno je da će se oprema morati redovno ažurirati kako ne bi izgubila minimalne performanse kako se količina podataka povećava.
Drugi problem je opet vezan za veliku količinu informacija koje je potrebno obraditi. Ako, na primjer, studija daje ne 2-3, već veliki broj rezultata, vrlo je teško ostati objektivan i iz općeg toka podataka odabrati samo one koji će imati stvarni utjecaj na stanje bilo koje pojave.
Problem privatnosti velikih podataka. S obzirom da većina pružatelja usluga za korisnike prelazi na online korištenje podataka, vrlo je lako postati sljedeća meta sajber kriminalaca. Čak i jednostavno pohranjivanje ličnih podataka bez obavljanja bilo kakvih transakcija na mreži može biti ispunjeno neželjenim posljedicama za korisnike pohrane u oblaku.
Problem gubitka informacija. Mjere opreza zahtijevaju da se ne ograničite na jednokratnu sigurnosnu kopiju podataka, već da napravite najmanje 2-3 sigurnosne kopije skladišta. Međutim, kako se obim povećava, rastu i poteškoće s redundantnošću - a IT stručnjaci pokušavaju pronaći optimalno rješenje za ovaj problem.
Tržište tehnologije velikih podataka u Rusiji i svijetu
Od 2014. 40% obima tržišta velikih podataka čine usluge. Prihod od upotrebe Big Data u kompjuterskoj opremi je neznatno inferiorniji (38%) u odnosu na ovaj pokazatelj. Preostalih 22% dolazi od softvera.
Najkorisniji proizvodi u globalnom segmentu za rješavanje problema velikih podataka, prema statistikama, su In-memory i NoSQL analitičke platforme. 15 odnosno 12 posto tržišta zauzimaju analitički softver Log-file i platforme Columnar. Ali Hadoop / MapReduce nije baš efikasan u rješavanju problema velikih podataka u praksi.
Rezultati implementacije big data tehnologija:
- povećanje kvaliteta usluge korisnicima;
- optimizacija integracije u lancu nabavke;
- optimizacija planiranja organizacije;
- ubrzanje interakcije sa klijentima;
- poboljšanje efikasnosti obrade zahtjeva kupaca;
- smanjenje troškova usluga;
- optimizacija obrade narudžbi klijenata.
Najbolje knjige o velikim podacima
Pogodno za početno proučavanje tehnologija obrade velikih podataka - lako i jasno vas uvodi u kurs. Jasno pokazuje kako je obilje informacija uticalo na svakodnevni život i sve njegove sfere: nauku, biznis, medicinu itd. Sadrži brojne ilustracije, pa se percipira bez mnogo truda.
Uvod u Data Mining, Pang-Ning Tan, Michael Steinbach i Vipin Kumar
Za početnike je korisna i knjiga o velikim podacima, koja objašnjava kako raditi sa velikim podacima na osnovu principa "od jednostavnog do složenog". Pokriva mnoge važne tačke u početnoj fazi: pripremu za obradu, vizualizaciju, OLAP, kao i neke metode analize i klasifikacije podataka.
Praktični vodič za korištenje i rad s velikim podacima koristeći programski jezik Python. Pogodno za studente inženjerstva i profesionalce koji žele produbiti svoje znanje.
Hadoop za lutke, Dirk Derus, Paul S. Zykopoulos, Roman B. Melnik
Hadoop je projekat posebno dizajniran za rad sa distribuiranim programima koji izvršavaju akcije na hiljadama čvorova u isto vreme. Poznavanje će vam pomoći da detaljnije shvatite praktičnu primjenu velikih podataka.
"Big Data"- tema o kojoj aktivno raspravljaju tehnološke kompanije. Neki od njih su uspjeli da se razočaraju u velike podatke, drugi - naprotiv, maksimalno ih iskoriste za posao... Svježi analitički pregled domaćeg i globalnog tržišta velikih podataka, koji je pripremila Moskovska berza u saradnji sa analitičarima IPOboard , pokazuje koji su trendovi sada najrelevantniji na tržištu... Nadamo se da će informacije biti zanimljive i korisne.
ŠTA JE VELIKI PODACI?
Ključne karakteristike
Veliki podaci danas su jedan od ključnih pokretača razvoja informacionih tehnologija. Ovaj pravac, relativno nov za rusko poslovanje, postao je široko rasprostranjen u zapadnim zemljama. To je zbog činjenice da se u eri informatičke tehnologije, posebno nakon procvata društvenih mreža, počela akumulirati značajna količina informacija za svakog korisnika interneta, što je u konačnici dalo razvoj Big Data smjera.Izraz "Big Data" izaziva mnogo kontroverzi, mnogi smatraju da samo označava količinu akumuliranih informacija, ali ne zaboravite na tehničku stranu, ovo područje uključuje tehnologije skladištenja podataka, računarstvo, kao i usluge.
Treba napomenuti da ovo područje uključuje obradu velike količine informacija, koje je teško obraditi tradicionalnim metodama *.
Ispod je uporedna tabela tradicionalne i velike baze podataka. 
Sferu velikih podataka karakteriziraju sljedeće karakteristike:
Volume
- volumen akumulirane baze podataka je velika količina informacija koje je teško obraditi i pohraniti na tradicionalne načine, zahtijevaju novi pristup i poboljšane alate.
Brzina
- brzina, ovaj znak ukazuje i na sve veću brzinu akumulacije podataka (90% informacija je prikupljeno u posljednje 2 godine), i na brzinu obrade podataka, u posljednje vrijeme tehnologije obrade podataka u realnom vremenu postaju sve traženije.
Raznolikost
- raznolikost, tj. mogućnost istovremene obrade strukturiranih i nestrukturiranih višeformatnih informacija. Glavna razlika između strukturiranih informacija je u tome što se one mogu klasificirati. Primjer takve informacije bi bile informacije o transakcijama kupaca.
Nestrukturirane informacije uključuju video, audio datoteke, slobodan tekst, informacije koje dolaze sa društvenih mreža. Danas je 80% informacija uključeno u nestrukturisanu grupu. Ove informacije trebaju kompleksnu analizu kako bi bile korisne za dalju obradu.
Veracity
- pouzdanosti podataka, korisnici su počeli pridavati sve veći značaj pouzdanosti dostupnih podataka. Na primjer, internet kompanije imaju problem razdvajanja radnji koje obavlja robot i osoba na web stranici kompanije, što u konačnici dovodi do poteškoća u analizi podataka.
Vrijednost
- vrijednost akumuliranih informacija. Veliki podaci bi trebali biti korisni za kompaniju i donijeti joj određenu vrijednost. Na primjer, pomoć u poboljšanju poslovnih procesa, izvještavanju ili optimizaciji troškova.
Ako je ispunjeno gornjih 5 uslova, akumulirani volumeni podataka mogu se klasificirati kao veliki.
Područja primjene velikih podataka
Sfera korištenja Big Data tehnologija je ogromna. Dakle, uz pomoć Big Data možete saznati o preferencijama kupaca, učinkovitosti marketinških kampanja ili provesti analizu rizika. U nastavku su rezultati istraživanja IBM Instituta o korištenju Big Data u kompanijama.
Kao što možete vidjeti iz dijagrama, većina kompanija koristi Big Data u oblasti korisničkog servisa, druga najpopularnija oblast je operativna efikasnost, u oblasti upravljanja rizicima Big Data je trenutno rjeđi.
Takođe treba napomenuti da su Big Data jedna od najbrže rastućih oblasti informacionih tehnologija, prema statistici, ukupna količina primljenih i pohranjenih podataka se udvostručuje svake 1,2 godine.
Između 2012. i 2014. godine, količina podataka koji se mjesečno prenose mobilnim mrežama porasla je za 81%. Prema procjenama Cisco-a, u 2014. obim mobilnog saobraćaja iznosio je 2,5 eksabajta (mjerna jedinica za količinu informacija jednaka 10 ^ 18 standardnih bajtova) mjesečno, a već u 2019. iznosit će 24,3 eksabajta.
Dakle, Big Data je već uhodana tehnološka oblast, iako je relativno mlada, koja je postala široko rasprostranjena u mnogim oblastima poslovanja i igra važnu ulogu u razvoju kompanija.
Big Data Technologies
Tehnologije koje se koriste za prikupljanje i obradu velikih podataka mogu se podijeliti u 3 grupe:- softver;
- Oprema;
- Servisne usluge.
Najčešći pristupi obradi podataka (softverski) uključuju:
SQL
- strukturirani jezik upita koji vam omogućava rad sa bazama podataka. Uz pomoć SQL-a možete kreirati i modificirati podatke, a odgovarajući sistem upravljanja bazom podataka se bavi upravljanjem skupom podataka.
NoSQL
- izraz označava Ne samo SQL (ne samo SQL). Uključuje niz pristupa usmjerenih na implementaciju baze podataka koji se razlikuju od modela koji se koriste u tradicionalnim, relacijskim DBMS-ima. Pogodni su za korištenje kada se struktura podataka stalno mijenja. Na primjer, za prikupljanje i pohranjivanje informacija na društvenim mrežama.
MapReduce
- model distribucije proračuna. Koristi se za paralelno računanje na vrlo velikim skupovima podataka (petabajta * ili više). U programskom interfejsu ne prenose se podaci u program na obradu, već se program prenosi u podatke. Stoga je zahtjev poseban program. Princip rada se sastoji u sekvencijalnoj obradi podataka pomoću dvije metode Map i Reduce. Mapa preuzima preliminarne podatke, Reduce ih agregira.
Hadoop
- koristi se za implementaciju mehanizama pretraživanja i konteksta visoko opterećenih lokacija - Facebook, eBay, Amazon, itd. Posebnost je da je sistem zaštićen od kvara bilo kojeg od čvorova klastera, budući da svaki blok ima barem jednu kopiju podatke na drugom čvoru.
SAP HANA
To je NewSQL platforma visokih performansi za skladištenje i obradu podataka. Omogućava veliku brzinu obrade zahtjeva. Još jedna karakteristična karakteristika je da SAP HANA pojednostavljuje sistemski pejzaž smanjujući troškove podrške analitičkim sistemima.
Tehnološka oprema uključuje:
- serveri;
- infrastrukturna oprema.
Infrastrukturna oprema uključuje akceleratore platforme, besprekidna napajanja, setove serverske konzole, itd.
Servisne usluge.
Usluge obuhvataju usluge izgradnje arhitekture sistema baze podataka, uređenje i optimizaciju infrastrukture, te osiguranje sigurnosti skladištenja podataka.
Softver, hardver i usluge zajedno čine složene platforme za skladištenje i analizu podataka. Kompanije kao što su Microsoft, HP, EMC nude usluge za razvoj, implementaciju i upravljanje velikim podacima.
Primjena u industriji
Veliki podaci su postali široko rasprostranjeni u mnogim industrijama. Koriste se u zdravstvu, telekomunikacijama, trgovini, logistici, finansijskim kompanijama i vladi.Ispod su neki primjeri aplikacija Big Data u nekim industrijama.
Maloprodaja
U bazama podataka maloprodajnih objekata može se akumulirati mnogo informacija o kupcima, sistemu upravljanja zalihama i ponudi tržišnih proizvoda. Ove informacije mogu biti korisne u svim dijelovima trgovina.
Dakle, uz pomoć akumuliranih informacija možete upravljati opskrbom robe, njihovim skladištenjem i prodajom. Na osnovu prikupljenih informacija moguće je predvidjeti potražnju i ponudu robe. Također, sistem za obradu i analizu podataka može riješiti i druge probleme trgovca, na primjer, optimizirati troškove ili pripremiti izvještaje.
Finansijske usluge
Big Data omogućava analizu kreditne sposobnosti zajmoprimca, a koristan je i za kreditno skoring * i osiguranje **. Uvođenje Big Data tehnologija će smanjiti vrijeme za razmatranje zahtjeva za kredit. Uz pomoć Big Data možete analizirati transakcije određenog klijenta i ponuditi bankarske usluge koje mu odgovaraju.
Telekom
U industriji telekomunikacija, mobilni operateri naširoko koriste Big Data.
Mobilni operateri, uz finansijske institucije, imaju jednu od najobimnijih baza podataka, što im omogućava da izvrše najdublju analizu akumuliranih informacija.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinile, kompanije segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika.
Osim korištenja velikih podataka u marketinške svrhe, tehnologije se koriste za sprječavanje lažnih finansijskih transakcija.
Rudarska i naftna industrija
Big Data se koristi u rudarstvu i obradi i marketingu. Na osnovu dobijenih informacija, preduzeća mogu doneti zaključke o efikasnosti razvoja polja, pratiti raspored remonta i stanje opreme, predvideti potražnju za proizvodima i cene.
Prema istraživanju Tech Pro Research-a, veliki podaci su najzastupljeniji u telekomunikacijskoj industriji, kao iu inženjeringu, IT, finansijskim i državnim preduzećima. Prema rezultatima ovog istraživanja, veliki podaci su manje popularni u obrazovanju i zdravstvu. Rezultati ankete su predstavljeni u nastavku:
Primjeri korištenja Big Data u kompanijama
Danas se Big Data aktivno implementira u stranim kompanijama. Kompanije kao što su Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix već koriste Big Data.Područja primjene obrađenih informacija su raznolika i variraju u zavisnosti od industrije i zadataka koji se obavljaju.
Biće predstavljeni dalji primeri primene Big Data tehnologija u praksi.
HSBC koristi Big Data tehnologije za borbu protiv lažnih transakcija sa plastičnim karticama. Uz pomoć Big Data, kompanija je povećala efikasnost službe sigurnosti 3 puta, a otkrivanje lažnih incidenata - 10 puta. Ekonomski efekat od uvođenja ovih tehnologija premašio je 10 miliona dolara.
Antifraud * VISA omogućava automatsko izračunavanje lažnih transakcija, sistem trenutno pomaže u sprečavanju lažnih plaćanja u iznosu od 2 milijarde USD godišnje.
Superkompjuter Watson Company IBM analizira tok podataka o monetarnim transakcijama u realnom vremenu. Prema IBM-u, Watson je povećao broj otkrivenih lažnih transakcija za 15%, smanjio lažne pozitivne rezultate za 50% i povećao iznos sredstava zaštićenih od takvih transakcija za 60%.
Procter & Gamble
uz pomoć Big Data dizajniraju nove proizvode i sastavljaju globalne marketinške kampanje. P&G je uspostavio namenske kancelarije za poslovne sfere u kojima se informacije mogu pregledati u realnom vremenu.
Tako je menadžment kompanije bio u mogućnosti da trenutno testira hipoteze i sprovede eksperimente. P&G vjeruje da Big Data pomaže u predviđanju performansi kompanije.
Prodavac kancelarijskog materijala OfficeMax koristeći Big Data tehnologije, analiziraju ponašanje kupaca. Analiza velikih podataka omogućila nam je povećanje B2B prihoda za 13% i smanjenje troškova za 400.000 USD godišnje.
Po mišljenju Caterpillar , njegovi distributeri gube 9 do 18 milijardi dolara godišnje profita samo zato što ne implementiraju Big Data tehnologije. Big Data bi omogućio kupcima da efikasnije upravljaju svojim voznim parkom analizirajući informacije koje dolaze od senzora instaliranih na automobilima.
Danas je već moguće analizirati stanje ključnih komponenti, njihov stepen istrošenosti, upravljati troškovima goriva i održavanja.
Luxottica group je proizvođač sportskih naočara kao što su Ray-Ban, Persol i Oakley. Kompanija koristi Big Data tehnologije za analizu ponašanja potencijalnih kupaca i "pametni" SMS marketing. Kao rezultat toga, Big Data Luxottica grupa je izdvojila više od 100 miliona najvrednijih kupaca i povećala efikasnost marketinške kampanje za 10%.
Uz pomoć Yandex Data Factory, programeri igara Svijet tenkova analizirati ponašanje igrača. Big Data tehnologije su omogućile analizu ponašanja 100 hiljada igrača World of Tanks koristeći više od 100 parametara (informacije o kupovini, igricama, iskustvu itd.). Kao rezultat analize dobijena je prognoza odljeva korisnika. Ove informacije vam omogućavaju da smanjite napuštanje korisnika i da ciljano radite sa učesnicima igre. Pokazalo se da je razvijeni model 20-30% efikasniji od standardnih alata za analizu industrije igara.
njemačko ministarstvo rada koristi Big Data u svom radu koji se odnosi na analizu pristiglih zahtjeva za izdavanje naknade za nezaposlene. Dakle, nakon analize informacija, postalo je jasno da je 20% naknada isplaćeno nezasluženo. Ministarstvo rada je uz pomoć Big Data smanjilo troškove za 10 milijardi eura.
Dječija bolnica Toronto implementirao projekat Artemis. To je informacioni sistem koji prikuplja i analizira podatke o bebama u realnom vremenu. Sistem svake sekunde prati 1260 indikatora stanja svakog djeteta. Projekt Artemis omogućava predviđanje nestabilnog stanja djeteta i početak prevencije bolesti kod djece.
PREGLED GLOBALNOG TRŽIŠTA BIG PODATAKA
Trenutno stanje na svjetskom tržištu
U 2014. godini, Big Data je, prema Data Collectiveu, postao jedno od prioritetnih područja ulaganja u industriju rizičnog kapitala. Kako navodi informativni portal Computerra, to je zbog činjenice da je razvoj u ovoj oblasti počeo da donosi značajne rezultate za svoje korisnike. U protekloj godini broj kompanija sa realizovanim projektima u oblasti upravljanja velikim podacima povećan je za 125%, a obim tržišta je porastao za 45% u odnosu na 2013.
Većinu prihoda tržišta velikih podataka, prema Wikibonu, u 2014. godini činile su usluge, njihov udio je bio jednak 40% ukupnog prihoda (vidi dijagram ispod):
Ako uzmemo u obzir Big Data za 2014. po podtipovima, onda će tržište izgledati ovako:
Prema Wikibonu, aplikacije i analitika čine 36% prihoda Big Data u 2014. godini dolazi od Big Data aplikacija i analitike, 17% od računarske opreme i 15% od tehnologija za skladištenje podataka. Najmanje prihoda ostvarile su NoSQL tehnologije, infrastrukturna oprema i obezbjeđivanje mreže kompanija (korporativne mreže).
Najpopularnije Big Data tehnologije su in-memory platforme SAP, HANA, Oracle itd. Rezultati istraživanja T-Systems pokazali su da ih je odabralo 30% anketiranih kompanija. Druge po popularnosti bile su NoSQL platforme (18% korisnika), kompanije su koristile i analitičke platforme Splunk i Dell, izabralo ih je 15% kompanija. Najmanje korisni za rješavanje problema velikih podataka, prema rezultatima ankete, bili su Hadoop/MapReduce proizvodi.
Prema istraživanju Accenture, više od 50% kompanija koje koriste Big Data tehnologije troše 21% do 30% na Big Data.
Prema sljedećoj analizi Accenturea, 76% kompanija vjeruje da će se ovi troškovi povećati u 2015. godini, a 24% kompanija neće mijenjati budžet za Big Data tehnologije. To sugerira da je u ovim kompanijama Big Data već postao ustaljeni pravac IT-a, koji je postao sastavni dio razvoja kompanije.
Rezultati istraživanja Economist Intelligence Unit potvrđuju pozitivan efekat implementacije Big Data. 46% kompanija kaže da je poboljšalo uslugu korisnicima za više od 10% koristeći Big Data tehnologije, 33% kompanija je optimizovalo zalihe i poboljšalo produktivnost osnovnih sredstava, 32% kompanija je unapredilo procese planiranja.
Veliki podaci širom svijeta
Danas se Big Data tehnologije najčešće implementiraju u američkim kompanijama, ali i sada su druge zemlje svijeta počele pokazivati interesovanje. U 2014. godini, prema IDC-u, zemlje Evrope, Bliskog istoka, Azije (bez Japana) i Afrike činile su 45% tržišta softvera, usluga i opreme u oblasti velikih podataka.Također, prema istraživanju CIO-a, kompanije iz azijsko-pacifičke regije ubrzano usvajaju nova rješenja u oblasti analize velikih podataka, sigurnog skladištenja i cloud tehnologija. Latinska Amerika je na drugom mjestu po visini ulaganja u razvoj Big Data tehnologija, ispred zemalja Evrope i Sjedinjenih Država.
Zatim će biti predstavljen opis i prognoze razvoja tržišta velikih podataka u nekoliko zemalja.
kina
Količina informacija u Kini iznosi 909 eksabajta, što je jednako 10% ukupne količine informacija u svijetu, do 2020. godine količina informacija će dostići 8060 eksabajta, a povećat će se i udio informacija u globalnoj statistici, u 5 godina će biti 18%. Potencijalni rast kineskog Big Data ima jednu od najbrže rastućih dinamika.
Brazil
Krajem 2014. Brazil je akumulirao 212 eksabajta informacija, što je 3% globalnog obima. Do 2020. obim informacija će porasti na 1.600 eksabajta, ili 4% svjetskih informacija.
Indija
Prema EMC-u, obim akumuliranih podataka u Indiji na kraju 2014. je 326 eksabajta, što je 5% ukupnog obima informacija. Do 2020. obim informacija će porasti na 2.800 eksabajta, ili 6% informacija u cijelom svijetu.
Japan
Količina akumuliranih podataka u Japanu na kraju 2014. godine iznosi 495 eksabajta, što je 8% ukupne količine informacija. Do 2020. obim informacija će porasti na 2.200 eksabajta, ali će se tržišni udio Japana smanjiti na 5% ukupne količine informacija u cijelom svijetu.
Tako će se veličina japanskog tržišta smanjiti za više od 30%.
Njemačka
Prema podacima EMC-a, obim akumuliranih podataka u Njemačkoj na kraju 2014. godine iznosi 230 eksabajta, što je 4% ukupne količine informacija u svijetu. Do 2020. obim informacija će porasti na 1.100 eksabajta ili 2%.
Na njemačkom tržištu veliki udio prihoda, prema prognozama Experton grupe, ostvarit će segment usluga, čiji će udio u 2015. biti 54%, au 2019. porast će na 59%, udio softvera a hardver će se, naprotiv, smanjiti.
Sveukupno, tržište će porasti sa 1,345 milijardi eura u 2015. na 3,198 milijardi eura u 2019., uz prosječnu stopu rasta od 24%.
Dakle, na osnovu CIO i EMC analitike, može se zaključiti da će zemlje u razvoju svijeta u narednim godinama postati tržišta za aktivan razvoj Big Data tehnologija.
Glavni tržišni trendovi
Prema podacima IDG Enterprise-a, u 2015. potrošnja kompanija na Big Data iznosiće u prosjeku 7,4 miliona dolara po kompaniji, velike kompanije namjeravaju potrošiti oko 13,8 miliona dolara, mala i srednja preduzeća 1,6 miliona dolara.Najviše će biti uloženo u oblasti kao što su analiza podataka i vizualizacija i prikupljanje podataka.
U skladu sa trenutnim trendovima i potražnjom tržišta, ulaganja u 2015. godini će se iskoristiti za poboljšanje kvaliteta podataka, poboljšanje planiranja i predviđanja, te povećanje brzine obrade podataka.
Kompanije u finansijskom sektoru će, prema Bain Company’s Insights Analysis, izvršiti značajna ulaganja, tako da je u 2015. planirano da se potroši 6,4 milijarde dolara na Big Data tehnologije, a prosječna stopa rasta investicija će biti 22% do 2020. godine. Internet kompanije planiraju da potroše 2,8 milijardi dolara, sa prosječnom stopom rasta od 26% za Big Data potrošnju.
Prilikom sprovođenja istraživanja koje je sprovela anketa Economist Intelligence Unit, identifikovani su prioritetni pravci razvoja velikih podataka u 2014. godini iu naredne 3 godine, distribucija odgovora je sledeća:
Prema prognozama IDC-a, tržišni trendovi su sljedeći:
- U sljedećih 5 godina cijena rješenja u oblaku u oblasti Big Data tehnologija će rasti 3 puta brže od cijene lokalnih rješenja. Hibridne platforme za skladištenje će biti tražene.
- Rast aplikacija koje koriste složenu i prediktivnu analitiku, uključujući strojno učenje, ubrzat će se u 2015. godini, tržište takvih aplikacija će rasti 65% brže od aplikacija koje ne koriste prediktivnu analitiku.
- Medijska analitika će se utrostručiti u 2015. i postat će ključni pokretač rasta za tržište tehnologije Big Data.
- Trend će se ubrzati za implementaciju rješenja za analizu kontinuiranog protoka informacija koji je primjenjiv na Internet stvari.
- Do 2018. 50% korisnika će komunicirati sa kognitivnim računarskim uslugama.
Tržišni pokretači i ograničavači
Stručnjaci IDC-a identifikovali su 3 pokretača tržišta velikih podataka u 2015. godini:Prema istraživanju Accenture-a, pitanja sigurnosti podataka su sada glavna prepreka implementaciji Big Data tehnologija, pri čemu je više od 51% ispitanika potvrdilo da su zabrinuti za osiguranje zaštite i povjerljivosti podataka. 47% kompanija je izjavilo da je nemoguće implementirati Big Data zbog ograničenog budžeta, 41% kompanija je kao problem navelo nedostatak kvalifikovanog osoblja.
Wikibon predviđa da će veličina tržišta velikih podataka porasti na 38,4 milijarde dolara u 2015. godini i da će porasti za 36% u odnosu na prethodnu godinu. U narednim godinama doći će do pada stopa rasta na 10% u 2017. Na osnovu ovih predviđanja, veličina tržišta će u 2020. biti jednaka 68,7 milijardi dolara.
Distribucija globalnog tržišta velikih podataka po poslovnim kategorijama će izgledati ovako:
Kao što možete vidjeti iz dijagrama, najveći dio tržišta će zauzeti tehnologije iz oblasti poboljšanja korisničkog servisa. Point marketing će biti na drugom mjestu po prioritetu među kompanijama do 2019. godine, a 2020. će, prema prognozi Heavy Readinga, ustupiti mjesto rješenjima za poboljšanje operativne efikasnosti.
Najveću stopu rasta imat će i segment „unapređenje usluga za korisnike“, povećanje od 49% na godišnjem nivou.
Prognoza tržišta za podtipove Big Data će izgledati ovako:
Dominantan tržišni udio, kao što se vidi iz dijagrama, zauzimaju profesionalne usluge; aplikacije sa analitikom će imati najveću stopu rasta, njihov udio će porasti sa sadašnjih 12% na 18% u 2020. godini, a obim ovog segmenta će biti jednak 12,3 milijarde USD, udio računarske opreme će, naprotiv, pasti sa 20% na 14% i iznosit će oko 9,3 milijarde dolara u 2020. godini, tržište cloud tehnologije će se postepeno povećavati i 2020. dostići će 6,3 milijarde, tržišni udio rješenja za pohranu podataka, naprotiv, smanjit će se sa 15% u 2014. na 13% u 2020. godini i u monetarnom smislu iznositi 8,9 milijardi dolara.
Prema prognozi Bain & Company's Insights Analysis, distribucija tržišta velikih podataka po industrijama u 2020. će izgledati ovako:
- Finansijska industrija će potrošiti 6,4 milijarde dolara na velike podatke sa prosječnom stopom rasta od 22% godišnje;
- Internet kompanije će potrošiti 2,8 milijardi dolara i prosječnu stopu rasta troškova od 26% u narednih 5 godina;
- Troškovi javnog sektora biće srazmerni troškovima internet kompanija, ali će stopa rasta biti niža - 22%;
- Sektor telekomunikacija će rasti po prosječnoj stopi rasta od 40% kako bi dostigao 1,2 milijarde USD u 2020. godini;
Komunalne kompanije će u ove tehnologije uložiti relativno mali iznos od 800 miliona američkih dolara, ali će stopa rasta biti jedna od najvećih od 54% godišnje.
Tako će veliki udio na tržištu velikih podataka u 2020. godini zauzimati kompanije u finansijskoj industriji, a najbrže rastući sektor biće energetika.
Prema prognozama analitičara, ukupni obim tržišta će se povećati u narednim godinama. Rast tržišta će biti osiguran uvođenjem Big Data tehnologija u zemljama u razvoju svijeta, što se može vidjeti iz grafikona ispod.
Predviđena veličina tržišta zavisiće od toga kako zemlje u razvoju percipiraju Big Data tehnologije, da li su popularne kao u razvijenim zemljama. U 2014. na zemlje u razvoju svijeta otpada 40% akumuliranih informacija. EMC predviđa da će se trenutna struktura tržišta, u kojoj dominiraju razvijene zemlje, promijeniti u 2017. godini. Prema analitičarima EMC-a, 2020. godine udio zemalja u razvoju će biti preko 60%.
Prema Cisco-u i EMC-u, zemlje u razvoju svijeta će biti prilično aktivne u radu sa velikim podacima, uglavnom zbog dostupnosti tehnologija i akumulacije dovoljne količine informacija do nivoa velikih podataka. Mapa svijeta na sljedećoj stranici će pokazati prognozu povećanja obima i stope rasta Big Data po regijama.
ANALIZA RUSKOG TRŽIŠTA
Trenutno stanje na ruskom tržištu
Prema studiji CNews Analytics i Oraclea, nivo zrelosti ruskog tržišta velikih podataka porastao je u protekloj godini. Ispitanici iz 108 velikih preduzeća iz širokog spektra industrija pokazali su veći stepen svijesti o ovim tehnologijama, kao i utvrđeno razumijevanje potencijala ovakvih rješenja za njihovo poslovanje.
Od 2014. godine, prema IDC-u, u Rusiji je akumulirano 155 eksabajta informacija, što je samo 1,8% svjetskih podataka. Količina informacija do 2020. dostići će 980 eksabajta i zauzimat će 2,2%. Tako će prosječna stopa rasta obima informacija iznositi 36% godišnje.
IDC procjenjuje rusko tržište na 340 miliona dolara, od čega su 100 miliona dolara SAP rješenja, oko 240 miliona su slična rješenja Oraclea, IBM-a, SAS-a, Microsofta itd.
Stopa rasta ruskog tržišta velikih podataka nije manja od 50% godišnje.
Predviđa se da će se pozitivna dinamika nastaviti u ovom sektoru ruskog IT tržišta, čak iu kontekstu opšte stagnacije privrede. To je zbog činjenice da su preduzeća i dalje tražena za rješenjima koja poboljšavaju operativnu efikasnost, kao i optimiziraju troškove, poboljšavaju preciznost predviđanja i minimiziraju moguće rizike kompanije.
Glavni provajderi Big Data usluga na ruskom tržištu su:
- Oracle
- Microsoft
- Cloudera
- Hortonworks
- Teradata.
Pregled tržišta po djelatnostima i iskustvo korištenja Big Data u kompanijama
Prema CNews-u, u Rusiji je samo 10% kompanija počelo da koristi Big Data tehnologije, dok je udio takvih kompanija u svijetu oko 30%. Spremnost za Big Data projekte raste u mnogim sektorima ruske ekonomije, navodi se u izvještaju CNews Analytics i Oraclea. Više od trećine ispitanih kompanija (37%) počelo je raditi s Big Data tehnologijama, među kojima 20% već koristi takva rješenja, a 17% počinje eksperimentirati s njima. Druga trećina ispitanika trenutno razmatra ovu mogućnost.
U Rusiji su Big Data tehnologije popularnije u bankarskom sektoru i telekomunikacijama, ali su takođe tražene u rudarskoj industriji, energetici, maloprodaji, logističkim kompanijama i javnom sektoru.
U nastavku ćemo razmotriti primjere primjene Big Data u ruskoj stvarnosti.
Telekom
Telekom operateri imaju jednu od najobimnijih baza podataka, što im omogućava da izvrše najdublju analizu akumuliranih informacija.
Jedno od područja primjene Big Data tehnologije je upravljanje lojalnošću pretplatnika.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinile, kompanije segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika. Osim korištenja informacija u marketinške svrhe, telekom tehnologije se koriste za sprječavanje lažnih finansijskih transakcija.
VimpelCom je jedan od upečatljivih primjera ove industrije. Kompanija koristi Big Data za poboljšanje kvaliteta usluge na nivou svakog pretplatnika, pripremu izvještaja, analizu podataka za razvoj mreže, borbu protiv neželjene pošte i personalizaciju usluga.
Banke
Značajan dio korisnika Big Data su stručnjaci iz finansijske industrije. Jedan od uspješnih eksperimenata izveden je u Uralskoj banci za obnovu i razvoj, gdje je baza podataka korištena za analizu klijenata, banka je počela nuditi specijalizirane ponude za kredite, depozite i druge usluge. Tokom godine korišćenja ovih tehnologija, kreditni portfolio kompanije je porastao za 55%.
Alfa-Bank analizira informacije sa društvenih mreža, obrađuje kreditne zahtjeve i analizira ponašanje korisnika web stranice kompanije.
Sberbank je takođe počela da obrađuje ogromnu količinu podataka kako bi segmentirala klijente, sprečila lažne aktivnosti, unakrsnu prodaju i upravljala rizikom. U budućnosti se planira unapređenje usluge i analiza akcija korisnika u realnom vremenu.
Sveruska regionalna razvojna banka analizira ponašanje vlasnika plastičnih kartica. To omogućava identifikaciju transakcija koje su netipične za određenog klijenta, čime se povećava vjerovatnoća otkrivanja krađe sredstava sa plastičnih kartica.
Maloprodaja
U Rusiji su tehnologije Big Data implementirale i kompanije za trgovinu na mreži i van mreže. Danas, prema CNews Analytics, velike podatke koristi 20% trgovaca. 75% trgovaca vjeruje da su Big Data neophodni za razvoj konkurentske marketinške strategije. Prema Hadoop statistici, nakon implementacije Big Data tehnologije, profit u trgovinskim organizacijama raste za 7-10%.
Stručnjaci M.Videoa govore o poboljšanju logističkog planiranja nakon implementacije SAP HANA, a kao rezultat njegove implementacije, izrada godišnjih izvještaja je smanjena sa 10 dana na 3 dana, brzina dnevnog preuzimanja podataka smanjena je sa 3 sati do 30 minuta.
Wikimart koristi ove tehnologije za generiranje preporuka za posjetitelje web stranice.
Jedna od prvih oflajn prodavnica koja je uvela analizu velikih podataka u Rusiji bila je Lenta. Uz pomoć Big Data, maloprodaja je počela proučavati informacije o kupcima iz blagajničkih računa. Prodavac prikuplja informacije kako bi generirao modele ponašanja, koji im omogućavaju da donose bolje informisane odluke na operativnom i poslovnom nivou.
Industrija nafte i gasa
U ovoj industriji, opseg primjene Big Data je prilično širok. Big Data tehnologije se mogu primijeniti u vađenju minerala iz podzemlja. Uz njihovu pomoć možete analizirati sam proces proizvodnje i najefikasnije načine za njegovo izdvajanje, pratiti proces bušenja, analizirati kvalitet sirovina, kao i preradu i plasman finalnog proizvoda. U Rusiji su Transnjeft i Rosnjeft već počeli da koriste ove tehnologije.
Državni organi
Zemlje poput Njemačke, Australije, Španije, Japana, Brazila i Pakistana koriste Big Data tehnologije za rješavanje nacionalnih problema. Ove tehnologije pomažu državnim organima da efikasnije pružaju usluge stanovništvu, pružaju ciljanu socijalnu podršku.
U Rusiji su ove tehnologije počela savladavati takva državna tijela kao što su Penzioni fond, Federalna porezna služba i Fond obaveznog zdravstvenog osiguranja. Potencijal za implementaciju projekata koji koriste Big Data je veliki, ove tehnologije bi mogle pomoći u poboljšanju kvaliteta usluga i, kao rezultat, životnog standarda stanovništva.
Logistika i transport
Big Data mogu koristiti i transportne kompanije. Uz pomoć Big Data tehnologija moguće je pratiti parkiralište, uzimati u obzir troškove goriva i pratiti zahtjeve kupaca.
Ruske željeznice implementirale su Big Data tehnologije zajedno sa SAP-om. Ove tehnologije su pomogle da se period izveštavanja smanji za 43,5 puta (sa 14,5 sati na 20 minuta) i da se poboljša tačnost alokacije troškova za 40 puta. Takođe, Big Data je uveden u procese planiranja i regulacije tarifa. Ukupno, kompanije koriste više od 300 sistema baziranih na SAP rješenjima, uključena su 4 data centra, a broj korisnika je 220.000.
Glavni pokretači i tržišna ograničenja
Pokretači razvoja Big Data tehnologija na ruskom tržištu su:- Povećano interesovanje korisnika za mogućnosti Big Data kao načina za povećanje konkurentnosti kompanije;
- Razvoj metoda za obradu medijskih datoteka na globalnom nivou;
- Prenos servera koji obrađuju lične podatke na teritoriju Rusije, u skladu sa usvojenim zakonom o čuvanju i obradi ličnih podataka;
- Implementacija sektorskog plana za zamjenu uvoza softvera. Ovaj plan uključuje državnu podršku domaćim proizvođačima softvera, kao i davanje preferencija za domaće IT proizvode pri kupovini o državnom trošku.
- U novoj ekonomskoj situaciji, kada se kurs dolara skoro udvostručio, postojaće trend sve više korišćenja usluga ruskih provajdera u oblaku nego stranih.
- Stvaranje tehnoparkova koji doprinose razvoju tržišta informacionih tehnologija, uključujući tržište velikih podataka;
- Državni program za implementaciju grid sistema, koji se zasnivaju na Big Data tehnologijama.
Glavne prepreke razvoju velikih podataka na ruskom tržištu su:
- Osiguravanje sigurnosti i povjerljivosti podataka;
- Nedostatak kvalifikovanog osoblja;
- Nedostatak akumuliranih informacionih resursa do nivoa velikih podataka u većini ruskih kompanija;
- Poteškoće u uvođenju novih tehnologija u uspostavljene informacione sisteme preduzeća;
- Visoki troškovi Big Data tehnologija, što dovodi do ograničenog broja preduzeća koja su u mogućnosti da implementiraju ove tehnologije;
- Politička i ekonomska neizvjesnost koja je dovela do odliva kapitala i zamrzavanja investicionih projekata u Rusiji;
- Rast cijena uvoznih proizvoda i porast inflacije, prema IDC-u, usporavaju razvoj cjelokupnog IT tržišta.
Prognoza ruskog tržišta
Rusko tržište velikih podataka od danas nije toliko popularno kao u razvijenim zemljama. Većina ruskih kompanija pokazuje interesovanje za to, ali se ne usuđuje da iskoristi svoje mogućnosti.Primjeri velikih kompanija koje su već imale koristi od Big Data tehnologija podižu svijest o moći ovih tehnologija.
Analitičari su takođe prilično optimistični u pogledu ruskog tržišta. IDC vjeruje da će se ruski tržišni udio povećati u narednih 5 godina, za razliku od tržišta u Njemačkoj i Japanu.
Do 2020. obim velikih podataka u Rusiji će porasti sa sadašnjih 1,8% na 2,2% globalnog obima podataka. Količina informacija će porasti, prema EMC-u, sa sadašnjih 155 eksabajta na 980 eksabajta u 2020.
Trenutno Rusija nastavlja da akumulira količinu informacija do nivoa velikih podataka.
Prema anketi CNews Analytics, 44% anketiranih kompanija radi sa podacima ne većim od 100 terabajta*, a samo 13% radi sa volumenima većim od 500 terabajta.
Ipak, rusko tržište će, prateći svjetske trendove, rasti. Od 2014. IDC procjenjuje veličinu tržišta na 340 miliona dolara.
Stopa rasta tržišta prethodnih godina bila je 50% godišnje, ako ostane na istom nivou, onda će u 2018. obim tržišta dostići 1,7 milijardi dolara. Udeo ruskog tržišta na svetskom tržištu iznosiće oko 3%, sa povećanjem sa sadašnjih 1,2%.
Industrije koje su najosjetljivije na korištenje velikih podataka u Rusiji su:
- Maloprodaji i bankama, za njih je, prije svega, važna analiza baze klijenata, procjena efekta marketinških kampanja;
- Telekom - segmentacija baze korisnika i monetizacija prometa;
- Javni sektor - računovodstvo, analiza prijava stanovništva i dr.;
- Naftne kompanije - praćenje rada i planiranje proizvodnje i prodaje;
- Energetske kompanije - stvaranje inteligentnih elektroenergetskih sistema, operativni nadzor i predviđanje.
U Rusiji, ali i u svijetu, u bliskoj budućnosti će se pojaviti trend vizualizacije podataka, analize medijskih datoteka i razvoja interneta stvari.
Uprkos opštoj stagnaciji privrede, analitičari predviđaju dalji rast Big Data tržišta u narednim godinama, prvenstveno zbog činjenice da korišćenje Big Data tehnologija svojim korisnicima daje konkurentsku prednost u smislu povećanja operativne efikasnosti poslovanja. , privlačenje dodatnih kupaca, minimiziranje rizika i implementacija tehnologija predviđanja podataka.
Dakle, možemo zaključiti da je segment Big Data u Rusiji u fazi formiranja, ali potražnja za ovim tehnologijama raste svake godine.
Ključni rezultati analize tržišta
Svjetsko tržište
Na kraju 2014. godine tržište velikih podataka karakteriziraju sljedeći parametri:- veličina tržišta iznosila je 28,5 milijardi dolara, što je povećanje od 45% u odnosu na prethodnu godinu;
- najveći dio prihoda tržišta velikih podataka čine usluge, njihov udio je bio jednak 40% u ukupnom prihodu;
- 36% prihoda došlo je od Big Data aplikacija i analitike, 17% od računarske opreme i 15% od tehnologija za skladištenje podataka;
- Najpopularnije platforme za rješavanje problema velikih podataka su in-memory platforme kompanija kao što su SAP, HANA i Oracle.
- broj kompanija sa realizovanim projektima iz oblasti upravljanja velikim podacima povećan je za 125%;
- u 2015. obim tržišta će dostići 38,4 milijarde dolara, u 2020. - 68,7 milijardi dolara;
- prosječna stopa rasta iznosiće 16% godišnje;
- prosječni troškovi kompanije za Big Data tehnologije iznosit će 13,8 miliona dolara za velike kompanije i 1,6 miliona dolara za mala i srednja preduzeća;
- tehnologije će biti najzastupljenije u oblastima usluga korisnicima i point marketinga;
- u 2017. godini globalna tržišna struktura će se promijeniti u pravcu dominacije korisničkih kompanija iz zemalja u razvoju.
Rusko tržište
Rusko tržište velikih podataka je u fazi formiranja, a rezultati u 2014. su sljedeći:- veličina tržišta dostigla je 340 miliona dolara;
- prosječna stopa rasta tržišta u prethodnim godinama iznosila je 50% godišnje;
- ukupna količina akumuliranih informacija iznosila je 155 eksabajta;
- 10% ruskih kompanija je počelo da koristi Big Data tehnologije;
- Big Data tehnologije su bile popularnije u bankarstvu, telekomunikacijama, internet kompanijama i maloprodaji.
- obim ruskog tržišta u 2015. dostići će 500 miliona dolara, au 2018. - 1,7 milijardi dolara;
- udio ruskog tržišta u svijetu iznosit će oko 3% u 2018. godini;
- količina akumuliranih podataka u 2020. godini iznosit će 980 eksabajta;
- obim podataka će porasti na 2,2% globalnog obima podataka u 2020.;
- najpopularnije tehnologije će biti vizualizacija podataka, analiza medijskih datoteka i internet stvari.
Hvala vam što ste odvojili vrijeme da pročitate ovo obimno djelo, pretplatite se na naš blog - obećavamo mnogo novih zanimljivih publikacija!
Moscow_Exchange 6. maj 2015. u 20:38
Analitički pregled tržišta velikih podataka
- blog kompanije Moskovska berza,
- Big Data
"Big Data"- tema o kojoj aktivno raspravljaju tehnološke kompanije. Neki od njih su uspjeli da se razočaraju u velike podatke, drugi - naprotiv, maksimalno ih iskoriste za posao... Svježi analitički pregled domaćeg i globalnog tržišta velikih podataka, koji je pripremila Moskovska berza u saradnji sa analitičarima IPOboard , pokazuje koji su trendovi sada najrelevantniji na tržištu... Nadamo se da će informacije biti zanimljive i korisne.
ŠTA JE VELIKI PODACI?
Ključne karakteristike
Veliki podaci danas su jedan od ključnih pokretača razvoja informacionih tehnologija. Ovaj pravac, relativno nov za rusko poslovanje, postao je široko rasprostranjen u zapadnim zemljama. To je zbog činjenice da se u eri informatičke tehnologije, posebno nakon procvata društvenih mreža, počela akumulirati značajna količina informacija za svakog korisnika interneta, što je u konačnici dalo razvoj Big Data smjera.Izraz "Big Data" izaziva mnogo kontroverzi, mnogi smatraju da samo označava količinu akumuliranih informacija, ali ne zaboravite na tehničku stranu, ovo područje uključuje tehnologije skladištenja podataka, računarstvo, kao i usluge.
Treba napomenuti da ovo područje uključuje obradu velike količine informacija, koje je teško obraditi tradicionalnim metodama *.
Ispod je uporedna tabela tradicionalne i velike baze podataka.
Sferu velikih podataka karakteriziraju sljedeće karakteristike:
Volume
- volumen akumulirane baze podataka je velika količina informacija koje je teško obraditi i pohraniti na tradicionalne načine, zahtijevaju novi pristup i poboljšane alate.
Brzina
- brzina, ovaj znak ukazuje i na sve veću brzinu akumulacije podataka (90% informacija je prikupljeno u posljednje 2 godine), i na brzinu obrade podataka, u posljednje vrijeme tehnologije obrade podataka u realnom vremenu postaju sve traženije.
Raznolikost
- raznolikost, tj. mogućnost istovremene obrade strukturiranih i nestrukturiranih višeformatnih informacija. Glavna razlika između strukturiranih informacija je u tome što se one mogu klasificirati. Primjer takve informacije bi bile informacije o transakcijama kupaca.
Nestrukturirane informacije uključuju video, audio datoteke, slobodan tekst, informacije koje dolaze sa društvenih mreža. Danas je 80% informacija uključeno u nestrukturisanu grupu. Ove informacije trebaju kompleksnu analizu kako bi bile korisne za dalju obradu.
Veracity
- pouzdanosti podataka, korisnici su počeli pridavati sve veći značaj pouzdanosti dostupnih podataka. Na primjer, internet kompanije imaju problem razdvajanja radnji koje obavlja robot i osoba na web stranici kompanije, što u konačnici dovodi do poteškoća u analizi podataka.
Vrijednost
- vrijednost akumuliranih informacija. Veliki podaci bi trebali biti korisni za kompaniju i donijeti joj određenu vrijednost. Na primjer, pomoć u poboljšanju poslovnih procesa, izvještavanju ili optimizaciji troškova.
Ako je ispunjeno gornjih 5 uslova, akumulirani volumeni podataka mogu se klasificirati kao veliki.
Područja primjene velikih podataka
Sfera korištenja Big Data tehnologija je ogromna. Dakle, uz pomoć Big Data možete saznati o preferencijama kupaca, učinkovitosti marketinških kampanja ili provesti analizu rizika. U nastavku su rezultati istraživanja IBM Instituta o korištenju Big Data u kompanijama.
Kao što možete vidjeti iz dijagrama, većina kompanija koristi Big Data u oblasti korisničkog servisa, druga najpopularnija oblast je operativna efikasnost, u oblasti upravljanja rizicima Big Data je trenutno rjeđi.
Takođe treba napomenuti da su Big Data jedna od najbrže rastućih oblasti informacionih tehnologija, prema statistici, ukupna količina primljenih i pohranjenih podataka se udvostručuje svake 1,2 godine.
Između 2012. i 2014. godine, količina podataka koji se mjesečno prenose mobilnim mrežama porasla je za 81%. Prema procjenama Cisco-a, u 2014. obim mobilnog saobraćaja iznosio je 2,5 eksabajta (mjerna jedinica za količinu informacija jednaka 10 ^ 18 standardnih bajtova) mjesečno, a već u 2019. iznosit će 24,3 eksabajta.
Dakle, Big Data je već uhodana tehnološka oblast, iako je relativno mlada, koja je postala široko rasprostranjena u mnogim oblastima poslovanja i igra važnu ulogu u razvoju kompanija.
Big Data Technologies
Tehnologije koje se koriste za prikupljanje i obradu velikih podataka mogu se podijeliti u 3 grupe:- softver;
- Oprema;
- Servisne usluge.
Najčešći pristupi obradi podataka (softverski) uključuju:
SQL
- strukturirani jezik upita koji vam omogućava rad sa bazama podataka. Uz pomoć SQL-a možete kreirati i modificirati podatke, a odgovarajući sistem upravljanja bazom podataka se bavi upravljanjem skupom podataka.
NoSQL
- izraz označava Ne samo SQL (ne samo SQL). Uključuje niz pristupa usmjerenih na implementaciju baze podataka koji se razlikuju od modela koji se koriste u tradicionalnim, relacijskim DBMS-ima. Pogodni su za korištenje kada se struktura podataka stalno mijenja. Na primjer, za prikupljanje i pohranjivanje informacija na društvenim mrežama.
MapReduce
- model distribucije proračuna. Koristi se za paralelno računanje na vrlo velikim skupovima podataka (petabajta * ili više). U programskom interfejsu ne prenose se podaci u program na obradu, već se program prenosi u podatke. Stoga je zahtjev poseban program. Princip rada se sastoji u sekvencijalnoj obradi podataka pomoću dvije metode Map i Reduce. Mapa preuzima preliminarne podatke, Reduce ih agregira.
Hadoop
- koristi se za implementaciju mehanizama pretraživanja i konteksta visoko opterećenih lokacija - Facebook, eBay, Amazon, itd. Posebnost je da je sistem zaštićen od kvara bilo kojeg od čvorova klastera, budući da svaki blok ima barem jednu kopiju podatke na drugom čvoru.
SAP HANA
To je NewSQL platforma visokih performansi za skladištenje i obradu podataka. Omogućava veliku brzinu obrade zahtjeva. Još jedna karakteristična karakteristika je da SAP HANA pojednostavljuje sistemski pejzaž smanjujući troškove podrške analitičkim sistemima.
Tehnološka oprema uključuje:
- serveri;
- infrastrukturna oprema.
Infrastrukturna oprema uključuje akceleratore platforme, besprekidna napajanja, setove serverske konzole, itd.
Servisne usluge.
Usluge obuhvataju usluge izgradnje arhitekture sistema baze podataka, uređenje i optimizaciju infrastrukture, te osiguranje sigurnosti skladištenja podataka.
Softver, hardver i usluge zajedno čine složene platforme za skladištenje i analizu podataka. Kompanije kao što su Microsoft, HP, EMC nude usluge za razvoj, implementaciju i upravljanje velikim podacima.
Primjena u industriji
Veliki podaci su postali široko rasprostranjeni u mnogim industrijama. Koriste se u zdravstvu, telekomunikacijama, trgovini, logistici, finansijskim kompanijama i vladi.Ispod su neki primjeri aplikacija Big Data u nekim industrijama.
Maloprodaja
U bazama podataka maloprodajnih objekata može se akumulirati mnogo informacija o kupcima, sistemu upravljanja zalihama i ponudi tržišnih proizvoda. Ove informacije mogu biti korisne u svim dijelovima trgovina.
Dakle, uz pomoć akumuliranih informacija možete upravljati opskrbom robe, njihovim skladištenjem i prodajom. Na osnovu prikupljenih informacija moguće je predvidjeti potražnju i ponudu robe. Također, sistem za obradu i analizu podataka može riješiti i druge probleme trgovca, na primjer, optimizirati troškove ili pripremiti izvještaje.
Finansijske usluge
Big Data omogućava analizu kreditne sposobnosti zajmoprimca, a koristan je i za kreditno skoring * i osiguranje **. Uvođenje Big Data tehnologija će smanjiti vrijeme za razmatranje zahtjeva za kredit. Uz pomoć Big Data možete analizirati transakcije određenog klijenta i ponuditi bankarske usluge koje mu odgovaraju.
Telekom
U industriji telekomunikacija, mobilni operateri naširoko koriste Big Data.
Mobilni operateri, uz finansijske institucije, imaju jednu od najobimnijih baza podataka, što im omogućava da izvrše najdublju analizu akumuliranih informacija.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinile, kompanije segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika.
Osim korištenja velikih podataka u marketinške svrhe, tehnologije se koriste za sprječavanje lažnih finansijskih transakcija.
Rudarska i naftna industrija
Big Data se koristi u rudarstvu i obradi i marketingu. Na osnovu dobijenih informacija, preduzeća mogu doneti zaključke o efikasnosti razvoja polja, pratiti raspored remonta i stanje opreme, predvideti potražnju za proizvodima i cene.
Prema istraživanju Tech Pro Research-a, veliki podaci su najzastupljeniji u telekomunikacijskoj industriji, kao iu inženjeringu, IT, finansijskim i državnim preduzećima. Prema rezultatima ovog istraživanja, veliki podaci su manje popularni u obrazovanju i zdravstvu. Rezultati ankete su predstavljeni u nastavku:
Primjeri korištenja Big Data u kompanijama
Danas se Big Data aktivno implementira u stranim kompanijama. Kompanije kao što su Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix već koriste Big Data.Područja primjene obrađenih informacija su raznolika i variraju u zavisnosti od industrije i zadataka koji se obavljaju.
Biće predstavljeni dalji primeri primene Big Data tehnologija u praksi.
HSBC koristi Big Data tehnologije za borbu protiv lažnih transakcija sa plastičnim karticama. Uz pomoć Big Data, kompanija je povećala efikasnost službe sigurnosti 3 puta, a otkrivanje lažnih incidenata - 10 puta. Ekonomski efekat od uvođenja ovih tehnologija premašio je 10 miliona dolara.
Antifraud * VISA omogućava automatsko izračunavanje lažnih transakcija, sistem trenutno pomaže u sprečavanju lažnih plaćanja u iznosu od 2 milijarde USD godišnje.
Superkompjuter Watson Company IBM analizira tok podataka o monetarnim transakcijama u realnom vremenu. Prema IBM-u, Watson je povećao broj otkrivenih lažnih transakcija za 15%, smanjio lažne pozitivne rezultate za 50% i povećao iznos sredstava zaštićenih od takvih transakcija za 60%.
Procter & Gamble
uz pomoć Big Data dizajniraju nove proizvode i sastavljaju globalne marketinške kampanje. P&G je uspostavio namenske kancelarije za poslovne sfere u kojima se informacije mogu pregledati u realnom vremenu.
Tako je menadžment kompanije bio u mogućnosti da trenutno testira hipoteze i sprovede eksperimente. P&G vjeruje da Big Data pomaže u predviđanju performansi kompanije.
Prodavac kancelarijskog materijala OfficeMax koristeći Big Data tehnologije, analiziraju ponašanje kupaca. Analiza velikih podataka omogućila nam je povećanje B2B prihoda za 13% i smanjenje troškova za 400.000 USD godišnje.
Po mišljenju Caterpillar , njegovi distributeri gube 9 do 18 milijardi dolara godišnje profita samo zato što ne implementiraju Big Data tehnologije. Big Data bi omogućio kupcima da efikasnije upravljaju svojim voznim parkom analizirajući informacije koje dolaze od senzora instaliranih na automobilima.
Danas je već moguće analizirati stanje ključnih komponenti, njihov stepen istrošenosti, upravljati troškovima goriva i održavanja.
Luxottica group je proizvođač sportskih naočara kao što su Ray-Ban, Persol i Oakley. Kompanija koristi Big Data tehnologije za analizu ponašanja potencijalnih kupaca i "pametni" SMS marketing. Kao rezultat toga, Big Data Luxottica grupa je izdvojila više od 100 miliona najvrednijih kupaca i povećala efikasnost marketinške kampanje za 10%.
Uz pomoć Yandex Data Factory, programeri igara Svijet tenkova analizirati ponašanje igrača. Big Data tehnologije su omogućile analizu ponašanja 100 hiljada igrača World of Tanks koristeći više od 100 parametara (informacije o kupovini, igricama, iskustvu itd.). Kao rezultat analize dobijena je prognoza odljeva korisnika. Ove informacije vam omogućavaju da smanjite napuštanje korisnika i da ciljano radite sa učesnicima igre. Pokazalo se da je razvijeni model 20-30% efikasniji od standardnih alata za analizu industrije igara.
njemačko ministarstvo rada koristi Big Data u svom radu koji se odnosi na analizu pristiglih zahtjeva za izdavanje naknade za nezaposlene. Dakle, nakon analize informacija, postalo je jasno da je 20% naknada isplaćeno nezasluženo. Ministarstvo rada je uz pomoć Big Data smanjilo troškove za 10 milijardi eura.
Dječija bolnica Toronto implementirao projekat Artemis. To je informacioni sistem koji prikuplja i analizira podatke o bebama u realnom vremenu. Sistem svake sekunde prati 1260 indikatora stanja svakog djeteta. Projekt Artemis omogućava predviđanje nestabilnog stanja djeteta i početak prevencije bolesti kod djece.
PREGLED GLOBALNOG TRŽIŠTA BIG PODATAKA
Trenutno stanje na svjetskom tržištu
U 2014. godini, Big Data je, prema Data Collectiveu, postao jedno od prioritetnih područja ulaganja u industriju rizičnog kapitala. Kako navodi informativni portal Computerra, to je zbog činjenice da je razvoj u ovoj oblasti počeo da donosi značajne rezultate za svoje korisnike. U protekloj godini broj kompanija sa realizovanim projektima u oblasti upravljanja velikim podacima povećan je za 125%, a obim tržišta je porastao za 45% u odnosu na 2013.
Većinu prihoda tržišta velikih podataka, prema Wikibonu, u 2014. godini činile su usluge, njihov udio je bio jednak 40% ukupnog prihoda (vidi dijagram ispod):
Ako uzmemo u obzir Big Data za 2014. po podtipovima, onda će tržište izgledati ovako:
Prema Wikibonu, aplikacije i analitika čine 36% prihoda Big Data u 2014. godini dolazi od Big Data aplikacija i analitike, 17% od računarske opreme i 15% od tehnologija za skladištenje podataka. Najmanje prihoda ostvarile su NoSQL tehnologije, infrastrukturna oprema i obezbjeđivanje mreže kompanija (korporativne mreže).
Najpopularnije Big Data tehnologije su in-memory platforme SAP, HANA, Oracle itd. Rezultati istraživanja T-Systems pokazali su da ih je odabralo 30% anketiranih kompanija. Druge po popularnosti bile su NoSQL platforme (18% korisnika), kompanije su koristile i analitičke platforme Splunk i Dell, izabralo ih je 15% kompanija. Najmanje korisni za rješavanje problema velikih podataka, prema rezultatima ankete, bili su Hadoop/MapReduce proizvodi.
Prema istraživanju Accenture, više od 50% kompanija koje koriste Big Data tehnologije troše 21% do 30% na Big Data.
Prema sljedećoj analizi Accenturea, 76% kompanija vjeruje da će se ovi troškovi povećati u 2015. godini, a 24% kompanija neće mijenjati budžet za Big Data tehnologije. To sugerira da je u ovim kompanijama Big Data već postao ustaljeni pravac IT-a, koji je postao sastavni dio razvoja kompanije.
Rezultati istraživanja Economist Intelligence Unit potvrđuju pozitivan efekat implementacije Big Data. 46% kompanija kaže da je poboljšalo uslugu korisnicima za više od 10% koristeći Big Data tehnologije, 33% kompanija je optimizovalo zalihe i poboljšalo produktivnost osnovnih sredstava, 32% kompanija je unapredilo procese planiranja.
Veliki podaci širom svijeta
Danas se Big Data tehnologije najčešće implementiraju u američkim kompanijama, ali i sada su druge zemlje svijeta počele pokazivati interesovanje. U 2014. godini, prema IDC-u, zemlje Evrope, Bliskog istoka, Azije (bez Japana) i Afrike činile su 45% tržišta softvera, usluga i opreme u oblasti velikih podataka.Također, prema istraživanju CIO-a, kompanije iz azijsko-pacifičke regije ubrzano usvajaju nova rješenja u oblasti analize velikih podataka, sigurnog skladištenja i cloud tehnologija. Latinska Amerika je na drugom mjestu po visini ulaganja u razvoj Big Data tehnologija, ispred zemalja Evrope i Sjedinjenih Država.
Zatim će biti predstavljen opis i prognoze razvoja tržišta velikih podataka u nekoliko zemalja.
kina
Količina informacija u Kini iznosi 909 eksabajta, što je jednako 10% ukupne količine informacija u svijetu, do 2020. godine količina informacija će dostići 8060 eksabajta, a povećat će se i udio informacija u globalnoj statistici, u 5 godina će biti 18%. Potencijalni rast kineskog Big Data ima jednu od najbrže rastućih dinamika.
Brazil
Krajem 2014. Brazil je akumulirao 212 eksabajta informacija, što je 3% globalnog obima. Do 2020. obim informacija će porasti na 1.600 eksabajta, ili 4% svjetskih informacija.
Indija
Prema EMC-u, obim akumuliranih podataka u Indiji na kraju 2014. je 326 eksabajta, što je 5% ukupnog obima informacija. Do 2020. obim informacija će porasti na 2.800 eksabajta, ili 6% informacija u cijelom svijetu.
Japan
Količina akumuliranih podataka u Japanu na kraju 2014. godine iznosi 495 eksabajta, što je 8% ukupne količine informacija. Do 2020. obim informacija će porasti na 2.200 eksabajta, ali će se tržišni udio Japana smanjiti na 5% ukupne količine informacija u cijelom svijetu.
Tako će se veličina japanskog tržišta smanjiti za više od 30%.
Njemačka
Prema podacima EMC-a, obim akumuliranih podataka u Njemačkoj na kraju 2014. godine iznosi 230 eksabajta, što je 4% ukupne količine informacija u svijetu. Do 2020. obim informacija će porasti na 1.100 eksabajta ili 2%.
Na njemačkom tržištu veliki udio prihoda, prema prognozama Experton grupe, ostvarit će segment usluga, čiji će udio u 2015. biti 54%, au 2019. porast će na 59%, udio softvera a hardver će se, naprotiv, smanjiti.
Sveukupno, tržište će porasti sa 1,345 milijardi eura u 2015. na 3,198 milijardi eura u 2019., uz prosječnu stopu rasta od 24%.
Dakle, na osnovu CIO i EMC analitike, može se zaključiti da će zemlje u razvoju svijeta u narednim godinama postati tržišta za aktivan razvoj Big Data tehnologija.
Glavni tržišni trendovi
Prema podacima IDG Enterprise-a, u 2015. potrošnja kompanija na Big Data iznosiće u prosjeku 7,4 miliona dolara po kompaniji, velike kompanije namjeravaju potrošiti oko 13,8 miliona dolara, mala i srednja preduzeća 1,6 miliona dolara.Najviše će biti uloženo u oblasti kao što su analiza podataka i vizualizacija i prikupljanje podataka.
U skladu sa trenutnim trendovima i potražnjom tržišta, ulaganja u 2015. godini će se iskoristiti za poboljšanje kvaliteta podataka, poboljšanje planiranja i predviđanja, te povećanje brzine obrade podataka.
Kompanije u finansijskom sektoru će, prema Bain Company’s Insights Analysis, izvršiti značajna ulaganja, tako da je u 2015. planirano da se potroši 6,4 milijarde dolara na Big Data tehnologije, a prosječna stopa rasta investicija će biti 22% do 2020. godine. Internet kompanije planiraju da potroše 2,8 milijardi dolara, sa prosječnom stopom rasta od 26% za Big Data potrošnju.
Prilikom sprovođenja istraživanja koje je sprovela anketa Economist Intelligence Unit, identifikovani su prioritetni pravci razvoja velikih podataka u 2014. godini iu naredne 3 godine, distribucija odgovora je sledeća:
Prema prognozama IDC-a, tržišni trendovi su sljedeći:
- U sljedećih 5 godina cijena rješenja u oblaku u oblasti Big Data tehnologija će rasti 3 puta brže od cijene lokalnih rješenja. Hibridne platforme za skladištenje će biti tražene.
- Rast aplikacija koje koriste složenu i prediktivnu analitiku, uključujući strojno učenje, ubrzat će se u 2015. godini, tržište takvih aplikacija će rasti 65% brže od aplikacija koje ne koriste prediktivnu analitiku.
- Medijska analitika će se utrostručiti u 2015. i postat će ključni pokretač rasta za tržište tehnologije Big Data.
- Trend će se ubrzati za implementaciju rješenja za analizu kontinuiranog protoka informacija koji je primjenjiv na Internet stvari.
- Do 2018. 50% korisnika će komunicirati sa kognitivnim računarskim uslugama.
Tržišni pokretači i ograničavači
Stručnjaci IDC-a identifikovali su 3 pokretača tržišta velikih podataka u 2015. godini:Prema istraživanju Accenture-a, pitanja sigurnosti podataka su sada glavna prepreka implementaciji Big Data tehnologija, pri čemu je više od 51% ispitanika potvrdilo da su zabrinuti za osiguranje zaštite i povjerljivosti podataka. 47% kompanija je izjavilo da je nemoguće implementirati Big Data zbog ograničenog budžeta, 41% kompanija je kao problem navelo nedostatak kvalifikovanog osoblja.
Wikibon predviđa da će veličina tržišta velikih podataka porasti na 38,4 milijarde dolara u 2015. godini i da će porasti za 36% u odnosu na prethodnu godinu. U narednim godinama doći će do pada stopa rasta na 10% u 2017. Na osnovu ovih predviđanja, veličina tržišta će u 2020. biti jednaka 68,7 milijardi dolara.
Distribucija globalnog tržišta velikih podataka po poslovnim kategorijama će izgledati ovako:
Kao što možete vidjeti iz dijagrama, najveći dio tržišta će zauzeti tehnologije iz oblasti poboljšanja korisničkog servisa. Point marketing će biti na drugom mjestu po prioritetu među kompanijama do 2019. godine, a 2020. će, prema prognozi Heavy Readinga, ustupiti mjesto rješenjima za poboljšanje operativne efikasnosti.
Najveću stopu rasta imat će i segment „unapređenje usluga za korisnike“, povećanje od 49% na godišnjem nivou.
Prognoza tržišta za podtipove Big Data će izgledati ovako:
Dominantan tržišni udio, kao što se vidi iz dijagrama, zauzimaju profesionalne usluge; aplikacije sa analitikom će imati najveću stopu rasta, njihov udio će porasti sa sadašnjih 12% na 18% u 2020. godini, a obim ovog segmenta će biti jednak 12,3 milijarde USD, udio računarske opreme će, naprotiv, pasti sa 20% na 14% i iznosit će oko 9,3 milijarde dolara u 2020. godini, tržište cloud tehnologije će se postepeno povećavati i 2020. dostići će 6,3 milijarde, tržišni udio rješenja za pohranu podataka, naprotiv, smanjit će se sa 15% u 2014. na 13% u 2020. godini i u monetarnom smislu iznositi 8,9 milijardi dolara.
Prema prognozi Bain & Company's Insights Analysis, distribucija tržišta velikih podataka po industrijama u 2020. će izgledati ovako:
- Finansijska industrija će potrošiti 6,4 milijarde dolara na velike podatke sa prosječnom stopom rasta od 22% godišnje;
- Internet kompanije će potrošiti 2,8 milijardi dolara i prosječnu stopu rasta troškova od 26% u narednih 5 godina;
- Troškovi javnog sektora biće srazmerni troškovima internet kompanija, ali će stopa rasta biti niža - 22%;
- Sektor telekomunikacija će rasti po prosječnoj stopi rasta od 40% kako bi dostigao 1,2 milijarde USD u 2020. godini;
Komunalne kompanije će u ove tehnologije uložiti relativno mali iznos od 800 miliona američkih dolara, ali će stopa rasta biti jedna od najvećih od 54% godišnje.
Tako će veliki udio na tržištu velikih podataka u 2020. godini zauzimati kompanije u finansijskoj industriji, a najbrže rastući sektor biće energetika.
Prema prognozama analitičara, ukupni obim tržišta će se povećati u narednim godinama. Rast tržišta će biti osiguran uvođenjem Big Data tehnologija u zemljama u razvoju svijeta, što se može vidjeti iz grafikona ispod.
Predviđena veličina tržišta zavisiće od toga kako zemlje u razvoju percipiraju Big Data tehnologije, da li su popularne kao u razvijenim zemljama. U 2014. na zemlje u razvoju svijeta otpada 40% akumuliranih informacija. EMC predviđa da će se trenutna struktura tržišta, u kojoj dominiraju razvijene zemlje, promijeniti u 2017. godini. Prema analitičarima EMC-a, 2020. godine udio zemalja u razvoju će biti preko 60%.
Prema Cisco-u i EMC-u, zemlje u razvoju svijeta će biti prilično aktivne u radu sa velikim podacima, uglavnom zbog dostupnosti tehnologija i akumulacije dovoljne količine informacija do nivoa velikih podataka. Mapa svijeta na sljedećoj stranici će pokazati prognozu povećanja obima i stope rasta Big Data po regijama.
ANALIZA RUSKOG TRŽIŠTA
Trenutno stanje na ruskom tržištu
Prema studiji CNews Analytics i Oraclea, nivo zrelosti ruskog tržišta velikih podataka porastao je u protekloj godini. Ispitanici iz 108 velikih preduzeća iz širokog spektra industrija pokazali su veći stepen svijesti o ovim tehnologijama, kao i utvrđeno razumijevanje potencijala ovakvih rješenja za njihovo poslovanje.
Od 2014. godine, prema IDC-u, u Rusiji je akumulirano 155 eksabajta informacija, što je samo 1,8% svjetskih podataka. Količina informacija do 2020. dostići će 980 eksabajta i zauzimat će 2,2%. Tako će prosječna stopa rasta obima informacija iznositi 36% godišnje.
IDC procjenjuje rusko tržište na 340 miliona dolara, od čega su 100 miliona dolara SAP rješenja, oko 240 miliona su slična rješenja Oraclea, IBM-a, SAS-a, Microsofta itd.
Stopa rasta ruskog tržišta velikih podataka nije manja od 50% godišnje.
Predviđa se da će se pozitivna dinamika nastaviti u ovom sektoru ruskog IT tržišta, čak iu kontekstu opšte stagnacije privrede. To je zbog činjenice da su preduzeća i dalje tražena za rješenjima koja poboljšavaju operativnu efikasnost, kao i optimiziraju troškove, poboljšavaju preciznost predviđanja i minimiziraju moguće rizike kompanije.
Glavni provajderi Big Data usluga na ruskom tržištu su:
- Oracle
- Microsoft
- Cloudera
- Hortonworks
- Teradata.
Pregled tržišta po djelatnostima i iskustvo korištenja Big Data u kompanijama
Prema CNews-u, u Rusiji je samo 10% kompanija počelo da koristi Big Data tehnologije, dok je udio takvih kompanija u svijetu oko 30%. Spremnost za Big Data projekte raste u mnogim sektorima ruske ekonomije, navodi se u izvještaju CNews Analytics i Oraclea. Više od trećine ispitanih kompanija (37%) počelo je raditi s Big Data tehnologijama, među kojima 20% već koristi takva rješenja, a 17% počinje eksperimentirati s njima. Druga trećina ispitanika trenutno razmatra ovu mogućnost.
U Rusiji su Big Data tehnologije popularnije u bankarskom sektoru i telekomunikacijama, ali su takođe tražene u rudarskoj industriji, energetici, maloprodaji, logističkim kompanijama i javnom sektoru.
U nastavku ćemo razmotriti primjere primjene Big Data u ruskoj stvarnosti.
Telekom
Telekom operateri imaju jednu od najobimnijih baza podataka, što im omogućava da izvrše najdublju analizu akumuliranih informacija.
Jedno od područja primjene Big Data tehnologije je upravljanje lojalnošću pretplatnika.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da bi to učinile, kompanije segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika. Osim korištenja informacija u marketinške svrhe, telekom tehnologije se koriste za sprječavanje lažnih finansijskih transakcija.
VimpelCom je jedan od upečatljivih primjera ove industrije. Kompanija koristi Big Data za poboljšanje kvaliteta usluge na nivou svakog pretplatnika, pripremu izvještaja, analizu podataka za razvoj mreže, borbu protiv neželjene pošte i personalizaciju usluga.
Banke
Značajan dio korisnika Big Data su stručnjaci iz finansijske industrije. Jedan od uspješnih eksperimenata izveden je u Uralskoj banci za obnovu i razvoj, gdje je baza podataka korištena za analizu klijenata, banka je počela nuditi specijalizirane ponude za kredite, depozite i druge usluge. Tokom godine korišćenja ovih tehnologija, kreditni portfolio kompanije je porastao za 55%.
Alfa-Bank analizira informacije sa društvenih mreža, obrađuje kreditne zahtjeve i analizira ponašanje korisnika web stranice kompanije.
Sberbank je takođe počela da obrađuje ogromnu količinu podataka kako bi segmentirala klijente, sprečila lažne aktivnosti, unakrsnu prodaju i upravljala rizikom. U budućnosti se planira unapređenje usluge i analiza akcija korisnika u realnom vremenu.
Sveruska regionalna razvojna banka analizira ponašanje vlasnika plastičnih kartica. To omogućava identifikaciju transakcija koje su netipične za određenog klijenta, čime se povećava vjerovatnoća otkrivanja krađe sredstava sa plastičnih kartica.
Maloprodaja
U Rusiji su tehnologije Big Data implementirale i kompanije za trgovinu na mreži i van mreže. Danas, prema CNews Analytics, velike podatke koristi 20% trgovaca. 75% trgovaca vjeruje da su Big Data neophodni za razvoj konkurentske marketinške strategije. Prema Hadoop statistici, nakon implementacije Big Data tehnologije, profit u trgovinskim organizacijama raste za 7-10%.
Stručnjaci M.Videoa govore o poboljšanju logističkog planiranja nakon implementacije SAP HANA, a kao rezultat njegove implementacije, izrada godišnjih izvještaja je smanjena sa 10 dana na 3 dana, brzina dnevnog preuzimanja podataka smanjena je sa 3 sati do 30 minuta.
Wikimart koristi ove tehnologije za generiranje preporuka za posjetitelje web stranice.
Jedna od prvih oflajn prodavnica koja je uvela analizu velikih podataka u Rusiji bila je Lenta. Uz pomoć Big Data, maloprodaja je počela proučavati informacije o kupcima iz blagajničkih računa. Prodavac prikuplja informacije kako bi generirao modele ponašanja, koji im omogućavaju da donose bolje informisane odluke na operativnom i poslovnom nivou.
Industrija nafte i gasa
U ovoj industriji, opseg primjene Big Data je prilično širok. Big Data tehnologije se mogu primijeniti u vađenju minerala iz podzemlja. Uz njihovu pomoć možete analizirati sam proces proizvodnje i najefikasnije načine za njegovo izdvajanje, pratiti proces bušenja, analizirati kvalitet sirovina, kao i preradu i plasman finalnog proizvoda. U Rusiji su Transnjeft i Rosnjeft već počeli da koriste ove tehnologije.
Državni organi
Zemlje poput Njemačke, Australije, Španije, Japana, Brazila i Pakistana koriste Big Data tehnologije za rješavanje nacionalnih problema. Ove tehnologije pomažu državnim organima da efikasnije pružaju usluge stanovništvu, pružaju ciljanu socijalnu podršku.
U Rusiji su ove tehnologije počela savladavati takva državna tijela kao što su Penzioni fond, Federalna porezna služba i Fond obaveznog zdravstvenog osiguranja. Potencijal za implementaciju projekata koji koriste Big Data je veliki, ove tehnologije bi mogle pomoći u poboljšanju kvaliteta usluga i, kao rezultat, životnog standarda stanovništva.
Logistika i transport
Big Data mogu koristiti i transportne kompanije. Uz pomoć Big Data tehnologija moguće je pratiti parkiralište, uzimati u obzir troškove goriva i pratiti zahtjeve kupaca.
Ruske željeznice implementirale su Big Data tehnologije zajedno sa SAP-om. Ove tehnologije su pomogle da se period izveštavanja smanji za 43,5 puta (sa 14,5 sati na 20 minuta) i da se poboljša tačnost alokacije troškova za 40 puta. Takođe, Big Data je uveden u procese planiranja i regulacije tarifa. Ukupno, kompanije koriste više od 300 sistema baziranih na SAP rješenjima, uključena su 4 data centra, a broj korisnika je 220.000.
Glavni pokretači i tržišna ograničenja
Pokretači razvoja Big Data tehnologija na ruskom tržištu su:- Povećano interesovanje korisnika za mogućnosti Big Data kao načina za povećanje konkurentnosti kompanije;
- Razvoj metoda za obradu medijskih datoteka na globalnom nivou;
- Prenos servera koji obrađuju lične podatke na teritoriju Rusije, u skladu sa usvojenim zakonom o čuvanju i obradi ličnih podataka;
- Implementacija sektorskog plana za zamjenu uvoza softvera. Ovaj plan uključuje državnu podršku domaćim proizvođačima softvera, kao i davanje preferencija za domaće IT proizvode pri kupovini o državnom trošku.
- U novoj ekonomskoj situaciji, kada se kurs dolara skoro udvostručio, postojaće trend sve više korišćenja usluga ruskih provajdera u oblaku nego stranih.
- Stvaranje tehnoparkova koji doprinose razvoju tržišta informacionih tehnologija, uključujući tržište velikih podataka;
- Državni program za implementaciju grid sistema, koji se zasnivaju na Big Data tehnologijama.
Glavne prepreke razvoju velikih podataka na ruskom tržištu su:
- Osiguravanje sigurnosti i povjerljivosti podataka;
- Nedostatak kvalifikovanog osoblja;
- Nedostatak akumuliranih informacionih resursa do nivoa velikih podataka u većini ruskih kompanija;
- Poteškoće u uvođenju novih tehnologija u uspostavljene informacione sisteme preduzeća;
- Visoki troškovi Big Data tehnologija, što dovodi do ograničenog broja preduzeća koja su u mogućnosti da implementiraju ove tehnologije;
- Politička i ekonomska neizvjesnost koja je dovela do odliva kapitala i zamrzavanja investicionih projekata u Rusiji;
- Rast cijena uvoznih proizvoda i porast inflacije, prema IDC-u, usporavaju razvoj cjelokupnog IT tržišta.
Prognoza ruskog tržišta
Rusko tržište velikih podataka od danas nije toliko popularno kao u razvijenim zemljama. Većina ruskih kompanija pokazuje interesovanje za to, ali se ne usuđuje da iskoristi svoje mogućnosti.Primjeri velikih kompanija koje su već imale koristi od Big Data tehnologija podižu svijest o moći ovih tehnologija.
Analitičari su takođe prilično optimistični u pogledu ruskog tržišta. IDC vjeruje da će se ruski tržišni udio povećati u narednih 5 godina, za razliku od tržišta u Njemačkoj i Japanu.
Do 2020. obim velikih podataka u Rusiji će porasti sa sadašnjih 1,8% na 2,2% globalnog obima podataka. Količina informacija će porasti, prema EMC-u, sa sadašnjih 155 eksabajta na 980 eksabajta u 2020.
Trenutno Rusija nastavlja da akumulira količinu informacija do nivoa velikih podataka.
Prema anketi CNews Analytics, 44% anketiranih kompanija radi sa podacima ne većim od 100 terabajta*, a samo 13% radi sa volumenima većim od 500 terabajta.
Ipak, rusko tržište će, prateći svjetske trendove, rasti. Od 2014. IDC procjenjuje veličinu tržišta na 340 miliona dolara.
Stopa rasta tržišta prethodnih godina bila je 50% godišnje, ako ostane na istom nivou, onda će u 2018. obim tržišta dostići 1,7 milijardi dolara. Udeo ruskog tržišta na svetskom tržištu iznosiće oko 3%, sa povećanjem sa sadašnjih 1,2%.
Industrije koje su najosjetljivije na korištenje velikih podataka u Rusiji su:
- Maloprodaji i bankama, za njih je, prije svega, važna analiza baze klijenata, procjena efekta marketinških kampanja;
- Telekom - segmentacija baze korisnika i monetizacija prometa;
- Javni sektor - računovodstvo, analiza prijava stanovništva i dr.;
- Naftne kompanije - praćenje rada i planiranje proizvodnje i prodaje;
- Energetske kompanije - stvaranje inteligentnih elektroenergetskih sistema, operativni nadzor i predviđanje.
U Rusiji, ali i u svijetu, u bliskoj budućnosti će se pojaviti trend vizualizacije podataka, analize medijskih datoteka i razvoja interneta stvari.
Uprkos opštoj stagnaciji privrede, analitičari predviđaju dalji rast Big Data tržišta u narednim godinama, prvenstveno zbog činjenice da korišćenje Big Data tehnologija svojim korisnicima daje konkurentsku prednost u smislu povećanja operativne efikasnosti poslovanja. , privlačenje dodatnih kupaca, minimiziranje rizika i implementacija tehnologija predviđanja podataka.
Dakle, možemo zaključiti da je segment Big Data u Rusiji u fazi formiranja, ali potražnja za ovim tehnologijama raste svake godine.
Ključni rezultati analize tržišta
Svjetsko tržište
Na kraju 2014. godine tržište velikih podataka karakteriziraju sljedeći parametri:- veličina tržišta iznosila je 28,5 milijardi dolara, što je povećanje od 45% u odnosu na prethodnu godinu;
- najveći dio prihoda tržišta velikih podataka čine usluge, njihov udio je bio jednak 40% u ukupnom prihodu;
- 36% prihoda došlo je od Big Data aplikacija i analitike, 17% od računarske opreme i 15% od tehnologija za skladištenje podataka;
- Najpopularnije platforme za rješavanje problema velikih podataka su in-memory platforme kompanija kao što su SAP, HANA i Oracle.
- broj kompanija sa realizovanim projektima iz oblasti upravljanja velikim podacima povećan je za 125%;
- u 2015. obim tržišta će dostići 38,4 milijarde dolara, u 2020. - 68,7 milijardi dolara;
- prosječna stopa rasta iznosiće 16% godišnje;
- prosječni troškovi kompanije za Big Data tehnologije iznosit će 13,8 miliona dolara za velike kompanije i 1,6 miliona dolara za mala i srednja preduzeća;
- tehnologije će biti najzastupljenije u oblastima usluga korisnicima i point marketinga;
- u 2017. godini globalna tržišna struktura će se promijeniti u pravcu dominacije korisničkih kompanija iz zemalja u razvoju.
Rusko tržište
Rusko tržište velikih podataka je u fazi formiranja, a rezultati u 2014. su sljedeći:- veličina tržišta dostigla je 340 miliona dolara;
- prosječna stopa rasta tržišta u prethodnim godinama iznosila je 50% godišnje;
- ukupna količina akumuliranih informacija iznosila je 155 eksabajta;
- 10% ruskih kompanija je počelo da koristi Big Data tehnologije;
- Big Data tehnologije su bile popularnije u bankarstvu, telekomunikacijama, internet kompanijama i maloprodaji.
- obim ruskog tržišta u 2015. dostići će 500 miliona dolara, au 2018. - 1,7 milijardi dolara;
- udio ruskog tržišta u svijetu iznosit će oko 3% u 2018. godini;
- količina akumuliranih podataka u 2020. godini iznosit će 980 eksabajta;
- obim podataka će porasti na 2,2% globalnog obima podataka u 2020.;
- najpopularnije tehnologije će biti vizualizacija podataka, analiza medijskih datoteka i internet stvari.
Hvala vam što ste odvojili vrijeme da pročitate ovo obimno djelo, pretplatite se na naš blog - obećavamo mnogo novih zanimljivih publikacija!
Kolumna profesora HSE-a o mitovima i slučajevima rada s velikim podacima
To bookmarks
Konstantin Romanov i Aleksandar Pjatigorski, koji je i direktor digitalne transformacije Beeline-a, u Školi novih medija HSE, napisali su kolumnu za sajt o glavnim zabludama o velikim podacima – primerima upotrebe tehnologije i alata. Autori sugerišu da će publikacija pomoći rukovodiocima kompanija da shvate ovaj koncept.
Mitovi i zablude o velikim podacima
Big Data nije marketing
Termin Big Data je postao vrlo moderan – koristi se u milionima situacija iu stotinama različitih tumačenja, često nebitnih za ono što je. Često dolazi do zamjene koncepata u glavama ljudi, a Big Data se brka sa marketinškim proizvodom. Štaviše, u nekim kompanijama Big Data je dio marketinga. Rezultat analize velikih podataka zaista može biti izvor marketinške aktivnosti, ali ništa više. Da vidimo kako to radi.
Ako smo prije dva mjeseca identifikovali listu onih koji su u našoj radnji kupili robu za više od tri hiljade rubalja, a zatim tim korisnicima poslali ponudu, onda je ovo tipičan marketing. Iz strukturnih podataka zaključujemo jasan obrazac i koristimo ga za povećanje prodaje.
Međutim, ako kombinujemo CRM podatke sa streaming informacijama, na primjer, sa Instagrama, i analiziramo ih, pronaći ćemo obrazac: osoba koja je u srijedu navečer smanjila svoju aktivnost i čija posljednja fotografija prikazuje mačiće trebala bi dati određenu ponudu. Ovo će već biti Big Data. Pronašli smo okidač, prenijeli ga trgovcima, a oni su ga koristili za svoje potrebe.
Iz ovoga proizilazi da tehnologija obično radi s nestrukturiranim podacima, a ako su podaci strukturirani, onda sistem i dalje nastavlja tražiti skrivene obrasce u njima, što marketing ne čini.
Veliki podaci nisu IT
Druga krajnost ove priče: Big Data se često brka sa IT. To je zbog činjenice da su u ruskim kompanijama, po pravilu, IT stručnjaci ti koji su pokretači svih tehnologija, uključujući velike podatke. Dakle, ako se sve dešava u ovom odjelu, za kompaniju u cjelini izgleda da je to neka vrsta IT aktivnosti.
U stvari, tu postoji suštinska razlika: Big Data je aktivnost usmjerena na dobivanje određenog proizvoda, koji uopće nije povezan s IT-om, iako tehnologija ne može postojati bez njih.
Veliki podaci nisu uvijek prikupljanje i analiza informacija
Postoji još jedna zabluda o velikim podacima. Svi znaju da je ova tehnologija povezana s velikim količinama podataka, ali nije uvijek jasno o kakvoj se vrsti podataka misli. Svatko može prikupljati i koristiti informacije, sada je to moguće ne samo u filmovima o, već iu bilo kojoj, čak i vrlo maloj kompaniji. Pitanje je samo šta prikupiti i kako to iskoristiti u svoju korist.
Ali treba shvatiti da tehnologija velikih podataka neće biti prikupljanje i analiza apsolutno bilo kakvih informacija. Na primjer, ako prikupljate podatke o određenoj osobi na društvenim mrežama, to neće biti Big Data.
Šta su zapravo Big Data
Veliki podaci se sastoje od tri elementa:
- podaci;
- analitika;
- tehnologije.
Veliki podaci nisu samo jedna od ovih komponenti, već skup sva tri elementa. Ljudi često zamjenjuju koncepte: neko misli da su veliki podaci samo podaci, neko - ta tehnologija. Ali u stvari, bez obzira koliko podataka prikupite, ne možete ništa učiniti s njima bez prave tehnologije i analitike. Ako postoji dobra analitika, a nema podataka, sve je lošije.
Ako govorimo o podacima, onda to nisu samo tekstovi, već i sve fotografije objavljene na Instagramu, i općenito sve što se može analizirati i koristiti za različite svrhe i zadatke. Drugim riječima, pod podacima se podrazumijeva ogromna količina internih i eksternih podataka različitih struktura.
Potrebna vam je i analitika, jer je zadatak Big Data da izgradi neke obrasce. Odnosno, analitika je identifikacija skrivenih zavisnosti i potraga za novim pitanjima i odgovorima na osnovu analize celokupnog obima heterogenih podataka. Štaviše, veliki podaci postavljaju pitanja koja ne možemo direktno izvesti iz ovih podataka.
Ako govorimo o slikama, onda to što ste svoju fotografiju objavili u plavoj majici ne znači ništa. Ali ako koristite fotografiju za modeliranje velikih podataka, može se ispostaviti da bi vam upravo sada trebalo ponuditi pozajmicu, jer u vašoj društvenoj grupi ovo ponašanje govori o određenom fenomenu u akcijama. Dakle, „goli“ podaci bez analitike, bez otkrivanja skrivenih i neočiglednih zavisnosti Big Data nisu.
Dakle, imamo velike podatke. Njihov niz je ogroman. Imamo i analitičara. Ali kako možemo biti sigurni da iz ovih sirovih podataka imamo konkretno rješenje? Da bismo to učinili, potrebne su nam tehnologije koje omogućavaju ne samo njihovo skladištenje (a ranije je to bilo nemoguće), već i njihovu analizu.
Jednostavno rečeno, ako imate puno podataka, potrebne su vam tehnologije, na primjer, Hadoop, koje omogućavaju očuvanje svih informacija u izvornom obliku za kasniju analizu. Ova vrsta tehnologije pojavila se u internetskim gigantima, jer su se prvi suočili s problemom skladištenja velike količine podataka i njihove analize za kasniju monetizaciju.
Pored alata za optimizovano i jeftino skladištenje podataka, potrebni su i analitički alati, kao i dodaci za platformu koja se koristi. Na primjer, oko Hadoop-a se već formirao čitav ekosistem povezanih projekata i tehnologija. Evo nekih od njih:
- Pig je deklarativni jezik za analizu podataka.
- Hive - analiza podataka korištenjem jezika bliskog SQL-u.
- Oozie je radni tok u Hadoop-u.
- Hbase je baza podataka (nerelaciona), analogna Google Big Table.
- Mahout je mašinsko učenje.
- Sqoop - prenos podataka sa RSDB na Hadoop i obrnuto.
- Flume - prijenos trupaca u HDFS.
- Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS i tako dalje.
Svi ovi alati dostupni su svima besplatno, ali postoji i set dodataka koji se plaćaju.
Osim toga, potrebni su stručnjaci: ovo je programer i analitičar (tzv. Data Scientist). Potreban vam je i menadžer koji može razumjeti kako primijeniti ovu analitiku za rješavanje konkretnog problema, jer je sam po sebi potpuno besmislen ako nije ugrađen u poslovne procese.
Sva tri zaposlena moraju raditi kao tim. Menadžer koji stručnjaku za nauku podataka da zadatak da pronađe određeni obrazac mora shvatiti da nije uvijek moguće pronaći upravo ono što mu je potrebno. U ovom slučaju, menadžer bi trebao pažljivo saslušati ono što je Data Scientist otkrio, jer se često njegovi nalazi pokažu interesantnijim i korisnijim za posao. Vaš posao je da ovo primenite na svoje poslovanje i od toga napravite proizvod.
Uprkos činjenici da sada postoji mnogo različitih vrsta mašina i tehnologija, konačna odluka uvijek ostaje na osobi. Da bi se to postiglo, informacije se moraju nekako vizualizirati. Postoji dosta alata za ovo.
Najilustrativniji primjer su geoanalitički izvještaji. Kompanija Beeline puno sarađuje sa vladama različitih gradova i regiona. Vrlo često ove organizacije naručuju izvještaje tipa „Zastoj u saobraćaju na određenoj lokaciji“.
Jasno je da bi ovakav izvještaj trebao doći do struktura vlasti u jednostavnom i razumljivom obliku. Ako im pružimo ogromnu i potpuno nerazumljivu tabelu (odnosno, informacije u obliku u kojem ih primamo), malo je vjerovatno da će kupiti takav izvještaj - biće potpuno beskorisno, neće iz njega izvući znanje hteli su da dobiju.
Stoga, bez obzira na to koliko su dobri Data Scientisti i bez obzira na obrasce koji pronađu, ne možete raditi s ovim podacima bez visokokvalitetnih alata za vizualizaciju.
Izvori podataka
Niz primljenih podataka je veoma velik, pa se može podijeliti u nekoliko grupa.
Interni podaci kompanije
Iako 80% prikupljenih podataka spada u ovu grupu, ovaj izvor se ne koristi uvijek. Često su to podaci koji, čini se, nikome nisu potrebni, na primjer, zapisnici. Ali ako ih pogledate iz drugog ugla, ponekad u njima možete pronaći neočekivane šare.
Shareware izvori
To uključuje podatke s društvenih mreža, interneta i sve ostalo čemu se može pristupiti besplatno. Zašto shareware? S jedne strane, ovi podaci su dostupni svima, ali ako ste velika kompanija, onda ih dobiti u veličini pretplatničke baze od desetina hiljada, stotina ili miliona kupaca više nije lak zadatak. Stoga na tržištu postoje plaćene usluge za pružanje ovih podataka.
Plaćeni izvori
Ovo uključuje kompanije koje prodaju podatke za novac. To mogu biti telekomi, DMP-ovi, internet kompanije, kreditni biroi i agregatori. Telekomi u Rusiji ne prodaju podatke. Prvo, ekonomski je neisplativo, a drugo, zakonom je zabranjeno. Stoga prodaju rezultate svoje obrade, na primjer, geoanalitičke izvještaje.
Otvoreni podaci
Država ide u susret poslovanju na pola puta i omogućava korištenje podataka koje prikuplja. To je u većoj mjeri razvijeno na Zapadu, ali i Rusija u tom pogledu ide u korak s vremenom. Na primjer, postoji Portal otvorenih podataka Vlade Moskve, koji objavljuje informacije o raznim objektima urbane infrastrukture.
Za stanovnike i goste Moskve podaci su predstavljeni u tabelarnom i kartografskom obliku, a za programere - u posebnim formatima koji se mogu čitati mašinama. Do sada projekat radi u ograničenom režimu, ali se razvija, što znači da je i izvor podataka koji možete koristiti za svoje poslovne zadatke.
Istraživanja
Kao što je već rečeno, zadatak Big Data je pronaći obrazac. Često istraživanja provedena širom svijeta mogu postati uporište za pronalaženje određenog obrasca - možete dobiti određeni rezultat i pokušati primijeniti sličnu logiku za svoje potrebe.
Veliki podaci su oblast u kojoj ne funkcionišu svi zakoni matematike. Na primjer, "1" + "1" nije "2", već mnogo više, jer miješanje izvora podataka može uvelike poboljšati učinak.
Primjeri proizvoda
Mnogi su upoznati sa Spotify biračem muzike. Prekrasan je po tome što korisnike ne pita kakvo su danas raspoloženje, već to izračunava na osnovu izvora koji su mu dostupni. On uvek zna šta vam sada treba - džez ili hard rok. Ovo je ključna razlika koja mu pruža bazu obožavatelja i razlikuje ga od ostalih usluga.
Takvi proizvodi se obično nazivaju osjetilni proizvodi - oni koji osjećaju svog klijenta.
Big Data tehnologija se također koristi u automobilskoj industriji. Na primjer, Tesla to radi - njihov najnoviji model ima autopilot. Kompanija nastoji stvoriti automobil koji će sam odvesti putnika gdje god poželi. To je nemoguće bez Big Data, jer ako koristimo samo podatke koje direktno primamo, kao što to radi osoba, onda se automobil neće moći poboljšati.
Kada sami vozimo auto, koristimo svoje neurone da donosimo odluke na osnovu mnogih faktora koje ni ne primjećujemo. Na primjer, možda ne shvaćamo zašto smo odlučili da ne ubrzamo odmah do zelenog svjetla, a onda se ispostavi da je odluka bila ispravna - kraj vas je projurio automobil vrtoglavom brzinom, a vi ste izbjegli nesreću.
Također možete dati primjer korištenja Big Data u sportu. 2002. godine, generalni direktor bejzbol tima Oakland Athletics, Billy Bean, krenuo je da razbije paradigmu o tome kako pronaći sportiste birajući i trenirajući igrače po brojevima.
Menadžeri obično gledaju na uspjeh igrača, ali u ovom slučaju je bilo drugačije - da bi dobio rezultat, menadžer je proučavao koje kombinacije sportista su mu potrebne, obraćajući pažnju na individualne karakteristike. Štaviše, birao je sportiste koji sami po sebi nisu predstavljali veliki potencijal, ali se tim u cjelini pokazao toliko uspješnim da je dobio dvadeset mečeva zaredom.
Reditelj Benet Miler je kasnije snimio film o ovoj priči - "Čovek koji je promenio sve" sa Bredom Pitom u glavnoj ulozi.
Tehnologija velikih podataka korisna je i u finansijskom sektoru. Nijedna osoba na svijetu ne može samostalno i tačno odrediti da li se nekome isplati dati kredit. Da bi se donijela odluka, vrši se bodovanje, odnosno izgrađuje se probabilistički model prema kojem se može razumjeti da li će ta osoba vratiti novac ili ne. Zatim se bodovanje primjenjuje u svim fazama: možete, na primjer, izračunati da će u određenom trenutku osoba prestati plaćati.
Veliki podaci ne samo da mogu zaraditi novac, već ga i uštedjeti. Konkretno, ova tehnologija je pomogla njemačkom Ministarstvu rada da smanji trošak naknada za nezaposlene za 10 milijardi eura, pošto je nakon analize informacija postalo jasno da je 20% naknada isplaćeno nezasluženo.
Također, tehnologije se koriste u medicini (ovo je posebno tipično za Izrael). Uz pomoć Big Data moguće je dati mnogo precizniju analizu nego što to može učiniti doktor sa tridesetogodišnjim iskustvom.
Svaki ljekar se prilikom postavljanja dijagnoze oslanja samo na vlastito iskustvo. Kada to radi mašina, dolazi iz iskustva hiljada takvih doktora i svih postojećih istorija bolesti. Uzima se u obzir od kakvog je materijala napravljena pacijentova kuća, u kom prostoru žrtva živi, kakav dim ima i tako dalje. Odnosno, uzima u obzir mnogo faktora koje doktori ne uzimaju u obzir.
Primjer upotrebe Big Data u zdravstvu je projekat Project Artemis, koji je implementirala Dječija bolnica u Torontu. To je informacioni sistem koji prikuplja i analizira podatke o bebama u realnom vremenu. Mašina vam omogućava da analizirate 1260 zdravstvenih indikatora svakog djeteta svake sekunde. Ovaj projekat ima za cilj predviđanje nestabilnog stanja djeteta i prevenciju bolesti kod djece.
Veliki podaci se takođe počinju koristiti u Rusiji: na primjer, Yandex ima odjel za velike podatke. Kompanija je zajedno sa AstraZenecom i Ruskim društvom za kliničku onkologiju RUSSCO pokrenula RAY platformu za genetičare i molekularne biologe. Projekat omogućava unapređenje metoda za dijagnostiku raka i identifikaciju podložnosti raku. Platforma će početi sa radom u decembru 2016.
