Samo lijeni ne pričaju o velikim podacima, ali što je to i kako funkcionira, teško da će razumjeti. Počnimo s najjednostavnijim – terminologijom. Govoreći na ruskom, veliki podaci su različiti alati, pristupi i metode za obradu strukturiranih i nestrukturiranih podataka kako bi se mogli koristiti za određene zadatke i svrhe.
Nestrukturirani podaci su informacije koje nemaju unaprijed definiranu strukturu ili nisu organizirane određenim redoslijedom.
Termin "veliki podaci" skovao je urednik časopisa Nature Clifford Lynch još 2008. godine u posebnom broju posvećenom eksplozivnom rastu svjetskih količina informacija. Iako su, naravno, i sami veliki podaci postojali i prije. Prema riječima stručnjaka, većina podatkovnih tokova preko 100 GB dnevno pripada kategoriji velikih podataka.
Pročitajte također:
Danas ovaj jednostavan pojam krije samo dvije riječi – pohranu i obradu podataka.
Veliki podaci - jednostavnim riječima
U suvremenom svijetu veliki podaci su društveno-ekonomski fenomen koji je povezan s činjenicom da su se pojavile nove tehnološke mogućnosti za analizu ogromne količine podataka.
Pročitajte također:
Radi lakšeg razumijevanja, zamislite supermarket u kojem sva roba nije u vašem uobičajenom redoslijedu. Kruh pored voća, pasta od rajčice pored smrznute pizze, upaljač ispred stalka za tampone koji između ostalog sadrži avokado, tofu ili shiitake gljive. Big data sve stavlja na svoje mjesto i pomaže vam pronaći mlijeko s orašastim plodovima, saznati cijenu i rok trajanja te tko osim vas kupuje takvo mlijeko i zašto je bolje od kravljeg mlijeka.
Kenneth Kukier: Veliki podaci su najbolji podaci
Tehnologija velikih podataka
Ogromne količine podataka se obrađuju kako bi osoba mogla dobiti konkretne i potrebne rezultate za njihovu daljnju učinkovitu upotrebu.
Pročitajte također:
Zapravo, veliki podaci su rješenje problema i alternativa tradicionalnim sustavima upravljanja podacima.
Tehnike i metode analize primjenjive na velike podatke prema McKinseyju:
Crowdsourcing;
Miješanje i integracija podataka;
Strojno učenje;
Umjetne neuronske mreže;
Prepoznavanje uzorka;
Prediktivna analitika;
Simulacijsko modeliranje;
Prostorna analiza;
Statistička analiza;
- Analitička vizualizacija podataka.
Horizontalna skalabilnost koja omogućuje obradu podataka temeljni je princip obrade velikih podataka. Podaci se distribuiraju do računalnih čvorova, a obrada se odvija bez degradacije performansi. McKinsey je također uključio relacijske sustave upravljanja i poslovnu inteligenciju u kontekstu primjenjivosti.
Tehnologije:
- NoSQL;
- MapReduce;
- Hadoop;
- Hardverska rješenja.
Pročitajte također:
Za velike podatke postoje tradicionalne definirajuće karakteristike koje je razvila Meta Grupa još 2001. godine, a koje se nazivaju “ Tri V»:
- Volumen- veličina fizičkog volumena.
- Brzina- brzina rasta i potreba za brzom obradom podataka za dobivanje rezultata.
- Raznolikost- sposobnost istovremene obrade raznih vrsta podataka.
Veliki podaci: primjene i mogućnosti
Nemoguće je obraditi količine heterogenih i digitalnih informacija koje brzo pristižu tradicionalnim alatima. Sama analiza podataka omogućuje vam da vidite određene i neprimjetne obrasce koje osoba ne može vidjeti. To nam omogućuje da optimiziramo sva područja našeg života - od vlade do proizvodnje i telekomunikacija.
Primjerice, neke su tvrtke prije nekoliko godina štitile svoje klijente od prijevara, a briga o novcu klijenata bila je briga o vlastitom novcu.
Susan Etleiger: Što je s velikim podacima?
Rješenja temeljena na velikim podacima: Sberbank, Beeline i druge tvrtke
Beeline ima ogromnu količinu podataka o pretplatnicima koje koriste ne samo za rad s njima, već i za izradu analitičkih proizvoda, poput vanjskog savjetovanja ili IPTV analitike. Beeline je segmentirao bazu podataka i zaštitio kupce od novčane prijevare i virusa, koristeći HDFS i Apache Spark za pohranu, te Rapidminer i Python za obradu podataka.
Pročitajte također:
Ili se sjetite Sberbanke s njihovim starim slučajem AS SAFI. Riječ je o sustavu koji analizira fotografije kako bi identificirao klijente banke i sprječava prijevare. Sustav je uveden još 2014. godine, u središtu sustava je usporedba fotografija iz baze podataka koje do tamo dolaze s web kamera na policama zahvaljujući računalnom vidu. Osnova sustava je biometrijska platforma. Zahvaljujući tome, slučajevi prijevare su se smanjili za 10 puta.
Veliki podaci u svijetu
Do 2020. godine, prema prognozama, čovječanstvo će generirati 40-44 zetabajta informacija. A do 2025. porast će 10 puta, prema izvješću The Data Age 2025, koje su pripremili analitičari IDC-a. U izvješću se navodi da će većinu podataka generirati same tvrtke, a ne potrošači.
Istraživački analitičari vjeruju da će podaci postati vitalna imovina, a sigurnost će postati kritični temelj u životu. Autori rada također su uvjereni da će tehnologija promijeniti gospodarski krajolik, a prosječni korisnik će komunicirati s povezanim uređajima oko 4800 puta dnevno.
Tržište velikih podataka u Rusiji
Obično veliki podaci dolaze iz tri izvora:
- Internet (društvene mreže, forumi, blogovi, mediji i druge stranice);
- Korporativni arhiv dokumenata;
- Očitavanja senzora, instrumenata i drugih uređaja.
Veliki podaci u bankama
Uz gore opisani sustav, u strategiji Sberbanke za 2014.-2018. govori o važnosti analize velikih količina podataka za kvalitetnu uslugu korisnicima, upravljanje rizicima i optimizaciju troškova. Sada banka koristi Big data za upravljanje rizicima, suzbijanje prijevara, segmentaciju i procjenu kreditne sposobnosti klijenata, upravljanje osobljem, predviđanje redova u poslovnicama, izračun bonusa zaposlenicima i druge poslove.
VTB24 koristi velike podatke za segmentiranje i upravljanje odljevom kupaca, generiranje financijskih izvještaja, analizu recenzija na društvenim mrežama i forumima. Za to koristi rješenja Teradata, SAS Visual Analytics i SAS Marketing Optimizer.
Veliki podaci- to nisu samo sami podaci, već i tehnologije za njihovu obradu i korištenje, metode za pronalaženje potrebnih informacija u velikim nizovima. Problem velikih podataka ostaje otvoren i vitalan za sve sustave koji desetljećima akumuliraju širok raspon informacija.
Ovaj izraz je povezan s izrazom "Jačina, brzina, raznolikost"- načela na kojima se temelji rad s velikim podacima. Ovo izravno količina informacija, brzina obrade i raznovrsnost informacija pohranjene u nizu. Nedavno se na tri osnovna principa počelo dodavati još jedno - Vrijednostšto znači vrijednost informacija... Odnosno, mora biti korisna i neophodna u teoretskom ili praktičnom smislu, što bi opravdalo troškove njegovog skladištenja i obrade.
Društveni mediji primjer su tipičnog izvora velikih podataka – svaki profil ili javna stranica jedna je mala kap u nestrukturiranom oceanu informacija. Štoviše, bez obzira na količinu informacija pohranjenih u pojedinom profilu, interakcija sa svakim od korisnika trebala bi biti što brža.
Veliki podaci se neprestano gomilaju u gotovo svim područjima ljudskog života. To uključuje bilo koju industriju povezanu bilo s ljudskom interakcijom ili računalstvom. To su društvene mreže, medicina i bankarstvo, kao i sustavi uređaja koji primaju brojne rezultate svakodnevnih izračuna. Na primjer, astronomska promatranja, meteorološke informacije i informacije s uređaja za otkrivanje Zemlje.
Informacije iz svih vrsta sustava za praćenje u stvarnom vremenu također idu na poslužitelje određene tvrtke. Televizijsko i radijsko emitiranje, baze poziva mobilnih operatera - interakcija svake pojedinačne osobe s njima je minimalna, ali u zbiru, sve te informacije postaju veliki podaci.
Tehnologije velikih podataka postale su sastavni dio istraživanja i razvoja te trgovine. Štoviše, počinju preuzimati sferu javne uprave – a svugdje se traži uvođenje sve učinkovitijih sustava za pohranu i manipulaciju informacijama.
Pojam “veliki podaci” prvi se put pojavio u tisku 2008. godine, kada je urednik Nature Clifford Lynch objavio članak o razvoju budućnosti znanosti koristeći tehnologije za rad s velikim količinama podataka. Do 2009. ovaj se pojam razmatrao samo sa stajališta znanstvene analize, ali nakon objavljivanja još nekoliko članaka, tisak je počeo naširoko koristiti koncept velikih podataka - i nastavlja ga koristiti i danas.
2010. godine počeli su se pojavljivati prvi pokušaji rješavanja sve većeg problema velikih podataka. Objavljeni su softverski proizvodi čije je djelovanje bilo usmjereno na minimiziranje rizika pri korištenju ogromnih nizova informacija.
Do 2011. velike tvrtke poput Microsofta, Oraclea, EMC-a i IBM-a zainteresirale su se za velike podatke – one su prve koristile Big data u svojim razvojnim strategijama, i to prilično uspješno.
Sveučilišta su počela provoditi studij velikih podataka kao zaseban predmet već 2013. godine - sada se problemima u ovom području bave ne samo znanost o podacima, već i inženjerstvo, zajedno s računskim predmetima.
Glavne metode analize i obrade podataka uključuju sljedeće:
- Metode klase ili dubinska analiza (Data Mining).
Ove metode su prilično brojne, ali ih objedinjuje jedna stvar: korišteni matematički alati u sprezi s dostignućima u području informacijske tehnologije.
- Crowdsourcing.
Ova tehnika omogućuje istovremeno dobivanje podataka iz nekoliko izvora, a broj potonjih je praktički neograničen.
- A/B testiranje.
Iz cjelokupne količine podataka odabire se kontrolni skup elemenata koji se naizmjenično uspoređuje s drugim sličnim populacijama, gdje je jedan od elemenata promijenjen. Provođenje takvih testova pomaže u određivanju koje fluktuacije parametara imaju najveći utjecaj na kontrolnu populaciju. Zahvaljujući količinama Big Data, moguće je izvesti ogroman broj iteracija, pri čemu se svaka od njih približava najpouzdanijem rezultatu.
- Prediktivna analitika.
Stručnjaci u ovom području pokušavaju unaprijed predvidjeti i planirati kako će se kontrolirani objekt ponašati kako bi u ovoj situaciji donijeli najpovoljniju odluku.
- Strojno učenje (umjetna inteligencija).
Temelji se na empirijskoj analizi informacija i naknadnoj konstrukciji algoritama za samoučeće sustave.
- Analiza mreže.
Najčešća metoda istraživanja društvenih mreža - nakon dobivanja statističkih podataka analiziraju se čvorovi stvoreni u mreži, odnosno interakcije između pojedinih korisnika i njihovih zajednica.
U 2017., kada su veliki podaci prestali biti nešto novo i nepoznato, njihova važnost ne samo da se nije smanjila, nego je još više porasla. Sada se stručnjaci klade da će analiza velikih količina podataka postati dostupna ne samo za divovske organizacije, već i za mala i srednja poduzeća. Ovaj pristup planira se implementirati korištenjem sljedećih komponenti:
- Pohrana u oblaku.
Pohrana i obrada podataka postaje brža i ekonomičnija – u usporedbi s troškovima održavanja vlastitog podatkovnog centra i mogućim proširenjem osoblja, najam oblaka čini se puno jeftinijom alternativom.
- Korištenje tamnih podataka.
Takozvani "tamni podaci" - svi nedigitalni podaci o tvrtki, koji nemaju ključnu ulogu u njenom izravnom korištenju, ali mogu poslužiti kao razlog za prelazak na novi format za pohranu informacija.
- Umjetna inteligencija i duboko učenje.
Tehnologija učenja strojne inteligencije, koja oponaša strukturu i rad ljudskog mozga, najprikladnija je za obradu velike količine informacija koje se neprestano mijenjaju. U tom slučaju, stroj će učiniti potpuno istu stvar koju bi trebao učiniti čovjek, ali je u isto vrijeme vjerojatnost pogreške značajno smanjena.
- Blockchain.
Ova tehnologija omogućuje ubrzanje i pojednostavljenje brojnih internetskih transakcija, uključujući i međunarodne. Još jedan plus Blockchaina je to što smanjuje transakcijske troškove.
- Samoposluživanje i sniženje cijena.
U 2017. godini planira se uvođenje „samouslužnih platformi“ – to su besplatne stranice na kojima će predstavnici malih i srednjih poduzeća moći samostalno procijeniti podatke koje pohranjuju i organizirati ih.
Sve marketinške strategije na ovaj ili onaj način temelje se na manipulaciji informacijama i analizi postojećih podataka. Zato korištenje velikih podataka može predvidjeti i omogućiti prilagodbu daljnjeg razvoja tvrtke.
Primjerice, RTB aukcija kreirana na temelju velikih podataka omogućuje vam učinkovitije korištenje oglašavanja - određeni proizvod će biti prikazan samo onoj skupini korisnika koji su zainteresirani za njegovu kupnju.
Koja je prednost korištenja big data tehnologija u marketingu i poslovanju?
- Uz njihovu pomoć možete puno brže kreirati nove projekte, koji će vjerojatno postati traženi među kupcima.
- Pomažu u povezivanju zahtjeva klijenta s postojećom ili predviđenom uslugom i na taj način ih ispravljati.
- Metode velikih podataka omogućuju nam procjenu stupnja trenutnog zadovoljstva svih korisnika i svakog pojedinačno.
- Odanost kupaca povećava se tehnikama obrade velikih podataka.
- Privlačenje vaše ciljne publike na Internetu postaje lakše zahvaljujući mogućnosti kontrole ogromnih količina podataka.
Na primjer, jedna od najpopularnijih usluga za predviđanje vjerojatne popularnosti proizvoda je Google.trends. Široko ga koriste trgovci i analitičari, omogućujući im da dobiju statistiku o korištenju određenog proizvoda u prošlosti i prognozu za sljedeću sezonu. To omogućuje čelnicima tvrtki da učinkovitije raspodijele proračun za oglašavanje, da odrede u koje je područje najbolje uložiti novac.
Primjeri korištenja Big Data
Aktivno uvođenje Big Data tehnologija na tržište i suvremeni život započelo je netom nakon što su ih počele koristiti svjetski poznate tvrtke koje imaju klijente gotovo u svim dijelovima svijeta.
To su društveni divovi poput Facebooka i Googlea, IBM-a, kao i financijske strukture poput Master Carda, VISA-e i Bank of America.
Na primjer, IBM primjenjuje tehnike velikih podataka na svoje monetarne transakcije. Uz njihovu pomoć otkriveno je 15% više lažnih transakcija, što je omogućilo povećanje iznosa zaštićenih sredstava za 60%. Riješeni su i problemi s lažnim pozitivama sustava - njihov je broj smanjen za više od pola.
VISA je na sličan način koristila Big Data, prateći lažne pokušaje izvođenja ove ili one operacije. Zahvaljujući tome, svake godine štede više od 2 milijarde dolara od curenja.
Njemačko ministarstvo rada uspjelo je smanjiti troškove za 10 milijardi eura integracijom velikih podataka u naknade za nezaposlene. Ujedno se pokazalo da jedna petina građana neopravdano prima te naknade.
Big Data nije poštedio ni industriju igara. Dakle, programeri World of Tanks proveli su studiju informacija o svim igračima i usporedili dostupne pokazatelje njihove aktivnosti. To je pomoglo u predviđanju mogućeg budućeg odljeva igrača - na temelju napravljenih pretpostavki, predstavnici organizacije mogli su učinkovitije komunicirati s korisnicima.
Značajne organizacije koje koriste velike podatke također uključuju HSBC, Nasdaq, Coca-Colu, Starbucks i AT&T.
Najveći problem s velikim podacima je trošak njihove obrade. To može uključivati i skupu opremu i troškove plaća za kvalificirane stručnjake koji su sposobni poslužiti goleme količine informacija. Očito će se oprema morati redovito ažurirati kako ne bi izgubila minimalne performanse kako se količina podataka povećava.
Drugi problem je opet vezan uz veliku količinu informacija koje je potrebno obraditi. Ako, na primjer, studija daje ne 2-3, već veliki broj rezultata, vrlo je teško ostati objektivan i iz općeg toka podataka odabrati samo one koji će imati stvarni utjecaj na stanje bilo koje pojave.
Problem privatnosti velikih podataka. Budući da većina pružatelja usluga za korisnike prelazi na online korištenje podataka, vrlo je lako postati sljedeća meta kibernetičkih kriminalaca. Čak i jednostavno pohranjivanje osobnih podataka bez obavljanja ikakvih online transakcija može biti bremenito neželjenim posljedicama za korisnike pohrane u oblaku.
Problem gubitka informacija. Mjere opreza zahtijevaju da se ne ograničite na jednokratnu sigurnosnu kopiju podataka, već da napravite najmanje 2-3 sigurnosne kopije pohrane. Međutim, kako se volumen povećava, rastu i poteškoće s redundancijom - a IT stručnjaci pokušavaju pronaći optimalno rješenje za ovaj problem.
Tržište tehnologije velikih podataka u Rusiji i svijetu
Od 2014. 40% obujma tržišta velikih podataka čine usluge. Prihod od korištenja Big Data u računalnoj opremi neznatno je inferiorniji (38%) u odnosu na ovaj pokazatelj. Preostalih 22% dolazi iz softvera.
Najkorisniji proizvodi u globalnom segmentu za rješavanje problema velikih podataka, prema statistikama, su In-memory i NoSQL analitičke platforme. 15 odnosno 12 posto tržišta zauzimaju analitički softver Log-file i platforme Columnar. Ali Hadoop / MapReduce nije baš učinkovit u rješavanju problema velikih podataka u praksi.
Rezultati implementacije big data tehnologija:
- povećanje kvalitete usluge korisnicima;
- optimizacija integracije u lancu opskrbe;
- optimizacija planiranja organizacije;
- ubrzanje interakcije s klijentima;
- poboljšanje učinkovitosti obrade zahtjeva kupaca;
- smanjenje troškova usluga;
- optimizacija obrade narudžbi klijenata.
Najbolje knjige o velikim podacima
Pogodno za početno proučavanje tehnologija obrade velikih podataka - lako i jasno vas uvodi u predmet. Jasno daje do znanja kako je obilje informacija utjecalo na svakodnevni život i sve njegove sfere: znanost, poslovanje, medicinu itd. Sadrži brojne ilustracije pa se percipira bez puno truda.
Uvod u Data Mining, Pang-Ning Tan, Michael Steinbach i Vipin Kumar
Za početnike je korisna i knjiga o velikim podacima, koja objašnjava kako raditi s velikim podacima na temelju principa "od jednostavnog do složenog". Pokriva mnoge važne točke u početnoj fazi: pripremu za obradu, vizualizaciju, OLAP, kao i neke metode analize i klasifikacije podataka.
Praktični vodič za korištenje i rad s velikim podacima pomoću programskog jezika Python. Pogodno za studente strojarstva i profesionalce koji žele produbiti svoje znanje.
Hadoop za lutke, Dirk Derus, Paul S. Zykopoulos, Roman B. Melnik
Hadoop je projekt posebno dizajniran za rad s distribuiranim programima koji izvršavaju radnje na tisućama čvorova u isto vrijeme. Poznavanje će vam pomoći da detaljnije shvatite praktičnu primjenu velikih podataka.
"Veliki podaci"- tema o kojoj aktivno raspravljaju tehnološke tvrtke. Neki od njih uspjeli su se razočarati velikim podacima, drugi - naprotiv, maksimalno ih iskoriste za posao... Svježi analitički pregled domaćeg i globalnog Big Data tržišta, koji je pripremila Moskovska burza u suradnji s analitičarima IPOboarda , pokazuje koji su trendovi sada najrelevantniji na tržištu... Nadamo se da će informacije biti zanimljive i korisne.
ŠTO JE VELIKI PODACI?
Ključne značajke
Veliki podaci danas su jedan od ključnih pokretača razvoja informacijske tehnologije. Ovaj smjer, relativno nov za rusko poslovanje, postao je široko rasprostranjen u zapadnim zemljama. To je zbog činjenice da se u eri informacijske tehnologije, posebice nakon procvata društvenih mreža, počela akumulirati značajna količina informacija za svakog korisnika interneta, što je u konačnici dovelo do smjera Big Data.Izraz "Big Data" izaziva mnogo kontroverzi, mnogi vjeruju da samo označava količinu akumuliranih informacija, ali ne zaboravite na tehničku stranu, ovo područje uključuje tehnologije pohrane podataka, računalstvo, kao i usluge.
Valja napomenuti da ovo područje uključuje obradu velike količine informacija, koje je teško obraditi tradicionalnim metodama *.
Ispod je usporedna tablica tradicionalne i velike baze podataka. 
Sferu velikih podataka karakteriziraju sljedeće značajke:
Volumen
- volumen akumulirane baze podataka je velika količina informacija koje je teško obraditi i pohraniti na tradicionalne načine, zahtijevaju novi pristup i poboljšane alate.
Brzina
- brzina, ovaj znak označava i sve veću brzinu akumulacije podataka (90% informacija prikupljeno je u posljednje 2 godine), i brzinu obrade podataka, u posljednje vrijeme tehnologije obrade podataka u stvarnom vremenu postale su sve traženije.
Raznolikost
- raznolikost, t.j. mogućnost simultane obrade strukturiranih i nestrukturiranih višeformatnih informacija. Glavna razlika između strukturiranih informacija je u tome što se mogu klasificirati. Primjer takvih informacija su informacije o transakcijama kupaca.
Nestrukturirane informacije uključuju video, audio datoteke, besplatni tekst, informacije koje dolaze s društvenih mreža. Danas je 80% informacija uključeno u nestrukturiranu skupinu. Ove informacije zahtijevaju složenu analizu kako bi bile korisne za daljnju obradu.
Istinitost
- pouzdanosti podataka, korisnici su počeli pridavati sve veći značaj pouzdanosti dostupnih podataka. Primjerice, internetske tvrtke imaju problem odvajanja radnji koje provode robot i osoba na web stranici tvrtke, što u konačnici dovodi do poteškoća u analizi podataka.
Vrijednost
- vrijednost akumuliranih informacija. Big Data bi trebao biti koristan za tvrtku i donijeti joj određenu vrijednost. Na primjer, pomoć u poboljšanju poslovnih procesa, izvješćivanju ili optimizaciji troškova.
Ako je ispunjeno gornjih 5 uvjeta, akumulirani volumeni podataka mogu se klasificirati kao veliki.
Područja primjene velikih podataka
Sfera korištenja Big Data tehnologija je velika. Dakle, uz pomoć Big Data možete saznati o preferencijama kupaca, učinkovitosti marketinških kampanja ili provesti analizu rizika. U nastavku su rezultati istraživanja IBM Instituta o korištenju Big Data u tvrtkama.
Kao što možete vidjeti iz dijagrama, većina tvrtki koristi Big Data u području korisničke usluge, drugo najpopularnije područje je operativna učinkovitost, u području upravljanja rizicima Big Data je trenutno rjeđi.
Također treba napomenuti da su Big Data jedno od najbrže rastućih područja informacijske tehnologije, prema statistikama, ukupna količina primljenih i pohranjenih podataka udvostručuje se svake 1,2 godine.
Između 2012. i 2014. količina podataka koji se mjesečno prenose mobilnim mrežama porasla je za 81%. Prema procjenama Cisca, u 2014. obujam mobilnog prometa iznosio je 2,5 eksabajta (mjerna jedinica za količinu informacija jednaka 10 ^ 18 standardnih bajtova) mjesečno, a 2019. iznosit će 24,3 eksabajta.
Dakle, Big Data je već uhodano tehnološko područje, čak i unatoč svojoj relativno mladoj dobi, koje je postalo rašireno u mnogim područjima poslovanja i igra važnu ulogu u razvoju tvrtki.
Tehnologije velikih podataka
Tehnologije koje se koriste za prikupljanje i obradu velikih podataka mogu se podijeliti u 3 grupe:- Softver;
- Oprema;
- Servisne usluge.
Najčešći pristupi obradi podataka (softverski) uključuju:
SQL
- strukturirani jezik upita koji vam omogućuje rad s bazama podataka. Uz pomoć SQL-a možete kreirati i mijenjati podatke, a odgovarajući sustav upravljanja bazom podataka se bavi upravljanjem skupom podataka.
NoSQL
- izraz je skraćenica za Ne samo SQL (ne samo SQL). Uključuje niz pristupa usmjerenih na implementaciju baze podataka koji se razlikuju od modela koji se koriste u tradicionalnim, relacijskim DBMS-ima. Prikladni su za korištenje kada se struktura podataka stalno mijenja. Na primjer, za prikupljanje i pohranjivanje informacija na društvenim mrežama.
MapReduce
- model računske distribucije. Koristi se za paralelno računanje na vrlo velikim skupovima podataka (petabajta * ili više). U programskom sučelju ne prenose se podaci u program na obradu, već se program prenosi u podatke. Stoga je zahtjev zaseban program. Princip rada sastoji se u sekvencijalnoj obradi podataka pomoću dvije metode Map i Reduce. Karta dohvaća preliminarne podatke, Reduce ih agregira.
Hadoop
- koristi se za implementaciju mehanizama pretraživanja i konteksta visoko opterećenih stranica - Facebook, eBay, Amazon itd. Posebnost je da je sustav zaštićen od kvara bilo kojeg od čvorova klastera, budući da svaki blok ima barem jednu kopiju podatke na drugom čvoru.
SAP HANA
To je NewSQL platforma visokih performansi za pohranu i obradu podataka. Omogućuje veliku brzinu obrade zahtjeva. Još jedna razlikovna značajka je da SAP HANA pojednostavljuje krajolik sustava smanjujući troškove podrške analitičkim sustavima.
Tehnološka oprema uključuje:
- poslužitelji;
- infrastrukturna oprema.
Infrastrukturna oprema uključuje akceleratore platforme, neprekidna napajanja, setove poslužiteljske konzole itd.
Servisne usluge.
Usluge uključuju usluge izgradnje arhitekture sustava baze podataka, uređenje i optimizaciju infrastrukture, te osiguranje sigurnosti pohrane podataka.
Softver, hardver i usluge zajedno tvore složene platforme za pohranu i analizu podataka. Tvrtke kao što su Microsoft, HP, EMC nude usluge za razvoj, implementaciju i upravljanje Big Data rješenja.
Primjena u industrijama
Big Data je postao široko rasprostranjen u mnogim industrijama. Koriste se u zdravstvu, telekomunikacijama, trgovini, logistici, financijskim tvrtkama i vladi.U nastavku su neki primjeri aplikacija Big Data u nekim industrijama.
Maloprodaja
U bazama podataka maloprodajnih objekata može se akumulirati mnogo informacija o kupcima, sustavu upravljanja zalihama i opskrbi tržišnim proizvodima. Ove informacije mogu biti korisne u svim dijelovima trgovina.
Dakle, uz pomoć akumuliranih informacija možete upravljati opskrbom robe, njihovim skladištenjem i prodajom. Na temelju prikupljenih informacija moguće je predvidjeti potražnju i ponudu robe. Također, sustav obrade i analize podataka može riješiti i druge probleme trgovca, na primjer, optimizirati troškove ili pripremiti izvješća.
Financijske usluge
Big Data omogućuje analizu kreditne sposobnosti zajmoprimca, a koristan je i za ocjenjivanje kredita * i osiguranje **. Uvođenje Big Data tehnologija smanjit će vrijeme za razmatranje zahtjeva za kredit. Uz pomoć Big Data možete analizirati transakcije određenog klijenta i ponuditi mu bankovne usluge koje su mu prikladne.
Telekom
U telekomunikacijskoj industriji mobilni operateri naširoko koriste Big Data.
Mobilni operateri, uz financijske institucije, imaju jednu od najopsežnijih baza podataka, što im omogućuje da provedu najdublju analizu prikupljenih informacija.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da biste to učinili, tvrtke segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika.
Osim korištenja Big Data u marketinške svrhe, tehnologije se koriste za sprječavanje lažnih financijskih transakcija.
Rudarska i naftna industrija
Big Data se koristi u rudarstvu i obradi i marketingu. Na temelju primljenih informacija, poduzeća mogu donijeti zaključke o učinkovitosti razvoja polja, pratiti raspored remonta i stanje opreme, predvidjeti potražnju za proizvodima i cijene.
Prema istraživanju Tech Pro Research-a, veliki podaci su najrašireniji u telekomunikacijskoj industriji, kao iu inženjeringu, IT-u, financijskim i državnim poduzećima. Prema rezultatima ovog istraživanja, Big Data je manje popularan u obrazovanju i zdravstvu. Rezultati ankete prikazani su u nastavku:
Primjeri korištenja Big Data u tvrtkama
Danas se Big Data aktivno implementira u stranim tvrtkama. Tvrtke kao što su Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix već koriste Big Data.Područja primjene obrađenih informacija su raznolika i variraju ovisno o industriji i zadacima koje treba izvršiti.
Predstavit će se daljnji primjeri primjene Big Data tehnologija u praksi.
HSBC koristi Big Data tehnologije za borbu protiv lažnih transakcija s plastičnim karticama. Uz pomoć Big Data, tvrtka je povećala učinkovitost sigurnosne službe 3 puta, a otkrivanje lažnih incidenata - 10 puta. Ekonomski učinak od uvođenja ovih tehnologija premašio je 10 milijuna dolara.
Antiprijevara * VISA omogućuje automatsko izračunavanje lažnih transakcija, sustav trenutno pomaže u sprječavanju lažnih plaćanja u iznosu od 2 milijarde USD godišnje.
Superračunalo Watson Company IBM analizira tijek podataka o novčanim transakcijama u stvarnom vremenu. Prema IBM-u, Watson je povećao broj otkrivenih lažnih transakcija za 15%, smanjio lažne pozitivne rezultate za 50% i povećao iznos sredstava zaštićenih od takvih transakcija za 60%.
Procter & Gamble
uz pomoć Big Data dizajniraju nove proizvode i sastavljaju globalne marketinške kampanje. P&G je uspostavio namjenske urede Business Spheres u kojima se informacije mogu pregledavati u stvarnom vremenu.
Tako je uprava tvrtke mogla odmah testirati hipoteze i provesti eksperimente. P&G vjeruje da Big Data pomaže u predviđanju uspješnosti tvrtke.
Trgovac uredskim materijalom OfficeMax koristeći Big Data tehnologije, analiziraju ponašanje kupaca. Analiza velikih podataka omogućila nam je povećanje B2B prihoda za 13% i smanjenje troškova za 400.000 USD godišnje.
Po mišljenju Gusjenica , njegovi distributeri gube 9 do 18 milijardi dolara godišnje dobiti samo zato što ne implementiraju Big Data tehnologije. Big Data bi korisnicima omogućio učinkovitije upravljanje svojim voznim parkom analizirajući informacije koje dolaze od senzora instaliranih na automobilima.
Danas je već moguće analizirati stanje ključnih komponenti, njihov stupanj istrošenosti, upravljati troškovima goriva i održavanja.
Grupa Luxottica je proizvođač sportskih naočala kao što su Ray-Ban, Persol i Oakley. Tvrtka koristi Big Data tehnologije za analizu ponašanja potencijalnih kupaca i "pametni" SMS marketing. Kao rezultat toga, grupa Big Data Luxottica dodijelila je više od 100 milijuna najvrjednijih kupaca i povećala učinkovitost marketinške kampanje za 10%.
Uz pomoć Yandex Data Factory, programeri igara Svijet tenkova analizirati ponašanje igrača. Big Data tehnologije omogućile su analizu ponašanja 100 tisuća igrača World of Tanks koristeći više od 100 parametara (informacije o kupnji, igrama, iskustvu itd.). Kao rezultat analize dobivena je prognoza odljeva korisnika. Ove informacije pomažu u smanjenju napuštanja korisnika i ciljanom radu sa sudionicima igre. Pokazalo se da je razvijeni model 20-30% učinkovitiji od standardnih alata za analizu industrije igara.
njemačko ministarstvo rada koristi Big Data u svom radu vezanom uz analizu pristiglih zahtjeva za izdavanje naknade za nezaposlene. Dakle, nakon analize informacija, postalo je jasno da je 20% naknada isplaćeno nezasluženo. Ministarstvo rada je uz pomoć Big Data smanjilo troškove za 10 milijardi eura.
Dječja bolnica u Torontu implementirao projekt Projekt Artemis. Riječ je o informacijskom sustavu koji prikuplja i analizira podatke o bebama u stvarnom vremenu. Sustav svake sekunde prati 1260 pokazatelja stanja svakog djeteta. Projekt Artemis omogućuje predviđanje nestabilnog stanja djeteta i početak prevencije bolesti kod djece.
PREGLED GLOBALNOG TRŽIŠTA BIG DATA
Trenutno stanje na svjetskom tržištu
U 2014. Big Data je, prema Data Collectiveu, postao jedno od prioritetnih područja ulaganja u industriju rizičnog kapitala. Kako navodi informativni portal Computerra, to je zbog činjenice da je razvoj na ovom području počeo donositi značajne rezultate za svoje korisnike. Tijekom protekle godine broj tvrtki s implementiranim projektima u području upravljanja velikim podacima porastao je za 125%, a tržišni volumen porastao je za 45% u odnosu na 2013. godinu.
Najveći dio prihoda tržišta Big Data, prema Wikibonu, u 2014. godini činile su usluge, njihov udio je bio jednak 40% ukupnog prihoda (vidi dijagram ispod):
Ako uzmemo u obzir Big Data za 2014. po podvrstama, onda će tržište izgledati ovako:
Prema Wikibonu, aplikacije i analitika čine 36% prihoda Big Data u 2014. godini dolazi od Big Data aplikacija i analitike, 17% od računalne opreme i 15% od tehnologija za pohranu podataka. Najmanje prihoda ostvarile su NoSQL tehnologije, infrastrukturna oprema i pružanje mreže tvrtki (korporativne mreže).
Najpopularnije Big Data tehnologije su in-memory platforme SAP, HANA, Oracle itd. Rezultati istraživanja T-Systems pokazali su da ih je odabralo 30% ispitanih tvrtki. Druge po popularnosti bile su NoSQL platforme (18% korisnika), tvrtke su koristile i analitičke platforme Splunka i Della, odabralo ih je 15% tvrtki. Najmanje korisni za rješavanje problema velikih podataka, prema rezultatima ankete, bili su Hadoop/MapReduce proizvodi.
Prema istraživanju Accenturea, više od 50% tvrtki koje koriste Big Data tehnologije troše 21% do 30% na Big Data.
Prema sljedećoj analizi Accenturea, 76% tvrtki vjeruje da će ti troškovi porasti u 2015. godini, a 24% tvrtki neće mijenjati svoj proračun za Big Data tehnologije. To sugerira da je u tim tvrtkama Big Data već postao ustaljeni smjer IT-a, koji je postao sastavni dio razvoja tvrtke.
Rezultati istraživanja Economist Intelligence Unit potvrđuju pozitivan učinak implementacije Big Data. 46% tvrtki kaže da je poboljšalo uslugu korisnicima za više od 10% korištenjem Big Data tehnologija, 33% tvrtki je optimiziralo zalihe i poboljšalo produktivnost dugotrajne imovine, 32% tvrtki je poboljšalo procese planiranja.
Veliki podaci širom svijeta
Danas se Big Data tehnologije najčešće implementiraju u američkim tvrtkama, ali i sada su druge zemlje svijeta počele pokazivati interes. U 2014. godini, prema IDC-u, zemlje Europe, Bliskog istoka, Azije (bez Japana) i Afrike činile su 45% tržišta softvera, usluga i opreme u području velikih podataka.Također, prema istraživanju CIO-a, tvrtke iz azijsko-pacifičke regije ubrzano usvajaju nova rješenja u području analize velikih podataka, sigurne pohrane i cloud tehnologija. Latinska Amerika je na drugom mjestu po količini ulaganja u razvoj Big Data tehnologija, ispred zemalja Europe i SAD-a.
Zatim će biti predstavljen opis i prognoze razvoja tržišta velikih podataka u nekoliko zemalja.
Kina
Volumen informacija u Kini iznosi 909 eksabajta, što je jednako 10% ukupne količine informacija u svijetu, do 2020. količina informacija dostići će 8060 eksabajta, a također će se povećati udio informacija u globalnoj statistici, u 5 godina bit će 18%. Potencijalni rast kineskog Big Data ima jednu od najbrže rastućih dinamika.
Brazil
Krajem 2014. Brazil je akumulirao 212 eksabajta informacija, što je 3% globalnog volumena. Do 2020. volumen informacija će narasti na 1600 eksabajta, odnosno 4% svjetskih informacija.
Indija
Prema EMC-u, volumen akumuliranih podataka u Indiji na kraju 2014. iznosi 326 eksabajta, što je 5% ukupnog volumena informacija. Do 2020. volumen informacija će narasti na 2800 eksabajta, odnosno 6% informacija u cijelom svijetu.
Japan
Količina akumuliranih podataka u Japanu na kraju 2014. iznosi 495 eksabajta, što je 8% ukupne količine informacija. Do 2020. volumen informacija će narasti na 2200 eksabajta, ali će se tržišni udio Japana smanjiti na 5% ukupnog volumena informacija u cijelom svijetu.
Tako će se veličina japanskog tržišta smanjiti za više od 30%.
Njemačka
Prema EMC-u, volumen akumuliranih podataka u Njemačkoj na kraju 2014. iznosi 230 eksabajta, što je 4% ukupnog volumena informacija u svijetu. Do 2020. volumen informacija će narasti na 1100 eksabajta, odnosno 2%.
Na njemačkom tržištu veliki udio prihoda, prema prognozama Experton grupe, ostvarit će segment usluga, čiji će udio u 2015. iznositi 54%, a u 2019. porast će na 59%, udio softvera i hardver će se, naprotiv, smanjiti.
Sveukupno, tržište će porasti s 1,345 milijardi eura u 2015. na 3,198 milijardi eura u 2019., uz prosječnu stopu rasta od 24%.
Dakle, na temelju CIO i EMC analitike, može se zaključiti da će zemlje u razvoju u narednim godinama postati tržišta za aktivan razvoj Big Data tehnologija.
Glavni tržišni trendovi
Prema IDG Enterpriseu, u 2015. potrošnja tvrtki na Big Data iznosit će u prosjeku 7,4 milijuna USD po tvrtki, velike tvrtke namjeravaju potrošiti oko 13,8 milijuna USD, male i srednje tvrtke - 1,6 milijuna USD.Najviše će se ulagati u područja kao što su analiza podataka i vizualizacija te prikupljanje podataka.
U skladu s aktualnim trendovima i potražnjom tržišta, ulaganja u 2015. godini iskoristit će se za poboljšanje kvalitete podataka, poboljšanje planiranja i predviđanja te povećanje brzine obrade podataka.
Tvrtke u financijskom sektoru, prema Bain Company's Insights Analysis, napravit će značajna ulaganja, pa se tako u 2015. godini planira potrošiti 6,4 milijarde dolara na Big Data tehnologije, prosječna stopa rasta ulaganja iznosit će 22% do 2020. godine. Internetske tvrtke planiraju potrošiti 2,8 milijardi dolara, s prosječnom stopom rasta od 26% za Big Data potrošnju.
Provođenjem ankete Economist Intelligence Unit istraživanja identificirani su prioritetni pravci razvoja Big Data u 2014. iu sljedeće 3 godine, a distribucija odgovora je sljedeća:
Prema prognozama IDC-a, tržišni trendovi su sljedeći:
- U sljedećih 5 godina cijena rješenja u oblaku u području Big Data tehnologija će rasti 3 puta brže od cijene lokalnih rješenja. Hibridne platforme za pohranu bit će tražene.
- Rast aplikacija koje koriste složenu i prediktivnu analitiku, uključujući strojno učenje, ubrzat će se 2015. godine, tržište takvih aplikacija će rasti 65% brže od aplikacija koje ne koriste prediktivnu analitiku.
- Medijska analitika će se u 2015. utrostručiti i postat će ključni pokretač rasta tržišta tehnologije Big Data.
- Trend će se ubrzati za implementaciju rješenja za analizu kontinuiranog protoka informacija koji je primjenjiv na Internet stvari.
- Do 2018. 50% korisnika će komunicirati s kognitivnim računalnim uslugama.
Tržišni pokretači i ograničavači
Stručnjaci IDC-a identificirali su 3 pokretača tržišta velikih podataka u 2015. godini:Prema istraživanju Accenturea, pitanja sigurnosti podataka sada su glavna prepreka implementaciji Big Data tehnologija, a više od 51% ispitanika potvrdilo je da su zabrinuti za osiguranje zaštite i povjerljivosti podataka. 47% tvrtki izjavilo je da je nemoguće implementirati Big Data zbog ograničenog proračuna, 41% tvrtki kao problem je navelo nedostatak kvalificiranog osoblja.
Wikibon predviđa da će veličina tržišta velikih podataka narasti na 38,4 milijarde dolara u 2015. i da će porasti za 36% u odnosu na prethodnu godinu. U narednim godinama doći će do pada stopa rasta na 10% u 2017. godini. Na temelju ovih predviđanja, veličina tržišta u 2020. iznosit će 68,7 milijardi USD.
Distribucija globalnog tržišta velikih podataka po poslovnim kategorijama izgledat će ovako:
Kao što možete vidjeti iz dijagrama, veći dio tržišta zauzimat će tehnologije iz područja poboljšanja korisničke usluge. Point marketing će biti na drugom mjestu po prioritetu među tvrtkama do 2019. godine, 2020. će, prema prognozi Heavy Readinga, ustupiti mjesto rješenjima za poboljšanje operativne učinkovitosti.
Najveću stopu rasta imat će i segment „poboljšanje korisničke usluge“, porast od 49% godišnje.
Prognoza tržišta za podvrste Big Data izgledat će ovako:
Dominantan tržišni udio, kao što je vidljivo iz dijagrama, zauzimaju profesionalne usluge, najveću stopu rasta imat će aplikacije s analitikom, njihov će udio porasti sa sadašnjih 12% na 18% u 2020. godini, a obim ovog segment će iznositi 12,3 milijarde USD, udio računalne opreme će, naprotiv, pasti sa 20% na 14% i iznosit će oko 9,3 milijarde američkih dolara u 2020., tržište oblaka tehnologija će se postupno povećavati i 2020. dosegnut će 6,3 milijarde američkih dolara, tržišni udio rješenja za pohranu podataka, naprotiv, smanjit će se s 15% u 2014. na 13% u 2020., a u monetarnom smislu iznosit će 8,9 milijardi USD.
Prema prognozi Bain & Company's Insights Analysis, distribucija tržišta velikih podataka po industrijama u 2020. će izgledati ovako:
- Financijska industrija će potrošiti 6,4 milijarde dolara na Big Data s prosječnom stopom rasta od 22% godišnje;
- Internetske tvrtke potrošit će 2,8 milijardi dolara i prosječnu stopu rasta troškova od 26% u sljedećih 5 godina;
- Troškovi javnog sektora bit će razmjerni troškovima internetskih tvrtki, ali će stopa rasta biti niža - 22%;
- Sektor telekomunikacija će rasti prosječnom stopom rasta od 40% kako bi dosegnuo 1,2 milijarde USD u 2020.;
Komunalna poduzeća će u ove tehnologije uložiti relativno mali iznos od 800 milijuna američkih dolara, ali će stopa rasta biti jedna od najviših od 54% godišnje.
Tako će veliki udio na Big Data tržištu 2020. godine zauzeti tvrtke iz financijske industrije, a najbrže rastući sektor bit će energetika.
Slijedom predviđanja analitičara, ukupni tržišni volumen će se povećati u narednim godinama. Rast tržišta osigurat će se uvođenjem Big Data tehnologija u zemlje u razvoju svijeta, što je vidljivo iz donjeg grafikona.
Predviđena veličina tržišta ovisit će o tome kako zemlje u razvoju percipiraju Big Data tehnologije, jesu li popularne kao u razvijenim zemljama. U 2014. na zemlje u razvoju svijeta otpada 40% akumuliranih informacija. EMC predviđa da će se sadašnja struktura tržišta, u kojoj dominiraju razvijene zemlje, promijeniti u 2017. godini. Prema analitičarima EMC-a, 2020. godine udio zemalja u razvoju bit će preko 60%.
Prema Ciscu i EMC-u, zemlje u razvoju svijeta bit će prilično aktivne u radu s Big Data, ponajviše zbog dostupnosti tehnologija i akumulacije dovoljne količine informacija do razine Big Data. Karta svijeta na sljedećoj stranici prikazat će prognozu povećanja obujma i stope rasta Big Data po regijama.
ANALIZA RUSKOG TRŽIŠTA
Trenutno stanje na ruskom tržištu
Prema studiji CNews Analytics i Oraclea, razina zrelosti ruskog tržišta velikih podataka porasla je tijekom prošle godine. Ispitanici iz 108 velikih poduzeća u širokom rasponu industrija pokazali su veći stupanj svijesti o ovim tehnologijama, kao i utvrđeno razumijevanje potencijala takvih rješenja za njihovo poslovanje.
Od 2014., prema IDC-u, u Rusiji je akumulirano 155 eksabajta informacija, što je samo 1,8% svjetskih podataka. Količina informacija do 2020. dosegnut će 980 eksabajta i zauzimat će 2,2%. Tako će prosječna stopa rasta količine informacija iznositi 36% godišnje.
IDC procjenjuje rusko tržište na 340 milijuna dolara, od čega su 100 milijuna dolara SAP rješenja, oko 240 milijuna dolara su slična rješenja Oraclea, IBM-a, SAS-a, Microsofta itd.
Stopa rasta ruskog tržišta velikih podataka nije manja od 50% godišnje.
Predviđa se nastavak pozitivne dinamike u ovom sektoru ruskog IT tržišta, čak iu kontekstu opće stagnacije gospodarstva. To je zbog činjenice da su poduzeća još uvijek tražena za rješenjima koja poboljšavaju operativnu učinkovitost, kao i optimiziraju troškove, poboljšavaju točnost predviđanja i minimiziraju moguće rizike tvrtke.
Glavni pružatelji usluga Big Data na ruskom tržištu su:
- Oracle
- Microsoft
- Cloudera
- Hortonworks
- Teradata.
Pregled tržišta po djelatnostima i iskustvo korištenja Big Data u tvrtkama
Prema CNewsu, u Rusiji je samo 10% tvrtki počelo koristiti Big Data tehnologije, dok je udio takvih tvrtki u svijetu oko 30%. Spremnost za Big Data projekte raste u mnogim sektorima ruskog gospodarstva, prema izvješću CNews Analytics i Oraclea. Više od trećine ispitanih tvrtki (37%) počelo je raditi s Big Data tehnologijama, među kojima 20% već koristi takva rješenja, a 17% počinje eksperimentirati s njima. Druga trećina ispitanika trenutno razmatra ovu mogućnost.
U Rusiji su Big Data tehnologije popularnije u bankarskom sektoru i telekomunikacijama, ali su također tražene u rudarskoj industriji, energetici, maloprodaji, logističkim tvrtkama i javnom sektoru.
U nastavku ćemo razmotriti primjere primjene Big Data u ruskoj stvarnosti.
Telekom
Telekom operateri imaju jednu od najopsežnijih baza podataka, što im omogućuje provođenje najdublje analize prikupljenih informacija.
Jedno od područja primjene Big Data tehnologije je upravljanje lojalnošću pretplatnika.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da biste to učinili, tvrtke segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika. Osim korištenja informacija u marketinške svrhe, telekomunikacijske tehnologije se koriste za sprječavanje lažnih financijskih transakcija.
VimpelCom je jedan od upečatljivih primjera ove industrije. Tvrtka koristi Big Data za poboljšanje kvalitete usluge na razini svakog pretplatnika, pripremu izvješća, analizu podataka za razvoj mreže, borbu protiv neželjene pošte i personaliziranje usluga.
Banke
Značajan dio korisnika Big Data su stručnjaci iz financijske industrije. Jedan od uspješnih eksperimenata proveden je u Uralskoj banci za obnovu i razvoj, gdje je baza podataka korištena za analizu klijenata, banka je počela nuditi specijalizirane ponude zajmova, depozita i drugih usluga. Tijekom godine korištenja ovih tehnologija, kreditni portfelj tvrtke porastao je za 55%.
Alfa-Bank analizira informacije s društvenih mreža, obrađuje zahtjeve za kredit, analizira ponašanje korisnika web stranice tvrtke.
Sberbank je također počela obrađivati ogromnu količinu podataka kako bi segmentirala klijente, spriječila prijevarne aktivnosti, unakrsno prodavala i upravljala rizikom. U budućnosti se planira poboljšati uslugu i analizirati radnje korisnika u stvarnom vremenu.
Sveruska regionalna razvojna banka analizira ponašanje vlasnika plastičnih kartica. To omogućuje prepoznavanje transakcija koje su netipične za određenog klijenta, čime se povećava vjerojatnost otkrivanja krađe sredstava s plastičnih kartica.
Maloprodaja
U Rusiji su tehnologije Big Data implementirale i online i offline trgovačke tvrtke. Danas, prema CNews Analyticsu, velike podatke koristi 20% trgovaca. 75% trgovaca vjeruje da su Big Data neophodni za razvoj konkurentne marketinške strategije. Prema Hadoop statistici, nakon implementacije Big Data tehnologije, profit u trgovačkim organizacijama raste za 7-10%.
Stručnjaci M.Videoa govore o poboljšanju logističkog planiranja nakon implementacije SAP HANA, a kao rezultat njegove implementacije, izrada godišnjih izvještaja smanjena je sa 10 dana na 3 dana, brzina dnevnog preuzimanja podataka smanjena je sa 3 sati do 30 minuta.
Wikimart koristi ove tehnologije za generiranje preporuka za posjetitelje web stranice.
Jedna od prvih offline trgovina koja je uvela analizu velikih podataka u Rusiji bila je Lenta. Uz pomoć Big Data maloprodaja je počela proučavati podatke o kupcima s blagajničkih računa. Trgovac na malo prikuplja informacije kako bi generirao modele ponašanja, što im omogućuje donošenje informiranih odluka na operativnoj i poslovnoj razini.
Industrija nafte i plina
U ovoj industriji opseg primjene Big Data je prilično širok. Big Data tehnologije mogu se primijeniti u vađenju minerala iz podzemlja. Uz njihovu pomoć možete analizirati sam proizvodni proces i najučinkovitije načine njegove ekstrakcije, pratiti proces bušenja, analizirati kvalitetu sirovina, kao i preradu i marketing konačnog proizvoda. U Rusiji su Transneft i Rosneft već počeli koristiti te tehnologije.
Državna tijela
Zemlje poput Njemačke, Australije, Španjolske, Japana, Brazila i Pakistana koriste Big Data tehnologije za rješavanje nacionalnih problema. Ove tehnologije pomažu državnim tijelima da učinkovitije pružaju usluge stanovništvu, pružaju ciljanu socijalnu podršku.
U Rusiji su ove tehnologije počela svladavati takva državna tijela kao što su Mirovinski fond, Federalna porezna služba i Fond obveznog zdravstvenog osiguranja. Potencijal za provedbu projekata koji koriste Big Data je velik, te bi tehnologije mogle pomoći poboljšanju kvalitete usluga i, kao rezultat, životnog standarda stanovništva.
Logistika i transport
Big Data mogu koristiti i transportne tvrtke. Uz pomoć Big Data tehnologija moguće je pratiti parkiralište, uzimati u obzir troškove goriva i pratiti zahtjeve kupaca.
Ruske željeznice implementirale su Big Data tehnologije zajedno sa SAP-om. Te su tehnologije pomogle da se razdoblje izvješćivanja smanji za 43,5 puta (sa 14,5 sati na 20 minuta), te da se poboljša točnost alokacije troškova za 40 puta. Također, Big Data je uveden u procese planiranja i regulacije tarifa. Ukupno, tvrtke koriste više od 300 sustava baziranih na SAP rješenjima, uključena su 4 podatkovna centra, a broj korisnika je 220.000.
Glavni pokretači i tržišna ograničenja
Pokretači razvoja Big Data tehnologija na ruskom tržištu su:- Povećani interes korisnika za mogućnosti Big Data kao načina povećanja konkurentnosti tvrtke;
- Razvoj metoda za obradu medijskih datoteka na globalnoj razini;
- Prijenos poslužitelja koji obrađuju osobne podatke na teritorij Rusije, u skladu s usvojenim zakonom o pohrani i obradi osobnih podataka;
- Provedba sektorskog plana za zamjenu uvoza softvera. Ovaj plan uključuje državnu potporu domaćim proizvođačima softvera, kao i davanje preferencija za domaće IT proizvode pri kupnji o javnom trošku.
- U novoj ekonomskoj situaciji, kada se tečaj dolara gotovo udvostručio, postojat će trend sve više korištenja usluga ruskih davatelja oblaka nego stranih.
- Stvaranje tehnoparkova koji doprinose razvoju tržišta informacijske tehnologije, uključujući tržište velikih podataka;
- Državni program za implementaciju mrežnih sustava koji se temelje na Big Data tehnologijama.
Glavne prepreke razvoju velikih podataka na ruskom tržištu su:
- Osiguravanje sigurnosti i povjerljivosti podataka;
- Nedostatak kvalificiranog osoblja;
- Nedostatak akumuliranih informacijskih resursa do razine Big Data u većini ruskih tvrtki;
- Poteškoće u uvođenju novih tehnologija u uspostavljene informacijske sustave poduzeća;
- Visoka cijena Big Data tehnologija, što dovodi do ograničenog broja poduzeća koja su u mogućnosti implementirati te tehnologije;
- Politička i ekonomska neizvjesnost koja je dovela do odljeva kapitala i zamrzavanja investicijskih projekata u Rusiji;
- Rast cijena uvoznih proizvoda i porast inflacije, prema IDC-u, usporavaju razvoj cjelokupnog IT tržišta.
Prognoza ruskog tržišta
Rusko tržište velikih podataka od danas nije toliko popularno kao u razvijenim zemljama. Većina ruskih tvrtki pokazuje interes za to, ali se ne usuđuje iskoristiti svoje mogućnosti.Primjeri velikih tvrtki koje su već imale koristi od Big Data tehnologija podižu svijest o moći ovih tehnologija.
Analitičari su također prilično optimistični u pogledu ruskog tržišta. IDC vjeruje da će se ruski tržišni udio povećati tijekom sljedećih 5 godina, za razliku od tržišta u Njemačkoj i Japanu.
Do 2020. obujam velikih podataka u Rusiji će porasti sa sadašnjih 1,8% na 2,2% globalnog volumena podataka. Količina informacija će porasti, prema EMC-u, sa sadašnjih 155 eksabajta na 980 eksabajta 2020. godine.
Trenutno Rusija nastavlja akumulirati količinu informacija do razine Big Data.
Prema anketi CNews Analytics, 44% ispitanih tvrtki radi s podacima ne većim od 100 terabajta*, a samo 13% radi s volumenima većim od 500 terabajta.
Ipak, rusko tržište će, prateći svjetske trendove, rasti. Od 2014. IDC procjenjuje veličinu tržišta na 340 milijuna dolara.
Stopa rasta tržišta prijašnjih godina bila je 50% godišnje, ako ostane na istoj razini, tada će u 2018. obujam tržišta dosegnuti 1,7 milijardi USD. Udio ruskog tržišta na svjetskom tržištu iznosit će oko 3%, s povećanjem sa sadašnjih 1,2%.
Industrije koje su najosjetljivije na korištenje velikih podataka u Rusiji su:
- Maloprodaja i banke, za njih je prije svega važna analiza baze klijenata, procjena učinka marketinških kampanja;
- Telekom - segmentacija baze korisnika i monetizacija prometa;
- Javni sektor - računovodstvo, analiza prijava stanovništva i sl.;
- Naftne tvrtke - praćenje rada i planiranje proizvodnje i prodaje;
- Energetske tvrtke - stvaranje inteligentnih elektroenergetskih sustava, operativni nadzor i predviđanje.
U Rusiji, kao i u svijetu, u bliskoj budućnosti će se pojaviti trend vizualizacije podataka, analize medijskih datoteka i razvoja interneta stvari.
Unatoč općoj stagnaciji gospodarstva, analitičari predviđaju daljnji rast Big Data tržišta u narednim godinama, prvenstveno zbog činjenice da korištenje Big Data tehnologija svojim korisnicima daje konkurentsku prednost u smislu povećanja operativne učinkovitosti poslovanja. , privlačenje dodatnih kupaca, minimiziranje rizika i implementacija tehnologija predviđanja podataka.
Dakle, možemo zaključiti da je segment Big Data u Rusiji u fazi formiranja, ali potražnja za tim tehnologijama raste svake godine.
Ključni rezultati analize tržišta
Svjetsko tržište
Krajem 2014. tržište Big Data karakteriziraju sljedeći parametri:- veličina tržišta iznosila je 28,5 milijardi USD, što je povećanje od 45% u odnosu na prethodnu godinu;
- najveći dio prihoda tržišta Big Data čine usluge, njihov udio je bio jednak 40% u ukupnom prihodu;
- 36% prihoda došlo je od Big Data aplikacija i analitike, 17% od računalne opreme i 15% od tehnologija za pohranu podataka;
- Najpopularnije platforme za rješavanje problema velikih podataka su in-memory platforme tvrtki kao što su SAP, HANA i Oracle.
- broj tvrtki s implementiranim projektima iz područja upravljanja velikim podacima povećan je za 125%;
- u 2015. obujam tržišta dosegnut će 38,4 milijarde USD, u 2020. - 68,7 milijardi USD;
- prosječna stopa rasta iznosit će 16% godišnje;
- prosječni troškovi tvrtke za Big Data tehnologije iznosit će 13,8 milijuna USD za velike tvrtke i 1,6 milijuna USD za mala i srednja poduzeća;
- tehnologije će biti najzastupljenije u područjima korisničke usluge i point marketinga;
- u 2017. globalna tržišna struktura promijenit će se prema prevlasti korisničkih tvrtki iz zemalja u razvoju.
rusko tržište
Rusko tržište velikih podataka je u fazi formiranja, rezultati 2014. su sljedeći:- veličina tržišta dosegla je 340 milijuna USD;
- prosječna stopa rasta tržišta u prethodnim godinama iznosila je 50% godišnje;
- ukupna količina akumuliranih informacija iznosila je 155 eksabajta;
- 10% ruskih tvrtki počelo je koristiti Big Data tehnologije;
- Big Data tehnologije bile su popularnije u bankarstvu, telekomunikacijama, internetskim tvrtkama i maloprodaji.
- obujam ruskog tržišta u 2015. dosegnut će 500 milijuna USD, au 2018. - 1,7 milijardi USD;
- udio ruskog tržišta u svijetu bit će oko 3% u 2018.;
- količina akumuliranih podataka u 2020. bit će 980 eksabajta;
- obujam podataka će narasti na 2,2% globalnog volumena podataka u 2020.;
- najpopularnije tehnologije bit će vizualizacija podataka, analiza medijskih datoteka i internet stvari.
Hvala vam što ste odvojili vrijeme za čitanje ovog opsežnog djela, pretplatite se na naš blog - obećavamo mnogo novih zanimljivih publikacija!
Moskva_Exchange 6. svibnja 2015. u 20:38
Analitički pregled tržišta velikih podataka
- blog tvrtke Moskovska burza,
- Veliki podaci
"Veliki podaci"- tema o kojoj aktivno raspravljaju tehnološke tvrtke. Neki od njih uspjeli su se razočarati velikim podacima, drugi - naprotiv, maksimalno ih iskoriste za posao... Svježi analitički pregled domaćeg i globalnog Big Data tržišta, koji je pripremila Moskovska burza u suradnji s analitičarima IPOboarda , pokazuje koji su trendovi sada najrelevantniji na tržištu... Nadamo se da će informacije biti zanimljive i korisne.
ŠTO JE VELIKI PODACI?
Ključne značajke
Veliki podaci danas su jedan od ključnih pokretača razvoja informacijske tehnologije. Ovaj smjer, relativno nov za rusko poslovanje, postao je široko rasprostranjen u zapadnim zemljama. To je zbog činjenice da se u eri informacijske tehnologije, posebice nakon procvata društvenih mreža, počela akumulirati značajna količina informacija za svakog korisnika interneta, što je u konačnici dovelo do smjera Big Data.Izraz "Big Data" izaziva mnogo kontroverzi, mnogi vjeruju da samo označava količinu akumuliranih informacija, ali ne zaboravite na tehničku stranu, ovo područje uključuje tehnologije pohrane podataka, računalstvo, kao i usluge.
Valja napomenuti da ovo područje uključuje obradu velike količine informacija, koje je teško obraditi tradicionalnim metodama *.
Ispod je usporedna tablica tradicionalne i velike baze podataka.
Sferu velikih podataka karakteriziraju sljedeće značajke:
Volumen
- volumen akumulirane baze podataka je velika količina informacija koje je teško obraditi i pohraniti na tradicionalne načine, zahtijevaju novi pristup i poboljšane alate.
Brzina
- brzina, ovaj znak označava i sve veću brzinu akumulacije podataka (90% informacija prikupljeno je u posljednje 2 godine), i brzinu obrade podataka, u posljednje vrijeme tehnologije obrade podataka u stvarnom vremenu postale su sve traženije.
Raznolikost
- raznolikost, t.j. mogućnost simultane obrade strukturiranih i nestrukturiranih višeformatnih informacija. Glavna razlika između strukturiranih informacija je u tome što se mogu klasificirati. Primjer takvih informacija su informacije o transakcijama kupaca.
Nestrukturirane informacije uključuju video, audio datoteke, besplatni tekst, informacije koje dolaze s društvenih mreža. Danas je 80% informacija uključeno u nestrukturiranu skupinu. Ove informacije zahtijevaju složenu analizu kako bi bile korisne za daljnju obradu.
Istinitost
- pouzdanosti podataka, korisnici su počeli pridavati sve veći značaj pouzdanosti dostupnih podataka. Primjerice, internetske tvrtke imaju problem odvajanja radnji koje provode robot i osoba na web stranici tvrtke, što u konačnici dovodi do poteškoća u analizi podataka.
Vrijednost
- vrijednost akumuliranih informacija. Big Data bi trebao biti koristan za tvrtku i donijeti joj određenu vrijednost. Na primjer, pomoć u poboljšanju poslovnih procesa, izvješćivanju ili optimizaciji troškova.
Ako je ispunjeno gornjih 5 uvjeta, akumulirani volumeni podataka mogu se klasificirati kao veliki.
Područja primjene velikih podataka
Sfera korištenja Big Data tehnologija je velika. Dakle, uz pomoć Big Data možete saznati o preferencijama kupaca, učinkovitosti marketinških kampanja ili provesti analizu rizika. U nastavku su rezultati istraživanja IBM Instituta o korištenju Big Data u tvrtkama.
Kao što možete vidjeti iz dijagrama, većina tvrtki koristi Big Data u području korisničke usluge, drugo najpopularnije područje je operativna učinkovitost, u području upravljanja rizicima Big Data je trenutno rjeđi.
Također treba napomenuti da su Big Data jedno od najbrže rastućih područja informacijske tehnologije, prema statistikama, ukupna količina primljenih i pohranjenih podataka udvostručuje se svake 1,2 godine.
Između 2012. i 2014. količina podataka koji se mjesečno prenose mobilnim mrežama porasla je za 81%. Prema procjenama Cisca, u 2014. obujam mobilnog prometa iznosio je 2,5 eksabajta (mjerna jedinica za količinu informacija jednaka 10 ^ 18 standardnih bajtova) mjesečno, a 2019. iznosit će 24,3 eksabajta.
Dakle, Big Data je već uhodano tehnološko područje, čak i unatoč svojoj relativno mladoj dobi, koje je postalo rašireno u mnogim područjima poslovanja i igra važnu ulogu u razvoju tvrtki.
Tehnologije velikih podataka
Tehnologije koje se koriste za prikupljanje i obradu velikih podataka mogu se podijeliti u 3 grupe:- Softver;
- Oprema;
- Servisne usluge.
Najčešći pristupi obradi podataka (softverski) uključuju:
SQL
- strukturirani jezik upita koji vam omogućuje rad s bazama podataka. Uz pomoć SQL-a možete kreirati i mijenjati podatke, a odgovarajući sustav upravljanja bazom podataka se bavi upravljanjem skupom podataka.
NoSQL
- izraz je skraćenica za Ne samo SQL (ne samo SQL). Uključuje niz pristupa usmjerenih na implementaciju baze podataka koji se razlikuju od modela koji se koriste u tradicionalnim, relacijskim DBMS-ima. Prikladni su za korištenje kada se struktura podataka stalno mijenja. Na primjer, za prikupljanje i pohranjivanje informacija na društvenim mrežama.
MapReduce
- model računske distribucije. Koristi se za paralelno računanje na vrlo velikim skupovima podataka (petabajta * ili više). U programskom sučelju ne prenose se podaci u program na obradu, već se program prenosi u podatke. Stoga je zahtjev zaseban program. Princip rada sastoji se u sekvencijalnoj obradi podataka pomoću dvije metode Map i Reduce. Karta dohvaća preliminarne podatke, Reduce ih agregira.
Hadoop
- koristi se za implementaciju mehanizama pretraživanja i konteksta visoko opterećenih stranica - Facebook, eBay, Amazon itd. Posebnost je da je sustav zaštićen od kvara bilo kojeg od čvorova klastera, budući da svaki blok ima barem jednu kopiju podatke na drugom čvoru.
SAP HANA
To je NewSQL platforma visokih performansi za pohranu i obradu podataka. Omogućuje veliku brzinu obrade zahtjeva. Još jedna razlikovna značajka je da SAP HANA pojednostavljuje krajolik sustava smanjujući troškove podrške analitičkim sustavima.
Tehnološka oprema uključuje:
- poslužitelji;
- infrastrukturna oprema.
Infrastrukturna oprema uključuje akceleratore platforme, neprekidna napajanja, setove poslužiteljske konzole itd.
Servisne usluge.
Usluge uključuju usluge izgradnje arhitekture sustava baze podataka, uređenje i optimizaciju infrastrukture, te osiguranje sigurnosti pohrane podataka.
Softver, hardver i usluge zajedno tvore složene platforme za pohranu i analizu podataka. Tvrtke kao što su Microsoft, HP, EMC nude usluge za razvoj, implementaciju i upravljanje Big Data rješenja.
Primjena u industrijama
Big Data je postao široko rasprostranjen u mnogim industrijama. Koriste se u zdravstvu, telekomunikacijama, trgovini, logistici, financijskim tvrtkama i vladi.U nastavku su neki primjeri aplikacija Big Data u nekim industrijama.
Maloprodaja
U bazama podataka maloprodajnih objekata može se akumulirati mnogo informacija o kupcima, sustavu upravljanja zalihama i opskrbi tržišnim proizvodima. Ove informacije mogu biti korisne u svim dijelovima trgovina.
Dakle, uz pomoć akumuliranih informacija možete upravljati opskrbom robe, njihovim skladištenjem i prodajom. Na temelju prikupljenih informacija moguće je predvidjeti potražnju i ponudu robe. Također, sustav obrade i analize podataka može riješiti i druge probleme trgovca, na primjer, optimizirati troškove ili pripremiti izvješća.
Financijske usluge
Big Data omogućuje analizu kreditne sposobnosti zajmoprimca, a koristan je i za ocjenjivanje kredita * i osiguranje **. Uvođenje Big Data tehnologija smanjit će vrijeme za razmatranje zahtjeva za kredit. Uz pomoć Big Data možete analizirati transakcije određenog klijenta i ponuditi mu bankovne usluge koje su mu prikladne.
Telekom
U telekomunikacijskoj industriji mobilni operateri naširoko koriste Big Data.
Mobilni operateri, uz financijske institucije, imaju jednu od najopsežnijih baza podataka, što im omogućuje da provedu najdublju analizu prikupljenih informacija.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da biste to učinili, tvrtke segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika.
Osim korištenja Big Data u marketinške svrhe, tehnologije se koriste za sprječavanje lažnih financijskih transakcija.
Rudarska i naftna industrija
Big Data se koristi u rudarstvu i obradi i marketingu. Na temelju primljenih informacija, poduzeća mogu donijeti zaključke o učinkovitosti razvoja polja, pratiti raspored remonta i stanje opreme, predvidjeti potražnju za proizvodima i cijene.
Prema istraživanju Tech Pro Research-a, veliki podaci su najrašireniji u telekomunikacijskoj industriji, kao iu inženjeringu, IT-u, financijskim i državnim poduzećima. Prema rezultatima ovog istraživanja, Big Data je manje popularan u obrazovanju i zdravstvu. Rezultati ankete prikazani su u nastavku:
Primjeri korištenja Big Data u tvrtkama
Danas se Big Data aktivno implementira u stranim tvrtkama. Tvrtke kao što su Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks i Netflix već koriste Big Data.Područja primjene obrađenih informacija su raznolika i variraju ovisno o industriji i zadacima koje treba izvršiti.
Predstavit će se daljnji primjeri primjene Big Data tehnologija u praksi.
HSBC koristi Big Data tehnologije za borbu protiv lažnih transakcija s plastičnim karticama. Uz pomoć Big Data, tvrtka je povećala učinkovitost sigurnosne službe 3 puta, a otkrivanje lažnih incidenata - 10 puta. Ekonomski učinak od uvođenja ovih tehnologija premašio je 10 milijuna dolara.
Antiprijevara * VISA omogućuje automatsko izračunavanje lažnih transakcija, sustav trenutno pomaže u sprječavanju lažnih plaćanja u iznosu od 2 milijarde USD godišnje.
Superračunalo Watson Company IBM analizira tijek podataka o novčanim transakcijama u stvarnom vremenu. Prema IBM-u, Watson je povećao broj otkrivenih lažnih transakcija za 15%, smanjio lažne pozitivne rezultate za 50% i povećao iznos sredstava zaštićenih od takvih transakcija za 60%.
Procter & Gamble
uz pomoć Big Data dizajniraju nove proizvode i sastavljaju globalne marketinške kampanje. P&G je uspostavio namjenske urede Business Spheres u kojima se informacije mogu pregledavati u stvarnom vremenu.
Tako je uprava tvrtke mogla odmah testirati hipoteze i provesti eksperimente. P&G vjeruje da Big Data pomaže u predviđanju uspješnosti tvrtke.
Trgovac uredskim materijalom OfficeMax koristeći Big Data tehnologije, analiziraju ponašanje kupaca. Analiza velikih podataka omogućila nam je povećanje B2B prihoda za 13% i smanjenje troškova za 400.000 USD godišnje.
Po mišljenju Gusjenica , njegovi distributeri gube 9 do 18 milijardi dolara godišnje dobiti samo zato što ne implementiraju Big Data tehnologije. Big Data bi korisnicima omogućio učinkovitije upravljanje svojim voznim parkom analizirajući informacije koje dolaze od senzora instaliranih na automobilima.
Danas je već moguće analizirati stanje ključnih komponenti, njihov stupanj istrošenosti, upravljati troškovima goriva i održavanja.
Grupa Luxottica je proizvođač sportskih naočala kao što su Ray-Ban, Persol i Oakley. Tvrtka koristi Big Data tehnologije za analizu ponašanja potencijalnih kupaca i "pametni" SMS marketing. Kao rezultat toga, grupa Big Data Luxottica dodijelila je više od 100 milijuna najvrjednijih kupaca i povećala učinkovitost marketinške kampanje za 10%.
Uz pomoć Yandex Data Factory, programeri igara Svijet tenkova analizirati ponašanje igrača. Big Data tehnologije omogućile su analizu ponašanja 100 tisuća igrača World of Tanks koristeći više od 100 parametara (informacije o kupnji, igrama, iskustvu itd.). Kao rezultat analize dobivena je prognoza odljeva korisnika. Ove informacije pomažu u smanjenju napuštanja korisnika i ciljanom radu sa sudionicima igre. Pokazalo se da je razvijeni model 20-30% učinkovitiji od standardnih alata za analizu industrije igara.
njemačko ministarstvo rada koristi Big Data u svom radu vezanom uz analizu pristiglih zahtjeva za izdavanje naknade za nezaposlene. Dakle, nakon analize informacija, postalo je jasno da je 20% naknada isplaćeno nezasluženo. Ministarstvo rada je uz pomoć Big Data smanjilo troškove za 10 milijardi eura.
Dječja bolnica u Torontu implementirao projekt Projekt Artemis. Riječ je o informacijskom sustavu koji prikuplja i analizira podatke o bebama u stvarnom vremenu. Sustav svake sekunde prati 1260 pokazatelja stanja svakog djeteta. Projekt Artemis omogućuje predviđanje nestabilnog stanja djeteta i početak prevencije bolesti kod djece.
PREGLED GLOBALNOG TRŽIŠTA BIG DATA
Trenutno stanje na svjetskom tržištu
U 2014. Big Data je, prema Data Collectiveu, postao jedno od prioritetnih područja ulaganja u industriju rizičnog kapitala. Kako navodi informativni portal Computerra, to je zbog činjenice da je razvoj na ovom području počeo donositi značajne rezultate za svoje korisnike. Tijekom protekle godine broj tvrtki s implementiranim projektima u području upravljanja velikim podacima porastao je za 125%, a tržišni volumen porastao je za 45% u odnosu na 2013. godinu.
Najveći dio prihoda tržišta Big Data, prema Wikibonu, u 2014. godini činile su usluge, njihov udio je bio jednak 40% ukupnog prihoda (vidi dijagram ispod):
Ako uzmemo u obzir Big Data za 2014. po podvrstama, onda će tržište izgledati ovako:
Prema Wikibonu, aplikacije i analitika čine 36% prihoda Big Data u 2014. godini dolazi od Big Data aplikacija i analitike, 17% od računalne opreme i 15% od tehnologija za pohranu podataka. Najmanje prihoda ostvarile su NoSQL tehnologije, infrastrukturna oprema i pružanje mreže tvrtki (korporativne mreže).
Najpopularnije Big Data tehnologije su in-memory platforme SAP, HANA, Oracle itd. Rezultati istraživanja T-Systems pokazali su da ih je odabralo 30% ispitanih tvrtki. Druge po popularnosti bile su NoSQL platforme (18% korisnika), tvrtke su koristile i analitičke platforme Splunka i Della, odabralo ih je 15% tvrtki. Najmanje korisni za rješavanje problema velikih podataka, prema rezultatima ankete, bili su Hadoop/MapReduce proizvodi.
Prema istraživanju Accenturea, više od 50% tvrtki koje koriste Big Data tehnologije troše 21% do 30% na Big Data.
Prema sljedećoj analizi Accenturea, 76% tvrtki vjeruje da će ti troškovi porasti u 2015. godini, a 24% tvrtki neće mijenjati svoj proračun za Big Data tehnologije. To sugerira da je u tim tvrtkama Big Data već postao ustaljeni smjer IT-a, koji je postao sastavni dio razvoja tvrtke.
Rezultati istraživanja Economist Intelligence Unit potvrđuju pozitivan učinak implementacije Big Data. 46% tvrtki kaže da je poboljšalo uslugu korisnicima za više od 10% korištenjem Big Data tehnologija, 33% tvrtki je optimiziralo zalihe i poboljšalo produktivnost dugotrajne imovine, 32% tvrtki je poboljšalo procese planiranja.
Veliki podaci širom svijeta
Danas se Big Data tehnologije najčešće implementiraju u američkim tvrtkama, ali i sada su druge zemlje svijeta počele pokazivati interes. U 2014. godini, prema IDC-u, zemlje Europe, Bliskog istoka, Azije (bez Japana) i Afrike činile su 45% tržišta softvera, usluga i opreme u području velikih podataka.Također, prema istraživanju CIO-a, tvrtke iz azijsko-pacifičke regije ubrzano usvajaju nova rješenja u području analize velikih podataka, sigurne pohrane i cloud tehnologija. Latinska Amerika je na drugom mjestu po količini ulaganja u razvoj Big Data tehnologija, ispred zemalja Europe i SAD-a.
Zatim će biti predstavljen opis i prognoze razvoja tržišta velikih podataka u nekoliko zemalja.
Kina
Volumen informacija u Kini iznosi 909 eksabajta, što je jednako 10% ukupne količine informacija u svijetu, do 2020. količina informacija dostići će 8060 eksabajta, a također će se povećati udio informacija u globalnoj statistici, u 5 godina bit će 18%. Potencijalni rast kineskog Big Data ima jednu od najbrže rastućih dinamika.
Brazil
Krajem 2014. Brazil je akumulirao 212 eksabajta informacija, što je 3% globalnog volumena. Do 2020. volumen informacija će narasti na 1600 eksabajta, odnosno 4% svjetskih informacija.
Indija
Prema EMC-u, volumen akumuliranih podataka u Indiji na kraju 2014. iznosi 326 eksabajta, što je 5% ukupnog volumena informacija. Do 2020. volumen informacija će narasti na 2800 eksabajta, odnosno 6% informacija u cijelom svijetu.
Japan
Količina akumuliranih podataka u Japanu na kraju 2014. iznosi 495 eksabajta, što je 8% ukupne količine informacija. Do 2020. volumen informacija će narasti na 2200 eksabajta, ali će se tržišni udio Japana smanjiti na 5% ukupnog volumena informacija u cijelom svijetu.
Tako će se veličina japanskog tržišta smanjiti za više od 30%.
Njemačka
Prema EMC-u, volumen akumuliranih podataka u Njemačkoj na kraju 2014. iznosi 230 eksabajta, što je 4% ukupnog volumena informacija u svijetu. Do 2020. volumen informacija će narasti na 1100 eksabajta, odnosno 2%.
Na njemačkom tržištu veliki udio prihoda, prema prognozama Experton grupe, ostvarit će segment usluga, čiji će udio u 2015. iznositi 54%, a u 2019. porast će na 59%, udio softvera i hardver će se, naprotiv, smanjiti.
Sveukupno, tržište će porasti s 1,345 milijardi eura u 2015. na 3,198 milijardi eura u 2019., uz prosječnu stopu rasta od 24%.
Dakle, na temelju CIO i EMC analitike, može se zaključiti da će zemlje u razvoju u narednim godinama postati tržišta za aktivan razvoj Big Data tehnologija.
Glavni tržišni trendovi
Prema IDG Enterpriseu, u 2015. potrošnja tvrtki na Big Data iznosit će u prosjeku 7,4 milijuna USD po tvrtki, velike tvrtke namjeravaju potrošiti oko 13,8 milijuna USD, male i srednje tvrtke - 1,6 milijuna USD.Najviše će se ulagati u područja kao što su analiza podataka i vizualizacija te prikupljanje podataka.
U skladu s aktualnim trendovima i potražnjom tržišta, ulaganja u 2015. godini iskoristit će se za poboljšanje kvalitete podataka, poboljšanje planiranja i predviđanja te povećanje brzine obrade podataka.
Tvrtke u financijskom sektoru, prema Bain Company's Insights Analysis, napravit će značajna ulaganja, pa se tako u 2015. godini planira potrošiti 6,4 milijarde dolara na Big Data tehnologije, prosječna stopa rasta ulaganja iznosit će 22% do 2020. godine. Internetske tvrtke planiraju potrošiti 2,8 milijardi dolara, s prosječnom stopom rasta od 26% za Big Data potrošnju.
Provođenjem ankete Economist Intelligence Unit istraživanja identificirani su prioritetni pravci razvoja Big Data u 2014. iu sljedeće 3 godine, a distribucija odgovora je sljedeća:
Prema prognozama IDC-a, tržišni trendovi su sljedeći:
- U sljedećih 5 godina cijena rješenja u oblaku u području Big Data tehnologija će rasti 3 puta brže od cijene lokalnih rješenja. Hibridne platforme za pohranu bit će tražene.
- Rast aplikacija koje koriste složenu i prediktivnu analitiku, uključujući strojno učenje, ubrzat će se 2015. godine, tržište takvih aplikacija će rasti 65% brže od aplikacija koje ne koriste prediktivnu analitiku.
- Medijska analitika će se u 2015. utrostručiti i postat će ključni pokretač rasta tržišta tehnologije Big Data.
- Trend će se ubrzati za implementaciju rješenja za analizu kontinuiranog protoka informacija koji je primjenjiv na Internet stvari.
- Do 2018. 50% korisnika će komunicirati s kognitivnim računalnim uslugama.
Tržišni pokretači i ograničavači
Stručnjaci IDC-a identificirali su 3 pokretača tržišta velikih podataka u 2015. godini:Prema istraživanju Accenturea, pitanja sigurnosti podataka sada su glavna prepreka implementaciji Big Data tehnologija, a više od 51% ispitanika potvrdilo je da su zabrinuti za osiguranje zaštite i povjerljivosti podataka. 47% tvrtki izjavilo je da je nemoguće implementirati Big Data zbog ograničenog proračuna, 41% tvrtki kao problem je navelo nedostatak kvalificiranog osoblja.
Wikibon predviđa da će veličina tržišta velikih podataka narasti na 38,4 milijarde dolara u 2015. i da će porasti za 36% u odnosu na prethodnu godinu. U narednim godinama doći će do pada stopa rasta na 10% u 2017. godini. Na temelju ovih predviđanja, veličina tržišta u 2020. iznosit će 68,7 milijardi USD.
Distribucija globalnog tržišta velikih podataka po poslovnim kategorijama izgledat će ovako:
Kao što možete vidjeti iz dijagrama, veći dio tržišta zauzimat će tehnologije iz područja poboljšanja korisničke usluge. Point marketing će biti na drugom mjestu po prioritetu među tvrtkama do 2019. godine, 2020. će, prema prognozi Heavy Readinga, ustupiti mjesto rješenjima za poboljšanje operativne učinkovitosti.
Najveću stopu rasta imat će i segment „poboljšanje korisničke usluge“, porast od 49% godišnje.
Prognoza tržišta za podvrste Big Data izgledat će ovako:
Dominantan tržišni udio, kao što je vidljivo iz dijagrama, zauzimaju profesionalne usluge, najveću stopu rasta imat će aplikacije s analitikom, njihov će udio porasti sa sadašnjih 12% na 18% u 2020. godini, a obim ovog segment će iznositi 12,3 milijarde USD, udio računalne opreme će, naprotiv, pasti sa 20% na 14% i iznosit će oko 9,3 milijarde američkih dolara u 2020., tržište oblaka tehnologija će se postupno povećavati i 2020. dosegnut će 6,3 milijarde američkih dolara, tržišni udio rješenja za pohranu podataka, naprotiv, smanjit će se s 15% u 2014. na 13% u 2020., a u monetarnom smislu iznosit će 8,9 milijardi USD.
Prema prognozi Bain & Company's Insights Analysis, distribucija tržišta velikih podataka po industrijama u 2020. će izgledati ovako:
- Financijska industrija će potrošiti 6,4 milijarde dolara na Big Data s prosječnom stopom rasta od 22% godišnje;
- Internetske tvrtke potrošit će 2,8 milijardi dolara i prosječnu stopu rasta troškova od 26% u sljedećih 5 godina;
- Troškovi javnog sektora bit će razmjerni troškovima internetskih tvrtki, ali će stopa rasta biti niža - 22%;
- Sektor telekomunikacija će rasti prosječnom stopom rasta od 40% kako bi dosegnuo 1,2 milijarde USD u 2020.;
Komunalna poduzeća će u ove tehnologije uložiti relativno mali iznos od 800 milijuna američkih dolara, ali će stopa rasta biti jedna od najviših od 54% godišnje.
Tako će veliki udio na Big Data tržištu 2020. godine zauzeti tvrtke iz financijske industrije, a najbrže rastući sektor bit će energetika.
Slijedom predviđanja analitičara, ukupni tržišni volumen će se povećati u narednim godinama. Rast tržišta osigurat će se uvođenjem Big Data tehnologija u zemlje u razvoju svijeta, što je vidljivo iz donjeg grafikona.
Predviđena veličina tržišta ovisit će o tome kako zemlje u razvoju percipiraju Big Data tehnologije, jesu li popularne kao u razvijenim zemljama. U 2014. na zemlje u razvoju svijeta otpada 40% akumuliranih informacija. EMC predviđa da će se sadašnja struktura tržišta, u kojoj dominiraju razvijene zemlje, promijeniti u 2017. godini. Prema analitičarima EMC-a, 2020. godine udio zemalja u razvoju bit će preko 60%.
Prema Ciscu i EMC-u, zemlje u razvoju svijeta bit će prilično aktivne u radu s Big Data, ponajviše zbog dostupnosti tehnologija i akumulacije dovoljne količine informacija do razine Big Data. Karta svijeta na sljedećoj stranici prikazat će prognozu povećanja obujma i stope rasta Big Data po regijama.
ANALIZA RUSKOG TRŽIŠTA
Trenutno stanje na ruskom tržištu
Prema studiji CNews Analytics i Oraclea, razina zrelosti ruskog tržišta velikih podataka porasla je tijekom prošle godine. Ispitanici iz 108 velikih poduzeća u širokom rasponu industrija pokazali su veći stupanj svijesti o ovim tehnologijama, kao i utvrđeno razumijevanje potencijala takvih rješenja za njihovo poslovanje.
Od 2014., prema IDC-u, u Rusiji je akumulirano 155 eksabajta informacija, što je samo 1,8% svjetskih podataka. Količina informacija do 2020. dosegnut će 980 eksabajta i zauzimat će 2,2%. Tako će prosječna stopa rasta količine informacija iznositi 36% godišnje.
IDC procjenjuje rusko tržište na 340 milijuna dolara, od čega su 100 milijuna dolara SAP rješenja, oko 240 milijuna dolara su slična rješenja Oraclea, IBM-a, SAS-a, Microsofta itd.
Stopa rasta ruskog tržišta velikih podataka nije manja od 50% godišnje.
Predviđa se nastavak pozitivne dinamike u ovom sektoru ruskog IT tržišta, čak iu kontekstu opće stagnacije gospodarstva. To je zbog činjenice da su poduzeća još uvijek tražena za rješenjima koja poboljšavaju operativnu učinkovitost, kao i optimiziraju troškove, poboljšavaju točnost predviđanja i minimiziraju moguće rizike tvrtke.
Glavni pružatelji usluga Big Data na ruskom tržištu su:
- Oracle
- Microsoft
- Cloudera
- Hortonworks
- Teradata.
Pregled tržišta po djelatnostima i iskustvo korištenja Big Data u tvrtkama
Prema CNewsu, u Rusiji je samo 10% tvrtki počelo koristiti Big Data tehnologije, dok je udio takvih tvrtki u svijetu oko 30%. Spremnost za Big Data projekte raste u mnogim sektorima ruskog gospodarstva, prema izvješću CNews Analytics i Oraclea. Više od trećine ispitanih tvrtki (37%) počelo je raditi s Big Data tehnologijama, među kojima 20% već koristi takva rješenja, a 17% počinje eksperimentirati s njima. Druga trećina ispitanika trenutno razmatra ovu mogućnost.
U Rusiji su Big Data tehnologije popularnije u bankarskom sektoru i telekomunikacijama, ali su također tražene u rudarskoj industriji, energetici, maloprodaji, logističkim tvrtkama i javnom sektoru.
U nastavku ćemo razmotriti primjere primjene Big Data u ruskoj stvarnosti.
Telekom
Telekom operateri imaju jednu od najopsežnijih baza podataka, što im omogućuje provođenje najdublje analize prikupljenih informacija.
Jedno od područja primjene Big Data tehnologije je upravljanje lojalnošću pretplatnika.
Glavni cilj analize podataka je zadržati postojeće kupce i privući nove. Da biste to učinili, tvrtke segmentiraju kupce, analiziraju njihov promet i određuju društvenu pripadnost pretplatnika. Osim korištenja informacija u marketinške svrhe, telekomunikacijske tehnologije se koriste za sprječavanje lažnih financijskih transakcija.
VimpelCom je jedan od upečatljivih primjera ove industrije. Tvrtka koristi Big Data za poboljšanje kvalitete usluge na razini svakog pretplatnika, pripremu izvješća, analizu podataka za razvoj mreže, borbu protiv neželjene pošte i personaliziranje usluga.
Banke
Značajan dio korisnika Big Data su stručnjaci iz financijske industrije. Jedan od uspješnih eksperimenata proveden je u Uralskoj banci za obnovu i razvoj, gdje je baza podataka korištena za analizu klijenata, banka je počela nuditi specijalizirane ponude zajmova, depozita i drugih usluga. Tijekom godine korištenja ovih tehnologija, kreditni portfelj tvrtke porastao je za 55%.
Alfa-Bank analizira informacije s društvenih mreža, obrađuje zahtjeve za kredit, analizira ponašanje korisnika web stranice tvrtke.
Sberbank je također počela obrađivati ogromnu količinu podataka kako bi segmentirala klijente, spriječila prijevarne aktivnosti, unakrsno prodavala i upravljala rizikom. U budućnosti se planira poboljšati uslugu i analizirati radnje korisnika u stvarnom vremenu.
Sveruska regionalna razvojna banka analizira ponašanje vlasnika plastičnih kartica. To omogućuje prepoznavanje transakcija koje su netipične za određenog klijenta, čime se povećava vjerojatnost otkrivanja krađe sredstava s plastičnih kartica.
Maloprodaja
U Rusiji su tehnologije Big Data implementirale i online i offline trgovačke tvrtke. Danas, prema CNews Analyticsu, velike podatke koristi 20% trgovaca. 75% trgovaca vjeruje da su Big Data neophodni za razvoj konkurentne marketinške strategije. Prema Hadoop statistici, nakon implementacije Big Data tehnologije, profit u trgovačkim organizacijama raste za 7-10%.
Stručnjaci M.Videoa govore o poboljšanju logističkog planiranja nakon implementacije SAP HANA, a kao rezultat njegove implementacije, izrada godišnjih izvještaja smanjena je sa 10 dana na 3 dana, brzina dnevnog preuzimanja podataka smanjena je sa 3 sati do 30 minuta.
Wikimart koristi ove tehnologije za generiranje preporuka za posjetitelje web stranice.
Jedna od prvih offline trgovina koja je uvela analizu velikih podataka u Rusiji bila je Lenta. Uz pomoć Big Data maloprodaja je počela proučavati podatke o kupcima s blagajničkih računa. Trgovac na malo prikuplja informacije kako bi generirao modele ponašanja, što im omogućuje donošenje informiranih odluka na operativnoj i poslovnoj razini.
Industrija nafte i plina
U ovoj industriji opseg primjene Big Data je prilično širok. Big Data tehnologije mogu se primijeniti u vađenju minerala iz podzemlja. Uz njihovu pomoć možete analizirati sam proizvodni proces i najučinkovitije načine njegove ekstrakcije, pratiti proces bušenja, analizirati kvalitetu sirovina, kao i preradu i marketing konačnog proizvoda. U Rusiji su Transneft i Rosneft već počeli koristiti te tehnologije.
Državna tijela
Zemlje poput Njemačke, Australije, Španjolske, Japana, Brazila i Pakistana koriste Big Data tehnologije za rješavanje nacionalnih problema. Ove tehnologije pomažu državnim tijelima da učinkovitije pružaju usluge stanovništvu, pružaju ciljanu socijalnu podršku.
U Rusiji su ove tehnologije počela svladavati takva državna tijela kao što su Mirovinski fond, Federalna porezna služba i Fond obveznog zdravstvenog osiguranja. Potencijal za provedbu projekata koji koriste Big Data je velik, te bi tehnologije mogle pomoći poboljšanju kvalitete usluga i, kao rezultat, životnog standarda stanovništva.
Logistika i transport
Big Data mogu koristiti i transportne tvrtke. Uz pomoć Big Data tehnologija moguće je pratiti parkiralište, uzimati u obzir troškove goriva i pratiti zahtjeve kupaca.
Ruske željeznice implementirale su Big Data tehnologije zajedno sa SAP-om. Te su tehnologije pomogle da se razdoblje izvješćivanja smanji za 43,5 puta (sa 14,5 sati na 20 minuta), te da se poboljša točnost alokacije troškova za 40 puta. Također, Big Data je uveden u procese planiranja i regulacije tarifa. Ukupno, tvrtke koriste više od 300 sustava baziranih na SAP rješenjima, uključena su 4 podatkovna centra, a broj korisnika je 220.000.
Glavni pokretači i tržišna ograničenja
Pokretači razvoja Big Data tehnologija na ruskom tržištu su:- Povećani interes korisnika za mogućnosti Big Data kao načina povećanja konkurentnosti tvrtke;
- Razvoj metoda za obradu medijskih datoteka na globalnoj razini;
- Prijenos poslužitelja koji obrađuju osobne podatke na teritorij Rusije, u skladu s usvojenim zakonom o pohrani i obradi osobnih podataka;
- Provedba sektorskog plana za zamjenu uvoza softvera. Ovaj plan uključuje državnu potporu domaćim proizvođačima softvera, kao i davanje preferencija za domaće IT proizvode pri kupnji o javnom trošku.
- U novoj ekonomskoj situaciji, kada se tečaj dolara gotovo udvostručio, postojat će trend sve više korištenja usluga ruskih davatelja oblaka nego stranih.
- Stvaranje tehnoparkova koji doprinose razvoju tržišta informacijske tehnologije, uključujući tržište velikih podataka;
- Državni program za implementaciju mrežnih sustava koji se temelje na Big Data tehnologijama.
Glavne prepreke razvoju velikih podataka na ruskom tržištu su:
- Osiguravanje sigurnosti i povjerljivosti podataka;
- Nedostatak kvalificiranog osoblja;
- Nedostatak akumuliranih informacijskih resursa do razine Big Data u većini ruskih tvrtki;
- Poteškoće u uvođenju novih tehnologija u uspostavljene informacijske sustave poduzeća;
- Visoka cijena Big Data tehnologija, što dovodi do ograničenog broja poduzeća koja su u mogućnosti implementirati te tehnologije;
- Politička i ekonomska neizvjesnost koja je dovela do odljeva kapitala i zamrzavanja investicijskih projekata u Rusiji;
- Rast cijena uvoznih proizvoda i porast inflacije, prema IDC-u, usporavaju razvoj cjelokupnog IT tržišta.
Prognoza ruskog tržišta
Rusko tržište velikih podataka od danas nije toliko popularno kao u razvijenim zemljama. Većina ruskih tvrtki pokazuje interes za to, ali se ne usuđuje iskoristiti svoje mogućnosti.Primjeri velikih tvrtki koje su već imale koristi od Big Data tehnologija podižu svijest o moći ovih tehnologija.
Analitičari su također prilično optimistični u pogledu ruskog tržišta. IDC vjeruje da će se ruski tržišni udio povećati tijekom sljedećih 5 godina, za razliku od tržišta u Njemačkoj i Japanu.
Do 2020. obujam velikih podataka u Rusiji će porasti sa sadašnjih 1,8% na 2,2% globalnog volumena podataka. Količina informacija će porasti, prema EMC-u, sa sadašnjih 155 eksabajta na 980 eksabajta 2020. godine.
Trenutno Rusija nastavlja akumulirati količinu informacija do razine Big Data.
Prema anketi CNews Analytics, 44% ispitanih tvrtki radi s podacima ne većim od 100 terabajta*, a samo 13% radi s volumenima većim od 500 terabajta.
Ipak, rusko tržište će, prateći svjetske trendove, rasti. Od 2014. IDC procjenjuje veličinu tržišta na 340 milijuna dolara.
Stopa rasta tržišta prijašnjih godina bila je 50% godišnje, ako ostane na istoj razini, tada će u 2018. obujam tržišta dosegnuti 1,7 milijardi USD. Udio ruskog tržišta na svjetskom tržištu iznosit će oko 3%, s povećanjem sa sadašnjih 1,2%.
Industrije koje su najosjetljivije na korištenje velikih podataka u Rusiji su:
- Maloprodaja i banke, za njih je prije svega važna analiza baze klijenata, procjena učinka marketinških kampanja;
- Telekom - segmentacija baze korisnika i monetizacija prometa;
- Javni sektor - računovodstvo, analiza prijava stanovništva i sl.;
- Naftne tvrtke - praćenje rada i planiranje proizvodnje i prodaje;
- Energetske tvrtke - stvaranje inteligentnih elektroenergetskih sustava, operativni nadzor i predviđanje.
U Rusiji, kao i u svijetu, u bliskoj budućnosti će se pojaviti trend vizualizacije podataka, analize medijskih datoteka i razvoja interneta stvari.
Unatoč općoj stagnaciji gospodarstva, analitičari predviđaju daljnji rast Big Data tržišta u narednim godinama, prvenstveno zbog činjenice da korištenje Big Data tehnologija svojim korisnicima daje konkurentsku prednost u smislu povećanja operativne učinkovitosti poslovanja. , privlačenje dodatnih kupaca, minimiziranje rizika i implementacija tehnologija predviđanja podataka.
Dakle, možemo zaključiti da je segment Big Data u Rusiji u fazi formiranja, ali potražnja za tim tehnologijama raste svake godine.
Ključni rezultati analize tržišta
Svjetsko tržište
Krajem 2014. tržište Big Data karakteriziraju sljedeći parametri:- veličina tržišta iznosila je 28,5 milijardi USD, što je povećanje od 45% u odnosu na prethodnu godinu;
- najveći dio prihoda tržišta Big Data čine usluge, njihov udio je bio jednak 40% u ukupnom prihodu;
- 36% prihoda došlo je od Big Data aplikacija i analitike, 17% od računalne opreme i 15% od tehnologija za pohranu podataka;
- Najpopularnije platforme za rješavanje problema velikih podataka su in-memory platforme tvrtki kao što su SAP, HANA i Oracle.
- broj tvrtki s implementiranim projektima iz područja upravljanja velikim podacima povećan je za 125%;
- u 2015. obujam tržišta dosegnut će 38,4 milijarde USD, u 2020. - 68,7 milijardi USD;
- prosječna stopa rasta iznosit će 16% godišnje;
- prosječni troškovi tvrtke za Big Data tehnologije iznosit će 13,8 milijuna USD za velike tvrtke i 1,6 milijuna USD za mala i srednja poduzeća;
- tehnologije će biti najzastupljenije u područjima korisničke usluge i point marketinga;
- u 2017. globalna tržišna struktura promijenit će se prema prevlasti korisničkih tvrtki iz zemalja u razvoju.
rusko tržište
Rusko tržište velikih podataka je u fazi formiranja, rezultati 2014. su sljedeći:- veličina tržišta dosegla je 340 milijuna USD;
- prosječna stopa rasta tržišta u prethodnim godinama iznosila je 50% godišnje;
- ukupna količina akumuliranih informacija iznosila je 155 eksabajta;
- 10% ruskih tvrtki počelo je koristiti Big Data tehnologije;
- Big Data tehnologije bile su popularnije u bankarstvu, telekomunikacijama, internetskim tvrtkama i maloprodaji.
- obujam ruskog tržišta u 2015. dosegnut će 500 milijuna USD, au 2018. - 1,7 milijardi USD;
- udio ruskog tržišta u svijetu bit će oko 3% u 2018.;
- količina akumuliranih podataka u 2020. bit će 980 eksabajta;
- obujam podataka će narasti na 2,2% globalnog volumena podataka u 2020.;
- najpopularnije tehnologije bit će vizualizacija podataka, analiza medijskih datoteka i internet stvari.
Hvala vam što ste odvojili vrijeme za čitanje ovog opsežnog djela, pretplatite se na naš blog - obećavamo mnogo novih zanimljivih publikacija!
Kolumna profesora HSE-a o mitovima i slučajevima rada s velikim podacima
Za oznake
Konstantin Romanov i Alexander Pyatigorskiy, koji je također Beelineov direktor digitalne transformacije, u Školi novih medija HSE-a, napisali su kolumnu za web stranicu o glavnim zabludama o velikim podacima – primjerima korištenja tehnologije i alata. Autori sugeriraju da će publikacija pomoći čelnicima tvrtki da razumiju ovaj koncept.
Mitovi i zablude o velikim podacima
Big Data nije marketing
Izraz Big Data postao je vrlo moderan – koristi se u milijunima situacija i u stotinama različitih tumačenja, često nebitnih za ono što je. Često dolazi do zamjene koncepata u glavama ljudi, a Big Data se miješa s marketinškim proizvodom. Štoviše, u nekim tvrtkama Big Data je dio marketinškog odjela. Rezultat analize velikih podataka doista može biti izvor marketinške aktivnosti, ali ništa više. Pogledajmo kako to radi.
Ako smo prije dva mjeseca identificirali popis onih koji su u našoj trgovini kupili robu za više od tri tisuće rubalja, a zatim tim korisnicima poslali ponudu, onda je to tipičan marketing. Iz strukturnih podataka zaključujemo jasan uzorak i koristimo ga za povećanje prodaje.
No, ako spojimo CRM podatke sa streaming informacijama, na primjer, s Instagrama, i analiziramo ih, pronaći ćemo obrazac: osoba koja je u srijedu navečer smanjila svoju aktivnost i čija posljednja fotografija prikazuje mačiće trebala bi dati određenu ponudu. Ovo će već biti Big Data. Pronašli smo okidač, proslijedili ga trgovcima, a oni su ga koristili za svoje potrebe.
Iz toga proizlazi da tehnologija obično radi s nestrukturiranim podacima, a ako su podaci strukturirani, onda sustav i dalje nastavlja tražiti skrivene obrasce u njima, što marketing ne čini.
Big Data nije IT
Druga krajnost ove priče: Big Data se često miješa s IT-om. To je zbog činjenice da su u ruskim tvrtkama u pravilu upravo IT stručnjaci pokretači svih tehnologija, uključujući velike podatke. Stoga, ako se sve događa u ovom odjelu, za tvrtku u cjelini se čini da je to neka vrsta informatičke djelatnosti.
Zapravo, ovdje postoji temeljna razlika: Big Data je aktivnost usmjerena na dobivanje određenog proizvoda, koji uopće nije povezan s IT-om, iako tehnologija ne može postojati bez njih.
Veliki podaci nisu uvijek prikupljanje i analiza informacija
Postoji još jedna zabluda o velikim podacima. Svi razumiju da je ova tehnologija povezana s velikim količinama podataka, ali nije uvijek jasno o kakvoj se vrsti podataka misli. Svatko može prikupljati i koristiti informacije, sada je to moguće ne samo u filmovima o, već iu bilo kojoj, čak i vrlo maloj tvrtki. Pitanje je samo što prikupiti i kako to iskoristiti u svoju korist.
Ali treba shvatiti da tehnologija Big Data neće biti prikupljanje i analiza apsolutno ikakvih informacija. Na primjer, ako prikupljate podatke o određenoj osobi na društvenim mrežama, to neće biti Big Data.
Što su zapravo Big Data
Veliki podaci se sastoje od tri elementa:
- podaci;
- analitika;
- tehnologije.
Big Data nije samo jedna od ovih komponenti, već skup sva tri elementa. Ljudi često zamjenjuju pojmove: netko misli da su Big Data samo podaci, netko - ta tehnologija. Ali zapravo, koliko god podataka prikupili, s njima ne možete ništa učiniti bez prave tehnologije i analitike. Ako postoji dobra analitika, a nema podataka, sve je lošije.
Ako govorimo o podacima, onda to nisu samo tekstovi, već i sve fotografije objavljene na Instagramu, i općenito sve što se može analizirati i koristiti u različite svrhe i zadatke. Drugim riječima, pod podacima se podrazumijeva ogromna količina unutarnjih i vanjskih podataka različitih struktura.
Potrebna vam je i analitika, jer je zadatak Big Data izgraditi neke obrasce. Odnosno, analitika je prepoznavanje skrivenih ovisnosti i traženje novih pitanja i odgovora na temelju analize cjelokupnog volumena heterogenih podataka. Štoviše, veliki podaci postavljaju pitanja koja ne možemo izvesti izravno iz tih podataka.
Ako govorimo o slikama, onda to što ste svoju fotografiju objavili u plavoj majici ne znači ništa. No, koristite li fotografiju za modeliranje velikih podataka, moglo bi se pokazati da bi vam baš sada trebalo ponuditi zajam, jer u vašoj društvenoj skupini takvo ponašanje govori o određenoj pojavi u akcijama. Dakle, „goli“ podaci bez analitike, bez otkrivanja skrivenih i neočiglednih ovisnosti Big Data nisu.
Dakle, imamo velike podatke. Njihov niz je ogroman. Imamo i analitičara. Ali kako možemo osigurati da iz ovih sirovih podataka imamo konkretno rješenje? Da bismo to učinili, potrebne su nam tehnologije koje omogućuju ne samo njihovo pohranjivanje (a prije je to bilo nemoguće), već i njihovu analizu.
Jednostavno rečeno, ako imate puno podataka, potrebne su vam tehnologije, na primjer, Hadoop, koje omogućuju očuvanje svih informacija u izvornom obliku za kasniju analizu. Ova vrsta tehnologije pojavila se u internetskim divovima jer su se prvi suočili s problemom pohranjivanja velike količine podataka i njihove analize za kasniju monetizaciju.
Osim alata za optimiziranu i jeftinu pohranu podataka, potrebni su i analitički alati, kao i dodaci korištenoj platformi. Na primjer, oko Hadoopa se već formirao cijeli ekosustav povezanih projekata i tehnologija. Ovo su neki od njih:
- Pig je deklarativni jezik za analizu podataka.
- Hive - analiza podataka korištenjem jezika bliskog SQL-u.
- Oozie je tijek rada u Hadoopu.
- Hbase je baza podataka (nerelacijski), analogna Google Big Table.
- Mahout je strojno učenje.
- Sqoop - prijenos podataka sa RSDB na Hadoop i obrnuto.
- Flume - prijenos trupaca u HDFS.
- Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS i tako dalje.
Svi ovi alati dostupni su svima besplatno, ali postoji i skup plaćenih dodataka.
Osim toga, potrebni su stručnjaci: ovo je programer i analitičar (tzv. Data Scientist). Potreban vam je i menadžer koji može razumjeti kako primijeniti ovu analitiku za rješavanje konkretnog problema, jer je sam po sebi potpuno besmislen ako nije ugrađen u poslovne procese.
Sva tri djelatnika moraju raditi kao tim. Menadžer koji stručnjaku za Data Science zadaje zadatak da pronađe određeni obrazac mora shvatiti da nije uvijek moguće pronaći točno ono što mu treba. U tom slučaju, menadžer treba pažljivo saslušati što je Data Scientist otkrio, jer se često njegovi nalazi pokažu zanimljivijima i korisnijima za poslovanje. Vaš je posao primijeniti ovo na svoje poslovanje i od toga napraviti proizvod.
Unatoč činjenici da sada postoji mnogo različitih vrsta strojeva i tehnologija, konačna odluka uvijek ostaje na osobi. Da biste to učinili, informacije se moraju nekako vizualizirati. Za to postoji dosta alata.
Najilustrativniji primjer su geoanalitička izvješća. Tvrtka Beeline puno surađuje s vladama različitih gradova i regija. Vrlo često te organizacije naručuju izvješća tipa "Prometna gužva na određenoj lokaciji".
Jasno je da bi takvo izvješće u jednostavnom i razumljivom obliku trebalo doći do državnih struktura. Ako im pružimo ogromnu i potpuno nerazumljivu tablicu (odnosno informacije u obliku u kojem ih primamo), vjerojatno neće kupiti takvo izvješće - bit će potpuno beskorisno, neće iz njega izvući znanje htjeli su dobiti.
Stoga, bez obzira na to koliko su Data Scientists dobri i bez obzira na obrasce koji pronalaze, ne možete raditi s tim podacima bez visokokvalitetnih alata za vizualizaciju.
Izvori podataka
Niz primljenih podataka je vrlo velik, pa se može podijeliti u nekoliko skupina.
Interni podaci tvrtke
Iako 80% prikupljenih podataka spada u ovu skupinu, ovaj se izvor ne koristi uvijek. Često su to podaci koji, čini se, nikome uopće nisu potrebni, na primjer, zapisnici. Ali ako ih pogledate iz drugog kuta, ponekad u njima možete pronaći neočekivane uzorke.
Shareware izvori
To uključuje podatke s društvenih mreža, interneta i sve ostalo čemu se može pristupiti besplatno. Zašto shareware? S jedne strane, ti su podaci dostupni svima, ali ako ste velika tvrtka, onda ih dobiti u veličini pretplatničke baze od nekoliko desetaka tisuća, stotina ili milijuna kupaca više nije lak zadatak. Stoga na tržištu postoje plaćene usluge za pružanje ovih podataka.
Plaćeni izvori
To uključuje tvrtke koje prodaju podatke za novac. To mogu biti telekomi, DMP-ovi, internetske tvrtke, kreditni uredi i agregatori. Telekomi u Rusiji ne prodaju podatke. Prvo, ekonomski je neisplativo, a drugo, zakonom je zabranjeno. Stoga prodaju rezultate svoje obrade, primjerice geoanalitička izvješća.
Otvoreni podaci
Država ide u susret poslovanju na pola puta i omogućuje korištenje podataka koje prikuplja. U većoj mjeri to je razvijeno na Zapadu, ali Rusija u tom pogledu također ide u korak s vremenom. Na primjer, postoji Portal otvorenih podataka moskovske vlade, koji objavljuje informacije o raznim objektima gradske infrastrukture.
Za stanovnike i goste Moskve podaci su predstavljeni u tabličnom i kartografskom obliku, a za programere - u posebnim strojno čitljivim formatima. Projekt za sada radi u ograničenom režimu, ali se razvija, što znači da je i izvor podataka koji možete koristiti za svoje poslovne zadatke.
Istraživanje
Kao što je već spomenuto, zadatak Big Data je pronaći obrazac. Često istraživanja provedena diljem svijeta mogu postati uporište za pronalaženje određenog uzorka – možete dobiti određeni rezultat i pokušati primijeniti sličnu logiku za svoje potrebe.
Veliki podaci su područje u kojem ne djeluju svi zakoni matematike. Na primjer, "1" + "1" nije "2", već mnogo više, jer miješanje izvora podataka može uvelike poboljšati učinak.
Primjeri proizvoda
Mnogi su upoznati sa Spotify biračem glazbe. Lijep je po tome što korisnike ne pita kakvo je njihovo raspoloženje danas, već to izračunava na temelju izvora koji su mu dostupni. On uvijek zna što vam sada treba - jazz ili hard rock. To je ključna razlika koja mu pruža bazu obožavatelja i razlikuje ga od ostalih usluga.
Takvi proizvodi se obično nazivaju osjetilnim proizvodima – onima koji osjećaju svog klijenta.
Big Data tehnologija se također koristi u automobilskoj industriji. Primjerice, Tesla to radi – njihov najnoviji model ima autopilota. Tvrtka nastoji stvoriti automobil koji će sam odvesti putnika kamo god poželi. To je nemoguće bez Big Data, jer ako koristimo samo podatke koje primamo izravno, kao što to čini osoba, tada se automobil neće moći poboljšati.
Kada sami vozimo automobil, koristimo svoje neurone za donošenje odluka na temelju mnogih čimbenika koje uopće ne primjećujemo. Na primjer, možda ne shvaćamo zašto smo odlučili ne ubrzati odmah do zelenog svjetla, a onda se ispostavi da je odluka bila ispravna – automobil je vrtoglavom brzinom projurio pokraj vas, a vi ste izbjegli nesreću.
Također možete navesti primjer korištenja Big Data u sportu. Godine 2002., glavni menadžer bejzbol momčadi Oakland Athletics, Billy Bean, krenuo je razbiti paradigmu kako pronaći sportaše – birao je i trenirao igrače prema brojevima.
Menadžeri obično gledaju na uspjeh igrača, ali u ovom slučaju bilo je drugačije - kako bi dobio rezultat, menadžer je proučavao koje kombinacije sportaša mu trebaju, obraćajući pažnju na individualne karakteristike. Štoviše, odabrao je sportaše koji sami po sebi nisu predstavljali veliki potencijal, ali se momčad u cjelini pokazala toliko uspješnom da je dobila dvadeset mečeva zaredom.
Redatelj Bennett Miller kasnije je snimio film o ovoj priči - "Čovjek koji je promijenio sve" s Bradom Pittom u glavnoj ulozi.
Tehnologija velikih podataka korisna je i u financijskom sektoru. Niti jedna osoba na svijetu ne može samostalno i točno odrediti isplati li se nekome dati zajam. Kako bi se donijela odluka, vrši se bodovanje, odnosno izgrađuje se probabilistički model prema kojemu je moguće razumjeti hoće li ta osoba vratiti novac ili ne. Zatim se bodovanje primjenjuje u svim fazama: možete, na primjer, izračunati da će u određenom trenutku osoba prestati plaćati.
Veliki podaci ne samo da mogu zaraditi novac, već ga i uštedjeti. Konkretno, ova tehnologija pomogla je njemačkom Ministarstvu rada da smanji trošak naknada za nezaposlene za 10 milijardi eura, budući da je nakon analize informacija postalo jasno da je 20% naknada isplaćeno nezasluženo.
Također, tehnologije se koriste u medicini (ovo je posebno tipično za Izrael). Uz pomoć Big Data moguće je dostaviti mnogo točniju analizu nego što to može učiniti liječnik s tridesetogodišnjim iskustvom.
Svaki liječnik, prilikom postavljanja dijagnoze, oslanja se samo na vlastito iskustvo. Kad to napravi stroj, to dolazi iz iskustava tisuća takvih liječnika i svih postojećih povijesti bolesti. Uzima se u obzir od kakvog je materijala napravljena pacijentova kuća, u kojem području žrtva živi, kakav dim ima i tako dalje. Odnosno, uzima u obzir puno čimbenika koje liječnici ne uzimaju u obzir.
Primjer korištenja Big Data u zdravstvu je projekt Project Artemis koji je implementirala Dječja bolnica Toronto. Riječ je o informacijskom sustavu koji prikuplja i analizira podatke o bebama u stvarnom vremenu. Stroj vam omogućuje analizu 1260 zdravstvenih pokazatelja svakog djeteta svake sekunde. Ovaj projekt usmjeren je na predviđanje nestabilnog stanja djeteta i prevenciju bolesti kod djece.
Veliki podaci se također počinju koristiti u Rusiji: na primjer, Yandex ima odjel za velike podatke. Tvrtka je zajedno s AstraZenecom i Ruskim društvom za kliničku onkologiju RUSSCO pokrenula RAY platformu za genetičare i molekularne biologe. Projekt omogućuje poboljšanje metoda za dijagnosticiranje raka i prepoznavanje osjetljivosti na rak. Platforma će početi s radom u prosincu 2016. godine.
