Metode analize velikih podataka. Big Data – što su big data sustavi? Razvoj Big Data tehnologija

Big Data (ili Big Data) skup je metoda za rad s ogromnim količinama strukturiranih ili nestrukturiranih informacija. Stručnjaci za velike podatke angažiraju se u njihovoj obradi i analizi kako bi dobili vizualne, čovjeku vidljive rezultate. Look At Me razgovarao je s profesionalcima i saznao kakva je situacija s obradom velikih podataka u Rusiji, gdje i što je bolje studirati za one koji žele raditi u ovom području.

Alexey Ryvkin o glavnim smjerovima u području velikih podataka, komunikacije s kupcima i svijetu brojeva

Studirao sam na Moskovskom institutu za elektroničku tehnologiju. Glavna stvar koju sam uspio izvući je temeljno znanje fizike i matematike. Usporedo sa studiranjem radio sam u R&D centru gdje sam se bavio razvojem i implementacijom algoritama kodiranja s ispravljanjem pogrešaka za siguran prijenos podataka. Nakon završenog prvostupnika upisao sam magistarski studij poslovne informatike na Višoj ekonomskoj školi. Nakon toga, htio sam raditi u IBS-u. Imao sam sreću da je u to vrijeme, zbog velikog broja projekata, došlo do dodatnog zapošljavanja pripravnika, te sam nakon nekoliko intervjua počeo raditi u IBS-u, jednoj od najvećih ruskih tvrtki u ovoj oblasti. U tri godine sam od pripravnika postao arhitekt za rješenja za poduzeća. Sada razvijam stručnost Big Data tehnologija za tvrtke kupaca iz financijskog i telekomunikacijskog sektora.

Postoje dvije glavne specijalizacije za ljude koji žele raditi s velikim podacima: analitičari i IT konzultanti koji stvaraju tehnologije za rad s velikim podacima. Osim toga, može se govoriti i o zanimanju Big Data Analyst, odnosno ljudi koji izravno rade s podacima, s IT platformom kupca. Prije su to bili obični matematički analitičari koji su poznavali statistiku i matematiku te su uz pomoć statističkog softvera rješavali probleme analize podataka. Danas je uz poznavanje statistike i matematike potrebno i razumijevanje tehnologije i životnog ciklusa podataka. To je, po mom mišljenju, razlika između modernog Data Analysta i onih analitičara koji su bili prije.

Moja specijalizacija je IT savjetovanje, odnosno smišljam i nudim kupcima načine rješavanja poslovnih problema korištenjem IT tehnologija. U savjetovanje dolaze ljudi s različitim iskustvom, ali najvažnije kvalitete za ovu profesiju su sposobnost razumijevanja potreba klijenta, želja za pomaganjem ljudima i organizacijama, dobra komunikacija i timske vještine (budući da je to uvijek rad s klijentom i u timu), dobre analitičke sposobnosti. Vrlo je važna interna motivacija: radimo u konkurentnom okruženju, a kupca čekaju neobična rješenja i zanimanje za posao.

Većinu svog vremena provodim u komunikaciji s kupcima, formaliziranju njihovih poslovnih potreba i pomaganju u razvoju najprikladnije tehnološke arhitekture. Kriteriji odabira ovdje imaju svoju posebnost: osim funkcionalnosti i TCO-a (Ukupni trošak vlasništva – ukupni trošak vlasništva), vrlo su važni nefunkcionalni zahtjevi za sustav, najčešće je to vrijeme odgovora, vrijeme obrade informacija. Kako bismo uvjerili kupca, često koristimo pristup proof of concept – nudimo besplatno “testiranje” tehnologije na nekom zadatku, na uskom skupu podataka, kako bismo bili sigurni da tehnologija funkcionira. Rješenje bi trebalo stvoriti konkurentsku prednost za kupca dobivanjem dodatnih pogodnosti (na primjer, x-sell, cross-selling) ili riješiti neku vrstu poslovnog problema, recimo, smanjiti visoku razinu kreditne prijevare.

Bilo bi puno lakše kada bi klijenti došli sa spremnim zadatkom, ali dok ne shvate da postoji revolucionarna tehnologija koja može promijeniti tržište za par godina

S kojim se problemima morate suočiti? Tržište još nije spremno za korištenje velikih podatkovnih tehnologija. Bilo bi puno lakše da su klijenti došli sa gotovim zadatkom, ali zasad ne razumiju da se pojavila revolucionarna tehnologija koja može promijeniti tržište u par godina. Zato mi, zapravo, radimo u startup modu – ne prodajemo samo tehnologije, već svaki put uvjeravamo kupce da trebaju ulagati u ova rješenja. To je takva pozicija vizionara - kupcima pokazujemo kako mogu promijeniti svoje poslovanje uz uključivanje podataka i IT-a. Stvaramo ovo novo tržište – tržište komercijalnog IT savjetovanja u području velikih podataka.

Ako se osoba želi baviti analizom podataka ili informatičkim savjetovanjem u području Big Data, tada je prvo važno matematičko ili tehničko obrazovanje s dobrim matematičkim iskustvom. Također je korisno svladati specifične tehnologije, na primjer SAS, Hadoop, R jezik ili IBM rješenja. Osim toga, morate biti aktivno zainteresirani za aplikacije za velike podatke – na primjer, kako se one mogu koristiti za poboljšanje kreditnog bodovanja u banci ili upravljanje životnim ciklusom klijenata. Ova i druga znanja mogu se dobiti iz dostupnih izvora: na primjer, Coursera i Big Data University. Na Sveučilištu Wharton u Pennsylvaniji postoji i Customer Analytics Initiative, gdje je objavljeno mnogo zanimljivog materijala.

Ozbiljan problem za one koji žele raditi u našem području je jasan nedostatak informacija o Big Data. Ne možete otići u knjižaru ili neku web stranicu i dobiti, na primjer, iscrpnu zbirku slučajeva o svim primjenama Big Data tehnologija u bankama. Takvih vodiča nema. Dio informacija nalazi se u knjigama, drugi dio skuplja se na konferencijama, a neke morate sami shvatiti.

Drugi problem je što se analitičari ugodno osjećaju u svijetu brojeva, ali im nije uvijek ugodno u poslu. Ti su ljudi često introvertirani, imaju poteškoća u komunikaciji i stoga im je teško uvjerljivo prenijeti rezultate istraživanja klijentima. Da biste razvili ove vještine, preporučio bih knjige kao što su Načelo piramide, Govori jezikom dijagrama. Pomažu u razvoju prezentacijskih vještina, sažeto i jasno izraziti svoje misli.

Puno mi je pomoglo sudjelovanje na raznim natjecanjima za slučajeve tijekom studiranja na Višoj ekonomskoj školi. Case Championships su intelektualna natjecanja za studente na kojima trebate proučiti poslovne probleme i ponuditi rješenja za njih. Dolaze u dva oblika: natjecanja konzultantskih tvrtki kao što su McKinsey, BCG, Accenture i neovisna prvenstva kao što je Changellenge. Sudjelujući u njima, naučio sam vidjeti i rješavati složene probleme – od identificiranja problema i strukturiranja do obrane preporuka za njegovo rješavanje.

Oleg Mikhalsky o ruskom tržištu i specifičnostima stvaranja novog proizvoda u području velikih podataka

Prije nego sam se pridružio Acronisu, već sam bio uključen u lansiranje novih proizvoda na tržište u drugim tvrtkama. Uvijek je zanimljivo i izazovno u isto vrijeme, pa me odmah zainteresirala prilika za rad na cloud servisima i rješenjima za pohranu podataka. U tom području mi ​​je dobro došlo svo moje dosadašnje iskustvo u IT industriji, uključujući i vlastiti startup projekt I-accelerator. Pomoglo je i poslovno obrazovanje (MBA) uz osnovno inženjerstvo.

U Rusiji velike tvrtke - banke, mobilni operateri itd. - imaju potrebu za analizom velikih podataka, pa i kod nas postoje izgledi za one koji žele raditi u ovoj oblasti. Istina, mnogi projekti su sada integracijski, odnosno izrađeni na temelju stranih razvoja ili open source tehnologija. U takvim se projektima ne stvaraju temeljno novi pristupi i tehnologije, već se prilagođavaju postojeći razvoji. U Acronisu smo krenuli drugim putem i, nakon analize dostupnih alternativa, odlučili smo uložiti u vlastiti razvoj, što je rezultiralo pouzdanim sustavom za pohranu velikih podataka koji nije inferioran po cijeni od, primjerice, Amazon S3, ali radi pouzdano i to učinkovito i u mnogo manjem obimu. Velike internetske tvrtke također imaju svoj razvoj na velikim podacima, ali su više usmjerene na interne potrebe nego na zadovoljenje potreba vanjskih kupaca.

Važno je razumjeti trendove i ekonomske sile koje utječu na područje obrade velikih podataka. Da biste to učinili, morate puno čitati, slušati govore renomiranih stručnjaka u IT industriji, prisustvovati tematskim konferencijama. Sada gotovo svaka konferencija ima dio o Big Data, ali svi govore o tome iz drugačijeg kuta: s gledišta tehnologije, poslovanja ili marketinga. Možete otići na projektni posao ili na praksu u tvrtku koja već ima projekte na ovu temu. Ako ste sigurni u svoje sposobnosti, onda još nije kasno organizirati startup u području Big Data.

Bez stalnog kontakta s tržištem novi razvoj riskira da ostane nepotražen

Istina, kada ste odgovorni za novi proizvod, puno vremena se troši na analitiku tržišta i komunikaciju s potencijalnim kupcima, partnerima, profesionalnim analitičarima koji znaju puno o kupcima i njihovim potrebama. Bez stalnog kontakta s tržištem, novi razvoj riskira da ostane nepotražen. Uvijek ima mnogo neizvjesnosti: morate razumjeti tko će biti prvi korisnici (rani usvojitelji), što za njih imate od vrijednosti i kako onda privući masovnu publiku. Drugi najvažniji zadatak je formirati i prenijeti programerima jasnu i holističku viziju konačnog proizvoda kako bi ih se motiviralo na rad u takvim uvjetima, kada se neki zahtjevi još uvijek mogu promijeniti, a prioriteti ovise o povratnim informacijama od prvih kupaca. Stoga je važan zadatak upravljati očekivanjima kupaca s jedne strane i programera s druge strane. Kako ni jedan ni drugi ne bi izgubili interes i doveli projekt do kraja. Nakon prvog uspješnog projekta postaje lakše i glavni zadatak će biti pronaći pravi model rasta za novi posao.

veliki podaci- to nisu samo sami podaci, već i tehnologije za njihovu obradu i korištenje, metode za pronalaženje potrebnih informacija u velikim nizovima. Problem velikih podataka je još uvijek otvoren i vitalan za sve sustave koji desetljećima gomilaju širok raspon informacija.

Ovaj izraz je povezan s izrazom "Jačina, brzina, raznolikost"– principi na kojima se gradi rad s velikim podacima. Izravno je količina informacija, njegovu brzinu obrade i raznovrsnost informacija pohranjene u nizu. Nedavno je na tri osnovna principa dodan još jedan - vrijednost, što znači vrijednost informacija. Odnosno, mora biti korisna i neophodna u teoretskom ili praktičnom smislu, što bi opravdalo troškove njegovog skladištenja i obrade.

Društvene mreže primjer su tipičnog izvora velikih podataka – svaki profil ili javna stranica jedna je mala kap u nestrukturiranom oceanu informacija. Štoviše, bez obzira na količinu informacija pohranjenih u pojedinom profilu, interakcija sa svakim od korisnika trebala bi biti što brža.

Veliki podaci se neprestano gomilaju u gotovo svim područjima ljudskog života. To uključuje bilo koju industriju povezanu bilo s ljudskim interakcijama ili računalstvom. To su društvene mreže, medicina i bankarski sektor, kao i sustavi uređaja koji primaju brojne rezultate svakodnevnih kalkulacija. Na primjer, astronomska promatranja, meteorološke informacije i informacije s uređaja za sondiranje Zemlje.

Informacije iz raznih sustava za praćenje u stvarnom vremenu šalju se i na poslužitelje određene tvrtke. Televizijsko i radijsko emitiranje, baze poziva mobilnih operatera - interakcija svake pojedinačne osobe s njima je minimalna, ali u zbiru, sve te informacije postaju veliki podaci.

Tehnologije velikih podataka postale su sastavni dio istraživanja i razvoja i trgovine. Štoviše, počinju zahvaćati sferu javne uprave – i svugdje je potrebno uvođenje sve učinkovitijih sustava za pohranu i manipulaciju informacijama.

Izraz "veliki podaci" prvi se put pojavio u tisku 2008. godine, kada je urednik Nature Clifford Lynch objavio članak o tome kako unaprijediti budućnost znanosti uz pomoć tehnologija velikih podataka. Do 2009. ovaj se pojam razmatrao samo sa stajališta znanstvene analize, ali nakon objavljivanja još nekoliko članaka, tisak je počeo naširoko koristiti koncept velikih podataka - i nastavlja ga koristiti i danas.

2010. godine počeli su se pojavljivati ​​prvi pokušaji rješavanja sve većeg problema velikih podataka. Objavljeni su softverski proizvodi čije je djelovanje bilo usmjereno na minimiziranje rizika pri korištenju ogromnih nizova informacija.

Do 2011. velike tvrtke poput Microsofta, Oraclea, EMC-a i IBM-a zainteresirale su se za velike podatke – one su prve koristile Big data u svojim razvojnim strategijama, i to prilično uspješno.

Sveučilišta su počela proučavati velike podatke kao zaseban predmet već 2013. godine - sada se problemima u ovom području ne bave samo podatkovne znanosti, već i inženjerstvo, zajedno s predmetima iz računarstva.

Glavne metode analize i obrade podataka uključuju sljedeće:

1. Metode klase ili dubinska analiza (Data Mining).

Ove metode su prilično brojne, ali ih objedinjuje jedna stvar: matematički alati koji se koriste u sprezi s dostignućima u području informacijske tehnologije.

1. Crowdsourcing.

Ova tehnika omogućuje istovremeno dobivanje podataka iz nekoliko izvora, a broj potonjih je praktički neograničen.

1. A/B testiranje.

Iz cjelokupne količine podataka odabire se kontrolni skup elemenata koji se uspoređuje s drugim sličnim skupovima, gdje je jedan od elemenata promijenjen. Provođenje takvih testova pomaže u određivanju koje fluktuacije parametara imaju najveći učinak na kontrolnu populaciju. Zahvaljujući količinama Big Data, moguće je izvesti ogroman broj iteracija, pri čemu se svaka od njih približava najpouzdanijem rezultatu.

1. Prediktivna analitika.

Stručnjaci u ovom području pokušavaju unaprijed predvidjeti i planirati kako će se kontrolirani objekt ponašati kako bi u ovoj situaciji donijeli najpovoljniju odluku.

1. Strojno učenje (umjetna inteligencija).

Temelji se na empirijskoj analizi informacija i naknadnoj konstrukciji samoučećih algoritama za sustave.

1. Analiza mreže.

Najčešća metoda za proučavanje društvenih mreža - nakon primanja statističkih podataka analiziraju se čvorovi stvoreni u mreži, odnosno interakcije između pojedinih korisnika i njihovih zajednica.

U 2017., kada veliki podaci više nisu nešto novo i nepoznato, njihova važnost ne samo da se nije smanjila, nego čak i povećala. Sada se stručnjaci klade da će analiza velikih količina podataka postati dostupna ne samo za divovske organizacije, već i za mala i srednja poduzeća. Ovaj pristup planira se implementirati korištenjem sljedećih komponenti:

• Pohrana u oblaku.

Pohrana i obrada podataka postaju brži i ekonomičniji – u usporedbi s troškovima održavanja vlastitog podatkovnog centra i mogućim proširenjem osoblja, najam oblaka čini se puno jeftinijom alternativom.

• Korištenje tamnih podataka.

Takozvani "tamni podaci" su sve nedigitalizirane informacije o poduzeću koje nemaju ključnu ulogu u njenom izravnom korištenju, ali mogu poslužiti kao razlog za prelazak na novi format pohrane informacija.

• Umjetna inteligencija i duboko učenje.

Tehnologija učenja strojne inteligencije, koja oponaša strukturu i rad ljudskog mozga, najprikladnija je za obradu velike količine informacija koje se neprestano mijenjaju. U ovom slučaju, stroj će učiniti sve što bi osoba trebala učiniti, ali je vjerojatnost pogreške znatno smanjena.

• blockchain.

Ova tehnologija omogućuje vam da ubrzate i pojednostavite brojne internetske transakcije, uključujući i međunarodne. Još jedna prednost Blockchaina je to što smanjuje transakcijske troškove.

• Samoposluživanje i sniženje cijena.

U 2017. godini planira se uvođenje „samouslužnih platformi“ – to su besplatne platforme na kojima će predstavnici malih i srednjih poduzeća moći samostalno procijeniti podatke koje pohranjuju i sistematizirati ih.

Sve marketinške strategije nekako se temelje na manipulaciji informacijama i analizi postojećih podataka. Zato korištenje velikih podataka može predvidjeti i omogućiti prilagodbu daljnjeg razvoja tvrtke.

Primjerice, RTB aukcija kreirana na temelju velikih podataka omogućuje vam učinkovitije korištenje oglašavanja - određeni proizvod će biti prikazan samo onoj skupini korisnika koji su zainteresirani za njegovu kupnju.

Koja je korist od korištenja velikih podatkovnih tehnologija u marketingu i poslovanju?

1. Uz njihovu pomoć možete puno brže stvarati nove projekte, koji će vjerojatno postati popularni među kupcima.
2. Pomažu u povezivanju zahtjeva kupaca s postojećom ili predviđenom uslugom i na taj način ih prilagoditi.
3. Metode velikih podataka omogućuju procjenu stupnja trenutnog zadovoljstva svih korisnika i svakog pojedinačno.
4. Povećanje lojalnosti kupaca osigurava se metodama obrade velikih podataka.
5. Privlačenje ciljane publike na Internetu postaje sve lakše zbog mogućnosti kontrole ogromnih količina podataka.

Na primjer, jedna od najpopularnijih usluga za predviđanje vjerojatne popularnosti određenog proizvoda je Google.trends. Široko ga koriste trgovci i analitičari, omogućujući im da dobiju statistiku o korištenju određenog proizvoda u prošlosti i prognozu za sljedeću sezonu. To omogućuje rukovoditeljima tvrtki da učinkovitije raspodijele proračun za oglašavanje, utvrde u koje je područje najbolje uložiti novac.

Primjeri korištenja Big Data

Aktivno uvođenje Big Data tehnologija na tržište i suvremeni život započelo je netom nakon što su ih počele koristiti svjetski poznate tvrtke koje imaju kupce u gotovo svakom kutku svijeta.

To su društveni divovi poput Facebooka i Googlea, IBM-a, kao i financijske strukture poput Master Carda, VISA i Bank of America.

Na primjer, IBM primjenjuje tehnike velikih podataka na gotovinske transakcije. Uz njihovu pomoć otkriveno je 15% više lažnih transakcija, što je povećalo iznos zaštićenih sredstava za 60%. Riješeni su i problemi s lažnim pozitivama sustava - njihov je broj smanjen za više od pola.

VISA je na sličan način koristila Big Data, prateći lažne pokušaje obavljanja određene transakcije. Zahvaljujući tome, godišnje štede više od 2 milijarde američkih dolara od curenja.

Njemačko ministarstvo rada uspjelo je smanjiti troškove za 10 milijardi eura implementacijom big data sustava u radu izdavanja naknada za nezaposlene. Ujedno je otkriveno da petina građana neopravdano prima te naknade.

Big Data nije zaobišao ni industriju igara. Stoga su programeri World of Tanks proveli studiju informacija o svim igračima i usporedili dostupne pokazatelje njihove aktivnosti. To je pomoglo u predviđanju mogućeg budućeg odljeva igrača - na temelju napravljenih pretpostavki, predstavnici organizacije mogli su učinkovitije komunicirati s korisnicima.

Značajne organizacije koje koriste velike podatke također uključuju HSBC, Nasdaq, Coca-Colu, Starbucks i AT&T.

Najveći problem s velikim podacima je trošak njihove obrade. To može uključivati ​​i skupu opremu i troškove plaća za kvalificirane stručnjake koji su sposobni servisirati ogromne količine informacija. Očito će se oprema morati redovito ažurirati kako ne bi izgubila minimalne performanse kako se količina podataka povećava.

Drugi problem je opet vezan uz veliku količinu informacija koje je potrebno obraditi. Ako, na primjer, studija daje ne 2-3, već veliki broj rezultata, vrlo je teško ostati objektivan i iz općeg toka podataka odabrati samo one koji će imati stvarni utjecaj na stanje neke pojave.

Problem privatnosti velikih podataka. S obzirom da većina usluga za korisničku podršku prelazi na online korištenje podataka, vrlo je lako postati sljedeća meta kibernetičkih kriminalaca. Čak i jednostavno pohranjivanje osobnih podataka bez obavljanja ikakvih online transakcija može biti bremenito neželjenim posljedicama za korisnike pohrane u oblaku.

Problem gubitka informacija. Mjere opreza zahtijevaju da se ne ograničavaju na jednostavnu jednokratnu sigurnosnu kopiju podataka, već da napravite barem 2-3 sigurnosne kopije pohrane. Međutim, kako se volumen povećava, povećava se složenost redundancije - a IT stručnjaci pokušavaju pronaći najbolje rješenje za ovaj problem.

Tržište velikih podatkovnih tehnologija u Rusiji i svijetu

Od 2014. 40% tržišta velikih podataka čine usluge. Nešto inferiorniji (38%) u odnosu na ovaj pokazatelj je prihod od korištenja Big Data u računalnoj opremi. Preostalih 22% je u softveru.

Najkorisniji proizvodi u globalnom segmentu za rješavanje problema velikih podataka, prema statistikama, su In-memory i NoSQL analitičke platforme. 15 odnosno 12 posto tržišta zauzimaju analitički softver Log-file i platforme Columnar. Ali Hadoop / MapReduce u praksi se nositi s problemima velikih podataka nije baš učinkovit.

Rezultati implementacije big data tehnologija:

• poboljšanje kvalitete usluge korisnicima;
• optimizacija integracije u lancu opskrbe;
• optimizacija planiranja organizacije;
• ubrzanje interakcije s klijentima;
• poboljšanje učinkovitosti obrade zahtjeva kupaca;
• smanjeni troškovi usluge;
• optimizacija obrade zahtjeva klijenata.

Najbolje knjige o velikim podacima

Pogodno za početno proučavanje tehnologija obrade velikih podataka - lako i jasno vas donosi u tijeku. Jasno daje do znanja kako je obilje informacija utjecalo na svakodnevni život i sva njegova područja: znanost, poslovanje, medicinu itd. Sadrži brojne ilustracije pa se percipira bez puno truda.

"Uvod u rudarenje podataka" Pang-Ning Tan, Michael Steinbach i Vipin Kumar

Također korisna knjiga za početnike o velikim podacima, koja objašnjava kako raditi s velikim podacima na način "od jednostavnog do složenog". Pokriva mnoge važne točke u početnoj fazi: pripremu za obradu, vizualizaciju, OLAP, kao i neke metode analize i klasifikacije podataka.

Praktični vodič za korištenje i rad s velikim podacima pomoću programskog jezika Python. Pogodno za studente strojarstva i profesionalce koji žele produbiti svoje znanje.

"Hadoop za lutke", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop je projekt dizajniran posebno za rad s distribuiranim programima koji organiziraju izvršavanje akcija na tisućama čvorova u isto vrijeme. Upoznavanje s njim pomoći će da se detaljnije razumije praktična primjena velikih podataka.

Prema istraživanjima i trendovima

Big Data, "Big Data" je već nekoliko godina tema grada u IT i marketinškom tisku. I jasno je: digitalne tehnologije su prožele život modernog čovjeka, “sve je napisano”. Raste obim podataka o različitim aspektima života, a istovremeno rastu i mogućnosti pohrane informacija.

Globalne tehnologije za pohranu informacija

Izvor: Hilbert i Lopez, `Svjetski tehnološki kapacitet za pohranu, komunikaciju i računanje informacija`, Science, 2011 Global.

Većina stručnjaka slaže se da je ubrzanje rasta podataka objektivna stvarnost. Društvene mreže, mobilni uređaji, podaci s mjernih uređaja, poslovne informacije samo su neke vrste izvora koji mogu generirati ogromne količine informacija. Prema istraživanju IDCDigitalni svemir, objavljenog 2012. godine, sljedećih 8 godina količina podataka u svijetu će doseći 40 Zb (zetabajta), što je ekvivalentno 5200 GB po stanovniku planeta.

Rast prikupljenih digitalnih informacija u SAD-u

Izvor: IDC

Značajan dio informacija ne stvaraju ljudi, već roboti koji međusobno komuniciraju i s drugim podatkovnim mrežama, kao što su, na primjer, senzori i pametni uređaji. Uz ovu stopu rasta, količina podataka u svijetu će se, prema istraživačima, svake godine udvostručiti. Broj virtualnih i fizičkih poslužitelja u svijetu će se udeseterostručiti zbog širenja i stvaranja novih podatkovnih centara. U tom smislu, raste potreba za učinkovitom upotrebom i unovčavanjem ovih podataka. Budući da korištenje Big Data u poslovanju zahtijeva znatna ulaganja, potrebno je jasno razumjeti situaciju. A u biti je jednostavno: možete povećati poslovnu učinkovitost smanjenjem troškova i/ili povećanjem prodaje.

Čemu služe Big Data?

Paradigma velikih podataka definira tri glavne vrste zadataka.

• Pohranjivanje i upravljanje stotinama terabajta ili petabajta podataka koje konvencionalne relacijske baze podataka ne mogu učinkovito koristiti.
• Organizacija nestrukturiranih informacija koje se sastoje od tekstova, slika, videa i drugih vrsta podataka.
• Analiza velikih podataka, koja postavlja pitanje kako raditi s nestrukturiranim informacijama, generiranje analitičkih izvješća i implementacija prediktivnih modela.

Tržište Big Data projekta presijeca se s tržištem poslovne inteligencije (BA), čiji je obujam u svijetu, prema procjenama stručnjaka, 2012. godine iznosio oko 100 milijardi dolara. Uključuje komponente mrežne tehnologije, poslužitelje, softver i tehničke usluge.

Također, korištenje Big Data tehnologija relevantno je za rješenja klase osiguranja dohotka (RA) dizajnirana za automatizaciju aktivnosti tvrtki. Suvremeni sustavi osiguranja prihoda uključuju alate za otkrivanje nedosljednosti i dubinsku analizu podataka koji vam omogućuju pravovremeno otkrivanje mogućih gubitaka ili izobličenja informacija koje mogu dovesti do smanjenja financijskih rezultata. S obzirom na to, ruske tvrtke, potvrđujući potražnju za Big Data tehnologijama na domaćem tržištu, napominju da su čimbenici koji stimuliraju razvoj Big Data u Rusiji rast podataka, ubrzanje donošenja upravljačkih odluka i poboljšanje njihovih kvaliteta.

Što sprječava rad s velikim podacima

Danas se analizira samo 0,5% akumuliranih digitalnih podataka, unatoč činjenici da objektivno postoje zadaci cijele industrije koji se mogu riješiti analitičkim rješenjima klase Big Data. Razvijena IT tržišta već imaju rezultate koji se mogu koristiti za procjenu očekivanja povezanih s akumulacijom i obradom velikih podataka.

Jedan od glavnih čimbenika koji usporava provedbu Big Data projekata, osim visoke cijene, je problem izbora podataka za obradu: odnosno definicija koje podatke treba izdvojiti, pohraniti i analizirati, a koje ne treba uzeti u obzir.

Mnogi predstavnici poduzeća primjećuju da su poteškoće u provedbi Big Data projekata povezane s nedostatkom stručnjaka - marketinških stručnjaka i analitičara. Stopa povrata ulaganja u Big Data izravno ovisi o kvaliteti rada zaposlenika uključenih u dubinsku i prediktivnu analitiku. Ogroman potencijal podataka koji već postoji u organizaciji sami trgovci često ne mogu učinkovito iskoristiti zbog zastarjelih poslovnih procesa ili internih propisa. Stoga tvrtke često percipiraju projekte Big Data kao teške ne samo u provedbi, već iu ocjenjivanju rezultata: vrijednosti prikupljenih podataka. Specifičnosti rada s podacima zahtijevaju od marketara i analitičara da svoju pozornost s tehnologije i izvještavanja prebace na rješavanje specifičnih poslovnih problema.

Zbog velikog volumena i velike brzine protoka podataka, proces prikupljanja podataka uključuje ETL procedure u stvarnom vremenu. Za referencu:ETL - odEngleskiEkstrakt, Transformirati, opterećenje- doslovno "vađenje, transformacija, učitavanje") - jedan od glavnih procesa u upravljanju skladišta podataka, što uključuje: izdvajanje podataka iz vanjskih izvora, njihovu transformaciju i čišćenje kako bi se zadovoljile potrebe ETL treba promatrati ne samo kao proces prijenosa podataka iz jedne aplikacije u drugu, već i kao alat za pripremu podataka za analizu.

A onda bi pitanja osiguranja sigurnosti podataka koji dolaze iz vanjskih izvora trebala imati rješenja koja odgovaraju količini prikupljenih informacija. Budući da se metode analize velikih podataka do sada razvijaju tek nakon rasta količine podataka, značajnu ulogu igra sposobnost analitičkih platformi da koriste nove metode pripreme i agregiranja podataka. To sugerira da, primjerice, podaci o potencijalnim kupcima ili masivno skladište podataka s poviješću klikova na web-mjesta internetskih trgovina mogu biti zanimljivi za rješavanje raznih problema.

Poteškoće ne prestaju

Unatoč svim poteškoćama s implementacijom Big Data, tvrtka namjerava povećati ulaganja u ovo područje. Prema podacima Gartnera, u 2013. godini 64% najvećih svjetskih tvrtki već je uložilo ili planira ulagati u implementaciju Big Data tehnologija za svoje poslovanje, dok je 2012. takvih tvrtki bilo 58%. Prema studiji Gartnera, lideri industrija koje ulažu u Big Data su medijske tvrtke, telekomunikacije, bankarski sektor i uslužne tvrtke. Uspješne rezultate implementacije Big Data već su postigli mnogi veliki igrači u maloprodajnoj industriji u smislu korištenja podataka dobivenih korištenjem RFID alata, logistike i sustava preseljenja (s engleskog. dopuna- akumulacija, dopuna - R&T), kao i iz programa vjernosti. Uspješno iskustvo u maloprodaji stimulira druge tržišne sektore da pronađu nove učinkovite načine za unovčavanje velikih podataka kako bi svoju analizu pretvorili u resurs koji radi za razvoj poslovanja. Zahvaljujući tome, prema mišljenju stručnjaka, u razdoblju do 2020. godine ulaganja u upravljanje i pohranu podataka smanjit će se za svaki gigabajt podataka s 2 na 0,2 dolara, ali će za proučavanje i analizu tehnoloških svojstava Big Data porasti za samo 40 %.

Troškovi prikazani u raznim investicijskim projektima u području Big Data su različite prirode. Stavke troškova ovise o vrsti proizvoda koji se odabiru na temelju određenih odluka. Najveći dio troškova u investicijskim projektima, prema mišljenju stručnjaka, otpada na proizvode koji se odnose na prikupljanje, strukturiranje podataka, čišćenje i upravljanje informacijama.

Kako se to radi

Postoje mnoge kombinacije softvera i hardvera koje vam omogućuju stvaranje učinkovitih Big Data rješenja za različite poslovne discipline: od društvenih medija i mobilnih aplikacija, do poslovnog rudarenja podataka i vizualizacije. Važna prednost Big Data je kompatibilnost novih alata s bazama podataka koje se široko koriste u poslovanju, što je posebno važno pri radu s međudisciplinarnim projektima, poput organizacije višekanalne prodaje i korisničke podrške.

Slijed rada s velikim podacima sastoji se od prikupljanja podataka, strukturiranja primljenih informacija korištenjem izvješća i nadzornih ploča (dashboard), stvaranja uvida i konteksta te formuliranja preporuka za djelovanje. Budući da rad s Big Data podrazumijeva visoke troškove prikupljanja podataka, čiji rezultat obrade nije unaprijed poznat, glavni zadatak je jasno razumjeti čemu služe podaci, a ne koliko ih je dostupno. U tom se slučaju prikupljanje podataka pretvara u proces dobivanja informacija koje su iznimno potrebne za rješavanje konkretnih problema.

Na primjer, davatelji telekomunikacijskih usluga prikupljaju ogromnu količinu podataka, uključujući geolokaciju, koja se stalno ažurira. Ove informacije mogu biti od komercijalnog interesa za reklamne agencije, koje ih mogu koristiti za posluživanje ciljanog i lokaliziranog oglašavanja, kao i za trgovce na malo i banke. Takvi podaci mogu imati važnu ulogu u odlučivanju o otvaranju maloprodajnog mjesta na određenoj lokaciji na temelju podataka o prisutnosti snažnog ciljanog protoka ljudi. Postoji primjer mjerenja učinkovitosti oglašavanja na vanjskim jumbo plakatima u Londonu. Sada se pokrivenost takvim oglašavanjem može mjeriti samo postavljanjem ljudi u blizini reklamnih konstrukcija s posebnim uređajem koji broji prolaznike. U usporedbi s ovom vrstom mjerenja učinkovitosti oglašavanja, mobilni operater ima puno više mogućnosti – zna točno gdje se nalaze njegovi pretplatnici, zna njihove demografske karakteristike, spol, dob, bračni status itd.

Na temelju takvih podataka u budućnosti se otvara mogućnost mijenjanja sadržaja reklamne poruke, koristeći preferencije određene osobe koja prolazi pored oglasnog panoa. Ako podaci pokazuju da osoba koja tuda prolazi puno putuje, tada joj se može prikazati oglas za odmaralište. Organizatori nogometne utakmice mogu samo procijeniti broj navijača kada dođu na utakmicu. No, kada bi od mobilnog operatera mogli zatražiti informaciju o tome gdje su posjetitelji sat, dan ili mjesec prije utakmice, onda bi to dalo mogućnost organizatorima da planiraju mjesta za oglašavanje idućih utakmica.

Drugi primjer je kako banke mogu koristiti Big Data za sprječavanje prijevara. Ako klijent prijavi gubitak kartice, a pri kupnji uz njenu pomoć banka u realnom vremenu vidi lokaciju klijentovog telefona u zoni kupnje u kojoj se transakcija odvija, banka može provjeriti podatke o klijentu. izjava je li ga pokušao prevariti. Ili suprotna situacija, kada klijent obavi kupnju u trgovini, banka vidi da su kartica na kojoj se transakcija odvija i telefon klijenta na istom mjestu, banka može zaključiti da je vlasnik kartice koristi . Zahvaljujući ovim prednostima Big Data, granice kojima su obdarena tradicionalna skladišta podataka šire se.

Za uspješnu odluku o implementaciji Big Data rješenja, tvrtka treba izračunati investicijski slučaj, a to uzrokuje velike poteškoće zbog mnogih nepoznatih komponenti. Paradoks analitike u takvim slučajevima je predviđanje budućnosti na temelju prošlosti, informacija o kojoj često nedostaje. U ovom slučaju, važan čimbenik je jasno planiranje vaših početnih radnji:

• Najprije je potrebno definirati jedan konkretan poslovni problem za koji će se koristiti Big Data tehnologije, a ovaj će zadatak postati srž utvrđivanja ispravnosti odabranog koncepta. Morate se usredotočiti na prikupljanje podataka vezanih uz ovaj konkretni zadatak, a tijekom provjere koncepta moći ćete koristiti različite alate, procese i metode upravljanja koji će vam omogućiti donošenje informiranih odluka u budućnosti.
• Drugo, malo je vjerojatno da će tvrtka bez vještina i iskustva u analizi podataka moći uspješno implementirati Big Data projekt. Potrebna znanja uvijek proizlaze iz prethodnog iskustva u analitici, što je glavni čimbenik koji utječe na kvalitetu rada s podacima. Kultura korištenja podataka igra važnu ulogu, jer često analiza informacija otkriva surovu istinu o poslovanju, a za prihvaćanje te istine i rad s njom potrebne su razvijene metode rada s podacima.
• Treće, vrijednost Big Data tehnologija leži u pružanju uvida. Dobrih analitičara i dalje nedostaje na tržištu. Oni se nazivaju stručnjacima koji duboko razumiju komercijalno značenje podataka i znaju kako ih ispravno primijeniti. Analiza podataka sredstvo je za postizanje poslovnih ciljeva, a da biste razumjeli vrijednost Big Data, potreban vam je odgovarajući model ponašanja i razumijevanje vaših postupaka. Big data će u ovom slučaju pružiti puno korisnih informacija o potrošačima na temelju kojih možete donositi korisne poslovne odluke.

Unatoč činjenici da se rusko tržište velikih podataka tek počinje oblikovati, neki projekti u ovom području već se provode prilično uspješno. Neki od njih su uspješni u području prikupljanja podataka, poput projekata za Federalnu poreznu službu i Tinkoff Credit Systems, drugi u smislu analize podataka i praktične primjene njegovih rezultata: ovo je projekt Synqera.

Tinkoff Credit Systems Bank implementirala je projekt implementacije EMC2 Greenplum platforme, koja je alat za masovno paralelno računanje. Banka je posljednjih godina povećala zahtjeve za brzinom obrade akumuliranih informacija i analizom podataka u stvarnom vremenu, uzrokovane visokom stopom rasta broja korisnika kreditnih kartica. Banka je najavila planove za proširenje upotrebe Big Data tehnologija, posebice za obradu nestrukturiranih podataka i rad s korporativnim informacijama dobivenim iz različitih izvora.

Federalna porezna služba Rusije trenutno stvara analitički sloj federalnog skladišta podataka. Na temelju njega stvara se jedinstveni informacijski prostor i tehnologija za pristup poreznim podacima za statističku i analitičku obradu. Tijekom provedbe projekta radi se na centralizaciji analitičkih informacija s više od 1200 izvora lokalne razine Federalne porezne službe.

Još jedan zanimljiv primjer analize velikih podataka u stvarnom vremenu je ruski startup Synqera, koji je razvio platformu Simplate. Rješenje se temelji na obradi velikih nizova podataka, program analizira podatke o kupcima, njihovu povijest kupnje, dob, spol, pa čak i raspoloženje. Na blagajnama u mreži kozmetičkih dućana postavljeni su zasloni osjetljivi na dodir sa senzorima koji prepoznaju emocije kupaca. Program određuje raspoloženje osobe, analizira podatke o njoj, određuje doba dana i skenira bazu popusta trgovine, nakon čega šalje ciljane poruke kupcu o promocijama i posebnim ponudama. Ovo rješenje poboljšava lojalnost kupaca i povećava prodaju u maloprodaji.

Ako govorimo o uspješnim inozemnim slučajevima, onda je u tom smislu zanimljivo iskustvo korištenja Big Data tehnologija u Dunkin` Donutsu, koji koristi podatke u stvarnom vremenu za prodaju proizvoda. Digitalni zasloni u trgovinama prikazuju ponude koje se mijenjaju svake minute, ovisno o dobu dana i dostupnosti proizvoda. Prema novčanim primicima, tvrtka dobiva podatke o tome koje su ponude dobile najveći odaziv kupaca. Ovaj pristup obradi podataka omogućio je povećanje dobiti i prometa robe u skladištu.

Kako pokazuje iskustvo implementacije Big Data projekata, ovo područje je zamišljeno za uspješno rješavanje suvremenih poslovnih problema. Istodobno, važan čimbenik u postizanju komercijalnih ciljeva pri radu s velikim podacima je odabir prave strategije, koja uključuje analitiku koja identificira potrebe potrošača, kao i korištenje inovativnih tehnologija u području Big Data.

Prema globalnom istraživanju koje svake godine od 2012. provode Econsultancy i Adobe među trgovcima tvrtki, “veliki podaci”, koji karakteriziraju radnje ljudi na Internetu, mogu učiniti mnogo. Oni su u stanju optimizirati izvanmrežne poslovne procese, pomoći razumjeti kako ih vlasnici mobilnih uređaja koriste za traženje informacija ili jednostavno „učiniti marketing boljim“, tj. učinkovitije. Štoviše, posljednja funkcija postaje sve popularnija iz godine u godinu, kao što slijedi iz našeg dijagrama.

Glavna područja rada internet marketinga u pogledu odnosa s kupcima

Izvor: Econsultancy i Adobe, objavljenoemarketer.com

Napominjemo da nacionalnost ispitanika nije bitna. Prema istraživanju koje je KPMG proveo 2013. godine, udio "optimista", t.j. onih koji koriste Big Data pri razvoju poslovne strategije je 56%, a fluktuacije od regije do regije su male: od 63% u sjevernoameričkim zemljama do 50% u EMEA.

Korištenje velikih podataka u raznim regijama svijeta

Izvor: KPMG, objavljenoemarketer.com

U međuvremenu, stav trgovaca prema takvim "modnim trendovima" pomalo podsjeća na dobro poznatu anegdotu:

Reci mi, Vano, voliš li rajčice?
- Volim jesti, ali ne.

Unatoč činjenici da trgovci kažu da "vole" Big Data i čak se čini da ih koriste, zapravo, "sve je komplicirano", dok pišu o svojim iskrenim privrženostima na društvenim mrežama.

Prema istraživanju koje je Circle Research proveo u siječnju 2014. među europskim trgovcima, 4 od 5 ispitanika ne koristi Big Data (unatoč činjenici da ih, naravno, “vole”). Razlozi su različiti. Malo je okorjelih skeptika - 17% i točno isti broj kao i njihovi antipodi, t.j. oni koji samouvjereno odgovaraju "Da". Ostali oklijevaju i sumnjaju, "močvara". Izbjegavaju izravan odgovor pod uvjerljivim izgovorima poput "ne još, ali uskoro" ili "čekat ćemo da drugi počnu".

Korištenje velikih podataka od strane marketinških stručnjaka, Europa, siječanj 2014

Izvor:dnx, Objavljeno -emarketer.com

Što ih zbunjuje? Čista glupost. Neki (točno polovica njih) jednostavno ne vjeruju u ove podatke. Drugima (također ih ima poprilično - 55%) je teško povezati skupove "podataka" i "korisnika" među sobom. Netko jednostavno (kažimo to politički korektno) ima interni korporativni nered: podaci bezvlasnički hodaju između marketinških odjela i IT struktura. Za druge, softver se ne može nositi s priljevom posla. itd. Budući da su ukupni udjeli znatno iznad 100%, jasno je da situacija "višestrukih barijera" nije neuobičajena.

Prepreke koje sprječavaju korištenje velikih podataka u marketingu

Izvor:dnx, Objavljeno -emarketer.com

Stoga moramo konstatirati da je za sada "Big Data" veliki potencijal koji još treba iskoristiti. Inače, možda je to razlog zašto Big Data gubi oreol “modnog trenda”, o čemu svjedoče podaci istraživanja koje je provela tvrtka Econsultancy koju smo već spomenuli.

Najznačajniji trendovi u digitalnom marketingu 2013.-2014

Izvor: Consultancy i Adobe

Smjenjuje ih drugi kralj – content marketing. Koliko dugo?

Ne može se reći da su Big Data neki temeljno novi fenomen. Veliki izvori podataka postoje već godinama: baze podataka o kupnji kupaca, kreditnoj povijesti, životnom stilu. I godinama su znanstvenici koristili ove podatke kako bi pomogli tvrtkama u procjeni rizika i predviđanju budućih potreba kupaca. Međutim, danas se situacija promijenila u dva aspekta:

Pojavili su se sofisticiraniji alati i metode za analizu i kombiniranje različitih skupova podataka;

Ovi analitički alati nadopunjeni su lavinom novih izvora podataka potaknutih digitalizacijom gotovo svake metode prikupljanja i mjerenja podataka.

Raspon dostupnih informacija inspirativan je i zastrašujući za istraživače koji su odrasli u strukturiranom istraživačkom okruženju. Osjećaj potrošača bilježe web stranice i sve vrste društvenih medija. Činjenicu gledanja oglasa bilježe ne samo set-top box uređaji, već i uz pomoć digitalnih oznaka i mobilnih uređaja koji komuniciraju s televizorom.

Podaci o ponašanju (kao što su broj poziva, kupovne navike i kupnje) sada su dostupni u stvarnom vremenu. Dakle, mnogo od onoga što se prije moglo naučiti kroz istraživanje sada se može naučiti putem velikih izvora podataka. I sva ta informacijska sredstva neprestano se generiraju, bez obzira na bilo kakve istraživačke procese. Ove promjene nas tjeraju da se zapitamo mogu li veliki podaci zamijeniti klasično istraživanje tržišta.

Ne radi se o podacima, već o pitanjima i odgovorima

Prije nego što naručimo smrtonosno zvono za klasično istraživanje, moramo se podsjetiti da nije presudna prisutnost jednog ili drugog podatkovnog materijala, već nešto drugo. Što točno? Naša sposobnost da odgovaramo na pitanja, eto što. Smiješna stvar u vezi s novim svijetom velikih podataka je da rezultati iz novih podatkovnih sredstava dovode do još više pitanja, a na ta pitanja obično se najbolje odgovara tradicionalno istraživanje. Stoga, kako veliki podaci rastu, vidimo paralelno povećanje dostupnosti i potražnje za “malim podacima” koji mogu dati odgovore na pitanja iz svijeta velikih podataka.

Razmotrimo situaciju: veliki oglašivač neprestano prati promet u trgovinama i količinu prodaje u stvarnom vremenu. Postojeće istraživačke metodologije (u kojima sudionike u istraživačkim panelima pitamo o njihovim kupovnim motivacijama i ponašanju na prodajnom mjestu) pomažu nam bolje ciljati određene segmente kupaca. Ove se metodologije mogu proširiti tako da uključuju širi raspon sredstava velikih podataka, do točke u kojoj veliki podaci postaju sredstvo pasivnog promatranja i istraživanja metodom tekućeg, usko usmjerenog istraživanja promjena ili događaja koji zahtijevaju proučavanje. Ovako veliki podaci mogu osloboditi istraživanje od nepotrebne rutine. Primarna istraživanja više se ne bi trebala fokusirati na ono što se događa (big data hoće). Umjesto toga, primarno istraživanje može se usredotočiti na objašnjenje zašto vidimo određene trendove ili odstupanja od trendova. Istraživač će moći manje razmišljati o dobivanju podataka, a više o tome kako ih analizirati i koristiti.

Istodobno, vidimo da veliki podaci rješavaju jedan od naših najvećih problema, problem predugih studija. Ispitivanje samih studija pokazalo je da pretjerano napuhani istraživački alati negativno utječu na kvalitetu podataka. Iako su mnogi stručnjaci već dugo priznavali ovaj problem, uvijek su odgovarali rečenicom: “Ali trebam ove informacije za više rukovodstvo”, a dugi intervjui su se nastavljali.

U svijetu velikih podataka, gdje se kvantitativni pokazatelji mogu dobiti pasivnim promatranjem, ovo pitanje postaje sporno. Opet, vratimo se na sva ova istraživanja potrošnje. Ako nam veliki podaci daju uvid u potrošnju kroz pasivno promatranje, tada primarno istraživanje u obliku anketa više ne treba prikupljati ovakve podatke, a svoju viziju kratkih anketa možemo podržati ne samo dobrim željama, već i nešto stvarno.

Big Data treba vašu pomoć

Konačno, "veliki" je samo jedna od karakteristika velikih podataka. Karakteristika "veliko" odnosi se na veličinu i razmjer podataka. Naravno, to je glavna karakteristika, budući da je obim ovih podataka izvan okvira svega s čime smo do sada radili. No važne su i druge karakteristike ovih novih tokova podataka: često su loše formatirani, nestrukturirani (ili, u najboljem slučaju, djelomično strukturirani) i puni nesigurnosti. Područje upravljanja podacima u nastajanju, prikladno nazvano "entitetska analitika", ima za cilj riješiti problem prevladavanja buke u velikim podacima. Njegova je zadaća analizirati te skupove podataka i saznati koliko je opažanja za istu osobu, koja su zapažanja aktualna, a koja od njih upotrebljiva.

Ova vrsta čišćenja podataka neophodna je za uklanjanje šuma ili pogrešnih podataka pri radu s velikim ili malim podacima, ali nije dovoljno. Također moramo stvoriti kontekst oko imovine velikih podataka na temelju našeg prethodnog iskustva, analitike i znanja o kategorijama. Zapravo, mnogi analitičari ističu sposobnost upravljanja neizvjesnošću svojstvenom velikim podacima kao izvorom konkurentske prednosti, jer omogućuje bolje donošenje odluka.

I tu je primarno istraživanje ne samo oslobođeno rutine zahvaljujući velikim podacima, već također doprinosi stvaranju sadržaja i analizi unutar velikih podataka.

Izvrstan primjer za to je primjena našeg potpuno novog okvira jednakosti brenda na društvenim medijima. (govorimo o onom razvijenom uMillward Smeđanovi pristup mjerenju vrijednosti robne markeThe Značajno Drugačiji Okvir- "Paradigma značajnih razlika" -R & T ). Ovaj model je testiran na ponašanje na određenim tržištima, implementiran na standardnoj osnovi i lako se može primijeniti na druge marketinške discipline i informacijske sustave za podršku odlučivanju. Drugim riječima, naš model vrijednosnog kapitala marke, koji se temelji na anketnom istraživanju (iako ne samo anketnom istraživanju), ima sva svojstva potrebna za prevladavanje nestrukturirane, nepovezane i nesigurne prirode velikih podataka.

Uzmite u obzir podatke o raspoloženju potrošača koje pružaju društvene mreže. U svom sirovom obliku, vrhunci i padove u potrošačkim osjećajima vrlo su često u minimalnoj korelaciji s izvanmrežnim mjerama vrijednosti robne marke i ponašanja: jednostavno je previše buke u podacima. No, tu buku možemo smanjiti primjenom naših modela potrošačkog značenja, diferencijacije robne marke, dinamike i identiteta na sirove podatke o raspoloženju potrošača, što je način obrade i agregiranja podataka društvenih medija duž ovih dimenzija.

Nakon što su podaci organizirani u skladu s našim okvirnim modelom, identificirani trendovi obično odgovaraju vrijednostima marke i ponašanja dobivenim izvan mreže. Zapravo, podaci društvenih medija ne mogu govoriti sami za sebe. Za njihovo korištenje u tu svrhu potrebno je naše iskustvo i modeli izgrađeni oko robnih marki. Kada nam društveni mediji daju jedinstvene informacije izražene na jeziku koji potrošači koriste za opisivanje robnih marki, moramo koristiti taj jezik prilikom kreiranja našeg istraživanja kako bismo primarno istraživanje učinili mnogo učinkovitijim.

Prednosti izuzetih studija

To nas vraća na činjenicu da veliki podaci ne zamjenjuju toliko istraživanja koliko ih oslobađaju. Istraživači će biti oslobođeni potrebe za stvaranjem nove studije za svaki novi slučaj. Neprestano rastuća sredstva velikih podataka mogu se koristiti za različite istraživačke teme, omogućujući naknadnim primarnim istraživanjima da se dublje udube u temu i popune praznine. Istraživači će biti oslobođeni oslanjanja na pretjerano napuhane ankete. Umjesto toga, moći će koristiti kratke ankete i usredotočiti se na najvažnije parametre, što poboljšava kvalitetu podataka.

S ovim izdanjem, istraživači će moći koristiti svoja utvrđena načela i uvide kako bi dodali preciznost i značenje velikim podacima, što će dovesti do novih područja istraživanja anketa. Ovaj ciklus bi trebao dovesti do dubljeg razumijevanja niza strateških pitanja i u konačnici prema onome što bi uvijek trebao biti naš primarni cilj informiranja i poboljšanja kvalitete odluka o brendu i komunikacijama.

16.07.18. Mail.ru je pokrenuo Big Data kao uslugu

Oblačna platforma Mail.ru nadopunjena je uslugom za analizu velikih podataka Cloud Big Data, koja se temelji na Apache Hadoop i Spark okvirima. Usluga će biti korisna za trgovce, financijske organizacije koje trebaju analizirati velike podatke, ali ne žele trošiti puno novca na vlastite poslužitelje. Mail.ru uzima novac samo za stvarno vrijeme rada opreme. Dakle, Hadoop klaster od 10 čvorova koštat će klijenta 39 rubalja. za jedan sat rada. Podsjetimo da je prošle godine MTS pokrenuo istu uslugu BigData Cloud MTS. Trošak korištenja usluge bio je od 5 tisuća rubalja. na mjesec. Također, pružaju se usluge obrade velikih podataka.

2017. MTS je pokrenuo cloud platformu za obradu velikih podataka

Operater MTS-a pokrenuo je uslugu za obradu velikih podataka u oblaku za poslovanje u sklopu svoje platforme u oblaku #CloudMTS. Tvrtke će moći raditi s podacima u softverskim okruženjima Hadoop i Spark. Na primjer, ova usluga u oblaku pomoći će tvrtkama da ciljaju oglase, prikupljaju i obrađuju otvorene podatke te obavljaju financijsku i poslovnu analitiku. Internetske trgovine moći će analizirati ponašanje kupaca i potom nuditi gotove ciljane ponude za razne događaje i blagdane. Usluga radi pomoću unaprijed instaliranih alata za izračun, ali je moguće izraditi vlastite algoritme za obradu podataka. Trošak korištenja usluge je od 5 tisuća rubalja mjesečno, cijena varira ovisno o prostoru koji se zauzima u oblaku. Podsjetimo da je platforma #CloudMTS nastala 2016. godine. Isprva je pružao samo usluge pohrane u oblaku, a kasnije se pojavila usluga računalstva u oblaku.

2016. Big Data prognoza za Olimpijske igre u Riju

Uskoro će vam usluge Big Data reći koje odluke trebate donijeti da biste razvili i osigurali svoje poslovanje. U međuvremenu uglavnom treniraju na sportskim natjecanjima. Sjećate li se da je Microsoftova inteligentna platforma nedavno predvidjela rezultate Europskog nogometnog prvenstva? Dakle, nije pogodila. Ovoga puta američka tvrtka Gracenote, specijalizirana za obradu velikih podataka, izračunala je najizgledniju varijantu poretka medalja Olimpijskih igara u Riju. Na slici je prognoza koja je napravljena mjesec dana prije Olimpijade. Stalno se ažurira. Trenutna verzija - .

2016. Intelektualna platforma Microsoft predvidjela je rezultate Europskog nogometnog prvenstva

Microsoft (kao i svaki IT div koji poštuje sebe) već ima analitičku platformu temeljenu na obradi velikih podataka (Big Data) i umjetnoj inteligenciji – Microsoft Cortana Intelligence Suite. Na temelju različitih podataka iz vaših poslovnih sustava, može predvidjeti odljev kupaca, kvarove opreme, promjene prihoda i još mnogo toga. A sada nam Microsoft daje priliku da testiramo koliko točno ova platforma radi. Nakon što je analizirala nogometnu povijest, statistiku momčadi, učinak igrača, ozljede i komentare navijača na društvenim mrežama, predstavila je svoje predviđanje za Europsko nogometno prvenstvo koje počinje danas. Dakle, prema prognozi: Njemačka će u finalu pobijediti Španjolsku s vjerojatnošću od 66%. A u uvodnoj utakmici Francuska će pobijediti Rumunjsku s vjerojatnošću od 71%.

2016. SAP i Yandex stvaraju Big Data uslugu za zadržavanje kupaca

Prije 2 godine Yandex je pokrenuo uslugu koja pruža usluge obrade velikih podataka za poduzeća. Ova je usluga već pomogla tvrtkama kao što su Beeline i Wargaming (Word of Tanks) da izbjegnu odljev kupaca. Predviđa razdoblja odljeva na temelju povijesnih podataka i daje poduzećima priliku da se na vrijeme pripreme i ponude neke nove promocije. Sada je očito ova Yandex tehnologija od interesa za najvećeg svjetskog igrača na korporativnom IT tržištu - SAP-u. Tvrtke su udružile snage kako bi razvile uslugu za predviđanje ponašanja kupaca. Prema SAP-u i YDF-u, usluga će se koristiti u maloprodaji, e-trgovini, bankama i telekomunikacijama. Kažu da će usluga biti dizajnirana za srednje poduzetnike, uključujući i cijenu.

2016. PROMT Analyzer - morfološki analizator velikih podataka

PROMT je objavio PROMT Analyzer - rješenje umjetne inteligencije za rad s velikim podacima u informacijskim i analitičkim sustavima. Alat je dizajniran za pretraživanje, izdvajanje, generaliziranje i strukturiranje informacija iz gotovo bilo kojeg tekstualnog sadržaja na različitim jezicima, kako u korporativnim sustavima tako i u vanjskim izvorima. Analizira sve tekstove ili dokumente, izdvaja subjekte u njima (osobe, organizacije, zemljopisna imena, geopolitičke subjekte itd.), a također utvrđuje radnje vezane za te subjekte, datum i mjesto radnje, stvara cjelovitu sliku o dokument. PROMT Analyzer omogućuje rješavanje raznih zadataka: analiza unutarnjih resursa tvrtke (sustavi za upravljanje dokumentima), analiza vanjskih resursa (mediji, blogosfera itd.), analiza podataka dobivenih iz zatvorenih izvora za procjenu kritičnosti situacija, analiza aktivnosti objekta s obzirom na geografiju, kao i optimizacija tražilica i usluga podrške.

2016. Mail.Ru će pomoći tvrtkama da analiziraju svoje podatke

Mail.Ru nastoji držati korak sa svojim glavnim konkurentom, Yandexom. Prije godinu dana Yandexova usluga analize velikih podataka za poslovanje. A sada je Mail.ru otvorio smjer Big Data za korporativne klijente. Prije svega, bavit će se projektima koji su usmjereni na poboljšanje učinkovitosti marketinških i prodajnih procesa, optimizaciju proizvodnje, logistiku, upravljanje rizicima, planiranje, upravljanje osobljem i druge poslovne procese. Na primjer, Mail.ru će moći stvoriti model za predviđanje odljeva kupaca, odgovor na ponude, predviđanje reakcije na žalbu kroz određeni komunikacijski kanal. To će interakciju s potencijalnim klijentom učiniti personaliziranijom. Mail.ru kaže da se tvrtka bavi analizom podataka od samog početka i ima vlastite tehnologije strojnog učenja.

2015. IBM će postati vodeći pružatelj poslovne vremenske prognoze

Je li vrijeme važno za posao? Naravno, pogotovo ako je vaš posao poljoprivredno poduzeće, turistička agencija, kafić ili trgovina odjećom. Vrijeme utječe na stabilnost opskrbe, odabir asortimana i prodajnu aktivnost. U tom slučaju svaki sustav poslovne inteligencije koji poštuje sebe trebao bi uzeti u obzir vremensku prognozu. Tako su razmišljali u IBM-u i kupili najveći svjetski meteorološki servis The Weather Company. IBM planira prenijeti podatke s tri milijarde prediktivnih referentnih točaka na svoje superračunalo Watson i revolucionirati vremensku prognozu. Osim toga, planiraju stvoriti platformu koja će poslovnim aplikacijama trećih strana omogućiti korištenje informacija o vremenu uz naknadu.

2015. Video: Kako koristiti velike podatke za privlačenje talentiranih zaposlenika

Još uvijek sumnjate da su Big Data korisni za poslovanje? Zatim pogledajte ovaj video o tome kako Beeline privlači nove talentirane zaposlenike koristeći Big Data. Početkom rujna po Moskvi je jurio takav Big Data Taxi u obliku automobila Tesla. Prema riječima predstavnika Beelinea, osim što pomažu privlačenju novih talenata, Big Data tehnologije omogućuju tvrtki rješavanje raznih problema. Počevši od takvih jednostavnih i trivijalnih kao što su "pronađi sve one koji koriste SIM karticu kupljenu tuđom putovnicom" i završavajući s "odredite dob pretplatnika kombinacijom pokazatelja".

2015. Microsoft je predstavio platformu Big Data koja govori

Big Data tehnologije obećavaju tvrtkama čarobnu optimizaciju poslovnih procesa, na primjer: uvijek ćete imati pravu količinu robe na pravom mjestu, u pravo vrijeme. Ali one tvrtke koje su već isprobale Big Data kažu: u praksi to ne funkcionira. Postojeći Big Data sustavi namijenjeni su analitičarima i ne pomažu običnom zaposleniku koji mora donijeti odluku ovdje i sada. Stoga je Microsoft odlučio izdati Big Data platformu s ljudskim licem (točnije, glasom) - Cortana Analytics Suite. Temelji se na Azure cloud platformi i koristi Cortana glasovni asistent kao sučelje. Pretpostavlja se da će uz pomoć vizualnog dizajnera svaki voditelj odjela moći kreirati mini-aplikacije koje obrađuju velike količine podataka, a svaki će zaposlenik moći pitati Cortanu i dobiti prave informacije u pravo vrijeme, u pravo mjesto.

2015. Video: Što su Big Data i kome su potrebni?

Ruski startup CleverData pozicioniran je kao integrator velikih podataka. Realiziraju projekte za rješavanje specifičnih poslovnih problema koristeći Big Data platforme i tehnologije. U videu, izvršni direktor CleverData Denis Afanasiev zanimljivo govori o tome što su Big Data i odakle su ti big data. Pokazalo se da tehnologije obrade velikih podataka postoje već više od desetak godina, ali razlog za pojavu marketinškog pojma Big Data je taj što je (zahvaljujući računalstvu u oblaku) njihova cijena smanjena i postali su dostupni malim i srednjim tvrtke. Big Data se, kaže Denis, najčešće koristi za marketing (segmentacija baze klijenata, online oglašavanje), IT sigurnost (otkrivanje prijevara, predviđanje kvarova), upravljanje rizicima (procjena kreditne sposobnosti klijenata).

2015. SAP je predstavio Next Big Thing - S/4HANA ERP sustav

SAP-ov prvi ERP sustav zvao se R/2 i radio je na velikim računalima. Zatim je bio R/3. SAP Business Suite pojavio se 2004. godine. Neki dan je SAP predstavio (kako kažu) najvažniji proizvod u svojoj povijesti - novu verziju S4/HANA. Prilikom izrade, programeri nisu razmišljali o tome kako obrisati nos vječnim rivalom Oracleom, nego o tome kako se ne daju pobijediti agresivnim SaaS pružateljima Salesforcea i Workdaya. Stoga će S4 moći raditi i lokalno i u oblaku. Glavna značajka sustava je brzina. Kao što ime govori, S4 se temelji na vodećoj Big Data platformi SAP HANA, koja vam omogućuje obradu vrlo velikih podataka u sekundi. Druga glavna značajka je sučelje. Zaboravite na složene stolove i jelovnike koje ne možete shvatiti bez boce. SAP želi snažan novi sustav kojim se može upravljati pomoću pametnog telefona. Najmanje 25 jednostavnih SAP Fiori aplikacija bit će dostupno za rad sa SAP-om. Evo njihove video prezentacije:

2014. Yandex je otvorio uslugu Big Data za poslovanje

Yandex je pokrenuo projekt Yandex Data Factory, koji će pružati usluge obrade velikih podataka za poduzeća. Da bi to učinio, koristi tehnologiju strojnog učenja Matrixnet koju je Yandex razvio za rangiranje web-mjesta u svojoj tražilici. Navodi se da Yandex planira postati konkurent tvrtkama kao što su SAP AG i Microsoft. Trenutačno su stručnjaci Yandex Data Factory implementirali nekoliko pilot projekata s europskim tvrtkama. Konkretno, umjetnu inteligenciju Yandexa koristila je tvrtka za dalekovode za predviđanje kvarova, banka za ciljanje zajmoprimaca, a agencija za ceste za predviđanje prometnih gužvi. Osim toga, ispada da Yandex obrađuje podatke dobivene iz poznatog hadronskog sudarača u centru CERN-a.

2014. Microsoft pomaže Real Madridu pobijediti s velikim podacima

Od dobra se ne traži dobro. Real Madrid igra prilično dobro u posljednje vrijeme i postiže dobre rezultate. No, lovorike njemačke reprezentacije, koja je uz pomoć osvojila Svjetsko prvenstvo, opsjedaju predsjednika madridskog kluba Florentina Pereza (na fotografiji krajnje lijevo). Stoga je potpisao ugovor s Microsoftom u iznosu od 30 milijuna dolara, prema kojem će se stvoriti moderna informatička infrastruktura kluba. Treneri i igrači Real Madrida dobit će Surface Pro 3 tablete s unaprijed učitanim aplikacijama Office 365 za poboljšanje suradnje osoblja. A s alatima za analizu Power BI za Office 365, treneri timova mogu proučavati nogometne performanse, identificirati dugoročne trendove, pa čak i predvidjeti ozljede.

2014. 1C-Bitrix je pokrenuo uslugu Big Data

Big Data - tehnologije za obradu vrlo velikih količina podataka u svrhu dobivanja jednostavnih i korisnih rezultata za poslovanje - jedan je od glavnih novih trendova na IT tržištu. A usluga 1C-Bitrix BigData možda je prva domaća usluga temeljena na ovoj tehnologiji. Prva primjena ove umjetne inteligencije bit će optimizacija (personalizacija) online trgovina na Bitrix motoru za svakog novog posjetitelja. Na temelju analize velike količine podataka o svim prošlim posjetiteljima, usluga će moći predvidjeti ponašanje novog posjetitelja na stranici, istaknuti mu slične kupce te mu izraditi personalizirane ponude na temelju povijesti kupnje drugih kupaca. Vjerojatno uskoro možemo očekivati ​​Big Data funkcije u sustavu upravljanja poslovanjem Bitrix24.

2014. SAP: Njemačka momčad osvaja svjetsko prvenstvo zahvaljujući velikim podacima

Nedavno, prošle godine, jahta Oracle osvojila je America's Cup, a tada je Oracle rekao da je za ovu pobjedu uvelike zaslužan sustav analize Big Data (Big Data) u oblaku Oracle. Sada je vrijeme da Oracleov vječni konkurent, njemačka tvrtka SAP, odgovori na ovaj PR potez. Ispostavilo se da je njemačka reprezentacija osvojila Svjetsko prvenstvo i zahvaljujući Big Data. SAP je razvio sustav Match Insights, koji čita nogometnu utakmicu u 3D digitalni model i analizira postupke svakog igrača i momčadi u cjelini. Analizirali smo ne samo utakmice vlastite momčadi (kako bismo ispravili pogreške i poboljšali učinkovitost), već i utakmice natjecatelja. Umjetna inteligencija pronašla je slabosti protivnika i pomogla momčadi da se pripremi za utakmicu. A moral priče je sljedeći: Zamislite što veliki podaci mogu učiniti za vaše poslovanje.

2014. CROC lansira rješenje u oblaku klase poslovne inteligencije

Integrator sustava Krok pokrenuo je uslugu poslovne inteligencije govornog naziva "Poslovna inteligencija kao usluga" ili BIAaS. Rješenje je dizajnirano za velike organizacije koje su zainteresirane za smanjenje kapitalnih troškova i ubrzanje donošenja upravljačkih odluka. Sustav se temelji na EMC Greenplum proizvodu i predstavlja Big Data rješenje. Pomoću ovog alata možete analizirati i uspoređivati ​​velike količine informacija, graditi ključne pokazatelje i donositi poslovne odluke, zaobilazeći fazu kapitalnih izdataka za nabavu softvera, licenci i moguće nadogradnje infrastrukture. Rješenje vam omogućuje implementaciju tri moguća scenarija za rad s podacima - analitiku za maloprodaju, analizu uspješnosti kontakt centra, kao i procjenu usklađenosti upravljačkih aktivnosti organizacije s KPI-jem.

2013. SAP čini velika poduzeća učinkovitima s velikim podacima. natjecatelji plaču

SAP se posljednjih godina pokazao kao najmanje inovativna IT tvrtka (u usporedbi s konkurentima Oracle, Microsoft, IBM). Svi SAP-ovi vlastiti inovativni projekti u osnovi su propali (sjetite se), a jedino što je SAP uspio jest kupiti druge tvrtke (SuccessFactors, SyBase, Ariba). No, čini se da je ovaj put SAP odlučio izgubiti nos pred konkurentima. I to će učiniti na račun nove moderne Big Data tehnologije. Što je?

Samo lijen ne govori o velikim podacima, ali jedva razumije što je to i kako funkcionira. Počnimo s najjednostavnijim – terminologijom. Govoreći na ruskom, veliki podaci su različiti alati, pristupi i metode za obradu strukturiranih i nestrukturiranih podataka kako bi se koristili za određene zadatke i svrhe.

Nestrukturirani podaci su informacije koje nemaju unaprijed određenu strukturu ili nisu organizirane određenim redoslijedom.

Termin "veliki podaci" skovao je urednik Nature Clifford Lynch 2008. godine u posebnom izdanju o eksplozivnom rastu svjetskih količina informacija. Iako su, naravno, i sami veliki podaci postojali i prije. Prema riječima stručnjaka, većina protoka podataka preko 100 GB dnevno spada u kategoriju velikih podataka.

Pročitajte također:

Danas ovaj jednostavan pojam krije samo dvije riječi – pohranu i obradu podataka.

Veliki podaci - jednostavnim riječima

U suvremenom svijetu, veliki podaci su društveno-ekonomski fenomen koji je povezan s činjenicom da su se pojavile nove tehnološke mogućnosti za analizu ogromne količine podataka.

Pročitajte također:

Radi lakšeg razumijevanja, zamislite supermarket u kojem sva roba nije onim redom na koji ste navikli. Kruh pored voća, pasta od rajčice pored smrznute pizze, tekućina za upaljač pored stalka tampona koji između ostalog sadrži avokado, tofu ili shiitake gljive. Big data sve stavlja na svoje mjesto i pomaže vam pronaći mlijeko s orašastim plodovima, saznati cijenu i rok trajanja te tko osim vas kupuje takvo mlijeko i koliko je bolje od kravljeg.

Kenneth Cookier: Veliki podaci su bolji podaci

Tehnologija velikih podataka

Ogromne količine podataka se obrađuju kako bi osoba mogla dobiti konkretne i potrebne rezultate za njihovu daljnju učinkovitu primjenu.

Pročitajte također:

Zapravo, veliki podaci su rješenje za probleme i alternativa tradicionalnim sustavima upravljanja podacima.

Tehnike i metode analize primjenjive na velike podatke prema McKinseyju:

• crowdsourcing;

  Miješanje i integracija podataka;

  Strojno učenje;

  Umjetne neuronske mreže;

  Prepoznavanje uzorka;

  Prediktivna analitika;

  simulacijsko modeliranje;

  Prostorna analiza;

  Statistička analiza;

• Vizualizacija analitičkih podataka.

Horizontalna skalabilnost koja omogućuje obradu podataka osnovni je princip obrade velikih podataka. Podaci se distribuiraju do računalnih čvorova, a obrada se odvija bez degradacije performansi. McKinsey je također uključio relacijske sustave upravljanja i poslovnu inteligenciju u kontekstu primjenjivosti.

Tehnologije:

• NoSQL;
• MapReduce;
• Hadoop;
• Hardverska rješenja.

Pročitajte također:

Za velike podatke postoje tradicionalne definirajuće karakteristike koje je razvila Meta Grupa još 2001. godine, a koje se nazivaju “ Tri V»:

1. Volumen- vrijednost fizičkog volumena.
2. Brzina- stopa rasta i potreba za brzom obradom podataka za dobivanje rezultata.
3. Raznolikost- sposobnost istovremene obrade različitih vrsta podataka.

Veliki podaci: primjena i mogućnosti

Količine heterogenih i brzo dolaznih digitalnih informacija ne mogu se obraditi tradicionalnim alatima. Sama analiza podataka omogućuje vam da vidite određene i neprimjetne obrasce koje osoba ne može vidjeti. To nam omogućuje da optimiziramo sva područja našeg života - od javne uprave do proizvodnje i telekomunikacija.

Primjerice, neke su tvrtke prije nekoliko godina štitile svoje kupce od prijevara, a briga o novcu klijenata je briga o svom novcu.

Susan Atliger: Što je s velikim podacima?

Rješenja temeljena na Big data: Sberbank, Beeline i druge tvrtke

Beeline ima ogromnu količinu podataka o pretplatnicima koje koriste ne samo za rad s njima, već i za izradu analitičkih proizvoda, poput vanjskog savjetovanja ili IPTV analitike. Beeline je segmentirao bazu podataka i zaštitio klijente od novčane prijevare i virusa koristeći HDFS i Apache Spark za pohranu, te Rapidminer i Python za obradu podataka.

Pročitajte također:

Ili se sjetite Sberbanke s njihovim starim slučajem AS SAFI. Ovo je sustav koji analizira fotografije kako bi identificirao klijente banke i spriječio prijevaru. Sustav je uveden još 2014. godine, sustav se temelji na usporedbi fotografija iz baze podataka koje do tamo dolaze s web kamera na stalcima zahvaljujući računalnom vidu. Osnova sustava je biometrijska platforma. Zahvaljujući tome, broj slučajeva prijevare smanjen je za 10 puta.

Veliki podaci u svijetu

Do 2020. godine, prema prognozama, čovječanstvo će formirati 40-44 zetabajta informacija. A do 2025. porast će 10 puta, prema izvješću The Data Age 2025, koje su pripremili analitičari IDC-a. U izvješću se navodi da će većinu podataka generirati same tvrtke, a ne obični potrošači.

Analitičari studije vjeruju da će podaci postati vitalna imovina, a sigurnost - kritični temelj u životu. Također, autori rada uvjereni su da će tehnologija promijeniti gospodarski krajolik, a prosječni korisnik će komunicirati s povezanim uređajima oko 4800 puta dnevno.

Tržište velikih podataka u Rusiji

Obično veliki podaci dolaze iz tri izvora:

• Internet (društvene mreže, forumi, blogovi, mediji i druge stranice);
• Korporativni arhiv dokumenata;
• Indikacije senzora, instrumenata i drugih uređaja.

Veliki podaci u bankama

Uz gore opisani sustav, u strategiji Sberbanke za 2014.-2018. govori o važnosti analize super-podataka za kvalitetnu uslugu korisnicima, upravljanje rizicima i optimizaciju troškova. Banka sada koristi Big Data za upravljanje rizicima, borbu protiv prijevara, segmentiranje i procjenu kreditne sposobnosti klijenata, upravljanje osobljem, predviđanje redova u poslovnicama, izračunavanje bonusa zaposlenicima i druge zadatke.

VTB24 koristi velike podatke za segmentiranje i upravljanje odljevom kupaca, generiranje financijskih izvještaja i analizu povratnih informacija na društvenim mrežama i forumima. Za to koristi rješenja Teradata, SAS Visual Analytics i SAS Marketing Optimizer.