Metode analize velikih podataka. Veliki podaci – šta su sistemi velikih podataka? Razvoj Big Data tehnologija

Veliki podaci (ili Big Data) su skup metoda za rad s ogromnim količinama strukturiranih ili nestrukturiranih informacija. Stručnjaci za velike podatke ih obrađuju i analiziraju kako bi dobili vizualne, čovjeku vidljive rezultate. Look At Me je razgovarao sa profesionalcima i saznao kakva je situacija sa obradom velikih podataka u Rusiji, gde i šta je najbolje studirati za one koji žele da rade u ovoj oblasti.

Alexey Ryvkin o glavnim trendovima u oblasti velikih podataka, komunikacije s kupcima i svijetu brojeva

Studirao sam na Moskovskom institutu za elektronsku tehnologiju. Ono što sam odatle uspeo da odnesem bila su osnovna znanja iz fizike i matematike. Uporedo sa studiranjem radio sam u R&D centru, gdje sam bio uključen u razvoj i implementaciju algoritama kodiranja otpornih na buku za siguran prijenos podataka. Nakon završenih osnovnih studija, upisao sam master studije poslovne informatike na Višoj ekonomskoj školi. Nakon toga sam htio raditi u IBS-u. Imao sam sreću da je tada, zbog velikog broja projekata, došlo do dodatnog zapošljavanja pripravnika, te sam nakon nekoliko intervjua počeo raditi u IBS-u, jednoj od najvećih ruskih kompanija u ovoj oblasti. Za tri godine sam prošao put od pripravnika do arhitekte korporativnih rješenja. Trenutno razvijam ekspertizu u Big Data tehnologijama za kompanije klijenata iz finansijskog i telekomunikacijskog sektora.

Postoje dvije glavne specijalizacije za ljude koji žele raditi s velikim podacima: analitičari i IT konsultanti koji kreiraju tehnologije za rad s velikim podacima. Osim toga, možemo govoriti i o profesiji Big Data Analyst, odnosno ljudima koji direktno rade sa podacima, sa IT platformom korisnika. Ranije su to bili obični matematički analitičari koji su poznavali statistiku i matematiku i koristili statistički softver za rješavanje problema analize podataka. Danas je, pored znanja iz statistike i matematike, neophodno i razumevanje tehnologije i životnog ciklusa podataka. To je, po mom mišljenju, razlika između modernih analitičara podataka i onih analitičara koji su došli prije.

Moja specijalizacija je IT konsalting, odnosno smišljam i nudim klijentima načine rješavanja poslovnih problema korištenjem IT tehnologija. U savjetovanje dolaze ljudi sa različitim iskustvima, ali najvažnije kvalitete za ovu profesiju su sposobnost razumijevanja potreba klijenta, želja da se pomogne ljudima i organizacijama, dobra komunikacija i timske vještine (pošto je uvijek rad sa klijentom i u timu), dobre analitičke sposobnosti. Interna motivacija je vrlo važna: radimo u konkurentnom okruženju, a kupac očekuje neobična rješenja i interesovanje za rad.

Većinu svog vremena provodim u komunikaciji s kupcima, formaliziranju njihovih poslovnih potreba i pomaganju im da razviju najprikladniju tehnološku arhitekturu. Kriterijumi odabira ovdje imaju svoju posebnost: pored funkcionalnosti i TCO-a (Ukupni trošak vlasništva), vrlo su važni i nefunkcionalni zahtjevi za sistem, najčešće su to vrijeme odziva i vrijeme obrade informacija. Da bismo uvjerili kupca, često koristimo pristup proof of concept – nudimo besplatno „testiranje“ tehnologije na nekom zadatku, na uskom skupu podataka, kako bismo bili sigurni da tehnologija funkcionira. Rješenje treba da stvori konkurentsku prednost za kupca tako što će ostvariti dodatne pogodnosti (na primjer, x-sell, cross-selling) ili riješiti neku vrstu poslovnog problema, recimo, smanjiti visoku razinu kreditne prevare.

Bilo bi mnogo lakše kada bi klijenti došli sa gotovim zadatkom, ali zasad ne razumiju da se pojavila revolucionarna tehnologija koja može promijeniti tržište za par godina

Sa kojim problemima se suočavate? Tržište još nije spremno za korištenje tehnologija velikih podataka. Bilo bi mnogo lakše kada bi klijenti došli sa gotovim zadatkom, ali zasad ne razumiju da se pojavila revolucionarna tehnologija koja može promijeniti tržište za par godina. Zbog toga u suštini radimo u startup modu – ne prodajemo samo tehnologije, već svaki put uvjeravamo klijente da moraju ulagati u ova rješenja. Ovo je pozicija vizionara - kupcima pokazujemo kako mogu promijeniti svoje poslovanje koristeći podatke i IT. Mi stvaramo ovo novo tržište - tržište komercijalnog IT konsaltinga u oblasti velikih podataka.

Ako osoba želi da se bavi analizom podataka ili IT konsaltingom u oblasti velikih podataka, onda je prvo važno matematičko ili tehničko obrazovanje sa dobrom matematičkom obukom. Takođe je korisno savladati specifične tehnologije, na primjer SAS, Hadoop, R jezik ili IBM rješenja. Osim toga, morate biti aktivno zainteresirani za aplikacije za velike podatke – na primjer, kako se oni mogu koristiti za poboljšano ocjenjivanje kredita u banci ili upravljanje životnim ciklusom klijenata. Ovo i druga znanja mogu se dobiti iz dostupnih izvora: na primjer, Coursera i Big Data University. Tu je i Inicijativa za analitiku kupaca na Univerzitetu Wharton u Pensilvaniji, gdje je objavljeno mnogo zanimljivih materijala.

Veliki problem za one koji žele da rade u našoj oblasti je očigledan nedostatak informacija o velikim podacima. Ne možete otići u knjižaru ili neku web stranicu i dobiti, na primjer, sveobuhvatnu kolekciju slučajeva o svim primjenama Big Data tehnologija u bankama. Ne postoje takvi imenici. Neke informacije su u knjigama, neke se prikupljaju na konferencijama, a neke morate sami shvatiti.

Drugi problem je to što se analitičari osjećaju ugodno u svijetu brojeva, ali im nije uvijek ugodno u poslu. Ovi ljudi su često introvertirani i imaju poteškoća u komunikaciji, što im otežava da uvjerljivo prenesu rezultate istraživanja klijentima. Da bih razvio ove vještine, preporučio bih knjige kao što je Princip piramide, Govori jezikom dijagrama. Pomažu u razvoju vještina prezentacije i izražavaju svoje misli sažeto i jasno.

Mnogo mi je pomoglo učešće na raznim prvenstvima za slučajeve tokom studiranja na Visokoj školi ekonomije Nacionalnog istraživačkog univerziteta. Case Championships su intelektualna takmičenja za studente na kojima treba proučiti poslovne probleme i predložiti rješenja za njih. Postoje dva tipa: prvenstvo u slučajevima konsultantskih firmi, na primjer, McKinsey, BCG, Accenture, kao i nezavisna prvenstva slučaja kao što je Changellenge. Učestvujući u njima, naučio sam da sagledavam i rješavam složene probleme – od identifikacije problema i strukturiranja do odbrane preporuka za njegovo rješenje.

Oleg Mikhalsky o ruskom tržištu i specifičnostima stvaranja novog proizvoda u oblasti velikih podataka

Prije nego što sam se pridružio Acronisu, već sam bio uključen u lansiranje novih proizvoda na tržište u drugim kompanijama. Uvijek je zanimljivo i izazovno u isto vrijeme, pa me odmah zainteresirala prilika da radim na cloud servisima i rješenjima za pohranu podataka. Svo moje dosadašnje iskustvo u IT industriji, uključujući i vlastiti startup projekat I-akcelerator, dobro mi je došlo u ovoj oblasti. Pomoglo je i poslovno obrazovanje (MBA) pored osnovne diplome inženjera.

U Rusiji velike kompanije - banke, mobilni operateri itd. - imaju potrebu za analizom velikih podataka, tako da i kod nas postoji perspektiva za one koji žele da rade u ovoj oblasti. Istina, mnogi projekti su sada integracijski projekti, odnosno napravljeni na bazi stranih razvoja ili open source tehnologija. U takvim projektima ne stvaraju se fundamentalno novi pristupi i tehnologije, već se prilagođavaju postojeći razvoji. U Acronisu smo krenuli drugim putem i, nakon analize dostupnih alternativa, odlučili smo uložiti u vlastiti razvoj, što je rezultiralo pouzdanim sistemom za skladištenje velikih podataka koji nije inferioran po cijeni od, na primjer, Amazon S3, ali radi pouzdano. i to efikasno i u znatno manjem obimu. Velike internet kompanije takođe imaju svoj razvoj u oblasti velikih podataka, ali su više fokusirane na interne potrebe, a ne na zadovoljenje potreba eksternih klijenata.

Važno je razumjeti trendove i ekonomske sile koje utiču na oblast velikih podataka. Da biste to učinili, morate puno čitati, slušati govore autoritativnih stručnjaka u IT industriji i prisustvovati tematskim konferencijama. Sada skoro svaka konferencija ima odjeljak o velikim podacima, ali svi govore o tome iz drugačijeg ugla: sa tehnološke, poslovne ili marketinške tačke gledišta. Možete otići na projektni rad ili na praksu u kompaniju koja već vodi projekte na ovu temu. Ako ste sigurni u svoje sposobnosti, onda nije kasno da organizujete startup u oblasti velikih podataka.

Bez stalnog kontakta sa tržištem novi razvojni rizici ostaju nepotraženi

Istina, kada ste odgovorni za novi proizvod, dosta vremena se troši na analitiku tržišta i komunikaciju s potencijalnim klijentima, partnerima i profesionalnim analitičarima koji znaju puno o klijentima i njihovim potrebama. Bez stalnog kontakta sa tržištem postoji rizik da novi razvoj ostane nepotražen. Uvijek postoji mnogo neizvjesnosti: morate shvatiti ko će biti rani usvojitelji, šta im možete ponuditi i kako onda privući masovnu publiku. Drugi najvažniji zadatak je formulirati i prenijeti programerima jasnu i holističku viziju finalnog proizvoda kako bi ih motivirali da rade u takvim uvjetima kada se neki zahtjevi još mogu promijeniti, a prioriteti zavise od povratnih informacija od prvih kupaca. Stoga je važan zadatak upravljanje očekivanjima klijenata s jedne strane i programera s druge strane. Da ni jedan ni drugi ne izgube interesovanje i dovedu projekat do kraja. Nakon prvog uspješnog projekta postaje lakše i glavni izazov će biti pronaći pravi model rasta za novi posao.

Big Data– to nisu samo sami podaci, već i tehnologije za njihovu obradu i korištenje, metode za traženje potrebnih informacija u velikim nizovima. Problem velikih podataka i dalje ostaje otvoren i vitalan za sve sisteme koji decenijama gomilaju širok spektar informacija.

Ovaj izraz je povezan sa izrazom "Jačina, brzina, raznolikost"– principi na kojima se zasniva rad sa velikim podacima. Direktno je količina informacija, brzina njegove obrade I raznovrsnost informacija, pohranjeno u nizu. Nedavno je na tri osnovna principa dodat još jedan princip - Vrijednost, što znači vrijednost informacija. Odnosno, mora biti korisna i neophodna u teorijskom ili praktičnom smislu, što bi opravdalo troškove njegovog skladištenja i obrade.

Primjer tipičnog izvora velikih podataka su društvene mreže – svaki profil ili javna stranica predstavlja jednu malu kap u nestrukturiranom oceanu informacija. Štaviše, bez obzira na količinu informacija pohranjenih u određenom profilu, interakcija sa svakim korisnikom bi trebala biti što brža.

Veliki podaci se kontinuirano akumuliraju u gotovo svim područjima ljudskog života. Ovo uključuje bilo koju industriju koja uključuje interakciju ljudi ili računarstvo. To uključuje društvene mreže, medicinu, bankarstvo, kao i sisteme uređaja koji dobijaju brojne rezultate iz svakodnevnih proračuna. Na primjer, astronomska zapažanja, meteorološke informacije i informacije sa uređaja za mjerenje Zemlje.

Informacije iz svih vrsta sistema za praćenje u realnom vremenu takođe idu na servere određene kompanije. Televizijsko i radio emitovanje, baze podataka poziva mobilnih operatera - interakcija svake pojedinačne osobe sa njima je minimalna, ali u zbiru sve ove informacije postaju veliki podaci.

Tehnologije velikih podataka postale su sastavni dio istraživanja i trgovine. Štaviše, počinju da preuzimaju sferu javne uprave – i svuda je potrebno uvođenje sve efikasnijih sistema za skladištenje i manipulaciju informacijama.

Termin “veliki podaci” se prvi put pojavio u štampi 2008. godine, kada je urednik Nature Clifford Lynch objavio članak o razvoju budućnosti nauke koristeći tehnologije za rad sa velikim količinama podataka. Do 2009. ovaj termin se razmatrao samo sa stanovišta naučne analize, ali nakon objavljivanja još nekoliko članaka, štampa je počela naširoko koristiti koncept velikih podataka - i nastavlja ga koristiti i danas.

2010. godine počeli su se pojavljivati ​​prvi pokušaji rješavanja rastućeg problema velikih podataka. Objavljeni su softverski proizvodi čija je akcija bila usmjerena na minimiziranje rizika pri korištenju ogromnih količina informacija.

Do 2011. velike kompanije poput Microsofta, Oraclea, EMC-a i IBM-a zainteresovale su se za velike podatke – postale su prve koje su koristile razvoj velikih podataka u svojim razvojnim strategijama, i to prilično uspješno.

Univerziteti su počeli proučavati velike podatke kao poseban predmet već 2013. godine – sada se problemima u ovoj oblasti bavi ne samo nauka o podacima, već i inženjerstvo, zajedno sa predmetima iz računarstva.

Glavne metode analize i obrade podataka uključuju sljedeće:

1. Metode klase ili dubinska analiza (Data Mining).

Ove metode su prilično brojne, ali jedno im je zajedničko: matematički alati koji se koriste u sprezi sa dostignućima iz oblasti informacionih tehnologija.

1. Crowdsourcing.

Ova tehnika vam omogućava da istovremeno dobijete podatke iz nekoliko izvora, a broj potonjih je praktički neograničen.

1. A/B testiranje.

Iz cjelokupnog volumena podataka odabire se kontrolni skup elemenata koji se naizmjenično uspoređuje sa drugim sličnim skupovima gdje je jedan od elemenata promijenjen. Provođenje takvih testova pomaže u određivanju koje fluktuacije parametara imaju najveći utjecaj na kontrolnu populaciju. Zahvaljujući obimu Big Data, moguće je izvršiti ogroman broj iteracija, pri čemu se svaka od njih približava najpouzdanijem rezultatu.

1. Prediktivna analitika.

Stručnjaci u ovoj oblasti pokušavaju unaprijed predvideti i planirati kako će se kontrolirani objekt ponašati kako bi u ovoj situaciji donijeli najisplativiju odluku.

1. Mašinsko učenje (vještačka inteligencija).

Zasnovan je na empirijskoj analizi informacija i naknadnoj konstrukciji algoritama za samoučenje za sisteme.

1. Analiza mreže.

Najčešći metod za proučavanje društvenih mreža je da se nakon dobijanja statističkih podataka analiziraju čvorovi kreirani u mreži, odnosno interakcije između pojedinačnih korisnika i njihovih zajednica.

U 2017. godini, kada su veliki podaci prestali biti nešto novo i nepoznato, njihov značaj ne samo da se nije smanjio, već je još više porastao. Stručnjaci se sada klade da će analitika velikih podataka postati dostupna ne samo velikim organizacijama, već i malim i srednjim preduzećima. Planirano je da se ovaj pristup implementira korištenjem sljedećih komponenti:

• Cloud storage.

Skladištenje i obrada podataka postaju brži i ekonomičniji – u poređenju sa troškovima održavanja vlastitog podatkovnog centra i mogućim proširenjem osoblja, iznajmljivanje oblaka se čini mnogo jeftinijom alternativom.

• Korištenje tamnih podataka.

Takozvani „tamni podaci“ su sve nedigitalizovane informacije o kompaniji, koje nemaju ključnu ulogu u njenom direktnom korišćenju, ali mogu poslužiti kao razlog za prelazak na novi format za skladištenje informacija.

• Umjetna inteligencija i duboko učenje.

Tehnologija učenja mašinske inteligencije, koja imitira strukturu i rad ljudskog mozga, idealno je prikladna za obradu velikih količina informacija koje se stalno mijenjaju. U ovom slučaju, mašina će učiniti sve što bi i osoba, ali je vjerovatnoća greške značajno smanjena.

• Blockchain

Ova tehnologija omogućava ubrzanje i pojednostavljenje brojnih online transakcija, uključujući i međunarodne. Još jedna prednost Blockchaina je da smanjuje troškove transakcije.

• Samoposluživanje i snižene cijene.

U 2017. godini planirano je uvođenje „samouslužnih platformi“ – to su besplatne platforme na kojima predstavnici malih i srednjih preduzeća mogu samostalno procijeniti podatke koje pohranjuju i sistematizirati ih.

Sve marketinške strategije su na ovaj ili onaj način zasnovane na manipulaciji informacijama i analizi postojećih podataka. Zato korištenje velikih podataka može predvidjeti i omogućiti prilagođavanje daljeg razvoja kompanije.

Na primjer, RTB aukcija kreirana na bazi velikih podataka omogućava vam da efikasnije koristite oglašavanje - određeni proizvod će biti prikazan samo onoj grupi korisnika koji su zainteresirani da ga kupe.

Koje su prednosti korištenja big data tehnologija u marketingu i poslovanju?

1. Uz njihovu pomoć možete mnogo brže kreirati nove projekte, koji će vjerovatno postati traženi među kupcima.
2. Pomažu u povezivanju zahtjeva klijenta sa postojećom ili dizajniranom uslugom i na taj način ih prilagoditi.
3. Metode velikih podataka omogućavaju procjenu stepena trenutnog zadovoljstva svih korisnika i svakog pojedinačnog korisnika.
4. Povećana lojalnost kupaca postiže se metodama obrade velikih podataka.
5. Privlačenje vaše ciljne publike na mreži postaje lakše zahvaljujući mogućnosti kontrole ogromnih količina podataka.

Na primjer, jedan od najpopularnijih servisa za predviđanje vjerovatne popularnosti proizvoda je Google.trends. Široko ga koriste trgovci i analitičari, omogućavajući im da dobiju statistiku o prethodnoj upotrebi određenog proizvoda i prognozu za sljedeću sezonu. To omogućava menadžerima kompanija da efikasnije raspodijele budžet za oglašavanje i odrede u koju oblast je najbolje uložiti novac.

Primjeri korištenja Big Data

Aktivno uvođenje Big Data tehnologija na tržište i moderni život počelo je odmah nakon što su ih počele koristiti svjetski poznate kompanije s klijentima u gotovo svim dijelovima svijeta.

Riječ je o društvenim divovima kao što su Facebook i Google, IBM, kao i o finansijskim institucijama poput Master Card, VISA i Bank of America.

Na primjer, IBM primjenjuje tehnike velikih podataka na tekuće monetarne transakcije. Uz njihovu pomoć otkriveno je 15% više lažnih transakcija, što je omogućilo povećanje iznosa zaštićenih sredstava za 60%. Rešeni su i problemi sa lažnim alarmima sistema - njihov broj je smanjen za više od pola.

Kompanija VISA je na sličan način koristila Big Data, prateći lažne pokušaje da se izvrši određena operacija. Zahvaljujući tome, štede više od 2 milijarde dolara godišnje od curenja.

Njemačko ministarstvo rada uspjelo je smanjiti troškove za 10 milijardi eura uvođenjem sistema velikih podataka u svoj rad na izdavanju naknada za nezaposlene. Istovremeno, otkriveno je da petina građana prima ove naknade bez razloga.

Big Data nije poštedio ni industriju igara. Stoga su programeri World of Tanks proveli studiju informacija o svim igračima i uporedili dostupne pokazatelje njihove aktivnosti. Ovo je pomoglo da se predvidi mogući budući odliv igrača - na osnovu napravljenih pretpostavki, predstavnici organizacije su bili u mogućnosti da efikasnije komuniciraju sa korisnicima.

Značajne organizacije koje koriste velike podatke uključuju i HSBC, Nasdaq, Coca-Cola, Starbucks i AT&T.

Najveći problem s velikim podacima je cijena njihove obrade. To može uključivati ​​i skupu opremu i troškove plaća za kvalifikovane stručnjake koji su sposobni da servisiraju ogromne količine informacija. Očigledno je da će se oprema morati redovno ažurirati kako ne bi izgubila minimalnu funkcionalnost kako se količina podataka povećava.

Drugi problem je opet vezan za veliku količinu informacija koje je potrebno obraditi. Ako, na primjer, studija daje ne 2-3, već veliki broj rezultata, vrlo je teško ostati objektivan i iz općeg toka podataka odabrati samo one koji će stvarno utjecati na stanje bilo koje pojave.

Problem privatnosti velikih podataka. S obzirom da većina usluga za korisničku podršku prelazi na korištenje onlajn podataka, vrlo je lako postati sljedeća meta sajber kriminalaca. Čak i jednostavno pohranjivanje osobnih podataka bez obavljanja ikakvih transakcija na mreži može biti ispunjeno neželjenim posljedicama za klijente za pohranu u oblaku.

Problem gubitka informacija. Mjere predostrožnosti zahtijevaju da se ne ograničavate na jednokratnu sigurnosnu kopiju podataka, već da napravite najmanje 2-3 sigurnosne kopije skladišta. Međutim, kako se obim povećava, povećavaju se i poteškoće s redundantnošću - a IT stručnjaci pokušavaju pronaći optimalno rješenje za ovaj problem.

Tržište tehnologije velikih podataka u Rusiji i svijetu

Od 2014. godine, 40% obima tržišta velikih podataka čine usluge. Prihodi od upotrebe Big Data u kompjuterskoj opremi su nešto inferiorniji (38%) u odnosu na ovaj pokazatelj. Preostalih 22% dolazi od softvera.

Najkorisniji proizvodi u globalnom segmentu za rješavanje problema velikih podataka, prema statistikama, su In-memory i NoSQL analitičke platforme. 15 odnosno 12 posto tržišta zauzimaju analitički softver Log-file i Columnar platforme. Ali Hadoop/MapReduce se u praksi ne nosi baš efikasno sa problemima velikih podataka.

Rezultati implementacije big data tehnologija:

• povećanje kvaliteta usluge korisnicima;
• optimizacija integracije lanca snabdevanja;
• optimizacija planiranja organizacije;
• ubrzanje interakcije sa klijentima;
• povećanje efikasnosti obrade zahtjeva kupaca;
• smanjenje troškova usluga;
• optimizacija obrade zahtjeva klijenata.

Najbolje knjige o velikim podacima

Pogodno za početno proučavanje tehnologija obrade velikih podataka - upoznaje vas lako i jasno. Pojašnjava kako je obilje informacija uticalo na svakodnevni život i sve njegove sfere: nauku, biznis, medicinu itd. Sadrži brojne ilustracije, pa se percipira bez mnogo truda.

"Uvod u rudarenje podataka" Pang-Ning Tan, Michael Steinbach i Vipin Kumar

Za početnike je korisna i knjiga o velikim podacima, koja objašnjava rad sa velikim podacima po principu „od jednostavnog ka složenom“. Pokriva mnoge važne tačke u početnoj fazi: pripremu za obradu, vizualizaciju, OLAP, kao i neke metode analize i klasifikacije podataka.

Praktični vodič za korištenje i rad s velikim podacima koristeći programski jezik Python. Pogodno za studente inženjerstva i profesionalce koji žele produbiti svoje znanje.

"Hadoop za lutke", Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop je projekt kreiran posebno za rad s distribuiranim programima koji organiziraju izvršavanje akcija na hiljadama čvorova istovremeno. Upoznavanje će vam pomoći da detaljnije shvatite praktičnu primjenu velikih podataka.

Na osnovu materijala iz istraživanja i trendova

O velikim podacima se već nekoliko godina govori u IT i marketing štampi. I jasno je: digitalne tehnologije su prožele život savremenog čoveka, „sve je napisano“. Raste obim podataka o različitim aspektima života, a istovremeno rastu i mogućnosti pohranjivanja informacija.

Globalne tehnologije za skladištenje informacija

Izvor: Hilbert i Lopez, `Svjetski tehnološki kapacitet za pohranu, komunikaciju i računanje informacija`, Science, 2011 Global.

Većina stručnjaka se slaže da je ubrzanje rasta podataka objektivna realnost. Društvene mreže, mobilni uređaji, podaci sa mjernih uređaja, poslovne informacije - ovo je samo nekoliko vrsta izvora koji mogu generirati ogromne količine informacija. Prema studiji IDCDigitalni univerzum, objavljenog 2012. godine, u narednih 8 godina količina podataka u svijetu dostići će 40 ZB (zetabajta), što je ekvivalentno 5200 GB za svakog stanovnika planete.

Rast prikupljanja digitalnih informacija u SAD-u

Izvor: IDC

Velik dio informacija ne stvaraju ljudi, već roboti koji komuniciraju jedni s drugima i s drugim mrežama podataka, kao što su senzori i pametni uređaji. Uz ovu stopu rasta, količina podataka u svijetu, prema istraživačima, će se svake godine udvostručiti. Broj virtuelnih i fizičkih servera u svijetu povećat će se deset puta zbog širenja i stvaranja novih data centara. Kao rezultat toga, raste potreba za efikasnom upotrebom i monetizacijom ovih podataka. Budući da korištenje Big Data u poslovanju zahtijeva značajna ulaganja, morate jasno razumjeti situaciju. A u suštini je jednostavno: možete povećati poslovnu efikasnost smanjenjem troškova i/ili povećanjem obima prodaje.

Zašto su nam potrebni Big Data?

Paradigma velikih podataka definiše tri glavna tipa problema.

• Čuvanje i upravljanje stotinama terabajta ili petabajta podataka koje konvencionalne relacione baze podataka ne mogu efikasno da koriste.
• Organizirajte nestrukturirane informacije koje se sastoje od tekstova, slika, video zapisa i drugih vrsta podataka.
• Big Data analiza, koja postavlja pitanje načina rada sa nestrukturiranim informacijama, generisanja analitičkih izveštaja, kao i implementacije prediktivnih modela.

Tržište Big Data projekata ukršta se s tržištem poslovne analitike (BA), čiji je globalni obim, prema procjenama stručnjaka, u 2012. godini iznosio oko 100 milijardi dolara. Uključuje komponente mrežne tehnologije, servere, softver i tehničke usluge.

Takođe, upotreba Big Data tehnologija je relevantna za rješenja klase osiguranja prihoda (RA) dizajnirana za automatizaciju aktivnosti kompanija. Savremeni sistemi garantovanja prihoda uključuju alate za otkrivanje nedoslednosti i dubinsku analizu podataka, omogućavajući pravovremeno otkrivanje mogućih gubitaka ili izobličenja informacija koje mogu dovesti do smanjenja finansijskih rezultata. U tom kontekstu, ruske kompanije, potvrđujući prisutnost potražnje za Big Data tehnologijama na domaćem tržištu, napominju da su faktori koji stimuliraju razvoj Big Data u Rusiji rast podataka, ubrzanje donošenja upravljačkih odluka i poboljšanje njihovog kvaliteta.

Šta vas sprečava da radite sa velikim podacima

Danas se analizira samo 0,5% akumuliranih digitalnih podataka, uprkos činjenici da postoje objektivno industrijski problemi koji se mogu riješiti korištenjem analitičkih rješenja klase Big Data. Razvijena IT tržišta već imaju rezultate koji se mogu koristiti za procjenu očekivanja povezanih sa akumulacijom i obradom velikih podataka.

Smatra se jednim od glavnih faktora koji usporava implementaciju Big Data projekata, pored visoke cijene problem odabira obrađenih podataka: odnosno određivanje koje podatke treba preuzeti, pohraniti i analizirati, a koje treba zanemariti.

Mnogi predstavnici biznisa napominju da su poteškoće u implementaciji Big Data projekata povezane s nedostatkom stručnjaka - marketinških stručnjaka i analitičara. Brzina povrata ulaganja u Big Data direktno zavisi od kvaliteta rada zaposlenih koji se bave dubinskom i prediktivnom analitikom. Ogroman potencijal podataka koji već postoje u organizaciji često ne mogu efikasno iskoristiti sami trgovci zbog zastarjelih poslovnih procesa ili internih propisa. Stoga kompanije često percipiraju projekte velikih podataka kao teške ne samo za implementaciju, već i za procjenu rezultata: vrijednost prikupljenih podataka. Specifična priroda rada s podacima zahtijeva da marketinški stručnjaci i analitičari prebace svoju pažnju sa tehnologije i kreiranja izvještaja na rješavanje specifičnih poslovnih problema.

Zbog velikog obima i velike brzine protoka podataka, proces prikupljanja podataka uključuje ETL procedure u realnom vremenu. Za referenciju:ETL – odengleskiEkstrakt, Transform, Učitaj- doslovno "vađenje, transformacija, učitavanje") - jedan od glavnih procesa u upravljanju skladišta podataka, što uključuje: ekstrakciju podataka iz eksternih izvora, njihovu transformaciju i čišćenje u skladu sa potrebama ETL treba posmatrati ne samo kao proces premještanja podataka iz jedne aplikacije u drugu, već i kao alat za pripremu podataka za analizu.

I onda pitanja osiguranja sigurnosti podataka koji dolaze iz eksternih izvora moraju imati rješenja koja odgovaraju količini prikupljenih informacija. Budući da se metode analize velikih podataka razvijaju tek prateći rast obima podataka, sposobnost analitičkih platformi da koriste nove metode pripreme i agregiranja podataka igra veliku ulogu. To sugerira da, na primjer, podaci o potencijalnim kupcima ili ogromno skladište podataka sa istorijom klikova na web-mjesta za online kupovinu mogu biti od interesa za rješavanje raznih problema.

Poteškoće ne prestaju

Uprkos svim poteškoćama sa implementacijom Big Data, biznis namerava da poveća ulaganja u ovoj oblasti. Prema podacima Gartnera, u 2013. godini 64% najvećih svjetskih kompanija je već investiralo, ili planira investirati u implementaciju Big Data tehnologija za svoje poslovanje, dok ih je 2012. bilo 58%. Prema istraživanju Gartnera, lideri u industrijama koje ulažu u velike podatke su medijske kompanije, telekomunikacije, bankarske i uslužne kompanije. Uspješne rezultate implementacije Big Data već su postigli mnogi veliki igrači u maloprodajnoj industriji u smislu korištenja podataka dobivenih korištenjem radiofrekventnih alata za identifikaciju, logistike i sistema za preseljenje. dopuna- akumulacija, dopuna - R&T), kao i iz programa lojalnosti. Uspješno iskustvo u maloprodaji potiče druge tržišne sektore da pronađu nove učinkovite načine za unovčavanje velikih podataka kako bi se njihove analize pretvorile u resurs koji radi za razvoj poslovanja. Zahvaljujući tome, prema mišljenju stručnjaka, u periodu do 2020. godine ulaganja u upravljanje i skladištenje podataka će se smanjiti sa 2 na 0,2 dolara po gigabajtu podataka, ali će se za proučavanje i analizu tehnoloških svojstava Big Data povećati za samo 40%.

Troškovi prikazani u raznim investicionim projektima u oblasti velikih podataka su različite prirode. Stavke troškova zavise od vrste proizvoda koji se biraju na osnovu određenih odluka. Najveći dio troškova u investicionim projektima, prema riječima stručnjaka, otpada na proizvode koji se odnose na prikupljanje, strukturiranje podataka, čišćenje i upravljanje informacijama.

Kako se to radi

Postoje mnoge kombinacije softvera i hardvera koje vam omogućavaju da kreirate efikasna rešenja za velike podatke za različite poslovne discipline: od društvenih medija i mobilnih aplikacija, do inteligentne analize i vizualizacije poslovnih podataka. Važna prednost Big Data je kompatibilnost novih alata sa bazama podataka koje se široko koriste u poslovanju, što je posebno važno kada se radi sa međudisciplinarnim projektima, kao što su organizovanje višekanalne prodaje i korisnička podrška.

Redoslijed rada s velikim podacima sastoji se od prikupljanja podataka, strukturiranja primljenih informacija pomoću izvještaja i nadzornih ploča, kreiranja uvida i konteksta i formulisanja preporuka za akciju. Budući da rad s velikim podacima podrazumijeva velike troškove prikupljanja podataka, čiji je rezultat obrade unaprijed nepoznat, glavni zadatak je jasno razumjeti čemu služe podaci, a ne koliko je od njih dostupno. U ovom slučaju prikupljanje podataka pretvara se u proces pribavljanja informacija isključivo neophodnih za rješavanje konkretnih problema.

Na primjer, provajderi telekomunikacija agregiraju ogromnu količinu podataka, uključujući geolokaciju, koja se stalno ažurira. Ove informacije mogu biti od komercijalnog interesa za reklamne agencije, koje ih mogu koristiti za isporuku ciljanog i lokalnog oglašavanja, kao i za trgovce na malo i banke. Takvi podaci mogu imati važnu ulogu prilikom odlučivanja o otvaranju maloprodajnog objekta na određenoj lokaciji na osnovu podataka o prisutnosti snažnog ciljanog toka ljudi. Postoji primjer mjerenja učinkovitosti oglašavanja na vanjskim bilbordima u Londonu. Sada se domet takvog oglašavanja može mjeriti samo postavljanjem ljudi sa posebnim uređajem u blizini reklamnih struktura koje broje prolaznike. U poređenju sa ovom vrstom merenja efektivnosti oglašavanja, mobilni operater ima mnogo više mogućnosti – on tačno zna lokaciju svojih pretplatnika, zna njihove demografske karakteristike, pol, godine, bračno stanje itd.

Na osnovu takvih podataka, u budućnosti postoji mogućnost promjene sadržaja reklamne poruke, koristeći preferencije određene osobe koja prolazi pored bilborda. Ako podaci pokazuju da osoba u prolazu puno putuje, onda bi mu se mogla prikazati reklama za odmaralište. Organizatori fudbalske utakmice mogu samo procijeniti broj navijača kada dođu na utakmicu. Ali kada bi mogli da zatraže od svog provajdera mobilnih telefona informacije o tome gde su posetioci bili sat, dan ili mesec dana pre utakmice, to bi dalo organizatorima mogućnost da planiraju reklamna mesta za buduće utakmice.

Drugi primjer je kako banke mogu koristiti Big Data za sprječavanje prijevara. Ukoliko klijent prijavi gubitak kartice, a prilikom kupovine sa njom banka u realnom vremenu vidi lokaciju klijentovog telefona u zoni kupovine u kojoj se transakcija odvija, banka može provjeriti podatke na aplikaciji klijenta. da vidi da li pokušava da ga prevari. Ili suprotna situacija, kada klijent obavi kupovinu u prodavnici, banka vidi da su kartica korišćena za transakciju i telefon klijenta na istom mestu, banka može zaključiti da je koristi vlasnik kartice. Zahvaljujući takvim prednostima Big Data, granice tradicionalnih skladišta podataka se šire.

Za uspješno donošenje odluke o implementaciji Big Data rješenja, kompanija treba da izračuna investicioni slučaj, a to uzrokuje velike poteškoće zbog mnogih nepoznatih komponenti. Paradoks analitike u takvim slučajevima je predviđanje budućnosti na osnovu prošlosti, o kojoj često nedostaju podaci. U ovom slučaju, važan faktor je jasno planiranje vaših početnih akcija:

• Najprije je potrebno odrediti jedan konkretan poslovni problem za koji će se koristiti Big Data tehnologije, koji će postati srž utvrđivanja ispravnosti odabranog koncepta. Morate se fokusirati na prikupljanje podataka koji se odnose na ovaj specifični zadatak, a tokom dokaza koncepta možete koristiti različite alate, procese i tehnike upravljanja koji će vam omogućiti da donosite bolje informisane odluke u budućnosti.
• Drugo, malo je vjerovatno da će kompanija bez vještina i iskustva u analizi podataka moći uspješno implementirati Big Data projekat. Potrebna znanja uvijek proizlaze iz prethodnog iskustva u analitici, što je glavni faktor koji utiče na kvalitet rada sa podacima. Kultura podataka je važna jer često analiza podataka otkriva teške istine o poslovanju i potrebna je praksa podataka da bi se te istine prihvatile i radile s njima.
• Treće, vrijednost Big Data tehnologija leži u pružanju uvida. Dobri analitičari i dalje nedostaju na tržištu. Obično se nazivaju stručnjacima koji imaju duboko razumijevanje komercijalnog značenja podataka i znaju kako ih pravilno koristiti. Analiza podataka je sredstvo za postizanje poslovnih ciljeva, a da biste razumjeli vrijednost velikih podataka, morate se ponašati u skladu s tim i razumjeti svoje postupke. U ovom slučaju, veliki podaci će pružiti mnogo korisnih informacija o potrošačima, na osnovu kojih se mogu donositi odluke koje su korisne za poslovanje.

Unatoč činjenici da rusko tržište velikih podataka tek počinje da se oblikuje, pojedinačni projekti u ovoj oblasti već se provode prilično uspješno. Neki od njih su uspješni u oblasti prikupljanja podataka, poput projekata za Federalnu poreznu službu i Tinkoff Credit Systems Bank, drugi - u smislu analize podataka i praktične primjene njenih rezultata: ovo je projekat Synqera.

Tinkoff Credit Systems Bank implementirala je projekat implementacije EMC2 Greenplum platforme, koja je alat za masovno paralelno računanje. Banka je posljednjih godina povećala zahtjeve za brzinom obrade akumuliranih informacija i analiziranja podataka u realnom vremenu, uzrokovane visokom stopom rasta broja korisnika kreditnih kartica. Banka je najavila planove za proširenje upotrebe Big Data tehnologija, posebno za obradu nestrukturiranih podataka i rad sa korporativnim informacijama dobijenim iz različitih izvora.

Federalna poreska služba Rusije trenutno stvara analitički sloj za federalno skladište podataka. Na njegovoj osnovi kreira se jedinstveni informacioni prostor i tehnologija za pristup poreskim podacima za statističku i analitičku obradu. Tokom realizacije projekta radi se na centralizaciji analitičkih informacija iz više od 1.200 izvora na lokalnom nivou Federalne poreske službe.

Još jedan zanimljiv primjer analize velikih podataka u realnom vremenu je ruski startup Synqera, koji je razvio platformu Simplate. Rješenje se bazira na obradi velike količine podataka, program analizira informacije o kupcima, njihovu istoriju kupovine, godine, spol, pa čak i raspoloženje. Na kasama u lancu kozmetičkih prodavnica postavljeni su ekrani osetljivi na dodir sa senzorima koji prepoznaju emocije kupaca. Program određuje raspoloženje osobe, analizira informacije o njoj, određuje doba dana i skenira bazu diskontova trgovine, nakon čega šalje ciljane poruke kupcu o promocijama i posebnim ponudama. Ovo rješenje povećava lojalnost kupaca i povećava prodaju trgovaca.

Ako govorimo o stranim uspješnim slučajevima, onda je u tom smislu zanimljivo iskustvo korištenja Big Data tehnologija u kompaniji Dunkin`Donuts, koja koristi podatke u realnom vremenu za prodaju proizvoda. Digitalni displeji u trgovinama prikazuju ponude koje se mijenjaju svake minute, ovisno o dobu dana i dostupnosti proizvoda. Koristeći gotovinske račune, kompanija dobija podatke o tome koje su ponude dobile najveći odziv kupaca. Ovakav pristup obradi podataka omogućio nam je povećanje profita i prometa robe u skladištu.

Kao što pokazuje iskustvo implementacije Big Data projekata, ova oblast je osmišljena za uspješno rješavanje savremenih poslovnih problema. Istovremeno, važan faktor u postizanju komercijalnih ciljeva pri radu sa velikim podacima je izbor prave strategije, koja uključuje analitiku koja identifikuje potrebe potrošača, kao i korišćenje inovativnih tehnologija u oblasti velikih podataka.

Prema globalnom istraživanju koje svake godine provode Econsultancy i Adobe od 2012. među korporativnim marketinškim stručnjacima, „veliki podaci“ koji karakteriziraju radnje ljudi na internetu mogu učiniti mnogo. Oni mogu optimizirati offline poslovne procese, pomoći u razumijevanju kako ih vlasnici mobilnih uređaja koriste za traženje informacija ili jednostavno „učiniti marketing boljim“, tj. efikasnije. Štaviše, ova potonja funkcija postaje sve popularnija iz godine u godinu, kao što slijedi iz dijagrama koji smo predstavili.

Glavna područja rada internet marketinga u pogledu odnosa s kupcima

Izvor: Econsultancy i Adobe, objavljeno– emarketer.com

Imajte na umu da nacionalnost ispitanika nije bitna. Kako pokazuje istraživanje koje je KPMG sproveo 2013. godine, udeo „optimista“, tj. onih koji koriste Big Data pri razvoju poslovne strategije je 56%, a varijacije od regije do regije su male: od 63% u sjevernoameričkim zemljama do 50% u EMEA.

Korištenje velikih podataka u različitim regijama svijeta

Izvor: KPMG, objavljeno– emarketer.com

U međuvremenu, stav marketera prema takvim "modnim trendovima" pomalo podsjeća na poznatu šalu:

Reci mi, Vano, voliš li paradajz?
- Volim da jedem, ali ne ovako.

Uprkos činjenici da trgovci verbalno "vole" Big Data i čini se da ih čak i koriste, u stvarnosti je "sve komplikovano", dok pišu o svojim iskrenim naklonostima na društvenim mrežama.

Prema istraživanju koje je sproveo Circle Research u januaru 2014. među evropskim trgovcima, 4 od 5 ispitanika ne koriste Big Data (iako ih, naravno, „vole“). Razlozi su različiti. Malo je okorjelih skeptika - 17% i potpuno isti broj kao i njihovi antipodi, tj. oni koji samouvereno odgovaraju: „Da“. Ostali oklevaju i sumnjaju, “močvara”. Izbjegavaju direktan odgovor pod uvjerljivim izgovorima kao što su "još ne, ali uskoro" ili "sačekaćemo dok ostali ne počnu".

Upotreba velikih podataka od strane marketinških stručnjaka, Evropa, januar 2014

Izvor:dnx, objavljeno –emarketer.com

Šta ih zbunjuje? Čista glupost. Neki (tačno polovina njih) jednostavno ne vjeruju ovim podacima. Drugima (takođe ih ima dosta - 55%) je teško povezati skupove "podataka" i "korisnika" jedni s drugima. Neki ljudi jednostavno imaju (politički korektno rečeno) interni korporativni nered: podaci lutaju bez nadzora između marketinških odjela i IT struktura. Za druge, softver se ne može nositi s prilivom posla. I tako dalje. Budući da ukupni udjeli značajno prelaze 100%, jasno je da situacija „više barijera“ nije neuobičajena.

Barijere za korištenje velikih podataka u marketingu

Izvor:dnx, objavljeno –emarketer.com

Stoga, moramo priznati da je za sada “Big Data” veliki potencijal koji tek treba iskoristiti. Inače, to može biti razlog da Big Data gubi oreol „modnog trenda“, o čemu svjedoči i istraživanje kompanije Econsultancy, koje smo već spomenuli.

Najznačajniji trendovi u digitalnom marketingu 2013-2014

Izvor: Econsultancy i Adobe

Njih zamjenjuje drugi kralj - content marketing. Koliko dugo?

Ne može se reći da su veliki podaci neka vrsta fundamentalno novog fenomena. Veliki izvori podataka postoje već dugi niz godina: baze podataka o kupovini kupaca, kreditnoj istoriji, načinu života. Godinama su naučnici koristili ove podatke kako bi pomogli kompanijama da procijene rizik i predvide buduće potrebe kupaca. Međutim, danas se situacija promijenila u dva aspekta:

Pojavili su se sofisticiraniji alati i tehnike za analizu i kombinovanje različitih skupova podataka;

Ovi analitički alati su dopunjeni lavinom novih izvora podataka potaknutih digitalizacijom gotovo svih metoda prikupljanja i mjerenja podataka.

Raspon dostupnih informacija inspirativan je i zastrašujući za istraživače odgajane u strukturiranim istraživačkim okruženjima. Osjećaj potrošača bilježe web stranice i sve vrste društvenih medija. Činjenicu gledanja reklame bilježe ne samo set-top box uređaji, već i uz pomoć digitalnih oznaka i mobilnih uređaja koji komuniciraju s televizorom.

Podaci o ponašanju (kao što su broj poziva, kupovne navike i kupovine) sada su dostupni u realnom vremenu. Dakle, mnogo od onoga što se ranije moglo dobiti istraživanjem sada se može naučiti koristeći velike izvore podataka. I sva ta informaciona sredstva se generišu konstantno, bez obzira na bilo kakve istraživačke procese. Ove promjene nas navode da se zapitamo mogu li veliki podaci zamijeniti klasično istraživanje tržišta.

Ne radi se o podacima, već o pitanjima i odgovorima.

Prije nego što zazvonimo na smrt klasičnom istraživanju, moramo se podsjetiti da nije kritično prisustvo određenih podataka, već nešto drugo. Sta tacno? Naša sposobnost da odgovorimo na pitanja, eto šta. Jedna smiješna stvar u vezi s novim svijetom velikih podataka je da rezultati dobiveni iz novih podataka dovode do još više pitanja, a na ta pitanja obično najbolje odgovara tradicionalno istraživanje. Stoga, kako veliki podaci rastu, vidimo paralelno povećanje dostupnosti i potrebe za „malim podacima“ koji mogu dati odgovore na pitanja iz svijeta velikih podataka.

Razmotrite situaciju: veliki oglašivač kontinuirano prati promet trgovine i obim prodaje u realnom vremenu. Postojeće istraživačke metodologije (u kojima anketiramo paneliste o njihovoj motivaciji za kupovinu i ponašanju na prodajnom mjestu) pomažu nam da bolje ciljamo određene segmente kupaca. Ove tehnike se mogu proširiti tako da uključe širi spektar sredstava velikih podataka, do tačke u kojoj veliki podaci postaju sredstvo pasivnog posmatranja, a istraživanje postaje metoda tekućeg, usko fokusiranog istraživanja promjena ili događaja koji zahtijevaju proučavanje. Ovo je način na koji veliki podaci mogu osloboditi istraživanje od nepotrebne rutine. Primarno istraživanje više ne mora da se fokusira na ono što se dešava (veliki podaci će to učiniti). Umjesto toga, primarno istraživanje može se fokusirati na objašnjenje zašto opažamo određene trendove ili odstupanja od trendova. Istraživač će moći manje da razmišlja o dobijanju podataka, a više o tome kako da ih analizira i koristi.

Istovremeno, vidimo da veliki podaci mogu riješiti jedan od naših najvećih problema: problem predugih studija. Ispitivanje samih studija pokazalo je da prenapuhani istraživački instrumenti negativno utiču na kvalitet podataka. Iako su mnogi stručnjaci odavno priznali ovaj problem, uvijek su odgovarali frazom: „Ali meni su ove informacije potrebne za više rukovodstvo“, a dugi intervjui su nastavljeni.

U svijetu velikih podataka, gdje se kvantitativne metrike mogu dobiti pasivnim posmatranjem, ovo pitanje postaje sporno. Opet, razmislimo o svim ovim studijama o potrošnji. Ako nam veliki podaci daju uvid u potrošnju putem pasivnog promatranja, onda istraživanje primarnih anketa više ne mora prikupljati ovu vrstu informacija, i konačno možemo potkrijepiti našu viziju kratkih anketa nečim više od željnih želja.

Big Data treba vašu pomoć

Konačno, “veliki” je samo jedna od karakteristika velikih podataka. Karakteristika "veliko" odnosi se na veličinu i razmjer podataka. Naravno, to je glavna karakteristika, budući da je obim ovih podataka veći od svega sa čime smo ranije radili. Ali druge karakteristike ovih novih tokova podataka su takođe važne: oni su često loše formatirani, nestrukturirani (ili, u najboljem slučaju, djelimično strukturirani) i puni nesigurnosti. Nova oblast upravljanja podacima, prikladno nazvana analitika entiteta, bavi se problemom presijecanja buke u velikim podacima. Njegov posao je da analizira ove skupove podataka i utvrdi koliko se zapažanja odnosi na istu osobu, koja zapažanja su aktuelna, a koja su upotrebljiva.

Ova vrsta čišćenja podataka neophodna je za uklanjanje šuma ili pogrešnih podataka pri radu sa velikim ili malim podacima, ali nije dovoljna. Također moramo stvoriti kontekst oko imovine velikih podataka na osnovu našeg prethodnog iskustva, analitike i znanja o kategorijama. U stvari, mnogi analitičari ukazuju na sposobnost upravljanja neizvjesnošću koja je svojstvena velikim podacima kao izvor konkurentske prednosti, jer omogućava donošenje boljih odluka.

Ovdje se primarna istraživanja ne samo oslobađaju velikim podacima, već i doprinose kreiranju sadržaja i analizi u okviru velikih podataka.

Vrhunski primjer za to je primjena našeg novog fundamentalno drugačijeg okvira jednakosti brenda na društvenim medijima (govorimo o razvijenim uMillward Brownnovi pristup mjerenju vrijednosti brendaThe Smisleno Drugačije Framework– “Paradigma značajne razlike” -R & T ). Model je bihevioralno testiran na određenim tržištima, implementiran na standardnoj osnovi i može se lako primijeniti na druge marketinške vertikale i informacione sisteme za podršku odlučivanju. Drugim riječima, naš model vrijednosnog kapitala brenda, zasnovan na (iako ne isključivo zasnovan na) anketnom istraživanju, ima sve karakteristike potrebne za prevazilaženje nestrukturirane, nepovezane i neizvjesne prirode velikih podataka.

Uzmite u obzir podatke o raspoloženju potrošača koje pružaju društvene mreže. U sirovom obliku, vrhunci i padovi potrošačkog raspoloženja vrlo su često u minimalnoj korelaciji s vanmrežnim mjerama vrijednosti brenda i ponašanja: jednostavno je previše buke u podacima. Ali ovu buku možemo smanjiti primjenom naših modela potrošačkog značenja, diferencijacije brenda, dinamike i posebnosti na sirove podatke o raspoloženju potrošača – način obrade i agregiranja podataka društvenih medija duž ovih dimenzija.

Kada se podaci organizuju u skladu sa našim okvirom, identifikovani trendovi se obično usklađuju sa offline brendom i merama ponašanja. U suštini, podaci društvenih medija ne mogu govoriti sami za sebe. Da bismo ih koristili u ovu svrhu potrebno je naše iskustvo i modeli izgrađeni oko brendova. Kada nam društveni mediji daju jedinstvene informacije izražene na jeziku koji potrošači koriste za opisivanje brendova, moramo koristiti taj jezik prilikom kreiranja našeg istraživanja kako bismo primarno istraživanje učinili mnogo efikasnijim.

Prednosti izuzetih istraživanja

Ovo nas vraća na to kako veliki podaci ne zamjenjuju toliko istraživanja koliko ih oslobađaju. Istraživači će biti oslobođeni potrebe za stvaranjem nove studije za svaki novi slučaj. Neprestano rastuća sredstva velikih podataka mogu se koristiti za različite istraživačke teme, omogućavajući naknadnim primarnim istraživanjima da se dublje udube u temu i popune postojeće praznine. Istraživači će biti oslobođeni potrebe da se oslanjaju na prenapumpane ankete. Umjesto toga, mogu koristiti kratke ankete i fokusirati se na najvažnije parametre, što poboljšava kvalitet podataka.

Sa ovim oslobođenjem, istraživači će moći da koriste svoje uspostavljene principe i ideje da dodaju preciznost i značenje velikim podacima, što će dovesti do novih oblasti istraživanja anketa. Ovaj ciklus bi trebao dovesti do većeg razumijevanja niza strateških pitanja i, na kraju, kretanja prema onome što bi uvijek trebao biti naš primarni cilj – informirati i poboljšati kvalitet odluka o brendu i komunikacijama.

16.07.18. Mail.ru je pokrenuo Big Data kao uslugu

Platforma u oblaku Mail.ru dopunjena je uslugom za analizu velikih podataka, Cloud Big Data, koja je bazirana na Apache Hadoop i Spark okvirima. Usluga će biti korisna trgovcima i finansijskim organizacijama koje treba da analiziraju velike podatke, ali ne žele da troše mnogo novca na sopstvene servere. Mail.ru uzima novac samo za stvarno vrijeme rada opreme. Dakle, Hadoop klaster od 10 čvorova koštaće klijenta 39 rubalja. za jedan sat rada. Podsjetimo, MTS je prošle godine lansirao isti BigData servis Cloud MTS. Trošak korištenja usluge bio je od 5 hiljada rubalja. Mjesečno. Takođe, usluge obrade velikih podataka pružaju.

2017. MTS je pokrenuo cloud platformu za obradu velikih podataka

Operator MTS-a pokrenuo je uslugu za obradu velikih podataka u oblaku za poslovanje u okviru svoje cloud platforme #CloudMTS. Kompanije će moći da rade sa podacima u Hadoop i Spark softverskim okruženjima. Na primjer, ova usluga u oblaku će pomoći preduzećima da ciljaju oglašavanje, prikupljaju i obrađuju otvorene podatke, te obavljaju finansijsku i poslovnu analitiku. Internet trgovine će moći analizirati ponašanje kupaca i potom ponuditi gotove ciljane ponude za različite događaje i praznike. Usluga radi koristeći unaprijed instalirane alate za proračun, ali je moguće kreirati vlastite algoritme za obradu podataka. Trošak korištenja usluge počinje od 5 hiljada rubalja mjesečno, cijena varira ovisno o prostoru koji se zauzima u oblaku. Podsjetimo, #CloudMTS platforma je kreirana 2016. godine. Isprva je pružao samo usluge skladištenja u oblaku, a kasnije je dodao i cloud computing usluge.

2016. Big Data prognoza za Olimpijske igre u Riju

Uskoro će vam usluge Big Data reći koje odluke trebate donijeti da biste rasli i osigurali sigurnost vašeg poslovanja. Za sada uglavnom treniraju na sportskim događajima. Sjećate li se kako je Microsoftova inteligentna platforma nedavno predvidjela rezultate Evropskog prvenstva u fudbalu? Dakle, ništa nije pogodila. Ovoga puta američka kompanija Gracenote, specijalizovana za obradu velikih podataka, izračunala je najizgledniju opciju za plasman medalja na Olimpijskim igrama u Riju. Na slici je prognoza koja je sastavljena mjesec dana prije Olimpijade. Stalno se ažurira. Trenutna verzija - .

2016. Microsoftova inteligentna platforma predvidjela je rezultate Evropskog prvenstva u fudbalu

Microsoft (kao i svaki IT gigant koji poštuje sebe) već ima analitičku platformu zasnovanu na obradi velikih podataka i veštačkoj inteligenciji - Microsoft Cortana Intelligence Suite. Na osnovu različitih podataka iz vaših poslovnih sistema, može predvidjeti odljev kupaca, kvarove opreme, promjene prihoda itd. A sada nam Microsoft daje priliku da provjerimo koliko tačno ova platforma radi. Nakon analize fudbalske istorije, statističkih podataka o timovima, učinku igrača, povredama, kao i komentara navijača na društvenim mrežama, predstavila je svoju prognozu za Evropsko prvenstvo u fudbalu koje počinje danas. Dakle, prema prognozi: Njemačka će u finalu pobijediti Španiju sa vjerovatnoćom od 66%. A u uvodnom meču Francuska će pobijediti Rumuniju sa vjerovatnoćom od 71%.

2016. SAP i Yandex kreiraju Big Data uslugu za zadržavanje kupaca

Prije 2 godine Yandex je pokrenuo uslugu koja pruža usluge obrade velikih podataka za preduzeća. Ova usluga je već pomogla kompanijama kao što su Beeline i Wargaming (Word of Tanks) da izbjegnu odljev kupaca. Predviđa periode odljeva na osnovu historijskih podataka i daje biznisu priliku da se pripremi i ponudi neku novu promociju na vrijeme. Sada je, očigledno, ova Yandex tehnologija privukla interesovanje najvećeg svetskog igrača na korporativnom IT tržištu - SAP-a. Kompanije su udružile snage kako bi razvile uslugu za predviđanje ponašanja kupaca. Prema SAP-u i YDF-u, usluga će se koristiti u maloprodaji, e-trgovini, bankama i telekomunikacijama. Kažu da će usluga biti dizajnirana za srednja preduzeća, uključujući i cijenu.

2016. PROMT Analyzer - morfološki Big Data analizator

Kompanija PROMT objavila je PROMT Analyzer - rešenje u oblasti veštačke inteligencije za rad sa velikim podacima u informaciono-analitičkim sistemima. Alat je dizajniran za pretraživanje, izdvajanje, sažimanje i strukturiranje informacija iz gotovo bilo kojeg tekstualnog sadržaja na različitim jezicima, kako u korporativnim sistemima tako i u vanjskim izvorima. Analizira sve tekstove ili dokumente, identifikuje entitete u njima (osobe, organizacije, geografska imena, geopolitičke entitete, itd.), a takođe utvrđuje radnje vezane za te entitete, datum i mesto akcije i formira holističku sliku o dokument. PROMT Analyzer vam omogućava da rešite različite zadatke: analizu internih resursa kompanije (sistemi toka dokumenata), analizu eksternih resursa (mediji, blogosfera, itd.), analizu podataka dobijenih iz zatvorenih izvora za procenu kritičnosti situacija, analiza aktivnosti objekta s obzirom na geografiju, te optimizacija za pretraživače i optimizacija helpdesk-a.

2016. Mail.Ru će pomoći kompanijama da analiziraju svoje podatke

Mail.Ru nastoji da održi korak sa svojim glavnim konkurentom, Yandexom. Prije godinu dana Yandex usluga analize velikih podataka za poslovanje. A sada je Mail.ru otvorio smjer Big Data za korporativne klijente. Prije svega, bavit će se projektima koji imaju za cilj poboljšanje efikasnosti marketinških i prodajnih procesa, optimizaciju proizvodnje, logistiku, upravljanje rizicima, planiranje, upravljanje kadrovima i druge radne procese različitih privrednih subjekata. Na primjer, Mail.ru će moći kreirati model za predviđanje odljeva kupaca, odgovor na ponude i predviđanje reakcije na žalbu putem određenog kanala komunikacije. Ovo će učiniti interakciju sa potencijalnim klijentom personalizovanijom. Mail.ru navodi da kompanija analizira podatke virtuelno od svog osnivanja i da ima sopstvene tehnologije mašinskog učenja.

2015. IBM će postati vodeći provajder poslovne vremenske prognoze

Je li vrijeme važno za posao? Naravno, posebno ako je vaš posao poljoprivredno preduzeće, turistička agencija, kafić ili prodavnica odeće. Vremenske prilike utiču na stabilnost zaliha, izbor asortimana i prodajnu aktivnost. U ovom slučaju, svaki sistem poslovne inteligencije koji poštuje sebe treba da uzme u obzir vremensku prognozu. To je ono što je IBM mislio i kupio najveći meteorološki servis na svijetu, The Weather Company. IBM planira dostaviti podatke sa tri milijarde referentnih tačaka prognoze svom superkompjuteru Watson i revolucionirati vremensku prognozu. Također planiraju kreirati platformu koja će omogućiti poslovnim aplikacijama trećih strana da koriste informacije o vremenu uz naknadu.

2015. Video: Kako koristiti Big Data za privlačenje talentiranih zaposlenika

Još uvijek sumnjate da su Big Data korisni za poslovanje? Zatim pogledajte ovaj video o tome kako Beeline privlači nove talentovane zaposlenike koristeći Big Data. Početkom septembra Moskvom je jurio Big Data Taxi u obliku automobila Tesla. Prema riječima predstavnika Beeline-a, osim što pomažu u privlačenju novih talenata, Big Data tehnologije omogućavaju kompaniji rješavanje raznih problema. Počevši od onih jednostavnih i trivijalnih kao što su „pronađi sve one koji koriste SIM kupljenu pomoću tuđeg pasoša“ i završavajući sa „odredite starost pretplatnika na osnovu skupa pokazatelja“.

2015. Microsoft je predstavio platformu velikih podataka koja govori

Big Data tehnologije obećavaju kompanijama magičnu optimizaciju poslovnih procesa, na primjer: uvijek ćete imati pravu količinu robe na pravom mjestu, u pravo vrijeme. Ali one kompanije koje su već isprobale Big Data kažu: u praksi to ne funkcionira. Postojeći sistemi velikih podataka dizajnirani su za analitičare, ali ne pomažu običnom zaposleniku koji mora donijeti odluku ovdje i sada. Stoga je Microsoft odlučio izdati Big Data platformu sa ljudskim licem (tačnije glasom) - Cortana Analytics Suite. Zasnovan je na Azure cloud platformi i koristi Cortana glasovni asistent kao svoj interfejs. Pretpostavlja se da će uz pomoć vizuelnog dizajnera svaki šef odjela moći kreirati mini-aplikacije koje obrađuju velike količine podataka, a svaki zaposleni će moći pitati Cortanu i dobiti prave informacije u pravo vrijeme, u pravo mjesto.

2015. Video: Šta su Big Data i kome su potrebni?

Ruski startup CleverData pozicioniran je kao integrator velikih podataka. Oni implementiraju projekte za rješavanje specifičnih poslovnih problema koristeći Big Data platforme i tehnologije. U videu, izvršni direktor CleverData Denis Afanasyev zanimljivo govori o tome šta su Big Data i odakle su ti veliki podaci došli. Ispostavilo se da tehnologije obrade velikih podataka postoje decenijama, ali razlog za pojavu marketinškog termina Big Data je taj što je (zahvaljujući računarstvu u oblaku) njihova cijena smanjena i postali su dostupni malim i srednjim kompanijama. Prema Denisovim riječima, Big Data se najčešće koriste za marketing (segmentacija baze kupaca, oglašavanje na mreži), IT sigurnost (otkrivanje prijevara, predviđanje kvarova) i upravljanje rizikom (procjena kreditne sposobnosti klijenata).

2015. SAP je predstavio Next Big Thing - S/4HANA ERP sistem

Prvi SAP ERP sistem se zvao R/2 i radio je na velikim računarima. Zatim je bio R/3. 2004. godine pojavio se SAP Business Suite. Pre neki dan je SAP predstavio (kako kažu) najvažniji proizvod u svojoj istoriji - novu verziju S4/HANA. Prilikom kreiranja, programeri nisu razmišljali o tome kako nadmašiti vječnog konkurenta Oracle, već o tome kako izbjeći da ih nadmaše agresivni SaaS provajderi Salesforce i Workday. Stoga će S4 moći raditi i lokalno i u oblaku. Glavna karakteristika sistema je brzina. Kao što ime govori, S4 je baziran na vodećoj Big-Data platformi SAP HANA, koja vam omogućava da obrađujete veoma velike podatke u sekundi. Druga glavna karakteristika je interfejs. Zaboravite na složene stolove i menije koje ne možete shvatiti bez flaše. SAP želi da se novi moćni sistem kontroliše pomoću pametnog telefona. Možete koristiti najmanje 25 jednostavnih SAP Fiori aplikacija za rad sa SAP-om. Evo njihove video prezentacije:

2014. Yandex je otvorio Big Data servis za poslovanje

Yandex je pokrenuo projekat Yandex Data Factory, koji će pružati usluge obrade velikih podataka za preduzeća. Da bi to uradio, koristi Matrixnet tehnologiju mašinskog učenja, koju je Yandex razvio za rangiranje sajtova u svom pretraživaču. Navodi se da Yandex planira da postane konkurent kompanijama kao što su SAP AG i Microsoft. Trenutno su stručnjaci Yandex Data Factory implementirali nekoliko pilot projekata sa evropskim kompanijama. Konkretno, umjetnu inteligenciju Yandexa koristila je kompanija koja servisira dalekovode za predviđanje kvarova, banka za ciljanje zajmoprimaca, a agencija za autoputeve za predviđanje saobraćajnih gužvi. Osim toga, ispostavilo se da Yandex obrađuje podatke dobijene od poznatog hadronskog sudarača u CERN-u.

2014. Microsoft će pomoći Real Madridu da pobijedi s Big Data

Oni ne traže dobro od dobra. Real Madrid igra prilično dobro u posljednje vrijeme i postiže dobre rezultate. Međutim, lovorike reprezentacije Njemačke, koja je uz pomoć osvojila Svjetsko prvenstvo, opsjedaju predsjednika madridskog kluba Florentina Pereza (krajnje lijevo na fotografiji). Stoga je s Microsoftom potpisao ugovor na 30 miliona dolara, u okviru kojeg će biti kreirana moderna IT infrastruktura za klub. Trenersko osoblje i igrači Real Madrida će dobiti Surface Pro 3 tablete sa unaprijed instaliranim Office 365 aplikacijama za bližu saradnju osoblja. A koristeći analitičke alate Power BI za Office 365, treneri timova će moći da proučavaju performanse fudbalera, identifikuju dugoročne trendove, pa čak i predvide povrede.

2014. 1C-Bitrix je pokrenuo Big Data uslugu

Big Data - tehnologije za obradu veoma velikih količina podataka u cilju dobijanja jednostavnih i korisnih rezultata za poslovanje - jedan je od glavnih novih trendova na IT tržištu. A usluga 1C-Bitrix BigData je možda prva domaća usluga zasnovana na ovoj tehnologiji. Prva primjena ove umjetne inteligencije bit će optimizacija (personalizacija) online trgovina korištenjem Bitrix motora za svakog novog posjetitelja. Na osnovu analize velike količine podataka o svim prošlim posjetiteljima, servis će moći predvidjeti ponašanje novog posjetitelja na stranici, istaći mu slične kupce i napraviti mu personalizirane ponude na osnovu historije kupovine drugih kupaca. Vjerovatno uskoro možemo očekivati ​​funkcije Big Data u Bitrix24 sistemu upravljanja poslovanjem.

2014. SAP: Njemački tim je osvojio Svjetsko prvenstvo zahvaljujući Big Data

Nedavno, prošle godine, Oracle jahta je osvojila America's Cup, a tada je Oracle rekao da je za ovu pobjedu u velikoj mjeri zaslužan sistem analize Big Data u Oracle oblaku. Sada je došlo vrijeme da Oracleov vječni konkurent, njemačka kompanija SAP, odgovori na ovaj PR potez. Ispostavilo se da je njemački tim osvojio Svjetsko prvenstvo i zahvaljujući Big Data-u. SAP je razvio sistem Match Insights koji čita fudbalsku utakmicu u 3-dimenzionalni digitalni model i analizira akcije svakog igrača i tima u cjelini. Analizirane su ne samo utakmice našeg tima (da bi se ispravile greške i poboljšala efikasnost), već i utakmice takmičara. Vještačka inteligencija pronašla je slabe tačke protivnika i pomogla timu da se pripremi za meč. Moral priče je: Zamislite šta veliki podaci mogu učiniti za vaše poslovanje.

2014. CROC je lansirao rješenje Business Intelligence bazirano na oblaku

Sistemski integrator Croc pokrenuo je uslugu poslovne inteligencije sa samorazumljivim nazivom “Poslovna inteligencija kao usluga” ili BIaaS. Rješenje je dizajnirano za velike organizacije zainteresirane za smanjenje kapitalnih troškova i ubrzanje donošenja upravljačkih odluka. Sistem je izgrađen na EMC Greenplum proizvodu i predstavlja rješenje na nivou velikih podataka. Koristeći ovaj alat, možete analizirati i upoređivati ​​velike količine informacija, graditi ključne indikatore i donositi poslovne odluke, zaobilazeći fazu kapitalnih izdataka za kupovinu softvera, licenci i moguću modernizaciju infrastrukture. Rješenje vam omogućava da implementirate tri moguća scenarija za rad s podacima - analitiku za maloprodaju, analizu pokazatelja učinka kontakt centra, kao i procjenu usklađenosti aktivnosti menadžmenta organizacije sa KPI-ovima.

2013. SAP čini velika preduzeća efikasnim uz Big Data. Takmičari plaču

Poslednjih godina SAP se pokazao kao najmanje inovativna IT kompanija (u poređenju sa konkurentima Oracle, Microsoft, IBM). Svi SAP-ovi vlastiti inovativni projekti su uglavnom propali (podsjetimo se), a jedino što je SAP uspio je kupovina drugih kompanija (SuccessFactors, SyBase, Ariba). Ali ovaj put se čini da je SAP odlučio da nadmaši svoje konkurente. I to će učiniti koristeći novu modernu tehnologiju Big Data. Šta je to?

Samo lijeni ne pričaju o velikim podacima, ali jedva razumiju šta je to i kako funkcionira. Počnimo od najjednostavnije stvari - terminologije. Govoreći na ruskom, veliki podaci su različiti alati, pristupi i metode za obradu i strukturiranih i nestrukturiranih podataka kako bi se koristili za određene zadatke i svrhe.

Nestrukturirani podaci su informacije koje nemaju unaprijed određenu strukturu ili nisu organizirane određenim redoslijedom.

Termin "veliki podaci" uveo je urednik časopisa Nature Clifford Lynch 2008. godine u specijalnom izdanju posvećenom eksplozivnom rastu svjetske količine informacija. Iako su, naravno, i sami veliki podaci postojali i ranije. Prema mišljenju stručnjaka, kategorija Big data uključuje većinu protoka podataka preko 100 GB dnevno.

Pročitajte također:

Danas ovaj jednostavan pojam krije samo dvije riječi - skladištenje i obrada podataka.

Veliki podaci - jednostavnim riječima

U savremenom svijetu, veliki podaci su društveno-ekonomski fenomen koji je povezan s činjenicom da su se pojavile nove tehnološke mogućnosti za analizu ogromne količine podataka.

Pročitajte također:

Da biste lakše razumjeli, zamislite supermarket u kojem sva roba nije onim redom na koji ste navikli. Hleb pored voća, paradajz pasta pored smrznute pice, tečnost za upaljač ispred stalka za tampone, koja između ostalog sadrži avokado, tofu ili šitake pečurke. Big data stavlja sve na svoje mjesto i pomaže vam da pronađete mlijeko s orašastim plodovima, saznate cijenu i rok trajanja, kao i ko, osim vas, kupuje ovo mlijeko i zašto je bolje od kravljeg mlijeka.

Kenneth Cukier: Veliki podaci su bolji podaci

Tehnologija velikih podataka

Ogromne količine podataka se obrađuju kako bi osoba dobila konkretne i potrebne rezultate za njihovu dalju efikasnu upotrebu.

Pročitajte također:

U stvari, veliki podaci su rješenje problema i alternativa tradicionalnim sistemima za upravljanje podacima.

Tehnike i metode analize primjenjive na Big data prema McKinseyju:

• Crowdsourcing;

  Miješanje i integracija podataka;

  Strojno učenje;

  Umjetne neuronske mreže;

  Prepoznavanje uzoraka;

  Prediktivna analitika;

  Simulacijsko modeliranje;

  Prostorna analiza;

  Statistička analiza;

• Vizualizacija analitičkih podataka.

Horizontalna skalabilnost koja omogućava obradu podataka je osnovni princip obrade velikih podataka. Podaci se distribuiraju preko računarskih čvorova, a obrada se odvija bez degradacije performansi. McKinsey je takođe uključio sisteme relacionog upravljanja i poslovnu inteligenciju u kontekstu primenljivosti.

Tehnologije:

• NoSQL;
• MapReduce;
• Hadoop;
• Hardverska rješenja.

Pročitajte također:

Za velike podatke postoje tradicionalne karakteristike koje je razvila Meta Group još 2001. godine, a koje se nazivaju „ Tri V»:

1. Volume- količina fizičkog volumena.
2. Brzina- stopa rasta i potreba za brzom obradom podataka za postizanje rezultata.
3. Raznolikost- mogućnost istovremene obrade različitih vrsta podataka.

Veliki podaci: aplikacije i mogućnosti

Tradicionalnim alatima nemoguće je obraditi količine heterogenih digitalnih informacija koje brzo pristižu. Sama analiza podataka vam omogućava da vidite određene i neprimjetne obrasce koje osoba ne može vidjeti. To nam omogućava da optimiziramo sva područja našeg života - od javne uprave do proizvodnje i telekomunikacija.

Na primjer, neke kompanije su prije nekoliko godina štitile svoje klijente od prijevare, a briga o novcu klijenata znači i brigu o svom novcu.

Susan Etliger: Šta je sa velikim podacima?

Rešenja zasnovana na Big data: Sberbank, Beeline i druge kompanije

Beeline ima ogromnu količinu podataka o pretplatnicima, koje koriste ne samo za rad s njima, već i za kreiranje analitičkih proizvoda, poput eksternog savjetovanja ili IPTV analitike. Beeline je segmentirao bazu podataka i zaštitio klijente od finansijskih prevara i virusa, koristeći HDFS i Apache Spark za skladištenje, a Rapidminer i Python za obradu podataka.

Pročitajte također:

Ili se sjetimo Sberbanke sa njihovim starim slučajem AS SAFI. Ovo je sistem koji analizira fotografije kako bi identifikovao klijente banke i sprečio prevaru. Sistem je uveden još 2014. godine, sistem se bazira na upoređivanju fotografija iz baze podataka, koje do tamo dolaze sa web kamera na štandovima zahvaljujući kompjuterskom vidu. Osnova sistema je biometrijska platforma. Zahvaljujući tome, slučajevi prevara su se smanjili za 10 puta.

Veliki podaci u svijetu

Do 2020. godine, prema prognozama, čovječanstvo će generirati 40-44 zetabajta informacija. A do 2025. će porasti 10 puta, prema izvještaju The Data Age 2025, koji su pripremili analitičari iz IDC-a. U izvještaju se navodi da će većinu podataka generirati sama preduzeća, a ne obični potrošači.

Analitičari istraživanja vjeruju da će podaci postati vitalna imovina, a sigurnost kritična osnova u životu. Autori rada su također uvjereni da će tehnologija promijeniti ekonomski krajolik, a prosječan korisnik će komunicirati sa povezanim uređajima oko 4.800 puta dnevno.

Tržište velikih podataka u Rusiji

Veliki podaci obično dolaze iz tri izvora:

• Internet (društvene mreže, forumi, blogovi, mediji i druge stranice);
• Arhiva korporativnih dokumenata;
• Očitavanja sa senzora, instrumenata i drugih uređaja.

Veliki podaci u bankama

Pored gore opisanog sistema, strategija Sberbanke za period 2014-2018 uključuje: govori o važnosti analize super podataka za kvalitetnu uslugu korisnicima, upravljanje rizicima i optimizaciju troškova. Sada banka koristi Big data za upravljanje rizicima, borbu protiv prevara, segmentaciju i procjenu kreditne sposobnosti klijenata, upravljanje osobljem, predviđanje redova u ekspoziturama, obračun bonusa zaposlenima i druge poslove.

VTB24 koristi velike podatke za segmentiranje i upravljanje odlivom kupaca, generisanje finansijskih izveštaja i analizu recenzija na društvenim mrežama i forumima. Za to koristi rješenja iz Teradata, SAS Visual Analytics i SAS Marketing Optimizer.