Šta su sistemi velikih podataka. Šta je Big Data: karakteristike, klasifikacija, primjeri

Big Data- Engleski. "Veliki podaci". Termin se pojavio kao alternativa DBMS-u i postao jedan od glavnih trendova u IT infrastrukturi, kada je većina industrijskih divova - IBM, Microsoft, HP, Oracle i drugi počela da koristi ovaj koncept u svojim strategijama. Veliki podaci se shvataju kao ogroman (stotine terabajta) niz podataka koji se ne može obraditi tradicionalnim metodama; ponekad - alati i metode za obradu ovih podataka.

Primjeri izvora velikih podataka: RFID događaji, poruke na društvenim mrežama, meteorološka statistika, informacije o lokaciji pretplatnika mobilnih mobilnih mreža i podaci sa uređaja za audio/video snimanje. Stoga se „veliki podaci“ široko koriste u proizvodnji, zdravstvu, vladi, Internet poslovanju – posebno kada se analizira ciljna publika.

Karakteristično

Znakovi velikih podataka su definisani kao “tri Vs”: Volumen - volumen (stvarno veliki); raznolikost - raznolikost, mnogo; velocity - brzina (potrebna je vrlo brza obrada).

Veliki podaci su često nestrukturirani i zahtijevaju posebne algoritme za njihovu obradu. Metode analize velikih podataka uključuju:

• ("Data mining") - skup pristupa za otkrivanje skrivenih korisnih znanja do kojih se ne može doći standardnim metodama;
• Crowdsourcing (gomila – „gomila“, sourcing – korištenje kao izvor) – rješavanje značajnih problema zajedničkim naporima volontera koji nisu u obaveznom radnom odnosu i vezama, koordinacija aktivnosti korištenjem IT alata;
• Data Fusion & Integration - skup metoda za povezivanje više izvora u okviru duboke analize;
• Mašinsko učenje („mašinsko učenje“) – pododjeljak istraživanja umjetne inteligencije, koji proučava metode korištenja analize statistike i dobijanja prognoza na osnovu osnovnih modela;
• prepoznavanje uzoraka (na primjer, prepoznavanje lica u tražilu fotoaparata ili kamkordera);
• prostorna analiza - upotreba topologije, geometrije i geografije za konstruisanje podataka;
• vizualizacija podataka – izlaz analitičkih informacija u obliku ilustracija i dijagrama pomoću interaktivnih alata i animacija za praćenje rezultata i izgradnju temelja za dalje praćenje.

Skladištenje i analiza informacija vrši se na velikom broju servera visokih performansi. Ključna tehnologija je Hadoop, open source.

Budući da će se količina informacija vremenom samo povećavati, teškoća nije u pribavljanju podataka, već u tome kako ih obraditi sa maksimalnom koristi. Općenito, proces rada s velikim podacima uključuje: prikupljanje informacija, njihovo strukturiranje, stvaranje uvida i konteksta, razvijanje preporuka za djelovanje. Već prije prve faze važno je jasno definirati svrhu rada: koji su tačno podaci za, na primjer, definiranje ciljne publike proizvoda. U suprotnom, postoji rizik da dobijete mnogo informacija bez razumijevanja kako se tačno mogu koristiti.

Redovno nailazimo na trendi riječi i definicije čije nam je značenje intuitivno jasno, ali nemamo jasnu sliku o tome šta je to ipak i kako funkcionira.

Jedan od ovih koncepata je Big Data, na ruskom se ponekad može naći bukvalni prevod - "veliki podaci", ali češće ljudi govore i pišu onako kako jeste: Big Data. Ovu frazu su svi vjerovatno čuli ili barem sreli na internetu, i čini se da je jednostavna, ali na šta se tačno misli, nije uvijek jasno kancelarijskim humanitarcima koji su daleko od zamršenosti digitalnog svijeta.

Odličan pokušaj da se popuni ova praznina u mozgovima najšireg kruga korisnika je članak jednog od naših omiljenih autora Bernarda Marra, tzv. „Šta su veliki podaci? Super jednostavno objašnjenje za sve"... Bez apstruoznog žargona, isključivo u svrhu objašnjavanja ključnih ideja ovog fenomena svima, bez obzira na obrazovanje i polje djelovanja.

Zapravo, proteklih nekoliko godina već smo živjeli u svijetu prožetom velikim podacima, ali nastavljamo biti zbunjeni u razumijevanju šta je to svejedno. To je dijelom zbog toga što se sam koncept velikih podataka neprestano transformira i promišlja, jer se svijet visokih tehnologija i obrade velikih količina informacija vrlo brzo mijenja, uključujući sve više novih opcija. A količina ovih informacija stalno raste.

Dakle, šta znači Big Data - 2017?

Sve je počelo eksplozivnim rastom količine podataka koje stvaramo od početka digitalne ere. To je postalo moguće uglavnom zahvaljujući porastu broja i snage računara, širenju Interneta i razvoju tehnologija koje su sposobne uhvatiti informacije iz stvarnog, fizičkog svijeta u kojem svi živimo i pretvoriti ih u digitalne podatke.

U 2017. generiramo podatke kada idemo na internet, kada koristimo naše opskrbljene GPS pametne telefone, kada ćaskamo s prijateljima na društvenim mrežama, preuzimamo mobilne aplikacije ili muziku kada kupujemo.

Možemo reći da ostavljamo mnogo digitalnih tragova iza sebe, bez obzira što radimo, ako naše djelovanje uključuje bilo koju vrstu digitalnih transakcija. Odnosno, skoro uvek i svuda.

Osim toga, količina podataka koju generiraju same mašine raste ogromnom brzinom. Podaci se kreiraju i prenose kada naši pametni uređaji međusobno komuniciraju. Proizvodni pogoni širom svijeta opremljeni su opremom koja prikuplja i prenosi podatke danonoćno.

U bliskoj budućnosti naše ulice će biti ispunjene samovozećim automobilima koji rutiraju svoje rute na osnovu četvorodimenzionalnih mapa, čiji se podaci generišu u realnom vremenu.

Šta veliki podaci mogu učiniti?

Beskrajno rastući tok senzornih informacija, fotografija, tekstualnih poruka, audio i video podataka leži u srcu Big Data, koje možemo koristiti na načine na koje prije nekoliko godina nismo mogli ni zamisliti.

Upravo sada, projekti zasnovani na velikim podacima pomažu:

- Liječite bolesti i spriječite rak... Medicina zasnovana na korišćenju Big Data analizira ogromnu količinu medicinskih zapisa i slika, što omogućava veoma ranu dijagnozu i doprinosi stvaranju novih metoda lečenja.

- Borba protiv gladi... Poljoprivreda prolazi kroz pravu Big Data revoluciju, koja omogućava korištenje resursa na takav način da se maksimiziraju prinosi uz minimalno ometanje ekosistema i optimizira korištenje mašina i opreme.

- Otkrijte udaljene planete... NASA, na primjer, analizira ogromnu količinu podataka i koristi ih za izgradnju modela budućih misija u daleke svjetove.

- Predvidite hitne slučajeve različite prirode i kako bi se eventualna šteta svela na minimum. Podaci iz više senzora mogu predvidjeti kada i gdje će se dogoditi sljedeći potres ili kako će se ljudi ponašati u hitnim slučajevima, povećavajući šanse za preživljavanje.

- Sprečiti zločine korišćenjem tehnologija koje omogućavaju da se resursi efikasnije raspoređuju i usmeravaju tamo gde su najpotrebniji.

I ono što je najbliže većini nas: Big Data čini život običnog čovjeka lakšim i praktičnijim – ovo je kupovina na mreži, i planiranje putovanja, i navigacija u metropoli.

Zahvaljujući radu Big Data, odabir najboljeg vremena za kupovinu avio karata i odlučivanje koji film ili TV seriju gledati postalo je mnogo lakše.

Kako radi?

Big Data funkcionira na principu da što više znate o nečemu, to preciznije možete predvidjeti šta će se dogoditi u budućnosti. Poređenje pojedinačnih podataka i odnosa među njima (govorimo o ogromnoj količini podataka i nevjerovatno velikom broju mogućih veza između njih) omogućava vam da otkrijete ranije skrivene obrasce. To nam omogućava da zavirimo u unutrašnjost problema i na kraju shvatimo kako možemo upravljati ovim ili onim procesom.

Proces obrade velike količine informacija najčešće uključuje izgradnju modela na osnovu prikupljenih podataka i pokretanje simulacija, pri čemu se ključna podešavanja stalno mijenjaju, dok svaki put sistem prati kako „promjena postavki“ utiče na mogući rezultat.

Ovaj proces je potpuno automatizovan, jer je reč o analizi miliona simulacija, nabrajanju svih mogućih opcija do trenutka kada se pronađe obrazac (potrebna šema) ili dok ne dođe do „prosvetljenja“ koje će pomoći u rešavanju problema za kojim je sve počelo.

Za razliku od svijeta objekata i proračuna na koji smo navikli, podaci se primaju u nestrukturiranom obliku, odnosno teško ih je ugurati u tabele sa ćelijama i kolonama koje su nama, ljudima, poznate. Ogromna količina podataka se prenosi kao slike ili video: od satelitskih slika do selfija koje objavljujete na Instagramu ili Facebooku - baš kao e-mail i trenutne poruke ili telefonski pozivi.

Kako bi sav ovaj beskrajan i raznolik tok podataka dao praktično značenje, Big Data često koristi najnaprednije tehnologije analize, koje uključuju umjetnu inteligenciju i strojno učenje (ovo je kada program na računalu podučava druge programe).

Kompjuteri sami uče da određuju šta informacije predstavljaju – na primer, da prepoznaju slike, jezik – i to mogu učiniti mnogo brže od ljudi.

Veliki brat?

Proporcionalno neviđenim mogućnostima koje nam danas pružaju Big Data, raste i broj nedoumica i pitanja vezanih za njihovu upotrebu.

NEVAŽEĆNOST LIČNIH PODATAKA. Big Data prikuplja ogromnu količinu informacija o našoj privatnosti. Mnogo je informacija koje bismo radije čuvali u tajnosti.

SIGURNOST. Čak i ako smo odlučili da nema ništa loše u prijenosu svih naših ličnih podataka na mašinu zarad neke specifične, korisne svrhe, možemo li biti sigurni da su naši podaci pohranjeni na sigurnom mjestu?
Ko i kako nam to može garantovati?

DISKRIMINACIJA. Kada se sve zna, da li je dozvoljeno diskriminisati ljude na osnovu onoga što se o njima zna zahvaljujući Big Data? Banke koriste vašu kreditnu istoriju, a osiguravajuća društva određuju troškove auto osiguranja na osnovu onoga što znaju o vama. Koliko daleko može ići?

Može se pretpostaviti da će kompanije, vladine agencije, pa čak i pojedinci, u cilju minimiziranja rizika, koristiti ono što mogu saznati o nama i iz nekog razloga ograničiti naš pristup resursima i informacijama.

Uz sve prednosti, moramo priznati da su svi ovi strahovi također sastavni dio Big Data. Naučnici su donedavno bili u nedoumici oko odgovora, ali sada je došlo vrijeme kada je talas zahvatio biznis koji želi da koristi prednosti velikih podataka za svoje potrebe. A to može biti ispunjeno katastrofalnim posljedicama.

Veliki podaci (ili Big Data) su kolekcija metoda za rad s ogromnim količinama strukturiranih ili nestrukturiranih informacija. Stručnjaci za velike podatke ih obrađuju i analiziraju kako bi dobili vizualne, čovjeku čitljive rezultate. Look At Me je razgovarao sa profesionalcima i saznao kakva je situacija sa obradom velikih podataka u Rusiji, gde i šta je bolje da nauče oni koji žele da rade u ovoj oblasti.

Alexey Ryvkin o glavnim pravcima u oblasti velikih podataka, komunikacije s kupcima i svijeta brojeva

Studirao sam na Moskovskom institutu za elektronsku tehnologiju. Glavna stvar koju sam uspeo da izvučem bila su osnovna znanja iz fizike i matematike. Uporedo sa studiranjem radio sam u R&D centru, gdje sam se bavio razvojem i implementacijom algoritama kodiranja otpornih na buku za siguran prijenos podataka. Nakon završene osnovne škole, upisao sam master studije poslovne informatike na Višoj ekonomskoj školi. Nakon toga, htio sam raditi u IBS-u. Imao sam sreću da je tada, zbog velikog broja projekata, došlo do dodatnog zapošljavanja pripravnika, te sam nakon nekoliko intervjua počeo raditi za IBS, jednu od najvećih ruskih kompanija u ovoj oblasti. Za tri godine postao sam od pripravnika do arhitekte korporativnih rješenja. Sada razvijam ekspertizu Big Data tehnologija za kompanije klijenata iz finansijskog i telekomunikacijskog sektora.

Postoje dvije glavne specijalizacije za ljude koji žele raditi s velikim podacima: analitičari i IT konsultanti koji kreiraju tehnologije za rad s velikim podacima. Osim toga, možete govoriti i o profesiji Big Data Analyst, odnosno o ljudima koji direktno rade sa podacima, sa IT platformom korisnika. Ranije su to bili obični analitičari-matematičari koji su poznavali statistiku i matematiku i koristili statistički softver za rješavanje problema analize podataka. Danas je osim znanja iz statistike i matematike potrebno i razumijevanje tehnologije i životnog ciklusa podataka. To je, po mom mišljenju, razlika između modernog Data Analyst-a i onih analitičara koji su bili prije.

Moja specijalizacija je IT konsalting, odnosno smišljam i nudim klijentima načine rješavanja poslovnih problema korištenjem IT tehnologija. U savjetovanje dolaze ljudi sa različitim iskustvom, ali najvažnije kvalitete za ovu profesiju su sposobnost razumijevanja potreba klijenta, želja da se pomogne ljudima i organizacijama, dobra komunikacija i timske vještine (pošto je to uvijek rad sa klijentom i u timu), dobre analitičke sposobnosti. Unutrašnja motivacija je vrlo važna: radimo u konkurentnom okruženju, a kupac očekuje neobična rješenja i interesovanje za rad.

Većinu svog vremena provodim u razgovoru s kupcima, formaliziranju njihovih poslovnih potreba i pomaganju u dizajniranju najprikladnije tehnološke arhitekture. Kriterijumi odabira ovdje imaju svoju posebnost: pored funkcionalnosti i TCO-a (Ukupni trošak posjedovanja), vrlo su važni i nefunkcionalni zahtjevi za sistem, najčešće je to vrijeme odziva, vrijeme obrade informacija. Da bismo uvjerili kupca, često koristimo pristup dokazu koncepta - nudimo besplatno „testiranje“ tehnologije na nekom problemu, na uskom skupu podataka, kako bismo bili sigurni da tehnologija funkcionira. Rešenje bi trebalo da stvori konkurentsku prednost za kupca dobijanjem dodatnih pogodnosti (na primer, x-sell, cross-selling) ili reši neki problem u poslovanju, na primer, smanji visok nivo kreditne prevare.

Bilo bi mnogo lakše kada bi klijenti došli sa gotovim zadatkom, ali zasad ne shvaćaju da se pojavila revolucionarna tehnologija koja može promijeniti tržište za par godina

Sa kojim problemima se morate suočiti? Tržište još nije spremno za korištenje tehnologija velikih podataka. Bilo bi mnogo lakše kada bi kupci došli sa već gotovim zadatkom, ali još ne shvaćaju da se pojavila revolucionarna tehnologija koja može promijeniti tržište za par godina. Zato mi, zapravo, radimo u startup modu – ne prodajemo samo tehnologije, već i svaki put uvjeravamo klijente da treba ulagati u ova rješenja. Ovo je pozicija vizionara - kupcima pokazujemo kako mogu promijeniti svoje poslovanje uz uključivanje podataka i IT-a. Mi stvaramo ovo novo tržište – tržište komercijalnog IT konsaltinga u oblasti velikih podataka.

Ako osoba želi da se bavi analizom podataka ili IT konsaltingom u oblasti velikih podataka, onda je prvo važno matematičko ili tehničko obrazovanje sa dobrom matematičkom pozadinom. Također je korisno upoznati se sa specifičnim tehnologijama kao što su SAS, Hadoop, R ili IBM rješenja. Osim toga, morate biti aktivno zainteresirani za primijenjene probleme za velike podatke - na primjer, kako se oni mogu koristiti za poboljšano ocjenjivanje kredita u banci ili upravljanje životnim ciklusom klijenata. Ovo i druga znanja mogu se dobiti iz dostupnih izvora: na primjer, Coursera i Big Data University. Postoji i inicijativa za analitiku kupaca na Univerzitetu Wharton u Pensilvaniji, gdje je objavljeno mnogo zanimljivih materijala.

Ozbiljan problem za one koji žele da rade u našoj oblasti je očigledan nedostatak informacija o Big Data. Ne možete otići u knjižaru ili na neku web stranicu i dobiti, na primjer, iscrpnu kolekciju slučajeva o svim primjenama Big Data tehnologija u bankama. Takvih priručnika nema. Dio informacija je u knjigama, dio se prikuplja na konferencijama, a do nekih moramo doći sami.

Drugi problem je što su analitičari dobri u svijetu brojeva, ali nisu uvijek ugodni u poslu. Ovi ljudi su često introvertirani, imaju poteškoća u komunikaciji i stoga imaju poteškoća u uvjerljivom komuniciranju rezultata istraživanja klijentima. Za razvoj ovih vještina, preporučio bih knjige kao što je Princip piramide, Govori jezikom dijagrama. Pomažu u razvoju prezentacijskih vještina, sažeto i jasno izražavaju svoje misli.

Mnogo mi je pomoglo učešće na raznim takmičenjima tokom studija na Višoj ekonomskoj školi. Case Championships su intelektualna takmičenja za studente da proučavaju poslovne probleme i predlažu rješenja. Dolaze u dva tipa: takmičenja za slučajeve za konsultantske firme kao što su McKinsey, BCG, Accenture i nezavisna prvenstva kao što je Changellenge. Tokom svog učešća u njima naučio sam da sagledavam i rešavam složene probleme – od identifikovanja problema i strukturiranja do odbrane preporuka za njegovo rešavanje.

Olega Mikhalskog na ruskom tržištu i specifičnosti stvaranja novog proizvoda u oblasti velikih podataka

Prije nego što sam se pridružio Acronisu, već sam bio uključen u lansiranje novih proizvoda u drugim kompanijama. Uvijek je zanimljivo i teško u isto vrijeme, pa me je odmah zainteresirala mogućnost rada na cloud servisima i rješenjima za pohranu podataka. U ovoj oblasti mi je dobro došlo svo moje dosadašnje iskustvo u IT industriji, uključujući i sopstveni startup projekat I-akcelerator. Pomoglo je i poslovno obrazovanje (MBA) uz osnovno inženjerstvo.

U Rusiji velike kompanije - banke, mobilni operateri itd. - imaju potrebu za analizom velikih podataka, tako da u našoj zemlji postoji perspektiva za one koji žele da rade u ovoj oblasti. Istina, mnogi projekti su sada integracijski, odnosno napravljeni na bazi stranih razvoja ili open source tehnologija. U takvim projektima ne stvaraju se suštinski novi pristupi i tehnologije, već se prilagođavaju postojeći razvoji. U Acronisu smo krenuli drugim putem i nakon analize dostupnih alternativa odlučili smo investirati u vlastiti razvoj, stvarajući pouzdan sistem za skladištenje velikih podataka koji nije inferioran po cijeni od, na primjer, Amazon S3, ali radi pouzdano i efikasno i u znatno manjem obimu. Velike internet kompanije također imaju svoje razvoje na velikim podacima, ali su više fokusirane na interne potrebe nego na zadovoljenje potreba eksternih kupaca.

Važno je razumjeti trendove i ekonomske sile koje utiču na oblast obrade velikih podataka. Da biste to učinili, morate puno čitati, slušati govore autoritativnih stručnjaka u IT industriji, prisustvovati tematskim konferencijama. Sada skoro svaka konferencija ima odjeljak o Big Data, ali svi govore o tome iz drugog ugla: u smislu tehnologije, poslovanja ili marketinga. Možete otići na projektni posao ili na praksu u kompaniju koja već provodi projekte na ovu temu. Ako ste sigurni u svoje sposobnosti, onda nije kasno da organizujete startup u oblasti velikih podataka.

Bez stalnog kontakta sa tržištem novi razvoj rizikuje da ostane nepotražen

Međutim, kada ste odgovorni za novi proizvod, dosta vremena se troši na analitiku tržišta i komunikaciju sa potencijalnim klijentima, partnerima, profesionalnim analitičarima koji znaju mnogo o klijentima i njihovim potrebama. Bez stalnog kontakta sa tržištem, novi razvoj je u opasnosti da ostane nepotražen. Uvijek postoji mnogo neizvjesnosti: morate razumjeti ko će postati prvi korisnici (rani usvojitelji), šta imate za njih vrijedno i kako onda privući masovnu publiku. Drugi najvažniji zadatak je formirati i prenijeti programerima jasnu i holističku viziju finalnog proizvoda kako bi ih motivirali da rade u takvim uvjetima kada se neki zahtjevi ipak mogu promijeniti, a prioriteti zavise od povratnih informacija od prvih kupaca. Stoga je važan zadatak upravljanje očekivanjima kupaca s jedne strane i programera s druge strane. Tako da ni jedan ni drugi nisu izgubili interesovanje i doveli projekat do kraja. Nakon prvog uspješnog projekta postaje lakše i glavni izazov će biti pronaći pravi model rasta za novi posao.

U ruskom govornom području se koristi kao pojam Big Data i koncept "velikih podataka". Termin "veliki podaci" je kopija engleskog izraza. Veliki podaci nisu striktno definirani. Ne možete povući jasnu liniju - da li je 10 terabajta ili 10 megabajta? Samo ime je veoma subjektivno. Riječ "veliki" je kao "jedan, dva, mnogo" u primitivnim plemenima.

Međutim, postoji utvrđeno uvjerenje da su veliki podaci kombinacija tehnologija koje su dizajnirane za obavljanje tri operacije. Prvo, da se obradi više podataka od “standardnih” scenarija. Drugo, da bude u stanju da radi sa podacima koji brzo pristižu u veoma velikim količinama. Odnosno, ne postoji samo mnogo podataka, već ih je sve više. Treće, moraju biti u stanju da rade sa strukturiranim i loše strukturiranim podacima paralelno u različitim aspektima. Veliki podaci pretpostavljaju da algoritmi primaju tok ne uvijek strukturiranih informacija kao ulaz i da se iz njih može izvući više ideja.

Tipičan primjer velikih podataka su informacije koje dolaze iz različitih fizičkih eksperimentalnih objekata – na primjer, iz, koji proizvodi ogromnu količinu podataka i to stalno. Instalacija kontinuirano proizvodi velike količine podataka, a naučnici uz njihovu pomoć paralelno rješavaju mnoge probleme.

Do pojave velikih podataka u javnom prostoru došlo je zbog činjenice da su ti podaci uticali na gotovo sve ljude, a ne samo na naučnu zajednicu u kojoj se takvi problemi već duže vrijeme rješavaju. U javno područje tehnologije Big Data izašao kada je u pitanju bio vrlo specifičan broj - broj stanovnika planete. 7 milijardi skuplja na društvenim mrežama i drugim projektima koji okupljaju ljude. Youtube, Facebook, U kontaktu sa, gdje se broj ljudi mjeri milijardama, a broj transakcija koje obavljaju istovremeno je ogroman. Protok podataka u ovom slučaju je radnja korisnika. Na primjer, podaci sa istog hostinga Youtube koje se prelivaju po mreži u oba smjera. Obrada ne znači samo interpretaciju, već i sposobnost da se svaka od ovih radnji pravilno obradi, odnosno da se postavi na pravo mjesto i ovi podaci brzo budu dostupni svakom korisniku, budući da društvene mreže ne tolerišu očekivanja.

Veliki dio onoga što se tiče velikih podataka, pristupa koji se koriste za njihovu analizu, zapravo postoji već neko vrijeme. Na primjer, obrada slika sa nadzornih kamera, kada ne govorimo o jednoj slici, već o toku podataka. Ili robotska navigacija. Sve ovo postoji već decenijama, samo su zadaci obrade podataka uticali na mnogo više ljudi i ideja.

Mnogi programeri su navikli da rade sa statičnim objektima i razmišljaju u terminima stanja. U velikim podacima, paradigma je drugačija. Morate biti u mogućnosti da radite sa neprestanim protokom podataka, a ovo je zanimljiv zadatak. Dotiče sve više područja.

U našem životu sve više hardvera i softvera počinje da generiše velike količine podataka - na primer, "Internet stvari".

Stvari već stvaraju ogromne tokove informacija. Policijski sistem Potok šalje informacije sa svih kamera i omogućava vam da pronađete automobile koristeći te podatke. Fitnes narukvice, GPS trackeri i druge stvari koje služe zadacima čovjeka i posla sve su više u modi.

Moskovsko odeljenje za informatizaciju angažuje veliki broj analitičara podataka, jer postoji mnogo statistika o ljudima i one su višekriterijumske (tj. prikupljene su statistike po veoma velikom broju kriterijuma o svakoj osobi, o svakom grupa ljudi). U ovim podacima potrebno je pronaći obrasce i tendencije. Takvi problemi zahtijevaju matematičare sa informatičkim obrazovanjem. Jer, na kraju krajeva, podaci se pohranjuju u strukturirani DBMS, i morate biti u mogućnosti da im pristupite i dobijete informacije.

Ranije nismo smatrali velike podatke zadatkom iz jednostavnog razloga jer nije bilo mjesta za njihovo pohranjivanje i nije bilo mreža za prijenos. Kada su se ove prilike pojavile, podaci su odmah popunili cijeli volumen koji im je dostavljen. Ali bez obzira na to kako proširimo propusni opseg i kapacitet skladištenja, uvijek će postojati izvori, na primjer, fizički eksperimenti, eksperimenti na modeliranju racionalizacije krila, koji će proizvesti više informacija nego što možemo prenijeti. Prema Mooreovom zakonu, performanse savremenih paralelnih računarskih sistema stalno rastu, a raste i brzina mreža za prenos podataka. Međutim, morate biti u mogućnosti da brzo spremite i preuzmete podatke s medija (tvrdi disk i druge vrste memorije), a to je još jedan izazov u obradi velikih podataka.

Izraz "Veliki sastanak" možda je danas prepoznatljiv, ali još uvijek postoji velika konfuzija oko toga šta zapravo znači. Istina, koncept se stalno razvija i revidira jer ostaje pokretačka snaga mnogih tekućih valova digitalne transformacije, uključujući umjetnu inteligenciju, nauku o podacima i internet stvari. Ali šta je Big-Data tehnologija i kako ona mijenja naš svijet? Pokušajmo to shvatiti kako bismo jednostavnim riječima objasnili suštinu Big Data tehnologije i šta ona znači.

Neverovatan uspon Big Date

Sve je počelo eksplozijom količine podataka koju smo stvorili od početka digitalnog doba. To je u velikoj mjeri zaslužno za razvoj kompjutera, interneta i tehnologija sposobnih da "otmu" podatke iz svijeta oko nas. Podaci sami po sebi nisu novi izum. Čak i prije ere kompjutera i baza podataka, koristili smo papirne zapise transakcija, evidenciju kupaca i arhivske datoteke, koji su podaci. Računari, posebno proračunske tablice i baze podataka, olakšali su nam pohranjivanje i organiziranje podataka u velikom obimu. Odjednom su informacije postale dostupne jednim klikom miša.

Međutim, daleko smo otišli od originalnih tabela i baza podataka. Danas, svaka dva dana, kreiramo onoliko podataka koliko smo dobili od samog početka do 2000. godine. Tako je, svaka dva dana. A količina podataka koju stvaramo nastavlja brzo rasti; do 2020. godine, količina dostupnih digitalnih informacija će se povećati sa oko 5 zetabajta na 20 zetabajta.

Danas skoro svaka akcija koju preduzmemo ostavlja svoj trag. Podatke generišemo kad god smo na mreži, kada prenosimo naše pametne telefone opremljene modulom za pretragu, kada razgovaramo sa našim prijateljima putem društvenih mreža ili ćaskanja, itd. Osim toga, količina mašinski generiranih podataka također brzo raste. Podaci se generiraju i distribuiraju kada naši pametni kućni uređaji komuniciraju jedni s drugima ili sa svojim kućnim serverima. Industrijska oprema u fabrikama i fabrikama je sve više opremljena senzorima koji akumuliraju i prenose podatke.

Termin "Big-Data" odnosi se na prikupljanje svih ovih podataka i našu sposobnost da ih koristimo u našu korist u širokom spektru oblasti, uključujući poslovanje.

Kako funkcioniše Big-Data tehnologija?

Big Date funkcionira po principu: što više znate o određenoj temi ili fenomenu, pouzdanije možete doći do novog razumijevanja i predvidjeti šta će se dogoditi u budućnosti. Uspoređivanje više podataka stvara odnose koji su prethodno bili skriveni, a ti odnosi nam omogućavaju da učimo i donosimo bolje odluke. To se najčešće radi kroz proces koji uključuje izgradnju modela od podataka koje možemo prikupiti, a zatim pokretanje simulacije koja prilagođava vrijednosti tačaka podataka svaki put i prati kako one utječu na naše rezultate. Ovaj proces je automatizovan - moderne analitičke tehnologije će pokrenuti milione ovih simulacija, prilagođavajući svaku moguću varijablu dok ne pronađu model - ili ideju - koja će pomoći u rešavanju problema na kojem rade.

Do nedavno su podaci bili ograničeni na tabele ili baze podataka – i sve je bilo vrlo uredno i uredno. Sve što se nije moglo lako organizirati u redove i kolone smatralo se pretežkim za rad i zanemarivano je. Međutim, napredak u skladištenju i analitici znači da možemo uhvatiti, pohraniti i obraditi velike količine podataka različitih tipova. Kao rezultat toga, "podaci" danas mogu značiti bilo šta, od baza podataka do fotografija, video zapisa, zvučnih zapisa, pisanih tekstova i podataka senzora.

Kako bi razumjeli sve ove neuredne podatke, projekti zasnovani na Big Dat-u često koriste vrhunsku analitiku koristeći umjetnu inteligenciju i strojno učenje. Podučavajući kompjutere da odrede koji su specifični podaci - na primjer, kroz prepoznavanje obrazaca ili obradu prirodnog jezika - možemo ih naučiti da identificiraju modele mnogo brže i pouzdanije od nas samih.

Kako se koristi Big Date?

Ovaj sve veći protok informacija o senzorskim podacima, tekstu, glasu, fotografijama i video podacima znači da sada možemo koristiti podatke na načine koje prije nekoliko godina nije bilo moguće zamisliti. Revolucionira poslovni svijet u gotovo svakoj industriji. Preduzeća danas mogu sa neverovatnom tačnošću predvideti koji će određeni tipovi kupaca želeti da obave kupovinu i kada. Big Data takođe pomaže kompanijama da mnogo efikasnije obavljaju svoje poslovanje.

Čak i izvan domena poslovanja, projekti vezani za Big-Data već pomažu da se promijeni naš svijet na različite načine:

• Poboljšanje zdravstvene zaštite – Medicina vođena podacima je sposobna analizirati ogromne količine medicinskih informacija i slika za modele koji mogu pomoći u ranom otkrivanju bolesti i razvoju novih lijekova.
• Predviđanje i reagovanje na prirodne katastrofe i katastrofe koje je prouzrokovao čovek. Podaci senzora se mogu analizirati kako bi se predvidjelo gdje je vjerovatno da će se zemljotresi dogoditi, a obrasci ljudskog ponašanja pružaju tragove koji pomažu organizacijama da pomognu preživjelima. Tehnologija Big Dates se također koristi za praćenje i zaštitu protoka izbjeglica iz ratnih zona širom svijeta.
• Sprečavanje kriminala. Policijske snage sve više usvajaju strategije zasnovane na podacima koje uključuju njihove vlastite obavještajne podatke i informacije otvorenog izvora kako bi bolje iskoristile resurse i destimulirale gdje je to potrebno.

Najbolje knjige o Big-Data tehnologiji

• Svi lažu. Pretraživači, veliki podaci i internet znaju sve o vama.
• VELIKI PODACI. Sva tehnologija u jednoj knjizi.
• Industrija sreće. Kako veliki podaci i nove tehnologije pomažu u dodavanju emocija proizvodima i uslugama.
• Revolucija u analitici. Kako unaprijediti svoje poslovanje u eri velikih podataka uz operativnu analitiku.

Problemi sa velikim podacima

Big Date nam pruža neviđene uvide i prilike, ali također otvara probleme i pitanja koja treba riješiti:

• Povjerljivost podataka – Veliki podaci koje danas generišemo sadrže mnogo informacija o našem ličnom životu, na čiju povjerljivost imamo puno pravo. Sve češće se od nas traži da pronađemo ravnotežu između količine ličnih podataka koje otkrivamo i pogodnosti koje nude Big Date aplikacije i usluge.
• Zaštita podataka – čak i ako odlučimo da smo zadovoljni činjenicom da neko ima naše podatke za određenu svrhu, možemo li mu povjeriti sigurnost i sigurnost naših podataka?
• Diskriminacija podataka - kada su sve informacije poznate, da li će biti prihvatljivo diskriminisati ljude na osnovu podataka iz njihovog ličnog života? Već koristimo kreditne rezultate da odlučimo ko može posuditi novac, a osiguranje također uvelike ovisi o podacima. Trebali bismo očekivati ​​detaljniju analizu i evaluaciju, ali treba voditi računa da to ne zakomplikuje živote onih sa manje resursa i ograničenim pristupom informacijama.

Obavljanje ovih zadataka je važan dio velikih sastanaka i njima se trebaju baviti organizacije koje žele koristiti takve podatke. Ako to ne učinite, posao može učiniti ranjivim, ne samo u pogledu reputacije, već i sa pravne i finansijske strane.

Pogled u budućnost

Podaci mijenjaju naš svijet i naše živote brzinom bez presedana. Ako je Big-Data danas sposoban za sve ovo, zamislite za šta će biti sposoban sutra. Količina podataka koji su nam dostupni samo će se povećavati, a tehnologija analitike će postati još naprednija.

Za preduzeća, sposobnost primjene Big Dat-a će postati sve važnija u narednim godinama. Samo one kompanije koje gledaju na podatke kao na stratešku imovinu će preživjeti i napredovati. Oni koji ignorišu ovu revoluciju rizikuju da budu ostavljeni.