Ce este sistemele de date mari. Ce este Big Data: caracteristici, clasificare, exemple

Date mare- Engleză "Date mare". Termenul a apărut ca o alternativă la DBMS și a devenit una dintre principalele tendințe în infrastructura IT atunci când majoritatea giganților din industrie - IBM, Microsoft, HP, Oracle și alții au început să folosească acest concept în strategiile lor. Big Data se referă la o gamă uriașă (sute de terabytes) de date care nu pot fi procesate folosind metode tradiționale; uneori – instrumente și metode de prelucrare a acestor date.

Exemple de surse Big Data: evenimente RFID, mesaje pe rețelele de socializare, statistici meteorologice, informații despre locația abonaților rețelelor celulare mobile și date de la dispozitivele de înregistrare audio/video. Prin urmare, „datele mari” sunt utilizate pe scară largă în producție, asistență medicală, administrație guvernamentală și afaceri pe internet - în special, atunci când se analizează publicul țintă.

Caracteristică

Semnele de date mari sunt definite ca „trei V”: Volum – volum (cu adevărat mare); varietate – eterogenitate, set; viteză – viteză (necesitatea unei procesări foarte rapide).

Big Data este cel mai adesea nestructurată și sunt necesari algoritmi speciali pentru a le procesa. Metodele de analiză a datelor mari includ:

• („data mining”) – un set de abordări pentru descoperirea cunoștințelor utile ascunse care nu pot fi obținute prin metode standard;
• Crowdsourcing (crowd – „crowd”, sourcing – utilizare ca sursă) – rezolvarea unor probleme semnificative prin eforturile comune ale voluntarilor care nu se află într-un contract sau relație de muncă obligatorie, coordonând activități folosind instrumente informatice;
• Fuziune și integrare a datelor („mixarea și implementarea datelor”) – un set de metode pentru conectarea mai multor surse ca parte a unei analize aprofundate;
• Învățare automată („învățare automată”) este o subsecțiune a cercetării inteligenței artificiale care studiază metode de utilizare a analizei statistice și de a face predicții bazate pe modele de bază;
• recunoașterea imaginii (de exemplu, recunoașterea fețelor în vizorul unei camere sau camere video);
• analiza spațială - folosind topologia, geometria și geografia pentru a construi date;
• vizualizarea datelor – producerea de informații analitice sub formă de ilustrații și diagrame folosind instrumente interactive și animații pentru a urmări rezultatele și pentru a construi fundația pentru monitorizarea ulterioară.

Informațiile sunt stocate și analizate pe un număr mare de servere de înaltă performanță. Tehnologia cheie este Hadoop, care este open source.

Deoarece cantitatea de informații va crește doar în timp, dificultatea nu constă în obținerea datelor, ci în modul de prelucrare a acestora cu beneficii maxime. În general, procesul de lucru cu Big Data include: colectarea informațiilor, structurarea acestora, crearea de perspective și contexte, elaborarea de recomandări de acțiune. Chiar și înainte de prima etapă, este important să se definească clar scopul lucrării: de ce exact datele sunt necesare, de exemplu, pentru a determina publicul țintă al produsului. În caz contrar, există riscul de a primi o mulțime de informații fără a înțelege cum exact poate fi folosită.

Întâlnim în mod regulat cuvinte și definiții la modă, al căror sens ni se pare intuitiv, dar nu avem o imagine clară a ceea ce este acest lucru și cum funcționează.

Unul dintre aceste concepte este Big Data; în rusă puteți găsi uneori o traducere literală - „big data”, dar mai des oamenii spun și scriu așa cum este: Big Data. Probabil că toată lumea a auzit sau cel puțin a întâlnit această frază pe Internet și pare simplă, dar ceea ce se înțelege exact nu este întotdeauna clar pentru umaniștii de birou, care sunt departe de complexitățile lumii digitale.

O încercare excelentă de a umple acest gol în creierul unei game largi de utilizatori este un articol al unuia dintre autorii noștri preferați Bernard Marr, care se numește „Ce este Big Data? Explicație super simplă pentru toată lumea". Fără jargon abstrus cu unicul scop de a explica tuturor ideilor cheie ale acestui fenomen, indiferent de educație și domeniu de activitate.

De fapt, în ultimii ani trăim într-o lume complet pătrunsă de Big Data, dar continuăm să fim confuzi în a înțelege ce este cu adevărat. Acest lucru se datorează parțial pentru că conceptul de Big Data în sine este în mod constant transformat și regândit, deoarece lumea înaltei tehnologii și a procesării unor cantități mari de informații se schimbă foarte rapid, încorporând din ce în ce mai multe opțiuni noi. Iar volumul acestor informații este în continuă creștere.

Deci, ce înseamnă Big Data 2017?

Totul a început cu explozia cantității de date pe care le creăm încă de la începutul erei digitale. Acest lucru a fost posibil în mare parte prin creșterea numărului și a puterii computerelor, extinderea internetului și dezvoltarea tehnologiilor care pot capta informații din lumea reală, fizică în care trăim cu toții și le pot transforma în date digitale.

În 2017, producem date atunci când intrăm online, când ne folosim smartphone-urile echipate cu GPS, când comunicăm cu prietenii pe rețelele de socializare, când descarcăm aplicații mobile sau muzică, când facem achiziții.

Putem spune că lăsăm multe urme digitale în urma noastră, indiferent de ceea ce facem, atâta timp cât acțiunile noastre includ orice tranzacții digitale. Adică aproape întotdeauna și peste tot.

În plus, cantitatea de date generate de mașini în sine crește într-un ritm enorm. Datele sunt create și transferate atunci când dispozitivele noastre inteligente comunică între ele. Fabricile de producție din întreaga lume sunt echipate cu echipamente care colectează și transmit date zi și noapte.

În viitorul apropiat, străzile noastre vor fi pline de mașini care se vor conduce singur, care își vor trasa propriile trasee pe baza hărților 4D generate în timp real.

Ce pot face Big Data?

Un flux în continuă creștere de informații senzoriale, fotografii, mesaje text, date audio și video stă la baza Big Data, pe care le putem folosi în moduri care erau de neimaginat cu doar câțiva ani în urmă.

În prezent, proiectele bazate pe Big Data ajută la:

- Tratați bolile și preveniți cancerul. Medicina bazată pe Big Data analizează cantități uriașe de dosare și imagini medicale, ceea ce face posibilă diagnosticarea foarte precoce și contribuie la crearea de noi metode de tratament.

- Combate foamea. Agricultura se confruntă cu o adevărată revoluție Big Data, care face posibilă utilizarea resurselor în așa fel încât să maximizeze recoltele cu o intervenție minimă în ecosistem și să optimizeze utilizarea utilajelor și echipamentelor.

- Descoperiți planete îndepărtate. NASA, de exemplu, analizează cantități uriașe de date și le folosește pentru a construi modele de misiuni viitoare în lumi îndepărtate.

- Prevăd situațiile de urgență de diferite naturi și minimizează eventualele daune. Datele de la mai mulți senzori pot prezice unde și când va avea loc următorul cutremur sau comportamentul probabil al oamenilor în caz de urgență, crescând șansele de supraviețuire.

- Preveniți crimele prin utilizarea tehnologiei care permite ca resursele să fie alocate mai eficient și direcționate acolo unde este cea mai mare nevoie de ele.

Și ceea ce este cel mai aproape de cei mai mulți dintre noi: Big Data face viața unei persoane obișnuite mai ușoară și mai convenabilă - aceasta include cumpărături online, planificarea călătoriilor și navigarea într-o metropolă.

Alegerea celui mai bun moment pentru a cumpăra bilete de avion și a decide ce film sau serial TV să vizionezi a devenit mult mai ușoară datorită muncii Big Data.

Cum functioneaza?

Big Data funcționează pe principiul că, cu cât știi mai multe despre ceva, cu atât poți prezice mai precis ce se va întâmpla în viitor. Compararea datelor individuale și a relațiilor dintre ele (vorbim despre o cantitate imensă de date și un număr incredibil de mare de posibile conexiuni între ele) ne permite să descoperim tipare ascunse anterior. Acest lucru face posibil să privim în interiorul problemei și, în cele din urmă, să înțelegem cum putem gestiona un anumit proces.

Cel mai adesea, procesul de procesare a unor cantități mari de informații implică construirea de modele bazate pe datele colectate și rularea simulărilor, timp în care setările cheie sunt modificate în mod constant, în timp ce de fiecare dată sistemul monitorizează modul în care „modificarea setărilor” afectează rezultatul posibil.

Acest proces este complet automatizat, deoarece vorbim despre analiza a milioane de simulări, căutarea prin toate opțiunile posibile până în momentul în care se găsește un model (schema dorită) sau până când apare „iluminarea”, care va ajuta la rezolvarea problemei pentru care a fost totul. a început.

Spre deosebire de lumea familiară a obiectelor și calculelor, datele sunt primite într-o formă nestructurată, adică este dificil să le punem în tabelele cu celule și coloane care ne sunt familiare, oamenii. O cantitate imensă de date este transmisă sub formă de imagini sau videoclipuri: de la imagini din satelit la selfie-uri pe care le postați pe Instagram sau Facebook, la fel ca e-mailurile și intrările de mesagerie instant sau apelurile telefonice.

Pentru a da un sens practic acestui flux nesfârșit și variat de date, Big Data utilizează adesea cele mai avansate tehnologii de analiză, care includ inteligența artificială și învățarea automată (aici un program dintr-un computer antrenează alte programe).

Calculatoarele însuși învață să determine ce reprezintă informațiile - de exemplu, recunoașterea imaginilor, limbajului - și o pot face mult mai rapid decât oamenii.

Frate mai mare?

Pe măsura oportunităților fără precedent pe care Big Data ni le oferă astăzi, numărul de preocupări și întrebări asociate cu utilizarea lor este în creștere.

INTENSITATEA DATELOR PERSONALE. Big Data colectează o cantitate imensă de informații despre viața noastră privată. Există o mulțime de informații pe care am prefera să le păstrăm secrete.

SIGURANȚĂ. Chiar dacă decidem că nu este nimic greșit în a transfera toate datele noastre personale pe o mașină pentru un anumit scop care ne avantajează, putem fi siguri că datele noastre sunt stocate într-un loc sigur?
Cine și cum ne poate garanta acest lucru?

DISCRIMINARE. Când totul este cunoscut, este acceptabil să discriminăm oamenii pe baza a ceea ce se știe despre ei datorită Big Data? Băncile vă folosesc istoricul de credit, iar companiile de asigurări determină costul asigurării auto pe baza a ceea ce știu despre dumneavoastră. Cât de departe poate merge asta?

Se poate presupune că, pentru a minimiza riscurile, companiile, agențiile guvernamentale și chiar persoanele fizice vor folosi ceea ce pot afla despre noi și, din anumite motive, ne vor limita accesul la resurse și informații.

Pentru toate beneficiile, trebuie să recunoaștem că toate aceste preocupări sunt, de asemenea, o parte integrantă a Big Data. Până de curând, oamenii de știință s-au nedumerit cu privire la răspunsuri, dar acum a sosit momentul în care valul a ajuns la companiile care doresc să folosească beneficiile Big Data în propriile scopuri. Și acest lucru poate fi plin de consecințe catastrofale.

Big data (sau Big Data) este un set de metode de lucru cu volume uriașe de informații structurate sau nestructurate. Specialiștii în big data le procesează și analizează pentru a obține rezultate vizuale, perceptibile de om. Look At Me a discutat cu profesioniști și a aflat care este situația cu procesarea datelor mari în Rusia, unde și ce este cel mai bine de studiat pentru cei care doresc să lucreze în acest domeniu.

Alexey Ryvkin despre principalele tendințe în domeniul big data, comunicarea cu clienții și lumea numerelor

Am studiat la Institutul de Tehnologie Electronică din Moscova. Principalul lucru pe care am reușit să-l iau de acolo au fost cunoștințele fundamentale în fizică și matematică. Concomitent cu studiile, am lucrat la centrul de cercetare și dezvoltare, unde am fost implicat în dezvoltarea și implementarea algoritmilor de codare rezistenți la zgomot pentru transmiterea securizată a datelor. După ce am terminat licența, am intrat la programul de master în informatică de afaceri la Școala Superioară de Științe Economice. După aceea am vrut să lucrez la IBS. Am avut noroc că la vremea aceea, datorită unui număr mare de proiecte, a existat o recrutare suplimentară de stagiari, iar după mai multe interviuri am început să lucrez la IBS, una dintre cele mai mari companii rusești în acest domeniu. În trei ani, am trecut de la stagiar la arhitect de soluții pentru întreprinderi. În prezent, dezvolt expertiză în tehnologiile Big Data pentru companii clienți din sectorul financiar și al telecomunicațiilor.

Există două specializări principale pentru persoanele care doresc să lucreze cu big data: analiștii și consultanții IT care creează tehnologii pentru a lucra cu big data. În plus, putem vorbi și despre profesia de Big Data Analyst, adică oameni care lucrează direct cu date, cu platforma IT a clientului. Anterior, aceștia erau analiști matematici obișnuiți care cunoșteau statistică și matematică și foloseau software statistic pentru a rezolva problemele de analiză a datelor. Astăzi, pe lângă cunoștințele de statistică și matematică, este necesară și înțelegerea tehnologiei și a ciclului de viață al datelor. Aceasta, după părerea mea, este diferența dintre analiștii de date moderni și acei analiști care au venit înainte.

Specializarea mea este consultanta IT, adica vin si ofer clientilor modalitati de rezolvare a problemelor de business folosind tehnologii IT. La consultanță vin persoane cu experiențe diferite, dar cele mai importante calități pentru această profesie sunt capacitatea de a înțelege nevoile clientului, dorința de a ajuta oamenii și organizațiile, bunele abilități de comunicare și echipă (din moment ce se lucrează mereu cu clientul și într-o echipă), bune abilități analitice. Motivația internă este foarte importantă: lucrăm într-un mediu competitiv, iar clientul așteaptă soluții neobișnuite și interes pentru muncă.

Cea mai mare parte a timpului meu o petrec comunicând cu clienții, formalizându-le nevoile de afaceri și ajutându-i să dezvolte cea mai potrivită arhitectură tehnologică. Criteriile de selecție aici au propria lor particularitate: pe lângă funcționalitate și TCO (costul total de proprietate), cerințele nefuncționale pentru sistem sunt foarte importante, cel mai adesea acestea sunt timpul de răspuns și timpul de procesare a informațiilor. Pentru a convinge clientul, folosim adesea o abordare a dovadă a conceptului - oferim să „testăm” tehnologia gratuit pe o anumită sarcină, pe un set restrâns de date, pentru a ne asigura că tehnologia funcționează. Soluția ar trebui să creeze un avantaj competitiv pentru client prin obținerea de beneficii suplimentare (de exemplu, vânzări x, vânzări încrucișate) sau să rezolve un fel de problemă de afaceri, să zicem, să reducă nivelul ridicat de fraudă a creditelor.

Ar fi mult mai ușor dacă clienții ar veni cu o sarcină gata făcută, dar până acum nu înțeleg că a apărut o tehnologie revoluționară care poate schimba piața în câțiva ani

Cu ce ​​probleme te confrunți? Piața nu este încă pregătită să folosească tehnologiile de date mari. Ar fi mult mai ușor dacă clienții ar veni cu o sarcină gata făcută, dar până acum nu înțeleg că a apărut o tehnologie revoluționară care poate schimba piața în câțiva ani. Acesta este motivul pentru care lucrăm în esență în modul de pornire - nu vindem doar tehnologii, ci de fiecare dată convingem clienții că trebuie să investească în aceste soluții. Aceasta este poziția vizionarilor - le arătăm clienților cum își pot schimba afacerea folosind date și IT. Creăm această nouă piață - piața de consultanță IT comercială în domeniul Big Data.

Dacă o persoană dorește să se angajeze în analiza datelor sau consultanță IT în domeniul Big Data, atunci primul lucru important este o educație matematică sau tehnică cu o bună pregătire matematică. De asemenea, este util să stăpânești tehnologii specifice, de exemplu SAS, Hadoop, limbajul R sau soluții IBM. În plus, trebuie să fiți interesat în mod activ de aplicațiile pentru Big Data - de exemplu, cum pot fi utilizate pentru a îmbunătăți scorul de credit într-o bancă sau managementul ciclului de viață al clienților. Aceasta și alte cunoștințe pot fi obținute din surse disponibile: de exemplu, Coursera și Big Data University. Există, de asemenea, Customer Analytics Initiative de la Universitatea Wharton din Pennsylvania, unde au fost publicate o mulțime de materiale interesante.

O problemă majoră pentru cei care doresc să lucreze în domeniul nostru este lipsa clară de informații despre Big Data. Nu poți să mergi la o librărie sau un site web și să obții, de exemplu, o colecție cuprinzătoare de cazuri despre toate aplicațiile tehnologiilor Big Data în bănci. Nu există astfel de directoare. O parte din informații se află în cărți, altele sunt culese la conferințe, iar altele trebuie să-ți dai seama singur.

O altă problemă este că analiștii se simt confortabil în lumea numerelor, dar nu sunt întotdeauna confortabili în afaceri. Acești oameni sunt adesea introvertiți și au dificultăți în comunicare, ceea ce le face dificil să comunice concluziile cercetării în mod convingător clienților. Pentru a dezvolta aceste abilități, aș recomanda cărți precum Principiul piramidei, Vorbiți limbajul diagramelor. Ele ajută la dezvoltarea abilităților de prezentare și la exprimarea concis și clar a gândurilor.

Participarea la diverse campionate de caz în timp ce studiam la Școala Superioară de Economie a Universității Naționale de Cercetare m-a ajutat foarte mult. Campionatele de caz sunt competiții intelectuale pentru studenți în care trebuie să studieze problemele de afaceri și să le propună soluții. Există două tipuri: campionate de caz ale firmelor de consultanță, de exemplu, McKinsey, BCG, Accenture, precum și campionate de caz independente, cum ar fi Changellenge. În timpul participării la acestea, am învățat să văd și să rezolv probleme complexe - de la identificarea unei probleme și structurarea acesteia până la apărarea recomandărilor pentru soluționarea acesteia.

Oleg Mikhalsky despre piața rusă și specificul creării unui nou produs în domeniul big data

Înainte de a mă alătura Acronis, eram deja implicat în lansarea de noi produse pe piață la alte companii. Este întotdeauna interesant și provocator în același timp, așa că am fost imediat interesat de oportunitatea de a lucra la servicii cloud și soluții de stocare a datelor. Toată experiența mea anterioară în industria IT, inclusiv propriul meu proiect de pornire I-accelerator, a fost utilă în acest domeniu. A ajutat, de asemenea, să ai o educație în afaceri (MBA) pe lângă o diplomă de bază de inginerie.

În Rusia, marile companii - bănci, operatori de telefonie mobilă etc. - au nevoie de analiză de big data, așa că la noi există perspective pentru cei care vor să lucreze în acest domeniu. Adevărat, multe proiecte acum sunt proiecte de integrare, adică realizate pe baza dezvoltărilor străine sau a tehnologiilor open source. În astfel de proiecte, nu sunt create abordări și tehnologii fundamental noi, ci mai degrabă sunt adaptate dezvoltările existente. La Acronis, am luat-o pe o altă cale și, după ce am analizat alternativele disponibile, am decis să investim în propria noastră dezvoltare, rezultând un sistem de stocare fiabil pentru big data, care nu este inferior ca cost, de exemplu, Amazon S3, dar funcționează fiabil. și eficient și la o scară semnificativ mai mică. Companiile mari de internet au, de asemenea, propriile evoluții în ceea ce privește datele mari, dar se concentrează mai mult pe nevoile interne decât pe nevoile clienților externi.

Este important să înțelegem tendințele și forțele economice care influențează domeniul big data. Pentru a face acest lucru, trebuie să citiți mult, să ascultați discursurile experților autorizați din industria IT și să participați la conferințe tematice. Acum aproape fiecare conferință are o secțiune despre Big Data, dar toți vorbesc despre asta dintr-un unghi diferit: din punct de vedere al tehnologiei, al afacerii sau al marketingului. Puteți merge pentru lucru pe proiect sau pentru un stagiu la o companie care conduce deja proiecte pe acest subiect. Dacă ești încrezător în abilitățile tale, atunci nu este prea târziu să organizezi un startup în domeniul Big Data.

Fără contact constant cu piața noua dezvoltare riscă să fie nerevendicată

Adevărat, atunci când sunteți responsabil pentru un produs nou, se petrece mult timp analizei pieței și comunicării cu potențiali clienți, parteneri și analiști profesioniști care știu multe despre clienți și nevoile acestora. Fără contact constant cu piața, o nouă dezvoltare riscă să fie nerevendicată. Există întotdeauna o mulțime de incertitudini: trebuie să vă dați seama cine vor fi primii care vor adopta, ce aveți de oferit și cum să atrageți apoi un public în masă. A doua cea mai importantă sarcină este de a formula și transmite dezvoltatorilor o viziune clară și holistică asupra produsului final pentru a-i motiva să lucreze în astfel de condiții când unele cerințe se mai pot schimba, iar prioritățile depind de feedback-ul venit de la primii clienți. Prin urmare, o sarcină importantă este gestionarea așteptărilor clienților, pe de o parte, și dezvoltatorilor, pe de altă parte. Pentru ca nici unul, nici celălalt să nu-și piardă interesul și să ducă proiectul la final. După primul proiect de succes, devine mai ușor și principala provocare va fi găsirea modelului de creștere potrivit pentru noua afacere.

În mediul de limbă rusă este folosit ca termen Date mare, și conceptul de „date mari”. Termenul „big data” este o copie carbon a termenului englezesc. Big data nu are o definiție strictă. Este imposibil să tragi o linie clară - este 10 terabytes sau 10 megaocteți? Numele în sine este foarte subiectiv. Cuvântul „mare” este ca „unu, doi, mulți” printre triburile primitive.

Cu toate acestea, există o opinie stabilită că Big Data este un set de tehnologii care sunt concepute pentru a efectua trei operațiuni. În primul rând, procesați volume mai mari de date în comparație cu scenariile „standard”. În al doilea rând, să puteți lucra cu date care ajung rapid în volume foarte mari. Adică nu există doar o mulțime de date, dar acestea devin din ce în ce mai multe. În al treilea rând, trebuie să poată lucra cu date structurate și prost structurate în paralel, în diferite aspecte. Big Data presupune că algoritmii primesc un flux de informații care nu este întotdeauna structurat și că din acesta pot fi extrase mai multe idei.

Un exemplu tipic de date mari este informațiile care provin de la diferite facilități experimentale fizice - de exemplu, cu, care produce o cantitate imensă de date și o face în mod constant. Instalația produce continuu volume mari de date, iar oamenii de știință o folosesc pentru a rezolva multe probleme în paralel.

Apariția big data în spațiul public s-a datorat faptului că aceste date au afectat aproape toți oamenii, și nu doar comunitatea științifică, unde astfel de probleme au fost rezolvate de mult timp. În sfera publică a tehnologiei Date mare a apărut când am început să vorbim despre un număr foarte specific - numărul de locuitori ai planetei. 7 miliarde strânse pe rețelele de socializare și alte proiecte care agregă oameni. YouTube, Facebook, In contact cu, unde numărul de oameni se măsoară în miliarde, iar numărul de tranzacții pe care le efectuează simultan este enorm. Fluxul de date în acest caz este acțiunile utilizatorului. De exemplu, date de la aceeași găzduire YouTube, care curg prin rețea în ambele sensuri. Procesarea înseamnă nu numai interpretare, ci și capacitatea de a procesa corect fiecare dintre aceste acțiuni, adică de a o pune la locul potrivit și de a pune aceste date la dispoziția fiecărui utilizator rapid, deoarece rețelele de socializare nu tolerează așteptarea.

Mare parte din ceea ce privește datele mari, abordările care sunt folosite pentru a le analiza, există de fapt de ceva timp. De exemplu, prelucrarea imaginilor de la camerele de supraveghere, când nu vorbim de o singură imagine, ci de un flux de date. Sau robot de navigare. Toate acestea există de zeci de ani, dar acum sarcinile de prelucrare a datelor au afectat un număr mult mai mare de oameni și idei.

Mulți dezvoltatori sunt obișnuiți să lucreze cu obiecte statice și să gândească în termeni de stări. În big data paradigma este diferită. Trebuie să fii capabil să lucrezi cu un flux constant de date, iar aceasta este o sarcină interesantă. Afectează din ce în ce mai multe zone.

În viețile noastre, tot mai multe hardware și software încep să genereze cantități mari de date - de exemplu, Internetul lucrurilor.

Lucrurile generează deja fluxuri uriașe de informații. Sistemul de poliție Potok trimite informații de la toate camerele și vă permite să găsiți mașini folosind aceste date. Brățările de fitness, trackerele GPS și alte lucruri care servesc nevoilor persoanelor și companiilor devin din ce în ce mai la modă.

Departamentul de Informatizare din Moscova recrutează un număr mare de analiști de date, deoarece se acumulează multe statistici despre oameni și sunt multi-criteriale (adică s-au colectat statistici pe un număr foarte mare de criterii despre fiecare persoană, despre fiecare grup de oameni). Trebuie să găsiți modele și tendințe în aceste date. Pentru astfel de sarcini sunt necesari matematicieni cu studii IT. Pentru că în cele din urmă datele sunt stocate în SGBD-uri structurate și trebuie să le puteți accesa și să obțineți informații.

Anterior, nu consideram marile date ca fiind o problemă din simplul motiv că nu existau unde să le stocăm și nu existau rețele care să le transmită. Când au apărut aceste oportunități, datele au umplut imediat întregul volum care le-a fost oferit. Dar oricât de multă lățime de bandă și capacitatea de stocare a datelor vor fi extinse, vor exista întotdeauna surse, de exemplu, experimente fizice, experimente de modelare a raționalizării unei aripi, care vor produce mai multe informații decât putem transmite noi. Conform legii lui Moore, performanța sistemelor moderne de calcul paralel crește constant, iar vitezele rețelelor de transmisie a datelor sunt, de asemenea, în creștere. Cu toate acestea, datele trebuie să poată fi stocate și recuperate rapid de pe mediile de stocare (hard disk și alte tipuri de memorie), iar aceasta este o altă provocare în procesarea datelor mari.

Termenul „Big Data” poate fi recunoscut astăzi, dar există încă destulă confuzie în jurul lui cu privire la ceea ce înseamnă de fapt. Într-adevăr, conceptul evoluează constant și este redefinit, deoarece rămâne forța motrice din spatele multor valuri de transformare digitală în curs, inclusiv inteligența artificială, știința datelor și Internetul obiectelor. Dar ce este tehnologia Big-Data și cum ne schimbă lumea? Să încercăm să înțelegem esența tehnologiei Big Data și ce înseamnă aceasta în cuvinte simple.

Creșterea uimitoare a Big Data

Totul a început cu o explozie a cantității de date pe care le-am creat încă de la începutul erei digitale. Acest lucru se datorează în mare parte dezvoltării computerelor, internetului și tehnologiilor care pot „smulge” date din lumea din jurul nostru. Datele în sine nu sunt o invenție nouă. Chiar înainte de era computerelor și bazelor de date, am folosit înregistrări ale tranzacțiilor pe hârtie, înregistrări ale clienților și fișiere de arhivă care constituie date. Calculatoarele, în special foile de calcul și bazele de date, ne-au facilitat stocarea și organizarea datelor la scară largă. Dintr-o dată, informațiile au fost disponibile cu un singur clic.

Cu toate acestea, am parcurs un drum lung de la tabelele și bazele de date originale. Astăzi, la fiecare două zile creăm atâtea date câte am primit de la început până în anul 2000. Așa e, la fiecare două zile. Iar cantitatea de date pe care o creăm continuă să crească exponențial; până în 2020, cantitatea de informații digitale disponibile va crește de la aproximativ 5 zettabytes la 20 zettabytes.

În zilele noastre, aproape fiecare acțiune pe care o întreprindem își lasă amprenta. Generăm date de fiecare dată când intrăm online, când purtăm smartphone-urile noastre echipate cu un motor de căutare, când vorbim cu prietenii noștri prin rețelele de socializare sau chat-uri etc. În plus, și cantitatea de date generate de mașini crește rapid. Datele sunt generate și partajate atunci când dispozitivele noastre inteligente de acasă comunică între ele sau cu serverele lor de acasă. Echipamentele industriale din fabrici și fabrici sunt din ce în ce mai dotate cu senzori care acumulează și transmit date.

Termenul „Big-Data” se referă la colectarea tuturor acestor date și la capacitatea noastră de a le folosi în avantajul nostru într-o gamă largă de domenii, inclusiv în afaceri.

Cum funcționează tehnologia Big-Data?

Big Data funcționează pe principiul: cu cât cunoașteți mai multe despre un anumit subiect sau fenomen, cu atât mai fiabil puteți obține o nouă înțelegere și puteți prezice ce se va întâmpla în viitor. Pe măsură ce comparăm mai multe puncte de date, apar relații care erau ascunse anterior, iar aceste relații ne permit să învățăm și să luăm decizii mai bune. Cel mai adesea, acest lucru se face printr-un proces care implică construirea de modele bazate pe datele pe care le putem colecta și apoi rularea de simulări care modifică de fiecare dată valorile punctelor de date și urmăresc modul în care acestea ne afectează rezultatele. Acest proces este automatizat – tehnologia modernă de analiză va rula milioane de aceste simulări, modificând fiecare variabilă posibilă până când vor găsi un model – sau o idee – care ajută la rezolvarea problemei la care lucrează.

Până de curând, datele erau limitate la foi de calcul sau baze de date - și totul era foarte organizat și îngrijit. Orice lucru care nu putea fi ușor organizat în rânduri și coloane a fost considerat prea complex pentru a fi lucrat și a fost ignorat. Cu toate acestea, progresele în stocare și analiză înseamnă că putem captura, stoca și procesa cantități mari de diferite tipuri de date. Ca rezultat, „date” astăzi poate însemna orice, de la baze de date la fotografii, videoclipuri, înregistrări audio, texte scrise și date senzorilor.

Pentru a înțelege toate aceste date dezordonate, proiectele bazate pe Big Data folosesc adesea analize de ultimă oră, folosind inteligența artificială și învățarea pe computer. Învățând mașinile de calcul să determine ce date specifice sunt – prin recunoașterea modelelor sau procesarea limbajului natural, de exemplu – le putem învăța să identifice tipare mult mai rapid și mai fiabil decât putem noi înșine.

Cum se utilizează Big Data?

Acest flux din ce în ce mai mare de date senzorilor, text, voce, date foto și video înseamnă că acum putem folosi datele în moduri care ar fi fost de neimaginat cu doar câțiva ani în urmă. Acest lucru aduce schimbări revoluționare în lumea afacerilor în aproape fiecare industrie. Astăzi, companiile pot prezice cu o acuratețe incredibilă ce categorii specifice de clienți vor dori să facă o achiziție și când. Big Data ajută, de asemenea, companiile să-și desfășoare activitățile mult mai eficient.

Chiar și în afara afacerilor, proiectele legate de Big Data ajută deja la schimbarea lumii noastre în diferite moduri:

• Îmbunătățirea asistenței medicale – Medicina bazată pe date are capacitatea de a analiza cantități mari de informații și imagini medicale în modele care pot ajuta la detectarea bolii într-un stadiu incipient și la dezvoltarea de noi medicamente.
• Prezicerea și răspunsul la dezastrele naturale și provocate de om. Datele senzorilor pot fi analizate pentru a prezice unde pot avea loc cutremure, iar modelele de comportament uman oferă indicii care ajută organizațiile să ofere asistență supraviețuitorilor. Tehnologia Big Data este, de asemenea, utilizată pentru a urmări și proteja fluxul de refugiați din zonele de război din întreaga lume.
• Prevenirea criminalității. Forțele de poliție folosesc din ce în ce mai mult strategii bazate pe date care încorporează propriile informații de informații și informații disponibile public pentru a utiliza resursele mai eficient și pentru a lua măsuri de descurajare acolo unde este necesar.

Cele mai bune cărți despre tehnologia Big-Data

• Toată lumea minte. Motoarele de căutare, Big Data și Internetul știu totul despre tine.
• DATE MARE. Toată tehnologia într-o singură carte.
• Industria fericirii. Cum Big Data și noile tehnologii contribuie la adăugarea de emoție produselor și serviciilor.
• Revoluție în analiză. Cum să-ți îmbunătățești afacerea în era Big Data folosind analiza operațională.

Probleme cu Big Data

Big Data ne oferă idei și oportunități fără precedent, dar ridică și probleme și întrebări care trebuie abordate:

• Confidențialitatea datelor – Big Data pe care le generăm astăzi conține o mulțime de informații despre viața noastră personală, la care avem tot dreptul la confidențialitate. Din ce în ce mai mult, ni se cere să echilibrăm cantitatea de date personale pe care o dezvăluim cu comoditatea oferită de aplicațiile și serviciile bazate pe Big Data.
• Securitatea datelor - Chiar dacă decidem că suntem mulțumiți de faptul că cineva are datele noastre pentru un anumit scop, putem avea încredere în ei pentru a ne păstra datele în siguranță?
• Discriminarea datelor - odată ce toate informațiile sunt cunoscute, va fi acceptabilă discriminarea persoanelor pe baza datelor din viața lor personală? Folosim deja scorurile de credit pentru a decide cine poate împrumuta bani, iar asigurările sunt, de asemenea, bazate în mare măsură pe date. Ar trebui să ne așteptăm să fim analizați și evaluați mai detaliat, dar trebuie să avem grijă să ne asigurăm că acest lucru nu îngreunează viața celor cu mai puține resurse și cu acces limitat la informații.

Efectuarea acestor sarcini este o componentă importantă a Big Data și trebuie abordată de organizațiile care doresc să utilizeze astfel de date. Nerespectarea acestui lucru poate lăsa o afacere vulnerabilă, nu numai din punct de vedere al reputației sale, ci și din punct de vedere juridic și financiar.

Privind spre viitor

Datele ne schimbă lumea și viețile într-un ritm fără precedent. Dacă Big Data este capabil de toate acestea astăzi, imaginați-vă de ce va fi capabil mâine. Cantitatea de date disponibile pentru noi nu va face decât să crească, iar tehnologia de analiză va deveni și mai avansată.

Pentru companii, capacitatea de a aplica Big Data va deveni din ce în ce mai critică în următorii ani. Numai acele companii care privesc datele ca pe un activ strategic vor supraviețui și vor prospera. Cei care ignoră această revoluție riscă să rămână în urmă.