Çfarë janë sistemet e të dhënave të mëdha. Çfarë është Big Data: karakteristikat, klasifikimi, shembuj

Të dhëna të mëdha– anglisht "të dhëna të mëdha". Termi u shfaq si një alternativë për DBMS dhe u bë një nga tendencat kryesore në infrastrukturën e TI-së kur shumica e gjigantëve të industrisë - IBM, Microsoft, HP, Oracle dhe të tjerët filluan të përdorin këtë koncept në strategjitë e tyre. Big Data i referohet një grupi të madh (qindra terabajt) të dhënash që nuk mund të përpunohen duke përdorur metoda tradicionale; ndonjëherë – mjetet dhe metodat për përpunimin e këtyre të dhënave.

Shembuj të burimeve të të dhënave të mëdha: ngjarjet RFID, mesazhet në rrjetet sociale, statistikat meteorologjike, informacione për vendndodhjen e pajtimtarëve të rrjeteve celulare celulare dhe të dhëna nga pajisjet e regjistrimit audio/video. Prandaj, "të dhënat e mëdha" përdoren gjerësisht në prodhim, kujdes shëndetësor, administratë qeveritare dhe biznes në internet - në veçanti, kur analizohet audienca e synuar.

Karakteristike

Shenjat e të dhënave të mëdha përcaktohen si “tre Vs”: Vëllimi – vëllimi (me të vërtetë i madh); shumëllojshmëri – heterogjenitet, grup; shpejtësia – shpejtësia (nevoja për përpunim shumë të shpejtë).

Të dhënat e mëdha janë më shpesh të pastrukturuara dhe nevojiten algoritme speciale për t'i përpunuar ato. Metodat e analizës së të dhënave të mëdha përfshijnë:

• ("shfrytëzimi i të dhënave") - një grup qasjesh për zbulimin e njohurive të dobishme të fshehura që nuk mund të merren me metoda standarde;
• Crowdsourcing (turma - "turma", burim - përdorimi si burim) - zgjidhja e problemeve të rëndësishme përmes përpjekjeve të përbashkëta të vullnetarëve që nuk janë në një kontratë pune ose marrëdhënie të detyrueshme, duke koordinuar aktivitetet duke përdorur mjetet e TI-së;
• Fusion & Integrimi i të Dhënave (“përzierja dhe zbatimi i të dhënave”) – një grup metodash për lidhjen e burimeve të shumta si pjesë e një analize të thelluar;
• Mësimi i makinerisë (“mësimi i makinerisë”) është një nënseksion i kërkimit të inteligjencës artificiale që studion metodat e përdorimit të analizave statistikore dhe bërjes së parashikimeve bazuar në modelet bazë;
• njohja e imazhit (për shembull, njohja e fytyrave në pamjen e një kamere ose videokamere);
• analiza hapësinore - duke përdorur topologjinë, gjeometrinë dhe gjeografinë për të ndërtuar të dhëna;
• vizualizimi i të dhënave - prodhimi i informacionit analitik në formën e ilustrimeve dhe diagrameve duke përdorur mjete ndërvepruese dhe animacion për të gjurmuar rezultatet dhe për të ndërtuar bazat për monitorim të mëtejshëm.

Informacioni ruhet dhe analizohet në një numër të madh serverësh me performancë të lartë. Teknologjia kryesore është Hadoop, e cila është me burim të hapur.

Meqenëse sasia e informacionit do të rritet vetëm me kalimin e kohës, vështirësia nuk është në marrjen e të dhënave, por në mënyrën se si t'i përpunojmë ato me përfitim maksimal. Në përgjithësi, procesi i punës me Big Data përfshin: mbledhjen e informacionit, strukturimin e tij, krijimin e njohurive dhe konteksteve, zhvillimin e rekomandimeve për veprim. Edhe para fazës së parë, është e rëndësishme të përcaktohet qartë qëllimi i punës: për çfarë saktësisht të dhënat nevojiten, për shembull, për të përcaktuar audiencën e synuar të produktit. Përndryshe, ekziston rreziku për të marrë shumë informacione pa kuptuar se si saktësisht mund të përdoret.

Ne hasim rregullisht fjalë dhe përkufizime në modë, kuptimi i të cilave na duket intuitiv, por nuk kemi një pasqyrë të qartë se çfarë është kjo gjë dhe si funksionon.

Një nga këto koncepte është Big Data; në Rusisht ndonjëherë mund të gjesh një përkthim fjalë për fjalë - "të dhëna të mëdha", por më shpesh njerëzit thonë dhe shkruajnë ashtu siç janë: Big Data. Të gjithë ndoshta e kanë dëgjuar ose të paktën e kanë hasur këtë frazë në internet, dhe duket e thjeshtë, por çfarë saktësisht nënkuptohet nuk është gjithmonë e qartë për humanistët e zyrës që janë larg ndërlikimeve të botës dixhitale.

Një përpjekje e shkëlqyer për të mbushur këtë boshllëk në trurin e një game të gjerë përdoruesish është një artikull i një prej autorëve tanë të preferuar Bernard Marr, i cili quhet “Çfarë është Big Data? Shpjegim super i thjeshtë për të gjithë". Pa zhargon abstrues me qëllimin e vetëm për t'i shpjeguar të gjithëve idetë kyçe të këtij fenomeni, pavarësisht arsimit dhe fushës së veprimtarisë.

Në fakt, vitet e fundit ne kemi jetuar në një botë të përshkuar plotësisht nga Big Data, por vazhdojmë të jemi të hutuar për të kuptuar se çfarë është në të vërtetë. Kjo është pjesërisht sepse vetë koncepti i Big Data është duke u transformuar dhe rimenduar vazhdimisht, sepse bota e teknologjisë së lartë dhe përpunimi i sasive të mëdha të informacionit po ndryshon shumë shpejt, duke përfshirë gjithnjë e më shumë opsione të reja. Dhe vëllimi i këtij informacioni po rritet vazhdimisht.

Pra, çfarë do të thotë Big Data 2017?

Gjithçka filloi me shpërthimin e sasisë së të dhënave që ne krijojmë që nga fillimi i epokës dixhitale. Kjo është bërë e mundur kryesisht nga rritja e numrit dhe fuqisë së kompjuterëve, zgjerimi i internetit dhe zhvillimi i teknologjive që mund të kapin informacione nga bota reale fizike në të cilën jetojmë të gjithë dhe ta shndërrojnë atë në të dhëna dixhitale.

Në vitin 2017, ne prodhojmë të dhëna kur shkojmë në internet, kur përdorim telefonat inteligjentë të pajisur me GPS, kur komunikojmë me miqtë në rrjetet sociale, kur shkarkojmë aplikacione celulare ose muzikë, kur bëjmë blerje.

Mund të themi se lëmë pas vetes shumë gjurmë dixhitale, pavarësisht se çfarë bëjmë, për sa kohë që veprimet tona përfshijnë çdo transaksion dixhital. Kjo është, pothuajse gjithmonë dhe kudo.

Për më tepër, sasia e të dhënave të gjeneruara nga vetë makinat po rritet me një ritëm të jashtëzakonshëm. Të dhënat krijohen dhe transferohen kur pajisjet tona inteligjente komunikojnë me njëra-tjetrën. Fabrikat e prodhimit në mbarë botën janë të pajisura me pajisje që mbledhin dhe transmetojnë të dhëna ditën dhe natën.

Në të ardhmen e afërt, rrugët tona do të mbushen me makina vetë-drejtuese, duke hartuar rrugët e tyre bazuar në hartat 4D të krijuara në kohë reale.

Çfarë mund të bëjnë Big Data?

Një rrjedhë pafund në rritje e informacionit ndijor, fotove, mesazheve me tekst, të dhënave audio dhe video është baza e të dhënave të mëdha, të cilat ne mund t'i përdorim në mënyra që ishin të paimagjinueshme vetëm disa vite më parë.

Tani për tani, projektet e bazuara në të dhëna të mëdha ndihmojnë:

- Trajtoni sëmundjet dhe parandaloni kancerin. Mjekësia e bazuar në të dhëna të mëdha analizon sasi të mëdha të të dhënave dhe imazheve mjekësore, gjë që bën të mundur diagnostikimin shumë të hershëm dhe kontribuon në krijimin e metodave të reja të trajtimit.

- Luftoni urinë. Bujqësia po përjeton një revolucion të vërtetë Big Data, i cili bën të mundur përdorimin e burimeve në mënyrë të tillë që të maksimizojë rendimentet me ndërhyrje minimale në ekosistem dhe të optimizojë përdorimin e makinerive dhe pajisjeve.

- Zbuloni planetët e largët. NASA, për shembull, analizon sasi të mëdha të dhënash dhe i përdor ato për të ndërtuar modele të misioneve të ardhshme në botët e largëta.

- Parashikoni emergjencat të natyrave të ndryshme dhe për të minimizuar dëmet e mundshme. Të dhënat nga sensorë të shumtë mund të parashikojnë se ku dhe kur do të ndodhë tërmeti i radhës ose sjellja e mundshme e njerëzve në rast emergjence, duke rritur shanset për mbijetesë.

- Parandalimi i krimeve nëpërmjet përdorimit të teknologjisë që lejon që burimet të shpërndahen në mënyrë më efikase dhe të drejtohen atje ku janë më të nevojshme.

Dhe çfarë është më afër për shumicën prej nesh: Big Data e bën jetën e një personi të zakonshëm më të lehtë dhe më të përshtatshëm - kjo përfshin blerjet në internet, planifikimin e udhëtimeve dhe navigimin në një metropol.

Zgjedhja e kohës më të mirë për të blerë bileta ajrore dhe vendosja e filmit apo serialit televiziv për të parë është bërë shumë më e lehtë falë punës së Big Data.

Si punon?

Big Data funksionon mbi parimin që sa më shumë të dini për diçka, aq më saktë mund të parashikoni se çfarë do të ndodhë në të ardhmen. Krahasimi i të dhënave individuale dhe marrëdhënieve midis tyre (po flasim për një sasi të madhe të dhënash dhe një numër tepër të madh lidhjesh të mundshme midis tyre) na lejon të zbulojmë modele të fshehura më parë. Kjo bën të mundur që të shikojmë brenda problemit dhe në fund të kuptojmë se si mund të menaxhojmë një proces të caktuar.

Më shpesh, procesi i përpunimit të sasive të mëdha të informacionit përfshin ndërtimin e modeleve të bazuara në të dhënat e mbledhura dhe simulimet e ekzekutimit, gjatë të cilave cilësimet kryesore ndryshohen vazhdimisht, ndërsa çdo herë sistemi monitoron se si "ndryshimi i cilësimeve" ndikon në rezultatin e mundshëm.

Ky proces është plotësisht i automatizuar, sepse ne po flasim për analizimin e miliona simulimeve, kërkimin nëpër të gjitha opsionet e mundshme deri në momentin kur gjendet një model (skema e dëshiruar) ose derisa të ndodhë "iluminimi", i cili do të ndihmojë në zgjidhjen e problemit për të cilin ishte gjithçka. filloi.

Ndryshe nga bota e njohur e objekteve dhe llogaritjeve, të dhënat merren në një formë të pastrukturuar, domethënë është e vështirë t'i vendosni ato në tabela me qeliza dhe kolona që janë të njohura për ne, njerëzit. Një sasi e madhe e të dhënave transmetohet si imazhe ose video: nga imazhet satelitore te selfiet që postoni në Instagram ose Facebook, ashtu si hyrjet e postës elektronike dhe mesazhet e çastit ose telefonatat.

Për t'i dhënë kuptim praktik kësaj rryme të pafundme dhe të larmishme të dhënash, Big Data shpesh përdor teknologjitë më të avancuara të analizës, të cilat përfshijnë inteligjencën artificiale dhe mësimin e makinerive (ky është vendi ku një program në një kompjuter trajnon programe të tjera).

Vetë kompjuterët mësojnë të përcaktojnë se çfarë përfaqëson informacioni - për shembull, njohja e imazheve, gjuhës - dhe ata mund ta bëjnë këtë shumë më shpejt se njerëzit.

Big Brother?

Në proporcion me mundësitë e paprecedentë që Big Data na jep sot, numri i shqetësimeve dhe pyetjeve që lidhen me përdorimin e tij po rritet.

INTENSITETI I TË DHËNAVE PERSONALE. Big Data mbledh një sasi të madhe informacioni për jetën tonë private. Ka shumë informacione që ne do të preferonim t'i mbanim sekret.

SIGURIA. Edhe nëse vendosim se nuk ka asgjë të keqe të transferojmë të gjitha të dhënat tona personale në një makinë për ndonjë qëllim specifik që na sjell dobi, a mund të jemi të sigurt që të dhënat tona ruhen në një vend të sigurt?
Kush dhe si mund të na garantojë këtë?

DISKRIMINIM. Kur dihet gjithçka, a është e pranueshme të diskriminohen njerëzit në bazë të asaj që dihet për ta falë Big Data? Bankat përdorin historinë tuaj të kreditit dhe kompanitë e sigurimeve përcaktojnë koston e sigurimit të automjeteve bazuar në atë që dinë për ju. Deri ku mund të shkojë kjo?

Mund të supozohet se për të minimizuar rreziqet, kompanitë, agjencitë qeveritare dhe madje edhe individët do të përdorin atë që mund të mësojnë për ne dhe, për ndonjë arsye, do të kufizojnë aksesin tonë në burime dhe informacion.

Me gjithë përfitimet, duhet të pranojmë se të gjitha këto shqetësime janë gjithashtu pjesë përbërëse e Big Data. Deri vonë, shkencëtarët ishin në mëdyshje për përgjigjet, por tani ka ardhur koha kur vala ka arritur tek bizneset që duan të përdorin përfitimet e Big Data për qëllimet e tyre. Dhe kjo mund të jetë e mbushur me pasoja katastrofike.

Big Data (ose Big Data) është një grup metodash për të punuar me vëllime të mëdha informacioni të strukturuar ose të pastrukturuar. Specialistët e të dhënave të mëdha i përpunojnë dhe analizojnë ato për të marrë rezultate vizuale, të perceptueshme nga njeriu. Look At Me bisedoi me profesionistë dhe zbuloi se si është situata me përpunimin e të dhënave të mëdha në Rusi, ku dhe çfarë është më e mira për të studiuar për ata që duan të punojnë në këtë fushë.

Alexey Ryvkin për tendencat kryesore në fushën e të dhënave të mëdha, komunikimin me klientët dhe botën e numrave

Kam studiuar në Institutin e Teknologjisë Elektronike në Moskë. Gjëja kryesore që arrita të heq prej andej ishte njohuritë themelore në fizikë dhe matematikë. Njëkohësisht me studimet kam punuar në qendrën R&D, ku jam përfshirë në zhvillimin dhe zbatimin e algoritmeve koduese rezistente ndaj zhurmës për transmetim të sigurt të të dhënave. Pas përfundimit të studimeve bachelor, hyra në programin master për informatikë biznesi në Shkollën e Lartë Ekonomike. Pas kësaj doja të punoja në IBS. Unë pata fatin që në atë kohë, për shkak të një numri të madh projektesh, pati një rekrutim shtesë të praktikantëve dhe pas disa intervistave fillova të punoj në IBS, një nga kompanitë më të mëdha ruse në këtë fushë. Në tre vjet, nga një praktikant u bëra një arkitekt i zgjidhjeve të ndërmarrjeve. Aktualisht po zhvilloj ekspertizë në teknologjitë e të dhënave të mëdha për kompanitë e klientëve nga sektori financiar dhe i telekomunikacionit.

Ekzistojnë dy specializime kryesore për njerëzit që duan të punojnë me të dhëna të mëdha: analistët dhe konsulentët e IT-së që krijojnë teknologji për të punuar me të dhëna të mëdha. Përveç kësaj, mund të flasim edhe për profesionin e analistit të të dhënave të mëdha, d.m.th. njerëzve që punojnë drejtpërdrejt me të dhënat, me platformën IT të klientit. Më parë, këta ishin analistë të zakonshëm matematikorë që dinin statistika dhe matematikë dhe përdornin softuer statistikor për të zgjidhur problemet e analizës së të dhënave. Sot, përveç njohurive për statistikat dhe matematikën, është gjithashtu i nevojshëm njohja e teknologjisë dhe ciklit jetësor të të dhënave. Ky, për mendimin tim, është ndryshimi midis analistëve modernë të të dhënave dhe atyre analistëve që erdhën më parë.

Specializimi im është konsulenca e IT-së, domethënë, unë krijoj dhe u ofroj klientëve mënyra për të zgjidhur problemet e biznesit duke përdorur teknologjitë e IT. Në konsulencë vijnë njerëz me eksperienca të ndryshme, por cilësitë më të rëndësishme për këtë profesion janë aftësia për të kuptuar nevojat e klientit, dëshira për të ndihmuar njerëzit dhe organizatat, aftësitë e mira komunikuese dhe ekipore (duke qenë se është gjithmonë puna me klientin dhe në ekip), aftësi të mira analitike. Motivimi i brendshëm është shumë i rëndësishëm: ne punojmë në një mjedis konkurrues dhe klienti pret zgjidhje të pazakonta dhe interes për punë.

Pjesa më e madhe e kohës sime shpenzohet duke komunikuar me klientët, duke formalizuar nevojat e tyre të biznesit dhe duke i ndihmuar ata të zhvillojnë arkitekturën më të përshtatshme të teknologjisë. Kriteret e përzgjedhjes këtu kanë veçantinë e tyre: përveç funksionalitetit dhe TCO (Kostoja totale e pronësisë), kërkesat jofunksionale për sistemin janë shumë të rëndësishme, më shpesh këto janë koha e përgjigjes dhe koha e përpunimit të informacionit. Për të bindur klientin, ne shpesh përdorim një qasje të provës së konceptit - ne ofrojmë të "testojmë" teknologjinë falas në ndonjë detyrë, në një grup të ngushtë të dhënash, për t'u siguruar që teknologjia funksionon. Zgjidhja duhet të krijojë një avantazh konkurrues për klientin duke marrë përfitime shtesë (për shembull, x-sell, cross-selling) ose të zgjidhë një lloj problemi biznesi, të themi, të zvogëlojë nivelin e lartë të mashtrimit të kredisë.

Do të ishte shumë më e lehtë nëse klientët do të vinin me një detyrë të gatshme, por deri më tani ata nuk e kuptojnë se është shfaqur një teknologji revolucionare që mund të ndryshojë tregun në dy vjet

Me çfarë problemesh përballeni? Tregu nuk është ende gati për të përdorur teknologjitë e të dhënave të mëdha. Do të ishte shumë më e lehtë nëse klientët do të vinin me një detyrë të gatshme, por deri më tani ata nuk e kuptojnë se është shfaqur një teknologji revolucionare që mund të ndryshojë tregun brenda dy viteve. Kjo është arsyeja pse ne në thelb punojmë në modalitetin e fillimit - ne nuk shesim vetëm teknologji, por çdo herë që i bindim klientët se duhet të investojnë në këto zgjidhje. Ky është pozicioni i vizionarëve - ne u tregojmë klientëve se si ata mund të ndryshojnë biznesin e tyre duke përdorur të dhëna dhe IT. Ne po krijojmë këtë treg të ri - tregun e konsulencës komerciale të IT-së në fushën e Big Data.

Nëse një person dëshiron të angazhohet në analizën e të dhënave ose konsultimin e TI-së në fushën e të dhënave të mëdha, atëherë gjëja e parë që është e rëndësishme është një edukim matematikor ose teknik me trajnim të mirë matematikor. Është gjithashtu e dobishme për të zotëruar teknologji specifike, për shembull SAS, Hadoop, gjuhën R ose zgjidhjet IBM. Përveç kësaj, ju duhet të jeni aktivisht të interesuar për aplikacionet për Big Data - për shembull, si mund të përdoret për vlerësimin e përmirësuar të kredisë në një bankë ose menaxhimin e ciklit jetësor të klientit. Kjo dhe njohuri të tjera mund të merren nga burimet e disponueshme: për shembull, Coursera dhe Big Data University. Ekziston edhe Iniciativa e Analitikës së Konsumatorëve në Universitetin Wharton të Pensilvanisë, ku janë publikuar shumë materiale interesante.

Një problem madhor për ata që duan të punojnë në fushën tonë është mungesa e qartë e informacionit për Big Data. Ju nuk mund të shkoni në një librari ose në ndonjë faqe interneti dhe të merrni, për shembull, një koleksion të plotë të rasteve për të gjitha aplikimet e teknologjive të Big Data në banka. Nuk ka drejtori të tilla. Disa nga informacionet janë në libra, disa janë mbledhur në konferenca dhe disa duhet t'i kuptoni vetë.

Një problem tjetër është se analistët janë rehat në botën e numrave, por nuk janë gjithmonë rehat në biznes. Këta njerëz janë shpesh introvertë dhe kanë vështirësi në komunikim, duke e bërë të vështirë për ta komunikimin bindshëm të gjetjeve të hulumtimit me klientët. Për të zhvilluar këto aftësi, unë do të rekomandoja libra të tillë si Parimi i piramidës, Flisni gjuhën e diagrameve. Ato ndihmojnë në zhvillimin e aftësive të prezantimit dhe shprehin mendimet tuaja në mënyrë koncize dhe të qartë.

Pjesëmarrja në kampionate të ndryshme të rasteve gjatë studimeve në Shkollën e Lartë Ekonomike të Universitetit Kombëtar të Kërkimeve më ndihmoi shumë. Kampionati i rasteve janë gara intelektuale për studentët ku ata duhet të studiojnë problemet e biznesit dhe të propozojnë zgjidhje për to. Ekzistojnë dy lloje: kampionate të rasteve të firmave konsulente, për shembull, McKinsey, BCG, Accenture, si dhe kampionate të pavarura të rasteve si Changellenge. Gjatë pjesëmarrjes në to, mësova të shoh dhe zgjidh probleme komplekse - nga identifikimi i një problemi dhe strukturimi i tij deri te mbrojtja e rekomandimeve për zgjidhjen e tij.

Oleg Mikhalsky për tregun rus dhe specifikat e krijimit të një produkti të ri në fushën e të dhënave të mëdha

Përpara se t'i bashkohesha Acronis-it, unë tashmë isha i përfshirë në lançimin e produkteve të reja në treg në kompani të tjera. Është gjithmonë interesante dhe sfiduese në të njëjtën kohë, kështu që unë u interesova menjëherë për mundësinë për të punuar në shërbimet cloud dhe zgjidhjet e ruajtjes së të dhënave. E gjithë përvoja ime e mëparshme në industrinë e IT-së, duke përfshirë projektin tim fillestar I-accelerator, erdhi në ndihmë në këtë fushë. Edukimi për biznes (MBA) përveç një diplome bazë inxhinierike ndihmoi gjithashtu.

Në Rusi, kompanitë e mëdha - bankat, operatorët celularë, etj. - kanë nevojë për analiza të të dhënave të mëdha, kështu që në vendin tonë ka perspektiva për ata që duan të punojnë në këtë fushë. Vërtetë, shumë projekte tani janë projekte integruese, domethënë të bëra në bazë të zhvillimeve të huaja ose teknologjive me burim të hapur. Në projekte të tilla nuk krijohen qasje dhe teknologji thelbësisht të reja, por përshtaten zhvillimet ekzistuese. Në Acronis, ne morëm një rrugë tjetër dhe, pasi analizuam alternativat e disponueshme, vendosëm të investonim në zhvillimin tonë, duke rezultuar në një sistem të besueshëm ruajtjeje për të dhëna të mëdha që nuk është inferior në kosto ndaj, për shembull, Amazon S3, por funksionon në mënyrë të besueshme. dhe në mënyrë efikase dhe në një shkallë dukshëm më të vogël. Kompanitë e mëdha të internetit gjithashtu kanë zhvillimet e tyre në të dhënat e mëdha, por ato janë më të fokusuara në nevojat e brendshme dhe jo në plotësimin e nevojave të klientëve të jashtëm.

Është e rëndësishme të kuptohen tendencat dhe forcat ekonomike që ndikojnë në fushën e të dhënave të mëdha. Për ta bërë këtë, ju duhet të lexoni shumë, të dëgjoni fjalime nga ekspertë autoritativë në industrinë e IT dhe të merrni pjesë në konferenca tematike. Tani pothuajse çdo konferencë ka një seksion mbi Big Data, por të gjithë flasin për të nga një këndvështrim tjetër: nga pikëpamja teknologjike, biznesi ose marketingu. Ju mund të shkoni për punë në projekt ose një praktikë në një kompani që tashmë po udhëheq projekte në këtë temë. Nëse jeni të sigurt në aftësitë tuaja, atëherë nuk është vonë për të organizuar një startup në fushën e Big Data.

Pa kontakte të vazhdueshme me tregun rreziku i zhvillimit të ri të mos pretendohet

Vërtetë, kur jeni përgjegjës për një produkt të ri, shpenzohet shumë kohë për analizat e tregut dhe komunikimin me klientë, partnerë dhe analistë profesionistë të mundshëm që dinë shumë për klientët dhe nevojat e tyre. Pa kontakt të vazhdueshëm me tregun, një zhvillim i ri rrezikon të mos pretendohet. Gjithmonë ka shumë paqartësi: ju duhet të kuptoni se cilët do të jenë adoptuesit e hershëm, çfarë duhet t'u ofroni atyre dhe si të tërhiqni më pas një audiencë masive. Detyra e dytë më e rëndësishme është të formulojë dhe t'u përcjellë zhvilluesve një vizion të qartë dhe holistik të produktit përfundimtar në mënyrë që t'i motivojë ata të punojnë në kushte të tilla kur disa kërkesa mund të ndryshojnë ende, dhe prioritetet varen nga reagimet që vijnë nga klientët e parë. Prandaj, një detyrë e rëndësishme është menaxhimi i pritshmërive të klientëve nga njëra anë dhe zhvilluesve nga ana tjetër. Kështu që as njëri dhe as tjetri nuk humbin interesin dhe ta çojnë projektin në përfundim. Pas projektit të parë të suksesshëm, bëhet më e lehtë dhe sfida kryesore do të jetë gjetja e modelit të duhur të rritjes për biznesin e ri.

Në mjedisin rusishtfolës përdoret si term Të dhëna të mëdha, dhe koncepti i "të dhënave të mëdha". Termi "të dhëna të mëdha" është një kopje karboni e termit anglisht. Të dhënat e mëdha nuk kanë një përkufizim të rreptë. Është e pamundur të vizatoni një vijë të qartë - është 10 terabajt apo 10 megabajt? Vetë emri është shumë subjektiv. Fjala "i madh" është si "një, dy, shumë" midis fiseve primitive.

Sidoqoftë, ekziston një mendim i vendosur se të dhënat e mëdha janë një grup teknologjish që janë krijuar për të kryer tre operacione. Së pari, përpunoni vëllime më të mëdha të dhënash në krahasim me skenarët "standard". Së dyti, të jetë në gjendje të punojë me të dhëna që vijnë shpejt në vëllime shumë të mëdha. Kjo do të thotë, nuk ka vetëm shumë të dhëna, por ato vazhdimisht po bëhen gjithnjë e më shumë. Së treti, ata duhet të jenë në gjendje të punojnë paralelisht me të dhëna të strukturuara dhe të keqstrukturuara në aspekte të ndryshme. Të dhënat e mëdha supozojnë se algoritmet marrin një rrjedhë informacioni që nuk është gjithmonë i strukturuar dhe se prej tij mund të nxirren më shumë se një ide.

Një shembull tipik i të dhënave të mëdha është informacioni që vjen nga objekte të ndryshme eksperimentale fizike - për shembull, me, i cili prodhon një sasi të madhe të dhënash dhe e bën këtë vazhdimisht. Instalimi prodhon vazhdimisht vëllime të mëdha të dhënash dhe shkencëtarët i përdorin ato për të zgjidhur shumë probleme paralelisht.

Shfaqja e të dhënave të mëdha në hapësirën publike erdhi për faktin se këto të dhëna preknin pothuajse të gjithë njerëzit dhe jo vetëm komunitetin shkencor, ku probleme të tilla janë zgjidhur prej kohësh. Në sferën publike të teknologjisë Të dhëna të mëdha doli kur filluam të flasim për një numër shumë specifik - numrin e banorëve të planetit. 7 miliardë të mbledhura në rrjetet sociale dhe projekte të tjera që grumbullojnë njerëz. YouTube, Facebook, Në kontakt me, ku numri i njerëzve matet në miliarda dhe numri i transaksioneve që ata kryejnë njëkohësisht është i madh. Rrjedha e të dhënave në këtë rast janë veprimet e përdoruesit. Për shembull, të dhëna nga i njëjti host YouTube, të cilat rrjedhin nëpër rrjet në të dy drejtimet. Përpunimi do të thotë jo vetëm interpretim, por edhe aftësi për të përpunuar saktë secilin prej këtyre veprimeve, d.m.th., vendosja e tij në vendin e duhur dhe vënia e shpejtë e këtyre të dhënave për secilin përdorues, pasi rrjetet sociale nuk e tolerojnë pritjen.

Pjesa më e madhe e asaj që ka të bëjë me të dhënat e mëdha, qasjet që përdoren për t'i analizuar ato, kanë ekzistuar në fakt për mjaft kohë. Për shembull, përpunimi i imazheve nga kamerat e vëzhgimit, kur nuk po flasim për një foto, por për një rrjedhë të dhënash. Ose navigimi i robotëve. E gjithë kjo ka ekzistuar për dekada, por tani detyrat e përpunimit të të dhënave kanë prekur një numër shumë më të madh njerëzish dhe idesh.

Shumë zhvillues janë mësuar të punojnë me objekte statike dhe të mendojnë në terma të gjendjeve. Në të dhënat e mëdha, paradigma është e ndryshme. Ju duhet të jeni në gjendje të punoni me një rrjedhë të vazhdueshme të të dhënave, dhe kjo është një detyrë interesante. Ajo prek gjithnjë e më shumë zona.

Në jetën tonë, gjithnjë e më shumë pajisje dhe softuer po fillojnë të gjenerojnë sasi të mëdha të dhënash - për shembull, Interneti i Gjërave.

Gjërat tashmë po gjenerojnë flukse të mëdha informacioni. Sistemi i policisë Potok dërgon informacion nga të gjitha kamerat dhe ju lejon të gjeni makina duke përdorur këto të dhëna. Byzylykët e fitnesit, gjurmuesit GPS dhe gjëra të tjera që u shërbejnë nevojave të individëve dhe bizneseve po bëhen gjithnjë e më në modë.

Departamenti i Informatizimit në Moskë po rekruton një numër të madh analistësh të të dhënave, sepse janë grumbulluar shumë statistika për njerëzit dhe ato janë me shumë kritere (d.m.th., statistikat për një numër shumë të madh kriteresh janë mbledhur për çdo person, për secilin grup njerëzish). Ju duhet të gjeni modele dhe tendenca në këto të dhëna. Për detyra të tilla nevojiten matematikanë me arsim IT. Sepse në fund të fundit të dhënat ruhen në DBMS të strukturuara dhe ju duhet të jeni në gjendje t'i aksesoni ato dhe të merrni informacion.

Më parë, ne nuk i konsideronim të dhënat e mëdha si problem për arsyen e thjeshtë se nuk kishte vend për t'i ruajtur dhe nuk kishte rrjete për t'i transmetuar. Kur u shfaqën këto mundësi, të dhënat mbushën menjëherë të gjithë vëllimin që u ishte dhënë. Por pa marrë parasysh se sa gjerësia e brezit dhe kapaciteti i ruajtjes së të dhënave do të zgjerohen, gjithmonë do të ketë burime, për shembull, eksperimente fizike, eksperimente në modelimin e thjeshtimit të një krahu, të cilat do të prodhojnë më shumë informacion sesa mund të transmetojmë. Sipas ligjit të Moore, performanca e sistemeve moderne të llogaritjes paralele po rritet vazhdimisht, dhe shpejtësitë e rrjeteve të transmetimit të të dhënave po rriten gjithashtu. Megjithatë, të dhënat duhet të jenë në gjendje të ruhen dhe të merren shpejt nga mediat e ruajtjes (hard disku dhe lloje të tjera memorie), dhe kjo është një sfidë tjetër në përpunimin e të dhënave të mëdha.

Termi "Big Data" mund të njihet sot, por ka ende mjaft konfuzion rreth tij se çfarë do të thotë në të vërtetë. Në të vërtetë, koncepti po evoluon vazhdimisht dhe po ripërcaktohet pasi mbetet forca lëvizëse pas shumë valëve të vazhdueshme të transformimit dixhital, duke përfshirë inteligjencën artificiale, shkencën e të dhënave dhe Internetin e Gjërave. Por çfarë është teknologjia Big-Data dhe si po e ndryshon ajo botën tonë? Le të përpiqemi të kuptojmë thelbin e teknologjisë Big Data dhe çfarë do të thotë me fjalë të thjeshta.

Rritja e mahnitshme e të dhënave të mëdha

Gjithçka filloi me një shpërthim në sasinë e të dhënave që kemi krijuar që nga agimi i epokës dixhitale. Kjo është kryesisht për shkak të zhvillimit të kompjuterëve, internetit dhe teknologjive që mund të "rrëmbejnë" të dhëna nga bota përreth nesh. Të dhënat në vetvete nuk janë një shpikje e re. Edhe para epokës së kompjuterëve dhe bazave të të dhënave, ne përdorëm të dhënat e transaksioneve në letër, të dhënat e klientëve dhe skedarët arkivorë që përbëjnë të dhëna. Kompjuterët, veçanërisht tabelat dhe bazat e të dhënave, e kanë bërë të lehtë për ne ruajtjen dhe organizimin e të dhënave në një shkallë të gjerë. Papritmas informacioni ishte i disponueshëm vetëm me një klik.

Megjithatë, ne kemi bërë një rrugë të gjatë nga tabelat dhe bazat e të dhënave origjinale. Sot, çdo dy ditë ne krijojmë aq të dhëna sa kemi marrë që nga fillimi deri në vitin 2000. Kjo është e drejtë, çdo dy ditë. Dhe sasia e të dhënave që krijojmë vazhdon të rritet në mënyrë eksponenciale; deri në vitin 2020, sasia e informacionit dixhital të disponueshëm do të rritet nga afërsisht 5 zetabajt në 20 zetabajt.

Në ditët e sotme, pothuajse çdo veprim që bëjmë lë gjurmën e tij. Ne gjenerojmë të dhëna sa herë që hyjmë në internet, kur mbajmë smartfonët tanë të pajisur me një motor kërkimi, kur flasim me miqtë tanë përmes rrjeteve sociale ose bisedave, etj. Përveç kësaj, sasia e të dhënave të krijuara nga makineritë po rritet gjithashtu me shpejtësi. Të dhënat krijohen dhe ndahen kur pajisjet tona inteligjente të shtëpisë komunikojnë me njëra-tjetrën ose me serverët e tyre të shtëpisë. Pajisjet industriale në impiante dhe fabrika pajisen gjithnjë e më shumë me sensorë që grumbullojnë dhe transmetojnë të dhëna.

Termi "Big-Data" i referohet mbledhjes së të gjitha këtyre të dhënave dhe aftësisë sonë për t'i përdorur ato në avantazhin tonë në një gamë të gjerë fushash, duke përfshirë biznesin.

Si funksionon teknologjia Big-Data?

Big Data funksionon sipas parimit: sa më shumë të dini për një temë ose fenomen të caktuar, aq më e besueshme mund të arrini një kuptim të ri dhe të parashikoni se çfarë do të ndodhë në të ardhmen. Ndërsa krahasojmë më shumë pika të dhënash, shfaqen marrëdhënie që më parë ishin të fshehura dhe këto marrëdhënie na lejojnë të mësojmë dhe të marrim vendime më të mira. Më shpesh, kjo bëhet përmes një procesi që përfshin ndërtimin e modeleve bazuar në të dhënat që mund të mbledhim dhe më pas ekzekutimin e simulimeve që rregullojnë vlerat e pikave të të dhënave çdo herë dhe gjurmojnë se si ato ndikojnë në rezultatet tona. Ky proces është i automatizuar - teknologjia moderne e analitikës do të ekzekutojë miliona nga këto simulime, duke modifikuar çdo variabël të mundshëm derisa të gjejnë një model - ose ide - që ndihmon në zgjidhjen e problemit për të cilin po punojnë.

Deri kohët e fundit, të dhënat ishin të kufizuara në tabela ose baza të të dhënave - dhe gjithçka ishte shumë e organizuar dhe e rregullt. Çdo gjë që nuk mund të organizohej lehtësisht në rreshta dhe kolona u konsiderua shumë komplekse për të punuar dhe u shpërfill. Megjithatë, përparimet në ruajtje dhe analitikë nënkuptojnë se ne mund të kapim, ruajmë dhe përpunojmë sasi të mëdha të llojeve të ndryshme të të dhënave. Si rezultat, "të dhënat" sot mund të nënkuptojnë çdo gjë nga bazat e të dhënave te fotografitë, videot, regjistrimet zanore, tekstet e shkruara dhe të dhënat e sensorëve.

Për të kuptuar të gjitha këto të dhëna të çrregullta, projektet e bazuara në të dhëna të mëdha shpesh përdorin analitikë të avancuar duke përdorur inteligjencën artificiale dhe mësimin kompjuterik. Duke i mësuar makinat kompjuterike të përcaktojnë se çfarë janë të dhëna specifike - për shembull, përmes njohjes së modelit ose përpunimit të gjuhës natyrore - ne mund t'i mësojmë ata të identifikojnë modelet shumë më shpejt dhe më të besueshëm sesa mundemi vetë.

Si përdoren Big Data?

Ky fluks gjithnjë në rritje i të dhënave të sensorëve, tekstit, zërit, fotove dhe të dhënave video do të thotë që ne tani mund t'i përdorim të dhënat në mënyra që do të kishin qenë të paimagjinueshme vetëm disa vite më parë. Kjo po sjell ndryshime revolucionare në botën e biznesit në pothuajse çdo industri. Sot, kompanitë mund të parashikojnë me saktësi të jashtëzakonshme se cilat kategori të veçanta klientësh do të duan të bëjnë një blerje dhe kur. Big Data gjithashtu ndihmon kompanitë të kryejnë aktivitetet e tyre në mënyrë shumë më efikase.

Edhe jashtë biznesit, projektet që lidhen me Big Data tashmë po ndihmojnë për të ndryshuar botën tonë në mënyra të ndryshme:

• Përmirësimi i kujdesit shëndetësor – Mjekësia e drejtuar nga të dhënat ka aftësinë të analizojë sasi të mëdha informacioni dhe imazhesh mjekësore në modele që mund të ndihmojnë në zbulimin e sëmundjes në një fazë të hershme dhe zhvillimin e barnave të reja.
• Parashikimi dhe reagimi ndaj fatkeqësive natyrore dhe të shkaktuara nga njeriu. Të dhënat e sensorëve mund të analizohen për të parashikuar se ku ka të ngjarë të ndodhin tërmetet, dhe modelet e sjelljes njerëzore ofrojnë të dhëna që ndihmojnë organizatat të ofrojnë ndihmë për të mbijetuarit. Teknologjia Big Data përdoret gjithashtu për të gjurmuar dhe mbrojtur fluksin e refugjatëve nga zonat e luftës në mbarë botën.
• Parandalimi i krimit. Forcat e policisë po përdorin gjithnjë e më shumë strategji të drejtuara nga të dhënat që përfshijnë informacionin e tyre të inteligjencës dhe informacionin e disponueshëm publikisht për të përdorur burimet në mënyrë më efektive dhe për të ndërmarrë veprime parandaluese aty ku është e nevojshme.

Librat më të mirë rreth teknologjisë Big-Data

• Te gjithe genjejne. Motorët e kërkimit, të dhënat e mëdha dhe interneti dinë gjithçka për ju.
• TË DHËNAT E MADHE. E gjithë teknologjia në një libër.
• Industria e lumturisë. Si të dhënat e mëdha dhe teknologjitë e reja ndihmojnë në shtimin e emocioneve te produktet dhe shërbimet.
• Revolucion në analitikë. Si të përmirësoni biznesin tuaj në epokën e të dhënave të mëdha duke përdorur analitikën operacionale.

Probleme me të dhënat e mëdha

Big Data na jep ide dhe mundësi të paprecedentë, por gjithashtu ngre probleme dhe pyetje që duhen adresuar:

• Privatësia e të dhënave – Të dhënat e mëdha që gjenerojmë sot përmbajnë shumë informacione në lidhje me jetën tonë personale, privatësinë e së cilës kemi çdo të drejtë. Gjithnjë e më shumë, na kërkohet të balancojmë sasinë e të dhënave personale që zbulojmë me komoditetin që ofrojnë aplikacionet dhe shërbimet e bazuara në të dhëna të mëdha.
• Siguria e të dhënave - Edhe nëse vendosim se jemi të kënaqur me dikë që ka të dhënat tona për një qëllim të caktuar, a mund t'i besojmë që t'i mbajë të dhënat tona të sigurta dhe të sigurta?
• Diskriminimi i të dhënave - pasi të njihen të gjitha informacionet, a do të jetë e pranueshme të diskriminohen njerëzit bazuar në të dhënat nga jeta e tyre personale? Ne përdorim tashmë rezultatet e kreditit për të vendosur se kush mund të marrë hua para dhe sigurimi është gjithashtu shumë i drejtuar nga të dhënat. Duhet të presim që të analizohemi dhe vlerësohemi më në detaje, por duhet pasur kujdes që kjo të mos e vështirësojë jetën e atyre me më pak burime dhe akses të kufizuar në informacion.

Kryerja e këtyre detyrave është një komponent i rëndësishëm i Big Data dhe duhet të adresohet nga organizatat që duan të përdorin të dhëna të tilla. Dështimi për ta bërë këtë mund ta lërë një biznes të pambrojtur, jo vetëm në aspektin e reputacionit të tij, por edhe ligjërisht dhe financiarisht.

Duke parë nga e ardhmja

Të dhënat po ndryshojnë botën dhe jetën tonë me një ritëm të paparë. Nëse Big Data është e aftë për të gjitha këto sot, imagjinoni se çfarë do të jetë e aftë për nesër. Sasia e të dhënave të disponueshme për ne vetëm do të rritet dhe teknologjia analitike do të bëhet edhe më e avancuar.

Për bizneset, aftësia për të aplikuar Big Data do të bëhet gjithnjë e më kritike në vitet e ardhshme. Vetëm ato kompani që i shohin të dhënat si një aset strategjik do të mbijetojnë dhe do të lulëzojnë. Ata që e injorojnë këtë revolucion rrezikojnë të mbeten pas.