Të dhëna të mëdha. Të dhënat e mëdha - çfarë janë sistemet e të dhënave të mëdha? Zhvillimi i teknologjive të të dhënave të mëdha

Të dhëna të mëdha- këto nuk janë vetëm vetë të dhënat, por edhe teknologjitë për përpunimin dhe përdorimin e tyre, metodat për gjetjen e informacionit të nevojshëm në grupe të mëdha. Problemi i të dhënave të mëdha mbetet i hapur dhe jetik për çdo sistem që grumbullon një shumëllojshmëri të gjerë informacioni për dekada.

Ky term shoqërohet me shprehjen "Vëllimi, shpejtësia, shumëllojshmëria"- parimet mbi të cilat bazohet puna me të dhëna të mëdha. Kjo direkt sasia e informacionit, shpejtësia e përpunimit dhe shumëllojshmëri informacioni të ruajtura në një grup. Kohët e fundit, një tjetër ka filluar t'i shtohet tre parimeve bazë - Vlera që do të thotë vlera e informacionit... Domethënë, ai duhet të jetë i dobishëm dhe i nevojshëm në aspektin teorik ose praktik, gjë që do të justifikonte kostot e ruajtjes dhe përpunimit të tij.

Mediat sociale janë një shembull i një burimi tipik të madh të të dhënave - çdo profil ose faqe publike është një pikë e vogël në një oqean të pastrukturuar informacioni. Për më tepër, pavarësisht nga sasia e informacionit të ruajtur në një profil të caktuar, ndërveprimi me secilin prej përdoruesve duhet të jetë sa më i shpejtë.

Të dhënat e mëdha po grumbullohen vazhdimisht në pothuajse çdo fushë të jetës njerëzore. Kjo përfshin çdo industri që lidhet ose me ndërveprimin njerëzor ose me kompjuterin. Këto janë mediat sociale, mjekësia dhe bankat, si dhe sistemet e pajisjeve që marrin rezultate të shumta të llogaritjeve ditore. Për shembull, vëzhgime astronomike, informacione meteorologjike dhe informacione nga pajisjet ndijuese të Tokës.

Informacioni nga të gjitha llojet e sistemeve të gjurmimit në kohë reale shkon gjithashtu në serverët e një kompanie të caktuar. Transmetimet televizive dhe radio, bazat e thirrjeve të operatorëve celularë - ndërveprimi i secilit person individual me ta është minimal, por në total, i gjithë ky informacion bëhet i madh.

Teknologjitë e të dhënave të mëdha janë bërë pjesë përbërëse e kërkimit dhe zhvillimit dhe tregtisë. Për më tepër, ata kanë filluar të marrin përsipër sferën e administratës publike - dhe kudo kërkohet të futen sisteme gjithnjë e më efikase për ruajtjen dhe manipulimin e informacionit.

Termi "të dhëna të mëdha" u shfaq për herë të parë në shtyp në vitin 2008, kur redaktori i Nature Clifford Lynch publikoi një artikull mbi zhvillimin e së ardhmes së shkencës duke përdorur teknologji për të punuar me sasi të mëdha të dhënash. Deri në vitin 2009, ky term konsiderohej vetëm nga pikëpamja e analizës shkencore, por pas publikimit të disa artikujve të tjerë, shtypi filloi të përdorë gjerësisht konceptin e Big Data - dhe vazhdon ta përdorë atë në kohën e tanishme.

Në vitin 2010, filluan të shfaqen përpjekjet e para për të zgjidhur problemin në rritje të të dhënave të mëdha. U lëshuan produkte softuerësh, veprimi i të cilave kishte për qëllim minimizimin e rreziqeve kur përdorni grupe të mëdha informacioni.

Deri në vitin 2011, kompani të tilla të mëdha si Microsoft, Oracle, EMC dhe IBM u interesuan për të dhënat e mëdha - ato ishin të parat që përdorën të dhënat e mëdha në strategjitë e tyre të zhvillimit dhe me mjaft sukses.

Universitetet filluan të kryejnë studimin e të dhënave të mëdha si një lëndë më vete në vitin 2013 - tani problemet në këtë fushë trajtohen jo vetëm me shkencën e të dhënave, por edhe me inxhinierinë, së bashku me lëndët llogaritëse.

Metodat kryesore të analizës dhe përpunimit të të dhënave përfshijnë si më poshtë:

1. Metodat e klasës ose analiza e thellë (Data Mining).

Këto metoda janë mjaft të shumta, por ato i bashkon një gjë: mjetet e përdorura matematikore në lidhje me arritjet në fushën e teknologjisë së informacionit.

1. Crowdsourcing.

Kjo teknikë ju lejon të merrni të dhëna njëkohësisht nga disa burime, dhe numri i këtyre të fundit është praktikisht i pakufizuar.

1. Testimi A/B.

Nga e gjithë sasia e të dhënave, zgjidhet një grup elementesh kontrolli, i cili krahasohet në mënyrë alternative me popullatat e tjera të ngjashme, ku një nga elementët është ndryshuar. Kryerja e testeve të tilla ndihmon në përcaktimin se cilat luhatje të parametrave kanë ndikimin më të madh në popullatën e kontrollit. Falë vëllimeve të Big Data, është e mundur të kryhen një numër i madh përsëritjesh, ku secili prej tyre i afrohet rezultatit më të besueshëm.

1. Analiza parashikuese.

Ekspertët e kësaj fushe përpiqen të parashikojnë dhe planifikojnë paraprakisht se si do të sillet objekti i kontrolluar për të marrë vendimin më të favorshëm në këtë situatë.

1. Mësimi i makinerisë (inteligjenca artificiale).

Ai bazohet në analizën empirike të informacionit dhe në ndërtimin e mëvonshëm të algoritmeve për sistemet e vetë-mësimit.

1. Analiza e rrjetit.

Metoda më e zakonshme për hulumtimin e rrjeteve sociale - pas marrjes së të dhënave statistikore, analizohen nyjet e krijuara në rrjet, domethënë ndërveprimet midis përdoruesve individualë dhe komuniteteve të tyre.

Në vitin 2017, kur të dhënat e mëdha pushuan së qeni diçka e re dhe e panjohur, rëndësia e tyre jo vetëm që nuk u zvogëlua, por u rrit edhe më shumë. Tani ekspertët po vënë bast se analiza e sasive të mëdha të të dhënave do të bëhet e disponueshme jo vetëm për organizatat gjigante, por edhe për bizneset e vogla dhe të mesme. Kjo qasje është planifikuar të zbatohet duke përdorur komponentët e mëposhtëm:

• Ruajtja në renë kompjuterike.

Ruajtja dhe përpunimi i të dhënave po bëhet më i shpejtë dhe më ekonomik - krahasuar me kostot e mirëmbajtjes së qendrës tuaj të të dhënave dhe zgjerimit të mundshëm të stafit, marrja me qira e një cloud duket të jetë një alternativë shumë më e lirë.

• Përdorimi i të dhënave të errëta.

Të ashtuquajturat "të dhëna të errëta" - të gjitha informacionet jo-dixhitale për kompaninë, të cilat nuk luajnë një rol kyç në përdorimin e drejtpërdrejtë të saj, por mund të shërbejnë si një arsye për kalimin në një format të ri të ruajtjes së informacionit.

• Inteligjenca artificiale dhe mësimi i thellë.

Teknologjia e të mësuarit të inteligjencës makine, e cila imiton strukturën dhe punën e trurit të njeriut, është më e përshtatshme për përpunimin e një sasie të madhe informacioni që ndryshon vazhdimisht. Në këtë rast, makina do të bëjë saktësisht të njëjtën gjë që duhet të kishte bërë një njeri, por në të njëjtën kohë probabiliteti i gabimit zvogëlohet ndjeshëm.

• Blockchain.

Kjo teknologji bën të mundur përshpejtimin dhe thjeshtimin e transaksioneve të shumta në internet, duke përfshirë edhe ato ndërkombëtare. Një tjetër plus i Blockchain është se redukton kostot e transaksionit.

• Vetë-shërbim dhe ulje çmimi.

Në vitin 2017, është planifikuar të prezantohen "platformat e vetë-shërbimit" - këto janë faqe falas ku përfaqësuesit e bizneseve të vogla dhe të mesme do të jenë në gjendje të vlerësojnë në mënyrë të pavarur të dhënat që ata ruajnë dhe t'i organizojnë ato.

Të gjitha strategjitë e marketingut në një mënyrë ose në një tjetër bazohen në manipulimin e informacionit dhe analizën e të dhënave ekzistuese. Kjo është arsyeja pse përdorimi i të dhënave të mëdha mund të parashikojë dhe të bëjë të mundur rregullimin e zhvillimit të mëtejshëm të kompanisë.

Për shembull, një ankand RTB i bazuar në të dhëna të mëdha ju lejon të përdorni reklamat në mënyrë më efikase - një produkt i caktuar do t'i shfaqet vetëm një grupi përdoruesish që janë të interesuar ta blejnë atë.

Cili është avantazhi i përdorimit të teknologjive të të dhënave të mëdha në marketing dhe biznes?

1. Me ndihmën e tyre, ju mund të krijoni projekte të reja shumë më shpejt, të cilat ka të ngjarë të bëhen të kërkuara nga blerësit.
2. Ato ndihmojnë në korrelimin e kërkesave të klientit me shërbimin ekzistues ose të projektuar dhe në këtë mënyrë korrigjohen ato.
3. Metodat e të dhënave të mëdha na lejojnë të vlerësojmë shkallën e kënaqësisë aktuale të të gjithë përdoruesve dhe secilit individualisht.
4. Besnikëria e klientit rritet përmes teknikave të përpunimit të të dhënave të mëdha.
5. Tërheqja e audiencës tuaj të synuar në internet bëhet më e lehtë falë aftësisë për të kontrolluar sasi të mëdha të dhënash.

Për shembull, një nga shërbimet më të njohura për parashikimin e popullaritetit të mundshëm të një produkti është Google.trends. Përdoret gjerësisht nga tregtarët dhe analistët, duke i lejuar ata të marrin statistika mbi përdorimin e një produkti të caktuar në të kaluarën dhe parashikimin për sezonin e ardhshëm. Kjo u lejon drejtuesve të kompanive të ndajnë në mënyrë më efektive buxhetin e reklamave, për të përcaktuar se në cilën zonë është më e mira për të investuar para.

Shembuj të përdorimit të të dhënave të mëdha

Futja aktive e teknologjive Big Data në treg dhe në jetën moderne filloi menjëherë pasi kompanitë me famë botërore filluan t'i përdorin ato, duke pasur klientë pothuajse në çdo pjesë të botës.

Këta janë gjigantë socialë si Facebook dhe Google, IBM., si dhe struktura financiare si Master Card, VISA dhe Bank of America.

Për shembull, IBM po aplikon teknika të dhënash të mëdha në transaksionet e saj monetare. Me ndihmën e tyre, u zbuluan 15% më shumë transaksione mashtruese, të cilat bënë të mundur rritjen e sasisë së fondeve të mbrojtura me 60%. U zgjidhën edhe problemet me pozitive false të sistemit - numri i tyre u zvogëlua për më shumë se gjysmën.

VISA përdori Big Data në një mënyrë të ngjashme, duke gjurmuar përpjekjet mashtruese për të kryer këtë apo atë operacion. Falë kësaj, ata kursejnë më shumë se 2 miliardë dollarë nga rrjedhjet çdo vit.

Ministria gjermane e Punës ishte në gjendje të ulte kostot me 10 miliardë euro duke integruar të dhëna të mëdha në përfitimet e papunësisë. Në të njëjtën kohë, u zbulua se një e pesta e qytetarëve i marrin këto përfitime në mënyrë të paarsyeshme.

Big Data nuk e ka kursyer as industrinë e lojërave. Pra, zhvilluesit e World of Tanks kryen një studim të informacionit për të gjithë lojtarët dhe krahasuan treguesit e disponueshëm të aktivitetit të tyre. Kjo ndihmoi në parashikimin e dyndjeve të mundshme të lojtarëve në të ardhmen - bazuar në supozimet e bëra, përfaqësuesit e organizatës ishin në gjendje të ndërveprojnë në mënyrë më efektive me përdoruesit.

Organizatat e dukshme që përdorin të dhëna të mëdha përfshijnë gjithashtu HSBC, Nasdaq, Coca-Cola, Starbucks dhe AT&T.

Problemi më i madh me të dhënat e mëdha është kostoja e përpunimit të tyre. Kjo mund të përfshijë pajisje të shtrenjta dhe koston e pagave për profesionistët e aftë të aftë për të shërbyer sasi të mëdha informacioni. Natyrisht, pajisjet do të duhet të përditësohen rregullisht në mënyrë që të mos humbasin performancën minimale ndërsa sasia e të dhënave rritet.

Problemi i dytë lidhet sërish me sasinë e madhe të informacionit që duhet të përpunohet. Nëse, për shembull, një studim jep jo 2-3, por një numër të madh rezultatesh, është shumë e vështirë të qëndrosh objektiv dhe të zgjidhësh nga rrjedha e përgjithshme e të dhënave vetëm ato që do të kenë një ndikim real në gjendjen e çdo dukurie.

Problemi i privatësisë së të dhënave të mëdha. Me kalimin e shumicës së ofruesve të shërbimeve ndaj klientit në përdorimin online të të dhënave, është shumë e lehtë të bëheni objektivi i radhës për kriminelët kibernetikë. Edhe ruajtja e thjeshtë e informacionit personal pa kryer ndonjë transaksion në internet mund të jetë i mbushur me pasoja të padëshirueshme për klientët e ruajtjes së cloud.

Problemi i humbjes së informacionit. Masat paraprake kërkojnë të mos kufizohen në një kopje rezervë të thjeshtë të të dhënave një herë, por të bëni të paktën 2-3 kopje rezervë të ruajtjes. Megjithatë, ndërsa vëllimi rritet, vështirësitë me tepricën rriten - dhe specialistët e IT-së po përpiqen të gjejnë zgjidhjen optimale për këtë problem.

Tregu i madh i teknologjisë së të dhënave në Rusi dhe në mbarë botën

Që nga viti 2014, 40% e vëllimit të tregut të të dhënave të mëdha përbëhet nga shërbime. Të ardhurat nga përdorimi i Big Data në pajisjet kompjuterike janë pak më inferiore (38%) ndaj këtij treguesi. Pjesa e mbetur prej 22% vjen nga softueri.

Produktet më të dobishme në segmentin global për zgjidhjen e problemeve të Big Data, sipas statistikave, janë platformat analitike In-memory dhe NoSQL. 15 dhe 12 për qind të tregut, përkatësisht, zënë softuerin analitik Log-file dhe platformat Columnar. Por Hadoop / MapReduce nuk është shumë efikas në trajtimin e problemeve të të dhënave të mëdha në praktikë.

Rezultatet e zbatimit të teknologjive të të dhënave të mëdha:

• rritja e cilësisë së shërbimit ndaj klientit;
• optimizimi i integrimit në zinxhirin e furnizimit;
• optimizimi i planifikimit të organizatës;
• përshpejtimi i ndërveprimit me klientët;
• përmirësimi i efikasitetit të përpunimit të kërkesave të klientëve;
• ulje e kostove të shërbimit;
• optimizimi i përpunimit të porosive të klientit.

Librat më të mirë mbi të dhënat e mëdha

I përshtatshëm për studimin fillestar të teknologjive të përpunimit të të dhënave të mëdha - ju prezanton lehtësisht dhe qartë me kursin. E bën të qartë se si bollëku i informacionit ka ndikuar në jetën e përditshme dhe në të gjitha sferat e saj: shkencë, biznes, mjekësi etj. Përmban ilustrime të shumta, prandaj perceptohet pa shumë përpjekje.

Introduction to Data Mining, Pang-Ning Tan, Michael Steinbach dhe Vipin Kumar

Gjithashtu i dobishëm për fillestarët është një libër mbi të dhënat e mëdha, që shpjegon se si të punohet me të dhëna të mëdha në bazë të parimit "nga e thjeshta në komplekse". Ai mbulon shumë pika të rëndësishme në fazën fillestare: përgatitjen për përpunim, vizualizim, OLAP, si dhe disa metoda të analizës dhe klasifikimit të të dhënave.

Një udhëzues praktik për përdorimin dhe punën me të dhëna të mëdha duke përdorur gjuhën e programimit Python. I përshtatshëm si për studentët e inxhinierisë ashtu edhe për profesionistët që duan të thellojnë njohuritë e tyre.

Hadoop for Dummies, Dirk Derus, Paul S. Zykopoulos, Roman B. Melnik

Hadoop është një projekt i krijuar posaçërisht për të punuar me programe të shpërndara që ekzekutojnë veprime në mijëra nyje në të njëjtën kohë. Njohja me të do t'ju ndihmojë të kuptoni më në detaje zbatimin praktik të të dhënave të mëdha.

Përshpejtimi i vazhdueshëm i rritjes së të dhënave është një pjesë integrale e realitetit të sotëm. Rrjetet sociale, pajisjet celulare, të dhënat nga pajisjet matëse, informacioni i biznesit janë vetëm disa lloje burimesh që mund të gjenerojnë sasi gjigante të dhënash.

Në ditët e sotme, termi Big Data (Big Data) është bërë mjaft i zakonshëm. Jo të gjithë janë ende të vetëdijshëm se sa shpejt dhe thellësisht teknologjitë e përpunimit të të dhënave të mëdha po ndryshojnë aspektet më të ndryshme të shoqërisë. Ndryshime po ndodhin në fusha të ndryshme, duke sjellë probleme dhe sfida të reja, përfshirë në fushën e sigurisë së informacionit, ku aspekte të tilla të rëndësishme si konfidencialiteti, integriteti, disponueshmëria, etj. duhet të jenë në plan të parë.

Fatkeqësisht, shumë kompani moderne përdorin teknologjinë Big Data pa krijuar infrastrukturën e duhur për këtë, e cila mund të sigurojë ruajtje të besueshme të sasive të mëdha të të dhënave që ata mbledhin dhe ruajnë. Nga ana tjetër, teknologjia blockchain aktualisht po zhvillohet me shpejtësi, e cila është krijuar për të zgjidhur këtë dhe shumë probleme të tjera.

Çfarë është Big Data?

Në fakt, përkufizimi i termit qëndron në sipërfaqe: “big data” nënkupton menaxhimin dhe analizimin e sasive shumë të mëdha të të dhënave. Më gjerësisht, ky është informacion që nuk mund të përpunohet duke përdorur metoda klasike për shkak të vëllimeve të tij të mëdha.

Vetë termi Big Data është shfaqur relativisht kohët e fundit. Sipas shërbimit Google Trends, rritja aktive e popullaritetit të termit ndodhi në fund të vitit 2011:

Në vitin 2010, filluan të shfaqen produktet dhe zgjidhjet e para që lidhen drejtpërdrejt me përpunimin e të dhënave të mëdha. Deri në vitin 2011, shumica e kompanive më të mëdha të IT, duke përfshirë IBM, Oracle, Microsoft dhe Hewlett-Packard, po përdorin në mënyrë aktive termin Big Data në strategjitë e tyre të biznesit. Gradualisht, analistët e tregut të teknologjisë së informacionit fillojnë të hulumtojnë në mënyrë aktive këtë koncept.

Aktualisht, ky term ka fituar popullaritet të konsiderueshëm dhe përdoret në mënyrë aktive në fusha të ndryshme. Sidoqoftë, nuk mund të thuhet me siguri se Big Data është një lloj fenomeni thelbësisht i ri - përkundrazi, burimet e të dhënave të mëdha kanë ekzistuar për shumë vite. Në marketing, këto përfshijnë bazat e të dhënave të blerjeve të klientëve, historitë e kreditit, stilet e jetesës dhe më shumë. Me kalimin e viteve, analistët i kanë përdorur këto të dhëna për të ndihmuar kompanitë të parashikojnë nevojat e klientëve në të ardhmen, të vlerësojnë rreziqet, të formësojnë preferencat e konsumatorëve etj.

Aktualisht, situata ka ndryshuar në dy aspekte:

- ka mjete dhe metoda më të sofistikuara për analizimin dhe krahasimin e grupeve të ndryshme të të dhënave;
- Mjetet e analizës janë plotësuar nga shumë burime të reja të dhënash, për shkak të kalimit të gjerë në teknologjitë dixhitale, si dhe metodave të reja të mbledhjes dhe matjes së të dhënave.

Studiuesit parashikojnë se teknologjitë e të dhënave të mëdha do të përdoren në mënyrë më aktive në prodhim, kujdes shëndetësor, tregti, qeveri dhe në fusha dhe industri të tjera të ndryshme.

Big Data nuk është ndonjë grup specifik i të dhënave, por një grup metodash për përpunimin e tyre. Karakteristika përcaktuese për të dhënat e mëdha nuk është vetëm vëllimi i tyre, por edhe kategoritë e tjera që karakterizojnë proceset intensive të punës së përpunimit dhe analizës së të dhënave.

Të dhënat fillestare për përpunim mund të jenë, për shembull:

- regjistrat e sjelljes së përdoruesve të internetit;
- Interneti i Gjërave;
- mediat sociale;
- të dhënat meteorologjike;
- librat e dixhitalizuar të bibliotekave më të mëdha;
- Sinjalet GPS nga automjetet;
- informacion për transaksionet e klientëve të bankave;
- të dhëna për vendndodhjen e abonentëve të rrjetit celular;
- informacione për blerjet në zinxhirët e mëdhenj të shitjes me pakicë, etj.

Me kalimin e kohës, sasia e të dhënave dhe numri i burimeve të tyre po rritet vazhdimisht, dhe në këtë sfond, metodat e reja dhe ekzistuese të përpunimit të informacionit po përmirësohen.

Parimet themelore të të dhënave të mëdha:

- Shkallueshmëria horizontale - grupet e të dhënave mund të jenë të mëdha, që do të thotë se sistemi i përpunimit të të dhënave të mëdha duhet të zgjerohet në mënyrë dinamike ndërsa vëllimet e tyre rriten.
- Toleranca ndaj gabimeve - edhe në rast të dështimit të disa elementeve të pajisjes, i gjithë sistemi duhet të mbetet funksional.
- Lokaliteti i të dhënave. Në sistemet e mëdha të shpërndara, të dhënat zakonisht shpërndahen në një numër të madh makinash. Megjithatë, për aq sa është e mundur dhe për të kursyer burime, të dhënat shpesh përpunohen në të njëjtin server ku ruhen.

Për funksionimin e qëndrueshëm të të tre parimeve dhe, në përputhje me rrethanat, efikasitetin e lartë të ruajtjes dhe përpunimit të të dhënave të mëdha, nevojiten teknologji të reja përparimtare, të tilla si, për shembull, blockchain.

Për çfarë janë Big Data?

Shtrirja e të dhënave të mëdha po zgjerohet vazhdimisht:

- Të dhënat e mëdha mund të përdoren në mjekësi. Kështu, është e mundur të vendoset një diagnozë për një pacient jo vetëm bazuar në analizën e historisë mjekësore, por edhe duke marrë parasysh përvojën e mjekëve të tjerë, informacionin rreth situatës mjedisore të zonës së banimit të pacientit dhe shumë të tjera. faktorët.
- Teknologjitë e Big Data mund të përdoren për të organizuar lëvizjen e automjeteve pa pilot.
- Duke përpunuar sasi të mëdha të dhënash, ju mund të njihni fytyrat në materialet fotografike dhe video.
- Teknologjitë e të dhënave të mëdha mund të përdoren nga shitësit me pakicë - kompanitë tregtare mund të përdorin në mënyrë aktive grupet e të dhënave nga rrjetet sociale për të personalizuar në mënyrë efektive fushatat e tyre reklamuese, të cilat mund të synohen maksimalisht për një segment të caktuar konsumatori.
- Kjo teknologji përdoret në mënyrë aktive në organizimin e fushatave zgjedhore, përfshirë për analizën e preferencave politike në shoqëri.
- Përdorimi i teknologjive Big Data është i rëndësishëm për zgjidhjet e klasës së garancisë së të ardhurave (RA), të cilat përfshijnë mjete për zbulimin e mospërputhjeve dhe analizën e thellë të të dhënave, të cilat lejojnë identifikimin në kohë të humbjeve të mundshme ose shtrembërimeve të informacionit që mund të çojnë në një ulje në rezultatet financiare.
- Ofruesit e telekomunikacionit mund të grumbullojnë të dhëna të mëdha, duke përfshirë vendndodhjen; nga ana tjetër, ky informacion mund të jetë me interes tregtar për agjencitë e reklamave që mund ta përdorin atë për të shfaqur reklama të synuara dhe lokale, si dhe për shitësit me pakicë dhe bankat.
“Të dhënat e mëdha mund të luajnë një rol të rëndësishëm në vendosjen nëse do të hapet një pikë shitje me pakicë në një vend specifik, bazuar në të dhënat mbi praninë e një fluksi të fuqishëm të synuar njerëzish.

Kështu, aplikimi praktik më i dukshëm i teknologjisë Big Data qëndron në fushën e marketingut. Me zhvillimin e internetit dhe përhapjen e të gjitha llojeve të pajisjeve të komunikimit, të dhënat e sjelljes (si numri i thirrjeve, zakonet e blerjeve dhe blerjet) bëhen të disponueshme në kohë reale.

Teknologjitë e të dhënave të mëdha mund të përdoren gjithashtu në mënyrë efektive në financa, për kërkime sociale dhe në shumë fusha të tjera. Ekspertët argumentojnë se të gjitha këto mundësi për përdorimin e të dhënave të mëdha janë vetëm pjesa e dukshme e ajsbergut, pasi këto teknologji përdoren në vëllime shumë më të mëdha në inteligjencë dhe kundërzbulim, në çështjet ushtarake, si dhe në gjithçka që zakonisht quhet luftë informacioni.

Në terma të përgjithshëm, sekuenca e punës me Big Data konsiston në mbledhjen e të dhënave, strukturimin e informacionit të marrë duke përdorur raporte dhe tabela, si dhe formulimin pasues të rekomandimeve për veprim.

Le të shqyrtojmë shkurtimisht mundësitë e përdorimit të teknologjive të Big Data në marketing. Siç e dini, për një tregtar, informacioni është mjeti kryesor për parashikimin dhe strategjinë. Analiza e të dhënave të mëdha është përdorur prej kohësh me sukses për të përcaktuar audiencën e synuar, interesat, kërkesën dhe aktivitetin e konsumatorit. Analiza e të dhënave të mëdha, në veçanti, lejon shfaqjen e reklamave (bazuar në modelin e ankandit RTB - Oferta në kohë reale) vetëm për ata konsumatorë që janë të interesuar për një produkt ose shërbim.

Përdorimi i të dhënave të mëdha në marketing i lejon biznesmenët të:

- njihuni më mirë me klientët tuaj, tërheqni një audiencë të ngjashme në internet;
- të vlerësojë shkallën e kënaqësisë së klientit;
- të kuptojë nëse shërbimi i ofruar i plotëson pritshmëritë dhe nevojat;
- Gjeni dhe zbatoni mënyra të reja për të rritur besimin e klientit;
- të krijojë projekte të kërkuara etj.

Për shembull, shërbimi Google.trends mund t'i sigurojë një tregtari një parashikim të aktivitetit të kërkesës sezonale për një produkt specifik, luhatjet dhe gjeografinë e klikimeve. Nëse e krahasoni këtë informacion me të dhënat statistikore të mbledhura nga plug-in-i përkatës në faqen tuaj, mund të hartoni një plan për shpërndarjen e buxhetit të reklamave, duke treguar muajin, rajonin dhe parametrat e tjerë.

Sipas shumë studiuesve, suksesi i fushatës zgjedhore të Trump qëndron në segmentimin dhe përdorimin e Big Data. Ekipi i Presidentit të ardhshëm të SHBA ishte në gjendje të ndajë saktë audiencën, të kuptojë dëshirat e tij dhe të tregojë saktësisht mesazhin që votuesit duan të shohin dhe dëgjojnë. Pra, sipas Irina Belyshevës nga Data-Centric Alliance, fitorja e Trump u bë e mundur kryesisht falë një qasjeje jo standarde ndaj marketingut në internet, e cila bazohej në Big Data, analiza psiko-sjellëse dhe reklama të personalizuara.

Strategët politikë dhe tregtarët e Trump-it përdorën një model matematikor të zhvilluar posaçërisht që bëri të mundur analizimin e thellë të të dhënave të të gjithë votuesve amerikanë për t'i sistemuar ato, duke bërë shënjestrim jashtëzakonisht të saktë jo vetëm nga gjeografia, por edhe nga synimet, interesat e votuesve, psikotipi i tyre. karakteristikat e sjelljes etj. Pas Në këtë mënyrë, marketerët organizuan komunikim të personalizuar me secilin nga grupet e qytetarëve në bazë të nevojave, disponimit, pikëpamjeve politike, karakteristikave psikologjike dhe deri në ngjyrën e lëkurës, duke përdorur mesazhin e tyre për pothuajse çdo votues individual.

Për sa i përket Hillary Clinton-it, në fushatën e saj ajo përdori metoda "të testuara me kohë" bazuar në të dhënat sociologjike dhe marketingun standard, duke e ndarë elektoratin vetëm në grupe formalisht homogjene (burra, gra, afrikano-amerikanë, hispanikë, të varfër, të pasur, etj. )...

Si rezultat, fituesi ishte ai që vlerësoi potencialin e teknologjive dhe metodave të reja të analizës. Vlen të përmendet se kostot e fushatës së Hillary Clinton ishin dy herë më shumë se ato të kundërshtares së saj:

Të dhënat: Pew Research

Problemet kryesore të përdorimit të të dhënave të mëdha

Krahas kostos së lartë, një nga faktorët kryesorë që pengon zbatimin e Big Data në fusha të ndryshme është problemi i zgjedhjes së të dhënave që do të përpunohen: domethënë, përcaktimi se cilat të dhëna duhet të nxirren, ruhen dhe analizohen, dhe cilat duhet. nuk merren parasysh.

Një problem tjetër me Big Data është etik. Me fjalë të tjera, lind një pyetje e natyrshme: a mund të konsiderohet një mbledhje e tillë e të dhënave (sidomos pa dijeninë e përdoruesit) shkelje e kufijve të privatësisë?

Nuk është sekret që informacioni i ruajtur në motorët e kërkimit Google dhe Yandex u lejon gjigantëve të IT të përsosin vazhdimisht shërbimet e tyre, t'i bëjnë ato miqësore për përdoruesit dhe të krijojnë aplikacione të reja ndërvepruese. Për ta bërë këtë, motorët e kërkimit mbledhin të dhëna të përdoruesve për aktivitetin e përdoruesve në internet, adresat IP, të dhënat për vendndodhjen gjeografike, interesat dhe blerjet në internet, të dhënat personale, mesazhet me email, etj. E gjithë kjo ju lejon të shfaqni reklama kontekstuale në përputhje me sjelljen e përdoruesit në Interneti. Në të njëjtën kohë, pëlqimi i përdoruesve zakonisht nuk kërkohet për këtë, dhe zgjedhja se çfarë informacioni të japin për veten e tyre nuk jepet. Kjo do të thotë, si parazgjedhje, Big Data mbledh gjithçka që më pas do të ruhet në serverët e këtyre faqeve.

Kjo çon në problemin tjetër të rëndësishëm që lidhet me sigurimin e ruajtjes dhe përdorimit të të dhënave. Për shembull, a është e sigurt një platformë e veçantë analitike që konsumatorët i transferojnë automatikisht të dhënat e tyre? Për më tepër, shumë përfaqësues të biznesit vënë në dukje mungesën e analistëve dhe tregtarëve të kualifikuar, të cilët janë në gjendje të operojnë në mënyrë efikase me sasi të mëdha të dhënash dhe të zgjidhin probleme specifike të biznesit me ndihmën e tyre.

Pavarësisht të gjitha vështirësive me zbatimin e Big Data, biznesi synon të rrisë investimet në këtë fushë. Sipas një studimi të Gartner, liderët e industrive që investojnë në Big Data janë kompanitë e medias, shitjes me pakicë, telekomit, bankave dhe shërbimeve.

Perspektivat për ndërveprimin e teknologjive të blockchain dhe Big Data

Integrimi me Big Data ka një efekt sinergjik dhe hap një gamë të gjerë mundësish të reja për biznesin, duke përfshirë lejimin e:

- merrni akses në informacione të detajuara në lidhje me preferencat e konsumatorit, mbi bazën e të cilave është e mundur të ndërtohen profile të detajuara analitike për furnitorë, mallra dhe përbërës të veçantë produkti;
- të integrojë të dhëna të detajuara për transaksionet dhe statistikat e konsumit të grupeve të caktuara të mallrave nga kategori të ndryshme përdoruesish;
- merrni të dhëna të hollësishme analitike për zinxhirët e furnizimit dhe konsumit, kontrolloni humbjet e produktit gjatë transportit (për shembull, humbje peshe për shkak të tharjes dhe avullimit të llojeve të caktuara të mallrave);
- për të luftuar falsifikimin e produkteve, për të rritur efektivitetin e luftës kundër pastrimit të parave dhe mashtrimit, etj.

Qasja në të dhëna të detajuara mbi përdorimin dhe konsumin e mallrave do të zbulojë ndjeshëm potencialin e teknologjisë Big Data për të optimizuar proceset kryesore të biznesit, për të zvogëluar rreziqet rregullatore dhe për të zbuluar mundësi të reja për fitimin e parave dhe krijimin e produkteve që do të përmbushin më së miri preferencat aktuale të konsumatorëve.

Siç e dini, përfaqësuesit e institucioneve më të mëdha financiare, duke përfshirë, etj., tashmë po tregojnë interes të konsiderueshëm për teknologjinë blockchain. Sipas Oliver Bussmann, menaxher IT i Holdingut financiar zviceran UBS, teknologjia blockchain është në gjendje të "zvogëlojë kohën e përpunimit të transaksione nga disa ditë deri në disa minuta." ...

Potenciali i analizës së blockchain duke përdorur teknologjinë Big Data është i madh. Teknologjia e librit të shpërndarë siguron integritetin e informacionit, si dhe ruajtjen e besueshme dhe transparente të të gjithë historisë së transaksioneve. Big Data, nga ana tjetër, ofron mjete të reja për analiza efektive, parashikime, modelim ekonomik dhe, në përputhje me rrethanat, hap mundësi të reja për marrjen e vendimeve më të balancuara të menaxhimit.

Tandemi i blockchain dhe Big Data mund të përdoret me sukses në kujdesin shëndetësor. Siç e dini, të dhënat e papërsosura dhe jo të plota për shëndetin e pacientit rrisin ndjeshëm rrezikun e diagnozës së gabuar dhe trajtimit të gabuar. Të dhënat kritike për shëndetin e klientëve të institucioneve mjekësore duhet të jenë sa më të sigurta, të kenë veti të pandryshueshme, të verifikueshme dhe të mos jenë objekt i asnjë manipulimi.

Informacioni në blockchain plotëson të gjitha kërkesat e listuara dhe mund të shërbejë si të dhëna fillestare me cilësi të lartë dhe të besueshme për analiza të thelluara duke përdorur teknologjitë e reja Big Data. Përveç kësaj, me ndihmën e blockchain, institucionet mjekësore do të jenë në gjendje të shkëmbejnë të dhëna të besueshme me kompanitë e sigurimit, autoritetet e drejtësisë, punëdhënësit, institucionet shkencore dhe organizatat e tjera që kanë nevojë për informacion mjekësor.

Siguria e të dhënave të mëdha dhe informacionit

Në një kuptim të gjerë, siguria e informacionit është mbrojtja e informacionit dhe e infrastrukturës mbështetëse nga ndikimet negative aksidentale ose të qëllimshme të natyrës natyrore ose artificiale.

Në fushën e sigurisë së informacionit, Big Data përballet me sfidat e mëposhtme:

- problemet e mbrojtjes së të dhënave dhe sigurimit të integritetit të tyre;
- rreziku i ndërhyrjeve të jashtme dhe rrjedhjes së informacionit konfidencial;
- ruajtja jo e duhur e informacionit konfidencial;
- rreziku i humbjes së informacionit, për shembull, për shkak të veprimeve me qëllim të keq të dikujt;
- rreziku i keqpërdorimit të të dhënave personale nga palët e treta, etj.

Një nga problemet kryesore të të dhënave të mëdha që blockchain është krijuar për të zgjidhur qëndron në fushën e sigurisë së informacionit. Duke siguruar përputhshmërinë me të gjitha parimet e tij bazë, teknologjia e librit të shpërndarë mund të garantojë integritetin dhe besueshmërinë e të dhënave, dhe për shkak të mungesës së një pike të vetme dështimi, blockchain e bën funksionimin e sistemeve të informacionit të qëndrueshëm. Teknologjia e librit të shpërndarë mund të ndihmojë në zgjidhjen e problemit të besimit të të dhënave, si dhe të sigurojë aftësinë për t'i shkëmbyer ato në mënyrë universale.

Informacioni është një aset i vlefshëm, që do të thotë se sigurimi i aspekteve kryesore të sigurisë së informacionit duhet të jetë në plan të parë. Për t'i mbijetuar konkurrencës, kompanitë duhet të mbajnë ritmin me kohën, që do të thotë se ato nuk mund të injorojnë mundësitë dhe avantazhet e mundshme që ofrojnë teknologjia e blockchain dhe mjetet e Big Data.

Vetëm dembelët nuk flasin për të dhëna të mëdha, por çfarë është dhe si funksionon nuk ka gjasa të kuptojë. Le të fillojmë me terminologjinë më të thjeshtë. Duke folur në Rusisht, Big Data është një larmi mjetesh, qasjesh dhe metodash për përpunimin e të dhënave të strukturuara dhe të pastrukturuara në mënyrë që t'i përdorin ato për detyra dhe qëllime specifike.

Të dhënat e pastrukturuara janë informacione që nuk kanë strukturë të paracaktuar ose nuk janë të organizuara në një renditje të caktuar.

Termi "të dhëna të mëdha" u krijua nga redaktori i revistës Nature Clifford Lynch në vitin 2008 në një numër special kushtuar rritjes shpërthyese të vëllimeve të informacionit në botë. Edhe pse, natyrisht, vetë të dhënat e mëdha ekzistonin më parë. Sipas ekspertëve, shumica e transmetimeve të të dhënave mbi 100 GB në ditë i përkasin kategorisë Big Data.

Lexoni gjithashtu:

Sot, ky term i thjeshtë fsheh vetëm dy fjalë - ruajtjen dhe përpunimin e të dhënave.

Të dhëna të mëdha - me fjalë të thjeshta

Në botën moderne, të dhënat e mëdha janë një fenomen socio-ekonomik, i cili shoqërohet me faktin se janë shfaqur mundësi të reja teknologjike për analizimin e një sasie të madhe të dhënash.

Lexoni gjithashtu:

Për lehtësinë e të kuptuarit, imagjinoni një supermarket në të cilin të gjitha mallrat nuk janë në rendin tuaj të zakonshëm. Bukë pranë frutave, paste domate pranë picës së ngrirë, çakmak përpara një rafti tamponi që përmban avokado, tofu ose kërpudha shiitake, ndër të tjera. Big data vendos gjithçka në vendin e vet dhe ju ndihmon të gjeni qumështin e arrave, të zbuloni koston dhe datën e skadencës, si dhe kush përveç jush e blen këtë qumësht dhe pse është më i mirë se qumështi i lopës.

Kenneth Kukier: Të dhënat e mëdha janë të dhënat më të mira

Teknologjia e të dhënave të mëdha

Sasi të mëdha të dhënash përpunohen në mënyrë që një person të mund të marrë rezultate specifike dhe të nevojshme për përdorimin e tyre të mëtejshëm efektiv.

Lexoni gjithashtu:

Në fakt, të dhënat e mëdha janë një zgjidhje e problemeve dhe alternativë ndaj sistemeve tradicionale të menaxhimit të të dhënave.

Teknikat dhe metodat e analizës të zbatueshme për të dhënat e mëdha sipas McKinsey:

• Crowdsourcing;

  Përzierja dhe integrimi i të dhënave;

  Mësimi i makinerisë;

  Rrjetet neurale artificiale;

  Njohja e modelit;

  Analiza parashikuese;

  Modelimi simulues;

  Analiza hapësinore;

  Analiza statistikore;

• Vizualizimi i të dhënave analitike.

Shkallueshmëria horizontale që mundëson përpunimin e të dhënave është një parim themelor i përpunimit të të dhënave të mëdha. Të dhënat shpërndahen në nyjet llogaritëse dhe përpunimi ndodh pa degradim të performancës. McKinsey përfshiu gjithashtu sistemet e menaxhimit relacional dhe Inteligjenca e Biznesit në kontekstin e zbatueshmërisë.

Teknologjitë:

• NoSQL;
• MapReduce;
• Hadoop;
• Zgjidhjet e harduerit.

Lexoni gjithashtu:

Për të dhënat e mëdha, ekzistojnë karakteristika tradicionale përcaktuese të zhvilluara nga Meta Group në vitin 2001, të cilat quhen " Tre V»:

1. Vëllimi- madhësia e vëllimit fizik.
2. Shpejtësia- shpejtësia e rritjes dhe nevoja për përpunim të shpejtë të të dhënave për të marrë rezultate.
3. Shumëllojshmëri- aftësia për të përpunuar njëkohësisht lloje të ndryshme të dhënash.

Të dhëna të mëdha: aplikacione dhe mundësi

Është e pamundur të përpunohen vëllime të informacionit dixhital heterogjen dhe që vjen me shpejtësi me mjete tradicionale. Vetë analiza e të dhënave ju lejon të shihni modele të caktuara dhe të padukshme që një person nuk mund t'i shohë. Kjo na lejon të optimizojmë të gjitha fushat e jetës sonë - nga qeveria te prodhimi dhe telekomunikacioni.

Për shembull, disa kompani disa vite më parë mbronin klientët e tyre nga mashtrimi dhe kujdesi për paratë e klientit ishte kujdesi për paratë e tyre.

Susan Etleiger: Po në lidhje me të dhënat e mëdha?

Zgjidhje të mëdha të bazuara në të dhëna: Sberbank, Beeline dhe kompani të tjera

Beeline ka një sasi të madhe të dhënash për abonentët, të cilat ata i përdorin jo vetëm për të punuar me ta, por edhe për të krijuar produkte analitike, të tilla si konsultimi i jashtëm ose analitika IPTV. Beeline segmentoi bazën e të dhënave dhe mbrojti klientët nga mashtrimet e parave dhe viruset, duke përdorur HDFS dhe Apache Spark për ruajtje dhe Rapidminer dhe Python për përpunimin e të dhënave.

Lexoni gjithashtu:

Ose mbani mend Sberbank me rastin e tyre të vjetër të quajtur AS SAFI. Është një sistem që analizon fotografitë për të identifikuar klientët e bankës dhe parandalon mashtrimin. Sistemi u prezantua në vitin 2014, në zemër të sistemit është një krahasim i fotografive nga baza e të dhënave, të cilat arrijnë atje nga kamerat e internetit në raftet falë vizionit kompjuterik. Baza e sistemit është një platformë biometrike. Falë kësaj, rastet e mashtrimit janë ulur me 10 herë.

Të dhëna të mëdha në botë

Deri në vitin 2020, sipas parashikimeve, njerëzimi do të gjenerojë 40-44 zetabajt informacion. Dhe deri në vitin 2025 do të rritet 10 herë, sipas raportit The Data Age 2025, i cili u përgatit nga analistët në IDC. Raporti thekson se shumica e të dhënave do të gjenerohen nga vetë bizneset, jo nga konsumatorët.

Analistët e kërkimit besojnë se të dhënat do të bëhen një aset jetik dhe siguria do të bëhet një bazë kritike në jetë. Autorët e veprës janë gjithashtu të sigurt se teknologjia do të ndryshojë peizazhin ekonomik dhe përdoruesi mesatar do të komunikojë me pajisjet e lidhura rreth 4800 herë në ditë.

Tregu i madh i të dhënave në Rusi

Në mënyrë tipike, të dhënat e mëdha vijnë nga tre burime:

• Internet (rrjete sociale, forume, blogje, media dhe faqe të tjera);
• arkivat e korporatave të dokumenteve;
• Lexime nga sensorë, instrumente dhe pajisje të tjera.

Të dhëna të mëdha në banka

Përveç sistemit të përshkruar më sipër, në strategjinë e Sberbank për 2014-2018. flet për rëndësinë e analizimit të sasive masive të të dhënave për shërbim cilësor ndaj klientit, menaxhimin e rrezikut dhe optimizimin e kostos. Tani banka përdor të dhëna të mëdha për menaxhimin e rrezikut, luftimin e mashtrimit, segmentimin dhe vlerësimin e besueshmërisë së klientit, menaxhimin e personelit, parashikimin e radhëve në degë, llogaritjen e bonuseve për punonjësit dhe detyra të tjera.

VTB24 përdor të dhëna të mëdha për të segmentuar dhe menaxhuar largimin e klientëve, për të gjeneruar pasqyra financiare, për të analizuar rishikimet në rrjetet sociale dhe forumet. Për ta bërë këtë, ai përdor zgjidhjet Teradata, SAS Visual Analytics dhe SAS Marketing Optimizer.

"Të dhënat e mëdha"- një temë që diskutohet në mënyrë aktive nga kompanitë e teknologjisë. Disa prej tyre arritën të zhgënjehen me të dhënat e mëdha, të tjerët - përkundrazi, i shfrytëzojnë sa më shumë për biznesin ... Një përmbledhje e re analitike e tregut vendas dhe global të Big Data, përgatitur nga Exchange Moscow në bashkëpunim me analistët IPOboard , tregon se cilat tendenca janë më të rëndësishme tani në treg ... Shpresojmë që informacioni të jetë interesant dhe i dobishëm.

ÇFARË ËSHTË BIG DATA?

Karakteristikat kryesore

Big Data, sot, është një nga shtytësit kryesorë të zhvillimit të teknologjisë së informacionit. Ky drejtim, relativisht i ri për biznesin rus, është bërë i përhapur në vendet perëndimore. Kjo për faktin se në epokën e teknologjisë së informacionit, veçanërisht pas bumit të rrjeteve sociale, një sasi e konsiderueshme informacioni filloi të grumbullohej për çdo përdorues të internetit, gjë që në fund i dha zhvillimit të drejtimit të Big Data.

Termi "Big Data" shkakton shumë polemika, shumë besojnë se ai nënkupton vetëm sasinë e informacionit të grumbulluar, por mos harroni për anën teknike, kjo fushë përfshin teknologjitë e ruajtjes, informatikë, si dhe shërbime.

Duhet të theksohet se kjo fushë përfshin përpunimin e një sasie të madhe informacioni, i cili është i vështirë për t'u përpunuar duke përdorur metodat tradicionale *.

Më poshtë është një tabelë krahasuese e bazës tradicionale dhe asaj të madhe të të dhënave.

Sfera e të dhënave të mëdha karakterizohet nga karakteristikat e mëposhtme:
Vëllimi - vëllimi i bazës së të dhënave të akumuluar është një sasi e madhe informacioni që është e mundimshme për t'u përpunuar dhe ruajtur në mënyra tradicionale, ato kërkojnë një qasje të re dhe mjete të përmirësuara.
Shpejtësia - shpejtësia, kjo shenjë tregon si shpejtësinë në rritje të akumulimit të të dhënave (90% e informacionit është mbledhur gjatë 2 viteve të fundit), dhe shpejtësinë e përpunimit të të dhënave, kohët e fundit, teknologjitë e përpunimit të të dhënave në kohë reale janë bërë më të kërkuara.
Shumëllojshmëri - diversiteti, d.m.th. mundësia e përpunimit të njëkohshëm të informacionit shumëformat të strukturuar dhe të pastrukturuar. Dallimi kryesor midis informacionit të strukturuar është se ai mund të klasifikohet. Një shembull i një informacioni të tillë është informacioni i transaksionit të klientit.
Informacioni i pastrukturuar përfshin video, skedarë audio, tekst falas, informacione që vijnë nga rrjetet sociale. Sot 80% e informacionit përfshihet në grupin e pastrukturuar. Ky informacion ka nevojë për analiza komplekse për ta bërë atë të dobishëm për përpunim të mëtejshëm.
Vërtetësia - besueshmëria e të dhënave, përdoruesit filluan t'i kushtojnë gjithnjë e më shumë rëndësi besueshmërisë së të dhënave të disponueshme. Për shembull, kompanitë e internetit kanë një problem të ndarjes së veprimeve të kryera nga një robot dhe një person në faqen e internetit të kompanisë, gjë që përfundimisht çon në vështirësinë e analizës së të dhënave.
Vlera - vlera e informacionit të grumbulluar. Të dhënat e mëdha duhet të jenë të dobishme për kompaninë dhe t'i sjellin njëfarë vlere asaj. Për shembull, ndihmoni në përmirësimin e proceseve të biznesit, raportimin ose optimizimin e kostove.

Nëse plotësohen 5 kushtet e mësipërme, vëllimet e të dhënave të grumbulluara mund të klasifikohen si të mëdha.

Fushat e aplikimit të të dhënave të mëdha

Sfera e përdorimit të teknologjive Big Data është e gjerë. Pra, me ndihmën e Big Data, mund të mësoni për preferencat e klientëve, efektivitetin e fushatave të marketingut ose të bëni një analizë rreziku. Më poshtë janë rezultatet e një sondazhi të Institutit IBM mbi përdorimin e të dhënave të mëdha në kompani.

Siç mund ta shihni nga diagrami, shumica e kompanive përdorin Big Data në fushën e shërbimit ndaj klientit, fusha e dytë më e njohur është efikasiteti operacional, në fushën e menaxhimit të rrezikut Big Data është më pak e zakonshme për momentin.

Duhet të theksohet gjithashtu se Big Data është një nga fushat me rritje më të shpejtë të teknologjisë së informacionit, sipas statistikave, sasia totale e të dhënave të marra dhe të ruajtura dyfishohet çdo 1.2 vjet.
Midis 2012 dhe 2014, sasia e të dhënave të transferuara mujore nga rrjetet celulare u rrit me 81%. Sipas vlerësimeve të Cisco, në vitin 2014 vëllimi i trafikut celular ishte 2.5 ekzabajt (një njësi matëse për sasinë e informacionit të barabartë me 10 ^ 18 bajt standard) në muaj, dhe tashmë në 2019 do të jetë i barabartë me 24.3 ekzabajt.
Kështu, Big Data është tashmë një fushë teknologjike e konsoliduar mirë, pavarësisht moshës relativisht të re, e cila është përhapur në shumë fusha të biznesit dhe luan një rol të rëndësishëm në zhvillimin e kompanive.

Big Data Technologies

Teknologjitë e përdorura për mbledhjen dhe përpunimin e të dhënave të mëdha mund të ndahen në 3 grupe:

• Software;
• pajisje;
• Shërbimet e shërbimit.

Qasjet më të zakonshme të përpunimit të të dhënave (softuerike) përfshijnë:
SQL - një gjuhë e strukturuar e pyetjeve që ju lejon të punoni me bazat e të dhënave. Me ndihmën e SQL, ju mund të krijoni dhe modifikoni të dhëna, dhe sistemi përkatës i menaxhimit të bazës së të dhënave merret me menaxhimin e grupit të të dhënave.
NoSQL - termi qëndron për Jo Only SQL (jo vetëm SQL). Ai përfshin një numër qasjesh që synojnë zbatimin e një baze të dhënash që ndryshojnë nga modelet e përdorura në DBMS tradicionale relacionale. Ato janë të përshtatshme për t'u përdorur kur struktura e të dhënave ndryshon vazhdimisht. Për shembull, për të mbledhur dhe ruajtur informacione në rrjetet sociale.
MapReduce - modeli i shpërndarjes llogaritëse. Përdoret për llogaritje paralele në grupe të dhënash shumë të mëdha (petabytes * ose më shumë). Në ndërfaqen e programimit, jo të dhënat transferohen në program për përpunim, por programi transferohet në të dhëna. Prandaj, kërkesa është një program më vete. Parimi i funksionimit konsiston në përpunimin sekuencial të të dhënave me dy metoda Harto dhe Redukto. Harta merr të dhëna paraprake, Redukto i bashkon ato.
Hadoop - përdoret për të zbatuar mekanizmat e kërkimit dhe kontekstual të faqeve me ngarkesë të lartë - Facebook, eBay, Amazon, etj. Një tipar dallues është se sistemi është i mbrojtur nga dështimi i ndonjë prej nyjeve të grupimit, pasi çdo bllok ka të paktën një kopje të të dhënat në nyjen tjetër.
SAP HANA Është një platformë NewSQL me performancë të lartë për ruajtjen dhe përpunimin e të dhënave. Ofron shpejtësi të lartë të përpunimit të kërkesave. Një tipar tjetër dallues është se SAP HANA thjeshton peizazhin e sistemit duke ulur koston e mbështetjes së sistemeve analitike.

Pajisjet teknologjike përfshijnë:

• serverë;
• pajisje infrastrukturore.

Serverët përfshijnë dyqane të dhënash.
Pajisjet e infrastrukturës përfshijnë përshpejtuesit e platformës, furnizimet me energji të pandërprerë, kompletet e konsolës së serverit, etj.

Shërbimet e shërbimit.
Shërbimet përfshijnë shërbime për ndërtimin e arkitekturës së sistemit të bazës së të dhënave, rregullimin dhe optimizimin e infrastrukturës dhe sigurimin e sigurisë së ruajtjes së të dhënave.

Softueri, hardueri dhe shërbimet së bashku formojnë platforma komplekse për ruajtjen dhe analizimin e të dhënave. Kompani të tilla si Microsoft, HP, EMC ofrojnë shërbime për zhvillimin, vendosjen dhe menaxhimin e zgjidhjeve të Big Data.

Aplikimi në industri

Të dhënat e mëdha janë bërë të përhapura në shumë industri. Ato përdoren në kujdesin shëndetësor, telekomunikacionin, tregtinë, logjistikën, kompanitë financiare dhe qeverinë.
Më poshtë janë disa shembuj të aplikacioneve të të dhënave të mëdha në disa nga industritë.

Shitje me pakicë
Në bazat e të dhënave të dyqaneve me pakicë, mund të grumbullohen shumë informacione për klientët, sistemin e menaxhimit të inventarit dhe furnizimin e produkteve të tregtueshme. Ky informacion mund të jetë i dobishëm në të gjitha zonat e dyqaneve.

Pra, me ndihmën e informacionit të grumbulluar, ju mund të menaxhoni furnizimin e mallrave, ruajtjen dhe shitjen e tyre. Bazuar në informacionin e grumbulluar, është e mundur të parashikohet kërkesa dhe oferta e mallrave. Gjithashtu, sistemi i përpunimit dhe analizës së të dhënave mund të zgjidhë probleme të tjera të shitësit me pakicë, për shembull, për të optimizuar kostot ose për të përgatitur raporte.

Shërbimet financiare
Big Data bën të mundur analizimin e aftësisë kreditore të një huamarrësi dhe është gjithashtu i dobishëm për vlerësimin e kredisë * dhe nënshkrimin **. Futja e teknologjive Big Data do të reduktojë kohën për shqyrtimin e kërkesave për kredi. Me ndihmën e Big Data, ju mund të analizoni transaksionet e një klienti specifik dhe të ofroni shërbime bankare të përshtatshme për të.

Telekom
Në industrinë e telekomunikacionit, Big Data përdoret gjerësisht nga operatorët celularë.
Operatorët celularë, së bashku me institucionet financiare, kanë një nga bazat e të dhënave më voluminoze, e cila u lejon atyre të bëjnë analizën më të thelluar të informacionit të grumbulluar.
Qëllimi kryesor i analizës së të dhënave është të mbajë klientët ekzistues dhe të tërheqë të rinj. Për ta bërë këtë, kompanitë segmentojnë klientët, analizojnë trafikun e tyre dhe përcaktojnë përkatësinë sociale të pajtimtarit.

Përveç përdorimit të të dhënave të mëdha për qëllime marketingu, teknologjitë përdoren për të parandaluar transaksionet financiare mashtruese.

Industria minerare dhe e naftës
Big Data përdoret si në miniera, ashtu edhe në përpunim dhe marketing. Bazuar në informacionin e marrë, ndërmarrjet mund të nxjerrin përfundime në lidhje me efektivitetin e zhvillimit në terren, të ndjekin orarin e riparimeve dhe gjendjen e pajisjeve, të parashikojnë kërkesën për produkte dhe çmime.

Sipas një sondazhi të Tech Pro Research, Big Data është më i përhapuri në industrinë e telekomunikacionit, si dhe në inxhinieri, IT, financiare dhe ndërmarrjet qeveritare. Sipas rezultateve të këtij sondazhi, Big Data është më pak e popullarizuar në arsim dhe shëndetësi. Rezultatet e anketës janë paraqitur më poshtë:

Shembuj të përdorimit të të dhënave të mëdha në kompani

Sot Big Data po zbatohet në mënyrë aktive në kompani të huaja. Kompani të tilla si Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks dhe Netflix tashmë po përdorin Big Data.

Fushat e aplikimit të informacionit të përpunuar janë të ndryshme dhe ndryshojnë në varësi të industrisë dhe detyrave që do të kryhen.
Shembuj të mëtejshëm të aplikimit të teknologjive të Big Data në praktikë do të paraqiten.

HSBC përdor teknologjitë e të dhënave të mëdha për të luftuar transaksionet mashtruese me kartat plastike. Me ndihmën e Big Data, kompania rriti efikasitetin e shërbimit të sigurisë 3 herë, dhe zbulimin e incidenteve mashtruese - 10 herë. Efekti ekonomik nga futja e këtyre teknologjive i kaloi 10 milionë USD.

Kundër mashtrimit * VIZA lejon llogaritjen automatike të transaksioneve mashtruese, sistemi aktualisht ndihmon në parandalimin e pagesave mashtruese në vlerën 2 miliardë dollarë në vit.

Superkompjuteri Watson Company IBM analizon rrjedhën e të dhënave për transaksionet monetare në kohë reale. Sipas IBM, Watson rriti numrin e transaksioneve mashtruese të zbuluara me 15%, zvogëloi rezultatet false me 50% dhe rriti shumën e fondeve të mbrojtura nga transaksione të tilla me 60%.

Procter & Gamble me ndihmën e Big Data, ata hartojnë produkte të reja dhe hartojnë fushata marketingu globale. P&G ka krijuar zyra të dedikuara Business Spheres ku informacioni mund të shikohet në kohë reale.
Kështu, menaxhmenti i kompanisë ishte në gjendje të testonte menjëherë hipotezat dhe të kryente eksperimente. P&G beson se Big Data ndihmon në parashikimin e performancës së kompanisë.

Shitës me pakicë për furnizime zyre OfficeMax duke përdorur teknologjitë e të dhënave të mëdha, ata analizojnë sjelljen e klientit. Analiza e të dhënave të mëdha na lejoi të rrisim të ardhurat nga B2B me 13% dhe të reduktojmë kostot me 400,000 USD në vit.

Sipas mendimit vemje , distributorët e saj humbasin 9 miliardë deri në 18 miliardë dollarë në vit fitim vetëm sepse nuk zbatojnë teknologjitë e të dhënave të mëdha. Big Data do t'i lejojë klientët të menaxhojnë në mënyrë më efikase flotën e tyre të makinave duke analizuar informacionin që vjen nga sensorët e instaluar në makina.

Sot tashmë është e mundur të analizohet gjendja e komponentëve kryesorë, shkalla e konsumimit të tyre, të menaxhohen kostot e karburantit dhe të mirëmbajtjes.

Grupi Luxottica është një prodhues i syzeve sportive si Ray-Ban, Persol dhe Oakley. Kompania përdor teknologjitë Big Data për të analizuar sjelljen e klientëve të mundshëm dhe marketingun "inteligjent" të SMS-ve. Si rezultat, grupi Big Data Luxottica ndau më shumë se 100 milionë nga klientët më të vlefshëm dhe rriti efektivitetin e fushatës së marketingut me 10%.

Me ndihmën e Yandex Data Factory, zhvilluesit e lojërave Bota e tankeve analizoni sjelljen e lojtarëve. Teknologjitë e të dhënave të mëdha bënë të mundur analizimin e sjelljes së 100 mijë lojtarëve të World of Tanks duke përdorur më shumë se 100 parametra (informacione rreth blerjeve, lojërave, përvojës, etj.). Si rezultat i analizës, u mor një parashikim i dyndjes së përdoruesit. Ky informacion ndihmon për të reduktuar largimin e përdoruesve dhe për të punuar me pjesëmarrësit e lojës në një mënyrë të synuar. Modeli i zhvilluar doli të ishte 20-30% më efikas se mjetet standarde për analizimin e industrisë së lojrave.

Ministria Gjermane e Punës përdor Big Data në punën e tij në lidhje me analizën e aplikacioneve të ardhura për dhënien e përfitimeve të papunësisë. Pra, pas analizimit të informacionit, u bë e qartë se 20% e përfitimeve ishin paguar në mënyrë të pamerituar. Me ndihmën e Big Data, Ministria e Punës ka ulur kostot me 10 miliardë euro.

Spitali i Fëmijëve në Toronto zbatoi projektin Project Artemis. Është një sistem informacioni që mbledh dhe analizon të dhënat për foshnjat në kohë reale. Sistemi monitoron 1260 tregues të gjendjes së çdo fëmije çdo sekondë. Projekti Artemis bën të mundur parashikimin e gjendjes së paqëndrueshme të një fëmije dhe fillimin e parandalimit të sëmundjeve tek fëmijët.

PËRMBLEDHJE E TREGUT GLOBAL TË MADH TË TË DHËNAVE

Gjendja aktuale e tregut botëror

Në vitin 2014, Big Data, sipas Data Collective, u bë një nga fushat prioritare të investimeve në industrinë e kapitalit sipërmarrës. Sipas portalit informativ Computerra, kjo për faktin se zhvillimet në këtë fushë kanë filluar të sjellin rezultate të ndjeshme për përdoruesit e tyre. Gjatë vitit të kaluar, numri i kompanive me projekte të realizuara në fushën e menaxhimit të të dhënave të mëdha është rritur me 125%, vëllimi i tregut është rritur me 45% krahasuar me vitin 2013.

Pjesa më e madhe e të ardhurave të tregut të Big Data, sipas Wikibon, në vitin 2014 përbëhej nga shërbimet, pjesa e tyre ishte e barabartë me 40% të të ardhurave totale (shih diagramin më poshtë):

Nëse marrim parasysh Big Data për vitin 2014 sipas nënllojeve, atëherë tregu do të duket kështu:

Sipas Wikibon, aplikacionet dhe analitika përbëjnë 36% të të ardhurave të Big Data në 2014-n, vijnë nga aplikacionet dhe analitika e Big Data, 17% nga pajisjet kompjuterike dhe 15% nga teknologjitë e ruajtjes së të dhënave. Më së paku nga të gjitha të ardhurat u gjeneruan nga teknologjitë NoSQL, pajisjet e infrastrukturës dhe ofrimi i një rrjeti kompanish (rrjetet e korporatave).

Më të njohurat janë teknologji të tilla Big Data si platformat në memorie të SAP, HANA, Oracle, etj. Rezultatet e sondazhit të T-Systems treguan se ato u zgjodhën nga 30% e kompanive të anketuara. E dyta më e njohura ishin platformat NoSQL (18% e përdoruesve), kompanitë përdorën gjithashtu platforma analitike nga Splunk dhe Dell, ato u zgjodhën nga 15% e kompanive. Më pak të dobishmet për zgjidhjen e problemeve të Big Data, sipas rezultateve të sondazhit, ishin produktet Hadoop / MapReduce.

Sipas një sondazhi të Accenture, më shumë se 50% e kompanive që përdorin teknologjitë e të dhënave të mëdha shpenzojnë 21% deri në 30% në Big Data.
Sipas analizës së mëposhtme nga Accenture, 76% e kompanive besojnë se këto shpenzime do të rriten në vitin 2015 dhe 24% e kompanive nuk do të ndryshojnë buxhetin e tyre për teknologjitë Big Data. Kjo sugjeron që në këto kompani Big Data është bërë tashmë një drejtim i themeluar i IT-së, i cili është bërë pjesë integrale e zhvillimit të kompanisë.

Rezultatet e sondazhit të Economist Intelligence Unit konfirmojnë efektin pozitiv të zbatimit të Big Data. 46% e kompanive thonë se kanë përmirësuar shërbimin ndaj klientit me më shumë se 10% duke përdorur teknologjitë e Big Data, 33% e kompanive kanë optimizuar inventarin dhe kanë përmirësuar produktivitetin e aktiveve fikse, 32% e kompanive kanë përmirësuar proceset e planifikimit.

Të dhëna të mëdha në mbarë botën

Sot teknologjitë Big Data zbatohen më shpesh në kompanitë amerikane, por edhe tani vendet e tjera të botës kanë filluar të shfaqin interes. Në vitin 2014, sipas IDC, vendet e Evropës, Lindjes së Mesme, Azisë (me përjashtim të Japonisë) dhe Afrikës përbënin 45% të tregut për softuer, shërbime dhe pajisje në fushën e të dhënave të mëdha.

Gjithashtu, sipas një sondazhi të CIO, kompanitë nga rajoni Azi-Paqësor po miratojnë me shpejtësi zgjidhje të reja në fushën e analizës së të dhënave të mëdha, ruajtjes së sigurt dhe teknologjive cloud. Amerika Latine është në vendin e dytë për nga sasia e investimeve në zhvillimin e teknologjive Big Data, përpara vendeve të Evropës dhe Shteteve të Bashkuara.
Më pas do të prezantohet një përshkrim dhe parashikime të zhvillimit të tregut të Big Data në disa vende.

Kinë
Sasia e informacionit në Kinë është 909 ekzabajt, që është e barabartë me 10% të sasisë totale të informacionit në botë, deri në vitin 2020 sasia e informacionit do të arrijë në 8060 ekzabajt, dhe pjesa e informacionit në statistikat globale do të rritet gjithashtu. 5 vjet do të jetë 18%. Rritja e mundshme e Big Data të Kinës ka një nga dinamikat me rritje më të shpejtë.

Brazili
Në fund të vitit 2014, Brazili grumbulloi 212 ekzabajt informacione, që është 3% e vëllimit global. Deri në vitin 2020, vëllimi i informacionit do të rritet në 1600 ekzabajt, ose 4% e informacionit botëror.

Indi
Sipas EMC, vëllimi i të dhënave të grumbulluara në Indi në fund të vitit 2014 është 326 ekzabajt, që është 5% e vëllimit të përgjithshëm të informacionit. Deri në vitin 2020, vëllimi i informacionit do të rritet në 2800 ekzabajt, ose 6% e informacionit në të gjithë botën.

Japonia
Sasia e të dhënave të grumbulluara në Japoni në fund të vitit 2014 është 495 ekzabajt, që është 8% e sasisë totale të informacionit. Deri në vitin 2020, vëllimi i informacionit do të rritet në 2200 ekzabajt, por pjesa e tregut të Japonisë do të ulet në 5% të vëllimit të përgjithshëm të informacionit në të gjithë botën.
Kështu, madhësia e tregut japonez do të ulet me më shumë se 30%.

Gjermania
Sipas EMC, vëllimi i të dhënave të grumbulluara në Gjermani në fund të vitit 2014 është 230 ekzabajt, që është 4% e vëllimit të përgjithshëm të informacionit në botë. Deri në vitin 2020, vëllimi i informacionit do të rritet në 1,100 ekzabajt, ose 2%.
Në tregun gjerman, një pjesë e madhe e të ardhurave, sipas parashikimeve të Experton Group, do të gjenerohet nga segmenti i shërbimeve, pjesa e të cilit në vitin 2015 do të jetë 54%, dhe në 2019 do të rritet në 59%, pjesa e softuerit. dhe pajisja, përkundrazi, do të ulet.

Në përgjithësi, tregu do të rritet nga 1,345 miliardë euro në 2015 në 3,198 miliardë euro në 2019, me një normë mesatare rritjeje prej 24%.
Kështu, bazuar në analitikën CIO dhe EMC, mund të konkludohet se vendet në zhvillim të botës në vitet e ardhshme do të bëhen tregje për zhvillimin aktiv të teknologjive Big Data.

Tendencat kryesore të tregut

Sipas IDG Enterprise, në vitin 2015 shpenzimet e kompanive për Big Data do të arrijnë mesatarisht 7.4 milionë USD për kompani, kompanitë e mëdha synojnë të shpenzojnë rreth 13.8 milionë USD, kompanitë e vogla dhe të mesme - 1.6 milionë USD.
Shumica do të investohen në fusha të tilla si analiza dhe vizualizimi i të dhënave dhe mbledhja e të dhënave.
Në përputhje me tendencat aktuale dhe kërkesën e tregut, investimet në vitin 2015 do të përdoren për të përmirësuar cilësinë e të dhënave, për të përmirësuar planifikimin dhe parashikimin dhe për të rritur shpejtësinë e përpunimit të të dhënave.
Kompanitë në sektorin financiar, sipas Analizës së Insights të Bain Company, do të bëjnë investime të konsiderueshme, kështu që në vitin 2015 është planifikuar të shpenzohen 6.4 miliardë dollarë në teknologjitë e Big Data, norma mesatare e rritjes së investimeve do të jetë 22% deri në vitin 2020. Kompanitë e internetit planifikojnë të shpenzojnë 2.8 miliardë dollarë, me një rritje mesatare prej 26% për shpenzimet e Big Data.
Gjatë kryerjes së një sondazhi nga sondazhi i Economist Intelligence Unit, u identifikuan drejtimet prioritare për zhvillimin e Big Data në 2014 dhe në 3 vitet e ardhshme, shpërndarja e përgjigjeve është si më poshtë:

Sipas parashikimeve të IDC, tendencat e tregut janë si më poshtë:

• Në 5 vitet e ardhshme, kostoja e zgjidhjeve cloud në fushën e teknologjive të Big Data do të rritet 3 herë më shpejt se kostoja e zgjidhjeve në mjedise. Platformat hibride të ruajtjes do të jenë në kërkesë.
• Rritja e aplikacioneve që përdorin analitikë komplekse dhe parashikuese, duke përfshirë mësimin e makinerive, do të përshpejtohet në vitin 2015, tregu për aplikacione të tilla do të rritet 65% më shpejt se aplikacionet që nuk përdorin analitikë parashikuese.
• Analitika e medias do të trefishohet në 2015 dhe do të bëhet një shtytës kryesor i rritjes për tregun e teknologjisë Big Data.
• Tendenca do të përshpejtohet për të zbatuar zgjidhje për të analizuar rrjedhën e vazhdueshme të informacionit që është e zbatueshme në Internetin e Gjërave.
• Deri në vitin 2018, 50% e përdoruesve do të ndërveprojnë me shërbimet e informatikës njohëse.

Drejtuesit dhe Kufizuesit e Tregut

Ekspertët e IDC identifikuan 3 drejtues të tregut të të dhënave të mëdha në 2015:

Sipas një sondazhi të Accenture, çështjet e sigurisë së të dhënave janë tani pengesa kryesore për zbatimin e teknologjive të të dhënave të mëdha, me më shumë se 51% e të anketuarve konfirmuan se janë të shqetësuar për sigurimin e mbrojtjes dhe konfidencialitetit të të dhënave. 47% e kompanive raportuan se ishte e pamundur të zbatoheshin Big Data për shkak të një buxheti të kufizuar, 41% e kompanive treguan si problem mungesën e personelit të kualifikuar.

Wikibon parashikon që madhësia e tregut të Big Data do të rritet në 38.4 miliardë dollarë në 2015 dhe do të rritet me 36% krahasuar me vitin e kaluar. Në vitet e ardhshme, do të ketë një rënie të ritmeve të rritjes në 10% në 2017. Bazuar në këto parashikime, madhësia e tregut në vitin 2020 do të jetë e barabartë me 68.7 miliardë dollarë.

Shpërndarja e tregut global të të dhënave të mëdha sipas kategorive të biznesit do të duket kështu:

Siç mund ta shihni nga diagrami, pjesa më e madhe e tregut do të zënë teknologjitë nga fusha e përmirësimit të shërbimit ndaj klientit. Marketingu i pikëve do të jetë në vendin e dytë për nga prioriteti midis kompanive deri në vitin 2019, në vitin 2020, sipas parashikimit të Heavy Reading, do t'i hapë rrugë zgjidhjeve për përmirësimin e efikasitetit operacional.
Segmenti “përmirësimi i shërbimit ndaj klientit” do të ketë gjithashtu normën më të lartë të rritjes, një rritje prej 49% në vit.
Parashikimi i tregut për nëntipet e të dhënave të mëdha do të duket kështu:

Pjesa mbizotëruese e tregut, siç shihet nga diagrami, është e zënë nga shërbimet profesionale; aplikacionet me analitikë do të kenë normën më të lartë të rritjes, pjesa e tyre do të rritet nga 12% aktuale në 18% në 2020, dhe vëllimi i këtij segmenti do të jetë e barabartë me 12.3 miliardë dollarë, pjesa e pajisjeve kompjuterike, përkundrazi, do të bjerë nga 20% në 14% dhe do të arrijë në rreth 9.3 miliardë dollarë në vitin 2020, tregu i teknologjisë cloud do të rritet gradualisht dhe në vitin 2020 do të arrijë në $ 6.3 miliardë dollarë, pjesa e tregut të zgjidhjeve për ruajtjen e të dhënave, përkundrazi, do të ulet nga 15% në 2014 në 13% në 2020 dhe në terma monetarë do të jetë e barabartë me 8.9 miliardë dollarë.
Sipas parashikimit të Analizës së Insights të Bain & Company, shpërndarja e tregut të të dhënave të mëdha sipas industrisë në vitin 2020 do të duket kështu:

• Industria financiare do të shpenzojë 6.4 miliardë dollarë në Big Data me një rritje mesatare prej 22% në vit;
• Kompanitë e internetit do të shpenzojnë 2.8 miliardë dollarë dhe një normë mesatare të rritjes së kostos prej 26% gjatë 5 viteve të ardhshme;
• Kostot e sektorit publik do të jenë në përpjesëtim me kostot e kompanive të internetit, por ritmi i rritjes do të jetë më i ulët - 22%;
• Sektori i telekomunikacionit do të rritet me një normë mesatare rritjeje prej 40% për të arritur në 1.2 miliardë dollarë në vitin 2020;

Ndërmarrjet komunale do të investojnë një sasi relativisht të vogël prej 800 milionë dollarësh në këto teknologji, por ritmi i rritjes do të jetë një nga më të lartat me 54% në vit.
Kështu, një pjesë e madhe e tregut të Big Data në vitin 2020 do të zënë kompanitë e industrisë financiare dhe sektori me rritje më të shpejtë do të jetë energjia.
Në vijim të parashikimeve të analistëve, vëllimi total i tregut do të rritet në vitet në vijim. Rritja e tregut do të sigurohet nga prezantimi i teknologjive Big Data në vendet në zhvillim të botës, siç mund të shihet nga grafiku i mëposhtëm.

Madhësia e parashikuar e tregut do të varet nga mënyra se si vendet në zhvillim i perceptojnë teknologjitë e të dhënave të mëdha, nëse ato janë po aq të njohura sa në vendet e zhvilluara. Në vitin 2014, vendet në zhvillim të botës përbënin 40% të informacionit të grumbulluar. EMC parashikon se struktura aktuale e tregut, e dominuar nga vendet e zhvilluara, do të ndryshojë në vitin 2017. Sipas analistëve të EMC, në vitin 2020 pjesa e vendeve në zhvillim do të jetë mbi 60%.
Sipas Cisco dhe EMC, vendet në zhvillim të botës do të jenë mjaft aktive në punën me Big Data, kryesisht për shkak të disponueshmërisë së teknologjive dhe akumulimit të një sasie të mjaftueshme informacioni në nivelin e Big Data. Harta botërore në faqen tjetër do të tregojë parashikimin për rritjen e volumit dhe normën e rritjes së Big Data sipas rajonit.

ANALIZA E TREGUT RUS

Gjendja aktuale e tregut rus

Sipas një studimi nga CNews Analytics dhe Oracle, niveli i pjekurisë së tregut rus të Big Data është rritur gjatë vitit të kaluar. Të anketuarit nga 108 ndërmarrje të mëdha në një gamë të gjerë industrish treguan një shkallë më të lartë të ndërgjegjësimit për këto teknologji, si dhe një kuptim të vendosur të potencialit të zgjidhjeve të tilla për biznesin e tyre.
Që nga viti 2014, sipas IDC, në Rusi janë grumbulluar 155 ekzabajt informacione, që është vetëm 1.8% e të dhënave botërore. Vëllimi i informacionit deri në vitin 2020 do të arrijë në 980 ekzabajt dhe do të marrë 2.2%. Kështu, norma mesatare e rritjes së vëllimit të informacionit do të jetë 36% në vit.
IDC vlerëson tregun rus në 340 milion dollarë, nga të cilat 100 milion dollarë janë zgjidhje SAP, afërsisht 240 milion dollarë janë zgjidhje të ngjashme nga Oracle, IBM, SAS, Microsoft, etj.
Shkalla e rritjes së tregut rus të të dhënave të mëdha nuk është më pak se 50% në vit.
Parashikohet se dinamika pozitive do të vazhdojë në këtë sektor të tregut rus të IT, edhe në kushtet e stagnimit të përgjithshëm të ekonomisë. Kjo për faktin se bizneset janë ende në kërkesë për zgjidhje që përmirësojnë efikasitetin operacional, si dhe optimizojnë kostot, përmirësojnë saktësinë e parashikimit dhe minimizojnë rreziqet e mundshme të kompanisë.
Ofruesit kryesorë të shërbimeve Big Data në tregun rus janë:

• Orakulli
• Microsoft
• Cloudera
• Hortonworks
• Teradata.

Pasqyrë e tregut sipas industrisë dhe përvoja e përdorimit të të dhënave të mëdha në kompani

Sipas CNews, në Rusi vetëm 10% e kompanive kanë filluar të përdorin teknologjitë Big Data, kur pjesa e kompanive të tilla në botë është rreth 30%. Gatishmëria për projektet e Big Data po rritet në shumë sektorë të ekonomisë ruse, sipas raportit të CNews Analytics dhe Oracle. Më shumë se një e treta e kompanive të anketuara (37%) kanë filluar të punojnë me teknologjitë e të dhënave të mëdha, ndër të cilat 20% tashmë përdorin zgjidhje të tilla dhe 17% kanë filluar të eksperimentojnë me to. Një e treta e dytë e të anketuarve aktualisht po e shqyrtojnë këtë mundësi.

Në Rusi, teknologjitë e të dhënave të mëdha janë më të njohura në sektorin bankar dhe telekomunikacion, por ato janë gjithashtu të kërkuara në industrinë e minierave, energjinë, shitjen me pakicë, kompanitë e logjistikës dhe sektorin publik.
Më poshtë do të shqyrtojmë shembuj të aplikimit të të dhënave të mëdha në realitetet ruse.

Telekom
Operatorët e telekomit kanë një nga bazat e të dhënave më voluminoze, e cila u lejon atyre të kryejnë analizën më të thellë të informacionit të grumbulluar.
Një nga fushat e aplikimit të teknologjisë Big Data është menaxhimi i besnikërisë së abonentëve.
Qëllimi kryesor i analizës së të dhënave është të mbajë klientët ekzistues dhe të tërheqë të rinj. Për ta bërë këtë, kompanitë segmentojnë klientët, analizojnë trafikun e tyre dhe përcaktojnë përkatësinë sociale të pajtimtarit. Përveç përdorimit të informacionit për qëllime marketingu, teknologjitë e telekomit përdoren për të parandaluar transaksionet financiare mashtruese.
VimpelCom është një nga shembujt e mrekullueshëm të kësaj industrie. Kompania përdor Big Data për të përmirësuar cilësinë e shërbimit në nivelin e secilit pajtimtar, për të përgatitur raportime, për të analizuar të dhënat për zhvillimin e rrjetit, për të luftuar spam-in dhe për të personalizuar shërbimet.

bankat
Një pjesë e konsiderueshme e përdoruesve të Big Data janë specialistë nga industria financiare. Një nga eksperimentet e suksesshme u krye në Bankën Ural për Rindërtim dhe Zhvillim, ku baza e informacionit u përdor për të analizuar klientët, banka filloi të ofrojë oferta të specializuara kredie, depozita dhe shërbime të tjera. Gjatë vitit të përdorimit të këtyre teknologjive, portofoli i kredisë me pakicë të kompanisë u rrit me 55%.
Alfa-Bank analizon informacionin nga rrjetet sociale, përpunon aplikimet për kredi dhe analizon sjelljen e përdoruesve të faqes së internetit të kompanisë.
Sberbank filloi gjithashtu përpunimin e një sasie masive të të dhënave për të segmentuar klientët, për të parandaluar aktivitetet mashtruese, për të shitur dhe për të menaxhuar rrezikun. Në të ardhmen, është planifikuar të përmirësohet shërbimi dhe të analizohen veprimet e klientëve në kohë reale.
Banka Gjith-Ruse e Zhvillimit Rajonal analizon sjelljen e mbajtësve të kartave plastike. Kjo bën të mundur identifikimin e transaksioneve që janë atipike për një klient të caktuar, duke rritur kështu mundësinë e zbulimit të vjedhjes së fondeve nga kartat plastike.

Shitje me pakicë
Në Rusi, teknologjitë e të dhënave të mëdha janë zbatuar nga kompanitë tregtare online dhe offline. Sot, sipas CNews Analytics, Big Data përdoret nga 20% e shitësve me pakicë. 75% e shitësve me pakicë besojnë se të dhënat e mëdha janë thelbësore për të zhvilluar një strategji marketingu konkurrues. Sipas statistikave të Hadoop, pas zbatimit të teknologjisë Big Data, fitimet në organizatat tregtare rriten me 7-10%.
Specialistët e M.Video flasin për përmirësimin e planifikimit logjistik pas zbatimit të SAP HANA, dhe si rezultat i zbatimit të tij, përgatitja e raporteve vjetore është reduktuar nga 10 ditë në 3, shpejtësia e shkarkimit ditor të të dhënave është ulur nga 3. orë deri në 30 minuta.
Wikimart përdor këto teknologji për të gjeneruar rekomandime për vizitorët e faqes në internet.
Një nga dyqanet e para offline që prezantoi analizën e të dhënave të mëdha në Rusi ishte Lenta. Me ndihmën e Big Data, shitja me pakicë filloi të studionte informacione për klientët nga faturat e arkës. Shitësi me pakicë mbledh informacion për të gjeneruar modele të sjelljes, gjë që i mundëson të marrin vendime më të informuara në nivel operacional dhe biznesi.

Industria e naftës dhe gazit
Në këtë industri, fusha e aplikimit të Big Data është mjaft e gjerë. Teknologjitë e Big Data mund të aplikohen në nxjerrjen e mineraleve nga nëntoka. Me ndihmën e tyre, ju mund të analizoni vetë procesin e prodhimit dhe mënyrat më efektive për ta nxjerrë atë, të gjurmoni procesin e shpimit, të analizoni cilësinë e lëndëve të para, si dhe përpunimin dhe tregtimin e produktit përfundimtar. Në Rusi, Transneft dhe Rosneft tashmë kanë filluar përdorimin e këtyre teknologjive.

Organet shtetërore
Vende të tilla si Gjermania, Australia, Spanja, Japonia, Brazili dhe Pakistani po përdorin teknologjitë e të dhënave të mëdha për të trajtuar çështjet kombëtare. Këto teknologji ndihmojnë organet qeveritare që në mënyrë më efektive të ofrojnë shërbime për popullatën, të ofrojnë mbështetje sociale të synuar.
Në Rusi, këto teknologji filluan të zotërohen nga organe të tilla shtetërore si Fondi i Pensionit, Shërbimi Federal i Taksave dhe Fondi i Sigurimit të Detyrueshëm të Shëndetit. Potenciali për zbatimin e projekteve duke përdorur Big Data është i madh, këto teknologji mund të ndihmojnë në përmirësimin e cilësisë së shërbimeve dhe, si rezultat, standardit të jetesës së popullatës.

Logjistika dhe transporti
Big Data mund të përdoret gjithashtu nga kompanitë e transportit. Me ndihmën e teknologjive Big Data, është e mundur të gjurmohet parkimi i makinave, të merren parasysh kostot e karburantit dhe të monitorohen kërkesat e klientëve.
Hekurudhat Ruse zbatuan teknologjitë e të dhënave të mëdha së bashku me SAP. Këto teknologji ndihmuan në uljen e periudhës së raportimit me 43.5 herë (nga 14.5 orë në 20 minuta) dhe në përmirësimin e saktësisë së shpërndarjes së kostos me 40 herë. Gjithashtu, Big Data u fut në proceset e planifikimit dhe rregullimit të tarifave. Në total, kompanitë përdorin më shumë se 300 sisteme të bazuara në zgjidhjet SAP, 4 qendra të të dhënave janë të përfshira dhe numri i përdoruesve është 220,000.

Drejtuesit kryesorë dhe kufizimet e tregut

Drejtuesit për zhvillimin e teknologjive të të dhënave të mëdha në tregun rus janë:

• Rritja e interesit nga ana e përdoruesve për mundësitë e Big Data si një mënyrë për të rritur konkurrencën e kompanisë;
• Zhvillimi i metodave për përpunimin e skedarëve mediatikë në nivel global;
• Transferimi i serverëve që përpunojnë informacione personale në territorin e Rusisë, në përputhje me ligjin e miratuar për ruajtjen dhe përpunimin e të dhënave personale;
• Zbatimi i planit sektorial për zëvendësimin e importit të softuerit. Ky plan përfshin mbështetjen e shtetit për prodhuesit vendas të softuerëve, si dhe ofrimin e preferencave për produktet vendase të TI-së kur bëjnë blerje me shpenzime publike.
• Në situatën e re ekonomike, kur kursi i dollarit është pothuajse dyfishuar, do të ketë një tendencë drejt përdorimit gjithnjë e më të madh të shërbimeve të ofruesve rusë të cloud sesa atyre të huaj.
• Krijimi i teknoparqeve që kontribuojnë në zhvillimin e tregut të teknologjisë së informacionit, duke përfshirë tregun e Big Data;
• Program shtetëror për zbatimin e sistemeve të rrjetit, të cilat bazohen në teknologjitë Big Data.

Barrierat kryesore për zhvillimin e Big Data në tregun rus janë:

• Sigurimi i sigurisë dhe konfidencialitetit të të dhënave;
• Mungesa e personelit të kualifikuar;
• Mungesa e burimeve të grumbulluara të informacionit në nivelin e të dhënave të mëdha në shumicën e kompanive ruse;
• Vështirësitë në futjen e teknologjive të reja në sistemet e krijuara të informacionit të kompanive;
• Kostoja e lartë e teknologjive Big Data, e cila çon në një numër të kufizuar ndërmarrjesh që janë në gjendje të zbatojnë këto teknologji;
• Pasiguria politike dhe ekonomike që çoi në daljen e kapitalit dhe ngrirjen e projekteve të investimeve në Rusi;
• Rritja e çmimeve të produkteve të importuara dhe rritja e inflacionit, sipas IDC, ngadalësojnë zhvillimin e të gjithë tregut të IT.

Parashikimi i tregut rus

Që nga sot, tregu rus i të dhënave të mëdha nuk është aq popullor sa në vendet e zhvilluara. Shumica e kompanive ruse tregojnë interes për të, por nuk guxojnë të përfitojnë nga mundësitë e tyre.
Shembuj të kompanive të mëdha që kanë përfituar tashmë nga teknologjitë e të dhënave të mëdha po rrisin ndërgjegjësimin për fuqinë e këtyre teknologjive.
Analistët janë gjithashtu mjaft optimistë për tregun rus. IDC beson se pjesa e tregut rus do të rritet gjatë 5 viteve të ardhshme, në ndryshim nga tregu në Gjermani dhe Japoni.
Deri në vitin 2020, vëllimi i të dhënave të mëdha në Rusi do të rritet nga 1.8% aktuale në 2.2% të vëllimit global të të dhënave. Sasia e informacionit do të rritet, sipas EMC, nga 155 ekzabajt aktualë në 980 ekzabajt në vitin 2020.
Për momentin, Rusia vazhdon të grumbullojë sasinë e informacionit deri në nivelin e të dhënave të mëdha.
Sipas një sondazhi të CNews Analytics, 44% e kompanive të anketuara punojnë me të dhëna jo më shumë se 100 terabajt * dhe vetëm 13% punojnë me vëllime mbi 500 terabajt.

Megjithatë, tregu rus, duke ndjekur tendencat globale, do të rritet. Që nga viti 2014, IDC vlerëson madhësinë e tregut në 340 milion dollarë.
Norma e rritjes së tregut në vitet e mëparshme ishte 50% në vit, nëse mbetet në të njëjtin nivel, atëherë në vitin 2018 volumi i tregut do të arrijë në 1.7 miliardë dollarë. Pjesa e tregut rus në tregun botëror do të jetë rreth 3%, duke u rritur nga 1.2% aktual.

Industritë më të ndjeshme ndaj përdorimit të të dhënave të mëdha në Rusi janë:

• Tregtia me pakicë dhe bankat, për ta, para së gjithash, është e rëndësishme analiza e bazës së klientëve, vlerësimi i efektit të fushatave të marketingut;
• Telekomi - segmentimi i bazës së klientëve dhe monetizimi i trafikut;
• Sektori publik - kontabiliteti, analiza e aplikacioneve nga popullata etj.;
• Kompanitë e naftës - monitorimi i punës dhe planifikimi i prodhimit dhe shitjes;
• Kompanitë energjetike - krijimi i sistemeve inteligjente të energjisë, monitorimi operativ dhe parashikimi.

Në vendet e zhvilluara, Big Data është bërë i përhapur në fushën e kujdesit shëndetësor, sigurimeve, metalurgjisë, kompanive të internetit dhe ndërmarrjeve industriale, me shumë mundësi në të ardhmen e afërt kompanitë ruse nga këto zona do të vlerësojnë gjithashtu efektin e zbatimit të Big Data dhe do t'i përshtatin këto teknologji. në industritë e tyre.
Në Rusi, si dhe në botë, në të ardhmen e afërt do të ketë një prirje drejt vizualizimit të të dhënave, analizës së skedarëve mediatikë dhe zhvillimit të Internetit të Gjërave.
Pavarësisht stagnimit të përgjithshëm të ekonomisë, analistët parashikojnë rritje të mëtejshme të tregut të Big Data në vitet e ardhshme, kryesisht për faktin se përdorimi i teknologjive të Big Data u jep përdoruesve të saj një avantazh konkurrues në drejtim të rritjes së efikasitetit operacional të biznesit. , tërheqjen e klientëve shtesë, minimizimin e rreziqeve dhe zbatimin e teknologjive të parashikimit të të dhënave.
Kështu, mund të konkludojmë se segmenti i të dhënave të mëdha në Rusi është në fazën e formimit, por kërkesa për këto teknologji po rritet çdo vit.

Rezultatet kryesore të analizës së tregut

Tregu botëror

Në fund të vitit 2014, tregu i Big Data karakterizohet nga parametrat e mëposhtëm:

• madhësia e tregut arriti në 28.5 miliardë dollarë, një rritje prej 45% krahasuar me një vit më parë;
• pjesën më të madhe të të ardhurave të tregut të Big Data e përbënin shërbimet, pjesa e tyre ishte e barabartë me 40% në totalin e të ardhurave;
• 36% e të ardhurave erdhi nga aplikacionet dhe analitika e të dhënave të mëdha, 17% nga pajisjet kompjuterike dhe 15% nga teknologjitë e ruajtjes së të dhënave;
• Platformat më të njohura për zgjidhjen e problemeve të Big Data janë platformat në memorie nga kompani të tilla si SAP, HANA dhe Oracle.
• është rritur me 125% numri i kompanive me projekte të realizuara në fushën e menaxhimit të Big Data;

Parashikimi i tregut për vitet e ardhshme është si më poshtë:

• në 2015 vëllimi i tregut do të arrijë në 38.4 miliardë dollarë, në 2020 - 68.7 miliardë dollarë;
• norma mesatare e rritjes do të jetë 16% në vit;
• shpenzimet mesatare të kompanisë për teknologjitë Big Data do të arrijnë në 13.8 milionë USD për kompanitë e mëdha dhe 1.6 milionë USD për bizneset e vogla dhe të mesme;
• teknologjitë do të jenë më të përhapura në fushën e shërbimit ndaj klientit dhe marketingut në pikë;
• në vitin 2017, struktura e tregut global do të ndryshojë drejt një mbizotërimi të kompanive përdoruese nga vendet në zhvillim.

tregu rus

Tregu rus i të dhënave të mëdha është në fazën e formimit, rezultatet e vitit 2014 janë si më poshtë:

• madhësia e tregut arriti në 340 milionë USD;
• norma mesatare e rritjes së tregut në vitet e mëparshme ishte 50% në vit;
• sasia totale e informacionit të grumbulluar ishte 155 ekzabajt;
• 10% e kompanive ruse kanë filluar të përdorin teknologjitë e të dhënave të mëdha;
• Teknologjitë e të dhënave të mëdha ishin më të njohura në banka, telekom, kompanitë e internetit dhe shitjet me pakicë.

Parashikimi për tregun rus për vitet e ardhshme është si më poshtë:

• vëllimi i tregut rus në 2015 do të arrijë në 500 milion dollarë, dhe në 2018 - 1.7 miliardë dollarë;
• pjesa e tregut rus në botë do të jetë rreth 3% në 2018;
• sasia e të dhënave të grumbulluara në vitin 2020 do të jetë 980 ekzabajt;
• vëllimi i të dhënave do të rritet në 2.2% të vëllimit global të të dhënave në 2020;
• teknologjitë më të njohura do të jenë vizualizimi i të dhënave, analiza e skedarëve mediatikë dhe Interneti i Gjërave.

Bazuar në rezultatet e analizës, mund të konkludohet se tregu i Big Data është ende në fazat e hershme të zhvillimit dhe në të ardhmen e afërt do të vëzhgojmë rritjen e tij dhe zgjerimin e aftësive të këtyre teknologjive.

Faleminderit që gjetët kohën për të lexuar këtë vepër voluminoze, regjistrohuni në blogun tonë - ju premtojmë shumë botime të reja interesante!

E dini këtë shaka të famshme? Big Data është si seksi nën 18 vjeç:

• të gjithë mendojnë për të;
• të gjithë flasin për të;
• të gjithë mendojnë se miqtë e tyre po e bëjnë këtë;
• pothuajse askush nuk e bën atë;
• ai që e bën atë e bën keq;
• të gjithë mendojnë se herën tjetër do të jetë më mirë;
• askush nuk merr masa sigurie;
• kushdo ka turp të pranojë se nuk di diçka;
• nëse dikush ka sukses, ai gjithmonë bën shumë zhurmë.

Por le të jemi të sinqertë, me çdo zhurmë përreth, gjithmonë do të ketë kuriozitetin e zakonshëm: çfarë lloj zhurme dhe a ka diçka vërtet të rëndësishme atje? Me pak fjalë, po, ka. Detajet janë më poshtë. Ne kemi zgjedhur për ju aplikacionet më të mahnitshme dhe më interesante të teknologjive Big Data. Ky hulumtim i vogël i tregut mbi shembuj të qartë përballet me një fakt të thjeshtë: e ardhmja nuk vjen, nuk ka nevojë të "pritni edhe n vjet dhe magjia do të bëhet realitet". Jo, tashmë ka ardhur, por është ende e padukshme për syrin dhe për këtë arsye sinterizimi i singularitetit nuk e djeg akoma aq shumë pikën e njohur të tregut të punës. Shkoni.

1 Si aplikohen teknologjitë e të dhënave të mëdha nga e kanë origjinën

Kompanitë e mëdha të IT-së janë vendi ku lindi shkenca e të dhënave, kështu që brendësia e tyre është më interesante në këtë fushë. Fillimi i paradigmës Map Reduce, Google Campaign ka të vetmin qëllim të edukojë programuesit e saj në teknologjitë e mësimit të makinerive. Dhe këtu qëndron përparësia e tyre konkurruese: pasi të kenë fituar njohuri të reja, punonjësit do të zbatojnë metoda të reja në ato projekte të Google ku ata punojnë vazhdimisht. Imagjinoni listën e madhe të fushave në të cilat një fushatë mund të revolucionarizojë. Një shembull: përdoren rrjetet nervore.

Korporata zbaton gjithashtu mësimin e makinerive në të gjitha produktet e saj. Avantazhi i tij është prania e një ekosistemi të madh, i cili përfshin të gjitha pajisjet dixhitale të përdorura në jetën e përditshme. Kjo i lejon Apple të arrijë një nivel të pamundur: fushata ka po aq të dhëna përdoruesi sa çdo tjetër. Në të njëjtën kohë, politika e privatësisë është shumë e rreptë: korporata është mburrur gjithmonë se nuk i përdor të dhënat e klientëve për qëllime reklamimi. Prandaj, informacioni i përdoruesit është i koduar në mënyrë që avokatët e Apple apo edhe FBI me një urdhër të mos mund ta lexojnë atë. Këtu do të gjeni një përmbledhje të shkëlqyer të zhvillimeve të AI të Apple.

2 Të dhëna të mëdha në 4 rrota

Një makinë moderne është një akumulues informacioni: grumbullon të gjitha të dhënat për shoferin, mjedisin, pajisjet e lidhura dhe për veten e tij. Së shpejti një automjet, i cili është i lidhur me një rrjet si ky, do të gjenerojë deri në 25 GB të dhëna në orë.

Telematika e transportit është përdorur nga prodhuesit e makinave për shumë vite, por po lobohet një metodë më e sofistikuar e mbledhjes së të dhënave që përfiton plotësisht nga Big Data. Kjo do të thotë se teknologjia tani mund të paralajmërojë shoferin për kushtet e këqija të rrugës duke aktivizuar automatikisht sistemet e frenimit dhe rrëshqitjes kundër bllokimit.

Shqetësime të tjera, duke përfshirë BMW, janë duke përdorur teknologjinë Big Data, e kombinuar me informacionin e mbledhur nga prototipet e testimit, një memorie gabimesh në makinë dhe ankesat e klientëve, për të identifikuar dobësitë në një model në fillim të prodhimit. Tani, në vend që të vlerësohen manualisht të dhënat që kërkojnë muaj, aplikohet një algoritëm modern. Gabimet dhe kostot e zgjidhjes së problemeve janë ulur, gjë që përshpejton rrjedhën e punës së analizës së informacionit në BMW.

Sipas vlerësimeve të ekspertëve, deri në vitin 2019, xhiroja e tregut të makinave të lidhura do të arrijë në 130 miliardë dollarë. Kjo nuk është për t'u habitur duke pasur parasysh ritmin e integrimit nga prodhuesit e automjeteve të teknologjive që janë pjesë përbërëse e automjetit.

Përdorimi i Big Data ndihmon për ta bërë makinën më të sigurt dhe më funksionale. Për shembull, Toyota duke përfshirë modulet e komunikimit të informacionit (DCM). Ky mjet, i përdorur për Big Data, përpunon dhe analizon të dhënat e mbledhura nga VKM për të përfituar më tej prej tyre.

3 Zbatimi i të dhënave të mëdha në mjekësi

Zbatimi i teknologjive të Big Data në fushën mjekësore u mundëson mjekëve të studiojnë më mirë sëmundjen dhe të zgjedhin një kurs efektiv trajtimi për një rast specifik. Duke analizuar informacionin, bëhet më e lehtë për ofruesit e kujdesit shëndetësor të parashikojnë rikthimin dhe të marrin masa parandaluese. Rezultati është një diagnozë më e saktë dhe trajtime të përmirësuara.

Teknika e re bëri të mundur shikimin e problemeve të pacientëve nga një këndvështrim tjetër, gjë që çoi në zbulimin e burimeve të panjohura më parë të problemit. Për shembull, disa raca janë gjenetikisht më të predispozuara ndaj sëmundjeve të zemrës sesa grupet e tjera etnike. Tani, kur një pacient ankohet për një sëmundje të caktuar, mjekët marrin parasysh të dhënat për anëtarët e racës së tij që ankoheshin për të njëjtin problem. Mbledhja dhe analizimi i të dhënave ju lejon të mësoni shumë më tepër për pacientët: nga preferencat ushqimore dhe stili i jetesës deri te struktura gjenetike e ADN-së dhe metabolitëve të qelizave, indeve, organeve. Për shembull, Qendra për Mjekësinë Gjenomike Pediatrike në Kansas City përdor pacientë dhe analizon për mutacione në kodin gjenetik që shkaktojnë kancer. Një qasje individuale ndaj çdo pacienti, duke marrë parasysh ADN-në e tij, do të rrisë efektivitetin e trajtimit në një nivel cilësor të ri.

Të kuptuarit se si përdoren Big Data është ndryshimi i parë dhe më i rëndësishëm në fushën mjekësore. Kur një pacient është duke iu nënshtruar trajtimit, një spital ose një institucion tjetër i kujdesit shëndetësor mund të fitojë shumë informacione domethënëse për personin. Informacioni i mbledhur përdoret për të parashikuar rikthimin e sëmundjes me një shkallë të caktuar saktësie. Për shembull, nëse një pacient ka pësuar një goditje në tru, mjekët studiojnë informacione për kohën e aksidentit cerebrovaskular, analizojnë periudhën e ndërmjetme midis precedentëve të mëparshëm (nëse ka), duke i kushtuar vëmendje të veçantë situatave stresuese dhe aktivitetit të rëndë fizik në jetën e pacientit. Bazuar në këto të dhëna, spitalet i japin pacientit një plan të qartë veprimi për të parandaluar mundësinë e një goditjeje në të ardhmen.

Pajisjet që vishen gjithashtu luajnë një rol për të ndihmuar në identifikimin e problemeve shëndetësore, edhe nëse një person nuk ka simptoma të dukshme të një sëmundjeje të caktuar. Në vend që të vlerësojë gjendjen e pacientit përmes një kursi të gjatë ekzaminimesh, mjeku mund të nxjerrë përfundime bazuar në informacionin e mbledhur nga gjurmuesi i fitnesit ose ora inteligjente.

Një nga shembujt më të fundit është. Ndërsa pacienti po ekzaminohej për një konvulsion të ri për shkak të mungesës së mjekimit, mjekët zbuluan se burri kishte një problem shumë më të rëndë shëndetësor. Ky problem doli të ishte fibrilacion atrial. Diagnoza u bë falë faktit që stafi i departamentit fitoi akses në telefonin e pacientit, përkatësisht në aplikacionin e çiftuar me gjurmuesin e tij të fitnesit. Të dhënat e aplikimit rezultuan të ishin një faktor kyç në përcaktimin e diagnozës, pasi në momentin e ekzaminimit, burri nuk kishte anomali kardiake.

Ky është vetëm një nga rastet e pakta që tregon pse të përdorni të dhëna të mëdha në fushën e mjekësisë sot luan një rol kaq të rëndësishëm.

4 Analiza e të dhënave tashmë është bërë shtylla kurrizore e shitjes me pakicë

Kuptimi i pyetjeve të përdoruesve dhe shënjestrimit është një nga fushat më të mëdha dhe më të publikuara të përdorimit për mjetet e të dhënave të mëdha. Big Data ndihmon për të analizuar zakonet e klientëve për të kuptuar më mirë nevojat e konsumatorëve në të ardhmen. Kompanitë po kërkojnë të zgjerojnë grupin tradicional të të dhënave me mediat sociale dhe historinë e kërkimit të shfletuesit për të krijuar imazhin më të plotë të mundshëm të klientit. Ndonjëherë organizatat e mëdha zgjedhin të krijojnë modelin e tyre parashikues si një qëllim global.

Për shembull, dyqanet e zinxhirit Target me ndihmën e analizës së thellë të të dhënave dhe sistemin e tyre të parashikimit arrijnë të përcaktojnë me saktësi të lartë -. Secilit klient i caktohet një ID, e cila nga ana tjetër është e lidhur me një kartë krediti, emër ose e-mail. Identifikuesi shërben si një lloj shporte blerjeje, ku ruhet informacioni për gjithçka që një person ka blerë ndonjëherë. Specialistët e rrjetit kanë zbuluar se gratë në pozitë blejnë në mënyrë aktive produkte pa aromë para tremujorit të dytë të shtatzënisë dhe gjatë 20 javëve të para mbështeten në suplemente të kalciumit, zinkut dhe magnezit. Bazuar në të dhënat e marra, Target u dërgon klientëve kuponë për produktet e bebeve. Po të njëjtat zbritje për mallrat për fëmijë "hollohen" me kuponë për produkte të tjera, në mënyrë që ofertat për të blerë një krevat fëmijësh ose pelena të mos duken shumë ndërhyrëse.

Edhe departamentet qeveritare kanë gjetur një mënyrë për të përdorur teknologjitë e të dhënave të mëdha për të optimizuar fushatat zgjedhore. Disa besojnë se fitorja e Barack Obamës në zgjedhjet presidenciale të vitit 2012 në SHBA ishte për shkak të punës së shkëlqyer të ekipit të tij të analistëve, të cilët përpunuan sasi të mëdha të dhënash në mënyrën e duhur.

5 Të dhëna të mëdha për mbrojtjen e rendit dhe ligjit

Gjatë viteve të fundit, agjencitë e zbatimit të ligjit kanë kuptuar se si dhe kur të përdorin Big Data. Është e njohur që Agjencia e Sigurisë Kombëtare përdor teknologjinë Big Data për të parandaluar sulmet terroriste. Agjencitë e tjera po përdorin metodologji progresive për të parandaluar krimet më të vogla.

Departamenti i Policisë së Los Anxhelosit po aplikon. Ajo është e përfshirë në atë që zakonisht quhet zbatim proaktiv i ligjit. Duke përdorur raportet e krimit për një periudhë të caktuar kohore, algoritmi identifikon zonat ku gjasat për kryerjen e krimeve janë më të mëdha. Sistemi shënon zona të tilla në hartën e qytetit me katrorë të vegjël të kuq dhe këto të dhëna transmetohen menjëherë te makinat e patrullës.

Policët e Çikagos përdorni teknologjitë e të dhënave të mëdha në një mënyrë pak më ndryshe. Zbatimi i ligjit në City of Winds ka të njëjtën gjë, por synon të përcaktojë një "rreth rreziku" të njerëzve që mund të jenë viktimë ose pjesëmarrës në një sulm të armatosur. Sipas The New York Times, ky algoritëm cakton një vlerësim të cenueshmërisë për një person bazuar në historinë e tij kriminale (arrestime dhe pjesëmarrje në të shtëna, që i përkasin bandave kriminale). Zhvilluesi i sistemit siguron që ndërsa sistemi studion historinë kriminale të një individi, ai nuk merr parasysh faktorë dytësorë si raca, gjinia, përkatësia etnike dhe vendndodhja e një personi.

6 Si teknologjitë e të dhënave të mëdha i ndihmojnë qytetet të zhvillohen

CEO i Veniam João Barros demonstron hartën e gjurmimit të ruterave Wi-Fi në autobusët e Portos

Analiza e të dhënave përdoret gjithashtu për të përmirësuar një sërë aspektesh të funksionimit të qyteteve dhe vendeve. Për shembull, duke ditur saktësisht se si dhe kur të përdorni teknologjitë e të dhënave të mëdha, mund të optimizoni flukset e transportit. Për këtë merret parasysh lëvizja online e mjeteve, analizohen mediat sociale dhe të dhënat meteorologjike. Sot, një numër qytetesh kanë nisur një kurs të përdorimit të analizës së të dhënave për të kombinuar infrastrukturën e transportit me llojet e tjera të shërbimeve në një tërësi koherente. Është një koncept i zgjuar i qytetit në të cilin autobusët presin për një tren vonë dhe semaforët janë në gjendje të parashikojnë bllokimet e trafikut në mënyrë që të minimizojnë bllokimet.

Long Beach përdor teknologjitë Big Data për të operuar ujëmatësit inteligjentë që përdoren për të frenuar ujitjen e paligjshme. Më parë, ato përdoreshin për të reduktuar konsumin e ujit nga familjet private (rezultati maksimal është një ulje prej 80%). Kursimi i ujit të freskët është gjithmonë një çështje aktuale. Sidomos kur një shtet po përjeton thatësirën më të keqe të regjistruar ndonjëherë.

Përfaqësues të Departamentit të Transportit të Los Anxhelosit i janë bashkuar listës së atyre që përdorin Big Data. Bazuar në të dhënat e marra nga sensorët e kamerave të trafikut, autoritetet monitorojnë funksionimin e semaforëve, gjë që lejon rregullimin e trafikut. Nën kontrollin e një sistemi të kompjuterizuar, ka rreth 4 500 000 semaforë në të gjithë qytetin. Sipas shifrave zyrtare, algoritmi i ri ndihmoi në uljen e mbingarkesës me 16%.

7 Motori i progresit në marketing dhe shitje

Në marketing, mjetet Big Data ju lejojnë të identifikoni se cilat ide janë më efektive në një fazë të caktuar të ciklit të shitjeve. Analiza e të dhënave identifikon se si investimet mund të përmirësojnë menaxhimin e marrëdhënieve me klientët, çfarë strategjie të zgjidhni për të rritur normat e konvertimit dhe si të optimizoni ciklin e jetës së klientit. Në biznesin cloud, algoritmet e Big Data përdoren për të kuptuar se si të minimizohen kostot e blerjes së klientit dhe të rritet cikli i jetës së klientit.

Diferencimi i strategjive të çmimeve në varësi të nivelit brenda sistemit të klientit është ndoshta gjëja kryesore për të cilën përdoren Big Data në fushën e marketingut. McKinsey zbuloi se rreth 75% e të ardhurave mesatare të firmës vijnë nga produktet bazë, 30% e të cilave janë me çmime të gabuara. Një rritje çmimi prej 1% përkthehet në një rritje prej 8.7% në fitimin operativ.

Ekipi hulumtues i Forrester përcaktoi se analiza e të dhënave i lejon tregtarët të fokusohen në mënyrën se si të përmirësojnë marrëdhëniet me klientët. Duke ekzaminuar drejtimin e zhvillimit të klientit, specialistët mund të vlerësojnë nivelin e tyre të besnikërisë, si dhe të zgjasin ciklin e jetës në kontekstin e një kompanie të caktuar.

Optimizimi i strategjive të shitjeve dhe hapat për të hyrë në tregje të reja duke përdorur gjeo-analitikën reflektohen në industrinë biofarmaceutike. Sipas McKinsey, kompanitë e barnave shpenzojnë mesatarisht 20 deri në 30% të fitimeve të tyre për administrim dhe shitje. Nëse bizneset fillojnë më aktive përdorni të dhëna të mëdha për të identifikuar tregjet më fitimprurëse dhe me rritje më të shpejtë, kostot do të shkurtohen menjëherë.

Analiza e të dhënave është një mjet për kompanitë për të fituar një kuptim të plotë të aspekteve kryesore të biznesit të tyre. Rritja e të ardhurave, ulja e kostove dhe reduktimi i kapitalit qarkullues janë tri sfida që biznesi modern po përpiqet t'i zgjidhë me mjete analitike.

Së fundi, 58% e CMO-ve pretendojnë se zbatimi i teknologjive të Big Data mund të gjurmohet në optimizimin e motorëve të kërkimit (SEO), e-mail dhe marketingun celular, ku analiza e të dhënave luan rolin më domethënës në formimin e programeve të marketingut. Dhe vetëm 4% më pak të anketuar janë të sigurt se Big Data do të luajë një rol të rëndësishëm në të gjitha strategjitë e marketingut gjatë viteve.

8 Analizimi i të dhënave në një shkallë planetare

Jo më pak kurioz është. Është e mundur që mësimi i makinerive të jetë përfundimisht e vetmja forcë e aftë për të mbajtur një ekuilibër delikat. Tema e ndikimit njerëzor në ngrohjen globale është ende një çështje e shumë polemikave, kështu që vetëm modelet e besueshme parashikuese të bazuara në analizën e një sasie të madhe të dhënash mund të japin një përgjigje të saktë. Në fund të fundit, ulja e emetimeve do të na ndihmojë të gjithëve gjithashtu: do të shpenzojmë më pak për energji.

Tani Big Data nuk është një koncept abstrakt që mund të gjejë aplikimin e tij pas disa vitesh. Ky është një grup teknologjish që funksionojnë në mënyrë të përsosur që mund të jenë të dobishme në pothuajse të gjitha sferat e veprimtarisë njerëzore: nga mjekësia dhe policia deri te marketingu dhe shitjet. Faza e integrimit aktiv të Big Data në jetën tonë të përditshme sapo ka filluar dhe kush e di se cili do të jetë roli i Big Data në pak vite?