Të dhënat e mëdha dhe kuptimi i tyre. Pse Big Data ngatërrohet vazhdimisht me marketingun dhe IT

30.07.2019 Internet, Wi-Fi, rrjete lokale

Vetëm dembelët nuk flasin për të dhëna të mëdha, por çfarë është dhe si funksionon nuk ka gjasa të kuptojë. Le të fillojmë me terminologjinë më të thjeshtë. Duke folur në Rusisht, Big Data është një larmi mjetesh, qasjesh dhe metodash për përpunimin e të dhënave të strukturuara dhe të pastrukturuara në mënyrë që t'i përdorin ato për detyra dhe qëllime specifike.

Të dhënat e pastrukturuara janë informacione që nuk kanë strukturë të paracaktuar ose nuk janë të organizuara në një renditje të caktuar.

Termi "të dhëna të mëdha" u krijua nga redaktori i revistës Nature Clifford Lynch në vitin 2008 në një numër special kushtuar rritjes shpërthyese të vëllimeve të informacionit në botë. Edhe pse, natyrisht, vetë të dhënat e mëdha ekzistonin më parë. Sipas ekspertëve, shumica e transmetimeve të të dhënave mbi 100 GB në ditë i përkasin kategorisë Big Data.

Lexoni gjithashtu:

Sot, ky term i thjeshtë fsheh vetëm dy fjalë - ruajtjen dhe përpunimin e të dhënave.

Të dhëna të mëdha - me fjalë të thjeshta

Në botën moderne, të dhënat e mëdha janë një fenomen socio-ekonomik, i cili shoqërohet me faktin se janë shfaqur mundësi të reja teknologjike për analizimin e një sasie të madhe të dhënash.

Lexoni gjithashtu:

Për lehtësinë e të kuptuarit, imagjinoni një supermarket në të cilin të gjitha mallrat nuk janë në rendin tuaj të zakonshëm. Bukë pranë frutave, paste domate pranë picës së ngrirë, çakmak përpara një rafti tamponi që përmban avokado, tofu ose kërpudha shiitake, ndër të tjera. Big data vendos gjithçka në vendin e vet dhe ju ndihmon të gjeni qumështin e arrave, të zbuloni koston dhe datën e skadencës, si dhe kush përveç jush e blen këtë qumësht dhe pse është më i mirë se qumështi i lopës.

Kenneth Kukier: Të dhënat e mëdha janë të dhënat më të mira

Teknologjia e të dhënave të mëdha

Sasi të mëdha të dhënash përpunohen në mënyrë që një person të mund të marrë rezultate specifike dhe të nevojshme për përdorimin e tyre të mëtejshëm efektiv.

Lexoni gjithashtu:

Në fakt, të dhënat e mëdha janë një zgjidhje e problemeve dhe alternativë ndaj sistemeve tradicionale të menaxhimit të të dhënave.

Teknikat dhe metodat e analizës të zbatueshme për të dhënat e mëdha sipas McKinsey:

Crowdsourcing;

Përzierja dhe integrimi i të dhënave;

Mësimi i makinerisë;

Rrjetet neurale artificiale;

Njohja e modelit;

Analiza parashikuese;

Modelimi simulues;

Analiza hapësinore;

Analiza statistikore;
Vizualizimi i të dhënave analitike.

Shkallueshmëria horizontale që mundëson përpunimin e të dhënave është një parim themelor i përpunimit të të dhënave të mëdha. Të dhënat shpërndahen në nyjet llogaritëse dhe përpunimi ndodh pa degradim të performancës. McKinsey përfshiu gjithashtu sistemet e menaxhimit relacional dhe Inteligjenca e Biznesit në kontekstin e zbatueshmërisë.

Teknologjitë:

NoSQL;
MapReduce;
Hadoop;
Zgjidhjet e harduerit.

Lexoni gjithashtu:

Për të dhënat e mëdha, ekzistojnë karakteristika tradicionale përcaktuese të zhvilluara nga Meta Group në vitin 2001, të cilat quhen " Tre V»:

Vëllimi- madhësia e vëllimit fizik.
Shpejtësia- shpejtësia e rritjes dhe nevoja për përpunim të shpejtë të të dhënave për të marrë rezultate.
Shumëllojshmëri- aftësia për të përpunuar njëkohësisht lloje të ndryshme të dhënash.

Të dhëna të mëdha: aplikacione dhe mundësi

Është e pamundur të përpunohen vëllime të informacionit dixhital heterogjen dhe që vjen me shpejtësi me mjete tradicionale. Vetë analiza e të dhënave ju lejon të shihni modele të caktuara dhe të padukshme që një person nuk mund t'i shohë. Kjo na lejon të optimizojmë të gjitha fushat e jetës sonë - nga qeveria te prodhimi dhe telekomunikacioni.

Për shembull, disa kompani disa vite më parë mbronin klientët e tyre nga mashtrimi dhe kujdesi për paratë e klientit ishte kujdesi për paratë e tyre.

Susan Etleiger: Po në lidhje me të dhënat e mëdha?

Zgjidhje të mëdha të bazuara në të dhëna: Sberbank, Beeline dhe kompani të tjera

Beeline ka një sasi të madhe të dhënash për abonentët, të cilat ata i përdorin jo vetëm për të punuar me ta, por edhe për të krijuar produkte analitike, të tilla si konsultimi i jashtëm ose analitika IPTV. Beeline segmentoi bazën e të dhënave dhe mbrojti klientët nga mashtrimet e parave dhe viruset, duke përdorur HDFS dhe Apache Spark për ruajtje dhe Rapidminer dhe Python për përpunimin e të dhënave.

Lexoni gjithashtu:

Ose mbani mend Sberbank me rastin e tyre të vjetër të quajtur AS SAFI. Është një sistem që analizon fotografitë për të identifikuar klientët e bankës dhe parandalon mashtrimin. Sistemi u prezantua në vitin 2014, në zemër të sistemit është një krahasim i fotografive nga baza e të dhënave, të cilat arrijnë atje nga kamerat e internetit në raftet falë vizionit kompjuterik. Baza e sistemit është një platformë biometrike. Falë kësaj, rastet e mashtrimit janë ulur me 10 herë.

Të dhëna të mëdha në botë

Deri në vitin 2020, sipas parashikimeve, njerëzimi do të gjenerojë 40-44 zetabajt informacion. Dhe deri në vitin 2025 do të rritet 10 herë, sipas raportit The Data Age 2025, i cili u përgatit nga analistët në IDC. Raporti thekson se shumica e të dhënave do të gjenerohen nga vetë bizneset, jo nga konsumatorët.

Analistët e kërkimit besojnë se të dhënat do të bëhen një aset jetik dhe siguria do të bëhet një bazë kritike në jetë. Autorët e veprës janë gjithashtu të sigurt se teknologjia do të ndryshojë peizazhin ekonomik dhe përdoruesi mesatar do të komunikojë me pajisjet e lidhura rreth 4800 herë në ditë.

Tregu i madh i të dhënave në Rusi

Në mënyrë tipike, të dhënat e mëdha vijnë nga tre burime:

Internet (rrjete sociale, forume, blogje, media dhe faqe të tjera);
arkivat e korporatave të dokumenteve;
Lexime nga sensorë, instrumente dhe pajisje të tjera.

Të dhëna të mëdha në banka

Përveç sistemit të përshkruar më sipër, në strategjinë e Sberbank për 2014-2018. flet për rëndësinë e analizimit të sasive masive të të dhënave për shërbim cilësor ndaj klientit, menaxhimin e rrezikut dhe optimizimin e kostos. Tani banka përdor të dhëna të mëdha për menaxhimin e rrezikut, luftimin e mashtrimit, segmentimin dhe vlerësimin e aftësisë kreditore të klientit, menaxhimin e personelit, parashikimin e radhëve në degë, llogaritjen e bonuseve për punonjësit dhe detyra të tjera.

VTB24 përdor të dhëna të mëdha për të segmentuar dhe menaxhuar largimin e klientëve, për të gjeneruar pasqyra financiare, për të analizuar rishikimet në rrjetet sociale dhe forumet. Për ta bërë këtë, ai përdor zgjidhjet Teradata, SAS Visual Analytics dhe SAS Marketing Optimizer.

Të dhëna të mëdha- këto nuk janë vetëm vetë të dhënat, por edhe teknologjitë për përpunimin dhe përdorimin e tyre, metodat për gjetjen e informacionit të nevojshëm në grupe të mëdha. Problemi i të dhënave të mëdha mbetet i hapur dhe jetik për çdo sistem që grumbullon një shumëllojshmëri të gjerë informacioni për dekada.

Ky term shoqërohet me shprehjen "Vëllimi, shpejtësia, shumëllojshmëria"- parimet mbi të cilat bazohet puna me të dhëna të mëdha. Kjo direkt sasia e informacionit, shpejtësia e përpunimit dhe shumëllojshmëri informacioni të ruajtura në një grup. Kohët e fundit, një tjetër ka filluar t'i shtohet tre parimeve bazë - Vlera që do të thotë vlera e informacionit... Domethënë, ai duhet të jetë i dobishëm dhe i nevojshëm në aspektin teorik ose praktik, gjë që do të justifikonte kostot e ruajtjes dhe përpunimit të tij.

Mediat sociale janë një shembull i një burimi tipik të madh të të dhënave - çdo profil ose faqe publike është një pikë e vogël në një oqean të pastrukturuar informacioni. Për më tepër, pavarësisht nga sasia e informacionit të ruajtur në një profil të caktuar, ndërveprimi me secilin prej përdoruesve duhet të jetë sa më i shpejtë.

Të dhënat e mëdha po grumbullohen vazhdimisht në pothuajse çdo fushë të jetës njerëzore. Kjo përfshin çdo industri që lidhet ose me ndërveprimin njerëzor ose me kompjuterin. Këto janë mediat sociale, mjekësia dhe bankat, si dhe sistemet e pajisjeve që marrin rezultate të shumta të llogaritjeve ditore. Për shembull, vëzhgime astronomike, informacione meteorologjike dhe informacione nga pajisjet ndijuese të Tokës.

Informacioni nga të gjitha llojet e sistemeve të gjurmimit në kohë reale shkon gjithashtu në serverët e një kompanie të caktuar. Transmetimet televizive dhe radio, bazat e thirrjeve të operatorëve celularë - ndërveprimi i secilit person individual me ta është minimal, por në total, i gjithë ky informacion bëhet i madh.

Teknologjitë e të dhënave të mëdha janë bërë pjesë përbërëse e kërkimit dhe zhvillimit dhe tregtisë. Për më tepër, ata kanë filluar të marrin përsipër sferën e administratës publike - dhe kudo kërkohet të futen sisteme gjithnjë e më efikase për ruajtjen dhe manipulimin e informacionit.

Termi "të dhëna të mëdha" u shfaq për herë të parë në shtyp në vitin 2008, kur redaktori i Nature Clifford Lynch publikoi një artikull mbi zhvillimin e së ardhmes së shkencës duke përdorur teknologji për të punuar me sasi të mëdha të dhënash. Deri në vitin 2009, ky term konsiderohej vetëm nga pikëpamja e analizës shkencore, por pas publikimit të disa artikujve të tjerë, shtypi filloi të përdorë gjerësisht konceptin e Big Data - dhe vazhdon ta përdorë atë në kohën e tanishme.

Në vitin 2010, filluan të shfaqen përpjekjet e para për të zgjidhur problemin në rritje të të dhënave të mëdha. U lëshuan produkte softuerësh, veprimi i të cilave kishte për qëllim minimizimin e rreziqeve kur përdorni grupe të mëdha informacioni.

Deri në vitin 2011, kompani të tilla të mëdha si Microsoft, Oracle, EMC dhe IBM u interesuan për të dhënat e mëdha - ato ishin të parat që përdorën të dhënat e mëdha në strategjitë e tyre të zhvillimit dhe me mjaft sukses.

Universitetet filluan të kryejnë studimin e të dhënave të mëdha si një lëndë më vete në vitin 2013 - tani problemet në këtë fushë trajtohen jo vetëm me shkencën e të dhënave, por edhe me inxhinierinë, së bashku me lëndët llogaritëse.

Metodat kryesore të analizës dhe përpunimit të të dhënave përfshijnë si më poshtë:

Metodat e klasës ose analiza e thellë (Data Mining).

Këto metoda janë mjaft të shumta, por ato i bashkon një gjë: mjetet e përdorura matematikore në lidhje me arritjet në fushën e teknologjisë së informacionit.

Crowdsourcing.

Kjo teknikë ju lejon të merrni të dhëna njëkohësisht nga disa burime, dhe numri i këtyre të fundit është praktikisht i pakufizuar.

Testimi A/B.

Nga e gjithë sasia e të dhënave, zgjidhet një grup elementesh kontrolli, i cili krahasohet në mënyrë alternative me popullatat e tjera të ngjashme, ku një nga elementët është ndryshuar. Kryerja e testeve të tilla ndihmon në përcaktimin se cilat luhatje të parametrave kanë ndikimin më të madh në popullatën e kontrollit. Falë vëllimeve të Big Data, është e mundur të kryhen një numër i madh përsëritjesh, ku secili prej tyre i afrohet rezultatit më të besueshëm.

Analiza parashikuese.

Ekspertët e kësaj fushe përpiqen të parashikojnë dhe planifikojnë paraprakisht se si do të sillet objekti i kontrolluar për të marrë vendimin më të favorshëm në këtë situatë.

Mësimi i makinerisë (inteligjenca artificiale).

Ai bazohet në analizën empirike të informacionit dhe në ndërtimin e mëvonshëm të algoritmeve për sistemet e vetë-mësimit.

Analiza e rrjetit.

Metoda më e zakonshme për hulumtimin e rrjeteve sociale - pas marrjes së të dhënave statistikore, analizohen nyjet e krijuara në rrjet, domethënë ndërveprimet midis përdoruesve individualë dhe komuniteteve të tyre.

Në vitin 2017, kur të dhënat e mëdha pushuan së qeni diçka e re dhe e panjohur, rëndësia e tyre jo vetëm që nuk u zvogëlua, por u rrit edhe më shumë. Tani ekspertët po vënë bast se analiza e sasive të mëdha të të dhënave do të bëhet e disponueshme jo vetëm për organizatat gjigante, por edhe për bizneset e vogla dhe të mesme. Kjo qasje është planifikuar të zbatohet duke përdorur komponentët e mëposhtëm:

Ruajtja në renë kompjuterike.

Ruajtja dhe përpunimi i të dhënave po bëhet më i shpejtë dhe më ekonomik - krahasuar me kostot e mirëmbajtjes së qendrës tuaj të të dhënave dhe zgjerimit të mundshëm të stafit, marrja me qira e një cloud duket të jetë një alternativë shumë më e lirë.

Përdorimi i të dhënave të errëta.

Të ashtuquajturat "të dhëna të errëta" - të gjitha informacionet jo dixhitale për kompaninë, të cilat nuk luajnë një rol kyç në përdorimin e drejtpërdrejtë të saj, por mund të shërbejnë si arsye për kalimin në një format të ri për ruajtjen e informacionit.

Inteligjenca artificiale dhe mësimi i thellë.

Teknologjia e të mësuarit të inteligjencës makine, e cila imiton strukturën dhe punën e trurit të njeriut, është më e përshtatshme për përpunimin e një sasie të madhe informacioni që ndryshon vazhdimisht. Në këtë rast, makina do të bëjë saktësisht të njëjtën gjë që duhet të kishte bërë një njeri, por në të njëjtën kohë probabiliteti i gabimit zvogëlohet ndjeshëm.

Blockchain.

Kjo teknologji bën të mundur përshpejtimin dhe thjeshtimin e transaksioneve të shumta në internet, duke përfshirë edhe ato ndërkombëtare. Një tjetër plus i Blockchain është se redukton kostot e transaksionit.

Vetë-shërbim dhe ulje çmimi.

Në vitin 2017, është planifikuar të prezantohen "platformat e vetë-shërbimit" - këto janë faqe falas ku përfaqësuesit e bizneseve të vogla dhe të mesme do të jenë në gjendje të vlerësojnë në mënyrë të pavarur të dhënat që ata ruajnë dhe t'i organizojnë ato.

Të gjitha strategjitë e marketingut në një mënyrë ose në një tjetër bazohen në manipulimin e informacionit dhe analizën e të dhënave ekzistuese. Kjo është arsyeja pse përdorimi i të dhënave të mëdha mund të parashikojë dhe të bëjë të mundur rregullimin e zhvillimit të mëtejshëm të kompanisë.

Për shembull, një ankand RTB i bazuar në të dhëna të mëdha ju lejon të përdorni reklamat në mënyrë më efikase - një produkt i caktuar do t'i shfaqet vetëm një grupi përdoruesish që janë të interesuar ta blejnë atë.

Cili është avantazhi i përdorimit të teknologjive të të dhënave të mëdha në marketing dhe biznes?

Me ndihmën e tyre, ju mund të krijoni projekte të reja shumë më shpejt, të cilat ka të ngjarë të bëhen të kërkuara nga blerësit.
Ato ndihmojnë në korrelimin e kërkesave të klientit me shërbimin ekzistues ose të projektuar dhe në këtë mënyrë korrigjohen ato.
Metodat e të dhënave të mëdha na lejojnë të vlerësojmë shkallën e kënaqësisë aktuale të të gjithë përdoruesve dhe secilit individualisht.
Besnikëria e klientit rritet përmes teknikave të përpunimit të të dhënave të mëdha.
Tërheqja e audiencës tuaj të synuar në internet bëhet më e lehtë falë aftësisë për të kontrolluar sasi të mëdha të dhënash.

Për shembull, një nga shërbimet më të njohura për parashikimin e popullaritetit të mundshëm të një produkti është Google.trends. Përdoret gjerësisht nga tregtarët dhe analistët, duke i lejuar ata të marrin statistika mbi përdorimin e një produkti të caktuar në të kaluarën dhe parashikimin për sezonin e ardhshëm. Kjo u lejon drejtuesve të kompanive të ndajnë në mënyrë më efektive buxhetin e reklamave, për të përcaktuar se në cilën zonë është më e mira për të investuar para.

Shembuj të përdorimit të të dhënave të mëdha

Futja aktive e teknologjive Big Data në treg dhe në jetën moderne filloi menjëherë pasi kompanitë me famë botërore filluan t'i përdorin ato, duke pasur klientë pothuajse në çdo pjesë të botës.

Këta janë gjigantë socialë si Facebook dhe Google, IBM., si dhe struktura financiare si Master Card, VISA dhe Bank of America.

Për shembull, IBM po aplikon teknika të dhënash të mëdha në transaksionet e saj monetare. Me ndihmën e tyre, u zbuluan 15% më shumë transaksione mashtruese, të cilat bënë të mundur rritjen e sasisë së fondeve të mbrojtura me 60%. U zgjidhën edhe problemet me pozitive false të sistemit - numri i tyre u zvogëlua për më shumë se gjysmën.

VISA përdori Big Data në një mënyrë të ngjashme, duke gjurmuar përpjekjet mashtruese për të kryer këtë apo atë operacion. Falë kësaj, ata kursejnë më shumë se 2 miliardë dollarë nga rrjedhjet çdo vit.

Ministria gjermane e Punës ishte në gjendje të ulte kostot me 10 miliardë euro duke integruar të dhëna të mëdha në përfitimet e papunësisë. Në të njëjtën kohë, u zbulua se një e pesta e qytetarëve i marrin këto përfitime në mënyrë të paarsyeshme.

Big Data nuk ka kursyer as industrinë e lojërave. Pra, zhvilluesit e World of Tanks kryen një studim të informacionit për të gjithë lojtarët dhe krahasuan treguesit e disponueshëm të aktivitetit të tyre. Kjo ndihmoi në parashikimin e dyndjeve të mundshme të lojtarëve në të ardhmen - bazuar në supozimet e bëra, përfaqësuesit e organizatës ishin në gjendje të ndërveprojnë në mënyrë më efektive me përdoruesit.

Organizatat e dukshme që përdorin të dhëna të mëdha përfshijnë gjithashtu HSBC, Nasdaq, Coca-Cola, Starbucks dhe AT&T.

Problemi më i madh me të dhënat e mëdha është kostoja e përpunimit të tyre. Kjo mund të përfshijë pajisje të shtrenjta dhe koston e pagave për profesionistët e aftë të aftë për të shërbyer sasi të mëdha informacioni. Natyrisht, pajisjet do të duhet të përditësohen rregullisht në mënyrë që të mos humbasin performancën minimale ndërsa sasia e të dhënave rritet.

Problemi i dytë lidhet sërish me sasinë e madhe të informacionit që duhet të përpunohet. Nëse, për shembull, një studim jep jo 2-3, por një numër të madh rezultatesh, është shumë e vështirë të qëndrosh objektiv dhe të zgjidhësh nga rrjedha e përgjithshme e të dhënave vetëm ato që do të kenë një ndikim real në gjendjen e çdo dukurie.

Problemi i privatësisë së të dhënave të mëdha. Me kalimin e shumicës së ofruesve të shërbimeve ndaj klientit në përdorimin online të të dhënave, është shumë e lehtë të bëheni objektivi i radhës për kriminelët kibernetikë. Edhe ruajtja e thjeshtë e informacionit personal pa kryer ndonjë transaksion në internet mund të jetë i mbushur me pasoja të padëshirueshme për klientët e ruajtjes së cloud.

Problemi i humbjes së informacionit. Masat paraprake kërkojnë të mos kufizohen në një kopje rezervë të thjeshtë të të dhënave një herë, por të bëni të paktën 2-3 kopje rezervë të ruajtjes. Megjithatë, ndërsa vëllimi rritet, vështirësitë me tepricën rriten - dhe specialistët e IT-së po përpiqen të gjejnë zgjidhjen optimale për këtë problem.

Tregu i madh i teknologjisë së të dhënave në Rusi dhe në mbarë botën

Që nga viti 2014, 40% e vëllimit të tregut të të dhënave të mëdha përbëhet nga shërbime. Të ardhurat nga përdorimi i Big Data në pajisjet kompjuterike janë pak më inferiore (38%) ndaj këtij treguesi. Pjesa e mbetur prej 22% vjen nga softueri.

Produktet më të dobishme në segmentin global për zgjidhjen e problemeve të Big Data, sipas statistikave, janë platformat analitike In-memory dhe NoSQL. 15 dhe 12 për qind të tregut, përkatësisht, zënë softuerin analitik Log-file dhe platformat Columnar. Por Hadoop / MapReduce nuk është shumë efikas në trajtimin e problemeve të të dhënave të mëdha në praktikë.

Rezultatet e zbatimit të teknologjive të të dhënave të mëdha:

rritja e cilësisë së shërbimit ndaj klientit;
optimizimi i integrimit në zinxhirin e furnizimit;
optimizimi i planifikimit të organizatës;
përshpejtimi i ndërveprimit me klientët;
përmirësimi i efikasitetit të përpunimit të kërkesave të klientëve;
ulje e kostove të shërbimit;
optimizimi i përpunimit të porosive të klientit.

Librat më të mirë mbi të dhënat e mëdha

I përshtatshëm për studimin fillestar të teknologjive të përpunimit të të dhënave të mëdha - ju prezanton lehtësisht dhe qartë me kursin. E bën të qartë se si bollëku i informacionit ka ndikuar në jetën e përditshme dhe në të gjitha sferat e saj: shkencë, biznes, mjekësi etj. Përmban ilustrime të shumta, prandaj perceptohet pa shumë përpjekje.

Introduction to Data Mining, Pang-Ning Tan, Michael Steinbach dhe Vipin Kumar

Gjithashtu i dobishëm për fillestarët është një libër mbi të dhënat e mëdha, që shpjegon se si të punohet me të dhëna të mëdha në bazë të parimit "nga e thjeshta në komplekse". Ai mbulon shumë pika të rëndësishme në fazën fillestare: përgatitjen për përpunim, vizualizim, OLAP, si dhe disa metoda të analizës dhe klasifikimit të të dhënave.

Një udhëzues praktik për përdorimin dhe punën me të dhëna të mëdha duke përdorur gjuhën e programimit Python. I përshtatshëm si për studentët e inxhinierisë ashtu edhe për profesionistët që duan të thellojnë njohuritë e tyre.

Hadoop for Dummies, Dirk Derus, Paul S. Zykopoulos, Roman B. Melnik

Hadoop është një projekt i krijuar posaçërisht për të punuar me programe të shpërndara që ekzekutojnë veprime në mijëra nyje në të njëjtën kohë. Njohja me të do t'ju ndihmojë të kuptoni më në detaje zbatimin praktik të të dhënave të mëdha.

"Të dhënat e mëdha"- një temë që diskutohet në mënyrë aktive nga kompanitë e teknologjisë. Disa prej tyre arritën të zhgënjehen me të dhënat e mëdha, të tjerët - përkundrazi, i shfrytëzojnë sa më shumë për biznesin... Një përmbledhje e re analitike e tregut vendas dhe global të Big Data, përgatitur nga Exchange Moscow në bashkëpunim me analistët e IPOboard , tregon se cilat tendenca janë më të rëndësishme tani në treg ... Shpresojmë që informacioni të jetë interesant dhe i dobishëm.

ÇFARË ËSHTË BIG DATA?

Karakteristikat kryesore

Big Data, sot, është një nga shtytësit kryesorë të zhvillimit të teknologjisë së informacionit. Ky drejtim, relativisht i ri për biznesin rus, është bërë i përhapur në vendet perëndimore. Kjo për faktin se në epokën e teknologjisë së informacionit, veçanërisht pas bumit të rrjeteve sociale, një sasi e konsiderueshme informacioni filloi të grumbullohej për çdo përdorues të internetit, gjë që në fund të fundit dha drejtimin e Big Data.

Termi "Big Data" shkakton shumë polemika, shumë besojnë se ai nënkupton vetëm sasinë e informacionit të grumbulluar, por mos harroni për anën teknike, kjo fushë përfshin teknologjitë e ruajtjes, informatikë, si dhe shërbime.

Duhet të theksohet se kjo fushë përfshin përpunimin e një sasie të madhe informacioni, i cili është i vështirë për t'u përpunuar duke përdorur metodat tradicionale *.

Më poshtë është një tabelë krahasuese e bazës tradicionale dhe asaj të madhe të të dhënave.

Sfera e të dhënave të mëdha karakterizohet nga karakteristikat e mëposhtme:
Vëllimi - vëllimi i bazës së të dhënave të akumuluar është një sasi e madhe informacioni që është e mundimshme për t'u përpunuar dhe ruajtur në mënyra tradicionale, ato kërkojnë një qasje të re dhe mjete të përmirësuara.
Shpejtësia - shpejtësia, kjo shenjë tregon si shpejtësinë në rritje të akumulimit të të dhënave (90% e informacionit u mblodh gjatë 2 viteve të fundit), ashtu edhe shpejtësinë e përpunimit të të dhënave, kohët e fundit, teknologjitë e përpunimit të të dhënave në kohë reale janë bërë më të kërkuara.
Shumëllojshmëri - diversiteti, d.m.th. mundësia e përpunimit të njëkohshëm të informacionit shumëformat të strukturuar dhe të pastrukturuar. Dallimi kryesor midis informacionit të strukturuar është se ai mund të klasifikohet. Një shembull i një informacioni të tillë është informacioni i transaksionit të klientit.
Informacioni i pastrukturuar përfshin video, skedarë audio, tekst falas, informacione që vijnë nga rrjetet sociale. Sot 80% e informacionit përfshihet në grupin e pastrukturuar. Ky informacion ka nevojë për analiza komplekse për ta bërë atë të dobishëm për përpunim të mëtejshëm.
Vërtetësia - besueshmëria e të dhënave, përdoruesit filluan t'i kushtojnë gjithnjë e më shumë rëndësi besueshmërisë së të dhënave të disponueshme. Për shembull, kompanitë e internetit kanë një problem të ndarjes së veprimeve të kryera nga një robot dhe një person në faqen e internetit të kompanisë, gjë që përfundimisht çon në vështirësinë e analizës së të dhënave.
Vlera - vlera e informacionit të grumbulluar. Të dhënat e mëdha duhet të jenë të dobishme për kompaninë dhe t'i sjellin njëfarë vlere asaj. Për shembull, ndihmoni në përmirësimin e proceseve të biznesit, raportimin ose optimizimin e kostove.

Nëse plotësohen 5 kushtet e mësipërme, vëllimet e të dhënave të grumbulluara mund të klasifikohen si të mëdha.

Fushat e aplikimit të të dhënave të mëdha

Sfera e përdorimit të teknologjive Big Data është e gjerë. Pra, me ndihmën e Big Data, mund të mësoni për preferencat e klientëve, efektivitetin e fushatave të marketingut ose të bëni një analizë rreziku. Më poshtë janë rezultatet e një sondazhi të Institutit IBM mbi përdorimin e të dhënave të mëdha në kompani.

Siç mund ta shihni nga diagrami, shumica e kompanive përdorin Big Data në fushën e shërbimit ndaj klientit, fusha e dytë më e njohur është efikasiteti operacional, në fushën e menaxhimit të rrezikut Big Data është më pak e zakonshme për momentin.

Duhet të theksohet gjithashtu se Big Data është një nga fushat me rritje më të shpejtë të teknologjisë së informacionit, sipas statistikave, sasia totale e të dhënave të marra dhe të ruajtura dyfishohet çdo 1.2 vjet.
Midis 2012 dhe 2014, sasia e të dhënave të transferuara mujore nga rrjetet celulare u rrit me 81%. Sipas vlerësimeve të Cisco, në vitin 2014 vëllimi i trafikut celular ishte 2.5 ekzabajt (një njësi matëse për sasinë e informacionit të barabartë me 10 ^ 18 bajt standard) në muaj, dhe tashmë në 2019 do të jetë i barabartë me 24.3 ekzabajt.
Kështu, Big Data është tashmë një fushë teknologjike e konsoliduar mirë, pavarësisht moshës relativisht të re, e cila është përhapur në shumë fusha të biznesit dhe luan një rol të rëndësishëm në zhvillimin e kompanive.

Big Data Technologies

Teknologjitë e përdorura për mbledhjen dhe përpunimin e të dhënave të mëdha mund të ndahen në 3 grupe:

Software;
pajisje;
Shërbimet e shërbimit.

Qasjet më të zakonshme të përpunimit të të dhënave (softuerike) përfshijnë:
SQL - një gjuhë e strukturuar e pyetjeve që ju lejon të punoni me bazat e të dhënave. Me ndihmën e SQL, ju mund të krijoni dhe modifikoni të dhëna, dhe sistemi përkatës i menaxhimit të bazës së të dhënave merret me menaxhimin e grupit të të dhënave.
NoSQL - termi qëndron për Jo Only SQL (jo vetëm SQL). Ai përfshin një numër qasjesh që synojnë zbatimin e një baze të dhënash që ndryshojnë nga modelet e përdorura në DBMS tradicionale relacionale. Ato janë të përshtatshme për t'u përdorur kur struktura e të dhënave ndryshon vazhdimisht. Për shembull, për të mbledhur dhe ruajtur informacione në rrjetet sociale.
MapReduce - modeli i shpërndarjes llogaritëse. Përdoret për llogaritje paralele në grupe të dhënash shumë të mëdha (petabytes * ose më shumë). Në ndërfaqen e programimit, jo të dhënat transferohen në program për përpunim, por programi transferohet në të dhëna. Prandaj, kërkesa është një program më vete. Parimi i funksionimit konsiston në përpunimin sekuencial të të dhënave me dy metoda Harto dhe Redukto. Harta merr të dhëna paraprake, Redukto i bashkon ato.
Hadoop - përdoret për të zbatuar mekanizmat e kërkimit dhe kontekstual të faqeve me ngarkesë të lartë - Facebook, eBay, Amazon, etj. Një tipar dallues është se sistemi mbrohet nga dështimi i ndonjë prej nyjeve të grupimit, pasi çdo bllok ka të paktën një kopje të të dhënat në nyjen tjetër.
SAP HANA Është një platformë NewSQL me performancë të lartë për ruajtjen dhe përpunimin e të dhënave. Ofron shpejtësi të lartë të përpunimit të kërkesave. Një tipar tjetër dallues është se SAP HANA thjeshton peizazhin e sistemit duke ulur koston e mbështetjes së sistemeve analitike.

Pajisjet teknologjike përfshijnë:

serverë;
pajisje infrastrukturore.

Serverët përfshijnë dyqane të dhënash.
Pajisjet e infrastrukturës përfshijnë përshpejtuesit e platformës, furnizimet me energji të pandërprerë, kompletet e konsolës së serverit, etj.

Shërbimet e shërbimit.
Shërbimet përfshijnë shërbime për ndërtimin e arkitekturës së sistemit të bazës së të dhënave, rregullimin dhe optimizimin e infrastrukturës dhe sigurimin e sigurisë së ruajtjes së të dhënave.

Softueri, hardueri dhe shërbimet së bashku formojnë platforma komplekse për ruajtjen dhe analizimin e të dhënave. Kompani të tilla si Microsoft, HP, EMC ofrojnë shërbime për zhvillimin, vendosjen dhe menaxhimin e zgjidhjeve të Big Data.

Aplikimi në industri

Të dhënat e mëdha janë bërë të përhapura në shumë industri. Ato përdoren në kujdesin shëndetësor, telekomunikacionin, tregtinë, logjistikën, kompanitë financiare dhe qeverinë.
Më poshtë janë disa shembuj të aplikacioneve të të dhënave të mëdha në disa nga industritë.

Shitje me pakicë
Në bazat e të dhënave të dyqaneve me pakicë, mund të grumbullohen shumë informacione për klientët, sistemin e menaxhimit të inventarit dhe furnizimin e produkteve të tregtueshme. Ky informacion mund të jetë i dobishëm në të gjitha zonat e dyqaneve.

Pra, me ndihmën e informacionit të grumbulluar, ju mund të menaxhoni furnizimin e mallrave, ruajtjen dhe shitjen e tyre. Bazuar në informacionin e grumbulluar, është e mundur të parashikohet kërkesa dhe oferta e mallrave. Gjithashtu, sistemi i përpunimit dhe analizës së të dhënave mund të zgjidhë probleme të tjera të shitësit me pakicë, për shembull, për të optimizuar kostot ose për të përgatitur raporte.

Shërbimet financiare
Big Data bën të mundur analizimin e aftësisë kreditore të një huamarrësi dhe është gjithashtu i dobishëm për vlerësimin e kredisë * dhe nënshkrimin **. Futja e teknologjive Big Data do të reduktojë kohën për shqyrtimin e kërkesave për kredi. Me ndihmën e Big Data, ju mund të analizoni transaksionet e një klienti specifik dhe të ofroni shërbime bankare të përshtatshme për të.

Telekom
Në industrinë e telekomunikacionit, Big Data përdoret gjerësisht nga operatorët celularë.
Operatorët celularë, së bashku me institucionet financiare, kanë një nga bazat e të dhënave më voluminoze, e cila u lejon atyre të kryejnë analizën më të thellë të informacionit të grumbulluar.
Qëllimi kryesor i analizës së të dhënave është të mbajë klientët ekzistues dhe të tërheqë të rinj. Për ta bërë këtë, kompanitë segmentojnë klientët, analizojnë trafikun e tyre dhe përcaktojnë përkatësinë sociale të pajtimtarit.

Përveç përdorimit të të dhënave të mëdha për qëllime marketingu, teknologjitë përdoren për të parandaluar transaksionet financiare mashtruese.

Industria minerare dhe e naftës
Big Data përdoret si në miniera, ashtu edhe në përpunim dhe marketing. Bazuar në informacionin e marrë, ndërmarrjet mund të nxjerrin përfundime në lidhje me efektivitetin e zhvillimit në terren, të ndjekin orarin e riparimeve dhe gjendjen e pajisjeve, të parashikojnë kërkesën për produkte dhe çmime.

Sipas një sondazhi të Tech Pro Research, Big Data është më i përhapuri në industrinë e telekomunikacionit, si dhe në inxhinieri, IT, financiare dhe ndërmarrjet qeveritare. Sipas rezultateve të këtij sondazhi, Big Data është më pak e popullarizuar në arsim dhe shëndetësi. Rezultatet e anketës janë paraqitur më poshtë:

Shembuj të përdorimit të të dhënave të mëdha në kompani

Sot Big Data po zbatohet në mënyrë aktive në kompani të huaja. Kompani të tilla si Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks dhe Netflix tashmë po përdorin Big Data.

Fushat e aplikimit të informacionit të përpunuar janë të ndryshme dhe ndryshojnë në varësi të industrisë dhe detyrave që do të kryhen.
Shembuj të mëtejshëm të aplikimit të teknologjive të Big Data në praktikë do të paraqiten.

HSBC përdor teknologjitë e të dhënave të mëdha për të luftuar transaksionet mashtruese me kartat plastike. Me ndihmën e Big Data, kompania rriti efikasitetin e shërbimit të sigurisë 3 herë, dhe zbulimin e incidenteve mashtruese - 10 herë. Efekti ekonomik nga futja e këtyre teknologjive i kaloi 10 milionë USD.

Kundër mashtrimit * VIZA lejon llogaritjen automatike të transaksioneve mashtruese, sistemi aktualisht ndihmon në parandalimin e pagesave mashtruese në vlerën 2 miliardë dollarë në vit.

Superkompjuteri Watson Company IBM analizon rrjedhën e të dhënave për transaksionet monetare në kohë reale. Sipas IBM, Watson rriti numrin e transaksioneve mashtruese të zbuluara me 15%, zvogëloi rezultatet false me 50% dhe rriti shumën e fondeve të mbrojtura nga transaksione të tilla me 60%.

Procter & Gamble me ndihmën e Big Data, ata hartojnë produkte të reja dhe hartojnë fushata marketingu globale. P&G ka krijuar zyra të dedikuara Business Spheres ku informacioni mund të shikohet në kohë reale.
Kështu, menaxhmenti i kompanisë ishte në gjendje të testonte menjëherë hipotezat dhe të kryente eksperimente. P&G beson se Big Data ndihmon në parashikimin e performancës së kompanisë.

Shitës me pakicë për furnizime zyre OfficeMax duke përdorur teknologjitë e të dhënave të mëdha, ata analizojnë sjelljen e klientit. Analiza e të dhënave të mëdha na lejoi të rrisim të ardhurat nga B2B me 13% dhe të reduktojmë kostot me 400,000 USD në vit.

Sipas mendimit vemje , shpërndarësit e saj humbasin 9 miliardë deri në 18 miliardë dollarë fitime në vit vetëm sepse nuk zbatojnë teknologjitë e të dhënave të mëdha. Big Data do t'i lejojë klientët të menaxhojnë në mënyrë më efikase flotën e tyre të makinave duke analizuar informacionin që vjen nga sensorët e instaluar në makina.

Sot tashmë është e mundur të analizohet gjendja e komponentëve kryesorë, shkalla e konsumimit të tyre, të menaxhohen kostot e karburantit dhe të mirëmbajtjes.

Grupi Luxottica është një prodhues i syzeve sportive si Ray-Ban, Persol dhe Oakley. Kompania përdor teknologjitë Big Data për të analizuar sjelljen e klientëve të mundshëm dhe marketingun "inteligjent" të SMS-ve. Si rezultat, grupi Big Data Luxottica ndau më shumë se 100 milionë nga klientët më të vlefshëm dhe rriti efektivitetin e fushatës së marketingut me 10%.

Me ndihmën e Yandex Data Factory, zhvilluesit e lojërave Bota e tankeve analizoni sjelljen e lojtarëve. Teknologjitë e të dhënave të mëdha bënë të mundur analizimin e sjelljes së 100 mijë lojtarëve të World of Tanks duke përdorur më shumë se 100 parametra (informacione rreth blerjeve, lojërave, përvojës, etj.). Si rezultat i analizës, u mor një parashikim i dyndjes së përdoruesit. Ky informacion ndihmon për të reduktuar largimin e përdoruesve dhe për të punuar me pjesëmarrësit e lojës në një mënyrë të synuar. Modeli i zhvilluar doli të ishte 20-30% më efikas se mjetet standarde për analizimin e industrisë së lojrave.

Ministria Gjermane e Punës përdor Big Data në punën e tij në lidhje me analizën e aplikacioneve të ardhura për dhënien e përfitimeve të papunësisë. Pra, pas analizimit të informacionit, u bë e qartë se 20% e përfitimeve ishin paguar në mënyrë të pamerituar. Me ndihmën e Big Data, Ministria e Punës ka ulur kostot me 10 miliardë euro.

Spitali i Fëmijëve në Toronto zbatoi projektin Project Artemis. Është një sistem informacioni që mbledh dhe analizon të dhënat për foshnjat në kohë reale. Sistemi monitoron 1260 tregues të gjendjes së çdo fëmije çdo sekondë. Projekti Artemis bën të mundur parashikimin e gjendjes së paqëndrueshme të një fëmije dhe fillimin e parandalimit të sëmundjeve tek fëmijët.

PËRMBLEDHJE E TREGUT GLOBAL TË MADH TË TË DHËNAVE

Gjendja aktuale e tregut botëror

Në vitin 2014, Big Data, sipas Data Collective, u bë një nga fushat prioritare të investimeve në industrinë e kapitalit sipërmarrës. Sipas portalit informativ Computerra, kjo për faktin se zhvillimet në këtë fushë kanë filluar të sjellin rezultate të ndjeshme për përdoruesit e tyre. Gjatë vitit të kaluar, numri i kompanive me projekte të realizuara në fushën e menaxhimit të të dhënave të mëdha është rritur me 125%, vëllimi i tregut është rritur me 45% krahasuar me vitin 2013.

Pjesa më e madhe e të ardhurave të tregut të Big Data, sipas Wikibon, në vitin 2014 përbëhej nga shërbimet, pjesa e tyre ishte e barabartë me 40% të të ardhurave totale (shih diagramin më poshtë):

Nëse marrim parasysh Big Data për vitin 2014 sipas nënllojeve, atëherë tregu do të duket kështu:

Sipas Wikibon, aplikacionet dhe analitika përbëjnë 36% të të ardhurave të Big Data në 2014-n, vijnë nga aplikacionet dhe analitika e Big Data, 17% nga pajisjet kompjuterike dhe 15% nga teknologjitë e ruajtjes së të dhënave. Më së paku nga të gjitha të ardhurat u gjeneruan nga teknologjitë NoSQL, pajisjet e infrastrukturës dhe ofrimi i një rrjeti kompanish (rrjetet e korporatave).

Teknologjitë më të njohura të Big Data janë platformat në memorie të SAP, HANA, Oracle, etj. Rezultatet e sondazhit të T-Systems treguan se ato u zgjodhën nga 30% e kompanive të anketuara. E dyta më e njohura ishin platformat NoSQL (18% e përdoruesve), kompanitë përdorën gjithashtu platforma analitike nga Splunk dhe Dell, ato u zgjodhën nga 15% e kompanive. Më pak të dobishmet për zgjidhjen e problemeve të Big Data, sipas rezultateve të sondazhit, ishin produktet Hadoop / MapReduce.

Sipas një sondazhi të Accenture, më shumë se 50% e kompanive që përdorin teknologjitë e të dhënave të mëdha shpenzojnë 21% deri në 30% në Big Data.
Sipas analizës së mëposhtme nga Accenture, 76% e kompanive besojnë se këto shpenzime do të rriten në vitin 2015 dhe 24% e kompanive nuk do të ndryshojnë buxhetin e tyre për teknologjitë Big Data. Kjo sugjeron që në këto kompani Big Data është bërë tashmë një drejtim i themeluar i IT-së, i cili është bërë pjesë integrale e zhvillimit të kompanisë.

Rezultatet e sondazhit të Economist Intelligence Unit konfirmojnë efektin pozitiv të zbatimit të Big Data. 46% e kompanive thonë se kanë përmirësuar shërbimin ndaj klientit me më shumë se 10% duke përdorur teknologjitë Big Data, 33% e kompanive kanë optimizuar inventarin dhe kanë përmirësuar produktivitetin e aktiveve fikse, 32% e kompanive kanë përmirësuar proceset e planifikimit.

Të dhëna të mëdha në mbarë botën

Sot teknologjitë Big Data zbatohen më shpesh në kompanitë amerikane, por edhe tani vendet e tjera të botës kanë filluar të shfaqin interes. Në vitin 2014, sipas IDC, vendet e Evropës, Lindjes së Mesme, Azisë (me përjashtim të Japonisë) dhe Afrikës përbënin 45% të tregut për softuer, shërbime dhe pajisje në fushën e të dhënave të mëdha.

Gjithashtu, sipas një sondazhi të CIO, kompanitë nga rajoni Azi-Paqësor po miratojnë me shpejtësi zgjidhje të reja në fushën e analizës së të dhënave të mëdha, ruajtjes së sigurt dhe teknologjive cloud. Amerika Latine është në vendin e dytë për nga sasia e investimeve në zhvillimin e teknologjive Big Data, përpara vendeve të Evropës dhe Shteteve të Bashkuara.
Më pas do të prezantohet një përshkrim dhe parashikime të zhvillimit të tregut të Big Data në disa vende.

Kinë
Sasia e informacionit në Kinë është 909 ekzabajt, që është e barabartë me 10% të sasisë totale të informacionit në botë, deri në vitin 2020 sasia e informacionit do të arrijë në 8060 ekzabajt, dhe pjesa e informacionit në statistikat globale gjithashtu do të rritet, në 5 vjet do të jetë 18%. Rritja e mundshme e Big Data të Kinës ka një nga dinamikat me rritje më të shpejtë.

Brazili
Në fund të vitit 2014, Brazili grumbulloi 212 ekzabajt informacione, që është 3% e vëllimit global. Deri në vitin 2020, vëllimi i informacionit do të rritet në 1600 ekzabajt, ose 4% e informacionit botëror.

Indi
Sipas EMC, vëllimi i të dhënave të grumbulluara në Indi në fund të vitit 2014 është 326 ekzabajt, që është 5% e vëllimit të përgjithshëm të informacionit. Deri në vitin 2020, vëllimi i informacionit do të rritet në 2800 ekzabajt, ose 6% e informacionit në të gjithë botën.

Japonia
Sasia e të dhënave të grumbulluara në Japoni në fund të vitit 2014 është 495 ekzabajt, që është 8% e sasisë totale të informacionit. Deri në vitin 2020, vëllimi i informacionit do të rritet në 2200 ekzabajt, por pjesa e tregut të Japonisë do të ulet në 5% të vëllimit të përgjithshëm të informacionit në të gjithë botën.
Kështu, madhësia e tregut japonez do të ulet me më shumë se 30%.

Gjermania
Sipas EMC, vëllimi i të dhënave të grumbulluara në Gjermani në fund të vitit 2014 është 230 ekzabajt, që është 4% e vëllimit të përgjithshëm të informacionit në botë. Deri në vitin 2020, vëllimi i informacionit do të rritet në 1,100 ekzabajt, ose 2%.
Në tregun gjerman, një pjesë e madhe e të ardhurave, sipas parashikimeve të Experton Group, do të gjenerohet nga segmenti i shërbimeve, pjesa e të cilit në vitin 2015 do të jetë 54%, dhe në 2019 do të rritet në 59%, pjesa e softuerit. dhe pajisja, përkundrazi, do të ulet.

Në përgjithësi, tregu do të rritet nga 1,345 miliardë euro në 2015 në 3,198 miliardë euro në 2019, me një normë mesatare rritjeje prej 24%.
Kështu, bazuar në analitikën CIO dhe EMC, mund të konkludohet se vendet në zhvillim të botës në vitet e ardhshme do të bëhen tregje për zhvillimin aktiv të teknologjive Big Data.

Tendencat kryesore të tregut

Sipas IDG Enterprise, në vitin 2015 shpenzimet e kompanive për Big Data do të arrijnë mesatarisht 7.4 milionë USD për kompani, kompanitë e mëdha synojnë të shpenzojnë rreth 13.8 milionë USD, kompanitë e vogla dhe të mesme - 1.6 milionë USD.
Shumica do të investohen në fusha të tilla si analiza dhe vizualizimi i të dhënave dhe mbledhja e të dhënave.
Në përputhje me tendencat aktuale dhe kërkesën e tregut, investimet në vitin 2015 do të përdoren për të përmirësuar cilësinë e të dhënave, për të përmirësuar planifikimin dhe parashikimin dhe për të rritur shpejtësinë e përpunimit të të dhënave.
Kompanitë në sektorin financiar, sipas Analizës së Insights të Bain Company, do të bëjnë investime të konsiderueshme, kështu që në vitin 2015 është planifikuar të shpenzohen 6.4 miliardë dollarë në teknologjitë e Big Data, norma mesatare e rritjes së investimeve do të jetë 22% deri në vitin 2020. Kompanitë e internetit planifikojnë të shpenzojnë 2.8 miliardë dollarë, me një rritje mesatare prej 26% për shpenzimet e Big Data.
Gjatë kryerjes së një sondazhi nga anketa e Economist Intelligence Unit, u identifikuan drejtimet prioritare për zhvillimin e Big Data në 2014 dhe në 3 vitet e ardhshme, shpërndarja e përgjigjeve është si më poshtë:

Sipas parashikimeve të IDC, tendencat e tregut janë si më poshtë:

Në 5 vitet e ardhshme, kostoja e zgjidhjeve cloud në fushën e teknologjive të Big Data do të rritet 3 herë më shpejt se kostoja e zgjidhjeve në mjedise. Platformat hibride të ruajtjes do të jenë në kërkesë.
Rritja e aplikacioneve që përdorin analitikë komplekse dhe parashikuese, duke përfshirë mësimin e makinerive, do të përshpejtohet në vitin 2015, tregu për aplikacione të tilla do të rritet 65% më shpejt se aplikacionet që nuk përdorin analitikë parashikuese.
Analitika e medias do të trefishohet në 2015 dhe do të bëhet një shtytës kryesor i rritjes për tregun e teknologjisë Big Data.
Tendenca do të përshpejtohet për të zbatuar zgjidhje për të analizuar rrjedhën e vazhdueshme të informacionit që është e zbatueshme në Internetin e Gjërave.
Deri në vitin 2018, 50% e përdoruesve do të ndërveprojnë me shërbimet e informatikës njohëse.

Drejtuesit dhe Kufizuesit e Tregut

Ekspertët e IDC identifikuan 3 drejtues të tregut të të dhënave të mëdha në 2015:

Sipas një sondazhi të Accenture, çështjet e sigurisë së të dhënave tani janë pengesa kryesore për zbatimin e teknologjive të të dhënave të mëdha, me më shumë se 51% e të anketuarve konfirmuan se janë të shqetësuar për sigurimin e mbrojtjes dhe konfidencialitetit të të dhënave. 47% e kompanive raportuan se ishte e pamundur të zbatoheshin Big Data për shkak të një buxheti të kufizuar, 41% e kompanive treguan si problem mungesën e personelit të kualifikuar.

Wikibon parashikon që madhësia e tregut të Big Data do të rritet në 38.4 miliardë dollarë në 2015 dhe do të rritet me 36% krahasuar me vitin e kaluar. Në vitet e ardhshme, do të ketë një rënie të ritmeve të rritjes në 10% në 2017. Bazuar në këto parashikime, madhësia e tregut në vitin 2020 do të jetë e barabartë me 68.7 miliardë dollarë.

Shpërndarja e tregut global të të dhënave të mëdha sipas kategorive të biznesit do të duket kështu:

Siç mund ta shihni nga diagrami, pjesa më e madhe e tregut do të zënë teknologjitë nga fusha e përmirësimit të shërbimit ndaj klientit. Marketingu me pikë do të jetë në vendin e dytë për nga prioriteti midis kompanive deri në vitin 2019, në vitin 2020, sipas parashikimit të Heavy Reading, do t'i hapë rrugën zgjidhjeve për përmirësimin e efikasitetit operacional.
Segmenti “përmirësimi i shërbimit ndaj klientit” do të ketë gjithashtu normën më të lartë të rritjes, një rritje prej 49% në vit.
Parashikimi i tregut për nëntipet e të dhënave të mëdha do të duket kështu:

Pjesa mbizotëruese e tregut, siç shihet edhe nga diagrami, është e zënë nga shërbimet profesionale, norma më e lartë e rritjes do të jetë në aplikacionet me analitikë, pjesa e tyre do të rritet nga 12% në 18% në 2020 dhe vëllimi i këtij segmenti. do të jetë e barabartë me 12.3 miliardë dollarë, pjesa e pajisjeve kompjuterike, përkundrazi, do të bjerë nga 20% në 14% dhe do të arrijë në rreth 9.3 miliardë dollarë në vitin 2020, tregu i teknologjisë cloud do të rritet gradualisht dhe në vitin 2020 do të arrijë në $ 6.3 miliardë dollarë, pjesa e tregut të zgjidhjeve për ruajtjen e të dhënave, përkundrazi, do të ulet nga 15% në 2014 në 13% në 2020 dhe në terma monetarë do të jetë e barabartë me 8.9 miliardë dollarë.
Sipas parashikimit të Analizës së Insights të Bain & Company, shpërndarja e tregut të të dhënave të mëdha sipas industrisë në vitin 2020 do të duket kështu:

Industria financiare do të shpenzojë 6.4 miliardë dollarë në Big Data me një rritje mesatare prej 22% në vit;
Kompanitë e internetit do të shpenzojnë 2.8 miliardë dollarë dhe një normë mesatare të rritjes së kostos prej 26% gjatë 5 viteve të ardhshme;
Kostot e sektorit publik do të jenë në përpjesëtim me kostot e kompanive të internetit, por ritmi i rritjes do të jetë më i ulët - 22%;
Sektori i telekomunikacionit do të rritet me një normë mesatare rritjeje prej 40% për të arritur në 1.2 miliardë dollarë në vitin 2020;

Ndërmarrjet komunale do të investojnë një sasi relativisht të vogël prej 800 milionë dollarësh në këto teknologji, por ritmi i rritjes do të jetë një nga më të lartat me 54% në vit.
Kështu, një pjesë e madhe e tregut të Big Data në vitin 2020 do të zënë kompanitë e industrisë financiare dhe sektori me rritje më të shpejtë do të jetë energjia.
Në vijim të parashikimeve të analistëve, vëllimi total i tregut do të rritet në vitet në vijim. Rritja e tregut do të sigurohet nga prezantimi i teknologjive Big Data në vendet në zhvillim të botës, siç mund të shihet nga grafiku i mëposhtëm.

Madhësia e parashikuar e tregut do të varet nga mënyra se si vendet në zhvillim i perceptojnë teknologjitë e të dhënave të mëdha, nëse ato janë po aq të njohura sa në vendet e zhvilluara. Në vitin 2014, vendet në zhvillim të botës përbënin 40% të informacionit të grumbulluar. EMC parashikon se struktura aktuale e tregut, e dominuar nga vendet e zhvilluara, do të ndryshojë në vitin 2017. Sipas analistëve të EMC, në vitin 2020 pjesa e vendeve në zhvillim do të jetë mbi 60%.
Sipas Cisco dhe EMC, vendet në zhvillim të botës do të jenë mjaft aktive në punën me Big Data, kryesisht për shkak të disponueshmërisë së teknologjive dhe akumulimit të një sasie të mjaftueshme informacioni në nivelin e Big Data. Harta botërore në faqen tjetër do të tregojë parashikimin për rritjen e volumit dhe normën e rritjes së Big Data sipas rajonit.

ANALIZA E TREGUT RUS

Gjendja aktuale e tregut rus

Sipas një studimi nga CNews Analytics dhe Oracle, niveli i pjekurisë së tregut rus të Big Data është rritur gjatë vitit të kaluar. Të anketuarit nga 108 ndërmarrje të mëdha në një gamë të gjerë industrish treguan një shkallë më të lartë të ndërgjegjësimit për këto teknologji, si dhe një kuptim të vendosur të potencialit të zgjidhjeve të tilla për biznesin e tyre.
Që nga viti 2014, sipas IDC, në Rusi janë grumbulluar 155 ekzabajt informacione, që është vetëm 1.8% e të dhënave botërore. Vëllimi i informacionit deri në vitin 2020 do të arrijë në 980 ekzabajt dhe do të marrë 2.2%. Kështu, norma mesatare e rritjes së vëllimit të informacionit do të jetë 36% në vit.
IDC vlerëson tregun rus në 340 milion dollarë, nga të cilat 100 milion dollarë janë zgjidhje SAP, afërsisht 240 milion dollarë janë zgjidhje të ngjashme nga Oracle, IBM, SAS, Microsoft, etj.
Shkalla e rritjes së tregut rus të të dhënave të mëdha nuk është më pak se 50% në vit.
Parashikohet se dinamika pozitive do të vazhdojë në këtë sektor të tregut rus të IT, edhe në kushtet e stagnimit të përgjithshëm të ekonomisë. Kjo për faktin se bizneset janë ende në kërkesë për zgjidhje që përmirësojnë efikasitetin operacional, si dhe optimizojnë kostot, përmirësojnë saktësinë e parashikimit dhe minimizojnë rreziqet e mundshme të kompanisë.
Ofruesit kryesorë të shërbimeve Big Data në tregun rus janë:

Orakulli
Microsoft
Cloudera
Hortonworks
Teradata.

Pasqyrë e tregut sipas industrisë dhe përvoja e përdorimit të të dhënave të mëdha në kompani

Sipas CNews, në Rusi vetëm 10% e kompanive kanë filluar të përdorin teknologjitë Big Data, kur pjesa e kompanive të tilla në botë është rreth 30%. Gatishmëria për projektet e Big Data po rritet në shumë sektorë të ekonomisë ruse, sipas raportit të CNews Analytics dhe Oracle. Më shumë se një e treta e kompanive të anketuara (37%) kanë filluar të punojnë me teknologjitë e të dhënave të mëdha, ndër të cilat 20% tashmë përdorin zgjidhje të tilla dhe 17% kanë filluar të eksperimentojnë me to. Një e treta e dytë e të anketuarve aktualisht po e shqyrtojnë këtë mundësi.

Në Rusi, teknologjitë e të dhënave të mëdha janë më të njohura në sektorin bankar dhe telekomunikacion, por ato janë gjithashtu të kërkuara në industrinë e minierave, energjinë, shitjen me pakicë, kompanitë e logjistikës dhe sektorin publik.
Më poshtë do të shqyrtojmë shembuj të aplikimit të të dhënave të mëdha në realitetet ruse.

Telekom
Operatorët e telekomit kanë një nga bazat e të dhënave më voluminoze, e cila u lejon atyre të kryejnë analizën më të thellë të informacionit të grumbulluar.
Një nga fushat e aplikimit të teknologjisë Big Data është menaxhimi i besnikërisë së abonentëve.
Qëllimi kryesor i analizës së të dhënave është të mbajë klientët ekzistues dhe të tërheqë të rinj. Për ta bërë këtë, kompanitë segmentojnë klientët, analizojnë trafikun e tyre dhe përcaktojnë përkatësinë sociale të pajtimtarit. Përveç përdorimit të informacionit për qëllime marketingu, teknologjitë e telekomit përdoren për të parandaluar transaksionet financiare mashtruese.
VimpelCom është një nga shembujt e mrekullueshëm të kësaj industrie. Kompania përdor Big Data për të përmirësuar cilësinë e shërbimit në nivelin e secilit pajtimtar, për të përgatitur raportime, për të analizuar të dhënat për zhvillimin e rrjetit, për të luftuar spam-in dhe për të personalizuar shërbimet.

bankat
Një pjesë e konsiderueshme e përdoruesve të Big Data janë specialistë nga industria financiare. Një nga eksperimentet e suksesshme u krye në Bankën Ural për Rindërtim dhe Zhvillim, ku baza e informacionit u përdor për të analizuar klientët, banka filloi të ofrojë oferta të specializuara kredie, depozita dhe shërbime të tjera. Gjatë vitit të përdorimit të këtyre teknologjive, portofoli i kredisë me pakicë të kompanisë u rrit me 55%.
Alfa-Bank analizon informacionin nga rrjetet sociale, përpunon aplikimet për kredi dhe analizon sjelljen e përdoruesve të faqes së internetit të kompanisë.
Sberbank filloi gjithashtu përpunimin e një sasie masive të të dhënave për të segmentuar klientët, për të parandaluar aktivitetet mashtruese, për të shitur dhe për të menaxhuar rrezikun. Në të ardhmen, është planifikuar të përmirësohet shërbimi dhe të analizohen veprimet e klientëve në kohë reale.
Banka Gjith-Ruse e Zhvillimit Rajonal analizon sjelljen e mbajtësve të kartave plastike. Kjo bën të mundur identifikimin e transaksioneve që janë atipike për një klient të caktuar, duke rritur kështu mundësinë e zbulimit të vjedhjes së fondeve nga kartat plastike.

Shitje me pakicë
Në Rusi, teknologjitë e të dhënave të mëdha janë zbatuar nga kompanitë tregtare online dhe offline. Sot, sipas CNews Analytics, Big Data përdoret nga 20% e shitësve me pakicë. 75% e shitësve me pakicë besojnë se të dhënat e mëdha janë thelbësore për të zhvilluar një strategji marketingu konkurrues. Sipas statistikave të Hadoop, pas zbatimit të teknologjisë Big Data, fitimet në organizatat tregtare rriten me 7-10%.
Specialistët e M.Video flasin për përmirësimin e planifikimit logjistik pas zbatimit të SAP HANA, dhe si rezultat i zbatimit të tij, përgatitja e raporteve vjetore është ulur nga 10 ditë në 3, shpejtësia e shkarkimit ditor të të dhënave është ulur nga 3. orë deri në 30 minuta.
Wikimart përdor këto teknologji për të gjeneruar rekomandime për vizitorët e faqes në internet.
Një nga dyqanet e para offline që prezantoi analizën e të dhënave të mëdha në Rusi ishte Lenta. Me ndihmën e Big Data, shitja me pakicë filloi të studionte informacione për klientët nga faturat e arkës. Shitësi me pakicë mbledh informacion për të gjeneruar modele të sjelljes, gjë që i mundëson të marrin vendime më të informuara në nivel operacional dhe biznesi.

Industria e naftës dhe gazit
Në këtë industri, fusha e aplikimit të Big Data është mjaft e gjerë. Teknologjitë e Big Data mund të aplikohen në nxjerrjen e mineraleve nga nëntoka. Me ndihmën e tyre, ju mund të analizoni vetë procesin e prodhimit dhe mënyrat më efektive për ta nxjerrë atë, të gjurmoni procesin e shpimit, të analizoni cilësinë e lëndëve të para, si dhe përpunimin dhe tregtimin e produktit përfundimtar. Në Rusi, Transneft dhe Rosneft tashmë kanë filluar përdorimin e këtyre teknologjive.

Organet shtetërore
Vende të tilla si Gjermania, Australia, Spanja, Japonia, Brazili dhe Pakistani po përdorin teknologjitë e të dhënave të mëdha për të trajtuar çështjet kombëtare. Këto teknologji ndihmojnë organet qeveritare që në mënyrë më efektive të ofrojnë shërbime për popullatën, të ofrojnë mbështetje sociale të synuar.
Në Rusi, këto teknologji filluan të zotërohen nga organe të tilla shtetërore si Fondi i Pensionit, Shërbimi Federal i Taksave dhe Fondi i Sigurimit të Detyrueshëm të Shëndetit. Potenciali për zbatimin e projekteve duke përdorur Big Data është i madh, këto teknologji mund të ndihmojnë në përmirësimin e cilësisë së shërbimeve dhe, si rezultat, standardit të jetesës së popullatës.

Logjistika dhe transporti
Big Data mund të përdoret gjithashtu nga kompanitë e transportit. Me ndihmën e teknologjive Big Data, është e mundur të gjurmohet parkimi i makinave, të merren parasysh kostot e karburantit dhe të monitorohen kërkesat e klientëve.
Hekurudhat Ruse zbatuan teknologjitë e të dhënave të mëdha së bashku me SAP. Këto teknologji ndihmuan në uljen e periudhës së raportimit me 43.5 herë (nga 14.5 orë në 20 minuta) dhe në përmirësimin e saktësisë së shpërndarjes së kostos me 40 herë. Gjithashtu, Big Data u fut në proceset e planifikimit dhe rregullimit të tarifave. Në total, kompanitë përdorin më shumë se 300 sisteme të bazuara në zgjidhjet SAP, 4 qendra të të dhënave janë të përfshira dhe numri i përdoruesve është 220,000.

Drejtuesit kryesorë dhe kufizimet e tregut

Drejtuesit për zhvillimin e teknologjive të të dhënave të mëdha në tregun rus janë:

Rritja e interesit nga ana e përdoruesve për mundësitë e Big Data si një mënyrë për të rritur konkurrencën e kompanisë;
Zhvillimi i metodave për përpunimin e skedarëve mediatikë në nivel global;
Transferimi i serverëve që përpunojnë informacione personale në territorin e Rusisë, në përputhje me ligjin e miratuar për ruajtjen dhe përpunimin e të dhënave personale;
Zbatimi i planit sektorial për zëvendësimin e importit të softuerit. Ky plan përfshin mbështetjen e shtetit për prodhuesit vendas të softuerëve, si dhe ofrimin e preferencave për produktet vendase të TI-së kur bëjnë blerje me shpenzime publike.
Në situatën e re ekonomike, kur kursi i dollarit është pothuajse dyfishuar, do të ketë një tendencë drejt përdorimit gjithnjë e më të madh të shërbimeve të ofruesve rusë të cloud sesa atyre të huaj.
Krijimi i teknoparqeve që kontribuojnë në zhvillimin e tregut të teknologjisë së informacionit, duke përfshirë tregun e Big Data;
Program shtetëror për zbatimin e sistemeve të rrjetit, të cilat bazohen në teknologjitë Big Data.

Barrierat kryesore për zhvillimin e Big Data në tregun rus janë:

Sigurimi i sigurisë dhe konfidencialitetit të të dhënave;
Mungesa e personelit të kualifikuar;
Mungesa e burimeve të grumbulluara të informacionit në nivelin e të dhënave të mëdha në shumicën e kompanive ruse;
Vështirësitë në futjen e teknologjive të reja në sistemet e krijuara të informacionit të kompanive;
Kostoja e lartë e teknologjive Big Data, e cila çon në një numër të kufizuar ndërmarrjesh që janë në gjendje të zbatojnë këto teknologji;
Pasiguria politike dhe ekonomike që çoi në daljen e kapitalit dhe ngrirjen e projekteve të investimeve në Rusi;
Rritja e çmimeve të produkteve të importuara dhe rritja e inflacionit, sipas IDC, ngadalësojnë zhvillimin e të gjithë tregut të IT.

Parashikimi i tregut rus

Që nga sot, tregu rus i të dhënave të mëdha nuk është aq popullor sa në vendet e zhvilluara. Shumica e kompanive ruse tregojnë interes për të, por nuk guxojnë të përfitojnë nga mundësitë e tyre.
Shembuj të kompanive të mëdha që kanë përfituar tashmë nga teknologjitë e të dhënave të mëdha po rrisin ndërgjegjësimin për fuqinë e këtyre teknologjive.
Analistët janë gjithashtu mjaft optimistë për tregun rus. IDC beson se pjesa e tregut rus do të rritet gjatë 5 viteve të ardhshme, në ndryshim nga tregu në Gjermani dhe Japoni.
Deri në vitin 2020, vëllimi i të dhënave të mëdha në Rusi do të rritet nga 1.8% aktuale në 2.2% të vëllimit global të të dhënave. Sasia e informacionit do të rritet, sipas EMC, nga 155 ekzabajt aktualë në 980 ekzabajt në vitin 2020.
Për momentin, Rusia vazhdon të grumbullojë sasinë e informacionit deri në nivelin e të dhënave të mëdha.
Sipas një sondazhi të CNews Analytics, 44% e kompanive të anketuara punojnë me të dhëna jo më shumë se 100 terabajt * dhe vetëm 13% punojnë me vëllime mbi 500 terabajt.

Megjithatë, tregu rus, duke ndjekur tendencat globale, do të rritet. Që nga viti 2014, IDC vlerëson madhësinë e tregut në 340 milion dollarë.
Ritmi i rritjes së tregut në vitet e mëparshme ishte 50% në vit, nëse mbetet në të njëjtin nivel, atëherë në vitin 2018 volumi i tregut do të arrijë në 1.7 miliardë dollarë. Pjesa e tregut rus në tregun botëror do të jetë rreth 3%, duke u rritur nga 1.2% aktual.

Industritë më të ndjeshme ndaj përdorimit të të dhënave të mëdha në Rusi janë:

Tregtia me pakicë dhe bankat, për ta, para së gjithash, është e rëndësishme analiza e bazës së klientëve, vlerësimi i efektit të fushatave të marketingut;
Telekomi - segmentimi i bazës së klientëve dhe monetizimi i trafikut;
Sektori publik - kontabiliteti, analiza e aplikacioneve nga popullata etj.;
Kompanitë e naftës - monitorimi i punës dhe planifikimi i prodhimit dhe shitjes;
Kompanitë energjetike - krijimi i sistemeve inteligjente të energjisë, monitorimi operativ dhe parashikimi.

Në vendet e zhvilluara, Big Data është bërë i përhapur në sferat e kujdesit shëndetësor, sigurimeve, metalurgjisë, kompanive të internetit dhe ndërmarrjeve industriale, me shumë mundësi në të ardhmen e afërt kompanitë ruse nga këto zona do të vlerësojnë gjithashtu efektin e zbatimit të Big Data dhe do t'i përshtatin këto teknologji. në industritë e tyre.
Në Rusi, si dhe në botë, në të ardhmen e afërt do të ketë një prirje drejt vizualizimit të të dhënave, analizës së skedarëve mediatikë dhe zhvillimit të Internetit të Gjërave.
Pavarësisht stagnimit të përgjithshëm të ekonomisë, analistët parashikojnë rritje të mëtejshme të tregut të Big Data në vitet e ardhshme, kryesisht për faktin se përdorimi i teknologjive të Big Data u jep përdoruesve të saj një avantazh konkurrues në drejtim të rritjes së efikasitetit operacional të biznesit. , tërheqjen e klientëve shtesë, minimizimin e rreziqeve dhe zbatimin e teknologjive të parashikimit të të dhënave.
Kështu, mund të konkludojmë se segmenti i të dhënave të mëdha në Rusi është në fazën e formimit, por kërkesa për këto teknologji po rritet çdo vit.

Rezultatet kryesore të analizës së tregut

Tregu botëror

Në fund të vitit 2014, tregu i Big Data karakterizohet nga parametrat e mëposhtëm:

madhësia e tregut arriti në 28.5 miliardë dollarë, një rritje prej 45% krahasuar me një vit më parë;
pjesën më të madhe të të ardhurave të tregut të Big Data e përbënin shërbimet, pjesa e tyre ishte e barabartë me 40% në totalin e të ardhurave;
36% e të ardhurave erdhi nga aplikacionet dhe analitika e të dhënave të mëdha, 17% nga pajisjet kompjuterike dhe 15% nga teknologjitë e ruajtjes së të dhënave;
Platformat më të njohura për zgjidhjen e problemeve të Big Data janë platformat në memorie nga kompani të tilla si SAP, HANA dhe Oracle.
është rritur me 125% numri i kompanive me projekte të realizuara në fushën e menaxhimit të Big Data;

Parashikimi i tregut për vitet e ardhshme është si më poshtë:

në 2015 vëllimi i tregut do të arrijë në 38.4 miliardë dollarë, në 2020 - 68.7 miliardë dollarë;
norma mesatare e rritjes do të jetë 16% në vit;
shpenzimet mesatare të kompanisë për teknologjitë Big Data do të arrijnë në 13.8 milionë USD për kompanitë e mëdha dhe 1.6 milionë USD për bizneset e vogla dhe të mesme;
teknologjitë do të jenë më të përhapura në fushën e shërbimit ndaj klientit dhe marketingut në pikë;
në vitin 2017, struktura e tregut global do të ndryshojë drejt një mbizotërimi të kompanive përdoruese nga vendet në zhvillim.

tregu rus

Tregu rus i të dhënave të mëdha është në fazën e formimit, rezultatet e vitit 2014 janë si më poshtë:

madhësia e tregut arriti në 340 milionë USD;
norma mesatare e rritjes së tregut në vitet e mëparshme ishte 50% në vit;
sasia totale e informacionit të grumbulluar ishte 155 ekzabajt;
10% e kompanive ruse kanë filluar të përdorin teknologjitë e të dhënave të mëdha;
Teknologjitë e të dhënave të mëdha ishin më të njohura në banka, telekom, kompanitë e internetit dhe shitjet me pakicë.

Parashikimi për tregun rus për vitet e ardhshme është si më poshtë:

vëllimi i tregut rus në 2015 do të arrijë në 500 milion dollarë, dhe në 2018 - 1.7 miliardë dollarë;
pjesa e tregut rus në botë do të jetë rreth 3% në 2018;
sasia e të dhënave të grumbulluara në vitin 2020 do të jetë 980 ekzabajt;
vëllimi i të dhënave do të rritet në 2.2% të vëllimit global të të dhënave në 2020;
teknologjitë më të njohura do të jenë vizualizimi i të dhënave, analiza e skedarëve mediatikë dhe Interneti i Gjërave.

Bazuar në rezultatet e analizës, mund të konkludohet se tregu i Big Data është ende në fazat e hershme të zhvillimit dhe në të ardhmen e afërt do të vëzhgojmë rritjen e tij dhe zgjerimin e aftësive të këtyre teknologjive.

Faleminderit që gjetët kohën për të lexuar këtë vepër voluminoze, regjistrohuni në blogun tonë - ju premtojmë shumë botime të reja interesante!

Moscow_Exchange 6 maj 2015 në orën 20:38

Rishikim analitik i tregut të të dhënave të mëdha

Blogu i kompanisë së Shkëmbimit në Moskë,
Të dhëna të mëdha

ÇFARË ËSHTË BIG DATA?

Karakteristikat kryesore

Duhet të theksohet se kjo fushë përfshin përpunimin e një sasie të madhe informacioni, i cili është i vështirë për t'u përpunuar duke përdorur metodat tradicionale *.

Më poshtë është një tabelë krahasuese e bazës tradicionale dhe asaj të madhe të të dhënave.

Nëse plotësohen 5 kushtet e mësipërme, vëllimet e të dhënave të grumbulluara mund të klasifikohen si të mëdha.

Fushat e aplikimit të të dhënave të mëdha

Big Data Technologies

Teknologjitë e përdorura për mbledhjen dhe përpunimin e të dhënave të mëdha mund të ndahen në 3 grupe:

Software;
pajisje;
Shërbimet e shërbimit.

Pajisjet teknologjike përfshijnë:

serverë;
pajisje infrastrukturore.

Serverët përfshijnë dyqane të dhënash.
Pajisjet e infrastrukturës përfshijnë përshpejtuesit e platformës, furnizimet me energji të pandërprerë, kompletet e konsolës së serverit, etj.

Aplikimi në industri

Përveç përdorimit të të dhënave të mëdha për qëllime marketingu, teknologjitë përdoren për të parandaluar transaksionet financiare mashtruese.

Shembuj të përdorimit të të dhënave të mëdha në kompani

Kundër mashtrimit * VIZA lejon llogaritjen automatike të transaksioneve mashtruese, sistemi aktualisht ndihmon në parandalimin e pagesave mashtruese në vlerën 2 miliardë dollarë në vit.

Sot tashmë është e mundur të analizohet gjendja e komponentëve kryesorë, shkalla e konsumimit të tyre, të menaxhohen kostot e karburantit dhe të mirëmbajtjes.

PËRMBLEDHJE E TREGUT GLOBAL TË MADH TË TË DHËNAVE

Gjendja aktuale e tregut botëror

Nëse marrim parasysh Big Data për vitin 2014 sipas nënllojeve, atëherë tregu do të duket kështu:

Të dhëna të mëdha në mbarë botën

Tendencat kryesore të tregut

Sipas parashikimeve të IDC, tendencat e tregut janë si më poshtë:

Në 5 vitet e ardhshme, kostoja e zgjidhjeve cloud në fushën e teknologjive të Big Data do të rritet 3 herë më shpejt se kostoja e zgjidhjeve në mjedise. Platformat hibride të ruajtjes do të jenë në kërkesë.
Rritja e aplikacioneve që përdorin analitikë komplekse dhe parashikuese, duke përfshirë mësimin e makinerive, do të përshpejtohet në vitin 2015, tregu për aplikacione të tilla do të rritet 65% më shpejt se aplikacionet që nuk përdorin analitikë parashikuese.
Analitika e medias do të trefishohet në 2015 dhe do të bëhet një shtytës kryesor i rritjes për tregun e teknologjisë Big Data.
Tendenca do të përshpejtohet për të zbatuar zgjidhje për të analizuar rrjedhën e vazhdueshme të informacionit që është e zbatueshme në Internetin e Gjërave.
Deri në vitin 2018, 50% e përdoruesve do të ndërveprojnë me shërbimet e informatikës njohëse.

Drejtuesit dhe Kufizuesit e Tregut

Ekspertët e IDC identifikuan 3 drejtues të tregut të të dhënave të mëdha në 2015:

Shpërndarja e tregut global të të dhënave të mëdha sipas kategorive të biznesit do të duket kështu:

Industria financiare do të shpenzojë 6.4 miliardë dollarë në Big Data me një rritje mesatare prej 22% në vit;
Kompanitë e internetit do të shpenzojnë 2.8 miliardë dollarë dhe një normë mesatare të rritjes së kostos prej 26% gjatë 5 viteve të ardhshme;
Kostot e sektorit publik do të jenë në përpjesëtim me kostot e kompanive të internetit, por ritmi i rritjes do të jetë më i ulët - 22%;
Sektori i telekomunikacionit do të rritet me një normë mesatare rritjeje prej 40% për të arritur në 1.2 miliardë dollarë në vitin 2020;

ANALIZA E TREGUT RUS

Orakulli
Microsoft
Cloudera
Hortonworks
Teradata.

Pasqyrë e tregut sipas industrisë dhe përvoja e përdorimit të të dhënave të mëdha në kompani

Drejtuesit kryesorë dhe kufizimet e tregut

Drejtuesit për zhvillimin e teknologjive të të dhënave të mëdha në tregun rus janë:

Rritja e interesit nga ana e përdoruesve për mundësitë e Big Data si një mënyrë për të rritur konkurrencën e kompanisë;
Zhvillimi i metodave për përpunimin e skedarëve mediatikë në nivel global;
Transferimi i serverëve që përpunojnë informacione personale në territorin e Rusisë, në përputhje me ligjin e miratuar për ruajtjen dhe përpunimin e të dhënave personale;
Zbatimi i planit sektorial për zëvendësimin e importit të softuerit. Ky plan përfshin mbështetjen e shtetit për prodhuesit vendas të softuerëve, si dhe ofrimin e preferencave për produktet vendase të TI-së kur bëjnë blerje me shpenzime publike.
Në situatën e re ekonomike, kur kursi i dollarit është pothuajse dyfishuar, do të ketë një tendencë drejt përdorimit gjithnjë e më të madh të shërbimeve të ofruesve rusë të cloud sesa atyre të huaj.
Krijimi i teknoparqeve që kontribuojnë në zhvillimin e tregut të teknologjisë së informacionit, duke përfshirë tregun e Big Data;
Program shtetëror për zbatimin e sistemeve të rrjetit, të cilat bazohen në teknologjitë Big Data.

Barrierat kryesore për zhvillimin e Big Data në tregun rus janë:

Sigurimi i sigurisë dhe konfidencialitetit të të dhënave;
Mungesa e personelit të kualifikuar;
Mungesa e burimeve të grumbulluara të informacionit në nivelin e të dhënave të mëdha në shumicën e kompanive ruse;
Vështirësitë në futjen e teknologjive të reja në sistemet e krijuara të informacionit të kompanive;
Kostoja e lartë e teknologjive Big Data, e cila çon në një numër të kufizuar ndërmarrjesh që janë në gjendje të zbatojnë këto teknologji;
Pasiguria politike dhe ekonomike që çoi në daljen e kapitalit dhe ngrirjen e projekteve të investimeve në Rusi;
Rritja e çmimeve të produkteve të importuara dhe rritja e inflacionit, sipas IDC, ngadalësojnë zhvillimin e të gjithë tregut të IT.

Parashikimi i tregut rus

Industritë më të ndjeshme ndaj përdorimit të të dhënave të mëdha në Rusi janë:

Tregtia me pakicë dhe bankat, për ta, para së gjithash, është e rëndësishme analiza e bazës së klientëve, vlerësimi i efektit të fushatave të marketingut;
Telekomi - segmentimi i bazës së klientëve dhe monetizimi i trafikut;
Sektori publik - kontabiliteti, analiza e aplikacioneve nga popullata etj.;
Kompanitë e naftës - monitorimi i punës dhe planifikimi i prodhimit dhe shitjes;
Kompanitë energjetike - krijimi i sistemeve inteligjente të energjisë, monitorimi operativ dhe parashikimi.

Rezultatet kryesore të analizës së tregut

Tregu botëror

Në fund të vitit 2014, tregu i Big Data karakterizohet nga parametrat e mëposhtëm:

madhësia e tregut arriti në 28.5 miliardë dollarë, një rritje prej 45% krahasuar me një vit më parë;
pjesën më të madhe të të ardhurave të tregut të Big Data e përbënin shërbimet, pjesa e tyre ishte e barabartë me 40% në totalin e të ardhurave;
36% e të ardhurave erdhi nga aplikacionet dhe analitika e të dhënave të mëdha, 17% nga pajisjet kompjuterike dhe 15% nga teknologjitë e ruajtjes së të dhënave;
Platformat më të njohura për zgjidhjen e problemeve të Big Data janë platformat në memorie nga kompani të tilla si SAP, HANA dhe Oracle.
është rritur me 125% numri i kompanive me projekte të realizuara në fushën e menaxhimit të Big Data;

Parashikimi i tregut për vitet e ardhshme është si më poshtë:

në 2015 vëllimi i tregut do të arrijë në 38.4 miliardë dollarë, në 2020 - 68.7 miliardë dollarë;
norma mesatare e rritjes do të jetë 16% në vit;
shpenzimet mesatare të kompanisë për teknologjitë Big Data do të arrijnë në 13.8 milionë USD për kompanitë e mëdha dhe 1.6 milionë USD për bizneset e vogla dhe të mesme;
teknologjitë do të jenë më të përhapura në fushën e shërbimit ndaj klientit dhe marketingut në pikë;
në vitin 2017, struktura e tregut global do të ndryshojë drejt një mbizotërimi të kompanive përdoruese nga vendet në zhvillim.

tregu rus

Tregu rus i të dhënave të mëdha është në fazën e formimit, rezultatet e vitit 2014 janë si më poshtë:

madhësia e tregut arriti në 340 milionë USD;
norma mesatare e rritjes së tregut në vitet e mëparshme ishte 50% në vit;
sasia totale e informacionit të grumbulluar ishte 155 ekzabajt;
10% e kompanive ruse kanë filluar të përdorin teknologjitë e të dhënave të mëdha;
Teknologjitë e të dhënave të mëdha ishin më të njohura në banka, telekom, kompanitë e internetit dhe shitjet me pakicë.

Parashikimi për tregun rus për vitet e ardhshme është si më poshtë:

vëllimi i tregut rus në 2015 do të arrijë në 500 milion dollarë, dhe në 2018 - 1.7 miliardë dollarë;
pjesa e tregut rus në botë do të jetë rreth 3% në 2018;
sasia e të dhënave të grumbulluara në vitin 2020 do të jetë 980 ekzabajt;
vëllimi i të dhënave do të rritet në 2.2% të vëllimit global të të dhënave në 2020;
teknologjitë më të njohura do të jenë vizualizimi i të dhënave, analiza e skedarëve mediatikë dhe Interneti i Gjërave.

Faleminderit që gjetët kohën për të lexuar këtë vepër voluminoze, regjistrohuni në blogun tonë - ju premtojmë shumë botime të reja interesante!

Kolona e anëtarëve të fakultetit të HSE mbi mitet dhe rastet e punës me të dhëna të mëdha

Tek faqeshënuesit

Konstantin Romanov dhe Alexander Pyatigorsky, i cili është gjithashtu drejtor i transformimit dixhital të Beeline, në Shkollën HSE të Mediave të Reja, shkruan një kolonë për faqen në lidhje me keqkuptimet kryesore rreth të dhënave të mëdha - shembuj të përdorimit të teknologjisë dhe mjeteve. Autorët sugjerojnë se publikimi do të ndihmojë drejtuesit e kompanisë të kuptojnë këtë koncept.

Mitet dhe keqkuptimet rreth të dhënave të mëdha

Big Data nuk është marketing

Termi Big Data është bërë shumë në modë - përdoret në miliona situata dhe në qindra interpretime të ndryshme, shpesh të parëndësishme për atë që është. Shpesh, ka një zëvendësim të koncepteve në kokat e njerëzve dhe Big Data ngatërrohet me një produkt marketingu. Për më tepër, në disa kompani Big Data është pjesë e divizionit të marketingut. Rezultati i analizës së të dhënave të mëdha mund të jetë me të vërtetë një burim për aktivitetin e marketingut, por asgjë më shumë. Le të shohim se si funksionon.

Nëse kemi identifikuar një listë të atyre që blenë mallra në dyqanin tonë për më shumë se tre mijë rubla dy muaj më parë, dhe më pas u dërguam këtyre përdoruesve një ofertë, atëherë ky është një marketing tipik. Ne nxjerrim një model të qartë nga të dhënat strukturore dhe e përdorim atë për të nxitur shitjet.

Sidoqoftë, nëse kombinojmë të dhënat CRM me informacionin e transmetimit, për shembull, nga Instagram, dhe i analizojmë, do të gjejmë një model: një person që uli aktivitetin e tij mbrëmjen e së mërkurës dhe fotoja e fundit e të cilit tregon kotele duhet të bëjë një ofertë të caktuar. Kjo tashmë do të jetë Big Data. Ne gjetëm një shkas, ia kaluam atë tregtarëve dhe ata e përdorën për qëllimet e tyre.

Nga kjo rezulton se teknologjia zakonisht funksionon me të dhëna të pastrukturuara dhe nëse të dhënat janë të strukturuara, sistemi ende vazhdon të kërkojë modele të fshehura në to, gjë që marketingu nuk e bën.

Big Data nuk është IT

Ekstremi i dytë i kësaj historie: Big Data shpesh ngatërrohet me IT. Kjo për faktin se në kompanitë ruse, si rregull, janë specialistët e IT-së ata që janë drejtuesit e të gjitha teknologjive, përfshirë të dhënat e mëdha. Prandaj, nëse gjithçka ndodh në këtë departament, për kompaninë në tërësi duket se ky është një lloj aktiviteti IT.

Në fakt, këtu ka një ndryshim thelbësor: Big Data është një aktivitet që synon marrjen e një produkti të caktuar, i cili nuk lidhet aspak me IT-në, megjithëse teknologjia nuk mund të ekzistojë pa to.

Big Data nuk është gjithmonë mbledhja dhe analiza e informacionit

Ekziston një keqkuptim tjetër për Big Data. Të gjithë e kuptojnë se kjo teknologji shoqërohet me sasi të mëdha të dhënash, por çfarë lloj të dhënash nënkuptohet nuk është gjithmonë e qartë. Të gjithë mund të mbledhin dhe përdorin informacione, tani është e mundur jo vetëm në filma rreth, por edhe në çdo, madje edhe një kompani shumë të vogël. Pyetja e vetme është se çfarë të grumbulloni dhe si ta përdorni atë në avantazhin tuaj.

Por duhet kuptuar që teknologjia Big Data nuk do të jetë mbledhja dhe analiza e absolutisht asnjë informacioni. Për shembull, nëse mbledhni të dhëna për një person specifik në rrjetet sociale, nuk do të jenë Big Data.

Çfarë është në të vërtetë Big Data

Big Data përbëhet nga tre elementë:

të dhëna;
analitikë;
teknologjive.

Big Data nuk është vetëm një nga këta komponentë, por një grup i të tre elementëve. Shpesh njerëzit zëvendësojnë konceptet: dikush mendon se Big Data janë vetëm të dhëna, dikush - ajo teknologji. Por në fakt, sado të dhëna të mbledhësh, nuk mund të bësh asgjë me to pa teknologjinë dhe analitikën e duhur. Nëse ka analiza të mira, por nuk ka të dhëna, është edhe më keq.

Nëse flasim për të dhëna, atëherë këto nuk janë vetëm tekste, por edhe të gjitha fotot e postuara në Instagram, dhe në përgjithësi gjithçka që mund të analizohet dhe përdoret për qëllime dhe detyra të ndryshme. Me fjalë të tjera, të dhënat kuptohen si një sasi e madhe e të dhënave të brendshme dhe të jashtme të strukturave të ndryshme.

Ju gjithashtu keni nevojë për analitikë, sepse detyra e Big Data është të ndërtojë disa modele. Kjo do të thotë, analitika është identifikimi i varësive të fshehura dhe kërkimi i pyetjeve dhe përgjigjeve të reja bazuar në analizën e të gjithë vëllimit të të dhënave heterogjene. Për më tepër, Big Data ngre pyetje që ne nuk mund t'i nxjerrim drejtpërdrejt nga këto të dhëna.

Nëse flasim për imazhe, atëherë fakti që keni postuar foton tuaj në një bluzë blu nuk do të thotë asgjë. Por nëse përdorni fotografinë për modelimin e të dhënave të mëdha, mund të rezultojë që tani duhet t'ju ofrohet një hua, sepse në grupin tuaj shoqëror kjo sjellje tregon një fenomen të caktuar në veprime. Prandaj, të dhënat "e zhveshur" pa analitikë, pa zbulimin e varësive të fshehura dhe jo të dukshme të të dhënave të mëdha nuk janë.

Pra, ne kemi të dhëna të mëdha. Gama e tyre është e madhe. Kemi edhe një analist. Por si mund të sigurohemi që nga këto të dhëna të papërpunuara të kemi një zgjidhje konkrete? Për ta bërë këtë, ne kemi nevojë për teknologji që i lejojnë ato jo vetëm të ruhen (dhe më parë ishte e pamundur), por edhe t'i analizojnë ato.

E thënë thjesht, nëse keni shumë të dhëna, ju nevojiten teknologji, për shembull, Hadoop, të cilat bëjnë të mundur ruajtjen e të gjithë informacionit në formën e tij origjinale për analiza të mëvonshme. Kjo lloj teknologjie u shfaq në gjigantët e internetit, pasi ata ishin të parët që u përballën me problemin e ruajtjes së një sasie të madhe të dhënash dhe analizimit të tyre për fitimin e mëvonshëm të parave.

Përveç mjeteve për ruajtjen e të dhënave të optimizuara dhe me kosto të ulët, nevojiten mjete analitike, si dhe shtesa në platformën e përdorur. Për shembull, një ekosistem i tërë projektesh dhe teknologjish të lidhura tashmë është formuar rreth Hadoop. Ja disa prej tyre:

Pig është një gjuhë deklarative e analizës së të dhënave.
Hive - analiza e të dhënave duke përdorur një gjuhë afër SQL.
Oozie është një rrjedhë pune në Hadoop.
Hbase është një bazë të dhënash (jo relacionale), analoge me Google Big Table.
Mahout është mësimi i makinës.
Sqoop - transferimi i të dhënave nga RSDB në Hadoop dhe anasjelltas.
Flume - transferimi i regjistrave në HDFS.
Zookeeper, MRUnit, Avro, Giraph, Ambari, Cassandra, HCatalog, Fuse-DFS dhe kështu me radhë.

Të gjitha këto mjete janë të disponueshme për të gjithë falas, por ka edhe një sërë shtesash me pagesë.

Për më tepër, nevojiten specialistë: ky është një zhvillues dhe një analist (i ashtuquajturi shkencëtar i të dhënave). Ju gjithashtu keni nevojë për një menaxher që mund të kuptojë se si të aplikoni këtë analitikë për të zgjidhur një problem specifik, sepse në vetvete është krejtësisht e pakuptimtë nëse nuk është e përfshirë në proceset e biznesit.

Të tre punonjësit duhet të punojnë si ekip. Një menaxher që i jep një specialisti të shkencës së të dhënave një detyrë për të gjetur një model të caktuar, duhet të kuptojë se nuk është gjithmonë e mundur të gjesh saktësisht atë që i nevojitet. Në këtë rast, menaxheri duhet të dëgjojë me kujdes atë që gjeti Shkencëtari i të Dhënave, pasi shpesh gjetjet e tij dalin të jenë më interesante dhe të dobishme për biznesin. Detyra juaj është ta zbatoni këtë në biznesin tuaj dhe të krijoni një produkt prej tij.

Përkundër faktit se tani ka shumë lloje të ndryshme makinerish dhe teknologjish, vendimi përfundimtar mbetet gjithmonë tek personi. Për ta bërë këtë, informacioni duhet të vizualizohet disi. Ka mjaft mjete për këtë.

Shembulli më ilustrues janë raportet gjeo-analitike. Kompania Beeline punon shumë me qeveritë e qyteteve dhe rajoneve të ndryshme. Shumë shpesh, këto organizata porosisin raporte të tipit "Bllokim trafiku në një vend të caktuar".

Është e qartë se një raport i tillë duhet të shkojë në strukturat qeveritare në një formë të thjeshtë dhe të kuptueshme. Nëse u ofrojmë atyre një tabelë të madhe dhe plotësisht të pakuptueshme (d.m.th., informacion në formën në të cilën e marrim), ata nuk kanë gjasa të blejnë një raport të tillë - do të jetë plotësisht i padobishëm, ata nuk do të nxjerrin prej tij njohuritë. donin të merrnin.

Prandaj, pavarësisht se sa të mirë janë shkencëtarët e të dhënave dhe pavarësisht se çfarë modelesh gjejnë, nuk mund të punoni me këto të dhëna pa mjete vizualizimi me cilësi të lartë.

Burimet e të dhënave

Gama e të dhënave të marra është shumë e madhe, kështu që mund të ndahet në disa grupe.

Të dhënat e brendshme të kompanisë

Edhe pse 80% e të dhënave të mbledhura i përkasin këtij grupi, ky burim nuk përdoret gjithmonë. Shpesh këto janë të dhëna që, siç duket, askush nuk ka nevojë fare, për shembull, regjistrat. Por nëse i shikoni nga një kënd tjetër, ndonjëherë mund të gjeni modele të papritura në to.

Burimet Shareware

Këtu përfshihen të dhënat nga rrjetet sociale, interneti dhe çdo gjë tjetër që mund të aksesohet falas. Pse shareware? Nga njëra anë, këto të dhëna janë të disponueshme për të gjithë, por nëse jeni një kompani e madhe, atëherë marrja e tyre në madhësinë e një baze abonentësh prej dhjetëra mijëra, qindra apo miliona klientësh nuk është më një detyrë e lehtë. Prandaj, ka shërbime me pagesë në treg për të siguruar këto të dhëna.

Burimet e paguara

Kjo përfshin kompanitë që shesin të dhëna për para. Këto mund të jenë telekomi, DMP-të, kompanitë e internetit, zyrat e kreditit dhe grumbulluesit. Telekomi në Rusi nuk shet të dhëna. Së pari, është ekonomikisht jofitimprurëse, dhe së dyti, është e ndaluar me ligj. Prandaj, ata shesin rezultatet e përpunimit të tyre, për shembull, raportet gjeo-analitike.

Hapni të dhënat

Shteti e përballon biznesin në gjysmë të rrugës dhe bën të mundur përdorimin e të dhënave që ata mbledhin. Në një masë më të madhe, kjo është zhvilluar në Perëndim, por edhe Rusia në këtë drejtim po ecën me ritmin e kohës. Për shembull, ekziston Portali i të Dhënave të Hapura të Qeverisë së Moskës, i cili publikon informacione për objekte të ndryshme të infrastrukturës urbane.

Për banorët dhe mysafirët e Moskës, të dhënat paraqiten në formë tabelare dhe hartografike, dhe për zhvilluesit - në formate të veçanta të lexueshme nga makina. Deri më tani, projekti është duke punuar në një mënyrë të kufizuar, por është në zhvillim, që do të thotë se është gjithashtu një burim të dhënash që mund ta përdorni për detyrat e biznesit tuaj.

Hulumtimi

Siç u përmend tashmë, detyra e Big Data është të gjejë një model. Shpesh, hulumtimi i kryer në mbarë botën mund të bëhet një pikëmbështetje për gjetjen e një modeli të veçantë - mund të merrni një rezultat specifik dhe të përpiqeni të aplikoni një logjikë të ngjashme për qëllimet tuaja.

Big Data është një fushë ku jo të gjitha ligjet e matematikës funksionojnë. Për shembull, "1" + "1" nuk është "2", por shumë më tepër, sepse përzierja e burimeve të të dhënave mund të përmirësojë shumë efektin.

Shembuj të produkteve

Shumë janë të njohur me përzgjedhësin e muzikës Spotify. Ai është i bukur në atë që nuk pyet përdoruesit se çfarë disponimi kanë sot, por këtë e llogarit në bazë të burimeve që disponon. Ai gjithmonë e di se çfarë ju nevojitet tani - xhaz apo hard rock. Ky është ndryshimi kryesor që i siguron asaj një bazë fansash dhe e diferencon atë nga shërbimet e tjera.

Produkte të tilla zakonisht quhen produkte sensuale - ato që ndjejnë klientin e tyre.

Teknologjia Big Data përdoret gjithashtu në industrinë e automobilave. Për shembull, Tesla e bën këtë - modeli i tyre i fundit ka një autopilot. Kompania përpiqet të krijojë një makinë që do ta çojë vetë pasagjerin kudo që ai dëshiron. Kjo është e pamundur pa Big Data, sepse nëse përdorim vetëm të dhënat që marrim drejtpërdrejt, siç bën një person, atëherë makina nuk do të jetë në gjendje të përmirësohet.

Kur ne ngasim një makinë vetë, ne përdorim neuronet tona për të marrë vendime bazuar në shumë faktorë që as nuk i vëmë re. Për shembull, ne mund të mos e kuptojmë pse vendosëm të mos përshpejtonim menjëherë në dritën jeshile, dhe më pas rezulton se vendimi ishte i saktë - një makinë vrapoi pranë jush me shpejtësi marramendëse dhe ju shmangët një aksident.

Ju gjithashtu mund të jepni një shembull të përdorimit të të dhënave të mëdha në sport. Në vitin 2002, menaxheri i përgjithshëm i ekipit të bejsbollit të Oakland Athletics, Billy Bean, vendosi të thyejë paradigmën se si të gjesh atletë - ai përzgjodhi dhe stërvit lojtarët me numra.

Zakonisht menaxherët shikojnë suksesin e lojtarëve, por në këtë rast ishte ndryshe - për të marrë rezultatin, menaxheri studioi se çfarë kombinimesh atletësh i duheshin, duke i kushtuar vëmendje karakteristikave individuale. Për më tepër, ai zgjodhi atletë që në vetvete nuk përfaqësonin shumë potencial, por ekipi në tërësi doli të ishte aq i suksesshëm sa fitoi njëzet ndeshje radhazi.

Regjisori Bennett Miller më vonë xhiroi një film për këtë histori - "Njeriu që ndryshoi gjithçka" me protagonist Brad Pitt.

Teknologjia Big Data është e dobishme edhe në sektorin financiar. Asnjë person i vetëm në botë nuk mund të përcaktojë në mënyrë të pavarur dhe të saktë nëse ia vlen t'i jepni dikujt një hua. Për të marrë një vendim, bëhet pikëzimi, pra ndërtohet një model probabilistik, sipas të cilit mund të kuptohet nëse ky person do t'i kthejë paratë apo jo. Pastaj vlerësimi zbatohet në të gjitha fazat: për shembull, mund të llogaritni se në një moment të caktuar një person do të ndalojë së paguari.

Të dhënat e mëdha jo vetëm që mund të fitojnë para, por edhe t'i kursejnë ato. Në veçanti, kjo teknologji ndihmoi Ministrinë Gjermane të Punës që të ulte koston e përfitimeve të papunësisë me 10 miliardë euro, pasi pas analizimit të informacionit u bë e qartë se 20% e përfitimeve ishin paguar në mënyrë të pamerituar.

Gjithashtu, teknologjitë përdoren në mjekësi (kjo është veçanërisht tipike për Izraelin). Me ndihmën e Big Data, është e mundur të jepet një analizë shumë më e saktë se sa mund të bëjë një mjek me përvojë tridhjetë vjeçare.

Çdo mjek, kur bën një diagnozë, mbështetet vetëm në përvojën e tij. Kur një makinë e bën këtë, ajo vjen nga përvojat e mijëra mjekëve të tillë dhe të gjitha historitë ekzistuese të rasteve. Merret parasysh se nga çfarë materiali është shtëpia e pacientit, në cilën zonë jeton viktima, çfarë lloj tymi ka, etj. Kjo do të thotë, merr parasysh shumë faktorë që mjekët nuk i marrin parasysh.

Një shembull i përdorimit të Big Data në kujdesin shëndetësor është projekti Project Artemis, i cili u zbatua nga Spitali i Fëmijëve në Toronto. Është një sistem informacioni që mbledh dhe analizon të dhënat për foshnjat në kohë reale. Makina ju lejon të analizoni 1260 tregues të shëndetit të çdo fëmije çdo sekondë. Ky projekt ka për qëllim parashikimin e gjendjes së paqëndrueshme të një fëmije dhe parandalimin e sëmundjeve tek fëmijët.

Të dhënat e mëdha kanë filluar të përdoren gjithashtu në Rusi: për shembull, Yandex ka një ndarje të madhe të të dhënave. Kompania, së bashku me AstraZeneca dhe Shoqërinë Ruse të Onkologjisë Klinike RUSSCO, lançoi platformën RAY për gjenetistët dhe biologët molekularë. Projekti lejon përmirësimin e metodave për diagnostikimin e kancerit dhe identifikimin e ndjeshmërisë ndaj kancerit. Platforma do të nisë punën në dhjetor 2016.

Të dhënat e mëdha dhe kuptimi i tyre. Pse Big Data ngatërrohet vazhdimisht me marketingun dhe IT

Lexoni gjithashtu:

Të dhëna të mëdha - me fjalë të thjeshta

Lexoni gjithashtu:

Teknologjia e të dhënave të mëdha

Lexoni gjithashtu:

Lexoni gjithashtu:

Të dhëna të mëdha: aplikacione dhe mundësi

Zgjidhje të mëdha të bazuara në të dhëna: Sberbank, Beeline dhe kompani të tjera

Lexoni gjithashtu:

Të dhëna të mëdha në botë

Tregu i madh i të dhënave në Rusi

Të dhëna të mëdha në banka

Cili është avantazhi i përdorimit të teknologjive të të dhënave të mëdha në marketing dhe biznes?

Shembuj të përdorimit të të dhënave të mëdha

Tregu i madh i teknologjisë së të dhënave në Rusi dhe në mbarë botën

Librat më të mirë mbi të dhënat e mëdha

Introduction to Data Mining, Pang-Ning Tan, Michael Steinbach dhe Vipin Kumar

Hadoop for Dummies, Dirk Derus, Paul S. Zykopoulos, Roman B. Melnik

ÇFARË ËSHTË BIG DATA?

Karakteristikat kryesore

Big Data Technologies

Aplikimi në industri

Shembuj të përdorimit të të dhënave të mëdha në kompani

PËRMBLEDHJE E TREGUT GLOBAL TË MADH TË TË DHËNAVE

Gjendja aktuale e tregut botëror

Të dhëna të mëdha në mbarë botën

Tendencat kryesore të tregut

Drejtuesit dhe Kufizuesit e Tregut

ANALIZA E TREGUT RUS

Gjendja aktuale e tregut rus

Pasqyrë e tregut sipas industrisë dhe përvoja e përdorimit të të dhënave të mëdha në kompani

Drejtuesit kryesorë dhe kufizimet e tregut

Parashikimi i tregut rus

Rezultatet kryesore të analizës së tregut

Tregu botëror

tregu rus

Rishikim analitik i tregut të të dhënave të mëdha

ÇFARË ËSHTË BIG DATA?

Karakteristikat kryesore

Big Data Technologies

Aplikimi në industri

Shembuj të përdorimit të të dhënave të mëdha në kompani

PËRMBLEDHJE E TREGUT GLOBAL TË MADH TË TË DHËNAVE

Gjendja aktuale e tregut botëror

Të dhëna të mëdha në mbarë botën

Tendencat kryesore të tregut

Drejtuesit dhe Kufizuesit e Tregut

ANALIZA E TREGUT RUS

Gjendja aktuale e tregut rus

Pasqyrë e tregut sipas industrisë dhe përvoja e përdorimit të të dhënave të mëdha në kompani

Drejtuesit kryesorë dhe kufizimet e tregut

Parashikimi i tregut rus

Rezultatet kryesore të analizës së tregut

Tregu botëror

tregu rus

Mitet dhe keqkuptimet rreth të dhënave të mëdha

Big Data nuk është marketing

Big Data nuk është IT

Big Data nuk është gjithmonë mbledhja dhe analiza e informacionit

Çfarë është në të vërtetë Big Data

Burimet e të dhënave

Të dhënat e brendshme të kompanisë

Burimet Shareware

Burimet e paguara

Hapni të dhënat

Hulumtimi

Shembuj të produkteve

Artikujt kryesorë të lidhur