Metodat e analizës së të dhënave të mëdha. Big Data - çfarë janë sistemet e të dhënave të mëdha? Zhvillimi i teknologjive të të dhënave të mëdha

Big Data (ose Big Data) është një grup metodash për të punuar me sasi të mëdha informacioni të strukturuar ose të pastrukturuar. Specialistët e të dhënave të mëdha janë të angazhuar në përpunimin dhe analizën e tyre për të marrë rezultate vizuale, të perceptueshme nga njeriu. Shiko At Me bisedoi me profesionistë dhe zbuloi se cila është situata me përpunimin e të dhënave të mëdha në Rusi, ku dhe çfarë është më mirë të studiosh për ata që duan të punojnë në këtë fushë.

Alexey Ryvkin në lidhje me drejtimet kryesore në fushën e të dhënave të mëdha, komunikimin me klientët dhe botën e numrave

Kam studiuar në Institutin e Teknologjisë Elektronike në Moskë. Gjëja kryesore që arrita të dilja prej andej ishte njohuria themelore e fizikës dhe matematikës. Njëkohësisht me studimet kam punuar në qendrën e R&D, ku jam angazhuar në zhvillimin dhe zbatimin e algoritmeve të kodimit për korrigjimin e gabimeve për transmetim të sigurt të të dhënave. Pas mbarimit të studimeve bachelor hyra në programin master për informatikë biznesi në Shkollën e Lartë Ekonomike. Pas kësaj, doja të punoja në IBS. Unë pata fatin që në atë kohë, për shkak të një numri të madh projektesh, pati një rekrutim shtesë të praktikantëve dhe pas disa intervistave fillova të punoj në IBS, një nga kompanitë më të mëdha ruse në këtë fushë. Në tre vjet, nga një praktikant u bëra një arkitekt i zgjidhjeve të ndërmarrjeve. Tani po zhvilloj ekspertizën e teknologjive Big Data për kompanitë e klientëve nga sektori financiar dhe i telekomunikacionit.

Ekzistojnë dy specializime kryesore për njerëzit që duan të punojnë me të dhëna të mëdha: analistët dhe konsulentët e IT-së që krijojnë teknologji për të punuar me të dhëna të mëdha. Përveç kësaj, mund të flitet edhe për profesionin e analistit të të dhënave të mëdha, d.m.th. njerëzve që punojnë drejtpërdrejt me të dhënat, me platformën IT të klientit. Më parë, këta ishin analistë të zakonshëm matematikorë që njihnin statistikat dhe matematikën dhe, me ndihmën e softuerit statistikor, zgjidhnin problemet e analizës së të dhënave. Sot, përveç njohurive për statistikën dhe matematikën, kërkohet edhe njohja e teknologjisë dhe ciklit jetësor të të dhënave. Ky, për mendimin tim, është ndryshimi midis Analistit modern të të dhënave dhe atyre analistëve që ishin më parë.

Specializimi im është konsulenca e IT-së, domethënë, unë dal dhe u ofroj klientëve mënyra për të zgjidhur problemet e biznesit duke përdorur teknologjitë e IT. Në konsulencë vijnë njerëz me përvojë të ndryshme, por cilësitë më të rëndësishme për këtë profesion janë aftësia për të kuptuar nevojat e klientit, dëshira për të ndihmuar njerëzit dhe organizatat, aftësitë e mira komunikuese dhe ekipore (siç është gjithmonë puna me klientin dhe në ekip), aftësi të mira analitike. Motivimi i brendshëm është shumë i rëndësishëm: ne punojmë në një mjedis konkurrues dhe klienti pret zgjidhje të pazakonta dhe interes për punë.

Pjesa më e madhe e kohës sime shpenzohet duke komunikuar me klientët, duke formalizuar nevojat e tyre të biznesit dhe duke ndihmuar në zhvillimin e arkitekturës më të përshtatshme të teknologjisë. Kriteret e përzgjedhjes këtu kanë veçantinë e tyre: përveç funksionalitetit dhe TCO (Kosto totale e pronësisë - kosto totale e pronësisë), kërkesat jofunksionale për sistemin janë shumë të rëndësishme, më shpesh kjo është koha e përgjigjes, koha e përpunimit të informacionit. Për të bindur klientin, ne shpesh përdorim qasjen e provës së konceptit - ne ofrojmë të "testojmë" teknologjinë falas në ndonjë detyrë, në një grup të ngushtë të dhënash, për t'u siguruar që teknologjia funksionon. Zgjidhja duhet të krijojë një avantazh konkurrues për klientin duke marrë përfitime shtesë (për shembull, x-sell, cross-selling) ose të zgjidhë një lloj problemi biznesi, të themi, të zvogëlojë nivelin e lartë të mashtrimit të kredisë.

Do të ishte shumë më e lehtë nëse klientët do të vinin me një detyrë të gatshme, por derisa të kuptojnë se ekziston një teknologji revolucionare që mund të ndryshojë tregun në disa vjet

Me çfarë problemesh duhet të përballeni? Tregu nuk është ende gati për të përdorur teknologjitë e të dhënave të mëdha. Do të ishte shumë më e lehtë nëse klientët do të vinin me një detyrë të gatshme, por deri më tani ata nuk e kuptojnë se është shfaqur një teknologji revolucionare që mund të ndryshojë tregun brenda dy viteve. Kjo është arsyeja pse ne, në fakt, punojmë në modalitetin e fillimit - ne nuk shesim vetëm teknologji, por çdo herë që i bindim klientët se ata duhet të investojnë në këto zgjidhje. Ky është një pozicion i tillë i vizionarëve - ne u tregojmë klientëve se si ata mund të ndryshojnë biznesin e tyre me përfshirjen e të dhënave dhe IT. Ne po krijojmë këtë treg të ri - tregun e konsulencës komerciale të IT në fushën e Big Data.

Nëse një person dëshiron të angazhohet në analizën e të dhënave ose konsulencën e IT në fushën e të dhënave të mëdha, atëherë gjëja e parë që është e rëndësishme është një edukim matematikor ose teknik me një sfond të mirë matematikor. Është gjithashtu e dobishme për të zotëruar teknologji specifike, për shembull SAS, Hadoop, gjuhën R ose zgjidhjet IBM. Përveç kësaj, ju duhet të jeni aktivisht të interesuar për aplikacionet për Big Data - për shembull, se si ato mund të përdoren për vlerësimin e përmirësuar të kredisë në një bankë ose menaxhimin e ciklit jetësor të klientit. Kjo dhe njohuri të tjera mund të merren nga burimet e disponueshme: për shembull, Coursera dhe Big Data University. Ekziston gjithashtu një Iniciativë e Analitikës së Klientit në Universitetin Wharton të Pensilvanisë, ku janë publikuar shumë materiale interesante.

Një problem serioz për ata që duan të punojnë në fushën tonë është mungesa e qartë e informacionit për Big Data. Nuk mund të shkosh në një librari ose në ndonjë faqe interneti dhe të marrësh, për shembull, një koleksion shterues rastesh për të gjitha aplikimet e teknologjive të Big Data në banka. Nuk ka udhëzues të tillë. Një pjesë e informacionit gjendet në libra, një pjesë tjetër mblidhet në konferenca dhe disa duhet t'i kuptoni vetë.

Një problem tjetër është se analistët janë rehat në botën e numrave, por nuk janë gjithmonë rehat në biznes. Këta njerëz janë shpesh introvertë, kanë vështirësi në komunikim dhe për këtë arsye e kanë të vështirë t'i komunikojnë në mënyrë bindëse rezultatet e kërkimit te klientët. Për të zhvilluar këto aftësi, unë do të rekomandoja libra të tillë si Parimi i piramidës, Flisni gjuhën e diagrameve. Ato ndihmojnë në zhvillimin e aftësive të prezantimit, në mënyrë koncize dhe të qartë për të shprehur mendimet tuaja.

Më ka ndihmuar shumë që gjatë studimeve në Shkollën e Lartë Ekonomike të marr pjesë në kampionate të ndryshme rastesh. Kampionati i rasteve janë gara intelektuale për studentët, ku duhet të studioni problemet e biznesit dhe të ofroni zgjidhje për to. Ato vijnë në dy forma: kampionate të rasteve të firmave konsultative si McKinsey, BCG, Accenture dhe kampionate të pavarura të rasteve si Changellenge. Gjatë pjesëmarrjes në to, mësova të shoh dhe zgjidh probleme komplekse - nga identifikimi i një problemi dhe strukturimi i tij deri te mbrojtja e rekomandimeve për zgjidhjen e tij.

Oleg Mikhalsky për tregun rus dhe specifikat e krijimit të një produkti të ri në fushën e të dhënave të mëdha

Para se t'i bashkohesha Acronis-it, unë tashmë isha i përfshirë në nxjerrjen e produkteve të reja në treg në kompani të tjera. Është gjithmonë interesante dhe sfiduese në të njëjtën kohë, kështu që unë u interesova menjëherë për mundësinë për të punuar në shërbimet cloud dhe zgjidhjet e ruajtjes së të dhënave. Në këtë fushë, e gjithë përvoja ime e mëparshme në industrinë e IT-së erdhi në ndihmë, duke përfshirë projektin tim të fillimit I-accelerator . Ai gjithashtu ndihmoi që të ketë një arsim biznesi (MBA) përveç inxhinierisë bazë.

Në Rusi, kompanitë e mëdha - bankat, operatorët celularë, etj. - kanë nevojë për analiza të të dhënave të mëdha, kështu që në vendin tonë ka perspektiva për ata që duan të punojnë në këtë fushë. Vërtetë, shumë projekte tani janë integrimi, domethënë bëhen në bazë të zhvillimeve të huaja ose teknologjive me burim të hapur. Në projekte të tilla nuk krijohen qasje dhe teknologji thelbësisht të reja, por përshtaten zhvillimet ekzistuese. Në Acronis, ne morëm një rrugë tjetër dhe, pasi analizuam alternativat e disponueshme, vendosëm të investonim në zhvillimin tonë, duke rezultuar në një sistem të besueshëm ruajtjeje për të dhëna të mëdha që nuk është inferior në kosto ndaj, për shembull, Amazon S3, por funksionon në mënyrë të besueshme. dhe në mënyrë efikase dhe në një shkallë shumë më të vogël. Kompanitë e mëdha të internetit gjithashtu kanë zhvillimet e tyre në të dhënat e mëdha, por ato janë më të fokusuara në nevojat e brendshme sesa në plotësimin e nevojave të klientëve të jashtëm.

Është e rëndësishme të kuptohen tendencat dhe forcat ekonomike që po ndikojnë në fushën e përpunimit të të dhënave të mëdha. Për ta bërë këtë, ju duhet të lexoni shumë, të dëgjoni fjalime nga ekspertë me reputacion në industrinë e IT, të merrni pjesë në konferenca tematike. Tani pothuajse çdo konferencë ka një seksion për Big Data, por të gjithë flasin për të nga një këndvështrim tjetër: nga pikëpamja e teknologjisë, biznesit ose marketingut. Ju mund të shkoni për një punë projekti ose një praktikë në një kompani që tashmë ka projekte mbi këtë temë. Nëse jeni të sigurt në aftësitë tuaja, atëherë nuk është vonë për të organizuar një startup në fushën e Big Data.

Pa kontakte të vazhdueshme me tregun zhvillimi i ri rrezikon të mos pretendohet

Vërtetë, kur jeni përgjegjës për një produkt të ri, shpenzohet shumë kohë për analizat e tregut dhe komunikimin me klientët e mundshëm, partnerët, analistët profesionistë që dinë shumë për klientët dhe nevojat e tyre. Pa kontakt të vazhdueshëm me tregun, një zhvillim i ri rrezikon të mos pretendohet. Gjithmonë ka shumë paqartësi: duhet të kuptoni se cilët do të jenë përdoruesit e parë (përshtatësit e hershëm), çfarë keni vlerë për ta dhe si të tërheqni më pas një audiencë masive. Detyra e dytë më e rëndësishme është formimi dhe përcjellja e zhvilluesve të një vizioni të qartë dhe gjithëpërfshirës të produktit përfundimtar në mënyrë që t'i motivojë ata të punojnë në kushte të tilla, kur disa kërkesa mund të ndryshojnë ende, dhe prioritetet varen nga reagimet e klientëve të parë. Prandaj, një detyrë e rëndësishme është të menaxhoni pritshmëritë e klientëve nga njëra anë dhe zhvilluesve nga ana tjetër. Në mënyrë që asnjëri prej tyre të humbasë interesin dhe ta çojë projektin në përfundim. Pas projektit të parë të suksesshëm, bëhet më e lehtë dhe detyra kryesore do të jetë gjetja e modelit të duhur të rritjes për biznesin e ri.

të dhëna të mëdha- këto nuk janë vetëm vetë të dhënat, por edhe teknologjitë për përpunimin dhe përdorimin e tyre, metodat për gjetjen e informacionit të nevojshëm në grupe të mëdha. Problemi i të dhënave të mëdha është ende i hapur dhe jetik për çdo sistem që ka grumbulluar një shumëllojshmëri të gjerë informacioni për dekada.

Ky term shoqërohet me shprehjen "Vëllimi, shpejtësia, shumëllojshmëria"– parimet mbi të cilat ndërtohet puna me të dhëna të mëdha. Është drejtpërdrejt sasia e informacionit, shpejtësia e përpunimit të tij dhe shumëllojshmëri informacioni të ruajtura në një grup. Kohët e fundit, një tjetër i është shtuar tre parimeve bazë - vlerë, që do të thotë vlera e informacionit. Domethënë, ai duhet të jetë i dobishëm dhe i nevojshëm në aspektin teorik ose praktik, gjë që do të justifikonte kostot e ruajtjes dhe përpunimit të tij.

Rrjetet sociale janë një shembull i një burimi tipik të të dhënave të mëdha - çdo profil ose faqe publike është një pikë e vogël në një oqean të pastrukturuar informacioni. Për më tepër, pavarësisht nga sasia e informacionit të ruajtur në një profil të caktuar, ndërveprimi me secilin prej përdoruesve duhet të jetë sa më i shpejtë.

Të dhënat e mëdha po grumbullohen vazhdimisht në pothuajse çdo fushë të jetës njerëzore. Kjo përfshin çdo industri që lidhet ose me ndërveprimet njerëzore ose me kompjuterin. Këto janë mediat sociale, mjekësia dhe sektori bankar, si dhe sistemet e pajisjeve që marrin rezultate të shumta të llogaritjeve ditore. Për shembull, vëzhgime astronomike, informacione meteorologjike dhe informacione nga pajisjet tingëlluese të Tokës.

Informacioni nga sisteme të ndryshme gjurmimi në kohë reale dërgohet gjithashtu në serverët e një kompanie të caktuar. Transmetimet televizive dhe radiofonike, bazat e thirrjeve të operatorëve celularë - ndërveprimi i secilit individ me ta është minimal, por në total, të gjitha këto informacione bëhen të dhëna të mëdha.

Teknologjitë e të dhënave të mëdha janë bërë pjesë përbërëse e R&D dhe tregtisë. Për më tepër, ata kanë filluar të kapin sferën e administratës publike - dhe kudo kërkohet futja e sistemeve gjithnjë e më efikase për ruajtjen dhe manipulimin e informacionit.

Termi "të dhëna të mëdha" u shfaq për herë të parë në shtyp në vitin 2008, kur redaktori i Nature, Clifford Lynch publikoi një artikull se si të avancohet e ardhmja e shkencës me ndihmën e teknologjive të të dhënave të mëdha. Deri në vitin 2009, ky term konsiderohej vetëm nga pikëpamja e analizës shkencore, por pas publikimit të disa artikujve të tjerë, shtypi filloi të përdorë gjerësisht konceptin e të dhënave të mëdha - dhe vazhdon ta përdorë atë në kohën e tanishme.

Në vitin 2010, filluan të shfaqen përpjekjet e para për të zgjidhur problemin në rritje të të dhënave të mëdha. U lëshuan produkte softuerësh, veprimi i të cilave kishte për qëllim minimizimin e rreziqeve kur përdorni grupe të mëdha informacioni.

Deri në vitin 2011, kompanitë e mëdha si Microsoft, Oracle, EMC dhe IBM u interesuan për të dhënat e mëdha - ato ishin të parat që përdorën të dhënat e mëdha në strategjitë e tyre të zhvillimit dhe me mjaft sukses.

Universitetet filluan të studiojnë të dhënat e mëdha si një lëndë më vete tashmë në vitin 2013 - tani jo vetëm shkencat e të dhënave, por edhe inxhinieria, së bashku me lëndët informatike, merren me probleme në këtë fushë.

Metodat kryesore të analizës dhe përpunimit të të dhënave përfshijnë si më poshtë:

1. Metodat e klasës ose analiza e thellë (Data Mining).

Këto metoda janë mjaft të shumta, por ato i bashkon një gjë: mjetet matematikore të përdorura në lidhje me arritjet në fushën e teknologjisë së informacionit.

1. Crowdsourcing.

Kjo teknikë ju lejon të merrni të dhëna njëkohësisht nga disa burime, dhe numri i këtyre të fundit është praktikisht i pakufizuar.

1. Testimi A/B.

Nga e gjithë sasia e të dhënave, zgjidhet një grup elementesh kontrolli, i cili krahasohet me radhë me grupe të tjera të ngjashme, ku njëri prej elementeve është ndryshuar. Kryerja e testeve të tilla ndihmon për të përcaktuar se cilat luhatje të parametrave kanë efektin më të madh në popullatën e kontrollit. Falë vëllimeve të Big Data, është e mundur të kryhen një numër i madh përsëritjesh, ku secili prej tyre i afrohet rezultatit më të besueshëm.

1. Analiza parashikuese.

Specialistët e kësaj fushe përpiqen të parashikojnë dhe planifikojnë paraprakisht se si do të sillet objekti i kontrolluar për të marrë vendimin më të favorshëm në këtë situatë.

1. Mësimi i makinerisë (inteligjenca artificiale).

Ai bazohet në një analizë empirike të informacionit dhe në ndërtimin e mëvonshëm të algoritmeve të vetë-mësimit për sistemet.

1. Analiza e rrjetit.

Metoda më e zakonshme për studimin e rrjeteve sociale - pas marrjes së të dhënave statistikore, analizohen nyjet e krijuara në rrjet, domethënë ndërveprimet midis përdoruesve individualë dhe komuniteteve të tyre.

Në vitin 2017, kur të dhënat e mëdha nuk janë më diçka e re dhe e panjohur, rëndësia e tyre jo vetëm që nuk është ulur, por edhe është rritur. Tani ekspertët po vënë bast se analiza e sasive të mëdha të të dhënave do të bëhet e disponueshme jo vetëm për organizatat gjigante, por edhe për bizneset e vogla dhe të mesme. Kjo qasje është planifikuar të zbatohet duke përdorur komponentët e mëposhtëm:

• Ruajtja në renë kompjuterike.

Ruajtja dhe përpunimi i të dhënave po bëhen më të shpejta dhe më ekonomike - krahasuar me kostot e mirëmbajtjes së qendrës tuaj të të dhënave dhe zgjerimit të mundshëm të stafit, marrja me qira e një cloud duket të jetë një alternativë shumë më e lirë.

• Përdorimi i të dhënave të errëta.

Të ashtuquajturat "të dhëna të errëta" janë të gjitha informacionet e padixhitalizuara për një kompani që nuk luan një rol kyç në përdorimin e drejtpërdrejtë të saj, por mund të shërbejë si arsye për kalimin në një format të ri të ruajtjes së informacionit.

• Inteligjenca artificiale dhe mësimi i thellë.

Teknologjia e të mësuarit të inteligjencës së makinerisë, e cila imiton strukturën dhe funksionimin e trurit të njeriut, është më e përshtatshme për përpunimin e një sasie të madhe informacioni që ndryshon vazhdimisht. Në këtë rast, makina do të bëjë gjithçka që duhet të bëjë një person, por probabiliteti i gabimit zvogëlohet shumë.

• blockchain.

Kjo teknologji ju lejon të shpejtoni dhe thjeshtoni transaksione të shumta në internet, përfshirë ato ndërkombëtare. Një avantazh tjetër i Blockchain është se redukton kostot e transaksionit.

• Vetë-shërbim dhe ulje çmimi.

Në vitin 2017, është planifikuar të prezantohen "platformat e vetë-shërbimit" - këto janë platforma falas ku përfaqësuesit e bizneseve të vogla dhe të mesme do të jenë në gjendje të vlerësojnë në mënyrë të pavarur të dhënat që ruajnë dhe t'i sistemojnë ato.

Të gjitha strategjitë e marketingut bazohen disi në manipulimin e informacionit dhe analizën e të dhënave ekzistuese. Kjo është arsyeja pse përdorimi i të dhënave të mëdha mund të parashikojë dhe të bëjë të mundur rregullimin e zhvillimit të mëtejshëm të kompanisë.

Për shembull, një ankand RTB i krijuar në bazë të të dhënave të mëdha ju lejon të përdorni reklamat në mënyrë më efikase - një produkt i caktuar do t'i shfaqet vetëm grupit të përdoruesve që janë të interesuar ta blejnë atë.

Cili është përfitimi i përdorimit të teknologjive të të dhënave të mëdha në marketing dhe biznes?

1. Me ndihmën e tyre, ju mund të krijoni projekte të reja shumë më shpejt, të cilat ka të ngjarë të bëhen të njohura në mesin e blerësve.
2. Ato ndihmojnë në lidhjen e kërkesave të klientit me një shërbim ekzistues ose të parashikuar dhe në këtë mënyrë t'i rregullojnë ato.
3. Metodat e të dhënave të mëdha bëjnë të mundur vlerësimin e shkallës së kënaqësisë aktuale të të gjithë përdoruesve dhe secilit individualisht.
4. Rritja e besnikërisë së klientit sigurohet përmes metodave të përpunimit të të dhënave të mëdha.
5. Tërheqja e audiencës së synuar në internet po bëhet më e lehtë për shkak të aftësisë për të kontrolluar sasi të mëdha të të dhënave.

Për shembull, një nga shërbimet më të njohura për parashikimin e popullaritetit të mundshëm të një produkti të caktuar është Google.trends. Përdoret gjerësisht nga tregtarët dhe analistët, duke i lejuar ata të marrin statistika mbi përdorimin e një produkti të caktuar në të kaluarën dhe parashikimin për sezonin e ardhshëm. Kjo u lejon drejtuesve të kompanisë të shpërndajnë në mënyrë më efektive buxhetin e reklamave, të përcaktojnë se në cilën zonë është më mirë të investoni para.

Shembuj të përdorimit të të dhënave të mëdha

Futja aktive e teknologjive Big Data në treg dhe në jetën moderne filloi menjëherë pasi ato filluan të përdoren nga kompanitë me famë botërore që kanë klientë pothuajse në çdo cep të globit.

Këta janë gjigantë të tillë socialë si Facebook dhe Google, IBM., si dhe struktura financiare si Master Card, VISA dhe Bank of America.

Për shembull, IBM po aplikon teknika të dhënash të mëdha për transaksionet në para. Me ndihmën e tyre, u zbuluan 15% më shumë transaksione mashtruese, gjë që rriti sasinë e fondeve të mbrojtura me 60%. U zgjidhën edhe problemet me pozitive false të sistemit - numri i tyre u zvogëlua për më shumë se gjysmën.

VISA përdori në mënyrë të ngjashme Big Data, duke gjurmuar përpjekjet mashtruese për të kryer një operacion të caktuar. Falë kësaj, ata kursejnë çdo vit më shumë se 2 miliardë dollarë amerikanë nga rrjedhjet.

Ministria Gjermane e Punës ka arritur të ulë kostot me 10 miliardë euro duke zbatuar një sistem të madh të të dhënave në punën e dhënies së përfitimeve të papunësisë. Në të njëjtën kohë, u zbulua se një e pesta e qytetarëve i marrin këto përfitime pa arsye.

Big Data nuk e ka anashkaluar as industrinë e lojërave. Kështu, zhvilluesit e World of Tanks kryen një studim të informacionit për të gjithë lojtarët dhe krahasuan treguesit e disponueshëm të aktivitetit të tyre. Kjo ndihmoi në parashikimin e dyndjes së mundshme të lojtarëve në të ardhmen - bazuar në supozimet e bëra, përfaqësuesit e organizatës ishin në gjendje të ndërveprojnë me përdoruesit në mënyrë më efektive.

Organizatat e shquara që përdorin të dhëna të mëdha përfshijnë gjithashtu HSBC, Nasdaq, Coca-Cola, Starbucks dhe AT&T.

Problemi më i madh me të dhënat e mëdha është kostoja e përpunimit të tyre. Kjo mund të përfshijë pajisje të shtrenjta dhe koston e pagave për specialistë të kualifikuar të aftë për të shërbyer sasi të mëdha informacioni. Natyrisht, pajisjet do të duhet të përditësohen rregullisht në mënyrë që të mos humbasin performancën e saj minimale ndërsa sasia e të dhënave rritet.

Problemi i dytë lidhet sërish me sasinë e madhe të informacionit që duhet të përpunohet. Nëse, për shembull, një studim jep jo 2-3, por një numër të madh rezultatesh, është shumë e vështirë të qëndrosh objektiv dhe të zgjidhësh nga rrjedha e përgjithshme e të dhënave vetëm ato që do të kenë një ndikim real në gjendjen e një fenomeni.

Problemi i privatësisë së të dhënave të mëdha. Me kalimin e shumicës së shërbimeve të shërbimit ndaj klientit në përdorimin e të dhënave në internet, është shumë e lehtë të bëhesh objektivi i radhës për kriminelët kibernetikë. Edhe thjesht ruajtja e informacionit personal pa kryer ndonjë transaksion në internet mund të jetë e mbushur me pasoja të padëshirueshme për klientët e ruajtjes së cloud.

Problemi i humbjes së informacionit. Masat paraprake kërkojnë të mos kufizohen në një kopje rezervë të thjeshtë një herë të të dhënave, por të bëni të paktën 2-3 kopje rezervë të ruajtjes. Megjithatë, ndërsa vëllimi rritet, kompleksiteti i tepricës rritet - dhe specialistët e IT-së po përpiqen të gjejnë zgjidhjen më të mirë për këtë problem.

Tregu i teknologjive të të dhënave të mëdha në Rusi dhe në botë

Që nga viti 2014, 40% e tregut të të dhënave të mëdha përbëhet nga shërbime. Pak më inferiore (38%) ndaj këtij treguesi janë të ardhurat nga përdorimi i Big Data në pajisjet kompjuterike. Pjesa e mbetur prej 22% është në softuer.

Produktet më të dobishme në segmentin global për zgjidhjen e problemeve të Big Data, sipas statistikave, janë platformat analitike In-memory dhe NoSQL. 15 dhe 12 për qind të tregut, përkatësisht, janë të zëna nga softueri analitik Log-file dhe platformat Columnar. Por Hadoop / MapReduce në praktikë përballimi i problemeve të të dhënave të mëdha nuk është shumë efektiv.

Rezultatet e zbatimit të teknologjive të të dhënave të mëdha:

• përmirësimi i cilësisë së shërbimit ndaj klientit;
• optimizimi i integrimit në zinxhirin e furnizimit;
• optimizimi i planifikimit të organizatës;
• përshpejtimi i ndërveprimit me klientët;
• përmirësimi i efikasitetit të përpunimit të kërkesave të klientëve;
• kostot e reduktuara të shërbimit;
• optimizimi i përpunimit të kërkesave të klientëve.

Librat më të mirë të të dhënave të mëdha

I përshtatshëm për studimin fillestar të teknologjive të përpunimit të të dhënave të mëdha - ju përditëson lehtësisht dhe qartë. E bën të qartë se si bollëku i informacionit ka ndikuar në jetën e përditshme dhe në të gjitha fushat e saj: shkencë, biznes, mjekësi etj. Përmban ilustrime të shumta, kështu që perceptohet pa shumë përpjekje.

"Introduction to Data Mining" nga Pang-Ning Tan, Michael Steinbach dhe Vipin Kumar

Gjithashtu një libër i dobishëm për fillestarët në Big Data, i cili shpjegon se si të punohet me të dhëna të mëdha në një mënyrë "nga e thjeshtë në komplekse". Ai mbulon shumë pika të rëndësishme në fazën fillestare: përgatitjen për përpunim, vizualizim, OLAP, si dhe disa metoda të analizës dhe klasifikimit të të dhënave.

Një udhëzues praktik për përdorimin dhe punën me të dhëna të mëdha duke përdorur gjuhën e programimit Python. I përshtatshëm si për studentët e inxhinierisë ashtu edhe për profesionistët që duan të thellojnë njohuritë e tyre.

“Hadoop for Dummies”, Dirk Derus, Paul S. Zikopoulos, Roman B. Melnik

Hadoop është një projekt i krijuar posaçërisht për të punuar me programe të shpërndara që organizojnë ekzekutimin e veprimeve në mijëra nyje në të njëjtën kohë. Njohja me të do të ndihmojë për të kuptuar më në detaje zbatimin praktik të të dhënave të mëdha.

Sipas hulumtimeve dhe tendencave

Big Data, "Big Data" është bërë folja e qytetit në shtypin e IT dhe marketingut prej disa vitesh. Dhe është e qartë: teknologjitë dixhitale kanë përshkuar jetën e një personi modern, "gjithçka është e shkruar". Vëllimi i të dhënave për aspekte të ndryshme të jetës po rritet, dhe në të njëjtën kohë, mundësitë e ruajtjes së informacionit po rriten.

Teknologjitë globale për ruajtjen e informacionit

Burimi: Hilbert dhe Lopez, "Kapaciteti teknologjik i botës për të ruajtur, komunikuar dhe llogaritur informacionin", Science, 2011 Global.

Shumica e ekspertëve pajtohen se përshpejtimi i rritjes së të dhënave është një realitet objektiv. Rrjetet sociale, pajisjet celulare, të dhënat nga pajisjet matëse, informacioni i biznesit janë vetëm disa lloje burimesh që mund të gjenerojnë sasi të mëdha informacioni. Sipas hulumtimeve IDCUniversi dixhital, botuar në vitin 2012, 8 vitet e ardhshme sasia e të dhënave në botë do të arrijë në 40 Zb (zettabajt), që është ekuivalente me 5200 GB për banor të planetit.

Rritja e informacionit dixhital të mbledhur në SHBA

Burimi: IDC

Një pjesë e konsiderueshme e informacionit nuk krijohet nga njerëzit, por nga robotët që ndërveprojnë si me njëri-tjetrin ashtu edhe me rrjete të tjera të dhënash, të tilla si, për shembull, sensorët dhe pajisjet inteligjente. Me këtë ritëm rritjeje, sasia e të dhënave në botë, sipas studiuesve, do të dyfishohet çdo vit. Numri i serverëve virtualë dhe fizikë në botë do të rritet dhjetëfish për shkak të zgjerimit dhe krijimit të qendrave të reja të të dhënave. Në këtë drejtim, ka një nevojë në rritje për përdorimin efektiv dhe monetizimin e këtyre të dhënave. Duke qenë se përdorimi i Big Data në biznes kërkon investime të konsiderueshme, është e nevojshme të kuptohet qartë situata. Dhe është, në thelb, e thjeshtë: ju mund të rrisni efikasitetin e biznesit duke ulur kostot dhe/ose duke rritur shitjet.

Për çfarë janë Big Data?

Paradigma e të dhënave të mëdha përcakton tre lloje kryesore të detyrave.

• Ruajtja dhe administrimi i qindra terabajtëve ose petabajtëve të të dhënave që bazat e të dhënave relacionale konvencionale nuk mund t'i përdorin në mënyrë efikase.
• Organizimi i informacionit të pastrukturuar i përbërë nga tekste, imazhe, video dhe lloje të tjera të dhënash.
• Analiza e të dhënave të mëdha, e cila ngre pyetjen se si të punohet me informacionin e pastrukturuar, gjenerimin e raporteve analitike dhe zbatimin e modeleve parashikuese.

Tregu i projektit Big Data kryqëzohet me tregun e inteligjencës së biznesit (BA), vëllimi i të cilit në botë, sipas ekspertëve, në vitin 2012 arriti në rreth 100 miliardë dollarë. Ai përfshin komponentë të teknologjisë së rrjetit, serverë, softuer dhe shërbime teknike.

Gjithashtu, përdorimi i teknologjive Big Data është i rëndësishëm për zgjidhjet e klasës së sigurimit të të ardhurave (RA) të krijuara për të automatizuar aktivitetet e kompanive. Sistemet moderne të garantimit të të ardhurave përfshijnë mjete për zbulimin e mospërputhjeve dhe analizën e thellë të të dhënave që lejojnë zbulimin në kohë të humbjeve të mundshme ose shtrembërimit të informacionit që mund të çojë në rezultate më të ulëta financiare. Në këtë sfond, kompanitë ruse, duke konfirmuar kërkesën për teknologjitë e të dhënave të mëdha në tregun e brendshëm, vërejnë se faktorët që stimulojnë zhvillimin e të dhënave të mëdha në Rusi janë rritja e të dhënave, përshpejtimi i vendimmarrjes menaxheriale dhe përmirësimi i tyre. cilësisë.

Çfarë e pengon punën me Big Data

Sot analizohen vetëm 0.5% e të dhënave dixhitale të akumuluara, pavarësisht se objektivisht ekzistojnë detyra në të gjithë industrinë që mund të zgjidhen duke përdorur zgjidhje analitike të klasës Big Data. Tregjet e zhvilluara të TI-së kanë tashmë rezultate që mund të përdoren për të vlerësuar pritshmëritë që lidhen me akumulimin dhe përpunimin e të dhënave të mëdha.

Një nga faktorët kryesorë që ngadalëson zbatimin e projekteve të Big Data, përveç kostos së lartë, është problemi i zgjedhjes së të dhënave që do të përpunohen: domethënë përkufizimi se cilat të dhëna duhet të nxirren, ruhen dhe analizohen dhe cilat nuk duhet të merren parasysh.

Shumë përfaqësues të biznesit vërejnë se vështirësitë në zbatimin e projekteve të Big Data shoqërohen me mungesën e specialistëve - marketerëve dhe analistëve. Shkalla e kthimit të investimit në Big Data varet drejtpërdrejt nga cilësia e punës së punonjësve të përfshirë në analitikë të thellë dhe parashikuese. Potenciali i madh i të dhënave që tashmë ekziston në një organizatë shpesh nuk mund të përdoret në mënyrë efektive nga vetë tregtarët për shkak të proceseve të vjetëruara të biznesit ose rregulloreve të brendshme. Prandaj, projektet e Big Data shpesh perceptohen nga bizneset si të vështira jo vetëm në zbatim, por edhe në vlerësimin e rezultateve: vlerën e të dhënave të mbledhura. Specifikat e punës me të dhënat kërkojnë që tregtarët dhe analistët të zhvendosin vëmendjen e tyre nga teknologjia dhe raportimi në zgjidhjen e problemeve specifike të biznesit.

Për shkak të vëllimit të madh dhe shpejtësisë së lartë të rrjedhës së të dhënave, procesi i mbledhjes së të dhënave përfshin procedura ETL në kohë reale. Per referim:ETL - ngaanglishtEkstrakt, Transformoni, ngarkesës- fjalë për fjalë "nxjerrja, transformimi, ngarkimi") - një nga proceset kryesore në menaxhim magazinat e të dhënave, që përfshin: nxjerrjen e të dhënave nga burime të jashtme, transformimin e tyre dhe pastrim për të plotësuar nevojat ETL duhet të shihet jo vetëm si një proces i transferimit të të dhënave nga një aplikacion në tjetrin, por edhe si një mjet për përgatitjen e të dhënave për analizë.

Dhe pastaj çështjet e sigurimit të sigurisë së të dhënave që vijnë nga burime të jashtme duhet të kenë zgjidhje që korrespondojnë me vëllimin e informacionit të mbledhur. Meqenëse metodat e analizës së të dhënave të mëdha po zhvillohen deri më tani vetëm pas rritjes së vëllimit të të dhënave, aftësia e platformave analitike për të përdorur metoda të reja të përgatitjes dhe grumbullimit të të dhënave luan një rol të rëndësishëm. Kjo sugjeron që, për shembull, të dhënat për blerësit e mundshëm ose një magazinë masive të dhënash me një histori klikimesh në faqet e dyqaneve online mund të jenë interesante për zgjidhjen e problemeve të ndryshme.

Vështirësitë nuk ndalen

Pavarësisht të gjitha vështirësive me zbatimin e Big Data, biznesi synon të rrisë investimet në këtë fushë. Sipas të dhënave të Gartner, në vitin 2013, 64% e kompanive më të mëdha në botë kanë investuar tashmë ose kanë plane për të investuar në vendosjen e teknologjive Big Data për biznesin e tyre, ndërsa në vitin 2012 kishte 58% të kompanive të tilla. Sipas një studimi të Gartner, liderët e industrive që investojnë në Big Data janë kompanitë mediatike, telekomunikacioni, sektori bankar dhe kompanitë e shërbimeve. Rezultatet e suksesshme të zbatimit të Big Data janë arritur tashmë nga shumë lojtarë kryesorë në industrinë e shitjes me pakicë në drejtim të përdorimit të të dhënave të marra duke përdorur mjetet RFID, logjistikën dhe sistemet e zhvendosjes (nga anglishtja. rimbushje- akumulim, rimbushje - R&T), si dhe nga programet e besnikërisë. Përvoja e suksesshme e shitjes me pakicë stimulon sektorët e tjerë të tregut për të gjetur mënyra të reja efektive për të fituar para nga të dhënat e mëdha në mënyrë që ta kthejnë analizën e tyre në një burim që funksionon për zhvillimin e biznesit. Falë kësaj, sipas ekspertëve, në periudhën deri në vitin 2020, investimet në menaxhim dhe ruajtje do të ulen për çdo gigabajt të dhënash nga 2 në 0,2 dollarë, por për studimin dhe analizën e vetive teknologjike të Big Data do të rriten me vetëm 40 %.

Kostot e paraqitura në projekte të ndryshme investimi në fushën e Big Data janë të një natyre të ndryshme. Zërat e kostos varen nga llojet e produkteve që përzgjidhen në bazë të vendimeve të caktuara. Pjesa më e madhe e kostove në projektet investuese, sipas ekspertëve, bie mbi produktet që lidhen me mbledhjen, strukturimin e të dhënave, pastrimin dhe menaxhimin e informacionit.

Si është bërë

Ka shumë kombinime të softuerit dhe harduerit që ju lejojnë të krijoni zgjidhje efektive të të dhënave të mëdha për disiplina të ndryshme biznesi: nga mediat sociale dhe aplikacionet celulare, deri te nxjerrja dhe vizualizimi i të dhënave të biznesit. Një avantazh i rëndësishëm i Big Data është përputhshmëria e mjeteve të reja me bazat e të dhënave të përdorura gjerësisht në biznes, gjë që është veçanërisht e rëndësishme kur punoni me projekte ndërdisiplinore, si organizimi i shitjeve me shumë kanale dhe mbështetja e klientit.

Sekuenca e punës me Big Data konsiston në mbledhjen e të dhënave, strukturimin e informacionit të marrë duke përdorur raporte dhe tabela (pulti), krijimin e njohurive dhe konteksteve dhe formulimin e rekomandimeve për veprim. Meqenëse puna me Big Data nënkupton kosto të larta për mbledhjen e të dhënave, rezultati i përpunimit të të cilave nuk dihet paraprakisht, detyra kryesore është të kuptosh qartë se për çfarë shërbejnë të dhënat dhe jo se sa prej tyre janë në dispozicion. Në këtë rast, mbledhja e të dhënave kthehet në një proces të marrjes së informacionit që është jashtëzakonisht i nevojshëm për zgjidhjen e problemeve specifike.

Për shembull, ofruesit e telekomunikacionit grumbullojnë një sasi të madhe të dhënash, duke përfshirë vendndodhjen gjeografike, e cila përditësohet vazhdimisht. Ky informacion mund të jetë me interes tregtar për agjencitë e reklamave, të cilat mund ta përdorin atë për të shërbyer reklama të synuara dhe të lokalizuara, si dhe për shitësit me pakicë dhe bankat. Të dhëna të tilla mund të luajnë një rol të rëndësishëm në vendosjen nëse do të hapet një pikë shitje me pakicë në një vend të caktuar bazuar në të dhënat mbi praninë e një fluksi të fuqishëm të synuar njerëzish. Ekziston një shembull i matjes së efektivitetit të reklamimit në tabelat e jashtme në Londër. Tani mbulimi i një reklame të tillë mund të matet vetëm duke vendosur njerëzit pranë strukturave të reklamave me një pajisje të veçantë që numëron kalimtarët. Krahasuar me këtë lloj matjeje të efektivitetit të reklamave, operatori celular ka shumë më tepër mundësi - ai e di saktësisht vendndodhjen e pajtimtarëve të tij, ai njeh karakteristikat e tyre demografike, gjininë, moshën, statusin martesor, etj.

Bazuar në këto të dhëna, në të ardhmen, hapet perspektiva për të ndryshuar përmbajtjen e mesazhit reklamues, duke përdorur preferencat e një personi të caktuar që kalon pranë billbordit. Nëse të dhënat tregojnë se personi që kalon aty udhëton shumë, atëherë mund t'i shfaqet një reklamë për resortin. Organizatorët e një ndeshje futbolli mund të vlerësojnë vetëm numrin e tifozëve kur vijnë në ndeshje. Por nëse do të mund t'i kërkonin operatorit celular informacion se ku ishin vizitorët një orë, një ditë apo një muaj para ndeshjes, atëherë kjo do t'u jepte organizatorëve mundësinë për të planifikuar vende për reklamimin e ndeshjeve të ardhshme.

Një shembull tjetër është se si bankat mund të përdorin Big Data për të parandaluar mashtrimin. Nëse klienti raporton humbjen e kartës dhe kur bën një blerje duke përdorur atë, banka sheh në kohë reale vendndodhjen e telefonit të klientit në zonën e blerjes ku kryhet transaksioni, banka mund të kontrollojë informacionin në aplikacionin e klientit. , nëse ai u përpoq ta mashtronte. Ose situata e kundërt, kur një klient bën një blerje në një dyqan, banka sheh që karta në të cilën kryhet transaksioni dhe telefoni i klientit janë në të njëjtin vend, banka mund të konkludojë se pronari i saj po përdor kartën. Falë këtyre avantazheve të Big Data, kufijtë me të cilët janë pajisur magazinat tradicionale të të dhënave po zgjerohen.

Për një vendim të suksesshëm për zbatimin e zgjidhjeve të Big Data, një kompani duhet të llogarisë një rast investimi dhe kjo shkakton vështirësi të mëdha për shkak të shumë komponentëve të panjohur. Paradoksi i analitikës në raste të tilla është të parashikosh të ardhmen bazuar në të kaluarën, informacioni për të cilin shpesh mungon. Në këtë rast, një faktor i rëndësishëm është planifikimi i qartë i veprimeve tuaja fillestare:

• Së pari, është e nevojshme të përcaktohet një problem specifik i biznesit, për të cilin do të përdoren teknologjitë e të dhënave të mëdha, kjo detyrë do të bëhet thelbi i përcaktimit të korrektësisë së konceptit të zgjedhur. Ju duhet të përqendroheni në mbledhjen e të dhënave në lidhje me këtë detyrë të veçantë dhe gjatë vërtetimit të konceptit do të jeni në gjendje të përdorni mjete, procese dhe metoda të ndryshme menaxhimi që do t'ju lejojnë të merrni vendime më të informuara në të ardhmen.
• Së dyti, nuk ka gjasa që një kompani pa aftësitë dhe përvojën e analizës së të dhënave të jetë në gjendje të zbatojë me sukses një projekt Big Data. Njohuritë e nevojshme vijnë gjithmonë nga përvoja e mëparshme në analitikë, e cila është faktori kryesor që ndikon në cilësinë e punës me të dhënat. Një rol të rëndësishëm luan kultura e përdorimit të të dhënave, pasi shpesh analiza e informacionit zbulon të vërtetën e ashpër për biznesin, dhe për të pranuar këtë të vërtetë dhe për të punuar me të, nevojiten metoda të zhvilluara për të punuar me të dhënat.
• Së treti, vlera e teknologjive të Big Data qëndron në ofrimin e njohurive.Analistët e mirë mbeten me mungesë në treg. Ata quhen specialistë që kanë një kuptim të thellë të kuptimit tregtar të të dhënave dhe dinë t'i zbatojnë ato në mënyrë korrekte. Analiza e të dhënave është një mjet për të arritur qëllimet e biznesit dhe për të kuptuar vlerën e të dhënave të mëdha, ju nevojitet një model i përshtatshëm sjelljeje dhe një kuptim i veprimeve tuaja. Në këtë rast, të dhënat e mëdha do të ofrojnë shumë informacione të dobishme për konsumatorët, në bazë të të cilave mund të merrni vendime të dobishme biznesi.

Pavarësisht se tregu rus i të dhënave të mëdha sapo ka filluar të marrë formë, disa projekte në këtë fushë tashmë po zbatohen me mjaft sukses. Disa prej tyre janë të suksesshme në fushën e mbledhjes së të dhënave, si projektet për Shërbimin Federal të Taksave dhe Sistemet e Kreditit Tinkoff, të tjera për sa i përket analizës së të dhënave dhe zbatimit praktik të rezultateve të tyre: ky është projekti Synqera.

Tinkoff Credit Systems Bank zbatoi një projekt për të zbatuar platformën EMC2 Greenplum, e cila është një mjet për llogaritjen masivisht paralele. Vitet e fundit, banka ka rritur kërkesat e saj për shpejtësinë e përpunimit të informacionit të akumuluar dhe analizës së të dhënave në kohë reale, të shkaktuara nga ritmi i lartë i rritjes së numrit të përdoruesve të kartave të kreditit. Banka njoftoi planet për të zgjeruar përdorimin e teknologjive të të dhënave të mëdha, veçanërisht për përpunimin e të dhënave të pastrukturuara dhe punën me informacionin e korporatës të marrë nga burime të ndryshme.

Shërbimi Federal i Taksave i Rusisë aktualisht po krijon një shtresë analitike të magazinës federale të të dhënave. Mbi bazën e saj po krijohet një hapësirë ​​e vetme informacioni dhe teknologji për aksesimin e të dhënave tatimore për përpunim statistikor dhe analitik. Gjatë zbatimit të projektit, po punohet për centralizimin e informacionit analitik me më shumë se 1200 burime të nivelit lokal të Shërbimit Federal të Taksave.

Një shembull tjetër interesant i analizës së të dhënave të mëdha në kohë reale është startup-i rus Synqera, i cili zhvilloi platformën Simplate. Zgjidhja bazohet në përpunimin e grupeve të mëdha të të dhënave, programi analizon informacionin për klientët, historinë e blerjeve të tyre, moshën, gjininë dhe madje edhe gjendjen shpirtërore. Në arkat në rrjetin e dyqaneve të kozmetikës u vendosën ekrane me prekje me sensorë që njohin emocionet e klientëve. Programi përcakton gjendjen shpirtërore të një personi, analizon informacionin rreth tij, përcakton kohën e ditës dhe skanon bazën e të dhënave të zbritjeve të dyqanit, pas së cilës i dërgon blerësit mesazhe të synuara në lidhje me promovimet dhe ofertat speciale. Kjo zgjidhje përmirëson besnikërinë e klientit dhe rrit shitjet me pakicë.

Nëse flasim për raste të suksesshme të huaja, atëherë në këtë drejtim është interesante përvoja e përdorimit të teknologjive Big Data në Dunkin` Donuts, e cila përdor të dhëna në kohë reale për të shitur produkte. Ekranet dixhitale në dyqane shfaqin oferta që ndryshojnë çdo minutë, në varësi të kohës së ditës dhe disponueshmërisë së produktit. Sipas arkëtimeve në para, kompania merr të dhëna se cilat oferta morën përgjigjen më të madhe nga blerësit. Kjo qasje e përpunimit të të dhënave lejoi rritjen e fitimeve dhe qarkullimit të mallrave në magazinë.

Siç tregon përvoja e zbatimit të projekteve të Big Data, kjo zonë është krijuar për të zgjidhur me sukses problemet moderne të biznesit. Në të njëjtën kohë, një faktor i rëndësishëm në arritjen e qëllimeve komerciale kur punoni me të dhëna të mëdha është zgjedhja e strategjisë së duhur, e cila përfshin analitikën që identifikon nevojat e konsumatorëve, si dhe përdorimin e teknologjive inovative në fushën e Big Data.

Sipas një sondazhi global të kryer çdo vit nga Econsultancy dhe Adobe që nga viti 2012 midis tregtarëve të kompanive, "big data", që karakterizon veprimet e njerëzve në internet, mund të bëjë shumë. Ata janë në gjendje të optimizojnë proceset e biznesit jashtë linje, të ndihmojnë për të kuptuar se si pronarët e pajisjeve celulare i përdorin ato për të kërkuar informacion, ose thjesht "ta bëjnë marketingun më të mirë", d.m.th. më efikase. Për më tepër, funksioni i fundit po bëhet më i popullarizuar nga viti në vit, siç tregohet nga diagrami ynë.

Fushat kryesore të punës së tregtarëve të internetit për sa i përket marrëdhënieve me klientët

Burimi: Econsultancy dhe Adobe, botuaremarketer.com

Vini re se kombësia e të anketuarve nuk ka shumë rëndësi. Sipas një sondazhi të kryer nga KPMG në vitin 2013, përqindja e "optimistëve", d.m.th. e atyre që përdorin Big Data kur zhvillojnë një strategji biznesi është 56%, dhe luhatjet nga rajoni në rajon janë të vogla: nga 63% në vendet e Amerikës së Veriut në 50% në EMEA.

Përdorimi i të dhënave të mëdha në rajone të ndryshme të botës

Burimi: KPMG, botuaremarketer.com

Ndërkohë, qëndrimi i tregtarëve ndaj "tendencave të modës" të tilla të kujton disi një anekdotë të njohur:

Më thuaj, Vano, a të pëlqejnë domatet?
- Më pëlqen të ha, por jo.

Pavarësisht se tregtarët thonë se “i duan” Big Data dhe madje duket se i përdorin, në fakt, “gjithçka është e ndërlikuar”, pasi shkruajnë për lidhjet e tyre të përzemërta në rrjetet sociale.

Sipas një sondazhi të kryer nga Circle Research në janar 2014 midis tregtarëve evropianë, 4 nga 5 të anketuar nuk përdorin Big Data (përkundër faktit se ata, natyrisht, i "pëlqejnë" ato). Arsyet janë të ndryshme. Ka pak skeptikë të rremë - 17% dhe saktësisht i njëjti numër si antipodet e tyre, d.m.th. ata që përgjigjen me besim "Po". Pjesa tjetër hezitojnë dhe dyshojnë, "këneta". Ata shmangin një përgjigje të drejtpërdrejtë me justifikime të besueshme si "jo ende, por së shpejti" ose "do të presim që të tjerët të fillojnë".

Përdorimi i të dhënave të mëdha nga tregtarët, Evropë, janar 2014

Burimi:dnx, botuar -tregtar.com

Çfarë i ngatërron ata? Një marrëzi e pastër. Disa (saktësisht gjysma e tyre) thjesht nuk i besojnë këto të dhëna. Të tjerë (ka edhe mjaft prej tyre - 55%) e kanë të vështirë të lidhin grupet e "të dhënave" dhe "përdoruesve" mes tyre. Dikush thjesht (le ta themi politikisht korrekt) ka një rrëmujë të brendshme të korporatës: të dhënat po ecin pa pronar midis departamenteve të marketingut dhe strukturave të IT. Për të tjerët, softueri nuk mund të përballojë fluksin e punës. Dhe kështu me radhë. Duke qenë se aksionet totale janë shumë mbi 100%, është e qartë se situata e "barrierave të shumta" nuk është e pazakontë.

Barrierat që pengojnë përdorimin e të dhënave të mëdha në marketing

Burimi:dnx, botuar -tregtar.com

Kështu, duhet të theksojmë se deri më tani “Big Data” është një potencial i madh që ende duhet të përdoret. Meqë ra fjala, kjo mund të jetë arsyeja pse Big Data po humbet aureolën e “trendit të modës”, siç dëshmohet nga të dhënat e sondazhit të kryer nga kompania Econsultancy që kemi përmendur tashmë.

Tendencat më të rëndësishme në marketingun dixhital 2013-2014

Burimi: Konsulencë dhe Adobe

Ata po zëvendësohen nga një tjetër mbret - marketingu i përmbajtjes. Sa gjatë?

Nuk mund të thuhet se Big Data është një fenomen thelbësisht i ri. Burimet e mëdha të të dhënave kanë ekzistuar prej vitesh: bazat e të dhënave të blerjeve të klientëve, historitë e kreditit, mënyra e jetesës. Dhe për vite me radhë, shkencëtarët i kanë përdorur këto të dhëna për të ndihmuar kompanitë të vlerësojnë rrezikun dhe të parashikojnë nevojat e klientëve në të ardhmen. Megjithatë, sot situata ka ndryshuar në dy aspekte:

Janë shfaqur mjete dhe metoda më të sofistikuara për të analizuar dhe kombinuar grupe të ndryshme të dhënash;

Këto mjete analitike plotësohen nga një ortek burimesh të reja të dhënash të nxitura nga dixhitalizimi i pothuajse çdo metode të mbledhjes dhe matjes së të dhënave.

Gama e informacionit në dispozicion është frymëzuese dhe frikësuese për studiuesit që janë rritur në një mjedis të strukturuar kërkimor. Ndjenja e konsumatorit kapet nga faqet e internetit dhe të gjitha llojet e mediave sociale. Fakti i shikimit të reklamave regjistrohet jo vetëm nga set-top boxes, por edhe me ndihmën e etiketave dixhitale dhe pajisjeve mobile që komunikojnë me televizorin.

Të dhënat e sjelljes (si numri i telefonatave, zakonet e blerjeve dhe blerjet) janë tani të disponueshme në kohë reale. Kështu, shumë nga ato që mund të mësoheshin më parë përmes kërkimit tani mund të mësohen përmes burimeve të të dhënave të mëdha. Dhe të gjitha këto asete informacioni gjenerohen vazhdimisht, pavarësisht nga çdo proces kërkimor. Këto ndryshime na bëjnë të pyesim veten nëse të dhënat e mëdha mund të zëvendësojnë kërkimin klasik të tregut.

Nuk ka të bëjë me të dhënat, ka të bëjë me pyetje dhe përgjigje

Përpara se të urdhërojmë një gjuajtje vdekjeje për kërkime klasike, duhet t'i kujtojmë vetes se nuk është prania e një aseti ose një tjetri të të dhënave, por diçka tjetër që është vendimtare. Cfare saktesisht? Aftësia jonë për t'iu përgjigjur pyetjeve, kjo është ajo. Një gjë qesharake në lidhje me botën e re të të dhënave të mëdha është se rezultatet nga asetet e reja të të dhënave çojnë në edhe më shumë pyetje, dhe këto pyetje priren të marrin përgjigjen më të mirë nga kërkimet tradicionale. Kështu, ndërsa të dhënat e mëdha rriten, ne shohim një rritje paralele të disponueshmërisë dhe kërkesës për "të dhëna të vogla" që mund të japin përgjigje për pyetjet nga bota e të dhënave të mëdha.

Le të shqyrtojmë një situatë: një reklamues i madh monitoron vazhdimisht trafikun në dyqane dhe vëllimet e shitjeve në kohë reale. Metodologjitë ekzistuese të kërkimit (në të cilat ne pyesim pjesëmarrësit në panelet kërkimore rreth motivimeve dhe sjelljes së tyre të blerjes në pikën e shitjes) na ndihmojnë të synojmë më mirë segmente specifike të klientëve. Këto metodologji mund të zgjerohen për të përfshirë një gamë më të gjerë të aseteve të të dhënave të mëdha, deri në pikën ku të dhënat e mëdha bëhen një mjet vëzhgimi pasiv dhe hulumtojnë një metodë të hetimit të vazhdueshëm, të fokusuar ngushtë të ndryshimeve ose ngjarjeve që duhen studiuar. Kjo është mënyra se si të dhënat e mëdha mund të çlirojnë kërkimin nga rutina e panevojshme. Hulumtimi parësor nuk duhet të fokusohet më në atë që po ndodh (të dhënat e mëdha do të). Në vend të kësaj, kërkimi parësor mund të përqendrohet në shpjegimin se pse ne shohim tendenca të caktuara ose devijime nga tendencat. Studiuesi do të jetë në gjendje të mendojë më pak për marrjen e të dhënave dhe më shumë se si t'i analizojë dhe përdorë ato.

Në të njëjtën kohë, ne shohim se të dhënat e mëdha po zgjidhin një nga problemet tona më të mëdha, problemin e studimeve tepër të gjata. Ekzaminimi i vetë studimeve ka treguar se mjetet kërkimore tepër të fryra kanë një ndikim negativ në cilësinë e të dhënave. Megjithëse shumë ekspertë e pranuan këtë problem për një kohë të gjatë, ata pa ndryshim u përgjigjën me frazën: "Por unë kam nevojë për këtë informacion për menaxhmentin e lartë" dhe intervistat e gjata vazhduan.

Në botën e të dhënave të mëdha, ku treguesit sasiorë mund të merren përmes vëzhgimit pasiv, kjo çështje bëhet e diskutueshme. Përsëri, le të mendojmë përsëri për të gjithë këtë hulumtim të konsumit. Nëse të dhënat e mëdha na japin njohuri rreth konsumit përmes vëzhgimit pasiv, atëherë kërkimi parësor në formën e anketave nuk ka më nevojë të mbledhë këtë lloj informacioni dhe më në fund ne mund të mbështesim vizionin tonë për anketat e shkurtra jo vetëm me dëshira të mira, por edhe me diçka reale.

Big Data ka nevojë për ndihmën tuaj

Së fundi, "i madh" është vetëm një nga karakteristikat e të dhënave të mëdha. Karakteristika "e madhe" i referohet madhësisë dhe shkallës së të dhënave. Sigurisht, kjo është karakteristika kryesore, pasi vëllimi i këtyre të dhënave është përtej qëllimit të gjithçkaje me të cilën kemi punuar më parë. Por karakteristika të tjera të këtyre rrjedhave të reja të të dhënave janë gjithashtu të rëndësishme: ato shpesh janë të formatuara dobët, të pastrukturuara (ose, në rastin më të mirë, pjesërisht të strukturuara) dhe plot pasiguri. Fusha në zhvillim e menaxhimit të të dhënave, e quajtur me vend "analitika e entitetit", synon të zgjidhë problemin e tejkalimit të zhurmës në të dhënat e mëdha. Detyra e tij është të analizojë këto grupe të dhënash dhe të zbulojë se sa vëzhgime janë për të njëjtin person, cilat vëzhgime janë aktuale dhe cilat prej tyre janë të përdorshme.

Ky lloj pastrimi i të dhënave është i nevojshëm për të hequr zhurmën ose të dhënat e gabuara kur punoni me asete të mëdha ose të vogla të të dhënave, por nuk mjafton. Ne gjithashtu duhet të krijojmë kontekst rreth aseteve të të dhënave të mëdha bazuar në përvojën tonë të mëparshme, analitikën dhe njohuritë e kategorive. Në fakt, shumë analistë theksojnë aftësinë për të menaxhuar pasigurinë e natyrshme në të dhënat e mëdha si një burim avantazhi konkurrues, pasi mundëson një vendimmarrje më të mirë.

Dhe këtu kërkimi parësor jo vetëm që çlirohet nga rutina falë të dhënave të mëdha, por gjithashtu kontribuon në krijimin dhe analizën e përmbajtjes brenda të dhënave të mëdha.

Një shembull kryesor i kësaj është aplikimi i kornizës sonë të re të kapitalit të markës në mediat sociale. (po flasim për atë të zhvilluar nëMillward Kafenjë qasje e re për matjen e vlerës së markësTë Me kuptim Të ndryshme Korniza- "Paradigma e dallimeve të rëndësishme" -R & T ). Ky model testohet nga sjellja brenda tregjeve specifike, zbatohet mbi baza standarde dhe mund të zbatohet lehtësisht në disiplina të tjera të marketingut dhe sisteme informacioni për mbështetjen e vendimeve. Me fjalë të tjera, modeli ynë i kapitalit të markës, i bazuar në (megjithëse jo ekskluzivisht) hulumtimet e anketave, ka të gjitha vetitë e nevojshme për të kapërcyer natyrën e pastrukturuar, jokoherente dhe të pasigurt të të dhënave të mëdha.

Merrni parasysh të dhënat e ndjenjave të konsumatorit të ofruara nga mediat sociale. Në formën e tij të papërpunuar, majat dhe luginat në ndjenjën e konsumatorit janë shumë shpesh të ndërlidhura minimalisht me matjet offline të barazisë dhe sjelljes së markës: thjesht ka shumë zhurmë në të dhëna. Por ne mund ta reduktojmë këtë zhurmë duke aplikuar modelet tona të kuptimit të konsumatorit, diferencimit të markës, dinamikës dhe identitetit në të dhënat e papërpunuara të ndjenjave të konsumatorit, që është një mënyrë për të përpunuar dhe grumbulluar të dhënat e mediave sociale përgjatë këtyre dimensioneve.

Pasi të dhënat organizohen sipas modelit tonë të kornizës, tendencat e identifikuara zakonisht përputhen me matjet e barazisë së markës dhe sjelljes të marra jashtë linje. Në fakt, të dhënat e mediave sociale nuk mund të flasin vetë. Për t'i përdorur ato për këtë qëllim kërkon përvojën tonë dhe modelet e ndërtuara rreth markave. Kur media sociale na jep informacion unik të shprehur në gjuhën që konsumatorët përdorin për të përshkruar markat, ne duhet ta përdorim atë gjuhë kur krijojmë kërkimin tonë për ta bërë kërkimin parësor shumë më efektiv.

Përfitimet e Studimeve të Përjashtuara

Kjo na kthen në faktin se të dhënat e mëdha nuk po e zëvendësojnë aq shumë kërkimin, sa po e çlirojnë atë. Studiuesit do të lirohen nga nevoja për të krijuar një studim të ri për çdo rast të ri. Asetet gjithnjë në rritje të të dhënave të mëdha mund të përdoren për tema të ndryshme kërkimore, duke lejuar kërkimet e mëvonshme parësore të thellohen në temë dhe të plotësojnë boshllëqet. Studiuesit do të çlirohen nga nevoja për t'u mbështetur në sondazhe tepër të fryra. Në vend të kësaj, ata do të jenë në gjendje të përdorin anketa të shkurtra dhe të fokusohen në parametrat më të rëndësishëm, gjë që përmirëson cilësinë e të dhënave.

Me këtë publikim, kërkuesit do të jenë në gjendje të përdorin parimet dhe njohuritë e tyre të vendosura për të shtuar saktësi dhe kuptim në asetet e të dhënave të mëdha, duke çuar në fusha të reja për hulumtimin e anketave. Ky cikël duhet të çojë në një kuptim më të thellë për një sërë çështjesh strategjike dhe përfundimisht një lëvizje drejt asaj që duhet të jetë gjithmonë qëllimi ynë kryesor - të informojmë dhe përmirësojmë cilësinë e vendimeve të markës dhe komunikimit.

16.07.18. Mail.ru lançoi Big Data si një shërbim

Platforma cloud Mail.ru është rimbushur me një shërbim për analizimin e të dhënave të mëdha Cloud Big Data, i cili bazohet në kornizat Apache Hadoop dhe Spark. Shërbimi do të jetë i dobishëm për shitësit me pakicë, organizatat financiare që duhet të analizojnë të dhëna të mëdha, por nuk duan të shpenzojnë shumë para në serverët e tyre. Mail.ru merr para vetëm për kohën aktuale të funksionimit të pajisjeve. Pra, një grup Hadoop me 10 nyje do t'i kushtojë klientit 39 rubla. për një orë punë. Kujtojmë që vitin e kaluar MTS nisi të njëjtin shërbim BigData Cloud MTS. Kostoja e përdorimit të shërbimit ishte nga 5 mijë rubla. në muaj. Gjithashtu, ofrohen shërbime të përpunimit të të dhënave të mëdha.

2017. MTS lançoi një platformë cloud për përpunimin e të dhënave të mëdha

Operatori MTS ka lançuar një shërbim për përpunimin cloud të të dhënave të mëdha për biznesin si pjesë e platformës së tij cloud #CloudMTS. Kompanitë do të jenë në gjendje të punojnë me të dhëna në mjediset e softuerit Hadoop dhe Spark. Për shembull, ky shërbim cloud do t'i ndihmojë bizneset të synojnë reklamat, të mbledhin dhe përpunojnë të dhëna të hapura dhe të kryejnë analiza financiare dhe të biznesit. Dyqanet online do të jenë në gjendje të analizojnë sjelljen e klientëve dhe më pas të ofrojnë oferta të gatshme të synuara për ngjarje dhe festa të ndryshme. Shërbimi funksionon duke përdorur mjete llogaritëse të para-instaluara, por është e mundur të krijoni algoritmet tuaja të përpunimit të të dhënave. Kostoja e përdorimit të shërbimit është nga 5 mijë rubla në muaj, çmimi ndryshon në varësi të hapësirës së zënë në re. Kujtojmë se platforma #CloudMTS është krijuar në vitin 2016. Në fillim, ai ofronte vetëm shërbime të ruajtjes së cloud, dhe më vonë u shfaq një shërbim kompjuterik cloud.

2016. Parashikimi i të dhënave të mëdha për Olimpiadën në Rio

Së shpejti, shërbimet e Big Data do t'ju tregojnë se çfarë vendimesh duhet të merrni për të rritur dhe siguruar biznesin tuaj. Ndërkohë, ata stërviten kryesisht në aktivitete sportive. A ju kujtohet që platforma inteligjente e Microsoft-it parashikoi së fundmi rezultatet e Kampionatit Evropian të Futbollit? Pra, ajo nuk e mori me mend. Këtë herë, kompania amerikane Gracenote, e specializuar në përpunimin e të dhënave të mëdha, ka llogaritur variantin më të mundshëm të renditjes së medaljeve të Lojërave Olimpike të Rios. Foto tregon një parashikim që është bërë një muaj para Olimpiadës. Është duke u përditësuar vazhdimisht. Versioni aktual - .

2016. Platforma intelektuale Microsoft parashikoi rezultatet e Kampionatit Evropian të Futbollit

Microsoft (si çdo gjigant IT që respekton veten) tashmë ka një platformë analitike të bazuar në përpunimin e të dhënave të mëdha (Big Data) dhe inteligjencën artificiale - Microsoft Cortana Intelligence Suite. Bazuar në të dhëna të ndryshme nga sistemet e biznesit tuaj, ai mund të parashikojë largimin e klientëve, prishjet e pajisjeve, ndryshimet e të ardhurave dhe më shumë. Dhe tani, Microsoft po na jep mundësinë të testojmë se sa saktë funksionon kjo platformë. Pasi analizoi historinë e futbollit, statistikat e ekipit, performancën e lojtarëve, lëndimet dhe komentet e tifozëve në rrjetet sociale, ajo prezantoi parashikimin e saj për Kampionatin Evropian të Futbollit, i cili nis sot. Pra, sipas parashikimit: Gjermania do të mundë Spanjën në finale me një probabilitet prej 66%. Dhe në ndeshjen hapëse, Franca do të fitojë ndaj Rumanisë me një probabilitet prej 71%.

2016. SAP dhe Yandex krijojnë shërbimin Big Data për mbajtjen e klientit

2 vjet më parë, Yandex lançoi një shërbim që ofron shërbime të përpunimit të të dhënave të mëdha për bizneset. Ky shërbim tashmë ka ndihmuar kompani të tilla si Beeline dhe Wargaming (Word of Tanks) të shmangin largimin e klientëve. Ai parashikon periudhat e ndryshimit bazuar në të dhënat historike dhe u jep bizneseve mundësinë të përgatiten dhe të ofrojnë disa promovime të reja në kohë. Tani, me sa duket, kjo teknologji Yandex është me interes për lojtarin më të madh në botë në tregun e IT të korporatave - SAP. Kompanitë kanë bashkuar forcat për të zhvilluar një shërbim për parashikimin e sjelljes së klientit. Sipas SAP dhe YDF, shërbimi do të përdoret në tregtinë me pakicë, e-commerce, banka dhe telekomunikacion. Ata thonë se shërbimi do të jetë i dizajnuar për bizneset e mesme, përfshirë edhe çmimin.

2016. PROMT Analyzer - Analizues morfologjik Big Data

PROMT ka lëshuar PROMT Analyzer - një zgjidhje e inteligjencës artificiale për të punuar me të dhëna të mëdha në sistemet e informacionit dhe analitike. Mjeti është krijuar për të kërkuar, nxjerrë, përgjithësuar dhe strukturuar informacionin nga pothuajse çdo përmbajtje teksti në gjuhë të ndryshme si në sistemet e korporatave ashtu edhe në burime të jashtme. Ai analizon çdo tekst ose dokument, identifikon entitetet në to (personalitete, organizata, emra gjeografikë, entitete gjeopolitike, etj.), si dhe përcakton veprimet që lidhen me këto subjekte, datën dhe vendin e veprimit, formon një imazh të plotë të dokument. PROMT Analyzer ju lejon të zgjidhni një sërë detyrash: analiza e burimeve të brendshme të kompanisë (sistemet e menaxhimit të dokumenteve), analiza e burimeve të jashtme (media, blogosfera, etj.), Analiza e të dhënave të marra nga burime të mbyllura për të vlerësuar kritikën e situatave, analiza e aktivitetit të një objekti në lidhje me gjeografinë, si dhe optimizimi i motorëve të kërkimit dhe shërbimeve mbështetëse.

2016. Mail.Ru do të ndihmojë kompanitë të analizojnë të dhënat e tyre

Mail.Ru përpiqet të vazhdojë me konkurrentin e saj kryesor, Yandex. Një vit më parë shërbimi i analizës së të dhënave të mëdha Yandex për biznesin. Dhe tani Mail.ru ka hapur një drejtim të Big Data për klientët e korporatave. Para së gjithash, do të merret me projekte që synojnë përmirësimin e efikasitetit të proceseve të marketingut dhe shitjeve, optimizimin e prodhimit, logjistikën, menaxhimin e rrezikut, planifikimin, menaxhimin e personelit dhe procese të tjera të biznesit. Për shembull, Mail.ru do të jetë në gjendje të krijojë një model për parashikimin e largimit të klientit, përgjigjen ndaj ofertave, parashikimin e reagimit ndaj një apeli përmes një kanali specifik komunikimi. Kjo do ta bëjë më të personalizuar ndërveprimin me një klient të mundshëm. Mail.ru thotë se kompania është angazhuar në analizën e të dhënave që nga fillimi i saj dhe ka teknologjitë e saj të mësimit të makinerive.

2015. IBM do të bëhet ofruesi kryesor i parashikimeve të motit të biznesit

A është moti i rëndësishëm për biznesin? Sigurisht, veçanërisht nëse biznesi juaj është një ndërmarrje bujqësore, agjenci udhëtimesh, kafene apo dyqan veshjesh. Moti ndikon në stabilitetin e furnizimeve, përzgjedhjen e asortimenteve dhe aktivitetin e shitjes. Në këtë rast, çdo sistem inteligjence biznesi që respekton veten duhet të marrë parasysh parashikimin e motit. Kështu mendova në IBM dhe bleu shërbimin më të madh të motit në botë The Weather Company. IBM planifikon të ushqejë të dhëna nga tre miliardë pika referimi parashikuese në superkompjuterin e saj Watson dhe të revolucionarizojë parashikimin e motit. Përveç kësaj, ata planifikojnë të krijojnë një platformë që do të lejojë aplikacionet e biznesit të palëve të treta të përdorin informacionin e motit për një tarifë.

2015. Video: Si të përdorni të dhëna të mëdha për të tërhequr punonjës të talentuar

A dyshoni ende se të dhënat e mëdha janë të dobishme për biznesin? Pastaj shikoni këtë video se si Beeline tërheq punonjës të rinj të talentuar duke përdorur Big Data. Në fillim të shtatorit, një Taksi e tillë e të dhënave të mëdha në formën e një makine Tesla vrapoi rreth Moskës. Sipas një përfaqësuesi të Beeline, përveç ndihmës për të tërhequr talente të reja, teknologjitë e Big Data i lejojnë kompanisë të zgjidhë një sërë problemesh. Duke filluar nga ato të thjeshta dhe të parëndësishme si "gjeni të gjithë ata që përdorin një kartë SIM të blerë me pasaportën e dikujt tjetër" dhe duke përfunduar me "përcaktoni moshën e një pajtimtari me një kombinim treguesish".

2015. Microsoft prezantoi platformën e të folurit Big Data

Teknologjitë e të dhënave të mëdha u premtojnë kompanive një optimizim magjik të proceseve të biznesit, për shembull: do të keni gjithmonë sasinë e duhur të mallrave në vendin e duhur, në kohën e duhur. Por ato kompani që kanë provuar tashmë Big Data thonë: në praktikë, kjo nuk funksionon. Sistemet ekzistuese Big Data janë të destinuara për analistët dhe ato nuk ndihmojnë një punonjës të zakonshëm që duhet të marrë një vendim këtu dhe tani. Prandaj, Microsoft vendosi të lëshojë një platformë Big Data me një fytyrë njerëzore (më saktë, një zë) - Cortana Analytics Suite. Ai bazohet në platformën cloud Azure dhe përdor asistentin zanor Cortana si ndërfaqen e tij. Supozohet se me ndihmën e një projektuesi vizual, çdo drejtues departamenti do të jetë në gjendje të krijojë mini-aplikacione që përpunojnë sasi të mëdha të dhënash, dhe çdo punonjës do të jetë në gjendje të pyesë Cortana-n dhe të marrë informacionin e duhur në kohën e duhur, në vendin e duhur.

2015. Video: Çfarë është Big Data dhe kujt i duhen ato?

Startup-i rus CleverData pozicionohet si një integrues i të dhënave të mëdha. Ata zbatojnë projekte për të zgjidhur problemet specifike të biznesit duke përdorur platforma dhe teknologji të Big Data. Në video, CEO i CleverData, Denis Afanasiev, flet në mënyrë interesante se çfarë janë Big Data dhe nga kanë ardhur këto të dhëna të mëdha. Rezulton se teknologjitë e përpunimit të të dhënave të mëdha kanë ekzistuar prej dekadash, por arsyeja e shfaqjes së termit të marketingut Big Data është se (në sajë të cloud computing) kostoja e tyre është ulur dhe ato janë bërë të disponueshme për kompanitë e vogla dhe të mesme. Sipas Denis, Big Data përdoret më shpesh për marketing (segmentimi i bazës së klientit, reklamimi në internet), siguria e IT (zbulimi i mashtrimit, parashikimi i avarive), administrimi i rrezikut (vlerësimi i besueshmërisë së klientit).

2015. SAP prezantoi sistemin Next Big Thing - S/4HANA ERP

Sistemi i parë ERP i SAP u quajt R/2 dhe funksiononte në mainframe. Pastaj ishte R/3. SAP Business Suite u shfaq në 2004. Një ditë tjetër SAP prezantoi (siç thonë ata) produktin më të rëndësishëm në historinë e tij - një version të ri të S4/HANA. Kur e krijuan atë, zhvilluesit nuk menduan se si të fshinin hundët me rivalin e përjetshëm Oracle, por se si të mos e linin veten të mposhten nga ofruesit agresivë SaaS Salesforce dhe Workday. Prandaj, S4 do të jetë në gjendje të punojë si në nivel lokal ashtu edhe në cloud. Karakteristika kryesore e sistemit është shpejtësia. Siç sugjeron emri, S4 bazohet në platformën kryesore Big Data SAP HANA, e cila ju lejon të përpunoni të dhëna shumë të mëdha në sekonda. Karakteristika e dytë kryesore është ndërfaqja. Harrojeni për tabelat dhe menutë komplekse që nuk mund t'i kuptoni pa një shishe. SAP dëshiron një sistem të ri të fuqishëm që mund të kontrollohet duke përdorur një smartphone. Të paktën 25 aplikacione të thjeshta SAP Fiori do të jenë të disponueshme për të punuar me SAP. Ja video prezantimi i tyre:

2014. Yandex hapi shërbimin Big Data për biznesin

Yandex lançoi projektin Yandex Data Factory, i cili do të ofrojë shërbime të përpunimit të të dhënave të mëdha për bizneset. Për ta bërë këtë, ai përdor teknologjinë e mësimit të makinerive Matrixnet, të cilën Yandex e ka zhvilluar për të renditur faqet në motorin e saj të kërkimit. Thuhet se Yandex planifikon të bëhet konkurrent i kompanive të tilla si SAP AG dhe Microsoft. Për momentin, specialistët e Yandex Data Factory kanë zbatuar disa projekte pilot me kompani evropiane. Në veçanti, inteligjenca artificiale Yandex u përdor nga një kompani e linjës elektrike për të parashikuar prishjet, nga një bankë për të synuar huamarrësit dhe nga një agjenci rrugore për të parashikuar bllokimet e trafikut. Për më tepër, rezulton se Yandex përpunon të dhënat e marra nga përplasësi i famshëm hadron në qendrën CERN.

2014. Microsoft ndihmon Real Madridin të fitojë me të dhëna të mëdha

E mira nuk kërkohet nga e mira. Real Madridi ka luajtur mjaft mirë kohët e fundit dhe ka marrë rezultate të mira. Megjithatë, dafinat e kombëtares gjermane, e cila fitoi Kupën e Botës me ndihmën e saj, ndjekin presidentin e klubit madrilen, Florentino Perez (në të majtë në foto). Prandaj, ai nënshkroi një kontratë me Microsoft në shumën prej 30 milion dollarë, sipas së cilës do të krijohet një infrastrukturë moderne IT e klubit. Trajnerët dhe lojtarët e Real Madridit do të marrin tableta Surface Pro 3 të para-ngarkuar me aplikacione Office 365 për të përmirësuar bashkëpunimin e stafit. Dhe duke përdorur mjetet analitike të Power BI për Office 365, trajnerët e ekipit do të jenë në gjendje të studiojnë performancën e lojtarëve të futbollit, të identifikojnë tendencat afatgjata dhe madje të parashikojnë dëmtime.

2014. 1C-Bitrix lançoi shërbimin Big Data

Big Data - teknologji për përpunimin e sasive shumë të mëdha të të dhënave për të marrë rezultate të thjeshta dhe të dobishme për biznesin - kjo është një nga tendencat e reja kryesore në tregun e IT. Dhe shërbimi 1C-Bitrix BigData është ndoshta shërbimi i parë vendas i bazuar në këtë teknologji. Aplikimi i parë i kësaj inteligjence artificiale do të jetë optimizimi (personalizimi) i dyqaneve online në motorin Bitrix për çdo vizitor të ri. Bazuar në analizën e një sasie të madhe të dhënash për të gjithë vizitorët e kaluar, shërbimi do të jetë në gjendje të parashikojë sjelljen e një vizitori të ri në faqe, të nxjerrë në pah klientët e ngjashëm me të dhe t'i bëjë atij oferta të personalizuara bazuar në historinë e blerjeve të të tjerëve. klientët. Ndoshta, së shpejti mund të presim funksione të Big Data në sistemin e menaxhimit të biznesit Bitrix24.

2014. SAP: Skuadra e Gjermanisë fiton kampionatin botëror falë të dhënave të mëdha

Kohët e fundit, vitin e kaluar, jahti Oracle fitoi Kupën e Amerikës dhe më pas Oracle tha se kjo fitore ishte kryesisht për shkak të sistemit të analizës së Big Data (Big Data) në cloud Oracle. Tani është koha që konkurrenti i përjetshëm i Oracle, kompania gjermane SAP, t'i përgjigjet kësaj lëvizjeje PR. Rezultoi se kombëtarja gjermane fitoi Kupën e Botës edhe falë Big Data. SAP zhvilloi sistemin Match Insights, i cili lexon një ndeshje futbolli në një model dixhital 3D dhe analizon veprimet e secilit lojtar dhe të ekipit në tërësi. Ne analizuam jo vetëm ndeshjet e ekipit tonë (për të korrigjuar gabimet dhe për të përmirësuar efikasitetin), por edhe ndeshjet e konkurrentëve. Inteligjenca artificiale gjeti dobësitë e kundërshtarëve dhe ndihmoi ekipin të përgatitej për ndeshjen. Dhe morali i historisë është ky: Imagjinoni se çfarë mund të bëjnë Big Data për biznesin tuaj.

2014. CROC lançon zgjidhjen cloud të klasës së inteligjencës së biznesit

Integruesi i sistemit Krok lançoi një shërbim të inteligjencës së biznesit me emrin e qartë "Inteligjenca e biznesit si shërbim" ose BIAaS. Zgjidhja është projektuar për organizata të mëdha të interesuara në uljen e kostove kapitale dhe përshpejtimin e vendimmarrjes së menaxhimit. Sistemi bazohet në produktin EMC Greenplum dhe është një zgjidhje Big Data. Duke përdorur këtë mjet, ju mund të analizoni dhe krahasoni sasi të mëdha informacioni, të ndërtoni tregues kyç dhe të merrni vendime biznesi, duke anashkaluar fazën e shpenzimeve kapitale për blerjen e softuerit, licencave dhe përmirësimet e mundshme të infrastrukturës. Zgjidhja ju lejon të zbatoni tre skenarë të mundshëm për të punuar me të dhënat - analitikë për shitjen me pakicë, analizë të performancës së qendrës së kontaktit, si dhe vlerësimin e aktiviteteve të menaxhimit të organizatës për pajtueshmërinë me KPI.

2013. SAP i bën bizneset e mëdha efikase me Big Data. konkurrentët po qajnë

Vitet e fundit, SAP është treguar si kompania më pak inovative e IT (krahasuar me konkurrentët Oracle, Microsoft, IBM). Të gjitha projektet e inovacionit të SAP në thelb kanë dështuar (mbani mend ), dhe e vetmja gjë që SAP ka mundur të bëjë është të blejë kompani të tjera (SuccessFactors, SyBase, Ariba). Por këtë herë, SAP duket se ka vendosur të humbasë hundën ndaj konkurrentëve. Dhe ai do ta bëjë këtë në kurriz të teknologjisë së re në modë Big Data. Cfare eshte?

Vetëm dembeli nuk flet për Big data, por vështirë se e kupton se çfarë është dhe si funksionon. Le të fillojmë me terminologjinë më të thjeshtë. Duke folur në Rusisht, Big Data është një larmi mjetesh, qasjesh dhe metodash për përpunimin e të dhënave të strukturuara dhe të pastrukturuara në mënyrë që t'i përdorin ato për detyra dhe qëllime specifike.

Të dhënat e pastrukturuara janë informacione që nuk kanë një strukturë të paracaktuar ose nuk janë të organizuara në një rend të caktuar.

Termi "të dhëna të mëdha" u krijua nga redaktori i Nature, Clifford Lynch, në vitin 2008 në një numër special mbi rritjen shpërthyese të vëllimeve të informacionit në botë. Edhe pse, natyrisht, vetë të dhënat e mëdha ekzistonin më parë. Sipas ekspertëve, shumica e flukseve të të dhënave mbi 100 GB në ditë i përkasin kategorisë Big Data.

Lexoni gjithashtu:

Sot, ky term i thjeshtë fsheh vetëm dy fjalë - ruajtjen dhe përpunimin e të dhënave.

Të dhëna të mëdha - me fjalë të thjeshta

Në botën moderne, të dhënat e mëdha janë një fenomen socio-ekonomik, i cili shoqërohet me faktin se janë shfaqur mundësi të reja teknologjike për analizimin e një sasie të madhe të dhënash.

Lexoni gjithashtu:

Për lehtësinë e të kuptuarit, imagjinoni një supermarket në të cilin të gjitha mallrat nuk janë në rendin me të cilin jeni mësuar. Bukë pranë frutave, paste domate pranë një pice të ngrirë, lëng më të lehtë pranë një rafti me tampona që ka avokado, tofu ose kërpudha shiitake, ndër të tjera. Big data vendos gjithçka në vendin e vet dhe ju ndihmon të gjeni qumështin e arrave, të zbuloni koston dhe datën e skadencës, si dhe kush përveç jush e blen këtë qumësht dhe si është më i mirë se qumështi i lopës.

Kenneth Cookier: Të dhënat e mëdha janë të dhëna më të mira

Teknologjia e të dhënave të mëdha

Sasi të mëdha të dhënash përpunohen në mënyrë që një person të mund të marrë rezultate specifike dhe të nevojshme për zbatimin e mëtejshëm efektiv të tyre.

Lexoni gjithashtu:

Në fakt, të dhënat e mëdha janë një zgjidhës i problemeve dhe një alternativë ndaj sistemeve tradicionale të menaxhimit të të dhënave.

Teknikat dhe metodat e analizës të zbatueshme për të dhënat e mëdha sipas McKinsey:

• Crowdsourcing;

  Përzierja dhe integrimi i të dhënave;

  Mësimi i makinerisë;

  Rrjetet neurale artificiale;

  Njohja e modelit;

  Analiza parashikuese;

  modelimi simulues;

  Analiza hapësinore;

  Analiza statistikore;

• Vizualizimi i të dhënave analitike.

Shkallueshmëria horizontale që mundëson përpunimin e të dhënave është parimi bazë i përpunimit të të dhënave të mëdha. Të dhënat shpërndahen në nyjet kompjuterike dhe përpunimi ndodh pa degradim të performancës. McKinsey përfshiu gjithashtu sistemet e menaxhimit relacional dhe Inteligjenca e Biznesit në kontekstin e zbatueshmërisë.

Teknologjia:

• NoSQL;
• MapReduce;
• Hadoop;
• Zgjidhjet e harduerit.

Lexoni gjithashtu:

Për të dhënat e mëdha, ekzistojnë karakteristika tradicionale përcaktuese të zhvilluara nga Meta Group në vitin 2001, të cilat quhen " Tre V»:

1. Vëllimi- vlera e vëllimit fizik.
2. Shpejtësia- norma e rritjes dhe nevoja për përpunim të shpejtë të të dhënave për të marrë rezultate.
3. Shumëllojshmëri- aftësia për të përpunuar njëkohësisht lloje të ndryshme të dhënash.

Të dhëna të mëdha: aplikimi dhe mundësitë

Vëllimet e informacionit dixhital heterogjen dhe që vjen me shpejtësi nuk mund të përpunohen me mjete tradicionale. Vetë analiza e të dhënave ju lejon të shihni modele të caktuara dhe të padukshme që një person nuk mund t'i shohë. Kjo na lejon të optimizojmë të gjitha fushat e jetës sonë - nga administrata publike te prodhimi dhe telekomunikacioni.

Për shembull, disa kompani disa vite më parë mbronin klientët e tyre nga mashtrimi dhe të kujdesesh për paratë e klientit është të kujdesesh për paratë e tua.

Susan Atliger: Po në lidhje me të dhënat e mëdha?

Zgjidhje të bazuara në të dhëna të mëdha: Sberbank, Beeline dhe kompani të tjera

Beeline ka një sasi të madhe të dhënash për abonentët, të cilat ata i përdorin jo vetëm për të punuar me ta, por edhe për të krijuar produkte analitike, të tilla si konsultimi i jashtëm ose analitika IPTV. Beeline segmentoi bazën e të dhënave dhe mbrojti klientët nga mashtrimet me para dhe viruset duke përdorur HDFS dhe Apache Spark për ruajtje dhe Rapidminer dhe Python për përpunimin e të dhënave.

Lexoni gjithashtu:

Ose mbani mend Sberbank me rastin e tyre të vjetër të quajtur AS SAFI. Ky është një sistem që analizon fotot për të identifikuar klientët e bankës dhe për të parandaluar mashtrimet. Sistemi u prezantua në vitin 2014, sistemi bazohet në krahasimin e fotove nga baza e të dhënave që arrijnë atje nga kamerat e internetit në raftet falë vizionit kompjuterik. Baza e sistemit është një platformë biometrike. Falë kësaj, rastet e mashtrimit u ulën me 10 herë.

Të dhëna të mëdha në botë

Deri në vitin 2020, sipas parashikimeve, njerëzimi do të formojë 40-44 zetabajt informacion. Dhe deri në vitin 2025 do të rritet 10 herë, sipas raportit të Data Age 2025, i cili u përgatit nga analistët IDC. Raporti thekson se shumica e të dhënave do të gjenerohen nga vetë bizneset, jo nga konsumatorët e zakonshëm.

Analistët e studimit besojnë se të dhënat do të bëhen një pasuri jetike, dhe siguria - një bazë kritike në jetë. Gjithashtu, autorët e veprës janë të bindur se teknologjia do të ndryshojë peizazhin ekonomik dhe përdoruesi mesatar do të komunikojë me pajisjet e lidhura rreth 4800 herë në ditë.

Tregu i madh i të dhënave në Rusi

Në mënyrë tipike, të dhënat e mëdha vijnë nga tre burime:

• Internet (rrjete sociale, forume, blogje, media dhe faqe të tjera);
• arkivat e korporatave të dokumenteve;
• Treguesit e sensorëve, instrumenteve dhe pajisjeve të tjera.

Të dhëna të mëdha në banka

Përveç sistemit të përshkruar më sipër, në strategjinë e Sberbank për 2014-2018. flet për rëndësinë e analizimit të grupeve të super-të dhënave për shërbim cilësor ndaj klientit, menaxhimin e rrezikut dhe optimizimin e kostos. Banka tani përdor Big Data për të menaxhuar rreziqet, për të luftuar mashtrimin, për të segmentuar dhe vlerësuar aftësinë kreditore të klientëve, për të menaxhuar personelin, për të parashikuar radhët në degë, për të llogaritur bonuset për punonjësit dhe detyra të tjera.

VTB24 përdor të dhëna të mëdha për të segmentuar dhe menaxhuar largimin e klientëve, për të gjeneruar pasqyra financiare dhe për të analizuar reagimet në rrjetet sociale dhe forumet. Për ta bërë këtë, ai përdor zgjidhjet Teradata, SAS Visual Analytics dhe SAS Marketing Optimizer.