Hyrje në bazat e OLAP. Krahasimi i karakteristikave të analizës statike dhe dinamike

Deri më sot, shumë organizata kanë grumbulluar sasi të konsiderueshme të dhënash, në bazë të të cilave është e mundur të zgjidhen një sërë detyrash analitike dhe menaxhuese. Problemet e ruajtjes dhe përpunimit të informacionit analitik po bëhen gjithnjë e më të rëndësishme dhe tërheqin vëmendjen e specialistëve dhe firmave që punojnë në fushën e teknologjisë së informacionit, gjë që ka çuar në formimin e një tregu të plotë për teknologjitë e analizës së biznesit.

Në mënyrë ideale, puna e analistëve dhe menaxherëve në nivele të ndryshme duhet të organizohet në mënyrë që ata të kenë akses në të gjithë informacionin për të cilin janë të interesuar dhe të përdorin të përshtatshëm dhe mjete të thjeshta prezantimin dhe punën me këtë informacion. Është për të arritur këto qëllime Teknologjia e Informacionit, të bashkuara nën emrin e përgjithshëm të depove të të dhënave dhe analizave të biznesit.

Siç përcaktohet nga Gartner, inteligjenca e biznesit (BI, Business Intelligence) është një kategori aplikacionesh dhe teknologjish për mbledhjen, ruajtjen, analizimin dhe publikimin e të dhënave që u mundëson përdoruesve të korporatave të marrin zgjidhjet më të mira. Në terminologjinë ruse sisteme të ngjashme të quajtura gjithashtu sisteme të mbështetjes së vendimeve (DSS).

Mbledhja dhe ruajtja e informacionit, si dhe zgjidhja e problemeve të një pyetjeje të marrjes së informacionit, zbatohen në mënyrë efektive me anë të sistemeve të menaxhimit të bazës së të dhënave (DBMS). Zbatohen nënsistemet OLTP (Online Transaction Processing). përpunimi i transaksioneve të dhëna. Sistemet direkt OLTP nuk janë të përshtatshme për një analizë të plotë të informacionit për shkak të mospërputhjes së kërkesave për sistemet OLTP dhe DSS.

Për të siguruar informacionin e nevojshëm për të marrë vendime, zakonisht është e nevojshme të mblidhen të dhëna nga disa bazat e të dhënave transaksionale strukturë të ndryshme dhe përmbajtjes. Problemi kryesor në këtë rast është mospërputhja dhe mospërputhja e këtyre bazave burimore, mungesa e një pamje të vetme logjike të të dhënave të korporatës.

Prandaj, për të kombinuar OLTP dhe DSS në një sistem për të zbatuar nënsistemin e ruajtjes, përdoret koncepti i depove të të dhënave (HD). Koncepti i një magazine të dhënash bazohet në idenë e ndarjes së të dhënave të përdorura për përpunimin operacional dhe për zgjidhjen e problemeve të analizës, gjë që bën të mundur optimizimin e strukturave të ruajtjes. Magazina e të dhënave ju lejon të integroni të dhëna të detajuara më parë të ndryshme të përfshira në arkivat historike të grumbulluara në sistemet tradicionale OLTP që vijnë nga burimet e jashtme, në bazë e vetme të dhënat, duke kryer koordinimin paraprak dhe, mundësisht, grumbullimin e tyre.

Nënsistemi i analizës mund të ndërtohet në bazë të:

1. nënsistemet e analizës së marrjes së informacionit bazuar në DBMS relacionale dhe pyetje statike duke përdorur gjuhën SQL;
2. nënsistemet e analizës operacionale. Për të zbatuar nënsisteme të tilla, përdoret teknologjia e përpunimit analitik në internet. Të dhënat OLAP, i cili përdor konceptin e paraqitjes shumëdimensionale të të dhënave;
3. nënsistemet e minierave që zbatojnë metoda dhe algoritme të Data Mining.

Koncepti i një depoje të dhënash

Teknologjia HD është krijuar për të ruajtur dhe analizuar sasi të mëdha të dhënash në mënyrë që të zbulimin e mëtejshëm ato përmbajnë modele të fshehura dhe, së bashku me Teknologjia e të dhënave Minierat, përfshihen në konceptin e "analitikës parashikuese". Data Mining, nga ana tjetër, studion procesin e gjetjes së njohurive të reja, të vlefshme dhe potencialisht të dobishme në bazat e të dhënave.

Një magazinë e të dhënave është një grup të dhënash specifike për domenin, i integruar, që ndryshon rrallë, i mirëmbajtur në mënyrë kronologjike, i organizuar për qëllime të mbështetjes së vendimeve. Orientimi i subjektit do të thotë që magazinat e të dhënave integrojnë informacione që pasqyrojnë këndvështrime të ndryshme në fushën e temës. Integrimi supozon që të dhënat e ruajtura në depon e të dhënave sillen në një format të vetëm. Mbështetja historike do të thotë që të gjitha të dhënat në depon e të dhënave korrespondojnë me intervale kohore të njëpasnjëshme.

Përveç aftësisë për të punuar me një burim të vetëm informacioni, menaxherët dhe analistët duhet të kenë mjete të përshtatshme vizualizimi i të dhënave, grumbullimi, kërkimi i tendencave, parashikimi. Pavarësisht diversitetit aktivitetet analitike mund të identifikohen teknologjitë tipike analiza e të dhënave, secila prej të cilave korrespondon me një grup specifik mjetet. Së bashku me magazinën e të dhënave, këto mjete ofrojnë zgjidhje e plotë për të automatizuar aktivitetet analitike dhe për të krijuar një korporatë sistemi informativ dhe analitik.

Depo të të dhënave fizike dhe virtuale

Kur të dhënat ngarkohen nga një sistem OLTP në një depo të dhënash, të dhënat dublikohen. Megjithatë, gjatë këtij shkarkimi, të dhënat filtrohen, pasi jo të gjitha janë të rëndësishme për procedurat e analizës. Depoja e të dhënave ruan informacione të përgjithësuara që nuk janë të disponueshme në sistemin OLTP.

Teprica e informacionit mund të reduktohet në zero duke përdorur një magazinë virtuale të të dhënave. Në një sistem të tillë, të dhënat nga sistemi OLTP nuk kopjohen në një ruajtje të vetme. Ato nxirren, transformohen dhe integrohen drejtpërdrejt gjatë ekzekutimit të pyetjeve analitike në kohë reale. Në fakt, kërkesa të tilla transmetohen drejtpërdrejt në sistemin OLTP.

Përparësitë e HD virtual:

• minimizimi i sasisë së të dhënave të ruajtura;
• punoni me të dhëna aktuale, të përditësuara.

Disavantazhet e ruajtjes virtuale:

• kohë më e lartë e përpunimit të pyetjeve në krahasim me ruajtjen fizike;
• nevoja për disponueshmëri të vazhdueshme të të gjitha burimeve OLTP;
• performanca e reduktuar e sistemeve OLTP;
• Sistemet OLTP nuk janë të përqendruara në ruajtjen e të dhënave për një periudhë të gjatë kohore; sipas nevojës, të dhënat ngarkohen në arkiva, kështu që nuk ka gjithmonë një mundësi fizike për të marrë komplet komplet të dhëna në HD.

Koncepti i një depoje të dhënash

Një "magazinë e të dhënave" është një koleksion i të dhënave specifike për domenin, i kufizuar në kohë dhe i pandryshueshëm për të mbështetur vendimmarrjen e menaxhimit.

Të dhënat në ruajtje vijnë nga sistemet operative(OLTP-sistemet), të cilat janë krijuar për të automatizuar proceset e biznesit. Për më tepër, depoja mund të plotësohet nga burime të jashtme, siç janë raportet statistikore, drejtoritë e ndryshme, etj. Magazina e të dhënave, përveç informacionit të detajuar, përmban agregate, d.m.th. përmbledhja e informacionit, si shumat e shitjeve, sasitë, shpenzimet totale, etj.

Një depo e të dhënave tatimore duhet të shihet si një qendër informacioni që automatizon llogaritjen e taksave të shtyra, pranon dhe ruan informacione nga burime të jashtme dhe i transformon të dhënat në një format të përshtatshëm për përdoruesit. Një depo e tillë është një platformë për ruajtjen e të dhënave tatimore të sakta dhe të përditësuara që mund të merren dhe transferohen në aplikacionet e jashtme për qëllime të analizës, auditimit, planifikimit dhe parashikimit.

Magazina e të dhënave është një depo burimet e informacionit dhe siguron konsolidimin e të dhënave të ndërmarrjes për qëllime raportimi dhe analize. Të dhënat dhe informacioni, si operacional ashtu edhe jo-operativ, futen në magazinë, zakonisht duke përdorur mjete ETL, nga burimet, të dhënat kur bëhen të disponueshme ose rregullisht. Transformimi i të dhënave ju lejon të përpunoni kërkesat dhe t'i analizoni ato në kohën e duhur, gjë që thjeshton dhe shpejton procesin e përmbushjes së kërkesave për informacionin e marrë fillimisht nga burime të tjera.
Përfitimet e depove përfshijnë aftësinë për të transformuar të dhënat në raportim tatimor cilësor dhe informacion të pajtueshmërisë tatimore për përdoruesit e të gjitha niveleve. Çdo palë e interesuar - klientë, partnerë, punonjës, menaxherë dhe drejtues - mund të marrë përmbajtje interaktive në çdo kohë dhe kudo.
Vetë ekzistenca e një burimi të vetëm informacioni për raportimin tatimor dhe pajtueshmërinë tatimore është një hap i madh përpara për shumë autoritete tatimore.

Pse është e nevojshme të ndërtohen depo të dhënash - në fund të fundit, ato përmbajnë informacione dukshëm të tepërta që janë tashmë në bazat e të dhënave ose skedarët e sistemeve operative? Është e pamundur ose shumë e vështirë të analizohen drejtpërdrejt të dhënat nga sistemet operative. Kjo është për arsye të ndryshme, duke përfshirë fragmentimin e të dhënave dhe ruajtjen e tyre në formate të ndryshme DBMS. Por edhe nëse të gjitha të dhënat në ndërmarrje ruhen në një server qendror të bazës së të dhënave, analisti pothuajse me siguri nuk do të kuptojë strukturat e tyre komplekse, ndonjëherë konfuze.

Kështu, detyra e magazinës është të sigurojë "lëndën e parë" për analizë në një vend dhe në një strukturë të thjeshtë e të kuptueshme.

Ekziston një arsye tjetër që justifikon shfaqjen e një depoje të veçantë - pyetje komplekse analitike për informacion operacional ngadalësoni puna aktuale kompanitë, duke bllokuar tabelat për një kohë të gjatë dhe duke kapur burimet e serverit.

Nën ruajtje mund të kuptohet jo domosdoshmërisht një grumbullim gjigant i të dhënave - gjëja kryesore është që të jetë i përshtatshëm për analizë.

Koncepti i magazinës së të dhënave

Autori i konceptit të depove të të dhënave ( Depo e te dhenave) është B. Inmon, i cili i përkufizoi magazinat e të dhënave si: “grupe të dhënash historike të orientuara nga domeni, të integruara, të pandryshueshme, të organizuara për qëllime të mbështetjes së menaxhmentit”, të dizajnuara për të vepruar si një “burim i vetëm dhe i vetëm i së vërtetës”, duke u ofruar menaxherëve dhe analistëve informacion të besueshëm të nevojshëm për analizën operacionale dhe vendimmarrje. Skema e magazinës së të dhënave mund të përfaqësohet si më poshtë:

Zbatimi fizik i kësaj skeme mund të jetë shumë i larmishëm. Le të shqyrtojmë opsionin e parë - një depo virtuale të të dhënave, ky është një sistem që siguron qasje në një sistem konvencional të regjistrimit që imiton punën me një depo të dhënash. Ruajtja virtuale mund të organizohet në dy mënyra. Ju mund të krijoni një seri "pamjesh" (pamje) në bazën e të dhënave ose përdorni mjete të veçanta aksesi në bazën e të dhënave (për shembull, produktet e klasës OLAP të desktopit).

Për shkak se ndërtimi i një magazine të dhënash është një proces kompleks që mund të zgjasë me vite, disa organizata në vend të kësaj ndërtojnë marte të dhënash që përmbajnë informacione për departamente specifike. Për shembull, një treg i të dhënave të marketingut mund të përmbajë vetëm informacione për klientët, produktin dhe shitjet dhe të mos përfshijë planet e furnizimit. Marte të shumta të të dhënave për departamentet mund të bashkëjetojnë me magazinën kryesore të të dhënave, duke dhënë një pamje të pjesshme të përmbajtjes së magazinës. Martet e të dhënave ndërtohen shumë më shpejt sesa ruajtja, por mund të ketë probleme të rëndësishme të integrimit më vonë nëse planifikimi fillestar është bërë pa marrë parasysh modelin e plotë të biznesit. Kjo është mënyra e dytë.

Ndërtimi i një depoje të plotë të të dhënave të ndërmarrjes zakonisht bëhet në një arkitekturë me tre nivele. Në nivelin e parë, gjenden burime të ndryshme të të dhënave - sistemet e brendshme të regjistrimit, sistemet e ndihmës, burime të jashtme (të dhëna agjencitë e lajmeve, treguesit makroekonomikë). Niveli i dytë përmban një depo qendrore, ku rrjedhin informacion nga të gjitha burimet nga niveli i parë, dhe, ndoshta, një depo të dhënash operacionale që nuk përmban të dhëna historike dhe kryen dy funksione kryesore.

Koncepti i depove të të dhënave bazohet në dy ide themelore:

1) integrimi i të dhënave të detajuara të ndara më parë në një depo të vetme të të dhënave, koordinimi i tyre dhe, ndoshta, grumbullimi:

arkivat historike;

të dhëna nga ODS tradicionale;

të dhëna nga burime të jashtme.

2) ndarja e grupeve të të dhënave të përdorura për përpunimin operacional dhe grupeve të të dhënave të përdorura për zgjidhjen e problemeve të analizës.

Qëllimi i konceptit të depove të të dhënave është të zbulojë kërkesat për të dhënat e vendosura në bazën e të dhënave të synuar të magazinës së të dhënave (Tabela 1), për të përcaktuar parimet e përgjithshme dhe fazat e ndërtimit të tij, burimet kryesore të të dhënave, për të dhënë rekomandime për zgjidhjen e problemeve të mundshme që lindin kur ato shkarkohen, pastrohen, koordinohen, transportohen dhe ngarkohen në bazën e të dhënave të synuar.

Tabela 1. Kërkesat themelore për të dhënat në Depon e të Dhënave.

Subjekti i konceptit të magazinës së të dhënave është vetë të dhënat. Pasi sistemi tradicional i përpunimit të të dhënave (DPS) zbatohet dhe fillon të funksionojë, ai bëhet saktësisht i njëjti objekt i pavarur i botës reale si çdo tjetër. procesi i prodhimit. Dhe të dhënat, e cila është një nga produktet përfundimtare të një prodhimi të tillë, ka saktësisht të njëjtat veti dhe karakteristika si çdo produkt industrial: jetëgjatësia, vendi i ruajtjes (magazinimit), përputhshmëria me të dhënat nga industritë e tjera (SOD), vlera e tregut, transportueshmëria. , plotësia, mirëmbajtja, etj.

Nga ky këndvështrim merren parasysh të dhënat në magazinat e të dhënave. Kjo do të thotë, qëllimi këtu nuk është mënyra për të përshkruar dhe shfaqur objekte fusha lëndore, por vetë të dhënat, si objekt i pavarur i fushës lëndore të krijuara si rezultat i funksionimit të sistemeve të informacionit të krijuara më parë.

Për të kuptuarit e saktë Ky koncept kërkon sqarimin e pikave themelore të mëposhtme:

· Koncepti i ruajtjes së të dhënave nuk është koncept i analizës së të dhënave, por është koncept i përgatitjes së të dhënave për analizë.

· Koncepti i magazinës së të dhënave nuk paracakton arkitekturën e sistemit analitik të synuar. Ai flet se cilat procese duhet të ekzekutohen në sistem, por jo saktësisht se ku dhe si duhet të zhvillohen këto procese.

· Koncepti i magazinave të të dhënave përfshin jo vetëm një pamje të vetme logjike të të dhënave të organizatës, por zbatimin e një burimi të vetëm të integruar të të dhënave.

përveç direktorium i vetëm meta të dhënat, mjetet e ngarkimit, grumbullimit dhe rakordimit të të dhënave, koncepti i depove të të dhënave nënkupton: integrimin, pandryshueshmërinë, mbështetjen kronologjike dhe konsistencën e të dhënave. Dhe nëse dy vetitë e para (integrimi dhe pandryshueshmëria) ndikojnë në mënyrat e analizës së të dhënave, atëherë dy të fundit (mbështetja kronologjike dhe konsistenca) ngushtojnë ndjeshëm listën e detyrave analitike që duhen zgjidhur.

Pa mbështetjen e kronologjisë (disponueshmëria e të dhënave historike), është e pamundur të flitet për zgjidhjen e problemeve të parashikimit dhe analizës së trendit. Por më kritike dhe më e dhimbshme janë çështjet që lidhen me rakordimin e të dhënave.

Kërkesa kryesore e analistit nuk është aq efikasiteti sa besueshmëria e përgjigjes. Por besueshmëria në fund të fundit përcaktohet nga qëndrueshmëria. Derisa të punohet për të rënë dakord reciprokisht për vlerat e të dhënave nga burime të ndryshme, është e vështirë të flitet për besueshmërinë e tyre.

Shpesh, një menaxher përballet me një situatë ku sisteme të ndryshme mund dhe zakonisht japin një përgjigje të ndryshme për të njëjtën pyetje. Kjo mund të jetë si për shkak të mossinkronizmit të momenteve të modifikimit të të dhënave, ndryshimeve në interpretimin e të njëjtave ngjarje, koncepte dhe të dhëna, ndryshime në semantikën e të dhënave në procesin e zhvillimit të fushës lëndore, gabime elementare gjatë futjes dhe përpunimi, humbja e pjesshme e fragmenteve individuale të arkivave, etj. Është e qartë se nuk është realiste të merren parasysh dhe të përcaktohen paraprakisht algoritmet për zgjidhjen e të gjitha përplasjeve të mundshme. Për më tepër, është e pamundur të bëhet brenda mënyra e funksionimit, në mënyrë dinamike, drejtpërdrejt në procesin e gjenerimit të një përgjigjeje ndaj një kërkese.

Informacione të ngjashme.

Sipas Forrester Research, shumica kompanitë e mëdha fytyrat problemi i radhës: grumbullohen sasi e madhe informacion që nuk përdoret kurrë. Pothuajse në çdo organizatë, ka në fakt shumë sisteme transaksionale të fokusuara në përpunimin e të dhënave në internet (secila për një klasë specifike detyrash) dhe duke rimbushur vazhdimisht bazat e të dhënave të shumta. Përveç kësaj, ndërmarrjet shpesh zotërojnë sasi të mëdha informacioni të ruajtura në të ashtuquajturat. sistemet e trashëgimisë. Të gjitha këto të dhëna shpërndahen nëpër rrjete kompjuterët personalë, ruhen në mainframe, stacione pune dhe serverë. Pra, ka informacion, por ai është i shpërndarë, i paqëndrueshëm, i pastrukturuar, shpesh i tepërt dhe jo gjithmonë i besueshëm. Prandaj, në shumicën e organizatave, këto të dhëna ende nuk mund të përdoren për të marrë vendime kritike të biznesit. Koncepti i depove të të dhënave (Data Warehouse) synon të zgjidhë këtë kontradiktë.

Bill Inmon, krijuesi i konceptit, në artikullin e tij klasik "Çfarë janë dyqanet e të dhënave" (D2K Incorporated,  1996) i përkufizon dyqanet e të dhënave si "të dhëna historike specifike, të integruara, të pandryshueshme, të organizuara për të mbështetur qeverisjen". Ai e sheh ruajtjen si "burimin e vetëm dhe të vetëm të së vërtetës", "qendrën e universit" të sistemeve të mbështetjes së vendimeve (DSS). "Nga magazinat e të dhënave," shkruan ai, "informacionet rrjedhin në departamente të ndryshme, të filtruara sipas cilësimet e paracaktuara DSS. Këto baza të të dhënave të veçanta vendimmarrëse quhen mars të të dhënave.

Koncepti i ruajtjes së të dhënave bazohet në idenë e kombinimit të të dhënave të korporatës të shpërndara nëpër sistemet e përpunimit të të dhënave në internet, arkivat historike dhe burime të tjera të jashtme. Këto burime mund të përmbajnë të dhëna që nuk përdoren drejtpërdrejt në ODS, por janë jetike për DSS: kuadri legjislativ(duke përfshirë parashikimet tatimore), planet e zhvillimit të industrisë, të dhënat statistikore, drejtoritë elektronike. Siç tregon praktika, një vendim i marrë vetëm në bazë të të dhënave të brendshme më së shpeshti rezulton i pasaktë.

Qëllimi i konceptit të magazinave të të dhënave është të sqarojë dallimet në karakteristikat e të dhënave në sistemet operative dhe analitike, të përcaktojë kërkesat për të dhënat e vendosura në magazinë, të përcaktojë parimet e përgjithshme dhe fazat e ndërtimit të saj, burimet kryesore të të dhëna, për të dhënë rekomandime për zgjidhjen e problemeve të mundshme që lindin gjatë shkarkimit, pastrimit, rakordimit, transportit dhe ngarkimit të tyre në bazën e të dhënave të ruajtjes së synuar.

Krahasimi i karakteristikave të të dhënave në sistemet e informacionit të fokusuar në përpunimin operacional dhe analitik të të dhënave

Kërkesat themelore për të dhënat në një magazinë të dhënash

Subjekti i konceptit të depove të të dhënave nuk është analiza e të dhënave, por vetë të dhënat, pra koncepti i përgatitjes së tyre për analiza të mëtejshme. Në të njëjtën kohë, koncepti i një depoje të dhënash përcakton jo vetëm një pamje të vetme logjike të të dhënave të korporatës, por zbatimin e një burimi të vetëm të integruar të të dhënave.

Modelet e analizës së të dhënave

Pavarësisht se në konceptin e magazinës së të dhënave të formuluar nga B. Inmon, theksi vihet në vetë të dhënat dhe identifikimin më të madh të tyre. vetitë e përbashkëta, karakteristikat dhe marrëdhëniet, është e qartë se këto të dhëna duhet të përdoren në procesin e marrjes së vendimeve të biznesit në të gjitha nivelet, deri në korporata dhe ndërkorporative. Deri më sot, historikisht janë formuar dy modele kryesore të analizës së të dhënave, mbi të cilat bazohen DSS analitike ekzistuese:

1. Analiza statike (DSS). Vetë koncepti i DSS (Sistemet e Mbështetjes së Vendimeve) në fakt përkthehet si DSS. Deri vonë, ky ishte i vetmi koncept analitik. Rezultati i funksionimit të sistemeve të tilla ishin raportet me shumë faqe të rregulluara rreptësisht, për formimin e të cilave u kryen pyetje të gjata që përpunonin sasi të mëdha të dhënash. Kërkesa të tilla mund të ekzekutoheshin për disa orë, ndonjëherë dhjetëra orë dhe madje ditë.

2. Analiza e të dhënave operative (OLAP). Autori i konceptit të OLAP (Përpunimi analitik në linjë) është Dr. E. Codd, i cili formuloi në vitin 1993 12 kërkesa themelore për mjetet. Implementimet OLAP. Dallimi themelor Ky model nga DSS statike tradicionale është një paraqitje konceptuale e të dhënave në formën e një kubi shumëdimensional. Në të njëjtën kohë, E. Codd tregoi të metat e mundshme të qasjes relacionale në sistemet e orientuara nga analiza e të dhënave. Qëllimi i krijimit të këtij koncepti ishte mundësia themelore për t'i ofruar përdoruesit fundor mjetet e gjenerimit, përpunimit dhe ekzekutimit të kërkesave analitike ad hoc me një kohë minimale të përgjigjes së sistemit. Nevoja për këtë koncept të ri ishte e paracaktuar nga fakti se shpesh pas marrjes së një raporti standard duke përdorur DSS, analistit kishte një pyetje të re ose duke kuptuar se vetë pyetja ishte formuluar gabimisht. Si rezultat, ai duhej kohe e gjate prisni rezultatin tjetër në mënyrë që më pas, ndoshta, të ktheheni në përsëritjen tjetër të këtij procesi.

Krahasimi i karakteristikave të analizës statike dhe dinamike

Sot, drejtimi OLAP është ndoshta më premtuesi për zgjidhjen e problemeve të menaxhimit analitik. Me anë të një shërbimi të krijuar posaçërisht OLAP Report, 12 kërkesat e formuluara fillimisht nga Dr. Codd u rishikuan pjesërisht dhe u plotësuan në mënyrë të konsiderueshme si me bazë ashtu edhe me aksesueshmërisë, të tilla si përzgjedhja dhe përpunimi i të dhënave që mungojnë, etj. Por thelbi i konceptit OLAP është ende një paraqitje shumëdimensionale e të dhënave në një nivel konceptual.

Mars të dhënave

Sipas përkufizimit klasik, Data Mart është një nëngrup i një magazine të dhënash që pasqyron specifikat e një departamenti (objekt biznesi) dhe ofron rritjen e produktivitetit. Kështu, vitrinë është lidhja në të cilën një specifik sistemi analitik për të zgjidhur gamën e problemeve të tyre. Sidoqoftë, një situatë është e mundur kur një fushë e veprimtarisë së ndërmarrjes praktikisht nuk lidhet me të tjerat, dhe është e mundur të ndërtohet tregu përkatës i të dhënave në mënyrë autonome, pa u lidhur me një ruajtje të korporatës. Pastaj vitrina do të plotësohet me të dhëna direkt nga sistemet e përpunimit të transaksioneve në internet. Marte të tilla të dhënash quhen të pavarura, në kontrast me depo klasike të të dhënave të varura dhe të rimbushura prej saj.

Në disa raste, duket e përshtatshme të vendoset një treg të dhënash në vend të një magazine të formuar plotësisht. Martet e të dhënave janë më pak kërkuese, më të lira dhe më të lehta për t'u ndërtuar, dhe bazohen në serverë më të lirë sesa në sisteme me shumë procesor. Me këtë qasje, nuk ka nevojë të përdoret e tëra sistemi i informacionit korporatat dhe mbështesin procedurat komplekse për përditësimin sinkron të të dhënave mart kur përditësohet magazina. Në të njëjtën kohë, është e nevojshme të kuptohet se me këtë qasje, martet e të dhënave mund të shumohen në komplekse të tëra të pavarura bazat e informacionit të dhënat, dhe natyrisht do të vendoset detyra e menaxhimit të strategjive individuale të kërkimit, mirëmbajtjes dhe rikuperimit. Nga ana tjetër, ndërtimi i një magazine të vetme të korporatës bazuar në shumë tregje të pavarura të të dhënave është shumë më fitimprurëse sesa mbështetja në të dhënat e shpërndara nëpër sistemet e përpunimit të transaksioneve.

Pra, çfarë ka kuptim të përdoret: një depo e vetme, marte të dhënash të pavarura, një depo me marte të varura ose opsione të tjera? Nuk ka asnjë përgjigje universale për pyetjen e nevojës për të përdorur një ose një opsion tjetër. Në çdo rast opsioni më i mirë të përcaktuara nga kërkesat e biznesit, intensiteti i kërkesës, arkitektura e rrjetit, reagimi i kërkuar dhe kushte të tjera.

Teknologjia e zbatimit të magazinës së të dhënave

Kur ndërtoni një magazinë të dhënash, është e natyrshme të ndiqni një qasje të zhvillimit me faza. Megjithëse asnjë përshkrim i procesit të ndërtimit të një magazine të dhënash si një sekuencë fazash nuk mund të mbulojë të gjitha aspektet reagime me përdoruesit e saj të mundshëm, menaxherët dhe analistët, megjithatë, ka disa hapa bazë që zbatohen për procesin e ndërtimit të një arkitekture të ndërmarrjes:

1. Përkufizimi i nevojës përdoruesit përfundimtarë dhe ndërtimin e një modeli të pyetjeve të biznesit për t'u përgjigjur.

2. Identifikimi i të dhënave nga burime të korporatave dhe të jashtme që do të fuqizojnë magazinën e të dhënave ose tregun e të dhënave.

3. Analiza e burimeve të të dhënave dhe modelimi i funksioneve dhe proceseve që mbulojnë këto burime. Mësimi i rregullave me të cilat funksionon një biznes është një nga kushtet thelbësore ndërtimi i depove ose i të dhënave marts, pasi në bazë të tij vendoset niveli i detajimit të elementeve në magazinë e të dhënave.

4. Përcaktimi i procedurave për transformimin, pastrimin dhe integrimin logjik të të dhënave burimore përpara se ato të vendosen në një magazinë të dhënash ose data mart, si dhe rregullimi i zbatimit të këtyre procedurave që përditësojnë magazinën e të dhënave.

5. Krijimi i meta të dhënave që përshkruajnë burimet dhe metodat e transformimit të të dhënave dhe logjikën e magazinës së të dhënave. Depoja e meta të dhënave duhet të përfshijë përkufizimet e të dhënave, rregullat e biznesit dhe logjikën e detajuar për të modeluar zhvillimin e sistemeve analitike.

6. Formimi i tabelave fizike të magazinës së të dhënave dhe plotësimi i saj. Ky proces mund të kërkojë disa përsëritje, duke marrë parasysh ridizajnimin e mundshëm të strukturave të të dhënave kur analizohet skema e ruajtjes së të dhënave.

7. Ndërtimi i një depoje të të dhënave marte, e cila do të përfshijë nëngrupe të dhënash nga magazina dhe të dhëna të para-agreguara. Pjesa e meta të dhënave do të përshkruajë se si të dhënat e papërpunuara të magazinës transformohen, grumbullohen dhe ruhen në të dhënat e të dhënave.

8. Instalimi i veglave OLAP, sistemeve të aplikimit, serverëve në internet dhe të gjitha mjetet e nevojshme Dhe programet e serverit të nevojshme për aksesin, analizën dhe raportimin e të dhënave.

9. Instalimi në stacionet e punës së përdoruesit fundor të softuerit të klientit (klient i trashë) ose shfletues që mbështesin formatet standarde të dhënat dhe apletet Java, si dhe zgjerimet e nevojshme plug-in (klient "i hollë") për aksesin e përdoruesit në të dhëna.

Pas përfundimit të procesit të krijimit të një depoje të dhënash, mund të duket se gjithçka është bërë tashmë. Në fakt, formimi i një magazine është një proces që përfshin edhe fazat e nevojshme të mbikëqyrjes dhe mirëmbajtjes së vazhdueshme të magazinës së të dhënave. Mbikëqyrja e duhur nënkupton jo vetëm ruajtjen e korrektësisë së të dhënave, por edhe sigurimin e fshehtësisë së tyre, veçanërisht nëse qasja në ruajtjen e të dhënave kryhet nëpërmjet Uebit. “Për shkak se depoja e të dhënave përmban një nga asetet më të mëdha të një ndërmarrjeje,” thotë R. Tenler, kryetar i Information Advantage, “të dhënat duhet të jenë të sigurta. Por për të realizuar vlerën e mundshme të një magazine të dhënash, një organizatë do t'i duhet t'ua ofrojë atë blerësve potencialë.

Mbajtja e një depoje të dhënash në gjendje të mirë për një kohë të gjatë është një detyrë tjetër kritike. Ky faktor bëhet veçanërisht i rëndësishëm kur numri i përdoruesve që hyjnë në sistem fillon të rritet. Në të njëjtën kohë, nëse është në procesin e projektimit të një magazine të dhënash shërbimet e informacionit Meqenëse zakonisht ka një harmonizim të plotë të të dhënave, me kalimin e kohës, vëmendja e njerëzve zakonisht dobësohet dhe depoja e të dhënave mund të kthehet në një hale. Për të parandaluar që kjo të ndodhë, është e nevojshme të caktohen zyrtarë të cilësisë së të dhënave, të cilët do të verifikojnë vazhdimisht informacionin që vjen nga sistemet e përpunimit të transaksioneve me të dhënat në magazinë ose vitrinë.

Si përfundim, mund të vërehet se procesi i projektimit të një magazine të dhënash që përdoret për të siguruar informacionin e nevojshëm në procesin e vendimmarrjes në një sipërmarrje dhe në nivel ndërkorporativ është kritik për jetën e një sipërmarrjeje. Në fazën e zbatimit të tij, duhet t'i kushtohet vëmendje jo vetëm zgjidhjes probleme teknike por edhe ndaj problemeve që lidhen me faktori njeri. Gjithashtu nuk duhet të harrojmë nevojën për vlerësim të vazhdueshëm të përshtatshmërisë së përpjekjeve që po bëhen. Përveç zinxhirit të duhur të menaxhimit të projektit, është e nevojshme të merren parasysh në çdo fazë si nevojat e përdoruesve ashtu edhe prania e aspekteve politike që mund të ngadalësojnë projektin. Me një qasje kompetente për zgjidhjen e këtij problemi, magazina e të dhënave së shpejti mund të bëhet pjesë e saj sistemi tregtar sipërmarrjes duke i siguruar një pjese të përdoruesve të palëve të treta për një tarifë mundësinë për të përdorur të dhëna nga një nëngrup i depove. Kjo qasje do të lejojë jo vetëm të rikuperojë punën për formimin e një magazine të dhënash, por edhe të sigurojë kanal i ri marrja e të ardhurave.

Evolucioni i magazinës së të dhënave

Që nga vitet 1970, organizatat kanë qenë më të interesuara për të investuar paratë e tyre në të reja sistemet kompjuterike sesa në automatizimin e proceseve të biznesit që përdorin. Kjo i lejoi ata të rrisin konkurrencën e tyre duke vendosur sisteme që mund t'u ofrojnë klientëve një grup shërbimesh më efikase dhe më pak të kushtueshme. Që atëherë, organizatat kanë grumbulluar një sasi të madhe informacioni që ruhet në bazat e tyre të të dhënave operative. Por tani, me përhapjen e sistemeve të mbështetjes së vendimeve, organizatat priren të përqendrohen në mënyrën se si të përdorin të dhënat e grumbulluara operacionale, me synimin për të fituar konkurrencë shtesë përmes kësaj.

Sistemet e mëparshme përpunimi në internet nuk ishte krijuar për të mbështetur kërkesat e tilla të biznesit në asnjë mënyrë, kështu që konvertimi sistemet konvencionale OLTP në sistemet e mbështetjes së vendimeve është dëshmuar të jetë jashtëzakonisht detyrë sfiduese. Në mënyrë tipike, një organizatë tipike ka shumë sisteme të ndryshme përpunimi operacional me përkufizime të mbivendosura e ndonjëherë edhe kontradiktore, si p.sh tipe te ndryshme zgjedhur për të përfaqësuar të njëjtat të dhëna. Detyra kryesore e organizatës është të transformojë arkivat e të dhënave të grumbulluara në një burim njohurish të reja, dhe në atë mënyrë që përdoruesit t'i sigurohet një pamje e vetme e integruar dhe e konsoliduar e të dhënave të organizatës. Koncepti i një magazine të dhënash u konceptua si një teknologji e aftë për të përmbushur kërkesat e sistemeve të mbështetjes së vendimeve dhe bazuar në informacionin që vjen nga disa burime të ndryshme të të dhënave operacionale.

Qasja më e përdorur për krijimin e një magazine të dhënash u propozua nga Bill Inmon. Ai e përkufizon HD si kjo:

Ruajtja e të dhënave. Domen-specifike, e integruar, e lidhur në atë kohë dhe një grup të pandryshueshëm të dhënash të krijuara për të mbështetur vendimmarrjen.

Në përkufizimin e mësipërm, këto karakteristika të të dhënave trajtohen si më poshtë.

orientimi i lëndës. Magazina e të dhënave është e organizuar rreth subjekteve (ose entiteteve) kryesore të organizatës (të tilla si klientët, produktet dhe shitjet) në vend të zonave të aplikimit (faturimi i klientit, kontrolli i inventarit dhe shitjet e produkteve). Kjo veçori pasqyron nevojën për të ruajtur të dhënat që synojnë të mbështesin vendimmarrjen, dhe jo të dhëna të zakonshme operacionale dhe të aplikuara.

Integrimi. Kuptimi i kësaj karakteristike është se të dhënat e aplikuara operacionale zakonisht vijnë nga burime të ndryshme, të cilat shpesh kanë një paraqitje jokonsistente të të njëjtave të dhëna, për shembull, përdorimi format të ndryshëm. Për t'i siguruar përdoruesit një pamje të vetme të përgjithësuar të të dhënave, është e nevojshme të krijohet një burim i integruar që siguron konsistencën e informacionit të ruajtur.

Lidhja me kohën. Të dhënat në magazinë janë të sakta dhe të vlefshme vetëm nëse janë të lidhura me një moment ose periudhë kohore. Nevoja për të lidhur magazinën e të dhënave me kohën rrjedh nga kohëzgjatja e gjatë e periudhës për të cilën informacioni i ruajtur në të është grumbulluar, nga lidhja e qartë ose e nënkuptuar e vulave kohore me të gjitha të dhënat e ruajtura, si dhe nga fakti që informacioni i ruajtur është në fakt një grup fotografish të gjendjes së të dhënave.

Pandryshueshmëria. Kjo do të thotë që të dhënat nuk përditësohen online, por përditësohen vetëm rregullisht me informacione nga sistemet e përpunimit online. Në të njëjtën kohë, të dhënat e reja nuk zëvendësojnë kurrë, por vetëm plotësojnë të mëparshmet. Kështu, baza e të dhënave të ruajtjes përditësohet vazhdimisht me të dhëna të reja, të integruara vazhdimisht me informacionin e akumuluar tashmë.

Qëllimi përfundimtar i një magazine të dhënash është të integrojë të dhënat e ndërmarrjes në një depo të vetme ku përdoruesit mund të kenë akses për të kërkuar, raportuar dhe analizuar të dhënat. Për ta përmbledhur, mund të themi se teknologjia e magazinimit të të dhënave është një teknologji për menaxhimin e të dhënave dhe analizimin e tyre.