sisteme OLAP. Ce sunt sistemele OLAP? Opțiuni de implementare Olap

Scopul cursului este de a studia tehnologia OLAP, conceptul de implementare și structura acesteia.

În lumea modernă, rețelele de calculatoare și sistemele de calcul fac posibilă analiza și procesarea unor cantități mari de date.

O cantitate mare de informații complică foarte mult căutarea soluțiilor, dar face posibilă obținerea unor calcule și analize mult mai precise. Pentru a rezolva această problemă, există o întreagă clasă de sisteme informaționale care efectuează analize. Astfel de sisteme se numesc sisteme de sprijinire a deciziilor (DSS) (DSS, Decision Support System).

Pentru a efectua analiza, DSS ar trebui să acumuleze informații, având mijloacele de introducere și stocare a acesteia. În total, sunt trei sarcini principale rezolvate în DSS:

· introducere a datelor;

· stocare a datelor;

· analiza datelor.

Introducerea datelor în DSS este efectuată automat de la senzori care caracterizează starea mediului sau a procesului, sau de către un operator uman.

Dacă datele sunt introduse automat de la senzori, atunci datele sunt acumulate prin semnalul de pregătire care apare atunci când apar informații sau prin sondaj ciclic. Dacă introducerea este efectuată de o persoană, atunci aceștia ar trebui să ofere utilizatorilor mijloace convenabile pentru introducerea datelor, verificarea corectitudinii intrării, precum și efectuarea calculelor necesare.

La introducerea simultană a datelor de către mai mulți operatori, este necesar să se rezolve problemele de modificare și acces paralel al acelorași date.

DSS oferă analiștilor date sub formă de rapoarte, tabele, grafice pentru studiu și analiză, motiv pentru care astfel de sisteme oferă funcții de suport decizional.

În subsistemele de introducere a datelor numite OLTP (On-linetransactionprocessing), este implementată procesarea operațională a datelor. Pentru implementarea lor se folosesc sisteme convenționale de gestionare a bazelor de date (DBMS).

Subsistemul de analiză poate fi construit pe baza:

· Subsisteme de analiză de regăsire a informațiilor bazate pe SGBD relațional și interogări statice folosind limbajul SQL;

· Subsisteme de analiză operaţională. Pentru implementarea unor astfel de subsisteme se utilizează tehnologia de prelucrare a datelor analitice online OLAP, care utilizează conceptul de prezentare a datelor multidimensionale;

· Subsisteme de analiză intelectuală. Acest subsistem implementează metode și algoritmi de DataMining.

Din punctul de vedere al utilizatorului, sistemele OLAP asigură un mijloc de vizualizare flexibilă a informațiilor în diverse slice, obținerea automată a datelor agregate, efectuarea de operații analitice de convoluție, detaliere, comparare în timp. Datorită tuturor acestora, sistemele OLAP reprezintă o soluție cu mari avantaje în domeniul pregătirii datelor pentru toate tipurile de raportare de afaceri, implicând prezentarea datelor în diferite secțiuni și diferite niveluri de ierarhie, precum rapoartele de vânzări, diverse forme de buget, si altii. Sistemele OLAP au mari avantaje ale unei astfel de prezentări în alte forme de analiză a datelor, inclusiv în prognoză.

1.2 Definiție OLAP-sisteme

Tehnologia pentru analiza complexă a datelor multivariate se numește OLAP. OLAP este o componentă cheie a unei organizații HD.

Funcționalitatea OLAP poate fi implementată în diverse moduri, atât cele mai simple, cum ar fi analiza datelor în aplicații de birou, cât și mai complexe - sisteme analitice distribuite bazate pe produse server.

OLAP (On-LineAnalyticalProcessing) este o tehnologie de prelucrare on-line a datelor analitice folosind instrumente și metode pentru colectarea, stocarea și analiza datelor multidimensionale și pentru susținerea proceselor de luare a deciziilor.

Scopul principal al sistemelor OLAP este de a sprijini activități analitice, solicitări arbitrare ale utilizatorilor analitici. Scopul analizei OLAP este de a testa ipotezele emergente.

În 1993, fondatorul abordării relaționale a construirii bazelor de date, Edgar Codd și partenerii (Edgar Codd, matematician și IBM Fellow), au publicat un articol inițiat de Arbor Software (astazi este celebra companie Hyperion Solutions), intitulat „OLAP (operational procesare analitică) pentru utilizatori-analiști”, care formulează 12 caracteristici ale tehnologiei OLAP, care au fost completate ulterior cu încă șase. Aceste prevederi au devenit conținutul principal al unei tehnologii noi și foarte promițătoare.

Principalele caracteristici ale tehnologiei OLAP (de bază):

• reprezentarea conceptuală multidimensională a datelor;
• manipularea intuitivă a datelor;
• disponibilitatea și detaliile datelor;
• extragerea datelor pe lot versus interpretare;
• Modele de analiză OLAP;
• arhitectura client-server (OLAP este accesibil de pe desktop);
• transparență (acces transparent la date externe);
• suport multiplayer.

Caracteristici speciale:

• prelucrarea datelor neformalizate;
• salvarea rezultatelor OLAP: păstrarea lor separată de datele originale;
• eliminarea valorilor lipsă;
• manipularea valorilor lipsă.

Caracteristici de prezentare a rapoartelor (Raport):

• flexibilitate în generarea de rapoarte;
• performanța standard de raportare;
• configurarea automată a stratului fizic de extragere a datelor.

Managementul dimensiunilor:

• universalitatea măsurătorilor;
• număr nelimitat de dimensiuni și niveluri de agregare;
• număr nelimitat de operații între dimensiuni.

Din punct de vedere istoric, astăzi termenul „OLAP” implică nu doar o vizualizare multidimensională a datelor de la utilizatorul final, ci și o reprezentare multidimensională a datelor în baza de date țintă. Acesta este motivul pentru care termenii „OLAP relațional” (ROLAP) și „OLAP multidimensional” (MOLAP) au apărut ca termeni independenți.

Serviciul OLAP este un instrument de analiză a unor cantități mari de date în timp real. Prin interacțiunea cu sistemul OLAP, utilizatorul va putea efectua vizualizarea flexibilă a informațiilor, obținerea de secțiuni de date arbitrare și efectuarea de operațiuni analitice de detaliere, convoluție, distribuție end-to-end, comparare în timp în mai mulți parametri simultan. Toate lucrările cu sistemul OLAP se desfășoară în ceea ce privește domeniul de activitate și vă permite să construiți modele statistice solide ale situației afacerii.

Software-ul OLAP este un instrument de analiză online a datelor conținute într-un depozit. Caracteristica principală este că aceste instrumente sunt destinate a fi utilizate nu de un specialist în domeniul tehnologiei informației, nu de un expert-statistician, ci de un profesionist în domeniul aplicat al managementului - un manager al unui departament, departament, management. , și, în sfârșit, un director. Instrumentele sunt destinate ca analistul să comunice cu problema, nu cu computerul. În fig. 6.14 prezintă un cub OLAP elementar care vă permite să evaluați datele în trei dimensiuni.

Un cub OLAP multidimensional și un sistem de algoritmi matematici corespunzători pentru procesarea statistică vă permit să analizați date de orice complexitate la orice interval de timp.

Orez. 6.14. Cub OLAP elementar

Având la dispoziție mecanisme flexibile de manipulare a datelor și afișare vizuală (Fig. 6.15, Fig. 6.16), managerul privește mai întâi datele din diferite unghiuri, care pot fi legate sau nu de problema rezolvată.

În continuare, el compară diverși indicatori de afaceri între ei, încercând să dezvăluie relații ascunse; poate privi datele mai îndeaproape, detaliându-le, de exemplu, prin descompunerea lor în componente în funcție de timp, regiune sau client sau, dimpotrivă, generalizează și mai mult prezentarea informațiilor pentru a elimina detaliile care distrag atenția. După aceea, folosind modulul de estimare statistică și simulare, sunt construite mai multe scenarii pentru desfășurarea evenimentelor, iar dintre acestea este selectată cea mai acceptabilă opțiune.

Orez. 6.15.

Un manager de companie, de exemplu, poate dezvolta o ipoteză conform căreia răspândirea creșterii activelor în diferite ramuri ale unei companii depinde de proporția specialiștilor cu educație tehnică și economică în cadrul acestora. Pentru a testa această ipoteză, managerul poate interoga din depozit și poate afișa pe grafic raportul de dobândă față de acele sucursale a căror creștere a activelor în trimestrul curent a scăzut cu peste 10% față de anul precedent și pentru cele ale căror active au crescut cu mai mult de 25%. Ar trebui să poată utiliza o selecție simplă din meniul oferit. Dacă rezultatele obținute se încadrează în mod semnificativ în două grupuri corespunzătoare, atunci acesta ar trebui să devină un stimulent pentru testarea în continuare a ipotezei prezentate.

În prezent, s-a dezvoltat rapid o direcție numită Simulare dinamică, care implementează pe deplin principiul FASMI de mai sus.

Folosind modelarea dinamică, analistul construiește un model al unei situații de afaceri care evoluează în timp, conform unui anumit scenariu. În același timp, rezultatul unei astfel de modelări pot fi câteva situații noi de afaceri care generează un arbore de soluții posibile cu o evaluare a probabilității și perspectivelor fiecăreia.

Orez. 6.16. SI analitic de extragere, prelucrare si prezentare a datelor

Tabelul 6.3 prezintă caracteristicile comparative ale analizei statice și dinamice.

Principala diferență dintre fapte și informații este că primim și luăm notă de date și putem folosi informațiile în avantajul nostru. În linii mari, informațiile sunt analizate și sistematizate date. Datorită informațiilor primite la timp, multe firme reușesc să reziste atât crizei financiare, cât și celei mai acerbe concurențe. Nu este suficient să colectezi fapte și să ai toate datele de care ai nevoie. De asemenea, trebuie să le poți analiza. Au fost dezvoltate diverse sisteme de asistență pentru a le ușura oamenilor să ia decizii importante de afaceri. Tocmai în acest scop au fost dezvoltate diverse sisteme complexe care vă permit să analizați matrice mari de date eterogene și să le transformați în informații utile unui utilizator de afaceri. Noul domeniu al business intelligence urmărește să îmbunătățească managementul proceselor sistemelor de afaceri prin utilizarea depozitelor și tehnologiilor de date.

Piața sistemelor informatice pentru afaceri oferă astăzi o gamă diversă de soluții care ajută o întreprindere să organizeze contabilitatea de gestiune, să asigure managementul operațional al producției și vânzărilor și să interacționeze eficient cu clienții și furnizorii.

O nișă separată pe piața sistemelor de afaceri este ocupată de produse software analitice concepute pentru a sprijini luarea deciziilor la nivel strategic de management al întreprinderii. Principala diferență între astfel de instrumente și sistemele de management operațional este că acestea din urmă asigură managementul întreprinderii într-un „mod de operare”, adică implementarea unui program de producție bine definit, în timp ce sistemele analitice la nivel strategic ajută la managementul întreprindere să elaboreze soluții într-un „mod de dezvoltare”.

Amploarea schimbărilor efectuate poate varia de la restructurarea profundă la reînnoirea parțială a tehnologiilor în anumite zone de producție, dar, în orice caz, factorii de decizie iau în considerare alternative de dezvoltare de care depinde soarta întreprinderii pe termen lung.

Indiferent cât de puternic și de dezvoltat este sistemul informațional al întreprinderii, acesta nu poate ajuta la rezolvarea acestor probleme, în primul rând, pentru că este adaptat la procese de afaceri staționare, bine stabilite și, în al doilea rând, nu oferă și nu poate fi informații pentru luarea deciziilor privind noi domenii de afaceri, noi tehnologii, noi decizii organizatorice.

Datorită tehnologiei de procesare a datelor OLAP (On-Line Analytical Processing), orice organizație poate primi aproape instantaneu (în decurs de cinci secunde) datele de care are nevoie pentru a funcționa. OLAP poate fi rezumat în cinci cuvinte cheie.

RAPID (Fast) - aceasta înseamnă că căutarea și livrarea informațiilor necesare nu durează mai mult de cinci secunde. Cele mai simple interogări sunt procesate într-o secundă și doar câteva interogări complexe au un timp de procesare de peste douăzeci de secunde. Pentru a obține acest rezultat, sunt utilizate diverse metode, de la forme speciale de stocare a datelor până la pre-calcul extins. Astfel, puteți obține un raport într-un minut, care anterior a durat zile să fie pregătit.

ANALIZĂ (Analitică) spune că sistemul poate face orice analiză, atât statistică, cât și logică, și apoi o stochează într-o formă accesibilă.

SHARED înseamnă că sistemul oferă confidențialitatea necesară, până la nivelul celulei

MULTIDIMENSIONAL - Aceasta este principala caracteristică a OLAP. Sistemul trebuie să suporte pe deplin ierarhii și ierarhii multiple, deoarece în acest fel este cel mai logic să analizăm atât business-ul, cât și activitățile organizațiilor.

INFORMAȚIE Informațiile de care aveți nevoie trebuie să fie livrate acolo unde este nevoie.

În timpul activității unei organizații, se acumulează întotdeauna date legate de domeniul de activitate al acesteia, care uneori sunt stocate în locuri complet diferite și nu este ușor și consumator de timp să le adunăm împreună. Tocmai pentru a accelera achiziția de date pentru testarea ipotezelor de afaceri emergente a fost dezvoltată tehnologia de procesare interactivă a datelor analitice sau OLAP. Scopul principal al unor astfel de sisteme OLAP este de a răspunde rapid la solicitările arbitrare ale utilizatorilor. O astfel de nevoie apare adesea atunci când se dezvoltă un proiect de afaceri important, când dezvoltatorul are nevoie de o ipoteză de lucru care a apărut. Cel mai adesea, informațiile de care are nevoie utilizatorul ar trebui să fie prezentate sub forma unui fel de dependență - de exemplu, modul în care volumul vânzărilor depinde de categoria de produs, de regiunea de vânzare, de sezon și așa mai departe. Datorită OLAP, are capacitatea de a primi imediat datele necesare în aspectul dorit pentru perioada selectată.

Tehnologia interactivă OLAP transformă grămezi uriașe de rapoarte și tone de date în informații utile și precise care vor ajuta un angajat să ia o decizie informată de afaceri sau financiară la momentul potrivit.

În plus, datorită OLAP, eficiența procesării crește, iar utilizatorul poate obține volume mari de informații sortate (agregate) aproape instantaneu. Datorită OLAP, utilizatorul poate vedea clar cât de eficient funcționează organizația sa, are capacitatea de a răspunde rapid și flexibil la schimbările externe și are capacitatea de a minimiza pierderile financiare ale organizației sale. OLAP oferă informații precise care îmbunătățesc calitatea deciziilor pe care le luați.

Singurul dezavantaj al sistemelor de business intelligence este costul lor ridicat. Construirea unui depozit de informații personale necesită atât timp, cât și mulți bani.

Utilizarea tehnologiei OLAP în afaceri vă permite să obțineți rapid informațiile necesare, care, la cererea utilizatorului, pot fi prezentate în forma obișnuită - rapoarte, grafice sau tabele.

Procedurile de integrare a sistemelor pentru structurile de afaceri se bazează pe utilizarea soluțiilor comune ERP, CRM și SCM. În multe cazuri, sistemele sunt furnizate de diferiți producători, iar datele importate trebuie să treacă printr-o procedură de reconciliere a datelor și de prezentare sub formă de date eterogene. Într-un mediu de afaceri, se asumă o cerință neechivocă - o analiză completă a datelor, care presupune vizualizarea rapoartelor consolidate din diferite puncte de vedere.

Vânzători diferiți au mecanisme de prezentare diferite. Procedura de reprezentare eterogenă implică extragerea, transformarea și încărcarea (ETL). De exemplu, în Microsoft SQL Server 2005 Analysis Services, problema consolidării datelor este implementată utilizând Vizualizările sursei de date, care sunt tipuri de surse de date care descriu modele de vizualizare analitică.

Aplicații de afaceri bazate pe tehnologii OLAP, exemple de produse. Cele mai comune aplicații ale tehnologiilor OLAP sunt:

Analiza datelor.

Sarcina pentru care instrumentele OLAP au fost utilizate inițial și rămân încă cele mai populare. Un model de date multidimensional, capacitatea de a analiza cantități semnificative de date și un răspuns rapid la solicitări fac astfel de sisteme indispensabile pentru analiza vânzărilor, activităților de marketing, distribuției și a altor sarcini cu o cantitate mare de date inițiale.

Exemple de produse: Microsoft Excel Pivot Tables, Microsoft Analysis Services, SAP BW, Oracle Essbase, Oracle OLAP, Cognos PowerPlay, MicroStrategy, Business Objects.

Planificare financiară și bugetare.

Un model multidimensional vă permite să introduceți simultan date și să le analizați cu ușurință (de exemplu, analiza plan-fapt). Prin urmare, o serie de produse moderne din clasa CPM (Corporate Performance Management) utilizează modelul OLAP%. O sarcină importantă este calculul înapoi multidimensional (backsolve, breakback, writeback), care vă permite să calculați modificările necesare în celulele de detaliu atunci când valoarea agregată se modifică. Este un instrument de analiză ce se întâmplă dacă. pentru a juca diverse variante de evenimente la planificare.

Exemple de produse: Microsoft PerformancePint, Oracle EPB, Oracle OFA, Oracle Hyperion Planning, SAP SEM, Cognos Enterprise Planning, Geac.

Consolidarea financiară.

Consolidarea datelor în conformitate cu standardele internaționale de contabilitate, luând în considerare cotele de proprietate, diverse valute și cifrele de afaceri interne, este o sarcină urgentă în legătură cu cerințele înăsprite ale autorităților de audit (SOX, Basel II) și ale companiilor care intră în IPO. Tehnologiile OLAP fac posibilă accelerarea calculului rapoartelor consolidate și creșterea transparenței întregului proces.

Exemple de produse: Oracle FCH, Oracle Hyperion FM, Cognos Controller.

Depozite de date și tehnologii de procesare analitică on-line (OLAP).
sunt elemente importante ale suportului pentru deciziile de afaceri, care devin din ce în ce mai mult o parte integrantă a oricărei industrii. Utilizarea tehnologiilor OLAP ca instrument de business intelligence oferă mai mult control și acces în timp util la strategice
informații care contribuie la luarea eficientă a deciziilor.
Acest lucru oferă posibilitatea de a simula previziunile din lumea reală și o utilizare mai eficientă a resurselor. OLAP permite unei organizații să răspundă mai rapid la cerințele pieței.

Bibliografie:

1. Erik Thomsen. Soluții OLAP: Construirea sistemelor informaționale multidimensionale ediția a doua. Wiley Computer Publishing John Wiley & Sons, Inc., 2002.

2. Cartea albă a Consiliului OLAP, http://www.olapcouncil.org/research/whtpaply.htm

3. Gerd Stumme și Bernhard Ganter. Analiza formală a conceptului _ Fundamente matematice.

stocare a datelor sunt formate pe baza unor instantanee ale bazelor de date operaționale Sistem informaticși eventual diverse surse externe. Depozitele de date folosesc tehnologii de baze de date, OLAP, analiza profundă a datelor, vizualizarea datelor.

Principalele caracteristici ale depozitelor de date.

• conține date istorice;
• stochează informații detaliate, precum și date parțial și complet agregate;
• datele sunt în mare parte statice;
• metoda ad-hoc, nestructurata si euristica de prelucrare a datelor;
• intensitate medie și scăzută a procesării tranzacțiilor;
• mod imprevizibil de utilizare a datelor;
• destinat analizei;
• axat pe domeniile subiectului;
• sprijin pentru luarea deciziilor strategice;
• deservește un număr relativ mic de directori.

Termenul OLAP (On-Line Analytical Processing) este folosit pentru a descrie modelul de prezentare a datelor și, în consecință, tehnologia de prelucrare a acestora în depozitele de date. OLAP folosește o vizualizare multidimensională a datelor agregate pentru a oferi acces rapid la informații strategice pentru o analiză aprofundată. Aplicațiile OLAP trebuie să aibă următoarele proprietăți de bază:

• multidimensionale prezentarea datelor;
• suport pentru calcule complexe;
• luarea în considerare corectă a factorului timp.

Avantajele OLAP:

• creșterea productivitate personal de producție, dezvoltatori programe de aplicație... Acces în timp util la informații strategice.
• oferind utilizatorilor oportunități ample de a face propriile modificări la schemă.
• Pe care se bazează aplicațiile OLAP stocare a datelorși sistemele OLTP, primind date actualizate de la acestea, ceea ce permite salvarea controlul integritatii date corporative.
• reducerea sarcinii sistemelor OLTP și stocare a datelor.

OLAP și OLTP. Caracteristici și diferențe principale

OLAP	OLTP
Magazin de date ar trebui să includă atât date interne ale companiei, cât și date externe	sursa principală de informații care intră în baza de date operațională este activitățile corporației, iar pentru analiza datelor este necesară implicarea surselor externe de informații (de exemplu, rapoarte statistice).
Volumul bazelor de date analitice este cu cel puțin un ordin de mărime mai mare decât volumul celor operaționale. pentru analiză și prognoză fiabile în depozit de date trebuie să aveți informații despre activitățile corporației și despre starea pieței de câțiva ani	Pentru prelucrarea operațională sunt necesare date pentru ultimele luni
Magazin de date ar trebui să conțină informații uniform prezentate și convenite care se potrivesc cel mai bine cu conținutul bazelor de date operaționale. Este necesară o componentă pentru extragerea și „curățarea” informațiilor din diverse surse. Multe corporații mari au simultan mai multe IS-uri operaționale cu propriile baze de date (din motive istorice).	Bazele de date operaționale pot conține informații echivalente din punct de vedere semantic prezentate în diferite formate, cu indicații diferite ale momentului sosirii, uneori chiar contradictorii
Setul de interogări împotriva unei baze de date analitice este imposibil de prezis. stocare a datelor există pentru a răspunde solicitărilor ad-hoc ale analiștilor. Poți conta doar pe faptul că cererile nu vor veni prea des și vor implica cantități mari de informații. Dimensiunea bazei de date analitice stimulează utilizarea interogărilor cu agregate (suma, minim, maxim, Rău etc.)	Sistemele de prelucrare a datelor sunt create cu așteptarea rezolvării unor probleme specifice. Informațiile din baza de date sunt selectate frecvent și în porțiuni mici. De obicei, setul de interogări către baza de date operațională este cunoscut deja în timpul proiectării.
Cu o variabilitate scăzută a bazelor de date analitice (doar la încărcarea datelor), ordonarea matricelor, metodele de indexare mai rapide pentru eșantionarea în masă, stocarea datelor pre-agregate se dovedesc a fi rezonabile.	Sistemele de prelucrare a datelor sunt prin natura lor foarte volatile, ceea ce este luat în considerare în DBMS utilizat (structură normalizată a bazei de date, șirurile sunt stocate într-o manieră neordonată, arbori B pentru indexare, tranzacționale)
Informațiile analitice ale bazei de date sunt atât de critice pentru o corporație încât este necesară o granulație mare de protecție (drepturi de acces individuale la anumite rânduri și/sau coloane ale unui tabel)	Pentru sistemele de prelucrare a datelor, de obicei suficient protectia informatiilor la nivelul mesei

Reguli Codd pentru sistemele OLAP

În 1993, Codd a publicat o lucrare intitulată OLAP for Analytic Users: The Way It Should Be. În acesta, el a subliniat conceptele de bază ale procesării analitice online și a identificat 12 reguli care trebuie îndeplinite de produsele care permit procesarea analitică online.

1. Vedere conceptuală multidimensională. Un model OLAP trebuie să fie multidimensional la bază. O diagramă conceptuală multidimensională sau o vizualizare personalizată facilitează modelarea și analiza, precum și calculul.
2. Transparenţă. Utilizatorul poate obține toate datele necesare de la mașina OLAP, fără să știe măcar de unde provin. Indiferent dacă produsul OLAP face parte din instrumentele utilizatorului sau nu, acest fapt ar trebui să fie invizibil pentru utilizator. Dacă OLAP este furnizat de calcularea client-server, atunci acest fapt ar trebui, de asemenea, dacă este posibil, să fie invizibil pentru utilizator. OLAP ar trebui să fie prezentat în contextul unei arhitecturi cu adevărat deschise, permițând utilizatorului, oriunde s-ar afla, să comunice cu serverul folosind un instrument analitic. În plus, transparența trebuie realizată și atunci când instrumentul analitic interacționează cu medii de baze de date omogene și eterogene.
3. Disponibilitate. OLAP trebuie să furnizeze propriile sale diagrama logica pentru acces într-un mediu de bază de date eterogen și pentru a efectua transformări adecvate pentru a furniza date utilizatorului. Mai mult, trebuie să vă gândiți în avans unde și cum și ce tipuri de organizare fizică a datelor vor fi de fapt utilizate. Un sistem OLAP ar trebui să acceseze doar datele necesare efectiv și să nu aplice principiul general al „pâlniei de bucătărie”, care presupune introducerea inutilă.
4. Constant performanţă la elaborarea rapoartelor. Performanţă raportarea nu ar trebui să scadă semnificativ odată cu creșterea numărului de dimensiuni și a dimensiunii bazei de date.
5. Arhitectura client-server. Produsul trebuie să fie nu numai client/server, ci și ca componenta server să fie suficient de inteligentă, astfel încât diferiți clienți să se poată conecta cu un minim de efort și programare.
6. Multidimensionalitate generală. Toate dimensiunile trebuie să fie egale, fiecare dimensiune trebuie să fie echivalentă atât ca structură, cât și ca capabilități operaționale. Adevărat, sunt permise posibilități operaționale suplimentare pentru dimensiuni individuale (aparent, timpul este implicit), dar astfel de funcții suplimentare trebuie furnizate oricărei dimensiuni. Nu ar trebui să fie atât de elementar structuri de date, formatele de calcul sau de raportare erau mai specifice oricărei dimensiuni.
7. Control dinamic matrici rare... Sistemele OLAP ar trebui să își ajusteze automat schema fizică pe baza tipului de model, a volumelor de date și a rarității bazei de date.
8. Suport multiplayer. Instrumentul OLAP trebuie să ofere capabilități partajarea(cerere și adăugare), integritate și securitate.
9. Încrucișări nelimitate. Pentru orice măsurători trebuie permise toate tipurile de operații.
10. Manipularea intuitivă a datelor. Manipularea datelor a fost efectuată prin acțiuni directe asupra celulelor în modul de vizualizare fără a utiliza meniuri și operații multiple.
11. Opțiuni flexibile de raportare. Măsurătorile trebuie introduse în raport așa cum are nevoie utilizatorul.
12. Nelimitat

Scopul raportului

Acest raport se va concentra pe una dintre categoriile de tehnologii inteligente care reprezintă un instrument analitic convenabil - tehnologiile OLAP.

Scopul raportului: de a dezvălui și evidenția 2 aspecte: 1) conceptul de OLAP și valoarea lor aplicată în managementul financiar; 2) implementarea funcționalității OLAP în soluțiile software: diferențe, oportunități, avantaje, dezavantaje.

Vreau să remarc imediat că OLAP este un instrument universal care poate fi utilizat în orice domeniu aplicat, nu doar în finanțe (cum se poate înțelege din titlul raportului), care necesită analiza datelor prin diverse metode.

Management financiar

Managementul financiar este un domeniu în care analiza este mai importantă decât oricare alta. Orice decizie financiară și de management apare ca urmare a unor proceduri analitice. Astăzi, managementul financiar capătă un rol important pentru funcționarea cu succes a unei întreprinderi. În ciuda faptului că managementul financiar este un proces auxiliar în întreprindere, acesta necesită o atenție deosebită, deoarece deciziile financiare și de management eronate pot duce la pierderi mari.

Managementul financiar are ca scop asigurarea intreprinderii de resurse financiare in volumele necesare, la momentul potrivit si la locul potrivit pentru a obtine efectul maxim din utilizarea acestora prin distributie optima.

Este probabil dificil de determinat nivelul de „eficiență maximă a utilizării resurselor”, dar, în orice caz,

Directorul financiar ar trebui să știe întotdeauna:

• câte resurse financiare există?
• de unde vor veni fondurile și în ce sume?
• unde să investești mai eficient și de ce?
• și în ce momente trebuie făcute toate acestea?
• cât este necesar pentru a asigura funcționarea normală a întreprinderii?

Pentru a obține răspunsuri rezonabile la aceste întrebări, trebuie să aveți, să analizați și să știți să analizați un număr suficient de mare de indicatori de performanță. În plus, FI acoperă un număr mare de domenii: analiza fluxurilor de numerar (cash flow), analiza activelor și pasivelor, analiza profitabilității, analiza marjelor, analiza profitabilității, analiza sortimentelor.

Cunoştinţe

Prin urmare, factorul cheie în eficacitatea procesului de management financiar este disponibilitatea cunoștințelor:

• Cunoștințe personale în domeniu (s-ar putea spune teoretice și metodologice), inclusiv experiență, intuiția unui finanțator / CFO
• Cunoștințe generale (corporate) sau informații sistematizate despre faptele tranzacțiilor financiare din întreprindere (adică informații despre starea trecută, prezentă și viitoare a întreprinderii, prezentate în diverși indicatori și măsurători)

Dacă primul se află în zona de acțiune a acestui finanțator (sau a directorului de resurse umane care a angajat acest angajat), atunci al doilea ar trebui creat în mod intenționat la întreprindere prin eforturile comune ale angajaților serviciilor financiare și de informare.

Ce e acum

Cu toate acestea, acum o situație paradoxală este tipică la întreprinderi: există informații, sunt multe, prea multe. Dar se află într-o stare haotică: nestructurată, inconsecventă, împrăștiată, nu întotdeauna de încredere și adesea eronată, este aproape imposibil de găsit și de obținut. Se realizează o generare îndelungată și adesea inutilă de munți de situații financiare, ceea ce este incomod pentru analiza financiară, greu de înțeles, deoarece este creat nu pentru managementul intern, ci pentru prezentarea autorităților externe de reglementare.

Conform rezultatelor unui studiu realizat de companie Reuters dintre cei 1.300 de manageri internaționali, 38% dintre cei chestionați spun că petrec mult timp încercând să găsească informațiile de care au nevoie. Se dovedește că un specialist cu înaltă calificare își petrece timpul bine plătit nu analizând datele, ci culegând, căutând și organizând informațiile necesare acestei analize. În același timp, managerii se confruntă cu o încărcătură grea de date care este adesea irelevante, ceea ce le reduce din nou eficiența. Motivul acestei situații: un exces de informații și o lipsă de cunoștințe.

Ce să fac

Informația ar trebui transformată în cunoștințe. Pentru afacerile moderne, informațiile valoroase, achiziția, sinteza, schimbul, utilizarea ei sistematică este un fel de monedă, dar pentru a o primi este necesară gestionarea informațiilor, ca orice proces de afaceri.

Cheia pentru managementul informațiilor constă în furnizarea informațiilor corecte în modul corect către părțile interesate din cadrul organizației, la un moment dat. Scopul unei astfel de guvernări este de a ajuta oamenii să lucreze mai bine împreună folosind cantități tot mai mari de informații.

Tehnologiile informaționale în acest caz acționează ca un mijloc prin care ar fi posibilă sistematizarea informațiilor într-o întreprindere, să ofere anumitor utilizatori acces la acestea și să le ofere instrumente pentru transformarea acestor informații în cunoștințe.

Concepte de bază ale tehnologiilor OLAP

Tehnologia OLAP (din engleza On-Line Analytical Processing) nu este numele unui produs anume, ci al unei intregi tehnologii de analiza operationala a datelor multidimensionale acumulate in stocare. Pentru a înțelege esența OLAP, este necesar să luăm în considerare procesul tradițional de obținere a informațiilor pentru luarea deciziilor.

Sistem tradițional de sprijin pentru decizii

Aici, desigur, pot exista și multe opțiuni: haos informațional complet, sau cea mai tipică situație când o întreprindere are sisteme operaționale cu ajutorul cărora faptele anumitor operațiuni sunt înregistrate și stocate în baze de date. Pentru a prelua date din baze de date în scopuri analitice, a fost construit un sistem de interogări pentru anumite mostre de date.

Dar această metodă de sprijinire a deciziei nu are flexibilitate și are multe dezavantaje:

• utilizează o cantitate neglijabilă de date care pot fi utile pentru luarea deciziilor
• uneori sunt create rapoarte complexe cu mai multe pagini, dintre care sunt utilizate efectiv 1-2 rânduri (restul pentru orice eventualitate) - supraîncărcare de informații
• reacția lentă a procesului la modificări: dacă este necesară o nouă reprezentare a datelor, atunci cererea trebuie descrisă și codificată formal de către programator, abia apoi executată. Timp de așteptare: ore, zile. Poate că este nevoie de o soluție acum, imediat. Dar după primirea de noi informații, va apărea o nouă întrebare (clarificare)

Dacă rapoartele de interogare sunt prezentate într-un format unidimensional, atunci problemele de afaceri sunt de obicei multidimensionale și cu mai multe fațete. Dacă trebuie să obțineți o imagine clară a afacerii companiei, atunci este necesar să analizați datele în diferite aspecte.

Multe companii creează baze de date relaționale excelente, în mod ideal descompunând munți de informații neutilizate pe rafturi, care în sine nu oferă o reacție rapidă sau suficient de competentă la evenimentele din piață. DA – bazele de date relaționale au fost, sunt și vor fi cea mai potrivită tehnologie pentru stocarea datelor corporative. Aceasta nu este o nouă tehnologie de bază de date, ci mai degrabă un set de instrumente de analiză care completează funcționalitatea DBMS existentă și este suficient de flexibil pentru a găzdui și automatiza diferitele tipuri de minerit inerente în OLAP.

Înțelegerea OLAP

Ce oferă OLAP?

• Instrumente avansate pentru accesarea stocării datelor
• Manipularea dinamică interactivă a datelor (rotație, consolidare sau drill)
• Afișare vizuală clară a datelor
• Rapid - analiza se face în timp real
• Prezentarea datelor multidimensionale - analiza simultană a mai multor indicatori pe mai multe dimensiuni

Pentru a obține un efect din utilizarea tehnologiilor OLAP, trebuie: 1) să înțelegeți esența tehnologiilor în sine și capacitățile acestora; 2) definiți clar ce procese trebuie analizate, ce indicatori vor fi caracterizați și în ce dimensiuni este indicat să le vedeți, adică să creați un model de analiză.

Conceptele de bază utilizate de tehnologiile OLAP sunt următoarele:

Multidimensionalitate

Pentru a înțelege multidimensionalitatea datelor, mai întâi trebuie să prezentați un tabel care să afișeze, de exemplu, performanța Costurilor întreprinderii pe element economic și unitate de afaceri.

Aceste date sunt prezentate în două dimensiuni:

• articol
• unitate de afacere

Acest tabel nu este informativ, deoarece arată vânzările pentru o anumită perioadă de timp. Pentru diferite perioade de timp, analiștii vor trebui să compare mai multe tabele (pentru fiecare perioadă de timp):

Figura prezintă o a treia dimensiune, Timpul, pe lângă primele două. (articol, unitate de afaceri)

O altă modalitate de a afișa date multidimensionale este reprezentarea lor sub forma unui cub:

Cuburile OLAP le permit analiștilor să obțină date la diferite secțiuni pentru a obține răspunsuri la întrebările pe care le pune compania:

• Care sunt costurile critice în care unități de afaceri?
• Cum se modifică costurile unitare de afaceri în timp?
• Cum se modifică elementele de cost în timp?

Răspunsurile la astfel de întrebări sunt necesare pentru luarea deciziilor manageriale: privind reducerea anumitor articole de cost, influențarea structurii acestora, identificarea motivelor modificărilor costurilor în timp, abaterilor de la plan și eliminarea acestora - optimizarea structurii acestora.

În acest exemplu, sunt luate în considerare doar 3 dimensiuni. Este dificil să descrii mai mult de 3 dimensiuni, dar funcționează în același mod ca și cu 3 dimensiuni.

În mod obișnuit, aplicațiile OLAP vă permit să obțineți date pe 3 sau mai multe dimensiuni, de exemplu, puteți adăuga încă o dimensiune - Plan-Real, Categorie Cost: direct, indirect, pe Comenzi, pe Lună. Dimensiunile suplimentare vă permit să obțineți mai multe felii analitice și să oferiți răspunsuri la întrebări cu mai multe condiții.

Ierarhie

De asemenea, OLAP permite analiștilor să organizeze fiecare dimensiune într-o ierarhie de grupuri și subgrupuri și totaluri reprezentând o măsură în întreaga organizație - cel mai logic mod de a analiza o afacere.

De exemplu, este recomandabil să grupați costurile ierarhic:

OLAP le permite analiștilor să obțină date dintr-o măsură rezumată generală (la nivelul cel mai de sus), apoi să detalieze până la nivelurile de jos și ulterioare, descoperind astfel motivul exact al modificării măsurii.

Permițând analiștilor să utilizeze mai multe dimensiuni într-un cub de date, cu posibilitatea unor dimensiuni ierarhice, OLAP oferă o imagine a afacerii care nu este comprimată de structura depozitului de date.

Schimbarea direcțiilor de analiză într-un cub (rotația datelor)

De regulă, acestea operează cu următoarele concepte: dimensiuni specificate în coloane, rânduri (pot fi mai multe dintre ele), restul formează felii, conținutul tabelului este format din dimensiuni (vânzări, costuri, numerar)

De obicei, OLAP vă permite să schimbați orientarea dimensiunilor unui cub, prezentând astfel datele în diferite vederi.

Afișarea datelor cubului depinde de:

• orientări dimensiuni: ce dimensiuni sunt specificate în rânduri, coloane, felii;
• grupuri de indicatori evidențiați în rânduri, coloane, felii.
• Schimbarea dimensiunilor se află în câmpul de acțiune al utilizatorului.

Astfel, OLAP vă permite să efectuați diverse tipuri de analize și să înțelegeți relația acestora cu rezultatele lor.

• Analiza abaterilor - o analiză a implementării planului, care este completată de o analiză factorială a cauzelor abaterilor prin detalierea indicatorilor.
• Analiza dependenței: OLAP vă permite să identificați diferite dependențe între diferite modificări, de exemplu, când berea a fost scoasă din sortiment în primele două luni, s-a constatat o scădere a vânzărilor de gândaci.
• Comparație (analiza comparativă). Compararea rezultatelor modificărilor indicatorului în timp, pentru un anumit grup de produse, în diferite regiuni etc.
• Analiza dinamicii ne permite să identificăm anumite tendințe de modificare a indicatorilor în timp.

Promptitudine: putem spune că OLAP se bazează pe legile psihologiei: capacitatea de a procesa solicitările de informații în „timp real” – în ritmul procesului de înțelegere analitică a datelor de către utilizator.

Dacă puteți citi aproximativ 200 de înregistrări pe secundă dintr-o bază de date relațională și puteți scrie 20, atunci un server OLAP bun, folosind rânduri și coloane calculate, poate consolida 20.000-30.000 de celule (echivalentul unei înregistrări într-o bază de date relațională) pe secundă.

Vizibilitate: Trebuie subliniat faptul că OLAP oferă utilizatorului final o prezentare grafică avansată a datelor. Creierul uman este capabil să perceapă și să analizeze informațiile prezentate sub formă de imagini geometrice, într-un volum cu câteva ordine de mărime mai mare decât informațiile prezentate sub formă alfanumerică. Exemplu: Să presupunem că trebuie să găsiți o față familiară într-una dintre cele o sută de fotografii. Cred că acest proces vă va lua mai puțin de un minut. Acum imaginați-vă că în loc de fotografii vi se vor oferi o sută de descrieri verbale ale acelorași persoane. Cred că nu veți putea rezolva deloc problema propusă.

Simplitate: Caracteristica principală a acestor tehnologii este că sunt concentrate pe utilizarea nu de către un specialist IT, nu de către un expert statistician, ci de către un profesionist în domeniul aplicat - managerul departamentului de credit, managerul departamentului de buget, și în sfârșit, directorul. Acestea sunt destinate ca analistul să comunice cu problema, nu cu computerul..

În ciuda capacităților mari ale OLAP (în plus, ideea este relativ veche - anii 60), de fapt, utilizarea sa nu se găsește practic în întreprinderile noastre. De ce?

• nu există informații sau posibilitățile nu sunt clare
• obiceiul de a gândi bidimensional
• bariera de pret
• fabricabilitatea excesivă a articolelor pe OLAP: termeni necunoscuti sperie - OLAP, „săpătură și tăiere a datelor”, „interogări ad-hoc”, „identificare corelații semnificative”

Abordarea noastră și abordarea occidentală a aplicațiilor OLAP

În plus, avem și o înțelegere specifică a utilității OLAP, chiar și în timp ce înțelegem capacitățile sale tehnologice.

Autorii noștri și ruși ai diverselor materiale despre OLAP exprimă următoarea opinie cu privire la utilitatea OLAP: majoritatea percepe OLAP ca pe un instrument care vă permite să extindeți și să restrângeți datele simplu și convenabil, efectuând manipulări care vin în cap analistului în timpul analizei. Cu cât un analist vede mai multe „slice” și „tăieri” de date, cu atât mai multe idei are, care, la rândul lor, necesită din ce în ce mai multe „slices” pentru a fi verificate. Nu este corect.

Înțelegerea occidentală a utilității OLAP se bazează pe un model metodologic de analiză, care trebuie stabilit în proiectarea soluțiilor OLAP. Analistul nu ar trebui să se joace cu cubul OLAP și să-și schimbe fără scop dimensiunile și nivelurile de detaliu, orientarea datelor, afișarea grafică a datelor (și chiar este nevoie!), Dar să înțeleagă clar de ce vederi are nevoie, în ce secvență și de ce (desigur , elemente „descoperiri”s-ar putea să existe, dar acesta nu este un element fundamental al utilității OLAP).

Utilizarea aplicată a OLAP

• Buget
• Fluxul de fonduri

Unul dintre cele mai fertile domenii de aplicare pentru tehnologiile OLAP. Nu degeaba niciun sistem modern de bugetare nu este considerat complet fără prezența instrumentelor OLAP pentru analiza bugetară în componența sa. Majoritatea rapoartelor bugetare sunt ușor de construit pe baza sistemelor OLAP. În același timp, rapoartele răspund la o gamă foarte largă de întrebări: analiza structurii cheltuielilor și veniturilor, compararea cheltuielilor pentru anumite articole din diferite departamente, analiza dinamicii și tendințelor cheltuielilor pentru anumite articole, analiza costurilor și profitului .

OLAP vă va permite să analizați intrările și ieșirile de numerar în contextul tranzacțiilor comerciale, contrapărților, valutelor și timpului pentru a optimiza fluxurile acestora.

• Raportare financiară și de management (cu analize de care managementul are nevoie)
• Marketing
• Balanced Scorecard
• Analiza profitabilitatii

Când datele relevante sunt disponibile, puteți găsi o altă aplicație de tehnologie OLAP.

produse OLAP

Această secțiune va vorbi despre OLAP ca soluție software.

Cerințe generale pentru produsele OLAP

Există multe modalități de implementare a aplicațiilor OLAP, atunci nicio tehnologie anume nu ar fi trebuit să fie necesară, sau chiar recomandată. În diferite condiții și circumstanțe, o abordare poate fi preferabilă celeilalte. Tehnica de implementare include multe idei de proprietate diferite de care vânzătorii sunt atât de mândri: arome ale arhitecturii client/server, analiza serii de timp, orientarea obiectelor, optimizarea stocării, procese paralele etc. Dar aceste tehnologii nu pot face parte din definiția OLAP.

Exista caracteristici care trebuie respectate in toate produsele OLAP (daca este un produs OLAP), care sunt tehnologia ideala. Acestea sunt 5 definiții cheie care caracterizează OLAP (așa-numitul test FASMI): Analiza rapidă a informațiilor multidimensionale partajate.

• Rapid(RAPID) - înseamnă că sistemul ar trebui să poată furniza majoritatea răspunsurilor utilizatorilor în aproximativ cinci secunde. Chiar dacă sistemul avertizează că procesul va dura mult mai mult, utilizatorii pot deveni distrași și își pot pierde gândurile, iar calitatea analizei are de suferit. Această viteză nu este ușor de atins cu cantități mari de date, mai ales dacă sunt necesare calcule speciale din mers. Furnizorii recurg la o mare varietate de metode pentru a atinge acest obiectiv, inclusiv forme specializate de stocare a datelor, precalculare extinsă sau cerințe hardware mai stricte. Cu toate acestea, în prezent nu există soluții complet optimizate. La prima vedere, poate părea surprinzător că la primirea unui raport într-un minut, ceea ce nu cu mult timp în urmă a durat zile, utilizatorul se plictisește foarte repede în timp ce așteaptă, iar proiectul se dovedește a fi mult mai puțin reușit decât în ​​cazul unui răspuns instantaneu, chiar și cu prețul unei analize mai puțin detaliate.
• Impartitînseamnă că sistemul face posibilă îndeplinirea tuturor cerințelor de protecție a datelor și implementarea accesului distribuit și simultan la date pentru diferite niveluri de utilizatori. Sistemul trebuie să fie capabil să gestioneze mai multe modificări de date în timp util, în mod sigur. Aceasta este o slăbiciune majoră a multor produse OLAP, care tind să presupună că toate aplicațiile OLAP sunt doar în citire și oferă protecție simplificată.
• Multidimensional este o cerință cheie. Dacă ar trebui să definiți OLAP într-un singur cuvânt, l-ați alege. Sistemul ar trebui să ofere o vedere conceptuală multidimensională a datelor, inclusiv suport complet pentru ierarhii și ierarhii multiple, deoarece aceasta determină modalitatea cea mai logică de a analiza afacerea. Nu există un număr minim de dimensiuni de prelucrat, deoarece depinde și de aplicație, iar majoritatea produselor OLAP au dimensiuni suficiente pentru piețele pe care le vizează. Din nou, nu specificăm ce tehnologie de bază de date ar trebui utilizată dacă utilizatorul primește o reprezentare conceptuală cu adevărat multidimensională a informațiilor. Această caracteristică se află în centrul OLAP
• Informație. Informațiile necesare trebuie obținute acolo unde este nevoie, indiferent de volumul și locul de depozitare. Totuși, multe depind de aplicație. Puterea diferitelor produse este măsurată în funcție de cantitatea de intrare pe care o pot procesa, dar nu de câți gigaocteți pot stoca. Puterea produselor variază foarte mult - cele mai mari produse OLAP pot gestiona de cel puțin o mie de ori mai multe date decât cele mai mici. Există mulți factori de luat în considerare în acest sens, inclusiv duplicarea datelor, RAM necesară, utilizarea spațiului pe disc, performanța, integrarea stocării datelor și multe altele.
• Analizăînseamnă că sistemul poate gestiona orice analiză logică și statistică specifică aplicației și asigură că aceasta este salvată într-o formă accesibilă utilizatorului final. Utilizatorul ar trebui să poată defini noi calcule personalizate ca parte a analizei fără a fi nevoie de programare. Adică, toate funcționalitățile de analiză necesare trebuie furnizate într-un mod intuitiv utilizatorilor finali. Instrumentele de analiză ar putea include anumite proceduri, cum ar fi analiza seriilor temporale, alocarea costurilor, transferurile valutare, căutarea țintei etc. Astfel de capabilități variază foarte mult între produse, în funcție de orientarea țintei.

Cu alte cuvinte, aceste 5 definiții cheie sunt obiectivele pe care produsele OLAP sunt concepute pentru a le atinge.

Aspecte ale tehnologiei OLAP

Sistemul OLAP include anumite componente. Există diverse scheme ale activității lor pe care un anumit produs le poate implementa.

Componentele sistemelor OLAP (din ce constă un sistem OLAP?)

De obicei, un sistem OLAP include următoarele componente:

• Sursă de date
  Sursa din care sunt preluate datele pentru analiză (depozitul de date, baza de date a sistemelor operaționale de contabilitate, un set de tabele, combinații ale celor de mai sus).
• server OLAP
  Datele din sursă sunt transferate sau copiate pe serverul OLAP, unde sunt organizate și pregătite pentru generarea ulterioară mai rapidă a răspunsurilor la interogări.
• Client OLAP
  Interfața cu utilizatorul către serverul OLAP, în care operează utilizatorul

Trebuie remarcat faptul că nu toate componentele sunt necesare. Există sisteme desktop OLAP care vă permit să analizați datele stocate direct pe computerul utilizatorului și nu necesită un server OLAP.

Cu toate acestea, elementul necesar este sursa datelor: disponibilitatea datelor este o problemă importantă. Dacă acestea există, sub orice formă, ca un tabel Excel, în baza de date a sistemului contabil, sub formă de rapoarte structurate ale filialelor, specialistul IT se poate integra cu sistemul OLAP direct sau cu o transformare intermediară. Pentru aceasta, sistemele OLAP au instrumente speciale. Dacă aceste date nu sunt disponibile, sau sunt insuficient de complete și de calitate insuficientă, OLAP nu va ajuta. Adică, OLAP este doar un add-on peste date, iar dacă nu există, devine un lucru inutil.

Majoritatea datelor pentru aplicațiile OLAP provin din alte sisteme. Cu toate acestea, în unele aplicații (de exemplu, pentru planificare sau bugetare), datele pot fi generate direct în aplicațiile OLAP. Când datele provin din alte aplicații, este de obicei necesar ca datele să fie stocate într-o formă separată, duplicat pentru aplicația OLAP. Prin urmare, este recomandabil să se creeze depozite de date.

Trebuie remarcat faptul că termenul „OLAP” este indisolubil legat de termenul „depozit de date” (Data Warehouse). Un depozit de date este o colecție de date specifică domeniului, limitată în timp și imuabilă pentru a sprijini procesul de luare a deciziilor de management. Datele din depozit provin din sisteme operaționale (sisteme OLTP), care sunt concepute pentru a automatiza procesele de afaceri; depozitul poate fi completat din surse externe, de exemplu, rapoarte statistice.

În ciuda faptului că acestea conțin informații redundante în mod deliberat, care se află deja în bazele de date sau fișierele sistemelor de operare, stocările de date sunt necesare deoarece:

• fragmentarea datelor, stocarea lor în diferite formate DBMS;
• performanță îmbunătățită de recuperare a datelor
• dacă într-o întreprindere toate datele sunt stocate pe un server central de baze de date (ceea ce este extrem de rar), probabil că analistul nu va înțelege structurile lor complexe, uneori confuze.
• interogările analitice complexe la informațiile operaționale încetinesc activitatea curentă a companiei, blocând tabelele pentru o lungă perioadă de timp și confiscând resursele serverului
• capacitatea de a curăța și reconcilia datele
• este imposibil sau foarte dificil să se analizeze direct datele sistemelor operaționale;

Scopul depozitului este de a furniza „materia primă” pentru analiză într-un singur loc și într-o structură simplă, de înțeles. Adică, conceptul de Data Warehouses nu este un concept de analiză a datelor, ci mai degrabă un concept de pregătire a datelor pentru analiză. Presupune implementarea unei singure surse de date integrate.

Produse OLAP: Arhitecturi

Când utilizați produse OLAP, 2 întrebări sunt importante: cum și unde a pastrași a procesa date. Arhitecturile OLAP se disting în funcție de modul în care sunt implementate aceste două procese. Există 3 moduri de a stoca date pentru OLAP și 3 moduri de a procesa aceste date. Mulți producători oferă mai multe opțiuni, unii încearcă să demonstreze că abordarea lor este cea mai prudentă. Acest lucru este, desigur, absurd. Cu toate acestea, foarte puține produse pot funcționa eficient în mai multe moduri.

Opțiuni de stocare a datelor OLAP

Reținerea în acest context înseamnă conținutul datelor într-o stare actualizată constant.

• Baze de date relaționale: aceasta este alegerea tipică dacă întreprinderea stochează acreditările într-un RDB. În cele mai multe cazuri, datele ar trebui să fie stocate într-o structură denormalizată (schema stea este cea mai acceptabilă). O bază de date normalizată nu este acceptabilă din cauza performanței foarte scăzute de interogare atunci când se generează valori agregate pentru OLAP (adesea totalurile sunt stocate în tabele agregate).
• Fișiere de baze de date de pe computerul client (chioșcuri sau magazine de date): Aceste date pot fi prepropagate sau generate la cerere pe computerele client.

Baze de date multidimensionale: Se presupune că datele sunt stocate într-o bază de date multidimensională pe un server. Poate include date preluate și rezumate din alte sisteme și baze de date relaționale, fișiere de utilizator final etc. În cele mai multe cazuri, bazele de date multidimensionale sunt stocate pe disc, dar unele produse permit și utilizarea memoriei RAM, calculând datele cele mai frecvent utilizate pe disc. zboară". Într-un număr foarte mic de produse bazate pe baze de date multidimensionale, sunt posibile editări multiple de date, multe produse permit editări unice, dar citiri multiple de date, în timp ce altele sunt limitate doar la citire.

Aceste trei locații de depozitare au capacități de stocare diferite și sunt dispuse în ordinea descrescătoare a capacității. De asemenea, au caracteristici diferite de performanță a interogărilor: bazele de date relaționale sunt mult mai lente decât ultimele două.

Opțiuni de prelucrare a datelor OLAP

Există 3 dintre aceleași opțiuni de procesare a datelor:

• Utilizarea SQL: această opțiune este, desigur, utilizată atunci când stocați date într-un RDB. Cu toate acestea, SQL nu permite calcule multidimensionale într-o singură interogare, așa că sunt necesare interogări SQL complexe pentru a obține nimic mai mult decât funcționalitatea multidimensională normală. Cu toate acestea, asta nu îi împiedică pe dezvoltatori să încerce. În cele mai multe cazuri, acestea efectuează un număr limitat de calcule SQL pertinente, cu rezultate care pot fi obținute din procesarea datelor multidimensionale sau de la mașina client. De asemenea, este posibil să utilizați RAM, care poate stoca date folosind mai multe solicitări: acest lucru a îmbunătățit dramatic răspunsul.
• Procesare multidimensională la nivelul clientului: produsul client OLAP efectuează singur calculele, dar această procesare este disponibilă numai dacă utilizatorii au computere relativ puternice.

Procesare multidimensională pe partea de server: Acesta este un loc popular pentru calcularea multidimensională în aplicațiile client/server OLAP și este utilizat în multe produse. Performanța este de obicei bună, deoarece majoritatea calculelor au fost deja făcute. Cu toate acestea, acest lucru necesită mult spațiu pe disc.

Matricea arhitecturii OLAP

În consecință, combinând opțiunile de stocare / procesare, puteți obține o matrice de arhitecturi de sisteme OLAP. În consecință, teoretic, pot exista 9 combinații ale acestor metode. Cu toate acestea, deoarece 3 dintre ele sunt lipsite de bun simț, în realitate există doar 6 opțiuni pentru stocarea și procesarea datelor OLAP.

Opțiuni de stocare multidimensionale date Variante multidimensionale procesarea datelor	Baza de date relațională	Baza de date multidimensională pe partea de server	Computer client
	Mărimea cartezei
Procesare server multidimensională	Crystal Holos (modul ROLAP) Server IBM DB2 OLAP CA EUREKA: Strategie Informix MetaCube Speedware Media / MR Servicii de analiză Microsoft Oracle Express (modul ROLAP) Server de analiză pilot Applix iTM1	Holos de cristal Decizia Comshare Hyperion Essbase Oracle Express Speedware Media / M Servicii de analiză Microsoft Server PowerPlay Enterprise Server de analiză pilot Applix iTM1
Prelucrare multidimensională pe computerul client	Oracle Discoverer Informix MetaCube	Perspectivă dimensională Hyperion Enterprise	Cognos PowerPlay Personal Express iTM1 Perspective

Deoarece stocarea determină procesarea, se obișnuiește gruparea după opțiuni de stocare, adică:

• Produsele ROLAP din sectoarele 1, 2, 3
• Desktop OLAP - în sectorul 6

Produse MOLAP - în sectoarele 4 și 5

Produse HOLAP (permit stocarea datelor atât multidimensionale, cât și relaționale) - în 2 și 4 (în italic)

Categoriile de produse OLAP

Există peste 40 de furnizori OLAP, deși toți nu pot fi considerați concurenți, deoarece capacitățile lor sunt foarte diferite și, de fapt, lucrează pe diferite segmente de piață. Acestea pot fi grupate în 4 categorii fundamentale, care diferă în funcție de conceptele: funcționalitate complexă - funcționalitate simplă, performanță - spațiu pe disc. Este convenabil să desenați categoriile ca un pătrat, deoarece arată clar relația dintre ele. O trăsătură distinctivă a fiecăreia dintre categorii este prezentată pe partea sa, iar asemănările cu altele - pe laturile adiacente, prin urmare, categoriile pe părțile opuse sunt fundamental diferite.

	Particularități	Avantaje	Defecte	Reprezentanți
OLAP aplicat	Aplicații complete, bogate în funcționalități. Aproape toate necesită o bază de date multidimensională, deși unele funcționează și cu o bază de date relațională. Multe din această categorie de aplicații sunt specializate, de exemplu, vânzări, producție, bancar, bugetare, consolidare financiară, analiza vânzărilor	Abilitatea de a se integra cu diverse aplicații Nivel ridicat de funcționalitate Nivel ridicat de flexibilitate și scalabilitate	Complexitatea aplicației (necesitatea de instruire a utilizatorilor) Preț mare	Hyperion Solutions Deciziile de cristal Constructori de informații
	Produsul se bazează pe o structură de date non-relațională care oferă stocare, procesare și prezentare multidimensională a datelor. Datele din procesul de analiză sunt selectate exclusiv dintr-o structură multidimensională. În ciuda nivelului ridicat de deschidere, furnizorii îi convingă pe clienți să-și cumpere propriul set de instrumente.	Performanță ridicată (calcule rapide ale totalurilor și diverse transformări multidimensionale pentru oricare dintre dimensiuni). Timpul mediu de răspuns la o interogare analitică ad-hoc atunci când se utilizează o bază de date multidimensională este de obicei cu 1-2 ordine de mărime mai mic decât în ​​cazul unui RDB Nivel ridicat de deschidere: un număr mare de produse cu care este posibilă integrarea Aceștia fac față cu ușurință sarcinilor de includere a diferitelor funcții încorporate în modelul de informații, efectuarea de analize specializate de către utilizator etc.	Necesitatea unui spațiu mare pe disc pentru stocarea datelor (datorită redundanței datelor care sunt stocate). Aceasta este o utilizare extrem de ineficientă a memoriei - datorită denormalizării și agregării efectuate anterior, cantitatea de date dintr-o bază de date multidimensională corespunde cu 2,5-100 de ori mai mică decât volumul datelor detaliate originale. În orice caz, MOLAP nu permite lucrul cu baze de date mari. Limita reală este o bază de 10-25 gigaocteți Explozie potențială a bazei de date - creștere neașteptată, bruscă, disproporționată a volumului acesteia Lipsa flexibilității atunci când este necesară modificarea structurilor de date. Orice modificare a structurii dimensiunilor necesită aproape întotdeauna o restructurare completă a hipercubului. Pentru bazele de date multidimensionale, în prezent nu există standarde uniforme pentru interfață, limbaje pentru descrierea și manipularea datelor	Hyperion (Essbase)
DOLAP (OLAP pentru desktop)	Produse OLAP la nivelul clientului care sunt ușor de implementat și au un cost scăzut pe loc Vorbim despre o astfel de prelucrare analitică, unde hipercuburile sunt mici, dimensiunea lor este mică, nevoile sunt modeste, iar pentru o astfel de procesare analitică este suficientă o mașină personală pe desktop. Scopul producătorilor de pe această piață este să automatizeze sute și mii de locuri de muncă, dar utilizatorii trebuie să facă o analiză destul de simplă. Cumpărătorii sunt adesea direcționați să cumpere mai multe locuri de muncă decât este necesar	Integrare bună a bazelor de date: multidimensională, relațională Capacitatea de a face achiziții complexe, ceea ce reduce costul proiectelor de implementare Ușurința de utilizare a aplicațiilor	Funcționalitate foarte limitată (nu este comparabilă în acest sens cu produsele specializate) Putere foarte limitată (volume mici de date, puține măsurători)	Cognos (PowerPlay) Obiecte de afaceri Deciziile de cristal
	Acesta este cel mai mic sector al pieței. Datele detaliate rămân acolo unde erau inițial - într-o bază de date relațională; unele agregate sunt stocate în aceeași bază de date în tabele de servicii special create	Capabil să gestioneze cantități foarte mari de date (stocare economică) Oferă un mod de operare multi-utilizator, inclusiv modul de editare, nu doar citire Nivel mai ridicat de protecție a datelor și oportunități bune de diferențiere a drepturilor de acces Sunt posibile modificări frecvente ale structurii de măsurare (nu necesită reorganizare fizică a bazei de date)	Performanță slabă, semnificativ inferioară ca viteză de răspuns față de cele multidimensionale (răspunsul la interogări complexe se măsoară în minute sau chiar ore mai degrabă decât în ​​secunde). Sunt generatori de rapoarte mai ușor de utilizat decât instrumente analitice interactive Complexitatea produselor. Necesită costuri semnificative ale serviciilor IT. Sistemele relaționale necesită o schemă de bază de date și o reglare atentă a indexului pentru a obține performanțe comparabile cu MOLAP, ceea ce înseamnă mult efort din partea DBA. Costos de implementat Limitările SQL rămân o realitate, ceea ce împiedică multe funcții încorporate care sunt ușor furnizate în sistemele bazate pe reprezentarea datelor multidimensionale într-un RDBMS.	Avantaj informativ Informix (MetaCube)

Trebuie remarcat faptul că consumatorii de produse hibride care permit selectarea modului ROLAP și MOLAP, precum Microsoft Analysis Services, OracleExpress, Crystal Holos, IBM DB2 OLAPServer, selectează aproape întotdeauna modul MOLAP.

Fiecare dintre categoriile prezentate are propriile sale puncte forte și puncte slabe; nu există o singură alegere optimă. Alegerea afectează 3 aspecte importante: 1) performanță; 2) spațiu pe disc pentru stocarea datelor; 3) capabilitățile, funcționalitatea și mai ales scalabilitatea soluției OLAP. În același timp, este necesar să se țină cont de volumele de date prelucrate, de puterea tehnologiei, de nevoile utilizatorilor și de a căuta un compromis între viteza și redundanța spațiului pe disc ocupat de baza de date, simplitate și versatilitate.

Clasificarea depozitelor de date în funcție de dimensiunea bazei de date țintă

Dezavantajele OLAP

Ca orice tehnologie OLAP, are și dezavantajele sale: cerințe ridicate pentru hardware, instruire și cunoștințe ale personalului administrativ și utilizatorilor finali, costuri mari pentru implementarea proiectului de implementare (atât monetare, cât și de timp, intelectuale).

Alegerea unui produs OLAP

Alegerea produsului OLAP potrivit este dificilă, dar foarte importantă dacă vrei ca proiectul tău să nu eșueze.

După cum puteți vedea, diferențele de produse se află în multe domenii: funcțional, arhitectural, tehnic. Unele produse sunt destul de limitate în personalizare. Unele sunt concepute pentru domenii specializate: marketing, vânzări, finanțe. Există produse de uz general, care nu sunt destinate utilizării în aplicație, care ar trebui să fie suficient de flexibile. De regulă, astfel de produse sunt mai ieftine decât cele specializate, dar există mai multe costuri de implementare. Gama de produse OLAP este foarte largă - de la cele mai simple instrumente pentru construirea de tabele pivot și diagrame care fac parte din produsele de birou, până la analiza datelor și căutarea de modele, al căror cost este de zeci de mii de dolari.

Ca în orice domeniu, nu pot exista linii directoare definitive pentru alegerea instrumentelor în domeniul OLAP. Vă puteți concentra doar pe un număr de puncte cheie și puteți potrivi capacitățile software oferite nevoilor organizației. Un lucru este important: dacă nu te gândești la modul în care vei folosi instrumentele OLAP, riști să te doare capul puternic.

În procesul de selecție, este necesar să luați în considerare 2 întrebări:

• evaluează nevoile și capacitățile întreprinderii
• evaluează oferta existentă pe piață, tendințele de dezvoltare sunt de asemenea importante

Apoi toate acestea pot fi comparate și, de fapt, pot fi făcute o alegere.

Necesită evaluare

Nu puteți face o alegere rațională a unui produs fără a înțelege pentru ce va fi folosit. Multe companii doresc „cel mai bun produs” fără a înțelege clar cum ar trebui să fie utilizat.

Pentru ca proiectul să fie implementat cu succes, directorul financiar trebuie să-și formuleze cel puțin corect dorințele și cerințele managerului și specialiștilor serviciului de automatizare. Multe probleme apar din cauza pregătirii și conștientizării insuficiente pentru alegerea OLAP, profesioniștii IT și utilizatorii finali se confruntă cu dificultăți de comunicare doar pentru că manipulează concepte și termeni diferiți în conversație și propun preferințe contradictorii. Ai nevoie de consecvență în scop în cadrul companiei.

Câțiva factori au devenit deja evidenti după ce am citit prezentarea generală a categoriilor de produse OLAP, și anume:

Aspecte tehnice

• Surse de date: depozit de date corporative, sistem OLTP, fișiere tabel, baze de date relaționale. Posibilitatea de a lega OLAP-toolkit cu toate SGBD utilizate în organizație. După cum arată practica, integrarea unor produse diferite într-un sistem de operare stabil este una dintre cele mai importante probleme, iar soluția sa în unele cazuri poate fi asociată cu probleme mari. Este necesar să înțelegem cât de ușor și de fiabil este integrarea instrumentelor OLAP cu SGBD-urile existente în organizație. De asemenea, este important să evaluați posibilitățile de integrare nu numai cu sursele de date, ci și cu alte aplicații în care este posibil să aveți nevoie să exportați date: e-mail, aplicații de birou
• Variabilitatea datelor care sunt luate în considerare
• Platformă server: NT, Unix, AS / 400, Linux - dar nu insistați ca produsele cu specificații OLAP să ruleze pe platforme discutabile sau pe cale de dispariție pe care încă le utilizați
• Standarde pentru client și browser
• Arhitectură implementată: modem LAN și PC, client/server de mare viteză, intranet, extranet, Internet
• Caracteristici internaționale: suport multi-valută, operațiuni multilingve, partajare de date, localizare, licențiere, actualizare Windows

Cantitățile de informații de intrare care sunt disponibile și care vor apărea în viitor

Utilizatori

• Domeniul de aplicare: analiza vânzărilor / marketingului, bugetarea / planificarea, analiza indicatorilor de performanță, analiza rapoartelor contabile, analiza calitativă, starea financiară, formarea materialelor analitice (rapoarte)
• Numărul de utilizatori și locația acestora, cerințele pentru separarea drepturilor de acces la date și funcții, secretul (confidențialitatea) informațiilor
• Vizualizare utilizator: management superior, finanțe, marketing, resurse umane, vânzări, producție etc.
• Experiența utilizatorului. Nivelul de calificare al utilizatorului. Luați în considerare furnizarea de formare. Este foarte important ca aplicația client OLAP să fie astfel încât utilizatorii să se simtă încrezători și să o poată utiliza eficient.

Caracteristici cheie: nevoie de scriere înapoi a datelor, calcul distribuit, conversii complexe valutare, necesitate de tipărire a rapoartelor, interfață pentru foi de calcul, complexitatea logicii aplicației, dimensiunea necesară, tipuri de analiză: statistică, căutare de obiective, analiză dacă

Implementarea

• Cine va implementa și opera: consultanți externi, IT interni sau utilizatori finali
• Buget: software, hardware, servicii, transmisie de date. Rețineți că licențele pentru produse OLAP reprezintă doar o mică parte din costul total al proiectului. Costurile de implementare și hardware pot fi mai mari decât taxele de licență, iar costurile de asistență, întreținere și administrare pe termen lung sunt aproape sigur semnificativ mai mari. Și dacă ați luat decizia greșită de a cumpăra produsul greșit doar pentru că este mai ieftin, în cele din urmă puteți avea un cost total al proiectului mai mare datorită costurilor mai mari de întreținere, administrare și/sau hardware, în timp ce este probabil să primiți un nivel mai scăzut de beneficii de afaceri. . Când estimați costul total, asigurați-vă că puneți următoarele întrebări: Cât de largă este selecția surselor pentru implementare, instruire și asistență? Este stocul potențial general (angajați, antreprenori, consultanți) predispus la creștere sau reducere? Cât de larg poate fi folosită experiența ta de lucru?

În ciuda faptului că costul sistemelor analitice și astăzi rămâne destul de ridicat, iar metodologiile și tehnologiile de implementare a unor astfel de sisteme sunt încă în stadiul formării lor, chiar și astăzi, efectul economic oferit de acestea depășește semnificativ efectul tradițional. sisteme operaționale.

Efectul organizării corecte, al planificării strategice și operaționale a dezvoltării afacerilor este greu de estimat în cifre în avans, dar este evident că poate depăși costurile implementării unor astfel de sisteme de zeci sau chiar sute de ori. Cu toate acestea, nu trebuie să se înșele. Efectul este furnizat nu de sistemul în sine, ci de oamenii care lucrează cu el. Prin urmare, declarațiile de tipul: „sistemul de depozite de date și tehnologiile OLAP îl vor ajuta pe manager să ia deciziile corecte” nu sunt în întregime corecte. Sistemele analitice moderne nu sunt sisteme de inteligență artificială și nici nu pot ajuta și nici nu pot împiedica luarea deciziilor. Scopul lor este de a oferi managerului toate informațiile necesare pentru a lua o decizie într-o formă convenabilă în timp util. Și ce informații vor fi solicitate și ce decizie va fi luată pe baza acesteia depinde doar de persoana specifică care le folosește.

Un lucru rămâne de spus, aceste sisteme pot ajuta la rezolvarea multor probleme de afaceri și pot avea efecte pozitive de anvergură. Rămâne doar să așteptăm cine este primul care își dă seama de avantajele acestei abordări și va fi înaintea celorlalți.