Data Warehouse ~ osnovni koncepti - vps.ns.ac.rs · • RAID jedinice diskova • >Gb propusna moć mreže – Operativni sistemi • Mrežne, Cluster i Grid arhitekture 24. Motivacija

1

1.

Data WarehouseData Warehouse~ osnovni koncepti ~~ osnovni koncepti ~

Automatizacija procesa Automatizacija procesa poslovanjaposlovanja

2.

Data Warehouse

• Motivacija nastanka DW sistema

• Koncepcija DW sistema

• Opšte tematske karakteristike DW sistema

• Zadaci DW sistema

2

3.

Motivacija nastanka DW sistema

•• Motivacioni faktori poslovanjaMotivacioni faktori poslovanja– Unapređenje znanja o poslovanju

– Odgovor izazovima i promenama tržišta

– Investiranje u proizvod

– Investiranje u tehnologije

– Investiranje u kupce i zadržavanje kupaca

– Obezbeđenje pristupa informacijama o poslovanju

– Obezbeđenje profitabilnog poslovanja

– Obezbeđenje konkurentnosti proizvoda

4.


•• Uloga IS u podršci motivacionih faktoraUloga IS u podršci motivacionih faktora– Pružanje kvalitetnih informacija o poslovanju

• Smanjenje troškova poslovanja

• Praćenje i analiza poslovanja

• Povećanje profita

– Podrška upravljanju• Podrška odlučivanju

3

5.


•• Podrška poslovanjuPodrška poslovanju– Upravljački informacioni sistemi

• Management Information Systems (MIS)– >1970 (>1980) godine

– Sistemi za podršku odlučivanju• Decesion Support Systems (DSS)

– >1980 (>1990) godine

6.


•• Upravljački informacioni sistemiUpravljački informacioni sistemi– Obezbeđuju operativne podatke o poslovanju

– Ad hoc pristup operativnim podacima

– Izveštaji se kreiraju po zahtevima korisnika

– Skromne mogućnosti izveštaja u podršci analize

Izveštaji operativnog nivoaIzveštaji operativnog nivoa MenadžeriMenadžeri

ProdukcionaProdukcionaplatformaplatforma

Ad hoc Ad hoc pristup podacimapristup podacima

4

7.


•• Upravljački informacioni sistemiUpravljački informacioni sistemi– Sistemi za podršku operativnog, transakciono

orijentisanog poslovanja

–– OnOn--line Transaction Processing (OLTP)line Transaction Processing (OLTP) sistemisistemi• projektovani da obezbede odlične performanse (kratko

vreme odziva sistema) u realizaciji transakcija

• kompleksne strukture podataka

• nedovoljno dobro iskazana semantika struktura podataka

• visoka disperzija podataka

• nepogodni za realizaciju zahtevnih upita (upita nad velikim količinama podataka)

8.


•• Tehničke karakteristike OLTP sistemaTehničke karakteristike OLTP sistema

Slog (zapis, n-torka)Jedinica obrade podatakaStatička, retko promenljivaStruktura formi za prikaz podataka

NizakNivo podrške analize podataka

Trenutno stanje (dan)Vremensko određenje podatakaNizakNivo agregiranosti podataka

Mala / SrednjaKoličina podataka po transakcijiOperacije ažuriranjaTipične operacije

OpisKarakteristika

5

9.


•• Upravljački informacioni sistemiUpravljački informacioni sistemi– Analiza podataka, korišćenjem OLTP sistema –

otežana i nepogodna• Svodi se na

– Analizu operativnih podataka

– Korišćenje izveštaja koji se direktno generišu nad operativnim podacima

ProduProdukcionakcionaOLTP platformaOLTP platforma

Izveštaji operativnog nivoaIzveštaji operativnog nivoa

10.


•• OLTP / Proces analize podatakaOLTP / Proces analize podataka– Mogućnosti OLTP / Potrebe kompleksnih analiza

Kompleksne analize

Analiza istorijskih podataka

Analiza agregiranih (integrisanih) podataka

Šema baze podataka: de-normalizovana (zvezdasta)

OLTP

Informaciona podrška dnevnog poslovanja

Skladištenje podataka na nivou pojedinačnih transakcija

Šema baze podataka: normalizovana

6

11.


•• MIS u funkciji obezbeMIS u funkciji obezbeđđenja analizaenja analiza– "Primitivno" rešenje

• Obrada posebno izdvojenih (ekstrahovanih) podataka– Postaje nezavisna (odvaja se) od samog MIS-a

– Stvaraju se "privatni" podaci korisnika

IzvodiIzvodiMIS MIS –– operativna podrškaoperativna podrška MenadžeriMenadžeri

12.


•• Obrada posebnih izvoda podatakaObrada posebnih izvoda podataka– Problemi

• Upravljački aspekt– "eksplozija" izvoda podataka

IzvodiIzvodiMIS MIS –– operativna podrškaoperativna podrška MenadžeriMenadžeri

7

13.


•• Obrada posebnih Obrada posebnih izvoda podatakaizvoda podataka– Problemi

• Aspekt efikasnosti (produktivnosti) poslovanja

– Višestruki napor za rešavanje istih problema

– Upotreba različitih tehnologija– Pojava nepotrebnih izveštaja– Nepostojanje meta podataka

IzvodiIzvodiMIS MIS –– operativna podrškaoperativna podrška

MenadžeriMenadžeri

14.


•• Obrada posebnih izvoda podatakaObrada posebnih izvoda podataka– Problemi

• Aspekt podataka– Ne postoji opšta vremenska odrednica podataka– Primena različitih algoritama obrade za iste probleme– Izdvajanje podataka na različitim nivoima – Različit nivo granularnosti podataka– Neusaglašenost naziva i značenja atributa– Gubitak informacija– Nepostojanje procedura za usaglašavanje podataka– Nepostojanje "drill-down" izveštajnih mehanizama

8

15.


•• DSS u funkciji obezbeDSS u funkciji obezbeđđenja analizaenja analiza– Savremeno i bolje rešenje

• softverska podrška postupaka analize podataka – u funkciji podrške odlučivanja i upravljanja– uvažava potrebe i mogućnosti poslovnog sistema u

celini– zasnovana na jedinstvenom "skladištu" podataka

Interni i eksterniInterni i eksterniizvori podatakaizvori podataka

MenadžeriMenadžeri

Data Data WarehouseWarehouse

16.


•• Sistem za podršku odlučivanju (DSS)Sistem za podršku odlučivanju (DSS)– Programski sistem namenjen za podršku

rukovodiocima pri donošenju poslovnih odluka• Podržava proces odlučivanja• U cilju postizanja uspeha preduzeća na tržištu

– Koristi se u procesu odlučivanja na svim nivoima organizacione strukture

9

17.


•• Sistem za podršku odlučivanju (DSS)Sistem za podršku odlučivanju (DSS)– Ilustracija načina upotrebe DSS sistema

• Davanje odgovora na pitanja tipa:– Kakav je odnos rasta produktivnosti u posmatranim

organizacionim jedinicama preduzeća za period od poslednje tri godine?

– Kakav je odnos uloženih sredstava u reklamiranjeproizvoda i ostvarenih sredstava od njegove prodaje, u poslednja tri meseca?

18.


•• Sistem za podršku odlučivanju (DSS)Sistem za podršku odlučivanju (DSS)– Koristi istorijske operativne podatke kao ulaz

– Podržava matematičke modele analize poslovanja

– Produkuje informacije, bitne za proces odlučivanja

10

19.


•• Opšta struktura DSS sistemaOpšta struktura DSS sistema– Komponenta za upravljanje podacima

• Skladište podataka (Data Warehouse)

• Alati za ekstrahovanje i filtriranje podataka

• Alati za upite

– Komponenta za upravljanje modelima• Baza modela za analizu i odlučivanje

• Alati za definisanje modela analize i odlučivanja

• Alati za izvršavanje modela analize i odlučivanja

– Komponenta za prezentaciju podataka

20.


•• Opšta struktura DSS sistemaOpšta struktura DSS sistema

Operativna BP

Spoljnjiizvori

podataka

Izdvajanje i filtriranje podataka

Skladištepodataka

Bazamodela

Alati za definisanje

modela

Alati za prezentaciju podataka

Alati za upite Alati za analizu podataka

11

21.


•• Oblasti primene DSS & DW sistemaOblasti primene DSS & DW sistema– svi aspekti

poslovanja

MarketingSales

Finance Transport

Production

HumanResources

22.


0 10 20 30 40

Financial

RetailTelecom

Manufacturing

Others

Pokrivenost tržišta (%)Pokrivenost tržišta (%)

• Airline• Banking• Health care• Investment• Insurance

•• Delatnosti za primenu DSS & DW sistemaDelatnosti za primenu DSS & DW sistema

• Retail• Telecommunications• Manufacturing• Credit card suppliers• Clothing distributors

12

23.


•• TehnoloTehnološki motivacioni faktori za primenu ški motivacioni faktori za primenu DSS & DW sistemaDSS & DW sistema– Računarsko-komunikacione tehnologije

• 64-bitni procesori, RISC, SMP, Cluster, MPP, NUMA arhitekture

• RAID jedinice diskova

• >Gb propusna moć mreže

– Operativni sistemi• Mrežne, Cluster i Grid arhitekture

24.


•• TehnoloTehnološki motivacioni faktori za primenu ški motivacioni faktori za primenu DSS & DW sistemaDSS & DW sistema– Sistemi za upravljanje bazama podataka

• paralelno izvršavanje upita

• fizičko particioniranje baze podataka

• tehnike indeksiranja

• tehnike distribucije i replikacije BP

– Višeslojne K/S arhitekture sistema– Namenski alati za izgradnju DSS & DW sistema– Web orijentisane softverske tehnologije

13

25.

Data Warehouse





26.

Koncepcija DW sistema

•• Data Warehouse (DW)Data Warehouse (DW)– Pojam nastaje kao odgovor na zahtev da

• DSS treba da poseduju i obrađuju veliku količinu podataka, proizvedenih iz operativnih podataka

• je potreban novi pristup organizaciji i upravljanju podacima za DSS

– DW predstavlja osnovni element DSS nove generacije

– Pojam "Skladište podataka" ne iskazuje, na zadovoljavajući način, suštinu pojma DW

• to nije baza operativnih podataka, niti nestrukturirani skup podataka

14

27.


•• Data Warehouse (DW)Data Warehouse (DW)"A Data Warehouse is a "A Data Warehouse is a

•• subject orientedsubject oriented, ,

•• integratedintegrated, ,

•• time varianttime variant, , •• non volatilenon volatile

collection of data in support of management's collection of data in support of management's decision making process."decision making process."

• Bill Inmon– tvorac pojma DW

28.


•• Data Warehouse (DW)Data Warehouse (DW)"A Data Warehouse is a"A Data Warehouse is an enterprise structured n enterprise structured

repository of repository of •• subject orientedsubject oriented, ,

•• time varianttime variant, , •• historicalhistorical

data used for information retrieval and data used for information retrieval and decision support. The data warehouse stores decision support. The data warehouse stores atomic and summary dataatomic and summary data."."

• Oracle Data Warehouse Method

15

29.


•• Svojstva DW sistemaSvojstva DW sistema

SubjectOriented

Integrated

Time VariantNon Volatile

DataWarehouse

30.

Integrisanost DW

• Podaci o jednom entitetu se zadaju i čuvaju na jednom mestu

Data WarehouseData WarehouseOLTP OLTP BPBP

Štednja

Stanje računa

Krediti Korisnik

16

31.

Integrisanost DW

• Data Warehouse predstavlja centralizovanu bazu podataka– sadrži podatke svih organizacionih delova

preduzeća

– u standardizovanom formatu• često, podaci iz operativnih BP su particionirani u više

organizacionih delova

• pojedinačni delovi BP su različito strukturirani i standardizovani

– mogu biti implementirani čak i pod različitim SUBP-ovima

32.



SubjectOriented

Integrated


DataWarehouse

17

33.

Orijentacija DW sistema na teme

• Podaci se kategorišu i organizuju po temama poslovanja– a ne po funkcionalnim celinama, kao u OLTP

sistemima

OLTP OLTP BPBP

Podaci ofinansijskomposlovanju

DWDW TemaTema

PlaniranjeZajedničkičinioci

poslovanjaOsiguranje

Krediti Štednja

34.


• Posledica zahteva da– Različite funkcije poslovnog sistema treba da

upotrebljavaju jedinstveni Data Warehouse

• Odnos teme – funkcije poslovnog sistema:– Jedna tema može biti od interesa za više

poslovnih funkcija, i obratno

– Različite teme mogu deliti zajedničke podatake

18

35.


•• Primeri mogućih tema:Primeri mogućih tema:– prodaja

• podaci o proizvodima, kupcima, prostornoj i organizacionoj strukturi,...

– marketing• podaci o tržištu, proizvodima, kupcima, konkurenciji,...

– proizvodnja• podaci o proizvodima, kupcima, tehnologijama,

planovima,...

– finansijsko poslovanje

– transport

36.



SubjectOriented

Integrated


DataWarehouse

19

37.

Vremenska zavisnost DW

•• Zavisnost podataka u DWZavisnost podataka u DW– Podaci se organizuju putem nizova "preseka

stanja" ("slika") operativnih podataka• svaki presek se odnosi na jedan vremenski interval

01/97

02/9703/97

Januar

Februar

MartData WarehouseData Warehouse

Vreme Podaci za 1997

1997

1997

38.


•• Zavisnost podataka u DWZavisnost podataka u DW– DW sadrži vreme, kao dimenziju

• DW sadrži agregirane podatke o poslovanju u vremenu– istorijske

» poslednja nedelja, mesec, godina, obračunski period

– u budućnosti» podaci koji reprezentuju predviđanja, kao rezultat

sprovedenih analiza

20

39.


•• Zavisnost DW od vremenaZavisnost DW od vremena– DW se periodično ažurira

• dodavanjem novih podataka, preuzetih iz operativnih BP i ostalih spoljnjih izvora

• ponovnim izračunavanjem vrednosti vremenski zavisnih agregiranih podataka, kao posledica dodavanja podataka

– Primer:• ukoliko se u DW dodaju najnoviji podaci o prodaji za

poslednji vremenski period, potrebno je preračunati sumarne podatke o prodaji za proizvode, kupce i prodajna mesta

40.



SubjectOriented

Integrated


DataWarehouse

21

41.

Nepromenljivost DW

• Podaci u DW se, praktično, vrlo retko brišu ili modifikuju– Najčešće, podaci se samo dodaju u DW

– DW se uvek samo povećava u vremenu– dostiže razmere TByte baza podataka

• SUBP mora biti osposobljen da upravlja, po obimu podataka, vrlo velikim bazama podataka

ReadRead

InsertInsertUpdateUpdateDeleteDelete

LoadLoad

OperaOperativna BPtivna BP Data Data WarehouseWarehouse

ReadRead

42.

Nepromenljivost DWOpšti postupak ažuriranja DWOpšti postupak ažuriranja DWOpšti postupak ažuriranja DW

OperatiOperativna BPvna BP

Početno punjenjePočetno punjenje

OsvežavanjeOsvežavanje



Arhiviranje i brisanjeArhiviranje i brisanje

Data WarehouseData Warehouse

VremeVreme

22

43.

Data Warehouse





44.

Opšte tematske karakteristike DW

• Granularnost

• Dimenzionost

• Diskretizacija vremena

• Opseg pokrivenosti

• Poređenje karakteristika DW i OLTP

23

45.

Granularnost

• Operativni podaci su predmet individualnih transakcija u OLTP sistemu

• Podaci za DW se dobijaju agregacijom (sintetizovanjem) operativnih podataka– nivoi, na kojima se agregiraju podaci, mogu biti

različito definisani• u zavisnosti od definisanih poslovnih ciljeva

46.

Granularnost

•• Fina granulacija Fina granulacija – najviši stepen granularnosti

– operativni podaci iz OLTP sistema

•• Gruba granulacija Gruba granulacija – niži stepen granularnosti

– podaci iz DW

•• Nivo granularnostiNivo granularnosti– definisan nivoom agregacije podataka u DW

• obrnuto proporcionalan nivou agregacije podataka

24

47.

Granularnost

•• Nivo agregacije podataka u DWNivo agregacije podataka u DW– definisan "najužim" kontekstom iskazivanja

podataka u DWGODINA?

KVARTAL?MESEC?

SEDMICA?DAN?

KONTINENT?

REGION?DRŽAVA?

OBLAST?GRAD?

Primer:vremenski aspektgranularnosti DW

Primer:prostorni aspektgranularnosti DW

48.

Granularnost

•• Nivo agregacije podataka u DWNivo agregacije podataka u DW–– PrimerPrimer

• Menadžer analizira podatke o prodaji s obzirom na prostorni (geografski) aspekt

– Potrebni su mu podaci na nivou

» prodajnog mesta, » grada i » regiona

– Nisu mu nikada potrebni podaci o pojedinačnim transakcijama prodaje

25

49.


• Granularnost

• Dimenzionost




50.

Dimenzionost

•• Dimenzionalna (višedimenzionalna)Dimenzionalna (višedimenzionalna)ogranizovanost podataka u DW– DW sadrži podatke o vrednostima praćenih

parametara poslovanja• takvi podaci uvek se iskazuju s obzirom na različite

kontekste (dimenzije)

– Vrste podataka u DW• činjenični podaci

– iskazuju vrednosti praćenih parametara poslovanja, u okviru zadatog konteksta (dimenzionih parametara)

• dimenzioni podaci– iskazuju dimenzione karakteristike činjeničnih podataka

26

51.

Dimenzionost

•• Višedimenzionalnost DWVišedimenzionalnost DW– Vrste podataka u DW

• činjenični podaci• dimenzioni podaci

• Efikasnost prodaje• Prodata količina• Troškovi• Dobit

Atributi, čija je vrednost Atributi, čija je vrednost "konstantna" u vremenu:"konstantna" u vremenu:

Atributi čija se vrednost Atributi čija se vrednost menja u vremenu:menja u vremenu:

Mere parametaraMere parametara DimenDimenzijezije

• Naziv i opis• Boja• Veličina• Cena

52.

Dimenzionost

•• Motivacija višedimenzionalnosti DWMotivacija višedimenzionalnosti DW– donošenje poslovnih odluka zahteva međusobno

povezivanje kako pojedinačnih, tako i agregiranihpodataka o entitetima različitih klasa

–– PrimerPrimer::• Praćenje i analiza prodaje proizvoda

– Dimenzije: » kupac, proizvod, vreme, prostorna struktura

– Činjenice:» prodata količina posmatranog proizvoda po kupcu, u

zadatom vremenskom intervalu i u zadatom prostoru

» bruto promet, dobit od prodaje, troškovi prodaje,...

27

53.

Dimenzionost

ProizvodProizvod Prostornastruktura

Prostornastruktura

Činjenice

(Pokazateljiprodaje

proizvoda)

Činjenice

(Pokazateljiprodaje

proizvoda)

KupacKupac VremeVreme

Evidencije dimenzijaEvidencije dimenzija

Evidencija činjenicaEvidencija činjenica

54.


• Granularnost

• Dimenzionost




28

55.

Diskretizacija vremena

•• Vreme u OLTP sistemimaVreme u OLTP sistemima– operativni podaci u BP imaju kratak životni vek

• u principu, do jedne godine

• odnose se na pojedinačne poslovne transakcije

• relativno brzo postaju nepotrebni i brišu se (arhiviraju)

• vreme diskretizovano do jedinice u rasponu: – dan (npr. bankarstvo), do

– sekunda (telekom usluge)

• nepogodni su za odlučivanje strateškog ili taktičkog karaktera

56.


•• Vreme u DW sistemimaVreme u DW sistemima– praktično, obavezna dimenzija podataka u DW

– DW obuhvata relativno dugačak period vremena• u principu nekoliko godina (i do 10 godina)

• podaci se odnose na parametre poslovanja

• vreme diskretizovano do jedinice u rasponu:– dan, do

– mesec

29

57.


•• Vreme u DW sistemimaVreme u DW sistemima– Izbor vremenske jedinice diskretizacije

• prema potrebama menadžmenta strateškog i taktičkog niova

• svi agregirani podaci se iskazuju s obzirom na– zadatu vremensku jedinicu diskretizacije, ili

– sumiraju se na višu vremensku jedinicu diskretizacije

• kritični faktor uspeha u životnom veku DW sistema

58.


• Granularnost

• Dimenzionost




30

59.

Opseg pokrivenosti

•• Klasifikacija DW sistemaKlasifikacija DW sistema– prema opsegu pokrivenosti tema

• Enterprise Data Warehouse– pokriva celokupno poslovanje

• Data Mart– pokriva samo jedan segment poslovanja

» uobičajeno, jednu temu

60.

Opseg pokrivenosti

•• Enterprise Data WarehouseEnterprise Data Warehouse– Pokriva celokupno poslovanje

• Obuhvata podatke vezane za sve teme poslovanja

• Razvija se, uobičajeno, inkrementalnim pristupom

• Predstavlja jedan izvor podataka za celokupan menadžment poslovnog sistema

• "Sinhronizuje" podatke iz svih izvora podataka poslovnog sistema

• Može biti osnova za izgradnju pojedinačnih Data Mart sistema

31

61.

Opseg pokrivenosti

•• Data MartData Mart– Pokriva samo jedan segment poslovanja

• obuhvata podatke vezane za jednu temu poslovanja

• može predstavljati pilot projekat za realizaciju obimnijeg DW sistema

• može biti realizovan kao– nezavisni Data Mart

» izolovan od drugih DW sistema

– zavisni Data Mart

» naslonjen na druge DW sisteme

62.

Opseg pokrivenosti

•• Nezavisni Data MartNezavisni Data Mart

Data Mart (Prodaja, Marketing)Data Mart (Prodaja, Marketing)

Spoljnji podaciSpoljnji podaci

Eksterne datotekeEksterne datotekeOLTP sistemi BP

OLTP sistemi BP

32

63.

Opseg pokrivenosti

•• Zavisni Data MartZavisni Data Mart

MarketingProdaja

FinansijeKadrovski resursi

Data Data WarehouseWarehouse Data MartData Mart

OLTP sistem i BP

OLTP sistem i BP Marketing

Prodaja

Finansije

Spoljnji podaciSpoljnji podaci

Eksterne datotekeEksterne datoteke

Data MartData Mart

Data MartData Mart

64.

Opseg pokrivenosti

•• Enterprise DW Enterprise DW / Data Mart/ Data Mart

Data Mart

Sektor (org. celina)

Jedna

Manji broj (nekoliko)

< 100 GB

Meseci

Osobina

Oblast

Teme

Izvori

Tipična veličina

Vreme implementacije

Data Warehouse

Poslovni sistem

Više

Više

100 GB - > 1 TB

Meseci - godine

33

65.


• Granularnost

• Dimenzionost




66.

Poređenje karakteristika DW i OLTP

VisokaNiskaKompleksnost upita

VisokaNiska / SrednjaFrekvencija upita

VelikaMala / SrednjaKoličina podataka po transakciji

Transakcije upitaTransakcije ažuriranjaKritične transakcije

Nekoliko sekundi –Više sati

Punjenje i periodično osvežavanje

Operacije upitaData Warehouse

Veliki broj DML operacija

Ažuriranje BP

Do nivoa sekundeOčekivano vreme odgovora

Operacije ažuriranjaTipične operacijeOperativna BP (OLTP)Karakteristika

Transakcionekarakteristike

34

67.


Polinomijalno /Eksponencijalno

LinearnoPovećanje obima baze podataka

Dan – GodinaDan – SekundaVremenska diskretizacija podataka

Više godinaDo jedne godineAktuelnost podataka

Denormalizovana, manje kompleksna

Normalizovana, kompleksnija

Šema BP

VisokNizakNivo agregacijeAgregirani podaci

GB – TB

Data Warehouse

Elementarni podaciGranularnost podataka

MB – GBObim baze podataka

Operativna BP (OLTP)Karakteristika

Karakteristikepodataka

68.


Operativna BP, interni i eksterni izvori

Operativno poslovanje

Izvori podataka

Prema temamaPrema funkcijamaOrganizacija podataka

Analiza i odlučivanjeOperativno poslovanje

Podrška poslovnih procesa

Kontekstno zavisne, promenljive

Statičke, retko promenljive

Forme za prikaz podataka

Neuniforman, mogući "udarni" termini

UniformanIntenzitet korišćenja BP u vremenu

Data WarehouseOperativna BP (OLTP)Karakteristika

Karakteristikeposlovanja

35

69.

Data Warehouse





70.

Zadaci DW sistema

Alati za upiteAlati za upite

WebWeb aplikacijeaplikacije

Podaci različitog tipaPodaci različitog tipa Alati različite nameneAlati različite nameneRazličiti izvoriRazličiti izvori

SpoljnjiSpoljnjipodacipodaci

OperatiOperativnivnipodacipodaci

OLAPOLAP, DSS,, DSS,Data Mining alatiData Mining alatiText, image

Oracle Medi`

Relational /Multidimensional

Spatial

Audio,videoWeb

36

71.

Zadaci DW sistema

Upravljanje projektom razvoja DW sistema(Metodologija, standardi, alati, upravljanje meta podacima)

Upravljanje projektom razvoja DW sistema(Metodologija, standardi, alati, upravljanje meta podacima)

EdukacijaDW Concepti

& terminologija

EdukacijaDW Concepti

& terminologija

Planiranjerazvoja

DW sistema

Planiranjerazvoja

DW sistema

Analizapotreba za

upitima

Analizapotreba za

upitima

Projektovanjearhitekture

DW

Projektovanjearhitekture

DW

ProjektovanjeDW

ProjektovanjeDW

Projektovanjefizičke

strukture DW

Projektovanjefizičke

strukture DW

ETL(Kreiranje i osvež. DW)

ETL(Kreiranje i osvež. DW)

Sagledavanjepotreba

korisnika iposlovanja

Sagledavanjepotreba

korisnika iposlovanja

Obezbeđenjepristupa DW(korišćenje)

Obezbeđenjepristupa DW(korišćenje)

UpravljanjeDW

sistemom

UpravljanjeDW

sistemom

72.

Zadaci DW sistema

•• Projektovanje DWProjektovanje DW–– Opšti zOpšti zahtevahtevii

• Primena odgovarajuće metodologije– ciljevi i postupci (procesi) projektovanja

– tehnike projektovanja

– projektantski softverski alati

– projektantski standardi (uputstva)

• Primena opštih principa softverskog inženjerstva

• Uvažavanje namene i prirode DW sistema– različite od namene i prirode OLTP sistema

37

73.

Zadaci DW sistema

•• Projektovanje DWProjektovanje DW–– Poslovni zahteviPoslovni zahtevi

• Struktura i sadržaj DW se razlikuje od OLTP BP– Zahtevi za obezbeđenje analiza podataka

– Orijentacija podataka u DW na teme

» Identifikacija tema poslovanja

» Definisanje veza između tema poslovanja

» Identifikacija i imenovanje atributa tema

74.

Zadaci DW sistema

•• Projektovanje DWProjektovanje DW–– Projektantski zahteviProjektantski zahtevi

• Projektovanje Enterprise DW je, praktično, iterativan proces

• Metodologija treba da bude zasnovana na – iterativnom (evolutivnom) pristupu i – inkrementalnom pristupu

» sigurna i proverena» upravljiva» preporučljiva

• Postoje odgovarajući CASE alati koji mogu da podrže iterativno i inkrementalno projektovanje DW

38

75.

Zadaci DW sistema

•• Projektovanje Projektovanje arhitekture arhitekture DWDW– Arhitektura DW obuhvata:

• Server DW– sa SUBP i– sa softverskom podrškom za kreiranje, osvežavanje i

korišćenje DW baze podataka

• DW Aplikativne servere– sa aplikativnim softverom za podršku korišćenja DW

baze podataka» upiti i prezentacija podataka» analiza, istraživanje podataka i proces odlučivanja

• DW Klijente

76.

Zadaci DW sistema

•• Projektovanje Projektovanje arhitekture DWarhitekture DW– Arhitektura DW obuhvata:

• Operational data store (ODS)– memoriše podatke taktičkog nivoa iz operativne BP

» orijentisane na teme

» integrisane, saglasno operativnim potrebama DW

DWDWODSODSOLTPOLTP

39

77.

Zadaci DW sistema

•• Projektovanje Projektovanje arhitekture DWarhitekture DW– Arhitektura DW obuhvata:

• Metapodatke (Metadata)– podatke o strukturi i sadržaju samog DW

» podatke o podacima u DW

Metadata

DWDWODSODSOLTPOLTP

78.

Zadaci DW sistema

•• Arhitektura DWArhitektura DW

Enterprise Enterprise DDataataWWarehousearehouse

BusinessBusinessAArearea

WWarehousearehouse

Izvori podatakaIzvori podataka

Integracijapodataka

40

79.

Zadaci DW sistema

•• Projektovanje Projektovanje fizičke strukture fizičke strukture DWDW– Zahtev: efikasna podrška velikih BP (>TB)

• Arhitektura servera DW BP– karakteristike hardvera i OS

• Mehanizmi SUBP– fizičko particioniranje BP

– paralelno izvršavanje upita i optimizacija upita

– tehnike indeksiranja

» bitmap, join, project i bit-slice indeksne strukture

– tehnike replikacije BP

» materijalizovani pogledi

80.

Zadaci DW sistema

•• Kreiranje i osvežavanje Kreiranje i osvežavanje DWDW -- ETETLL– Zahtev: primena odgovarajućih alata za zadatke

•• EEkskstratrakcijakcija (Extraction)(Extraction)– selektovanje (izdvajanje) podataka iz različitih izvora

•• TransformaTransformacijacija (Transformation)(Transformation)– validacija, pročišćavanje, integracija i vremensko

označavanje podataka

•• Punjenje (Loading)Punjenje (Loading)– punjenje DW baze podataka

OLTP OLTP BPBP MeMeđđuu--fajlfajl Data Data Warehouse Warehouse BPBP

41

81.

Zadaci DW sistema

•• ObezbeObezbeđđenje pristupa enje pristupa DWDW– Zahtev: primena odgovarajućih alata za korišćenje

DW baze podataka

– Zadaci – obezbeđenje• prezentacije podataka• opšte podrške pristupa DW• zadavanja upita i generisanja izveštaja• analiza podataka• istraživanja podataka• podrške procesa odlučivanja

82.

Zadaci DW sistema

•• ObezbeObezbeđđenje pristupa enje pristupa DWDW– Prezentacija podataka

• GUI, Windows, Web i štampane forme

• u alfanumeričkom, grafičkom, ili grafikonskom obliku

– Opšta podrška pristupa DW• aplikacije za rad sa DW bazom podataka

– Windows orijentisane

– Web orijentisane, bazirane na koncepciji Portala

– dinamički konfigurabilne

» prema potrebama, pravima pristupa i željama korisnika

42

83.

Zadaci DW sistema

•• ObezbeObezbeđđenje pristupa enje pristupa DWDW– Zadavanje upita i generisanje izveštaja

• inteligentni i GUI orijentisani editori upita

• inteligentni i GUI orijentisani editori formi za izveštaje

• podrška izgradnje različitih tipova izveštaja– "jednostavnih" i "master-detail" ("zaglavlje-stavke")

– "drill-down" ("dubinski orijentisanih")

– egzaktnih

– prognostički orijentisanih

84.

Zadaci DW sistema

•• ObezbeObezbeđđenje pristupa enje pristupa DWDW– Analiza podataka

• upotreba On-line Analytical Processing (OLAP) alata– upita i izračunavanja nad višedimenzionalnim strukturama

» strukture tipa hiperkocke

• upotreba matematičkih modela analize podataka– linearno programiranje

– regresione analize

– analize vremenskih serija

43

85.

Zadaci DW sistema

•• ObezbeObezbeđđenje pristupa enje pristupa DWDW– Istraživanje podataka

• upotreba Data Mining alata– rezonovanje (izvođenje zaključaka) na osnovu velike

količine podataka (iz DW)

– podrška formalnih metoda rezonovanja

» veštačka inteligencija (otkrivanje znanja i mašinsko učenje)

– podrška statističkih metoda

» istraživačke analize podataka

86.

Zadaci DW sistema

•• ObezbeObezbeđđenje pristupa enje pristupa DWDW– Podrška procesa odlučivanja

• upotreba inteligentnih DSS (ekspertskih sistema) za podršku

– identifikacije problema odlučivanja

– identifikacije vrednih alternativa pri odlučivanju

– primene matematičkih modela odlučivanja

– ocenjivanje alternativa pri odlučivanju

– izbor alternative pri odlučivanju

– simulaciju primene izabrane alternative

– praćenja i analize efekata primene izabrane alternative

44

87.

PitanjaPitanja

88.

Data WarehouseData Warehouse~ osnovni koncepti ~~ osnovni koncepti ~

Automatizacija procesa Automatizacija procesa poslovanjaposlovanja

Documents

Data Warehouse ~ osnovni koncepti - vps.ns.ac.rs · • RAID jedinice diskova • >Gb propusna moć mreže – Operativni sistemi • Mrežne, Cluster i Grid arhitekture 24. Motivacija