Upload
ivan-sanader
View
62
Download
0
Embed Size (px)
DESCRIPTION
Data warehose explained
Citation preview
5/24/2018 Skladista Podataka
1/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 1
SKLADITA PODATAKA(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
2/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 2
Assis. Prof. Stipe elar, Ph.D.
Experience Education
TU WienPh.D. (tech.sc.)1994 - 1997
Uni ZagrebB.sc. (philos.)1991 - 1995
Uni SplitM.sc. (elec.eng.)19871992
IEEE member
PMI member
ACM member
DAAAM member
current:
o Assis. Prof. at FESB, University of Split
o Head of the CCSE at FESB, University of Split
o Visiting Prof. at University of Mostar, FSR
past:
o honorary professor at FESB, University of Split
www.fesb.hr
o vice director, project manager at ENEL-Split (CRO)www.enel.hr
o consultant, project manager at PULSAR (CRO)
www.pulsar.hr
o Research Fellow at TU Wien, IFLT (AT)www.ift.at
o lecturer at FESB, University of Split (CRO)
www.fesb.hr
www.fesb.hr/ccse
5/24/2018 Skladista Podataka
3/189
EDW Is Driving Next Best Actions Across Optimized Business Processes
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
5/24/2018 Skladista Podataka
4/189
The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
5/24/2018 Skladista Podataka
5/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 5
Kolegij
Predavanja
5 ECTS
30 h, 2 h tjedno
od danas
Vjebe (lab) 30 h
od slijedeeg tjedna
u laboratoriju B523
rad na projektnim zadacima
3-4 osobe u timu
konzultacije s profesorom i demonstratorom
prezentacije projekta tijekom semestra
5/24/2018 Skladista Podataka
6/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 6
Nain rada
Statut
Pravilnici
Odluke
Raspored i dogovori
Prisutnost i evidencija
Nismo prvi put zajedno
SURADNJA!
5/24/2018 Skladista Podataka
7/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 7
Metoda rada
Predavanja
osnovni koncepti DW i BI
Vjebe (B523) demonstrator
diplomant Marinko Peo
Projekt definiranje teme
rad na temi Povremene prezentacije
Prezentacija finalna
Gostujua predavanja iz prethodnih godinawww.tetral.hr
Tomislav Piasevoli
EMC Croatia
Poslovna Inteligencija
http://www.tetral.hr/http://www.tetral.hr/5/24/2018 Skladista Podataka
8/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 8
Kula babilonska
Zapoeti prepisku:
oznakom FELK16 i/ili
Rijeima DW i/ili SKLADITA PODATAKA(u naslovu poruke)
Konzultacije:
prema najavi i dogovoru
mailom
ili prije vjebiStalni termin e biti objavljen na portalu
Vjerojatno srijeda 14-15 h
5/24/2018 Skladista Podataka
9/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 9
Ocjenjivanje
OCJENA KROZ PROJEKT I PREZENTACIJE
svaki lan tima doprinosi projektu
5/24/2018 Skladista Podataka
10/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 10
Literatura
Books: Ralph Kimball & Margy Ross, The Data Warehouse Toolkit, Second Edition (The
Complete Guide to Dimensional Modeling), Wiley Computer Publishing, 2002
Ralph Kimball, The Fundamentals of Data Warehousing, Inteligent Enterprise,http://www.keeboo.com
W. H. Inmon, Building the Data Warehouse, Third Edition, Wiley Computer Publishing,2002
Chris Todman, Designing a Data Warehouse: Supporting Customer RelationshipManagement , 1st Edition, Prentice Hall PTR, ISBN: 0-13-089712-4, 2000
Kimball University http://www.kimballgroup.com/
materijali s predavanja
Web sites: Gartner
Teradata IBM
Oracle
Microsoft
forumi
http://www.keeboo.com/http://www.keeboo.com/http://www.kimballgroup.com/http://www.kimballgroup.com/http://www.kimballgroup.com/http://www.keeboo.com/5/24/2018 Skladista Podataka
11/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 11
Ciljevi kolegija
Upoznati studente s temeljnim pricipima izgradnje i
primjene tehnologije skladita podataka.
Studenti trebaju stei znanje za:
odabir DW projekta,
odabir strategije i planiranje DW projekta,
odabir odgovarajue arhitekture,
izgradnju kvalitetnog skladita podataka,
integraciju znanja o poslovnom sustavu i informacijskoj
tehnologiji,
ostvarenje maksimalne vrijednost DW investicije
5/24/2018 Skladista Podataka
12/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 12
Nastavne jedinice
Uvod u DW i BI
1. Osnovne informacije i osnovni pojmovi 2. Okvir za razumijevanje skladita podataka
3. Arhitekture skladita podataka
Dizajn i konstrukcija 4. ivotni ciklus izgradnje skladita podataka (faze izgradnje)
5. Modeliranje skladita podataka
Poslovna inteligencija 6. Koritenje skladita podataka
7. Informacijska obrada (upiti i izvjetaji)
8. Analitika obrada
9. Stanje prakse
5/24/2018 Skladista Podataka
13/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 13
Big data
2000: 0,8 ZB
2020: 35 ZB
Godinji prirast:Twitter: 7 TB
FB: 10 TB
Prefiks Znak Vrijednost
jota Y 1024
zeta Z 1021
eksa E 1018
peta P 1015
tera T 1012
giga G 109
mega M 106
kilo k 103
hekto h 102
deka da 10
deci d 101
centi c 102
mili m 103
mikro 106nano n 109
piko p 1012
femto f 1015
ato a 1018
zepto z 1021
jokto y 1024
Prefiksi mjernih jedinicaprema SI sistemu
http://bs.wikipedia.org/wiki/SI_sistemhttp://bs.wikipedia.org/wiki/SI_sistemhttp://bs.wikipedia.org/wiki/SI_sistem5/24/2018 Skladista Podataka
14/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 14
NIST Enterprise Architecture Model
Developed by the National Institute ofStandards and Technology(NIST) in1989, became in the 1990s widelyaccepted and promoted within theU.S. federal governmentas anEnterprise Architecture managementtool
Business Architecture drives theinformation architecture
Information architecture prescribes theinformation systems architecture
Information systems architectureidentifies the data architecture
Data Architecture suggests specific datadelivery systems, and
Data Delivery Systems (Software,Hardware, Communications) supportthe data architecture
http://en.wikipedia.org/wiki/National_Institute_of_Standards_and_Technologyhttp://en.wikipedia.org/wiki/National_Institute_of_Standards_and_Technologyhttp://en.wikipedia.org/wiki/National_Institute_of_Standards_and_Technologyhttp://en.wikipedia.org/wiki/Federal_government_of_the_United_Stateshttp://en.wikipedia.org/wiki/Federal_government_of_the_United_Stateshttp://en.wikipedia.org/wiki/Federal_government_of_the_United_Stateshttp://en.wikipedia.org/wiki/National_Institute_of_Standards_and_Technologyhttp://en.wikipedia.org/wiki/National_Institute_of_Standards_and_Technology5/24/2018 Skladista Podataka
15/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 15
Skladite podataka
Skladite podataka
Data Warehouse
usko povezan pojam s poslovnom inteligencijom
5/24/2018 Skladista Podataka
16/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 16
Pretpostavke (2007)
Do 2012, analitikeaplikacije koje se proteukroz vieposlovnih podrujainitievieod 50% ukupnoimplementiranih analitikihaplikacija
0,8 vjerojatnosti
Do 2015, Business Intelligence metodologije i
tehnologije bit eprepoznate kao kljunei integralnekomponente u 80% korporativnih aplikacija
0,7 vjerojatnosti
5/24/2018 Skladista Podataka
17/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 17
Pretpostavke (2002)
Svjetski trendovi pokazuju da se u sljedeih 5-7 godina
oekuje ravnopravna zastupljenost standardnihrelacijskih i "data-warehouse" sustava u veini srednjihi velikih kompanija
Projekt OLAP PEKO DAL, 18.02.2002.
5/24/2018 Skladista Podataka
18/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 18
Krenimo od definicija
Skladite podataka
datawarehouse (Data Warehouse) DW Poslovna inteligencija
Business Intelligence BI
Umjetna inteligencija Artificial Intelligence AI
Online Analytical ProcessingOLAP Sustavi za podrku odluivanju
Decision Support System DSS
Knowledge-based systems
Rudarenje po podacimaotkrivanje znanja iz podataka Data Mining
...dakle mnoto pojmova!
I poprilino zbunjujui njihov meuodnos!
5/24/2018 Skladista Podataka
19/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 19
SKLADITA PODATAKA(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
20/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 20
Krenimo od definicija
Skladite podataka
datawarehouse (Data Warehouse) DW Poslovna inteligencija
Business Intelligence BI
Umjetna inteligencija Artificial Intelligence AI
Online Analytical ProcessingOLAP Sustavi za podrku odluivanju
Decision Support System DSS
Knowledge-based systems
Rudarenje po podacimaotkrivanje znanja iz podataka Data Mining
...dakle mnoto pojmova!
I poprilino zbunjujui njihov meuodnos!
5/24/2018 Skladista Podataka
21/189FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 21
Razjasnimopoevi od ovjeka
"ovjekje mjerilo svih stvari; onih koje jesu da jesu, a onih koje
nisu da nisu". Protagora (481420. p.n.e.)
Iako NETONA, ova tvrdnja primjenjuje se za: mjeru inteligentnosti neivih bia
Tj. njih oznaavamo inteligentnim po analogiji s ovjekom
A za ovjeka esto ujemo da je: inteligentan
pametan mudar
razborit
razuman
...
5/24/2018 Skladista Podataka
22/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 22
Odakle poeti?
Krenimo od pojmovnog odreenja INTELIGENCIJE
intellect
1
a: the power of knowing as distinguished from the power to feel andto will : the capacity for knowledge
b: the capacity for rational or intelligent thought especially when
highly developed
2:
a person with great intellectual powers
(www.merriam-webster.com/dictionary)
5/24/2018 Skladista Podataka
23/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 23
Informacija & Podatak & znanje
Podatak
injenica/zapis o dogaaju ili pojavi
naglasak je na specifikaciji sintakse
Informacija
sadri sintaksu (formu) i semantiku (sadraj)odgovor na pitanja: tko, to, gdje, kada
ZNANJE i RAZUMIJEVANJE
sadri pragmatinu dimenziju
povezano s ciljem i svrhom
odgovor na pitanje: kako i zato
5/24/2018 Skladista Podataka
24/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 24
Podatakinformacijaznanjemudrost
http://www.systems-thinking.org/dikw/dikw.htm
http://www.systems-thinking.org/dikw/dikw.htmhttp://www.systems-thinking.org/dikw/dikw.htmhttp://www.systems-thinking.org/dikw/dikw.htmhttp://www.systems-thinking.org/dikw/dikw.htm5/24/2018 Skladista Podataka
25/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 25
Znanje i mudrost
Znanje je skup ljudskih vjerovanja i vrednovanja koja
se temelje na smisleno organiziranom skupu obavijesti(poruka) do kojih se dolazi iskustvom, komunikacijom
ili zakljuivanjem (Tehniki leksikon, Leksikografskizavod Miroslav Krlea, Zagreb, 2007.)
ZNANJE omoguuje interpretacijupodataka, uoavanjihovu uzrono-posljedinupovezanost
MUDROST ukljuuje i sposobnostprosuivanja,donoenjazakljuaka, to je sposobnost ljudskog UMA
5/24/2018 Skladista Podataka
26/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 26
Aristotel
Svaki ovjek po prirodi teiznanju.
Znanja su se najprije pojavila u
zemljama u kojima su ljudiimali napretek slobodnog
vremena. Tako je Egipat bio
kolijevka matematike nauke,jer je tu sveenikom staleubilo ostavljeno mnogo
slobodnog vremena.
(Metafizika)
KonfucijeKo ne zna, a ne zna da ne zna - opasan je -
izbjegavajte ga!
Ko ne zna, a zna da ne zna - dijete je - nauitega!
Ko zna, a ne zna da zna - spava - probudite ga!
Ko zna i zna da zna - mudar je - slijedite ga!
Temelj nove tehnoloke revolucije: Znanje
Kudikamo je bolje znati o svakoj stvariponeto nego o jednoj sve.
Pametan ovjek nikad nee rei da svezna.
Znati ne znai biti.
Naueno morate pokuati prenijeti usvakodnevni ivot.
Pascal
http://bs.wikiquote.org/wiki/Metafizika_(Aristotel)http://bs.wikiquote.org/wiki/Metafizika_(Aristotel)5/24/2018 Skladista Podataka
27/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 27
O spoznaji i intelektu
ovjek ima sposobnost spoznavati, jer ima INTELEKT.
Stoga kaemo da je ovjek inteligentno bie.
Bitne karakteristike inteligentnog bia: spoznaja
mogunost spoznavanja neega
SAMOspoznaja
mogunost spoznavanja samoga sebe kao bia
5/24/2018 Skladista Podataka
28/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 28
O spoznaji i intelektu
Postoje 2 naina spoznavanja (dvije mogunosti naeg
intelekta):
1. razumska spoznaja (sposobnost RAZUMA)
sustav pravila, premisa i zakljuaka
sustav logikihpremisa i zakljuaka
2. umna spoznaja (sposobnost UMA)
ono to je naprosto takvo!
za to nisu potrebni postupci i zakljuci i zakljuci
To su poetne postavke, postulati na kojima gradimo daljnja znanja
Npr: Dio je manji od cjeline!
5/24/2018 Skladista Podataka
29/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 29
Znaajke i svojstva inteligentnog sustava
ovjek je inteligentan Sustav je inteligentan
Inteligentan sustav Zrcalni sustav ovjeka
PROBLEM
STROJ
RJEENJEPROBLEMA
OVJEK
5/24/2018 Skladista Podataka
30/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 30
Inteligentni stroj
Sustav (neivo bie, stroj) je inteligentan SAMO po
analogiji s ovjekom
Stroj moemo nauiti samo onom razumnom dijelunaeg intelekta:
sustav pravilaako je, onda... (ifthen)
ovjekovjek
intelektum
razum SUSTAV
5/24/2018 Skladista Podataka
31/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 31
Inteligencija sustava i ovjeka
Dakle, sustavi su inteligentni ako probleme rjeavaju na
nain kako bi ih i ovjek rijeio, tj. analogno ovjekovojrazumskojkarakteristici.
Jer ovjek osim razumskespoznaje posjeduje jo i umnuspoznaju. Te dvije vrste spoznaja ine ovjekov intelekt,
inteligenciju.
Taj zemaljski svat
osta onakav kakav bje jo prvi sat.
Jo nekako bi ivotarit znao
da nebeskog svjetlatrak mu nisi dao.
On razumom to zove i slui se njim
zvijer najvea da bude me zvijerima svim.
J.V. Goethe, Faust (V) (preveo Tito Strozzi)
5/24/2018 Skladista Podataka
32/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 32
Poslovna INTELIGENCIJA?
to je to?
Kakva je njena veza s umom i razumom?
Na emu se temelji?
Kakva je veza sposlom (biznisom)?
5/24/2018 Skladista Podataka
33/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 33
BI definition
Larisa T. Moss, Shaku Atre:
Poslovna inteligencija nije niti proizvod niti sustav.
To je arhitektura i kolekcija integriranih operativnih
aplikacija i aplikacija za potporu odluivanju te bazapodataka koje poslovnoj zajednici omoguavaju lak
pristup poslovnim podacima.
Poslovna inteligencija je posebnost svake organizacije, bakao to je sluaj i s politikama i poslovnim pravilima uskladu s kojima se upravlja tvrtkom i vodi poslovna
praksa.Tu jedinstvenost treba istraiti kako bi se mogla ostvariti
konkurentska prednost.
5/24/2018 Skladista Podataka
34/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 34
Podaci u informacijskom sustavu
podaci nastaju u IS
podaci se zapisuju
podaci se obrauju, tumae i pretvaraju u informacije
informacije slue za analize i donoenje poslovnihodluka
POSLOVNA INTELIGENCIJA (BI) je opi naziv za metodei alate koji omoguavaju:
prikupljanje,analizu,
distribuciju i
djelovanje na osnovi poslovnih informacija
5/24/2018 Skladista Podataka
35/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 35
IS i baza podataka
INFORMACIJSKI SUSTAVje sustav koji prikuplja,
pohranjuje, uva, obrauje i isporuujein formaci je vane za organizaciju i drutvo, tako da bududostupne i upotrebljive za svakog tko ih eli koristiti,ukljuujuiposlovodstvo, klijente, osoblje i ostale.
Informacijski sustav aktivni je drutveni sustav koji moe,ali ne mora, koristiti suvremenu informacijsku tehnologiju.
Baza podataka je centralno mjesto informacijskogsustava. Pohranjeni podaci u bazi podataka opisujutrenutno stanje dijela realnog svijeta za koji je i razvijeninformacijski sustav, naravno na nain pogodan zaraunalnu obradu.
5/24/2018 Skladista Podataka
36/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 36
Baza podataka
BAZA PODATAKAje organizirana zbirka podataka.
BAZA PODATAKAje zbirka zapisa pohranjenih u raunalu na sustavni nain,takav da joj se raunalni programmoe obratiti prilikom odgovaranja naproblem.
Svaki se zapis za bolji povratak i razvrstavanje obino prepoznaje kao
skup elemenata (injenica) podataka.
Predmeti vraeni u odgovoru na upitnike postaju informacijekoje se mogukoristiti za stvaranje odluka koje bi inae mogle biti mnogo tee ili nemogueza stvaranje.
iroko proireno miljenje: Zbirka podataka stvara bazu podataka jedino ako ima odreena svojstva:
ako se podatcima upravlja kako bi osigurali svoj integritet i kvalitetu,
ako omoguuje zajedniki pristup nekoj zajedinici korisnika, ako ima shemu, ili
ako podravaupitni jezik.
5/24/2018 Skladista Podataka
37/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 37
Model podataka
Osnovni elementi modela podataka:
Struktura podatakaStruktura podataka opisuje elemente modela, entitete, atribute, relacije i
sl. koji se odabiru iz sustava koji se analizira i za koji se formira modelpodataka.
Skup operacijaoperacije nad strukturom modela
njima se izraava dinamika realnog sustavaOperacije kojima se mogu pretraivati, dobivati i modificirati podaci o tim
objektima
Skup opih pravila integriteta podatakaStatiki opis realnog sustavapravila kojaimplicitno ili eksplicitno definiraju skup konzistentnih stanja
podataka ili promjena stanja, ili oboje
pravila koja su openita u smislu da su primjenjiva na bilo koju bazupodataka koja koristi taj model
pravila koja razdvajaju doputena od nedoputenih stanja realnogsustava
5/24/2018 Skladista Podataka
38/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 38
Osnovni modeli podataka
Konceptualni
odreuje nain shvaanja dogaaja, nain shvaanjapodataka o dogaaju.On je cjelovit, konzistentan i neredudantan
Logiki
polazi od logikog, a rezultira izraenim fizikim modelom Fiziki model je opis stvarne fizike organizacije podataka.Model ima oblik unutranje sheme baze podataka.
Logiki model podataka je konceptualni model podataka kojislui za daljnju razradu.
Tri su tipa logikih modela podataka:Hijerarhijski
relacijski i
mreni.
Fiziki
5/24/2018 Skladista Podataka
39/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 39
Sustav za upravljanje bazom podataka DBMS
... je programski sustav koji osigurava osnovne
funkcije odabranog modela podataka u postupkukreiranja i koritenja baze podataka. Sastoji se odintegrirane kolekcije programske podrke kojaomoguava:
opis i manipulaciju podacima pomou posebnogjezika(posebnih jezika),
visoki nivo suelja prema podacima nezavisan od strukturepodataka u raunalu,
efikasno koritenje i razumijevanje informacijapohranjenihu bazi podataka, zahvaljujui skupuprogramskih alata.
5/24/2018 Skladista Podataka
40/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 40
Vrste baza u IS-u
Transakcijski sustav -jo se koriste i nazivi:
operacijski sustav, operacijska baza podataka, OLTP sustav
(OLTP - On-Line Transaction Processing),
velik broj transakcija od kojih svaka sadrava malu koliinu podataka
Sustav skladitenja podataka analiza podataka,izvjea, obrada velike koliine podataka, OLAP sustav
(On-Line Analytical Processing)
5/24/2018 Skladista Podataka
41/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 41
What is DW?
Ralph Kimballs definition from his first edition of The
Data Warehouse Toolkit:A data warehouse is a copy of transaction data specifically
structured for querying and reporting.
Sometimes non-transaction data are stored in a data
warehouse - though probably 95-99% of the data
usually are transaction data.
http://www.wiley.com/compbooks/catalog/15337-0.htmhttp://www.wiley.com/compbooks/catalog/15337-0.htmhttp://www.wiley.com/compbooks/catalog/15337-0.htmhttp://www.wiley.com/compbooks/catalog/15337-0.htm5/24/2018 Skladista Podataka
42/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 42
Kako nastaje DW?
DW je logicki transformiran i fizicki odvojen od izvora podataka
ETL Extraction, Transformation and Loading
5/24/2018 Skladista Podataka
43/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 43
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
44/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 44
Kako nastaje DW?
DW je logicki transformiran i fizicki odvojen od izvora podataka
ETL Extraction, Transformation and Loading
5/24/2018 Skladista Podataka
45/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 45
Povijesni pregled skladitenja podataka
Koncept skladitenja podataka datira iz kasnih 1980-tih, period kadaIBM-ovi istraivai Barry Devlin i Paul Murphy razvijajuposlovnoskladite podataka. U sutini je taj koncept trebao pruati model tokapodataka od operacijskog sistema do okruenja za pomo odluivanjute uputiti panju na rjeavanje raznih problema s tokom. U nedostatkuarhitekture skladita podataka potrebna je bila velika koliinaredundancije za podrku viestrukim okruenjima za pomoodluivanju.
Osoba koja je smatrana ocem skladitenja je Bill Inmon koji u 1970-tima poinje definirati i predstavljati tu temu, a 1991. godine njegovatvrtka, Prism Solutions, lansira softversko rjeenje za razvoj skladitapodataka. Sljedee godine, 1992., izdaje knjigu o detaljnoj izradiskladita podataka koja se zvala Building the Data Warehouse.
Par godina prije se poinje isticati kasniji Inmonov rival na tompodruju, osoba s oprenim miljenjima oko optimalnog razvojaskladita, Ralph Kimball. On 1990. godine sa svojom tvrtkom, RedBrick Systems, takoer razvija sustav za upravljanje skladitimapodataka. 1996. godine izdaje poznatu knjigu The Data WarehouseToolkit.
5/24/2018 Skladista Podataka
46/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 46
Povijesni pregled razvoja DW
60-te i 70-te godine: Unapreenje operacijskih sistema stari podatci se uklanjali iz OLTP i spremali na magnetske medije
monolitni, centralizirani, mainframe sustavi naslijeeni sustavi (engl. legacy systems)
80-tih godina dolazi do popularizacije osobnih racunala snaga raunala raste GUI
jaz izmeu programera i krajnjih korisnika.
izvlaenje podataka iz naslijedenih sustava na osobna racunala razvili su se alati za izradu izvjetajai za analizu
Ovakav nain rada imao je mana: fragmentacija podataka na razna osobna raunala i oni su bili usmjereni prema odreenim svrhama nije postojao standard za izvlaenje podataka na osobna raunala ovakav nain rada zahtijevao je od korisnika da poznaje strukturu dijela baze
Napredak na polju elektronike doveo je do znatnog poboljanjaperformansi sustava. procesorska mo napredne arhitekture procesora
ulazno/izlazni procesi se ubrzavaju
najvanijegustoa zapisa postaje vea
5/24/2018 Skladista Podataka
47/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 47
Povijesni pregled razvoja DW
Daljnji preduvjeti za DW: sve snaniji PC
razvoj klijent/server arhitekture
distribuirano raunarstvo
sve monije aplikacije za PC platformu
Koncept Intraneta
Putem Intraneta podaci u skladitupodataka postaju dostupni svima unutar kompanije.
Tijekom 90-tih su se dogodile velike promjene u svijetu.
komunizam se raspao, nastale su nove dravekoje su prelena trinoorjentiranu ekonomiju te su se tako stvorila nova trita
ritam ivotase ubrzao,
vrijeme je postalo izuzetno vano.
Javio se globalizacijski pokret, kompanije su prerasle granice dravai pocele su se iriti po svijetu
U tom modernom nainu rada informacija je postala izuzetno bitna informacija koja je isporuena na vrijeme
Koritenje web baziranih aplikacija, drutvenih mrea i mobilnih tehnologija
5/24/2018 Skladista Podataka
48/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 48
Reporting and analysing architecture (Inmon, 2002)
5/24/2018 Skladista Podataka
49/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 49
Cilj i svrha skladitenja podataka
Kao dio poslovne inteligencije, skladitenje obuhvaa posao
pripreme logike strukture koja poiva na potrebamaposlovanja pritom pruajui optimalnu brzinu i tonost zaizvjetaje koje e na kraju analitiar pregledavati.
Skladite podataka uva kopiju informacija iz transakcijskihizvora i zbog toga korisniku prua znaajne pogodnosti. U
sluaju da transakcijski sustavi ne vode rauna o povijesnimpodacima, npr. briu ih i zamjenjuju, u skladitu se mogunalaziti podaci od poetka poslovanja. Primjer toga jeposlovanje prethodnih godina ili npr. promjene u tablici oradnicima poput prebacivanja na druge radne pozicije,
mijenjanje prezimena, itd. Takoer, skladite objedinjuje podatke dosljednim
kodovima i opisima pa esto slui za poboljanje kvalitetepodataka te ispravljanje krivih informacija.
5/24/2018 Skladista Podataka
50/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 50
Cilj i svrha skladitenja podataka
Jedna od glavnih prednosti skladitenja je okupljanje
informacija cijelog poslovanja na centralnom mjestu,posebice integracija iz razliitih tipova izvora. To jeposebno korisno kada organizacija nastaje spajanjem
tvrtki pa svaka strana donosi svoje informacije.
Skladite podataka moe pruiti jedan zajedniki modelza sve podatke koji nas zanimaju bez obzira na
strukturu izvora podataka. Takoer, podatci se
organiziraju tako da imaju smisla poslovnimkorisnicima i da se na njihove analitike upite brzogeneriraju rezultati.
5/24/2018 Skladista Podataka
51/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 51
Definicija i karakteristika DW (Inmon)
DW je skup podataka koji je:
orijentiran ka subjektu
nepromjenjiv
integriran
vremenski orijentiran
5/24/2018 Skladista Podataka
52/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 52
Usmjerenost ka subjektu
U DW se podaci organiziraju oko predmeta, odnosno
funkcionalnih podruja (npr. podaci o prodaji, podaci onabavi, i dr.)i za to je potrebno integrirati podatke izvie poslovnih aplikacija u jedan datamart
Kod OLTP baza podataka su podaci organizirani oko
operativnih (poslovnih) aplikacija, pa se tako vode
podaci vezani uz studentove dokumente (upis na faks,
prijavu ispita, polaganje ispita,...) obradu narudbe iliuz kalkulaciju prodajne cijene i sl.
5/24/2018 Skladista Podataka
53/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 53
Sadrajnanepromjenjivost
U DW se jednom pohranjeni podaci uglavnom ne
mijenjajuAko ih i treba promijeniti, mijenjaju se prvo u OLTP a ne
izravno u DW!!!
broj upisanih studenata
podaci o prodaji na odreeni dan u odreenom duanuBroj roenih/umrlih/vjenanih/...
U OLTP bazi podataka se podaci mijenjaju jer uvijek
odraavajutekuestanjebroj upisanih studenata
podaci o trenutnoj cijeni proizvoda
trenutna koliina na skladitu, i dr.
5/24/2018 Skladista Podataka
54/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 54
Integriranost
U DW su podaci konzistentni, tj. prikazuju se na
dosljedan nain (npr. nain zapisa datuma), kako bi semogli koristiti u raznim analizama
U OLTP operativnoj bazi se konzistentnost neprovjerava strogo, pa se moe dogoditi npr.razliitnainpisanja datuma.
Zbog toga se prije pohrane u DW, podaci iz baze
trebaju predprocesirati, da bi postali konzistentni
(integrirani)
5/24/2018 Skladista Podataka
55/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 55
Vezanost uz vrijeme
u DW se gotovo uz svaki podatak pohranjuje i
vremenska odreenost (dan-sat-minuta-sekunda),pasu podaci u skladitu povijesni
stoga se mogu raditi vremenske analize i predvianja
u OLTP bazama podataka nalaze se samo aktualni,
najsvjeiji podaci potrebni za operativno poslovanje
Ne upisuje se svuda vremenska dimenzija
5/24/2018 Skladista Podataka
56/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 56
Definicija i karakteristika DW (Inmon)
DW je skup podataka koji je:
orijentiran ka subjektu
nepromjenjiv
integriran
vremenski orijentiran
5/24/2018 Skladista Podataka
57/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 57
DW & OLAP
Izvori podataka za skladitapodataka su heterogeni: transkacijske baze podataka (vlastite baze u poduzeu), internet,
strune udruge, saznanja djelatnika s terena,
strune publikacije
Skladitepodataka ne postoji kao gotov proizvod
Skladitapodataka sadrepodatke i informacije Do tog skupa podataka dolazi se OLAP-om (On-Line Analitycal Processing)
OLAP metoda uvedena je od strane tvorca relacijskih baza podataka
(E.F.Codd). To je tehnologija koja nadopunjuje relacijsku tehnologiju. OLAP tehnologija je namijenjena krajnjem korisniku.
Gartner Group: Umjesto odreenog broja analitiara koji provode 100% svog radnog vremena
analizirajuipodatke, svi menaderii profesionalno osoblje provodit emali postotaksvog vremena analizirajuipodatke sami.
http://en.wikipedia.org/wiki/File:Edgar_F_Codd.jpg5/24/2018 Skladista Podataka
58/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 58
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
59/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 59
OLTP vs. OLAP
OLAP(On-Line Analytical Processing)pristup obraivanju podataka u svrhudobivanja brzih odgovora na viedimenzionalne analitike upite. OLAP je dio ire
kategorije - poslovne inteligencije (engl. Business Intelligence), koja takoer obuhvaarelacijsko izvjetavanje (engl. Relational Reporting) i rudarenje podataka (engl. DataMining).
Tipine OLAP aplikacije ukljuuju poslovna izvjetavanja za prodaju, marketing,izvjetavanje u menadmentu, upravljanje poslovnim procesima (engl. BusinessProcess Management; BPM), odreivanje prorauna i poslovno planiranje, financijskaizvjetavanja i slina podruja, uz nova nadolazea, poput poljoprivrede.
U praksi se esto pojmovi Skladite podataka i OLAP zamjenjuju, iako se oni zapravoodnose na razliite komponente sistema za poslovnu inteligenciju. OLAP tehnologija omoguuje skladitima podataka efektivno koritenje za analizu, uz
brze odgovore na kompleksne upite
5/24/2018 Skladista Podataka
60/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 60
OLTP vs. OLAP
OLTP OLAPNormaliziran u velikoj mjeri U velikoj mjeri denormaliziran
Modeliran za brzu i efikasnu promjenu Modeliran za brze i efikasne upiteIzvjetavanje zahtijeva brojne joinove koji
mogu troiti dosta resursaDenormalizirani modeli znae manje joinova
Viedimenzionalne agregacije zahtijevaju
GROUP BY i ROLLUP ili CUBE operatoreViedimenzionalne agregacije su dio
strukture i sadraja bazeAgregacije se izraunavaju svaki put kada
pokrenemo upitAgregacije su prethodno izraunate i
spremljene u baziUnakrsno izvjetavanje je zahtjevno (PIVOT
operator)Unakrsno izvjetavanje je standardno kod
koritenja MDX jezika
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms Q1 2011
5/24/2018 Skladista Podataka
61/189
EDW Is Driving Next Best Actions Across Optimized Business Processes
February 2011 The Forrester Wave: Enterprise Data Warehousing Platforms, Q1 2011
5/24/2018 Skladista Podataka
62/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 62
OLAP
OLAP (On-Line Analytical Processing)
analiza - analiza velikog broja podataka na brz, konzistentan iinteraktivan nain:Podaci se organiziraju, te pomou tablica i grafova prikazuju na nain
na koji krajnji korisnik razmilja pri analizi poslovanja
Prikazuju se sumarni i detaljni podaci
Pogled na podatke iz razliitih perspektiva
Implementacija:
relacijska baza podataka (ROLAP rjeenje)
osnovna struktura je tzv. zvjezdasta shema, odnosnozvijezda spoj
viedimenzionalna baza podataka (MOLAP rjeenje) podaci se spremaju u viedimenzionalna polja
D Mi i
5/24/2018 Skladista Podataka
63/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 63
Data Mining
Dubinska analiza podataka (data mining)
Analiza velikih koliina podataka s ciljem pronalaenjaneoekivanih veza i patterna (uzoraka) u skupovima podatakaili sumarnog prikaza skupa podataka na nain da korisnikupodataka prui nove, razumljive i korisne informacije.
K k j DW?
5/24/2018 Skladista Podataka
64/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 64
Kako nastaje DW?
DW je logicki transformiran i fizicki odvojen od izvora podataka
ETL Extraction, Transformation and Loading
BI i P f M k j
5/24/2018 Skladista Podataka
65/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 65
BIi Performance Managementokruenje
poslovna inteligencija d.o.o.
DW i D t M t
5/24/2018 Skladista Podataka
66/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 66
DW i Data Marts
upload.wikimedia.org/wikipedia/commons/4/46/Data_warehouse_overview.JPG
A data martis a subset of an organizational data store, usually oriented to a specific purposeor major data subject, that may be distributed to support business needs
D t M t
5/24/2018 Skladista Podataka
67/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 67
Data Mart
Data Mart je podskup podataka
iz DW
Podaci su vezani za neki
poslovni proces u organizaciji
(proizvodnja, nabava, financije,
marketing, prodaja,...)
DW & OLAP
5/24/2018 Skladista Podataka
68/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 68
DW & OLAP
nije sustav koji aurira operativne podatke
veliki broj istovremenih korisnika
brzo zapisivanje, itanje i izmjena malih koliina podataka,najee samo jednog sloga
nije transakcijski poslovni sustav (OLTP)
nije sustav za integraciju poslovnih podataka
On je, jednostavno, sustav koji omoguuje brzopretraivanje postojeih poslovnih podataka
D t Mi i (DM)
5/24/2018 Skladista Podataka
69/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 69
Data Mining (DM)
Data Mining (DM) je proces brzog otkrivanja prethodnonepoznatih zakonitosti meu podacima u bazi podataka
Npr., nekad moramo izvui podatke iz velikih baza podataka(viegodinjih). Krajnji korisnik ne mora imati programerskogiskustva a eli postaviti neke upite da dobije eljene odgovorerelativno brzo.
Softver za rudarenje podacima je alat koji se jednostavnokoristi da se dobiju podaci te se jednostavno pretvaraju utabline podatke i podatke za procesiranje u drugom softveru,tako da "rudareni" podaci mogu biti brzo analizirani iprocesirani.
Zahtijeva primjenu matematikih metoda i algoritama, umjetnuinteligencijumetode strojnog uenja.
Z htj i k lit ti d t k DW
5/24/2018 Skladista Podataka
70/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 70
Zahtjevi prema kvaliteti podataka u DW
Standardizirani (tj. podudarni)
datumi25.07.2009.25.07.2009
2009-07-25
25. srpnja 2009
...
pridjevi unose zabunu (tj. nepreciznost) Stipe ili Stipo?
elar, elar ili Celar?I kombinacija Ime/prezime (Prezime/ime)
Veliko-malo slovo
Integrirani iz svih izvora tvrtke
iz vanjskih izvora
Zahtjevi prema kvaliteti podataka u DW
5/24/2018 Skladista Podataka
71/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 71
Zahtjevi prema kvaliteti podataka u DW
Verificirani
usporeeni s poznatim predlokom temelj su za ispravne odluke
mala greka na poetku, velika teta na kraju
Proirivi
potrebno je dodavati nove podatke s vremenom
web servisi (XML)
podaci nisu od danas do sutra, nego za due razdobljenpr. LLOYDS birtijaiz 1741.
Veliina DW
5/24/2018 Skladista Podataka
72/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 72
Veliina DW
Standardne veliine DW baze:
stotine GB mala skladita> 1 TB velika skladita
deseci TB najvea skladita (telekomunikacijska)
ak i PB
Data martskladite podataka jednog dijela
poslovnog procesa
Veliina DW
5/24/2018 Skladista Podataka
73/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 73
Veliina DW
Razlozi za to:
pohrana povijesnih podataka
velik broj izvor podataka
denormalizacija i kreiranje novih kolona i tablica (agregacija)
Posljedice:
potrebna vea procesorska mo i
potrebno vie diskovnog prostora i
pojaani komunikacijski zahtjevi
Opasnost: od ume ne vidjeti stabla!
Metrics on eBays main Teradata DW
5/24/2018 Skladista Podataka
74/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 74
Metrics on eBay s main Teradata DW >2 petabytes of user data
10s of 1000s of users
Millions of queries per day
72 nodes
>140 GB/sec of I/O, or 2 GB/node/sec,or maybe thats a peak when the workload is scan-heavy 100s of production databases being fed in
Metrics on eBays Greenplum data warehouse (or, if you like, data mart) include: 6 1/2 petabytes of user data
17 trillion records
150 billion new records/day, which seems to suggest an ingest rate well over 50 terabytes/day
96 nodes
200 MB/node/secof I/O (thats the order of magnitude difference that triggered my post on disk drives) 4.5 petabytes of storage
70% compression A small number of concurrent users
eBays Teradata installationis a full enterprise data warehouse. Besides size and scope, it is most notable for its implementation of Oliversmisleadingly named analytics-as-a-servicevision. In essence, eBay spins out dozens of virtual data marts,which:
Combine views and aggregations on the central data warehouse with (optionally) additional private data the data mart user loads in. Are usually
5/24/2018 Skladista Podataka
75/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 75
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
Model Entiteta i veza (ER model)
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
76/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 76
Model Entiteta i veza (ER-model)
Model entitet_veza (engl. entity-relationship
model, MEV) je konceptualni model podataka kojije prvi opisao Chen 1976.
Model ER ine entiteti, njihovi atributi i veze
izmeu entitetaKonceptualna shema predoava se grafiki
dijagramom entiteti_veze
Relacijski (ER) i dimenzijski (DM) model
5/24/2018 Skladista Podataka
77/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 77
Relacijski (ER) i dimenzijski (DM) model
ER is a logical design technique that seeks toremove the redundancy in data
The ER modeling technique is a discipline usedto illuminate the microscopic relationshipsamong data elements. It is safe to say that thesuccess of transaction processing in relationaldatabases is mostly due to the discipline of ERmodeling.
All of us are familiar with the big chart on thewall of the IS database designer's cubicle. TheER model for the enterprise has hundreds oflogical entities! High-end systems such as SAPhave thousands of entities. Each of theseentities usually turns into a physical table when
the database is implemented. This situation isnot just an annoyance, it is a showstopper: End users cannot understand or remember an ER
model
Software cannot usefully query a general ER model
Use of the ER modeling technique defeats the basicallure of data warehousing, namely intuitive andhigh-performance retrieval of data. http://www.kimballgroup.com
Viedimenzionalni model
http://www.kimballgroup.com/http://www.kimballgroup.com/5/24/2018 Skladista Podataka
78/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 78
Viedimenzionalni model
Osnovni koncepti viedimenzionalnog modela
Tablica dimenzija
Tablica injenica
Model zvijezde
Model pahuljice
OLAP kocka
Principi skladitenja podataka
5/24/2018 Skladista Podataka
79/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 79
Principi skladitenja podataka
Viedimenzionalni koncepti Dimenzijske tablice (engl. Dimension tables) se koriste za opisivanje
dimenzija, a sadre: kljueve dimenzija, vrijednosti i
atribute.
Npr., dimenzija vremena moe sadravati svaki sat,
dan,
tjedan,
mjesec,
kvartal i
godinu od poetka poslovanja organizacije.
Najee su to opisne, tekstualne vrijednosti, npr. dimenzijaproizvoda moe imati ime i opis proizvoda kojeg prodajemo, cijenu,boju, teinu i ostale atribute koji su nam potrebni.
Dimenzijska tablica je esto strukturirana u jednu ili vie hijerarhijakoje kategoriziraju podatke u njoj.
Ako dimenzija nema hijerarhije i razine tada je zovemo ravnadimenzija (engl. Flat dimension) ili lista.
Dimenzijske tablice su openito male u usporedbi s tablicamainjenica
Principi skladitenja podataka
5/24/2018 Skladista Podataka
80/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 80
Principi skladitenja podataka
Tablica injenica (engl. Fact table)se sastoji od poslovnih injenica
koje nazivamo mjerama(engl.Measures) i stranih kljueva(engl. Foreign keys) koji se odnosena identifikacijske (najeeprimarne) kljueve u tablicamadimenzija.
Primarni kljuevi svake dimenzijeine sloeni primarni klju (engl.Composite Key) tablice injenica.
Mjere su mjerljive, brojaneinjenice koje bi analitiari eljelipromatrati, npr. za lanacproizvodnje moemo imati
koliinu prodanih proizvoda,cijenu izrade, trokove dostave,prihode po proizvodu, itd.
Tablice injenica mogu znaajnonarasti, sadravajui milijune iliak i milijarde redova.
Principi skladitenja podataka
5/24/2018 Skladista Podataka
81/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 81
Principi skladitenja podataka
Model zvijezde Model zvijezde (engl. Star Schema) je set
relacijskih tablica u skladitu podataka ipredstavlja najjednostavnijuviedimenzionalnu shemu.
Tablice injenica u ovom modelu suobino u treoj normalnoj formi (3NF)dok su dimenzijske tablice
denormalizirane.
Glavne karakteristike modela zvijezde:jednostavna strukturalako razumljiv
model,
dobra uinkovitost upita malen broj
tablica koje pripajamo (joinamo), relativno dugo vrijeme uitavanja podataka
u dimenzijske tablicedenormalizacija;redundantni podaci ine tablice veima,
najee koriten model kod izrade skladitapodatakapodrava ga velik broj alata zaposlovnu inteligenciju.
Principi skladitenja podataka
5/24/2018 Skladista Podataka
82/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 82
Principi skladitenja podataka Model pahuljice(engl. Snowflake Schema) je
logiki raspored tablica u viedimenzionalnojbazi iji dijagram oblikom nalikuje na snjenupahuljicu.
Proirena verzija modela zvijezde, gdje svaki vrh(dimenzija) moe biti povezan s jo vrhova.
Za razliku od modela zvijezde, u ovom modeludimenzijska tablica je normalizirana u viepovezanih tablica, od kojih svaka predstavlja
razinu u dimenzijskoj hijerarhiji. Glavna prednostovakvog modela, tj.
normalizacije je poboljanje rada upita jer jepotrebno manje prostora za spremanjepodataka i zbog toga to spajamo manje tablice.Meutim, dimenzijske tablice su openitomalene u usporedbi s tablicama injenica pa se
tako gubi prednost modela pahuljice u utediprostora. Glavni nedostatcise javljaju zbog poveanog
broja tablica koje moramo pregledati da bi dolido podataka to ini upite sloenijima i teimaza pisati i izvoditi.
Principi skladitenja podataka
5/24/2018 Skladista Podataka
83/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 83
Principi skladitenja podataka
Viedimenzionalni koncepti:
OLAP kocka
Osnove dimenzijskog modela
5/24/2018 Skladista Podataka
84/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 84
Osnove dimenzijskog modela
Kocka
5/24/2018 Skladista Podataka
85/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 85
Kocka Kocke su kljuni elementi u OLAP sustavu. To su podskupovi
podataka iz OLAP kolekcije, organizirani u viedimenzionalnestrukture. Takvi podskupovi pruaju mehanizam kojiomoguava brzo i ujednaeno vrijeme pristupa podacima zakoje bi inae bili potrebni kompleksni upiti.
Temeljni koncepti kocke koje je potrebno razumjeti sudimenzije i mjere.
Dimenzije pruaju kategorike opise pomou kojih su mjerepodijeljene za analizu.
Mjere identificiraju numerike vrijednosti koje su saete zaanalizu, kao to su cijena, troak ili koliina koja je prodana. Skup mjera stvara dimenziju, ali specijalnu koja se naziva
Dimenzija (engl. Measures).
Svaka dimenzija kocke moe sadravati hijerarhiju razina zaspecifikaciju kategorizacije za korisnike. Na primjer, dimenzija Trgovinamoe ukljuivati slijedeu hijerarhiju
razina: Drava, Grad, Ime Trgovine. Svaka razina u dimenziji je manjegobuhvata od vie razine. Analogno, vremenska hijerarhija moe sadravati razine poput
godine, kvartala, mjeseca i tjedna.
Kocka
5/24/2018 Skladista Podataka
86/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 86
Kocka
Za istu dimenziju moe postojati vie
hijerarhija. Na primjer, za vremenskuhijerarhiju. Moe postojati fiskalna ikalendarska. Fiskalna bi se sastojala odfiskalne godine, kvartala i mjeseca, akalendarska od kalendarskih.
Dimenzija se moe stvoriti za koritenje zapojedinu ili vie kocki. Ona koja se izraujesamo za jednu kocku se naziva privatnadimenzija, dok se ona koja je predviena za
koritenje za vie kocki naziva dijeljenadimenzija. Dijeljene dimenzijeomoguavaju standardizaciju poslovnihmjera kroz kocke unutar baze podataka.
Kocka
5/24/2018 Skladista Podataka
87/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 87
Kocka
Vaan dio na koji je potrebno obratiti pozornost jekoncept lana.
lan je element u dimenziji ili mjeri. Izraunati lanje dimenzijski lan ija vrijednost se
izraunava pri pokretanju koristei specificirani izraz. Izraunati lanovi takoer mogu biti definirani kao
mjere.
Samo definicije izraunatih lanova se spremaju.Vrijednosti se izraunavaju u memoriji kada jepotrebno odgovoriti na upit.
Izraunati lanovi omoguavaju dodavanje lanova imjera u kocku bez poveavanja njezine veliine. Iakoizraunati lanovi moraju biti bazirani na postojeimpodacima unutar kocke, mogue je kreiratikompleksne izraze kombinirajui te podatke saritmetikim operacijama, brojevima i velikim brojemfunkcija.
Principi skladitenja podataka
5/24/2018 Skladista Podataka
88/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 88
Principi skladitenja podataka
Viedimenzionalni koncepti:
Tablica dimenzija
Tablica injenica
Model zvijezde
Model pahuljice
OLAP kocka
5/24/2018 Skladista Podataka
89/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 89
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
Adventure works 2008 ER model
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
90/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 90
Adventure works 2008 ER model
5/24/2018 Skladista Podataka
91/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 91
Adventure works 2008 ER model
5/24/2018 Skladista Podataka
92/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 92
Adventure works 008 R model
BI
BUSINESS
TEHNOLGIJAANALITIKA
Elementi BI sustava
5/24/2018 Skladista Podataka
93/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 93
DM is a logical design technique that seeks to present the data in astandard, intuitive framework that allows for high-performanceaccess.
It is inherently dimensional, and it adheres to a discipline that usesthe relational model with some important restrictions.
Every dimensional model is composed of one table with a multipart key, called the fact table, and
set of smaller tables called dimension tables each dimension table has a single-part primary key that corresponds
exactly to one of the components of the multipart key in the fact table
This characteristic "star-like" structure is often called a star join
The term star join dates back to the earliest days of relationaldatabases.
A fact table, because it has a multipart primary key made up of twoor more foreign keys, always expresses a many-to-manyrelationship. The most useful fact tables also contain one or morenumerical measures, or "facts" that occur for the combination ofkeys that define each record
Dimension tables, by contrast, most often contain descriptivetextual information. Dimension attributes are used as the sourceof most of the interesting constraints in data warehouse queries,and they are virtually always the source of the row headers in theSQL answer set.
The charm of the database design in DM is that it is highlyrecognizable to the end users in the particular business, its "theirbusiness.
http://www.kimballgroup.com
http://www.kimballgroup.com/http://www.kimballgroup.com/5/24/2018 Skladista Podataka
94/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 94
5/24/2018 Skladista Podataka
95/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 95
Reasons for spliting of operational and DW database
5/24/2018 Skladista Podataka
96/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 96
p g p
Thera are many reasons:
The data serving operational needs is physically different data
from that serving informational or analytic needs.
The supporting technology for operational processing isfundamentally different from the technology used to support
informational or analytical needs.
The user community for operational data is different from the one
served by informational or analytical data.
The processing characteristics for the operational environment
and the informational environment are fundamentally different.
Operativna (OLTP) vs.DW baza
5/24/2018 Skladista Podataka
97/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 97
p ( )
svojstvo OLTP DW/OLAP
Sadrajpodataka Trenutne vrijednosti Povijesni podaci
Vrijednost podataka Vrlo promjenljivi podaci Nepromjenljivi podaci
Namjena Voenjeoperativnih transakcija Analiza i izvjeivanje
Jedinica obrade Transakcija Upit
Korisnici Operateri (iroki krug) Analitiari i manageri
Raspoloivost Vrlo vana Manje bitna
Izmjena podataka Polje po polje na dokumentu Nema izmjene
Radna svojstva itanje/pisanje itanje
Interakcija korisnika Predodreena Ad-hoc
Pristup zapisima Nekoliko zapisa odjednom Milijunima zapisa
odjednom
Fokus Nesmetano spremanje podataka Dobivanje informacija
OLAP
5/24/2018 Skladista Podataka
98/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 98
RijeOLAP potjeeod On Line Analytical Processing
Posebna vrsta tehnologije, razvijena za analitikenamjene
Ova tehnologija suprotna je od OLTP (On LineTransactional Processing) tehnologije koja se koristi u
transakcijske svrheNajpoznatiji primjeri OLTP tehnologije su RDBMS:
Microsoft SQL Server, Oracle, DB2, Informix, MySQL,...
Kao topostoje relacijski serveri tako postoje i OLAPserveri
OLAP serveri su specijalizirani serveri kojima jenamjena pretraivanjevelikih koliinapodataka
Viedimenzijski OLAP MOLAP
5/24/2018 Skladista Podataka
99/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 99
j
Viedimenzijski OLAP (engl. Multidimensional Online
Analytical Processing, MOLAP) je klasina forma OLAP-a pa se esto tako i naziva
Podaci se spremaju u viedimenzijskom obliku.Prilikom kreiranja kocke podaci se razliitim
algoritmima i postupcima procesirajuMOLAP nudi bri odaziv na upite zbog optimiziranog
spremanja podataka i viedimenzijskog indeksiranja
Podaci se kompresiraju to rezultira manjim zauzeem
diskovnog prostora za razliku od OLTP baza podatakaUkoliko se dimenzije sastoje od vie milijuna zapisa,
oekivan je pad performansi procesiranja upita
Relacijski OLAPROLAP
5/24/2018 Skladista Podataka
100/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 100
j
Relacijski OLAP (engl. Relational Online Analytical
Processing, ROLAP) radi sa na relacijskim bazama podataka. ROLAP ne zahtijeva prijevremeno agregiranje podataka na
odreenoj razini granulacije ve navedene radnje odradiprilikom upita korisnika tako da postavi SQL upit u
relacijsku bazu kojim rauna ono to je korisnik zatraio.Mogue je napraviti dodatne tablice u bazi podataka koje
e sadravati navedene agregacije na odreenoj razinigranulacije, sumarne tablice.
Zbog raunanja korisnikih upita u trenutku postavljanjaupita, ROLAP ima pad performansi u odnosu na MOLAP.
Hibridni OLAP
5/24/2018 Skladista Podataka
101/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 101
Hibridni OLAP (engl. Hybrid Online Analytical
Processing) je kombinacija MOLAP-a i ROLAP-aObjedinjuje prednosti oba pristupa
Postoje dva moda HOLAP-a
Vertikalni mod
agregacije se spremaju u MOLAP
detaljne informacije se spremaju u ROLAP nainu
Horizontalni mod
svjei podaci podijeljeni prema vremenskoj dimenziji spremaju u
MOLAP nainu radi breg odaziva upita
stariji podaci u ROLAP nainu.
Primjer poslovnog sustava
5/24/2018 Skladista Podataka
102/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 102
HACCPHazard analysis and critical control points,
or HACCP/hsp/, is a systematic preventiveapproach to food safetyand allergenic, chemical,
and biologicalhazards in production processes that can
cause the finished product to be unsafe, and designs
measurements to reduce these risks to a safe level.Taskovi
Evidencije
Korektivne mjere (ako neto nije u redu)
MNOGO PAPIROLOGIJE za mnoge firme!!!
Rijetka kvalitetna SW rjeenja
http://en.wikipedia.org/wiki/Help:IPA_for_Englishhttp://en.wikipedia.org/wiki/Help:IPA_for_Englishhttp://en.wikipedia.org/wiki/Food_safetyhttp://en.wikipedia.org/wiki/Chemical_hazardhttp://en.wikipedia.org/wiki/Biological_hazardhttp://en.wikipedia.org/wiki/Biological_hazardhttp://en.wikipedia.org/wiki/Chemical_hazardhttp://en.wikipedia.org/wiki/Food_safetyhttp://en.wikipedia.org/wiki/Help:IPA_for_Englishhttp://en.wikipedia.org/wiki/Help:IPA_for_Englishhttp://en.wikipedia.org/wiki/Help:IPA_for_English5/24/2018 Skladista Podataka
103/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 103
SKLADITA PODATAKA
(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
FESB
Katedra za arhitekturu raunala
i operativne sustave
soba B503
17.04.
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
104/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 104
Primjeri DW
MODELLING OF THE ATHLETE'S TRAINING DECISIONSUPPORT
Ladislav Hava, Zoran Skoir, Vladimir Medved
Diplomski radovi
Slaven Zebi, 2009-10
5/24/2018 Skladista Podataka
105/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 105
ANALIZA I PRAKTINO KORITENJE SUSTAVA ZAUPRAVLJANJE ODNOSIMA S KORISNICIMA (ANALITIKICRM) U TELEKOMUNIKACIJSKIM TVRTKAMA
u suradnji s tvrtkom KRON d.o.o. SplitThe task of this work is the analysis of Customer Relationship ManagementSystems based on a constructed data warehouse.
An overview of CRM system functionalities is given. Every CRM supporting
technology consists of three main parts and the role of every part isdescribed in this work. The focus of this work is the analytical CRM. Adatabase of a telecommunication operator is used as the data source for thedata warehouse, and Business Intelligence Development Studio is used forthe construction of the data warehouse.
The construction of a data warehouse is a complex and demanding task,because it requires defined knowledge of relational bases, SQL and good
understanding of business processes. The most appropriate model for thedesign of a data warehouse is a dimensional one.
CubePlayer serves as the presentation layer where analysis is done and it ispossible to get an overview of business processes based on fresh data andtherefore it is easier for managers to take decisions.
Koritenetehnologije
5/24/2018 Skladista Podataka
106/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 106
Model DW-a
5/24/2018 Skladista Podataka
107/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 107
5/24/2018 Skladista Podataka
108/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 108
5/24/2018 Skladista Podataka
109/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 109
SKLADITA PODATAKA(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
FESB
Katedra za arhitekturu raunalai operativne sustave
soba B503
MS SQL Server platforma
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
110/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 110
SQL Server Management Studio
SQL Server Integration Services SQL Server Analysis Services
SQL Server Reporting Services
5/24/2018 Skladista Podataka
111/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 111
Microsoft SQL Server 2005 Compact Edition Developer SDKMicrosoft SQL Server 2005 Mobile Edition Device SDK
Microsoft SQL Server 2008 R2 ExpressMicrosoft SQL Server 2008 R2 Management Studio ExpressMicrosoft SQL Server 2008 R2 WorkgroupMicrosoft SQL Server 2008 Reporting Services Report Builder 2.0Microsoft SQL Server 2008 Upgrade AdvisorMicrosoft SQL Server 2008 WebMicrosoft SQL Server 2008 Workgroup
Microsoft SQL Server 2012Microsoft SQL Server Data ToolsMicrosoft SQL Server Migration Assistant for Oracle V2.0Microsoft SQL Server 2008 R2 EnterpriseMicrosoft SQL Server 2008 EnterpriseMicrosoft SQL Server 2005 DeveloperMicrosoft SQL Server 2005 Standard
Microsoft SQL Server 2008 R2 DeveloperMicrosoft SQL Server 2008 DeveloperMicrosoft SQL Server 2008 R2 StandardMicrosoft SQL Server 2008 R2 WebMicrosoft SQL Server 2008 ExpressMicrosoft SQL Server 2005 ExpressMicrosoft SQL Server 2005 Workgroup
Povijesni razvoj SQL Servera
http://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sqlhttp://e5.onthehub.com/WebStore/ProductSearchOfferingList.aspx?ws=230e34ba-619b-e011-969d-0030487d8897&vsro=8&srch=sql5/24/2018 Skladista Podataka
112/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipeelar112
1987. godine Microsoft i Sybase
poinju partnerstvo za izradu iprodaju sistema za upravljanjebazama podataka baziranog naSybaseovom proizvodu.
Sybase bi tada imao prava zaUnix/Mini platformu, a Microsoftza OS/2 te ostale operacijskesustave koje razvije.
1989. godine Microsoft, Sybase iAshton-Tate zajedno stvaraju iizdaju prvu verziju, SQL Server 1.0
za operacijski sustav OS/2. Ashton-Tate je tada imao vodei
proizvod za sisteme s bazamapodataka, a zvao se dBase.
Nakon prve verzije Microsoft i Ashton-
Tate se razilaze i proizvod postajeMicrosoft SQL Server, ali veinu razvojai dalje radi Sybase.
Microsoft zapoinje rad na 32-bitnojverziji SQL Servera, a s OS/2 postajemanje odriva platforma, odluuju garaditi za Windows NT koji je tada bio ubeta fazi.
U to vrijeme se partnerstvo izmeuMicrosofta i Sybasea sve vie smanjujejer je Sybase htio ostati neovisan oplatformi, a Microsoft je htio raditisamo za NT platformu.
1994. godine partnerstvo prestaje iMicrosoft vodi proizvod u svom smjeru,
prepravljajui stari Sybaseov kod istvarajui novi, a potpuno istiskivanjeSybaseovog koda dolazi s izdanjem SQLServer 2005.
Povijesni razvoj SQL Servera
5/24/2018 Skladista Podataka
113/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 113
Verzija Godina Ime izdanja Kodno ime1.0 (OS/2) 1989. SQL Server 1.0 (16-bit) -1.1 (OS/2) 1991. SQL Server 1.1 (16-bit) -4.21 (WinNT) 1993. SQL Server 4.21 SQLNT6.0 1995. SQL Server 6.0 SQL956.5 1996. SQL Server 6.5 Hydra7.0 1998. SQL Server 7.0 Sphinx- 1999. SQL Server 7.0 s OLAP alatima Plato8.0 2000. SQL Server 2000 Shiloh8.0 2003. SQL Server 2000 (64-bit
izdanje)Liberty
9.0 2005. SQL Server 2005 Yukon10.0 2008. SQL Server 2008 Katmai10.25 2010. SQL Azure DB CloudDB10.5 2010. SQL Server 2008 R2 Kilimanjaro (KJ)11.0 2012. SQL Server 2012 Denali
SQL Server 2008 R2 vs. SQL Server 2008 (dio novosti)
5/24/2018 Skladista Podataka
114/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 114
PowerPivot for SharePoint
PowerPivot for SharePoint adds shared services and infrastructure for loading, querying, and managing PowerPivotworkbooks that you publish to a SharePoint 2010 server or farm. To create PowerPivot workbooks, you use PowerPivotfor Excel.
PowerPivot for Excel
PowerPivot for Excel is an add-in to Excel 2010 that can be downloaded from the web and installed on clientworkstations. You use PowerPivot for Excel to assemble and create relationships in large amounts of data fromdifferent sources, and then use that data as the basis for PivotTables and other data visualization objects that supportdata analysis in Excel.
Multi-Server Administration and Data-Tier Application
The SQL Server Utility forms a central repository for performance data and management policies that tailor theoperation of instances of the Database Engine that have been enrolled in the utility. It also includes a Utility Explorerfor centralized management, and dashboards that report the state of the managed instances. A data-tier application
(DAC) forms a single unit for developing, deploying, and managing the database objects used by an application. Master Data Services
Master Data Services is comprised of a database, configuration tool, Web application, and Web service that you use tomanage your organization's master data and maintain an auditable record of that data as it changes over time. You usemodels and hierarchies to group and organize data to prepare it for further use in business intelligence and reportingtools, data warehouses, and other operational systems. Master Data Services integrates with source systems andincorporates business rules to become the single source of master data across your organization.
Features Supported by the Editions of SQL Server 2008 R2
The largest database supported by SQL Server Express has been increased from 4 GB to 10 GB.
Connecting to the Database Engine Using Extended Protection SQL Server now supports Extended Protection, using service binding and channel binding to help prevent an
authentication relay attack. Also, seeExtended Protection for Authentication with Reporting Services.
http://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspx
Povijesni razvoj SQL Servera
http://msdn.microsoft.com/en-us/library/ee210682(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210644(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee633763(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645993(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487261(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487481(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487481(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487481(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/bb500435(SQL.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487481(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487481(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487481(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487261(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ff487261(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645993(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645993(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee633763(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee633763(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/cc645579(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210644(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210644(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210644(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210644(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210682(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210682(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210682(v=sql.105).aspxhttp://msdn.microsoft.com/en-us/library/ee210682(v=sql.105).aspx5/24/2018 Skladista Podataka
115/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 115
Od SQL Server 2000 izdanja je prolo preko deset
godina i dosta poboljanja je napravljeno po pitanjuperformansi, klijent IDE alata (softverska rjeenja zarazvoj i programiranje) te je razvijano i nekoliko
komplementarnih sustava upakiranih sa SQL Server
2005 izdanjem:ETL alat (SQL Server Integration Services ili SSIS),
Reporting Server,
OLAP i Data Mining server (Analysis Services)
te nekoliko tehnologija za razmjenu poruka,
posebno Service Broker i Notification Services
SQL Server alati
5/24/2018 Skladista Podataka
116/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipeelar116
SQL Server alati Configuration Manager
5/24/2018 Skladista Podataka
117/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 117
5/24/2018 Skladista Podataka
118/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 118
SQL Server Management Studio (SSMS)
5/24/2018 Skladista Podataka
119/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 119
SQL Server ManagementStudio (SSMS) je softverskaaplikacija za konfiguriranje,
upravljanje i administriranjesvih komponenti u okviruMicrosoft SQL Servera, a prviput je predstavljena unjihovom izdanju SQL Server2005.
Ukljuuje ureivae skripti i
grafike alate koji rade sobjektima i elementima naserveru.
Glavni element je pretraivaobjekata, Object Explorer,preko kojeg korisnik moepretraivati, odabirati i
djelovati na bilo koji objekt naserveru, a moemo ga vidjetina lijevoj strani. Na sredinislike vidimo napisan upit teispod njega i rezultate upita.
SQL Server Integration Services (SSIS)
5/24/2018 Skladista Podataka
120/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 120
Komponenta zaETL, platforma zaintegracijupodataka iaplikacije oradnom toku(engl. Workflowapplications).
Od v. 2005zamjenjuje DTS(DataTransformationServices).
Ukljuenaje uStandardiEnterpriseizdanjima SQLServera.
SQL Server Analysis Services (SSAS)
5/24/2018 Skladista Podataka
121/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 121
Sustav za upravljanje viedimenzionalnim
bazama podataka. Analysis Services ukljuuju skup mogunosti za
OLAP i rudarenje podataka.
Prvi OLAP servis dolazi kao dio SQL Servera 7.0,
a poslije toga izlazi izdanje Analysis Services
2000, promijenjenog imena jer osim OLAP
servisa ukljuuje i servise za rudarenje
podataka.Dolazi u Standardi Enterpriseizdanjima
Enterprise ne mora reprocesirati kocke!!!
SQL Server Analysis Services (SSAS)
5/24/2018 Skladista Podataka
122/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 122
Karakteristike SSAS-a:
Sprema kocke i dimenzije te obrauje upite nad kockama SSAS nije SQL Serverto je sasvim odvojen mehanizam baze
podataka
SSAS ne zahtijeva instalaciju SQL Servera, moe koristiti
podatke sa SQL Servera ako je dostupan, a moe koristitipodatke i s drugih mehanizama za baze podataka (Oracle,
DB2, itd.)
Ima vlastiti jezik za upite - MDX (Multi-Dimensional
Expressions) Za SSAS se takoer koristi razvojno okruenje SQL
Server Business Intelligence Development Studio
(BIDS)
Dimenzioniranje raznih verzija SQL servera
5/24/2018 Skladista Podataka
123/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 123
http://msdn.microsoft.com/en-us/library/cc645993.aspx
http://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspxhttp://msdn.microsoft.com/en-us/library/cc645993.aspx5/24/2018 Skladista Podataka
124/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 124
SKLADITA PODATAKA(FELK16)
dr.sc. Stipe elar, doc.
dipl. ing. el . teh.
prof. filozofije
FESB
Katedra za arhitekturu raunalai operativne sustave
soba B503
Indikatorikvalitete podataka u DW
mailto:[email protected]:[email protected]:[email protected]:[email protected]5/24/2018 Skladista Podataka
125/189
FELK16 Skladita podataka FESB, 2012/13 doc.dr.sc. Stipe elar 125
Tonost podataka Tonost podataka je jedan od najbitnijih indikatora