Herausforderungen mit Data Vault...A-456 Dani Schnider B-0815 Dani Schnider B-4711 Peter Welker A-789 Lothar Reisinger B-9876 Gregor Zeiler 23489724 90346262 98437098 Lothar Reisinger

BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENEVA HAMBURG COPENHAGEN LAUSANNE MUNICH STUTTGART VIENNA ZURICH

Datenmodellierung mit Data Vault:Herausforderungen in der PraxisTDWI Schweiz, 6. November 2018Dani Schnider, Trivadis AG

Dani Schnider

2

Working for Trivadis in Glattbrugg/Zurich– Senior Principal Consultant– Data Warehouse Lead Architect– Trainer of several CoursesCo-Author of the Books– Data Warehousing mit Oracle– Data Warehouse BlueprintsCertified Data Vault Data ModelerOracle ACE

06.11.2018 Datenmodelllierung mit Data Vault - TDWI Schweiz

@dani_schnider danischnider.wordpress.com

Datenmodelllierung mit Data Vault - TDWI Schweiz3 06.11.2018

Der richtige Schlüssel

Der richtige fachliche Schlüssel

4 06.11.2018

CustomerDatabase

(A)

Web ShopDatabase

(B)

Quellsysteme

Customer

Online User

✗✔

Customer_BK Customer_Name

A-123 Gregor Zeiler

A-456 Dani Schnider

B-0815 Dani Schnider

B-4711 Peter Welker

A-789 Lothar Reisinger

B-9876 Gregor Zeiler

✗

Customer_BK Customer_Name

23489724 Gregor Zeiler

90346262 Dani Schnider

98437098 Lothar Reisinger

82365405 Peter Welker

✔Datenmodelllierung mit Data Vault - TDWI Schweiz

EindeutigeKundennummer



Und wenn keine eindeutige Kundennummer existiert?

Eigenen fachlichen Schlüssel definieren!

– E-Mail-Adresse?

– Vorname, Nachname, Geburtstag?

– Vorname, Nachname, Geburtstag, PLZ?

– Vorname, Nachname, Geburtstag, E-Mail-Adresse?

Guten fachlichen Schlüssel finden ist schwierigste Aufgabe von DV-Modellierung

– Primary Key von Quellsystem ist Notlösung

– Verhindert Integration von mehreren Quellsystemen

Nicht alle Kundenhaben eine

E-Mail-Adresse

Was wenn zweiKunden mit

gleichem Namenam gleichen Tag geboren sind?

Was wenn einKunde in eineandere Stadt

umzieht?

Was wenn einKunde mehrereE-Mail-Adressen

hat?


6 06.11.2018

CustomerDatabase

(A)

Web ShopDatabase

(B)

Quellsysteme

Customer

Online User

Datenmodelllierung mit Data Vault - TDWI Schweiz

IntegratedCustomer

Same-AsLink (SAL)

Business Key:• Source PK

Business Key:• Source PK

Business Key:• First Name• Last Name• [Birthdate]• [E-Mail]

Raw Data Vault Business Data Vault


Ping-Pong-Effekt

Ping-Pong-Effekt


BK Name City

100 Thomas Bern

200 Daniel Zürich

300 Peter Stuttgart

SID TS Name RS

BK Name E-Mail

SID TS City RS

SID TS E-Mail RS

SID BK RSSID BK RS

1 100 A

2 200 A

3 300 A

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

Ping-Pong-Effekt


BK Name City

100 Thomas Bern

200 Daniel Zürich

300 Peter Stuttgart

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

BK Name E-Mail

400 Martin [email protected]

200 Dani [email protected]

300 Peter [email protected]

500 Irina [email protected]

SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

SID TS E-Mail RS

SID BK RS

1 100 A

2 200 A

3 300 A

SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Irina B

SID TS E-Mail RS

4 t2 [email protected] B




Ping-Pong-Effekt


BK Name City

100 Thomas Basel

200 Daniel Zürich

300 Peter Stuttgart

500 Irina Wien

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Irina B

BK Name E-Mail





SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

SID TS E-Mail RS





SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Irina B

2 t3 Daniel A

SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

1 t3 Basel A

5 t3 Wien A

Ping-Pong-Effekt


BK Name City

100 Thomas Basel

200 Daniel Zürich

300 Peter Stuttgart

500 Irina Wien

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Irina B

2 t3 Daniel A

BK Name E-Mail





600 Beat [email protected]

SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

1 t3 Basel A

5 t3 Wien A

SID TS E-Mail RS





SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

6 600 B

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Irina B

2 t3 Daniel A

2 t4 Dani B

6 t4 Beat B

SID TS E-Mail RS







Ping-Pong-Effekt


BK Name City

100 Thomas Basel

200 Daniel Zürich

300 Peter Stuttgart

500 Irina Wien

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Dani B

2 t3 Daniel A

BK Name E-Mail






SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

1 t3 Basel A

5 t3 Wien A

SID TS E-Mail RS





SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

6 600 B

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

4 t2 Martin B

2 t2 Dani B

5 t2 Irina B

2 t3 Daniel A

2 t4 Dani B

6 t4 Beat B

SID TS E-Mail RS







Ping-Pong-Effekt


Laden von Daten aus mehreren Quellsystemen in einen Satelliten

– Kann zu zusätzlichen Versionen führen (“Ping-Pong-Effekt”)

– Aktuelle Version hängt von Ladereihenfolge ab (“der Letzte gewinnt”)

– Inkonsistenzen werden nicht erkannt

Laden von Daten aus mehreren Quellsystemen in separate Satelliten

– Pro Quellsystem wird ein Satellit erstellt

– Jeder Satellit hat eine unabhängige Historisierung

– Inkonsistenzen können über Transformationsregeln erkannt und korrigiert werden(z.B. Nimm Name aus Quellsystem A, falls nicht vorhanden aus Quellsystem B)

Ping-Pong-Effekt


BK Name City

100 Thomas Basel

200 Daniel Zürich

300 Peter Stuttgart

500 Dani Wien

SID TS Name RS

1 t1 Thomas A

2 t1 Daniel A

3 t1 Peter A

5 t3 Irina A

BK Name E-Mail






SID TS City RS

1 t1 Bern A

2 t1 Zürich A

3 t1 Stuttgart A

1 t3 Basel A

5 t3 Wien A

SID TS E-Mail RS





SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

SID BK RS

1 100 A

2 200 A

3 300 A

4 400 B

5 500 B

6 600 B

SID TS Name RS

4 t2 Martin B

2 t2 Dani B

3 t2 Peter B

5 t2 Irina B

6 t4 Beat BSID TS E-Mail RS








Multi-Active Satellites

Multi-Active Satellite


Key TS Addr_Type Name City

1 t1 Billing Thomas Bern

2 t1 Billing Peter Zürich

2 t1 Shipping Peter Stuttgart

3 t1 Billing Martin Zürich

3 t1 Shipping Martin Bern







1 t2 Billing Thomas Basel

1 t2 Shipping Thomas Bern









2 t3 Shipping Peter Zürich

3 t3 Billing Martin Basel











Alternative 1: Separate Satelliten













Alternative 2: Zusätzlicher Hub und generischer Link


Problem wurde in “Multi-Active Link”

verschoben

Was ist der fachliche

Schlüssel einerAdresse?

Alternative 3: Zusätzlicher Hub und spezifische Links


Was ist der fachliche

Schlüssel einerAdresse?

Multi-Active Satellites


Vorteile:

Klassifizierung von gleichartigen Satelliten mit unterschiedlichen Typen

Vermeidung von mehreren Satelliten mit gleicher Struktur

Nachteile:

Abweichung von Standard-Patterns, separate ETL-/Abfragelogik notwendig

Fachliche Zusammenhänge im Modell nicht sichtbar

(Meine) Empfehlungen:

Wenn möglich vermeiden

Alternativen 1 oder 2 verwenden

Blog Post von Roelant Vos:Schools of thought on implementing Multi-Active Satellites, http://roelantvos.com/blog/?p=2175


Generische Datenmodelle

Fall 1: Bewegungsdaten “dynamisch konfigurierbar”


“Calculated Values Table”(~ Key-Value)

Fall 2: Herleitung aus ”generischem” logischen Modell


Generische Datenmodelle


Grundidee:

Erweiterungen ohne Modellanpassungen möglich

Datenmodell soll möglichst allgemein gehalten werden

Konfigurierbar über Metadaten (z.B. Rolle, Objekttyp, etc.)

Einsatzgebiet:

Agile DWH-Projekte mit vielenErweiterungen und Change Requests

Empfehlung:

Nicht verwenden!

Widerspruch zumGrundprinzip von

Data Vault

Partner

ObjectRole

Type

Weitere Informationen


How to Build Hash Keys in Oraclehttps://danischnider.wordpress.com/2017/01/24/how-to-build-hash-keys-in-oracle/

biGENiUS Generates Data Vaulthttps://danischnider.wordpress.com/2016/12/22/bigenius-generates-data-vault/

Delta Detection in Oracle SQLhttps://danischnider.wordpress.com/2016/10/08/delta-detection-in-oracle-sql/

Foreign Key Constraints in an Oracle Data Warehousehttps://danischnider.wordpress.com/2015/12/01/foreign-key-constraints-in-an-oracle-data-warehouse/

Loading Dimensions from a Data Vault Modelhttps://danischnider.wordpress.com/2015/11/12/loading-dimensions-from-a-data-vault-model/

Join Elimination: Difference in Oracle 11g and 12chttps://danischnider.wordpress.com/2015/06/29/join-elimination-difference-in-oracle-11g-and-12c/

Data Vault Challenge Workshophttps://danischnider.wordpress.com/2013/10/06/data-vault-challenge-workshop/

Data Vault Modeling – My first attempt to walkhttps://danischnider.wordpress.com/2013/04/30/data-vault-modeling-my-first-attempt-to-walk-2/

danischnider.wordpress.com

Documents

Herausforderungen mit Data Vault...A-456 Dani Schnider B-0815 Dani Schnider B-4711 Peter Welker A-789 Lothar Reisinger B-9876 Gregor Zeiler 23489724 90346262 98437098 Lothar Reisinger