Brondata als enabler van agile bi

Harald Kikkers

[email protected] I T C G

IT Consultancy Group bv

Friesestraatweg 215

9743 AD Groningen

Brondata als enabler van Agile BI

I T C G BI, altijd lastig?!

Brondata als enabler van Agile BI 2

Big ENTERPRISE

Big LOGIC

Big DATA

I T C G Big ENTERPRISE

• Vertrager…

– Te hoge kosten (?)

– Te lange doorlooptijd (?)

– Te hoge risico’s (?)

• Versneller…

– Big ENTERPRISE AGILE!

• Big LOGIC (?) Kennis, technologie

• Big DATA (?) Volume, semantiek, kwaliteit, veiligheid


I T C G AGILE!

• Doel

– Sneller, beter, goedkoper,…

– Opheffen nadelen conventionele aanpakken

• ‘waterval’ gaat uit van ‘fixed target’, volledige spec

• Agile ‘specifying by doing’

• Een continuproces

– Kleine teams, multidisciplinair, betrokkenheid gebruikers

– Korte iteraties (‘Sprints’) snelle feedback bijsturen

– Nauwe samenwerking business en ICT

Organisatie!


I T C G Kennis en ervaring…

• BI

• SQL

• Databases

• Data analyse

• Data kwaliteit

• Data modellering

• Informatie analyse

• Performance tuning

• Project management

• Materie-deskundigheid

• Informatie management

• Technische infrastructuren

• Modellering datalogistieke processen

• Etc, etc, etc, etc, etc, etc, etc, etc, etc, etc, …


I T C G Big ENTERPRISE


Agile aanpak

I T C G “One down, two to go!”


Big ENTERPRISE

Big LOGIC

Big DATA

I T C G Big LOGIC

• Vertrager…

– Structuur en semantiek van data

– Data-kwaliteit, normering en regels

– Mapping-/transformatie

• Versneller…

– Meta-data repositories

– Standaard architectuur

– BI tools

• Meta data repositories

• (Bron-)data analyse

• ETL (transformatie, mapping)

• Code generatoren

• Runtime framework


I T C G Toepassing tools in BI


Bronnen Extracties (GLO)

DQ regels

laad &

check

mapping

Referentie Model

Bron Modellen

Uitval Audit Map regels

DQ regels

check

Uitval

mapping

Audit Map regels

Data Warehouse

Data Marts

I T C G ETL-tools in BI


laad &

check

mapping

Referentie Model

Bron Modellen

Uitval Audit

check

Uitval

mapping

Audit

Data Warehouse

Data Marts

Bronnen

DQ regels

Map regels

DQ regels

Map regels

Extracties (GLO)

ETL

Voordelen:

• Basisfunctionaliteiten (stage, hist, map, QA)

• Kennisborging generatie

Voorwaarden:

• Meta-data management (?)

I T C G Analyse-tools in BI



laad &

check

mapping

Referentie Model

Bron Modellen

check

mapping

Data Warehouse

Data Marts

DQ regels


DQ regels


Analyse

Voordelen:

• Kennis integratie borging generatie

Voorwaarden:

• Modelleren meta-data (?)

• Formuleren & normeren kwaliteit (?)

I T C G BI-tools

Kennis…

• Analyseren (statistiek, profiling)

• Vastleggen (repositorie)

• Ontsluiten (browsen, visualisatie)

• Onderhouden (editors)

• Automatiseren (generatoren)

Managen van kennis (meta–data)

Automatiseren oplossing (generatie en operatie)


I T C G BI-tool screen shots…








I T C G Big LOGIC


BI tools

I T C G “Two down, one to go!”


Big ENTERPRISE

Big LOGIC

Big DATA

I T C G Big DATA

• Vertrager…

– Testsets te groot

– Testsets niet specifiek

– Testsets bevatten ‘gevoelige’ data

• Versneller…

– Kleinere testsets

– Specifieke testsets

– Anonimisering


Test Data Management tools!

I T C G Toepassing subsetting in BI


DQ regels

laad &

check

mapping

Referentie Model

Bron Modellen


DQ regels

check

Uitval

mapping

Audit Map regels

Data Warehouse

Data Marts


Subsetting

Voordelen:

• Kleine sets = snel testen

• Kleine sets = veilig (minder ‘gevoelige’ data)

Voorwaarden:

• Flexibiliteit m.b.t. selectie-criteria (?)

• Over de keten heen (?)

• Technisch vs. functioneel consistent (?)

I T C G Subsetting screen shots…






I T C G Toepassing anonimisering in BI


DQ regels

laad &

check

mapping

Referentie Model

Bron Modellen


DQ regels

check


Data Warehouse


Anonimisering

mapping

Data Marts

Voordelen:

• Anoniem = veilig (WbP, concurrentie)

Voorwaarden:

• Bepalen risico-klasse (?)

• Specificatie anonimiseringsregels (?)

• Pseudonimiseren of anonimisering (?)

I T C G Anonimisering screen shots…


I T C G Anonimisering screen shots…


I T C G “Touchdown!”


Big DATA

Big ENTERPRISE

Big LOGIC

I T C G Big DATA


TDM tools

I T C G Conclusie

• Big ENTERPRISE

AGILE methode

• Big LOGIC

Data analyse & ETL-tooling

• Big DATA

Testdata management tooling

• Subsetting

• Anonimisering


I T C G Afsluiting

• Vragen…?

• … en anders op onze stand

– Kennismaken

– Demo’s

• DATPROF Integrate

• DATPROF Subset

• DATPROF Privacy


Education

Brondata als enabler van agile bi