Data Quality Management Praxistage...Qualität ist kein Ziel, sondern ein Prozess, der nie zu Ende...

© 2019 | humanIT Software GmbH

Data Quality Management PraxistageKeine Eintagsfliege – DQM als Teil Ihrer Unternehmensstrategie

Agiles Data Quality Management – nachhaltig und hochflexibel: So sorgen Sie für Stabilität

Andreas Brüggenthies 20.11.2019

Ingo Lenzen

2

3

4

5

1

6

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Definition DQM/TQM

Beispiel DQM-Prozess

2

3

4

5

6

1

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Beispiel DQM-Prozess

Definition DQM/TQM

© 2019 | humanIT Software GmbH

Definition Total Quality Management

Total-Quality-Management (TQM), bisweilen auch umfassendes Qualitätsmanagement, bezeichnet die durchgängige, fortwährende und alle Bereiche einer Organisation (Unternehmen, Institution etc.) erfassende, aufzeichnende, sichtende, organisierende und kontrollierende Tätigkeit, die dazu dient, Qualität als Systemziel einzuführen und dauerhaft zu garantieren. TQM wurde in der japanischen Automobilindustrie weiterentwickelt und schließlich zum Erfolgsmodell gemacht. TQM benötigt die volle Unterstützung aller Mitarbeiter, um zum Erfolg zu führen.

https://de.wikipedia.org/wiki/Total-Quality-Management

© 2019 | humanIT Software GmbH

Prinzipien der TQM-Philosophie

Qualität orientiert sich am Kunden,

Qualität wird durch Mitarbeiter aller Bereiche und Ebenen erzielt,

Qualität umfasst viele Dimensionen, die durch Kriterien operationalisiert werden müssen,

Qualität ist kein Ziel, sondern ein Prozess, der nie zu Ende geht,

Qualität bezieht sich auf Produkte und Dienstleistungen, vor allem aber auf die Prozesse zur Erzeugung derselben.

Qualität setzt aktives Handeln voraus und muss erarbeitet werden.

https://de.wikipedia.org/wiki/Total-Quality-Management

© 2019 | humanIT Software GmbH

Herkömmliche Herangehensweisen an DQM

0

20

40

60

80

100

Projekt 1 Projekt 2 Projekt 3

ProjektmäßigeBearbeitung

© 2019 | humanIT Software GmbH

Datenqualitätsmanagement (DQM)

Datenqualitätsmanagement bezeichnet alle qualitätsorientierten organisatorischen, methodischen, konzeptionellen und technischen Maßnahmen, um Daten im Sinne eines Vermögenswertes für Unternehmen zu steuern und zu verwalten. Dies lässt sich als Regelkreis auffassen, der aus den Phasen definieren, messen, analysieren, verbessern und steuern besteht. Unter genauer Betrachtungsweise ist Datenqualitätsmanagement ein wichtiger Bestandteil von Total Quality Management (TQM).

https://www.business-information-excellence.de/datenqualitaet/8-kapitel-3-datenqualitaet-ein-kritischer-erfolgsfaktor

© 2019 | humanIT Software GmbH

Schritte zum Aufbau eines DQM

Aufbau einer nachhaltigen Data Governance Struktur (Data Ownership)

Etablierung eines einheitlichen Verständnisses von Daten im Unternehmen

Ist Situation - aktuelle Datenlage

Soll Situation – Zieldefinition

Etablierung Data Quality Monitoring für Steuerung der Datenqualität

Implementierung von Quality Gates zur Verhinderung von Datenproblemen

Dr. Christian Fürber, Information Quality Institute GmbH

© 2019 | humanIT Software GmbH

Einzelschritte im DQM

Datenqualität sichten, prüfen und korrigieren.

Regelwerke definieren

Automatische Prüfung der Daten

Prüfungsberichte organisieren (Informationsverteilung)

Monitoring der Datenqualitätsmaßnahmen und Dateninhalte(Dashboards, Kommunikation)

Datenqualität als Prozess etablieren

2

3

4

5

6

1

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Beispiel DQM-Prozess

Definition DQM/TQM

© 2019 | humanIT Software GmbH

DQ eine Frage der Perspektive ?

© 2019 | humanIT Software GmbH

Solide ?

© 2019 | humanIT Software GmbH

Doch wackelig ?

© 2019 | humanIT Software GmbH

Evtl. Handlungsbedarf ?!

© 2019 | humanIT Software GmbH

Manchmal kann schnelle Transparenz …

© 2019 | humanIT Software GmbH

…. hilfreich sein !!!

© 2019 | humanIT Software GmbH

Konsens bilden – Daten gemeinsam verstehen

© 2019 | humanIT Software GmbH

Definition Datenqualität

Unter Datenqualität versteht man die Relevanz und Korrektheit von Informationen. Sie beschreibt, wie gut eine Information geeignet ist, die Realität zu beschreiben. Insbesondere besagt sie, wie verlässlich eine Information ist und inwieweit man sie als Handlungsgrundlage verwenden kann.[omikron.net/datenqualitaet.html]

La trahison des images (wörtlich: „Der Verrat der Bilder“) ist eines der bekanntesten Bilder von René Magritte. Es entstand 1929, ist ein 59 x 65 cm großes Ölbild und befindet sich heute im County Museum von Los Angeles. Abgebildet ist eine Pfeife, darunter ist der Schriftzug „Ceci n'est pas une pipe.“ (französisch für „Dies ist keine Pfeife.“) zu lesen.http://de.wikipedia.org

© 2019 | humanIT Software GmbH

Grundlagen SDM - Übung: Datenqualität

Wie beurteilen Sie die Vollständigkeit der folgenden Daten(-sätze)?

Name Straße PLZ Ort Geburtsdatum

Kunde A Peter Müller

Rotweg 53218 Bonn 01.01.1900

Kunde B H. Schulze Hauptstr. 22 53119 Bonn

Kunde C Schmitz Gartenweg 4

Bonn 03.06.1973

Kunde DSpedition

Postfach 4711

49360Vech

ta01.10.2001

© 2019 | humanIT Software GmbH

Konsens

Der Konsens bedeutet die übereinstimmende Meinung von Personen zu einer bestimmten Frage ohne verdeckten oder offenen Widerspruch.

Wikipedia https://de.wikipedia.org/wiki/Konsens

2

3

4

5

6

1

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Beispiel DQM-Prozess

Definition DQM/TQM

© 2019 | humanIT Software GmbH

Anforderungen an das Data-Exploring

ÜbersichtDaten einfach anschauen und beurteilen können –plakative Darstellung der Datenlage

KommunikationDateninhalte einfach besprechen können

KonsensEinvernehmliches Verständnis für Dateninhalte herstellen

BrainstormingEinfach und flexibel Teilbereiche des Datenpools selektieren können

© 2019 | humanIT Software GmbH

Explorative Datenauswertung

Anforderung an Tools:

Eine effiziente Ergänzung, um Prüfungsaspekte, Kontrolle, Kommunikation, Überwachung, Transparenz, Nachhaltigkeit und Zeit eine wesentliche Rolle für die Auswertung von Daten zu ermöglichen.

Ergänzend zu regelbasierten Systemen zu sein(§ 25c KWG Fraud, BCBS 239, Datenkontrolle, etc.)

© 2019 | humanIT Software GmbH

LIVE-Beispiel

Explorative Datenanalyse

2

3

4

5

6

1

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Beispiel DQM-Prozess

Definition DQM/TQM

© 2019 | humanIT Software GmbH

Definition Strategie

Strategie wird definiert als die grundsätzliche, langfristige Verhaltensweise (Maßnahmenkombination) der Unternehmung und relevanter Teilbereiche gegenüber ihrer Umwelt zur Verwirklichung der langfristigen Ziele.[Gabler Verlag (Herausgeber), Gabler Wirtschaftslexikon, http://wirtschaftslexikon.gabler.de/Definition/strategie.html]

© 2019 | humanIT Software GmbH

„Richtiges“ Stammdatenprojekt

Stammdatenmanagement muss als langfristiges Programm verstanden werden

Das langfristige Ziel muss definiert und kommuniziert sein (blauer Punkt)

Die einzelnen Schritte werden als Projekte abgewickelt

Für die Projekte klar einen Fokus bestimmen und die Begleitthemen identifizieren

Fun

ktio

nal

ität

Zeit

IST

• Technik• Prozesse• Organisation• Reifegrad

SOLL

Alle Aktivitäten fokussierenauf das gemeinsame Ziel

© 2019 | humanIT Software GmbH

Warum Monitoring?

0

20

40

60

80

100

Projekt 1 Projekt 2 Projekt 3

Programmmäßige,kontinuierlicheBearbeitung

ProjektmäßigeBearbeitung

© 2019 | humanIT Software GmbH

Organisation eines Stammdaten-Programms

Kleines, schlagfertiges Kernteam (3-4 Personen) mit guter KnowHow-Mischung

Mindestens 1 Sponsor in der Unternehmensführung

Externe Unterstützung in Methodik und Vorgehen

Erweitertes Projektteam aus den Fachbereichen

Team muss Kompetenzen haben, um in die Prozesse einzugreifen

Zentrale Erreichbarkeit installieren (ggfs. über Email o.ä.)

© 2019 | humanIT Software GmbH

Programm als kontinuierlicher Prozess

Explorieren

Definieren

MessenAnalysieren

Verbessern

Monitoren/Steuern

Aufspüren neuer Problemfälle

Ganzheitliche Betrachtung der Daten

Definition von Kennzahlen

Erstellung von IndexenAnalyse der Indexe

Feststellung des Gesamtindex

Bearbeitung der Regelverstöße

Historisiertes Controlling

Auswirkung von Maßnahmen

Definition eines Regelwerks

2

3

4

5

6

1

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Beispiel DQM-Prozess

Definition DQM/TQM

© 2019 | humanIT Software GmbH

Datenqualitätsmetriken

Datenqualität

Domänen

Qualitäts-Metrik

Qualitäts-Metrik

Domänen

Qualitäts-Metrik

Qualitäts-Metrik

• Gesamtheit unterschiedlicher Qualitätsmerkmale

• Einzelaspekt der Datenqualität

• Objektive, messbare Größe, die in Bezug auf unterschiedliche Ausprägungen eines Qualitäts-merkmals sensitiv reagiert

© 2019 | humanIT Software GmbH

Merkmale und Metriken

Vollständigkeit Formatkonsistenz Zulässigkeit Plausibilität (inhaltlich / zeitlich) Exaktheit

Format nicht ok

Format ok

Nicht-Definitions-

Bereich

Definitions-bereich

Unschar-fer Bereich

Feld nicht leer

Feldnicht leer

Feld leer

Feld leer

Feld nicht leer

Feld leer

QM

QM

QM

Wert im Wertebereich

Wert nicht im Wertebereich

QM

Wert im Wertebereich

Wert nicht im Wertebereich

QM

Plausibilität greift nicht

Plausibilität greift und ist ok

Plausibilität greift und ist nicht ok

Plausibilität greift nicht

Plausibilität greift und ist ok

Plausibilität greift und ist nicht ok

IM

IM

QM

QM

Automatische Wert-ermittlung greift nicht

Automatische Wert-ermittlung greift und ist ok

Automatische Wert-ermittlung greift und ist

nicht ok

IM

Automatische Wert-ermittlung greift nicht

Automatische Wert-ermittlung greift und ist ok

Automatische Wert-ermittlung greift und ist

nicht ok

IM

QM

QM

Format nicht ok

Format ok

QM

IM

Inhalt

Legende

Qualitätsmetrik

Interne Metrik

QM

IM

© 2019 | humanIT Software GmbH

Regelbasierter Lösungsansatz - Business Rules

Nutzen:

Automatisieren, plausibilisieren oder abgleichen von Feldbelegungen innerhalb eines Systems oder mehrerer verschiedener Systeme.

Datenfehler lassen sich über verletzte Business Rules entdecken.

Basis für die fachliche Bewertung der Datenqualität und damit maßgebend für die Definition von Datenqualitäts-Messkriterien.

Probleme:

Oft nicht schriftlich fixiert, sondern nur in den Köpfen der Mitarbeiter vorhanden.

Sind bekannt, dann oft nur in einer unscharfen Form bzw. in einer sprachlichen Formulierung.

Sind bekannt, werden aber nicht konsequent angewendet.

© 2019 | humanIT Software GmbH

Struktur einer Business Rule

Regel = Abfrage + Statistik + Bewertung

Wesentliches Merkmal ist die Eindeutigkeit, die keinen Raum für unterschiedliche Auslegungen lässt.

IdentifikationRelevanter Datenfelderund Datentöpfe

Data collectionAbgrenzung(Selektionskriterien)Stichprobe (data sample)

AuswertungListen/Kennzahlen

Differenzen zu Erwartungswerten

Controlling zu Historienwerten

Festlegen von Schwellwerten(thresholds)

AmpelstatusRot - Gelb – Grün

Gewichtung

© 2019 | humanIT Software GmbH

Vorgehensmodell

DQ-Auftragsvorbereitung

• Datenexperten für fachliche und technische Fragestellungen identifizieren

• Bereitschaft der Datenexperten zur Mitwirkung bei den DQ-Analysen sichern

• Datenzugriffe für das DQ-Werkzeug bereitstellen

• Fachliche und technische Dokumentationen der Datenstruktur sichten

DQ-Analyse

• Durchführen statistischer Spaltenwertanalysen („profiling session“)

• Festlegen der wichtigsten Datenfelder

• Analyse individueller Datenauswertungen

• Entwurf von DQ-Regeln

• Bewertung von DQ-Regelergebnissen

Bereitstellen von DQ-Prüfergebnissen

• Eliminieren redundanter DQ-Prüfungen

• Berücksichtigen mehrerer DQ-Ergebisplattformen

• Überprüfen der DQ Regelnamenssyntax

• Bewertung von Thresholds

• Zuordnung von Auslösertypen

• DQ-Kriterien zuordnen

• und DQ-Indizes mit Gewichtungen berechnen

• Scorecard & Prüfbericht

© 2019 | humanIT Software GmbH

Kommunikation/Berichte

Mitarbeiter frühzeitig mitnehmen

Gründe mit Kollegen erarbeiten

Auswirkungen aufzeigen

Status Quo bereitstellen (Unternehmensdashboard)

Prozesse transparent machen

Anlaufstelle einrichten, Vorschläge aufnehmen und umsetzen

Geschäftsführung mitnehmen

Investition begründen können (Kennzahlen, Entwicklung)

Maßnahmen darstellen, Vorschläge machen

© 2019 | humanIT Software GmbH

Kommunikation/Berichte (Beispiele)

2

3

4

5

6

1

Datenverständnis schaffen

Beispiel explorative Datendarstellung

Aufbau einer DQM-Strategie

Regeln, Jobs und Monitoring

Beispiel DQM-Prozess

Definition DQM/TQM

© 2019 | humanIT Software GmbH

LIVE-Beispiel

Regelbasierter DQM-Prozess

© 2019 | humanIT Software GmbH

Agiles DQM

DatenbasisAgile

Business RulesSDM

RegelübernahmeRegeldefinition und -TestBedeutung Richtigkeit

Datenbereinigung

Vielen Dank für Ihre Aufmerksamkeit