Upload
richard-jefferson
View
48
Download
1
Embed Size (px)
DESCRIPTION
MIBŐL (NEM) lehet (várat) adattárházat építeni. Kovács Zoltán Training360 Kft. z oltan.kovacs @training360.com. Az adatok természetes állapota. Nem egységes az adatszerkezet a különböző rendszerekben Az adatszerkezet változik Az adatérvényességi szabályok sokfélék, és nem állandóak - PowerPoint PPT Presentation
Citation preview
MIBŐL (NEM) LEHET (VÁRAT) ADATTÁRHÁZAT ÉPÍTENIKovács ZoltánTraining360 [email protected]
AZ ADATOK TERMÉSZETES ÁLLAPOTA
• Nem egységes az adatszerkezet a különböző rendszerekben• Az adatszerkezet változik• Az adatérvényességi szabályok sokfélék, és nem állandóak• Az adatok minősége folyamatosan romlik• A felhasználói igények, szerepek sokfélék és változnak
Rendet kell tenni!
Rendet kell tartani!
DQS
MDS
MIT JELENT A TÖRZSADATKEZELÉS?
• Törzsadat (Master Data)• az üzleti tevékenységek szempontjából fontos központi adatok
halmaza • vevők, szállítók, címek, termékek, árak, eszközök,…
• Törzsadatkezelés (Master Data Management)• A törzsadatok központi kezelése• Az adatok minőségének folyamatos fenntartása• Adatmegosztás – előállítás és felhasználás
• Példák• CRM – ERP objektumok megfeleltetése• Egységes címkezelés a szervezeten belül• Adattárház karbantartás
Verziókezelés
ÉrvényesítésÜzleti szabályok kezelése,
adatkonzisztencia biztosítása
ModellezésEntitások, attribútumok,
hierarchiák
Integráció és megosztás
MIT TUD AZ MDS?
MDS
Szerepkörök kezeléseTranzakciók naplózása
Törzsadatkezelés
Külső (CRM, ..)Excel DWH
Kötegelt betöltés átmeneti táblákba
Adatelérés SQL nézetekkel
Módosítás API-n keresztül
Excel Add-In Web UI
Adategyeztetés(DQS integrált)
Workflow és értesítések
MDS ARCHITEKTÚRA
MDS Database
Entity BasedStaging Tables
Subscription Views
IIS Service
MDS Service
Excel Add-InWEB-UI
External System
CRM/ERP
Workflow / Notifications
DWH
Excel Cleansing and Matching
(DQS) SSIS
BizTalk / Others
SSIS
BI OLAP
External System
WCF
PW Pivot
BizTalk / Others
ADATTÁRHÁZAK ÉS MDS
• Adatérvényesítési szabályok központi kezelése• Előkészített adatbetöltő infrastruktúra• Kész infrastruktúra a dimenziók, hierarchiák karbantartására• Webes és Excel felület• Szerepkör alapú biztonsági rendszer• Tranzakciók naplózása• Átmeneti táblák• Integrációs nézetek
• Verziókezelés• Excel felület
MDS - HA MÁR VAN ADATTÁRHÁZUNK
• Hozzuk létre a megfelelő adatstruktúrát az MDS-ben• dimenziókat, • ténytáblákat,• egyéb entitások az adatérvényesítéshez.
• Hozzuk létre az • üzleti szabályokat, • hierarchiákat, • integrációs nézeteket.
• Állítsuk be a jogosultságokat• Módosítsuk a karbantartó eljárásokat • Átmeneti táblák -> MDS -> Integrációs nézetek
DEMO
Adattárház karbantartása MDS-selMDS modell létrehozásaEntitások létrehozása Excel-ben, meglévő dimenzió alapjánAdatmódosítás Excel-benAdatérvényesítésDimenzió frissítése integrációs nézeten keresztül
TIPIKUS ADATPROBLÉMÁK
Adatminőség Probléma Példa
Szabványosság
Konzisztens és egyértelmű-e az adatdefinícó?
Nemek kódja = N, F, I, máshol = 0, 1, 2 – melyik mit jelent?
Teljesség Minden adat megvan? Nincs megadva a telefonszámok 20%-a, az irányítószámok 10%-a 9999
Pontosság Helyesek az adatok?Hat éve nem szállított semmit, de még mindig „aktív” a státusza.
ÉrvényességAz adatok értéktartományon belül vannak?
A fizetés 100.000 és 2.000.000 között kell legyen.
Egyediség Vannak-e duplikátumok?Kiss Éva és Kis Éva ugyanaz a személy?
ADATMINŐSÉG MEGOLDÁS KOMPONENSEK
Az adathibák megkeresése, korrigálása.
Duplikátumok azonosítása, megkeresése.
Tisztítás Párosítás
ProfilozásMonitoroz
ásAz adatok elemzése, és a lehetséges problémák felderítése.
Az adatminőség folyamatos figyelése, biztosítása.
Tudásalapú
Szemantikus
Tudás-felderítés
Tudásbázisra épül.
Az adattartományok tartalmazzák a szemantikát.
A tudás folyamatosan bővíthető a használat során.
Bővíthetőség
Egyszerűség
Felhasználói szabályokkal és külső referenciaadat-szolgáltatókkal.
Egyszerű felhasználói interfészek.
DQS KONCEPCIÓ
DQS FOGALMAK
• Tudásbázis (Knowledge Base)• Tartomány (Domain)
o Elemi vagy összetett adatdefinícióo Lehetséges értékek halmaza (szinonímákkal)o Tartományi szabályoko Referencia adatok
• Egyeztetési definíció (Matching Policy)o Adategyezőségi szabályok
• Tudás-felderítés (Knowledge Discovery)o Meglévő adatok elemzése
• Adattisztítás• Adatok ellenőrzése és javítása a tudásbázis alapján (Cleansing)• Egyező adatok keresése (Matching)
DQS FOLYAMAT
• Tudásbázis létrehozása• Tartományok létrehozása• Adatok feltérképezése – meglévő adatokból• Szabályok definiálása• Referencia adatok megadása• Egyeztetési szabályok létrehozása
• Adattisztítási feladatok létrehozása• Adattisztítási feladatok futtatása, nyomkövetése• Tudásbázis bővítése
DEMO
Adattisztítás DQS-selTudásbázis létrehozása meglévő adatokbólAdatok ellenőrzése és javítása
Adatbetöltés MDS-beDuplikátumok szűréseAdatok betöltése