Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül

1 HOUG Szakmai nap 2015

Gollnhofer Gábor DMS Consulting

Az adatvagyon kezelés és a metaadatok


Nagyon rövid bevezetés az adatvagyon kezelésbe

Big Data és elemzések, adattárház és önkiszolgáló BI - napjaink sláger témái.

Ugyanakkor ahhoz, hogy hatékonyan tudjuk kezelni és elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül.

Többek között ennek megválaszolását segíti az adatvagyon kezelés (data governance).


Az adatok értéke - Miért adat „vagyon”? Hasonló az egyéb vagyonelemekhez

Költség:

Beszerzési érték, beszerzés költsége

Használattal kapcsolatos költségek

Kicserélés, javítás, pótlás költsége

„Karbantartás” költsége

Haszon:

Használati érték (idő, produktivitás, jó vezetői döntések)

Kockázat csökkentés (bank/biztosító/retail/eü szabályozás, pl. kötelező tartalékképzés)

„Monetizing” (ha lehetséges/szabad)


Mi az adatvagyon kezelés (data governance)?

Az adatvagyon kezelésnek foglalkoznia kell a „kezelt” adatok:

• elérhetőségével,

• felhasználhatóságával,

• integritásával (és minőségével),

• biztonságával.

Ezek nem csak technológiai kérdések!

Hanem üzleti és jogi is (pl. személyes adatok védelme; „Right to be forgotten”)


Az adatvagyon kezelés elemei

Folyamatok (Process)

IT (Technology)

Emberek (People)


Az adatvagyon adatelemei

Metaadatok

Törzsadatok Operatív adatok


Eszközei

„Soft” eszközök Üzleti fogalomtár(ak), definíciók és ontológiák

Folyamat leírások, szabályzatok (üzleti és IT), dokumentációk

Oktatás

„Hard” eszközök Törzsadatkezelés (Master Data Management – MDM és/vagy

Customer Data Integration – CDI; Product Data Mgmt - PDM)

Metaadat kezelés (üzleti és technológiai)

Hozzáférés kezelés (jogosultságok és naplózás)

Archiválási eszközök és eljárások (pl. anonimizálás)

Katalógusok (pl. rendszertérkép)

Adatminőség biztosítás (Data Quality Management)


A metaadat definíciója

A metaadat „adat az adatokról“

Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat

A szervezeten, vállalaton belül

közös nyelvet határoz meg,

a munkatársak és rendszerek könnyen kommunikálhatnak

A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját

Üzleti kontextusban mutatja be az adatokat

Specifikálja a rendszer(ek)en belüli helyét

Adatkinyeréseket, betöltéseket, frissítéseket indíthat el


A metaadatok feladatai

Feladat #1: Adatdefiníció

Hány ügyfelünk van? A „Vevő” az „A” rendszerben ugyanaz, mint az „Ügyfél” a „B” rendszerben?

Mit jelent az UGYFEL_ERT? „Ügyfél értéke” vagy „Ügyfél értesítés dátuma”? Kitől kell megkérdezni?

Ezen a riporton a „Bevétel” a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket?

A cél: hogy almát almához hasonlítsunk

http://hu.wikipedia.org/wiki/F%C3%A1jl:Apple_logo_black.svg

http://www.google.hu/url?sa=i&source=images&cd=&cad=rja&uact=8&ved=0CAgQjRw&url=http://tophqimages.com/apple-fruit-wallpaper-hd/&ei=528OVdDwBcHjO-WDgdgN&psig=AFQjCNGuGhT1O5L7vtbuCK6asbKLv6B9-w&ust=1427095911143141


A metaadatok feladatai

Feladat #2:

az adatok forrásának, transzformációinak leírása

Hogy tudjuk, honnan jön az adat és hová megy:

Mely számokat kombinálják a havi adat előállításához?

Ha ezt megváltoztatom, mire lesz hatással?

Ez az adat rossznak tűnik, honnan jött?

Milyen gyakran frissítik a jelentéseket?

Ez vajon hogyan jött ki?

Kitől kell ezeket megkérdeznem?


Metaadatok értéke Az üzleti és technikai felhasználók különböző kérdéseire adott

válaszokban rejlik

Forrás: Oracle – Big Data Governance


Hol a helye az architektúrában?

Forrás: Oracle Information Management & Big Data Reference Architecture


Kapcsolódó Oracle eszközök

Data Governance

Metadata Management

Business Glossary

Data Profiling

Data Cleansing

Data Archiving

Data Privacy

Oracle Enterprise Metadata Management (OEMM)

Oracle Enterprise Data Quality


Oracle Enterprise Metadata Management (OEMM)

Metaadat kezelés

Vízszintes és szemantikai függőség (lineage) kezelés

Üzleti fogalomtár

Az üzleti fogalmak együttműködő és egyszerű definiálása és kapcsolataik nyilvántartása

Tulajdonságok

Üzleti adat/fogalom katalógus

Riport Forrás (Lineage)

Hatáselemzés (Impact)

Auditálás, verziókezelés

Kollaboráció lehetőségek

Annotációk, tag-ek

Nyílt, más gyártók eszközeit is ismeri


Oracle Enterprise Metadata Management

A metaadat kezelés két „nézete”



Bevezetés, történet

Vállalati metaadat kezelő megoldás

ISO/IEC 11179 szabvány kompatibilis „Information Technology -- Metadata registries (MDR)”

Eredeti gyártó:

Meta Integration Technology, Inc. (MITI)

1997 óta „csak” metaadat kezeléssel foglalkoznak

többen is OEM-ben beépítették („MITI bridge”)

Oracle verzió

Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 (12.1.3.0.2))

A legújabb 8.0-ás verzió alapján

http://metadata-standards.org/11179/

http://metadata-standards.org/11179/



Fontosabb funkciói

Glossary (fogalomtár)

Metaadatok importálása és indexelése

Kézzel és ütemezetten is indítható

Keresés és metaadatok böngészése

Szöveges leírások

Diagramok (adatmodell, ETL folyamat, stb.)

Függőség és hatáselemzés (impact & lineage)

Szöveges formában

Grafikus ábrázolás

Verziókezelés



Felépítése, elemei

Felhasználói felület

Böngésző alapú (Chrome, Explorer, Firefox, Safari)

Metadata Manager és Metadata Explorer „alkalmazás”

Web alkalmazás server

Tomcat vagy Oracle Weblogic (esetleg Websphere)

Repository

Relációs adatbázisban (pl. Oracle 12c, MSSQL, stb.)

Meta modell „bridge”-ek

A különböző metaadat források kezeléséhez (import)

Kézi és ütemezett „begyűjtés” („harvesting”)


Kapcsolódási lehetőségek, támogatott eszközök Kb. „a világ összes komolyabb eszközét ismeri”

Adaptive

Altova

Apache Hcatalog

Apache Hive/HQL

Borland

CA ERwin

Cloudera Impala

COBOL Copybook

DataStax

Embarcadero

EMC ProActivity

GentleWare

Google BigQuery

Grandite

Hadapt Hive

Hortonworks Hive

IBM Cognos

IBM DB2

IBM DataStage

IBM Discovery

IBM Federation Server

IBM Lotus Notes

IBM Netezza

IBM Rational Rose

IBM Rational Architect

Informatica Metadata Mgr.

Informatica PowerCenter

CoSORT

ISO SQL Standard (DDL)

MapR Hadoop Hive

MicroFocus

Microsoft Access

Microsoft Office Excel

Microsoft Visio

Microsoft SQL Server

Microsoft SSIS

Microsoft Visual Studio

Microstrategy

Magic Draw

OMG CWM Standard

OMG UML Standard

Oracle BI Answers

Oracle BI Enterprise Edition

Oracle BI Server

Oracle DAC

Oracle Data Integrator

Oracle Data Modeler

Oracle Database

Oracle Designer

Oracle Hyperion Applications

Oracle Hyperion Essbase

Oracle Warehouse Builder

Pivotal Greenplum

PostgreSQL

QlikView

SAP BO Crystal Reports

SAP BO Designer

SAP BO Desktop Intelligence

SAP BO Repository

SAP BO Data Integrator

SAP BO Data Steward

SAP Master Data Management

SAP Sybase PowerDesigner

SAP Sybase ASE Database

SAS Data Integration Studio

SAS BI Server

SAS Information Map

SAS Metadata Management

SAS OLAP Server

Select

Sparx Architect

Syncsort

Tableau

Talend

Teradata

Tigris

Visible

W3C DTD & XSD Schema



Demo

Képernyők

Fogalomtár (Glossary)

Metaadat importálás (Excel, SDDM, PDM)

Metaadat keresés, böngészés

Hatás és előzmény elemzés (Impact & lineage analysis)

Adatfolyam diagram


Demo

Fogalomtár - Glossary


Demo

Adatmodell importálás – Eredeti modell (részlet)


Demo

Adatmodell importálás – OEMM modell (részlet)


Demo



Demo



Demo



Demo

Hatás- és előzmény elemzés (Impact & lineage)


Demo

Adatfolyam (Data Flow Overview)



Előnyök

Végre van ilyen a termékpalettán

Nyitottság

Támogatott eszközök, platformok széles köre

Elterjedt (más gyártók eszköziben is beépítve)

Kiegészíthető, bővíthető

Funkcionalitás

Böngésző alapú felhasználói felület

Jó keresési lehetőségek

Impact és Lineage elemzés támogatás

Ütemezett frissítés támogatása



Hátrányok

„Enterprise kategóriájú” árazás

Angol nyelvű felület (üzleti felhasználóknak?)

Viszonylag kevés tapasztalat


Összefoglaló #1

Adatvagyon kezelés

Az adatvagyon kezelés „feljövőben levő” terület, mert:

Sokkal nagyobb mennyiségű és sokrétűbb adatokat kezelünk

Több és összetettebb rendszer (sokszor inkonzisztens)

Bonyolultabb folyamatok mentén

Az adatvagyon kezelés:

Abban segít, hogy „uraljuk a káoszt”

Azt, úgy és addig kezeljük, amennyire szükség van rá (üzleti, technológiai és jogi kérdés is lehet)

Emberek, folyamatok és technológiai megoldások


Összefoglaló #2

Metaadat kezelés

A metaadat kezelés:

Az adatvagyon kezelés kritikus eleme

Business glossary és impact&lineage analysis

Önkiszolgáló BI („Mit, hol találok?”)

Mindenkinek foglalkoznia kell vele!

Főleg, aki elosztott rendszerkörnyezetben dolgozik

Inkább előbb, mint utóbb

Az Oracle-nek (is) van jó megoldása


Ami heterogén környezetben is jól működik


Kérdések & válaszok

[email protected]

mailto:[email protected]



Documents

Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül