Einführung Informationsintegration - Komplexe ... · Quelle: IBM: Break Away with Business Analytics and Optimization Study, IDC Fabian PanseEinf uhrung Informationsintegration 3

Einfuhrung InformationsintegrationKomplexe Informationssysteme

Fabian Panse

[email protected]

Universitat Hamburg

Einfuhrung Organisation Integration von Informationssystemen Architekturen Anfragebearbeitung Schema/Data Matching

Der Elefant und die sechs blinden Manner

Quelle: Laura M. Haas. Beauty and the beast: The theory and practice of

information integration. ICDT, 2007.

Fabian Panse Einfuhrung Informationsintegration 2


Informationsbedarf und potentielle Einsparungen

1 von 3Manager treffen haufiger Ent-scheidungen auf Basis von Infor-mationen, denen sie nicht vertrau-en oder die sie gar nicht haben.

1 von 3Manager haben nicht Zugriff zuden erforderlichen Informationen.

Quelle: IBM: Break Away with Business Analytics and Optimization Study, IDC



Informationsbedarf und potentielle Einsparungen

1 von 3Manager treffen haufiger Ent-scheidungen auf Basis von Infor-mationen, denen sie nicht vertrau-en oder die sie gar nicht haben.

1 von 3Manager haben nicht Zugriff zuden erforderlichen Informationen.

5700 USD/aZeitaufwand je Wissensarbeiterfur Umformatierung von Informa-tionen zwischen Anwendungen.

5300 USD/aZeitaufwand je Wissensarbeiterfur Informationssuche.

Quelle: IBM: Break Away with Business Analytics and Optimization Study, IDC



Integrierte Informationssysteme




DBMSWeb

ServiceHTML Form

IntegriertesInformationssystem

Datei-system Anwendung




DBMSWeb

ServiceHTML Form


Datei-system Anwendung

Anfr

age




DBMSWeb

ServiceHTML Form


Datei-system

Integriertes Informationssystem

Anwendung

Anfr

age



Agenda

1 Einfuhrung

2 Organisation

3 Integration von InformationssystemenDefinitionAnwendungsbereicheBeispiel

4 ArchitekturenArchitekturparadigmenKomponenten Virtueller Architekturen

5 Anfragebearbeitung

6 Schema Matching, Mapping & Datenintegration



Organisatorisches

Voraussetzungen:

Grundlagen Datenbanken(relationale DBMS, SQL, XML)Interesse an aktuellem Thema

Prufungsinhalt: ausschließlich Vorlesungsstoff

Ubungen: Saalubungen

Acknowledgements: Angelehnt an Folien von

Dr. Armin Roth (IBM)Prof. Dr. Melanie Herschel (Univ. Stuttgart)Folien zum Buch Principles of Data Integration



Organisatorisches

1. Woche (04.09.2017 - 09.09.2017)

Montag Dienstag Mittwoch Donnerstag FreitagVorlesung Vorlesung Vorlesung Vorlesung -

9:30 9:30 9:30 9:30 -13:30 13:30 13:30 13:30 -

2. Woche (11.09.2017 - 15.09.2017)

Montag Dienstag Mittwoch Donnerstag FreitagVorlesung Vorlesung Vorlesung Seminar Seminar

9:30 9:30 9:30 9:30 9:3013:30 13:30 13:30 16:30 16:30



Literatur

Ulf Leser und Felix Naumann.Informationsintegration.dpunkt.verlag, 2006 [LN06]

Anhai Doan, Alon Halevy, ZacharyIves. Principles of Data Integration.Morgan Kaufmann, 2012 [DHI12]

Felix Naumann und MelanieHerschel. Introduction to DuplicateDetection. Morgan & Claypool,2010 [NH10]

Peter Christen. Data Matching.Springer, 2012 [Chr12]



Agenda

1 Einfuhrung

2 Organisation







Was ist Informationsintegration? [LN06]

Informationsintegration ist die korrekte, vollstandige undeffiziente Zusammenfuhrung von Informationen verschiedener,heterogener Quellen zu einer einheitlichen und strukturiertenInformationsmenge zur effektiven Interpretation durch Nutzerund Anwendungen.



Wofur brauchen wir Informationsintegration? [DHI12]

Informationssysteme in vielen Lebensbereichen.

In der Realitat sind Informationssysteme haufig unabhangigvoneinander konzipiert nur um spater festzustellen, dass dievon ihnen bereitgestellten Informationen kombiniertbetrachtet werden mussen.

Zu diesem Zeitpunkt benutzten die Systeme unterschiedlicheDatenmodelle, unterschiedliche Schemata und bieten oft nureinen eingeschrankten Zugriff auf ihre Daten.

Das Ziel der Informationsintegration ist es verschiedeneInformationsquellen unter einer Sicht zu vereinen.































Agenda

1 Einfuhrung

2 Organisation







Anwendungen: Business

Quelle: Doan, Halevy and Ives. Principles of data Integration (Slides), 2012 [DHI12]



Anwendungen: Biowissenschaften




Anwendungen: Web Data Integration




Anwendungen: Historische Daten




Warum ist eine solche Integration so schwer? [DHI12]

System-bedingte Grunde:

Verschiedene PlattformenAnfragebearbeitung uber mehrere (autonome) Systeme

Soziale Grunde:

Finden relevanter Daten in UnternehmenBeschaffen relevanter Daten in UnternehmenMenschen zur Zusammenarbeit uberreden

Logik-bedingte Grunde:

Schema- und DatenheterogenitatDies ist unabhangig von der jeweiligen Integrationsarchitektur






Soziale Grunde:









Soziale Grunde:






Agenda

1 Einfuhrung

2 Organisation







Beispiel: Unternehmen FullServe

Tatigkeitsfeld:

InternetproviderVerkauf von Produkten wie Routern, voice-over-IP phones, etc.

Verschiedene Abteilungen mit eigenen Datenbanken:

Human Resource Department:

- Datenbank uber Angstellte (Vollzeit und Teilzeit)- Datenbank uber Bewerbungsverfahren

Training and Development Department:

- Datenbank uber Trainingskurse

Sales Department:

- Datenbank uber angebotene Dienste, Kunden undVertrage

- Datenbank uber verkaufte Produkte

Customer Care Department:

- Datenbank uber Anrufe an das Help-Line Center




Tatigkeitsfeld:







Sales Department:








Tatigkeitsfeld:







Sales Department:








Tatigkeitsfeld:







Sales Department:








Tatigkeitsfeld:







Sales Department:








Tatigkeitsfeld:







Sales Department:








Tatigkeitsfeld:







Sales Department:








Employee DatabaseFullTimeEmps(ssn, empID, firstName,

middleName, lastName)

Hire(empID, hireDate, recruiter)

TempEmployees(ssn, hireStart,

hireEnd, name, hourlyRate)

Quelle: Doan, Halevy and Ives. Principles of data Integration, 2012 [DHI12]









Resume DatabaseInterviews(interviewDate, pID, recruiter,

hireDecision, hireDate)

CVs(ID, resume)










Training DatabaseCourses(courseID, name, instructor)

Enrollments(courseID, empID, date)



CVs(ID, resume)














CVs(ID, resume)

Services DatabaseServices(packName, textDescription)

Customers(name, ID, zipCode, streedAdr,

phone)

Contracts(custID, packName, startDate)












Sales DatabaseProducts(prodName, prodID)

Sales(prodID, custID, custName, address)



CVs(ID, resume)



phone)













Sales DatabaseProducts(prodName, prodID)

Sales(prodID, custID, custName, address)



CVs(ID, resume)



phone)


HelpLine DatabaseCalls(date, agent, custID, text, action)





FullServe will nach Europa expandierenZukauf des Unternehmens EuroCard

KreditkartenanbieterErmoglicht Kunden Zugang zum Internet

EuroCard hat eigene Datenbanken





FullServe will nach Europa expandieren

Zukauf des Unternehmens EuroCardKreditkartenanbieterErmoglicht Kunden Zugang zum Internet























Employee DatabaseEmp(ID, firstnameMiddleInitial,

lastName, salary)

Hire(ID, hireDate, recruiter)









lastName, salary)


Resume DatabaseInterviews(ID, date, location, recruiter)

CVs(candID, resume)









lastName, salary)


Credit Card DatabaseCards(CustID, cardNum,

expiration, currentBalance)

Customers(CustID, name, address)


CVs(candID, resume)









lastName, salary)


Credit Card DatabaseCards(CustID, cardNum,

expiration, currentBalance)

Customers(CustID, name, address)


CVs(candID, resume)

HelpLine DatabaseCalls(date, agent, custID, description,

followup)





Beispiel-Szenarien in denen Daten von mehreren Datenbankenbenotigt werden:

Human Resource Department mochte alle Angestellte wissen

Help-Line Center braucht Kundendaten zurProblemlokalisierung und -behebung

Aufsetzen einer Webseite mit allen angebotenen Produktenund Diensten inkl. Kundenbereich

Herausfinden von Angestellten die fruher beiKonkurrenzunternehmen gearbeitet haben

Verknupfung von Help-Line Anrufen mit anderen DatenBeseitigung von Defiziten

- Bsp. Erhohte Fehlerhaufigkeit von Diensten/Produktendie von Angstellten installiert wurden, die einenbestimmten Kurs besucht haben

Erschliessen neuer Geschaftsideen





















































Verknupfung von Help-Line Anrufen mit anderen Daten

Beseitigung von Defiziten



























Agenda

1 Einfuhrung

2 Organisation







Architekturparadigmen

MaterialisiertA priori-IntegrationZentrale DatenbasisZentrale AnfragebearbeitungTypisches Beispiel: Data Warehouse

VirtuellOn demand-IntegrationDezentrale DatenDezentrale AnfragebearbeitungTypisches Beispiel: Mediator-basiertes Informationssystem

Existierende Architekturen befinden sich oft zwischen diesenExtremen

⇒ einige Daten werden materialisiert vorgehalten(z.B. durch den Einsatz von Caching)

















Materialisierte Integration – Datenfluss

Push

Erstmaliges Laden (population)des DW (inkl. Data Cleaning)

Periodischer Datenimport:Updating materialized views

Redundante Datenhaltung

Aggregation und Loschungalter Daten

Quelle 1 Quelle 2 Quelle 3

Anwendung 1

DataWarehouse

ETL 1 ETL 2 ETL 3

Anwendung 2



Materialisierte Integration – Anfragebearbeitung/Schema

Anfragebearbeitung:

Wie normale DBMSOft AggregationsanfragenDecision Support

Schema:

Meist Bottom-Up-EntwurfSchemaintegrationStar-Schema

- Fact Table- Dimension Tables Quelle 1 Quelle 2 Quelle 3

Anwendung 1

DataWarehouse

ETL 1 ETL 2 ETL 3

Anwendung 2



Virtuelle Integration – Datenfluss

Pull

Daten sind in Quellengespeichert

Nur Anfragen und Ergebnissewerden ubertragen(Query Shipping)

Data Cleaning nur onlinemoglich


Anwendung 1 Anwendung 2

Wrapper 2 Wrapper 3Wrapper 1

Mediator



Virtuelle Integration – Anfragebearbeitung/Schema

Anfragebearbeitung:

Optimierung schwierig(Geschwindigkeiten undFahigkeiten der Quellen)Viele mogliche Plane zurBerechnung desAnfrageergebnisses

Schema:

Meist Top-down EntwurfLeicht erweiterbar

- neue Quellen- neue/geanderteMappings

Schema Mapping stattSchemaintegration


Anwendung 1 Anwendung 2

Wrapper 2 Wrapper 3Wrapper 1

Mediator



Materialisiert vs. Virtuelle Integration – Vergleich

Materialisiert VirtuellAktualitat − (Cache) +

Antwortzeit + −Flexibilitat − (GaV) + (LaV)

Komplexitat + ++

Autonomie − +

Anfragemachtigkeit + −Read/Write +/+ +/−Ressourcenbedarf ? (workload) ? (workload)

Vollstandigkeit + ? (OWA, CWA)

Datenreinigung + −Informationsqualitat + −

Legende: −: wenig, +: viel, ++: sehr viel



Komponenten Virtueller Architekturen

Mediated Schemaor Warehouse

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB

Source Source Source Source

Query reformulation/Query over materialized data

Source descriptions/Transforms





Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB


Query reformulation/Query over

materialized data


Quellen:

verschiedene Datenmodelle

verschiedeneAnfragemachtigkeiten

Quelle kann eineAnwendung sein, diewiederum komplexeBearbeitungsschrittevollzieht





Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Quellen:








Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Quellen:








Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Quellen:








Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Wrapper:

bekommt Anfrage inSprache desIntegrationssystems(z.B. relational oder XML)

ubersetzt Anfrage inSprache der Quelle(z.B. HTTP Request)

sendet Anfrage an Quelle

transformiert Ergebnis(z.B. HTML Datei) inDatenmodell desIntegrationssystems (z.B.

Tupelmenge oder XML Datei)





Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Wrapper:










Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Wrapper:










Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Wrapper:










Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Wrapper:








Wrappers





Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Mediated/Globales Schema:

dient zur Interaktion mitdem Benutzer

konzipiert fur dieIntegrationsanwendung(beinhaltet daher nur einenTeil der Aspekte aus denQuellen)

ist lediglich logisch unddient zur Formulierung vonAnfragen





Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data










Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data










Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data










Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data


Quellbeschreibungen:

eine Beschreibung proQuelle

enthalt alle Informationendie das System braucht umdie Quelle zu nutzen

mappt deklarativ Konzeptezw. globalem Schema undQuellschema

beschreibt Transformationauf Datenwertebene(z.B. fur Konventionen,Einheiten)





Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data











Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data











Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data











Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

Wrapper/Extractor

MongoDB



materialized data









Quellbeschreibungen



Agenda

1 Einfuhrung

2 Organisation







Anfragebearbeitung (Virtuell)

Wrapper

QueryOptimizer

QueryReformulator

Request to reoptimize

Query over mediated schema

Logical query plan over sources

Physical query planover sources

Subquery or fetch request per source

Wrapper Wrapper Wrapper

MongoDB


ExecutionEngine

Quelle: Doan, Halevy and Ives. Principles of data Integration, 2012 [DHI12]Fabian Panse Einfuhrung Informationsintegration 38



Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageumschreibung:

Gegeben: Anfrage auf globalesSchema

Benotigt: Anfragen aufQuellschemata

Umschreibung mit Hilfe derQuellbeschreibungen

Ergebnis: Logischer Anfrageplan(inkl. Kombination derQuellanfragen)

mehrere Logische Anfrageplanemoglich




Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:

Ergebnis: Physischer Anfrageplan

bestimmt exakte Reihenfolge inder die Quellen angefragt werden

bestimmt wann, wie (z.B. Join,Union) und wo (in Quelle oderim Zielsystem) Quellergebnissekombiniert werden

bestimmt wann und woSelektionen durchgefuhrt werden

Verteilung von Ressourcen desZielsystems (Speicher,Prozessor)

Schnelligkeit vs. Vollstandigkeit




Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageoptimierung:










Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageausfuhrung:

Ausfuhrung des PhysischenAnfrageplans

verteilt Teilanfragen an dieWrapper

kombiniert die Ergebnisse dereinzelnen Wrapper

Anfrage beim Optimizers fureinen anderen Plan fallsKomplikationen auftreten (z.B.Ausfall einer Quelle)




Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageausfuhrung:








Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageausfuhrung:








Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageausfuhrung:








Wrapper

QueryOptimizer

QueryReformulator







MongoDB


ExecutionEngine

Anfrageausfuhrung:







Anfragebearbeitung am Beispiel

Quelle: Doan, Halevy and Ives. Principles of data Integration (slides), 2012 [DHI12]




S1: Filme

S2: Filmvorstellungen im ganzen Land (unvollstandig)

S3: Filmvorstellungen in New York (vollstandig)

S4: Filmvorstellungen in San Francisco

S5: Filmreviews

S2 - S4 benotigen einen Filmtitel als Eingabe




S1: Filme




S5: Filmreviews





S1: Filme




S5: Filmreviews





S1: Filme




S5: Filmreviews





S1: Filme




S5: Filmreviews





S1: Filme




S5: Filmreviews





S1: Filme




S5: Filmreviews





Filmvorstellungen in New York bei denen der Regisseur ’WoodyAllen’ heißt:

Movie: title, director, year, genre

Actors: title, actor

Plays: movie, location, startTime

Reviews: title, rating, description

SELECT title, startTime

FROM Movie, Plays

WHERE Movie.title = Plays.movie

AND location = “New York”

AND director = “Woody Allen”





Filmvorstellungen in New York bei denen der Regisseur ’WoodyAllen’ heißt:

Movie: title, director, year, genre

Actors: title, actor

Plays: movie, location, startTime

Reviews: title, rating, description


FROM Movie, Plays








Movies: name, actors,

director, genre

Cinemas: place, movie,

start

Cinemas in NYC: cinema, title,

startTime

Cinemas in SF: location, movie,

startingTime

S1 S2

S3 S4


FROM Movie, Plays





Tuples fur Movie konnen Quelle S1 entnommen werden

Tuples fur Plays in New York konnen den Quellen S2 und S3entnommen werden (S3 ist vollstandig fur New York)

S2 und S3 benotigen Filmtitel (nicht Teil der Anfrage)

⇒ S1 muss zuerst angefragt werden

Zwei Logische Anfrageplane (S1 und S2 oder S1 und S3)





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays














director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays














director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays














director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays














director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays














director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays




Anfrage fur Quelle S1:

SELECT name AS title

FROM Movies

WHERE director = “Woody Allen”

Selektion auf Regisseur kann direkt in Quelle berechnet werden

Umbenennung des Attributes name in title





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM Movies








director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM Movies








director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays





SELECT movie AS title, start AS startTime

FROM Cinemas

WHERE place = “New York”

AND movie = @argument

Selektion auf Ort kann direkt in Quelle berechnet werden

Umbenennung der Attribute movie und start





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM Cinemas









director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM Cinemas









director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM CinemasInNYC

WHERE title = @argument

Selektion auf Ort ist hier nicht notwendig(S3 enthalt nur Filme aus New York)

Umbenennung der Attribute nicht notwendig





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM CinemasInNYC








director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays






FROM CinemasInNYC








director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays




Auswahl eines oder mehrerer Plane:

S3 ist vollstandig fur New York

S2 ist evtl. unvollstandig fur New York

⇒ Wenn nur ein Plan ausgefuhrt werden soll, dann einer mit S3





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays












director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays












director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays




Anfrageoptimierung des Planes mit S1 und S3:

Auswahl eines Algorithmus um S1 und S3 zu joinen(streaming Tuples von S1 zu S3 oder komplett S1 vor S3)

Festlegung wo die Selektion auf den Regisseur durchgefuhrtwird (in S1 oder im Zielsystem)





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays











director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays











director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays











director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays




Anfrageausfuhrung:

Falls S3 ausfallt oder zu langsam reagiert einen anderenAnfrageplan anfordern (in unserem Fall den mit S1 und S2)





director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays




Anfrageausfuhrung:






director, genre


start


startTime


startingTime

S1 S2

S3 S4


FROM Movie, Plays




Anfrageausfuhrung:




Agenda

1 Einfuhrung

2 Organisation







Schema Matching, Mapping & Datenintegration

Schema Matching:

Vergleich von Schema-ElementenZwischen zwei Quellen (Bottom-Up) oder zwischen Quelle undglobalem Schema (Top-Down)

Schema Mapping:

Ableiten einer Quellbeschreibung (virtuell) oderTransformationsanfrage (materialisiert) basierend auf denMatchingergebnissen

Datenintegration:

Zusammenfuhren der Ergebnisse der einzelnenquellenspezifischen Teil-/TransformationsanfragenErkennen von semantischen Redundanzen (Duplikaterkennung)Zusammenfuhren von Duplikaten (Datenfusion)




Schema Matching:


Schema Mapping:


Datenintegration:





Schema Matching:


Schema Mapping:


Datenintegration:




Beispiel zu Schema Matching/Datenintegration

Gegeben: Zwei Webservices getMov und myMov



Beispiel: Quellen

1

Web Service getMov

• Operationen:

getMovieByActor(firstName, lastName)

getMovieByTitle(title)

• Ausgabestruktur:

Web Service getMov

<movie> <Title> Troy </Title> <Actors> <Actor> Eric Bana </Actor> <Actor> Brad Pitt </Actor> </Actors></movie>

Web Service myMov

• Operation: myMovies(Actor, Year)

• Ausgabestruktur:

Web ServicemyMov

<film> <name> Troy </name> <cast> Pitt & Cox</cast> <year> 2003 </year></film>

myMov film

name

cast

year

getMov movie Title

Actors

Actor

Quelle: Melanie Herschel, Universitat Stuttgart



Beispiel: Schema Matching

Web Service getMov

Web ServicemyMov

getMov movie Title

Actors

Actor

myMov film

name

cast

year




Web Service getMov

Web ServicemyMov

intMov movie

title

year

Actors Actor

getMov movie Title

Actors

Actor

myMov film

name

cast

year

Globales Schema




Web Service getMov

Web ServicemyMov

intMov movie

title

year

Actors Actor

getMov movie Title

Actors

Actor

myMov film

name

cast

year

Globales Schema

Korrespondenzen



Beispiel: Duplikaterkennung

Handelt es sich bei den Filmen, die von Web Services getMovund myMov zuruckgegeben werden, um denselben Film?

Um dies festzustellen, mussen wir(1) semantische Aquivalenzen (Korrespondenzen) beider

Strukturen ermitteln und(2) die Daten vergleichen.













Web Service getMov

Web ServicemyMov









Web Service getMov

Web ServicemyMov



Korrespondenzen







Web Service getMov

Web ServicemyMov



Vergleich durch Ähnlichkeitsmaß

Korrespondenzen



Beispiel: Datenfusion

Titel stimmt uberein ⇒ kein Konflikt

Eric Bana, Cox & 2003 nur in einer Quelle ⇒ Unsicherheit

Widerspruchliche Daten ⇒ Konflikt



<movie> <Title> Troy </Title> <Actors> <Actor> Bana </Actor> <Actor> Pitt </Actor> <Actor> Cox </Actor> </Actors> <year> 2003 </year></movie>

Web Service getMov

Web ServicemyMov

Integriertes Ergebnis










Web Service getMov

Web ServicemyMov











Web Service getMov

Web ServicemyMov











Web Service getMov

Web ServicemyMov




Literatur

[Chr12] Peter Christen.Data Matching: Concepts and Techniques for Record Linkage, Entity Resolution,and Duplicate Detection.Springer, 2012.

[DHI12] Anhai Doan, Alon Halevy, and Zachary Ives.Principles of Data Integration.Morgan Kaufmann, 2012.

[LN06] Ulf Leser and Felix Naumann.Informationsintegration.dpunkt.verlag, 2006.In German.

[NH10] Felix Naumann and Melanie Herschel.An Introduction to Duplicate Detection.Synthesis Lectures on Data Management. Morgan & Claypool Publishers, 2010.


Documents

Einführung Informationsintegration - Komplexe ... · Quelle: IBM: Break Away with Business Analytics and Optimization Study, IDC Fabian PanseEinf uhrung Informationsintegration 3