Informationsintegration Einführung 18.10.2005 Felix Naumann

InformationsintegrationEinführung

18.10.2005

Felix Naumann

18.10.2005 Felix Naumann, VL Informationsintegration, WS 05/06 2

Integrierte Informationssysteme

Oracle,DB2…

Web Service

Anwen-dung

HTML Form

IntegriertesInfo.-system

Datei-system

Anfrage

Integriertes Informations-system


Einige Untertitel

Content Merging Objekt Fusion Datenintegration Data Amalgamation Data Cleansing Intelligent Information Integration: I³ Data Consolidation


Überblick

Vorstellung der Arbeitsgruppe Organisatorisches Informationssysteme Informationsintegration am

Beispiel Ausblick auf das Semester


Forschungsgruppe Informationsintegration

Juniorprofessor: Felix Naumann Wissenschaftliche Mitarbeiter / Doktoranden

Jens Bleiholder Melanie Weis Armin Roth Alexander Bilke

Studentische Hilfskräfte Karsten Draba (HumMer Projekt) Veronique Tietz (Aladin Projekt) Erik Witzmann (DB2 Metasearch Projekt)

http://www.informatik.hu-berlin.de/mac/


DBMS DBMS XML XML... ...

Schema conversion

RDB2XML

RDB2XML

XML2RDB

XML2RDB

QueryOptimization

SQL XQuery

DataFusion

Que

ry E

xecu

tion

DuplicateDetection

Graphical Query Builder

SQL XQuery

Data Visualization

Tables XML

Metadata Services

MetadataRepository

SchemaMapping

SchemaMatching

DataLineage

DataStatistics

Samples

RDB XML

RDB XML

Data transformation

Hum

Mer

–

Hum

bol

dt M

erge

rD

ata

Im

port

U

ser

Inte

rfac

e



Laufende Studien- und Diplomarbeiten

Diplomarbeiten Entwicklung einer Testumgebung für ein Peer Data

Management System Entwurf eines Peer Data Management Systems mit

Steuerungs- und Simulationskomponente Datentransformation mittels Schema Mapping Tree-Edit Distance für XML Duplikaterkennung

Studienarbeiten Transformation von DB2 Datenbanken in XML Dokumente

mittels SQL/XML Similar Pattern Search in History Data Minimum Union als DB2 table function


Freie Stellen

Studentische Hilfskraft HumMerDB: Testdaten für den Humboldt Merger 80h / Monat Demnächst ausgeschrieben

Studien- und Diplomarbeiten Zurzeit keine frei Themenvorschläge sind aber willkommen Mehr gegen Ende des Semesters


Überblick




Voraussetzungen

Vordiplom VL Datenbanken I (DBS I) oder äquivalente

Grundkenntnisse in Datenbanken Falls Sie Fragen haben in Bezug auf die äquivalenten

Grundkenntnisse, schreiben Sie mir bitte eine Email. Es genügt nicht, DBS I parallel zu dieser VL zu hören.

Einordnung in den Fahrplan zum Datenbankstudium Voraussetzung zur Zulassung zur mündlichen Prüfung

ist die erfolgreiche Teilnahme am Praktikum.


Termine Vorlesung

Dienstags 13:15 – 14:45 Donnerstags 13:15 – 14:45

Praktikum Dienstags 15:15 – 16:45 Erstes Praktikum: 25.10.

Letzte Vorlesung: 16.2.2005 Weihnachten: 19.12. – 29.12. Insgesamt 32 Veranstaltungen Prüfungstermine

i.d.R. 2 Wochen nach Wintersemester i.d.R. 2 Wochen vor Sommersemester


Andere Veranstaltungen

Fahrplan durch das DB Studium http://www.informatik.hu-berlin.de/mac/fahrplandatenbanke

n.html

Forschungsseminar Neue Entwicklungen in der Bioinformatik und

Informationsintegration Termin: Mittwochs 11 Uhr in 4.113

Weitere: Blockseminar: Graphmanagement in Datenbanken

Dozent: Prof. Ulf Leser


Feedback Schon Evaluation angesehen?

http://www.informatik.hu-berlin.de/~koessler/evalu/Fragebogen_auswertung.html

Evaluation am Ende des Semesters Fragen bitte jederzeit!

In der VL Sprechstunde: Donnerstags, nach der Vorlesung (15 Uhr) Email: [email protected]

Anregungen zur Verbesserung: Z.B. zu

Gebrauch der Folien Infos im WWW

Jeweils nach der VL oder in der Sprechstunde Oder per Email: [email protected]


Literatur Leider kein geeignetes Lehrbuch Themen u.a. aus

Föderierte Datenbanksysteme. Konzepte der Datenintegration, Stefan Conrad, ISBN: 3540631763

Principles of Distributed Database SystemsM. Tamer Özsu, Patrick ValduriezISBN: 0136597076

Jeweils Hinweise in den Vorlesungen Alle genannten Artikel können von mir per Email angefragt

werden. Oder: Google Scholar: http://scholar.google.com/ DBLP: http://www.informatik.uni-trier.de/~ley/db/index.html CiteSeer: http://citeseer.ist.psu.edu/ Homepages der Autoren


Fotos


Praktikum Metasuchmaschine Web Services Phase I

Wrapper Web Service für eine Suchmaschine Phase II

Spezielle Web Services für die Metasuchmaschine, z.B. WrapperService: Automatische Erstellung eines neuen Suchmaschinen

Wrappers DirectoryService: Liste aller verfügbaren Suchmaschinen mit Metadaten SamplingService: Metadaten Sammlung OptimierungsService: Auswahl relevanter Suchmaschinen DuplikaterkennungsService: Erkennung doppelter HTML Seiten DatenfusionsService: Konfliktlösung verschiedener Suchergebnisse RankmergingService: Erstellung eines globalen Ergebnisrankings AnfrageerweiterungsService: Automatisches Umschreiben einer Anfrage


Praktikum

Scheinvoraussetzungen Besuch der Vorlesung Informationsintegration Aktive Teilnahme an den Praktikumsterminen Erfolgreiche Erstellung eines Wrapper-Services für eine

Suchmaschine in Einzelarbeit Kurze Vorstellung Ihres Wrapper-Services vor dem Plenum Erfolgreiche Erstellung eines weiteren Web Services für die

Metasuchmaschine in Gruppenarbeit Vorstellung Ihres Integrations-Services vor dem Plenum Erstellung eines Abschlußberichts in Gruppenarbeit


Überblick






Oracle,DB2…

Web Service

Anwen-dung

HTML Form


Datei-system

Anfrage


Was ist Informationsintegration?

Informationsintegration ist die Zusammenführung von Daten und Inhalt verschiedener Quellen zu einer einheitlichen Informationsmenge.

Informationsintegration ist die korrekte, vollständige und effiziente Zusammenführung von Daten und Inhalt verschiedener, heterogener Quellen zu einer einheitlichen und strukturierten Informationsmenge zur effektiven Interpretation durch Nutzer und Anwendungen.


Wo herrscht Informationsintegration?

Im weiteren Sinne Business-Integration Application-Integration Prozess-Integration (Workflow-Integration)

Im engeren Sinne Datenbanken und Informationssysteme

Verteilt Autonom Heterogen


Beispiele für Informationssysteme

Dateisystem Informationseinheit:

Flat file Anfrage:

File search, RegEx

Struktur: Flach oder

hierarchisch

Beispiele NTFS NIS FTP Zugriff

Einsatzgebiete WWW (HTML Dateien) Desktop-Anwendungen

(Textverarbeitung, etc.)



Datei Informationseinheit:

Zeile /Token Anfrage:

Parser Struktur:

Flach

Beispiele Komma-delimited files Annotated files

Einsatzgebiete SwissProt




Markup Datei Informationseinheit:

Tagged text Anfrage:

Parser, Anfragesprache Struktur:

Flach, hierarchisch oder graph-basiert

Beispiele XML HTML

Einsatzgebiete Web Services Messages Interoperationale

Anwendungen



Datenbank Anfrage:

Komplexe Sprache, z.B. SQL

Informationseinheit: Tupel / Attribut, Objekt

Struktur:Relational, OO, Hierarchisch

Beispiele Relationale DBMS OO DBMS Auch: XML DBMS

Einsatzgebiete Data Warehouses OLTP Banken/Versicherungen



HTML Formular Informationseinheit:

HTML Seite, Text Anfrage:

Suchworte, Formular (inkl. Radiobutton, dropdown-list, etc.)

Struktur:wie Markup Datei: Flach, hierarchisch oder graph-basiert I.d.R. flach

Beispiele Einfache Suchformulare Komplexe

Anfrageformulare Einsatzgebiete

Suchmaschinen Reisedienste Kataloge



Beispiele für Informationssysteme Web Service

Informationseinheit:XML Dokument

AnfrageXML Dokument

Struktur:Wie XML: Flach, hierarchisch,

graph- basiert

Beispiele Einfach:

Temperaturdienst, etc Komplex:

Reservierungen (Schachtelung und Verknüpfung von Web Services)

Einsatzgebiete Intra-organisatorische

Workflows E-Marketplaces Datenaustausch




Anwendung Informationseinheit:

Java Objekt, Text Anfrage:

via Anwendungs-schnittstelle oder

GUI Struktur:

Objekt (Interface)Display (GUI)

Beispiele Java, C++, etc Legacy

Informationssysteme

Einsatzgebiete Komplexe Analysen

(Data Mining, Statistik)



Integriertes Informationssystem Verhält sich in Anfrage,

Struktur und Informationseinheit je nach Design: DBMS HTML Formular Web Service ...

Beispiele Data Warehouses Föderierte Datenbanken Portale

Einsatzgebiete: Meta Search Life Sciences Int. Unternehmen Intranets




Oracle,DB2…

Web Service

Anwen-dung

HTML Form


Datei-system

Anfrage


Integrierte Suchmaschinen

Meta-Suchmaschine

IntranetIndex

Thesaurus

Anfrage


Integration = Abstraktion

1. Logisches DB-Design abstrahiert von physischem DB-Design

Datenunabhängigkeit Anfragen: Prozedural vs. deklarativ

2. Informationsintegration abstrahiert von logischen DB Design

Quellenunabhängigkeit (Speicherort) Datenmodell- und Syntaxunabhängigkeit Unabhängigkeit von semantischen

Unterschieden (hoffentlich!)


Anwendungsgebiet 1: Business[Halevy04]


Anwendungsgebiet 2: Wissenschaft [Halevy04]


Anwendungsgebiet 3: Das Web[Halevy04]


Informationsintegration: Ein altes Problem Seit 50 Jahren auf der Forschungsagenda Frühe Systeme in den 70ern Integration per Hand natürlich noch früher Neue Probleme

Viele, viele Quellen Heterogenität Neue Arten von Daten (XML, GIS, OO,...) Neue Arten von Anfragen (Search, UDFs,...) Neue Arten von Ergebnissen (Ranking, Visualisierung, ...) Neue Arten von Nutzern (Laien, Manager, Admins, ...)

Alon Halevy: „It‘s plain hard!“ [Halevy04]


Warum ist es so schwer? [Halevy04]

System-bedingte Gründe Verschiedene Plattformen Anfragebearbeitung über mehrere Systeme

Soziale Gründe Finden relevanter Daten in Unternehmen Beschaffen relevanter Daten in Unternehmen Menschen zur Zusammenarbeit überreden

Logik-bedingte Gründe Schema- und Datenheterogenität Dies ist unabhängig von der jeweiligen

Integrationsarchitektur.


Überblick




Informationsintegration

Fusion Optimierung VisualisierungIdentifikationIntegration

Web Service

B

Web Service

A

<pub> <Titel> Federated Database Systems </Titel> <Autoren> <Autor> Amit Sheth </Autor> <Autor> James Larson </Autor> </Autoren></pub>

<publication> <title> Federated Database Systems for Managing Distributed, Heterogeneous, and Autonomous Databases </title> <auth> Scheth & Larson </auth> <year> 1990 </year></publication>


Beispiel – Web Service A

Web Service A Standort: Trier Operation:

getPubByAuthor(firstName, lastName) getPubByTitle(title)

Output-Struktur:


Beispiel – Web Service A Output


Beispiel – Web Service B

Web Service B Standort: Humboldt-Universität Operation: myPubs(Autor, Jahr) Struktur:


Beispiel – Web Service B Output


Integration von Web Services A & B

1. Nutzerschnittstelle2. Schema Integration / Schema Mapping3. Anfrage-Umwandlung4. Zeit abschätzen (Optimierung)5. Requests an beide Services abschicken6. Antworten einholen7. Objektidentifikation8. Integrationsschritte

1. Konfliktlösung etc.2. Entscheidung kleinster gemeinsamer Nenner?3. Durchführung (deklarativ, prozedural)

9. Anzeige beim Nutzer


Nutzerschnittstellen


<pub> <Titel> </Titel> <Autoren> <Autor> </Autor> <Autor> </Autor> </Autoren> <year> </year></pub>

Informationsintegration

Web Service

B

Web Service

A

<pub> <Titel> Federated Database Systems </Titel> <Autoren> <Autor> Amit Sheth </Autor> <Autor> James Larson </Autor> </Autoren></pub>

<publication> <title> Federated Database Systems for Managing Distributed, Heterogeneous, and Autonomous Databases </title> <auth> Scheth & Larson </auth> <year> 1990 </year></publication>

Schemaintegration

Schema Mapping

Modellierung durch eine Menge von Anfragen (Views)


Anfrage Umwandlung

Integration der Anfrage durch Mediator: Integrierte Schnittstelle Z.B.

Concat(First Name, Last Name) = Autor


Anfrageoptimierung

Was ist besser: Eine schnelle Antwort oder vollständige Antwort? Web Service A in Trier (remote) Web Service B in Adlershof (local) Web Service A hat mehr Attribute und mehr Objekte. Web Service B hat weniger Attribute.

Außerdem: Eine Suche nach „year“ kann nur durch Web Service B

beantwortet werden. Transformationen können teuer sein.


Zwei Resultate

Web Service A

Web Service B


Schema Matching

?


Objektidentifikation


Objektidentifikation

Edit-distance: 5

Edit-distance: 6Zusammen?


Stand der Dinge

Wir haben die heterogenen Informationen. Wir wissen, was wir integrieren wollen. Aber noch nicht wie:

Integriertes Schema Integrierte Daten


Angestrebtes Integrationsergebnis

Integriertes Schema:

=

+


Angestrebtes Integrationsergebnis

Integrierte Daten:


Integrierte Daten – was ist passiert?

Konflikt-lösung

Neu-Strukturierung

Vorher: „Naumann“

Neu


Implementierung

Auf Folien ist alles klar, aber wie implementieren? Deklarativ?

SQL, XQuery, XSLT Oft nicht alles möglich Langsam

Prozedural? Java, C++ Schlecht wartbar Schnell


Anzeige beim Nutzer

Visualisierung der Datenherkunft Qualität veränderten Daten Operationen

Konflikt-lösung

Vorher: „Naumann“


Überblick






Oracle,DB2…

Design time

Web Service

Anwen-dung

HTML Form


Datei-system

Anfrage

Architekturen

Anfragesprache

Schemamanagement

Wrapper

Run time

Anfrageausführung

Optimierung

Anfrageplanung

Datenfusion / ETL


Erste Hälfte

1. Einführung in die Informationsintegration2. Szenarien der Informationsintegration3. Verteilung und Autonomie4. Heterogenität5. Materialisierte und virtuelle Integration6. Klassifikation integrierter Informationssysteme und 5-Schichten

Architektur 7. Mediator/Wrapper-Architektur8. Global-as-View und Lokal-as-View Modellierung9. Global-as-View Anfragebearbeitung 10. SchemaSQL11. Verteilte Anfragebearbeitung12. Dynamische Programmierung in verteilten Datenbanken13. Top-N Anfragen

ProblemstellungArchitekturenModellierungOptimierung


Zweite Hälfte

1. Informationsqualität2. Duplikaterkennung3. ETL & Data Lineage 4. Datenfusion - Union & Co.5. Containment & Local-as-View Anfragebearbeitung6. Bucket Algorithmus 7. Peer-Data-Management Systeme (PDMS) 8. Schema Mapping9. Schema Matching 10. Hidden Web11. Semantic Web12. Forschungsprojekte - TSIMMIS, Garlic, Revere, etc13. Data Streams

KonflikteAnfragen

SystemeMapping


Fragen, Wünsche und Vorstellungen

Jetzt, oder...

Raum: IV.122 Sprechstunden: Donnerstags 15 Uhr

oder n.V. Email: naumann@informatik Telefon: (030) 2093 3905

Documents

Informationsintegration Einführung 18.10.2005 Felix Naumann