View
402
Download
1
Category
Tags:
Preview:
DESCRIPTION
Kollaborative Bildverwaltungmit semantischen Techniken - Vortrag innerhalb des Workshops Social Software @ Work, September 2009, Düsseldorf
Citation preview
Andreas Walter . Forschungszentrum Informatik, 76131 Karlsruhe, awalter@fzi.de
www.imagenotion.com
effiziente Bildverwaltung mit Intelligenz
Kollaborative Bildverwaltungmit semantischen Techniken
Social Software @ Work 2009
2
Suche nach Bildern (bei Bildagenturen)
www.imagenotion.com
Bildkäufer Bildsuchmaschinen Bildbeschriftung erforderlich
3
Community: Bildredakteure in Bildagenturen
Unser Fokus: Bildredakteure in Bildagentur• Kleine Gruppe, meist 2 bis 6 Personen• Aufgabe: Beschriftung der Bilder mit hoher Qualität
Kollaboration• Iterative Überarbeitung der Bilder• Ausarbeitung gemeinsamer Beschriftungsregeln
Bildbeschriftung• Standard: Textbasiert mittels Bildverwaltungssoftware• Stichwörter werden als Text zu einzelnen Bildern hinzugefügt• Oft sehr umfangreich, ca. 30 Stichwörter …
www.imagenotion.com
4
Textbasierte Bildbeschriftung: Homonyme
„Paris Hilton“ vs. „Paris Hilton“
www.imagenotion.com
Ortssuche: Paris Hilton im Hotel Hilton-> Suche: Paris Hilton
5
Textbasierte Bildbeschriftung: Synonyme
„Bauwerk“ vs. „Gebäude“: fehlende Ergebnisse
Einzahl vs. Mehrzahl (oft: gemeint Mehrzahl, gesucht Einzahl)
www.imagenotion.com
6
Mehrsprachigkeit
„dog“ vs. „chien“ vs. „Hund“ vs. …
! Automatische Übersetzung: stark fehleranfällig -> manuell
www.imagenotion.com
7
Verwandte Bilder
„Flugzeug“ vs. „Doppeldecker“ (speziellere Anfrage)
www.imagenotion.com
8
Verwandte Bilder: Schauspieler
„Nicole Kidman“ vs. „Schauspieler aus Australien“
www.imagenotion.com
9
Probleme
Textbasierte Beschriftung• Sehr zeitaufwendig, somit kostenintensiv• Tagging Ansätze: nicht gewollt: eigene Kontrolle über Bilder• Kein Hintergrundwissen über verwendete Begriffe
Automatische Bilderkennung• Bisher kaum Automatisierung für Erkennung von Bildteilen
- Gesichter- Personen- Objekte
www.imagenotion.com
10
Ziel: Zeitersparnis bei Bildbeschriftung
Lösungsansatz• Nutzung von semantischen Technologien• Nutzung und Kombination einer Vielzahl von automatischen
Techniken
www.imagenotion.com
11
Einsatz semantischer Technologien
Semantische Technologien• Erstellung von semantischen Elementen „Nicole Kidman“• Elemente in Beziehung setzen „Nicole Kidman“ ‚hat Beruf“
„Schauspieler“• Ergebnis: Ontologien
Semantische Technologien ermöglichen• Hintergrundwissen: System kennt Bedeutung von Beschriftungen
- „Jaguar E-Type“ ist ein Auto- „Nicole Kidman“ ist Schauspielerin aus Australien
• Unterscheidung von Homonymen- „Jaguar“ ist eine Automarke != „Jaguar“ ist ein Tier
• Unterstützung für Synonyme: Unterschiedliche Begriffe hinzufügbar• Mehrsprachigkeit: Nutzung mehrere Sprachen für semantische
Elemente• Vorschlag von verwandten Bildern: Flugzeug -> Doppeldecker
www.imagenotion.com
12
Probleme mit semantischen Techniken
Bisher: getrennte Arbeitsabläufe• Ontologien: werden erstellt durch Experten
- Erstellung von Ontologie vor Nutzung- Integration in ein semantisches Bildverwaltungssystem
• Beschriftung: durch Bildredakteure- Nutzen vorhandene Ontologien
– Oft schwer verständlich für Nutzer
- Fehlende Elemente: müssen an Experten gemeldet werden– Kein kollaboratives Erstellen durch Nutzer selbst möglich
– Wartezeit, bis aktualisiert
Ablehnung bei Bildredakteuren Semantische Technologien so nicht einsetzbar
Geschwindigkeit• Semantische Suche oft deutlich langsamer als textbasierte
Suche
www.imagenotion.com
13
Anforderungen
Anforderungen für praktisch nutzbarer Einsatz semantischer Technologien
Verständlichkeit• Vorhandene Ontologien müssen durch Bildredakteur
verständlich sein
Nutzbarkeit• Ein Workflow: Fehlende semantische Elemente müssen durch
Bildredakteure selbst eingefügt werden können
Kollaboration• Gruppe von Bildredakteuren soll Ontologie gemeinsam erstellen
und pflegen können
Geschwindigkeit• Suchergebnisse müssen schnell erscheinen
www.imagenotion.com
14
Einsatz automatischer Techniken
Problem bei textueller Beschriftung• Ergebnisse nicht kombinierbar, z.B. „Ergebnis
Personenerkenner“ und „Ergebnis Gesichtserkenner“- Mit Kombination: deutlich höhere Qualität des Ergebnisses
Lösungsansatz• Kombination von semantischen und automatischen Techniken • Dann Kombination von Ergebnissen möglich
www.imagenotion.com
15
ImageNotion
Das Bildverwaltungssystem ImageNotion Ergebnis aus dem EU Projekt IMAGINATION Verwendet semantischen Bildbeschriftungen Basiert auf der kollaborativen Erstellung von Ontologien Integriert und kombiniert Vielzahl von automatischen Prozessen
www.imagenotion.com
16
Imagenotions: visuelle semantische Elemente
Imagenotions: visuelle Repräsentierung von semantischen Elementen durch Bilder
Konkrete Elemente (z.B. Personen, Filmtitel)
Abstrakte Elemente (e.g. gender, profession)
www.imagenotion.com
17
Erstellung von Ontologien
ImageNotion Methode• Umsetzung des „Ontology Maturing Process Model“ (FZI)• Idee: Ontologien reifen kollaborativ in mehreren Phasen• Erstellung integriert in die Arbeit der Bildbeschriftung
www.imagenotion.com
Usage of imagenotions for semantic image annotation
• Imagenotion
• Imagenotion
• 2. Consolidation in communities
• Descriptive• Textual
- Label text• - Synonyms• Date information• Links
• VisualAssociate an image
• 3. Formalization: Rules and relations
• 1. Create imagenotionsEmergence of new ideas
18
Erstellung von semantischen Elementen
Beispiel “Kevin Costner”
1, 2) Textuelle Informationen kollaborativ hinzufügen Label, Beschreibung, Synonyme, …
www.imagenotion.com
19
Erstellung von Beziehungen
3) Kollaborativ Beziehungen erstellen: Semantik!
Relationen: is-a Person, has-gender Mann, has-profession Schauspieler
www.imagenotion.com
20
Semantische Beschriftung von Bildern
Beispiel: Beschriftung von Bildteil
www.imagenotion.com
21
Ergebnis: ein integrierter Arbeitsablauf
www.imagenotion.com
22
Kombination von automatischen Prozessen
Automatische Prozesse in ImageNotion• Gesichtsdetektion und Erkennung• Erkennung von Geschlecht und Gemütszuständen (glücklich,
traurig, …)• Personenerkennung• Erkennung von Objekten, z.B. Autos und Flugzeuge• Erkennung von Text in bestehenden, textbasierten
Beschriftungen
www.imagenotion.com
23
Beispiel
www.imagenotion.com
Caption „Prof. Dr. Bernd Raffelhächen unterrichtet Finanzwissenschaft an der Universitä Freiburg; Prof. Dr. Bernd Raffelhäschen an der Uni Freiburg”
24
Zusammenfassung
ImageNotion Ergebnis aus Benutzerstudien:
• semantische Technologien leicht verständlich in ImageNotion• Praktische Nutzbarkeit von Ontologien mit ImageNotion
Methode
Automatische Prozesse• Vielzahl von Prozessen, miteinander kombinierbar!
=> Gewünschte Zeitersparnis umgesetzt• Durchgeführte Messungen ergaben Zeitersparnis von ca. 30
Prozent bei Bildbeschriftung mit ImageNotion (vergleich zu textbasierter Beschriftung)
www.imagenotion.com
25
Aktuelle Arbeit : Unsere Vision
Aktuell ImageNotion als Software-as-a-Service
Vision Große Menge an Benutzern, beschriften Bilder
• Kollaborative Erstellung von semantischen Elementen• Kollaboratives Training von automatischen Prozessen
- Training von Objekten- Training von Gesichtern
Kollaborative Erstellung von Trainingsdaten Wiederverwendbarkeit auf großer Wissensbasis
www.imagenotion.com
26
Screen Video
www.imagenotion.com
27www.imagenotion.com
ImageNotion: Kontakt
Andreas Walter• Tel: 0721 / 9654 724• E-Mail: awalter@fzi.de
Webseite: www.imagenotion.com
Recommended