ImageNotion UG (haftungsbeschränkt), Haid-und Neu-Straße 10-14, 76133 Karlsruhe, Germany

www.imagenotion.com

effiziente Bildverwaltung mit Intelligenz

2

Probleme der Bildsuche

www.imagenotion.com

„Elizabeth Taylor“

Gewünschte Bilder:„Filmszenen unterschiedlicher Filme, die Elizabeth Taylor zeigen“

Bildsuchmaschine

Suchergebnis

Caption: Elizabeth Taylor in … Caption: Liz Taylor; …

Unvollständig: fehlende Synonyme, versch. Sprachen

Caption: Film, Oscar, Elizabeth… Caption: Butterfield 8, …

Unkorrekt, Unvollständig : Filmtitel mit Elizabeth Taylor?

Caption: Cleopatra, Elizabeth… Caption: Cleopatra, Elizabeth…

„FilmElizabeth Taylor“

„CleopatraElizabeth Taylor“

Unkorrekt: Beschriftung für Bildteil oder ganzes Bild?

Suchergebnisse oft unvollständig und unkorrekt:⇒ Bildsuche zeitaufwendig⇒ Bildbeschriftung zeitaufwendig und teuer

Suchanfragen

3

ImageNotion Übersicht

Qualität und Kosteneffizienz in Bildarchiven

Bessere Suchergebnisse durch• Unterstützung für Synonyme und unterschiedliche Sprachen• Vorschläge zu verwandten Themen• Strukturierte Erweiterung und Verfeinerung von Suchanfragen• Beschriftung von Bildteilen

Zeit- und Kostenersparnis bei der Bildbeschriftung• Konsistente Bildbeschriftungen => hohe Qualität• Abbildung von Hintergrundwissen => Zeitersparnis• Automatisierte Bildbeschriftung => Zeitersparnis

www.imagenotion.com

4

Überblick Produktvarianten

• ImageNotion. Search BasicUnterstützung für Synonyme und unterschiedliche Sprachen

ImageNotion. Search Prozusätzlich: Vorschläge zu verwandten Themen; Strukturierte Erweiterung und Verfeinerung von Suchanfragen

ImageNotion. Annotationzusätzlich: Beschriftung von Bildteilen, umfangreiche Indizierung

ImageNotion. Automationzusätzlich: Integration und Kombination automatischer Bilderkennungsverfahren

www.imagenotion.com

5

ImageNotion. Editor

Modellierung der Zusammenhänge• Lexikalische Verfahren: z.B. Synonymlisten, Übersetzungslisten

z.B. Synonyme, Wort in anderen Sprachen

• Semantische Verfahren: z.B. Taxonomien, InstanzmodelleZusammenhänge zwischen Dingen und Personen = Abbildung von Hintergrundwissen

ImageNotion. Editor• Ermöglicht webbasierte Modellierungen durch Bildredakteure• Modellierung mittels lexikalischen und semantischen Verfahren• Voraussetzung für alle Produktvarianten

www.imagenotion.com

6

Beispiel: Modellierung mittels lexikalischer Verfahren

Beispiel: Großbritannien

Einsatz• In Bildsuche: Anfrageerweiterung, z.B. Suche „Great Britain“

-> „Great Britain oder Großbritannien oder Grossbritannien …“• In Bildbeschriftung: Zeitersparnis und Konsistenz

www.imagenotion.com

Großbritannien

Synonyme Großbritannien

Vereinigtes Königreich Großbritannien und Nordirland

Deutsch

Synonyme United Kingdom

Great Britan

Englisch

UK

Grossbritannien

7

Beispiel: Elizabeth Taylor

Einsatz• Intelligente Bildsuche: „Film Elizabeth Taylor“ findet z.B.

„Cleopatra“ und „Die Frau aus dem Nichts“• Umfangreiche Bildbeschriftung und Indizierung

Beispiel: Modellierung von Instanzmodellen

www.imagenotion.com

Elizabeth Taylor

Weiblich

Person

Schauspieler USA

Cleopatra

Film Joseph L. Mankiewicz

hat BerufLebt in

hat Geschlecht

ist eine

ist Hauptdarsteller in

Regie von

ist ein

Die Frau aus dem Nichts

Film Joseph Losey

Regie vonist ein

8

Zeitersparnis mit lexikalischen und semantischen Modellen

Bildbeschriftung von 1.000 Bildern im Filmarchiv der Bildagentur photo12, Paris.

www.imagenotion.com

Modellierung und BeschriftungZeitersparnis von ca. 3,5 Stundenmit lexikalischen bzw. 4 Stundenmit semantischen Verfahren (mittelsInstanzmodellen).

Reine BeschriftungszeitZeitersparnis von ca. 44 Prozentmit lexikalischen bzw. fast 80 Prozentmit semantischen Verfahren (mittelsInstanzmodellen).

9

Integration:

ImageNotion. Search Basic

ImageNotion. Search BasicUnterstützung für Synonyme und unterschiedliche Sprachen

⇒ Vollständigere Suchergebnisse⇒ Weniger Suchanfragen nötig:

Schnellere Suchergebnisse für ihre Kunden

www.imagenotion.com

Suchergebnis

Caption: Elizabeth Taylor in … Caption: Liz Taylor; Portrait…

Unvollständig: fehlende Synonyme, versch. Sprachen

ImageNotion.Search Basic

Suchanfrage: „Elizabeth Taylor“ Erweiterte Anfrage: „Liz Taylor“ oder „Elizabeth Taylor“ Vollständiges Suchergebnis

Ihre webbasierte Bildsuchmaschine

ImageNotion.Editor

10

ImageNotion. Search Pro

ImageNotion. Search ProErmöglicht intelligente Suchanfragen

• Vorschläge zu verwandten Themen• Strukturierte Erweiterung und

Verfeinerung von Suchanfragen

⇒Vollständigere und korrektere Suchergebnisse: Stellen von umfangreichen Anfragen möglich

⇒Navigation zu gewünschten BildernSchnellere Suchergebnisse für ihre Kunden

Geeignet für Webbasierte Bildsuchmaschinen mit umfangreichen Bildbeständen

www.imagenotion.com

Suchergebnis

Caption: Film, Oscar, Elizabeth… Caption: Butterfield 8, …

Unkorrekt, Unvollständig : Filmtitel mit Elizabeth Taylor?

11

Art der Integration

Integration ImageNotion. Search Pro:

www.imagenotion.com

ImageNotion.Search Pro

Suchanfrage: „Filme Elizabeth Taylor“

Erweiterte Anfrage: „ Elizabeth Taylor“ und(„Cleopatra“ oder „Die Frau aus dem Nichts“ oder …)

Vollständiges Suchergebnis

Ihre webbasierte Bildsuchmaschine

d

d

d

d

d

Erstelltes Modell, z.B. Instanzmodell

ImageNotion.Editor

12

ImageNotion. Annotation

ImageNotion. AnnotationErmöglicht die Beschriftung vonBildteilen und dem ganzenBild mit semantischen Elementen

⇒ Bevorzugung wichtiger Bildteile⇒ Umfangreiche Möglichkeit zur Indizierung und Sortierung der

Suchergebnisse, z.B. nach Größe des beschrifteten Bildteils, Anzahl Beschriftungen auf dem Bild

www.imagenotion.com

Suchergebnis

Caption: Cleopatra, Elizabeth … Caption: Cleopatra, Elizabeth …

Unvollständig: fehlende Synonyme, versch. Sprachen

13

Semantische Beschriftung von Bildern und Indizierung

www.imagenotion.com

Elizabeth Taylor

Weiblich

Person

Schauspieler

USA

Cleopatra

FilmJoseph L. Mankiewicz

hat Beruf

Lebt in

hat Geschlechtist eine ist Haupt-

darsteller in

Regie vonist ein

=>Indizierung- Portrait, 1 Person- Bildteil Größe: 20 Prozent - Elizabeth Taylor, weiblich, Person, Schauspieler, USA

Cleopatra, Film, Joseph L. Mankiewicz, …

14

Art der Integration

Integration ImageNotion. Annotation:

www.imagenotion.com

ImageNotion.Annotation

Suchanfrage: „Elizabeth Taylor Cleopatra“

Vollständiges Suchergebnis

ImageNotion.Search Pro

d

d

d

d

d

Erstelltes Modell, z.B. Instanzmodell

ImageNotion.Editor

15

ImageNotion. Automation

Manuelle Bildbeschriftung teuer und zeitaufwendig!

ImageNotion. Automatic Annotation• Konsistente Bildbeschriftungen => hohe Qualität• Abbildung von Hintergrundwissen => Zeitersparnis• Automatisierte Bildbeschriftung => Zeitersparnis

Innovative Kombination verschiedener Algorithmen• combineAll: kombiniert alle Ergebnisse

mehrerer Algorithmen, z.B. Gesichtsdetektion oder Erkennung • combineSame: kombiniert nur übereinstimmende Ergebnisse, reduziert

dadurch die Fehlerquote deutlich.

www.imagenotion.com

16

Kombination der Ergebnisse von Bilderkenner

www.imagenotion.com

Personenerkenner: Person (70 %)

Gesichtsdetektion: Gesicht gefunden

Emotionsdetektion: lachend (53 %)

Geschlechtsdetektion: weiblich (72 %)

Gesichtserkenner: E. Taylor (61 %)

KombinationLachende Frau,Elizabeth Taylor

Annotation > 40 Prozent und Person => Portrait

Beispiel: Kombination unterschiedlicher Bilderkenner mit ImageNotion. Automatic Annotation

Messung: Zeitersparnis zur Beschriftung von 1.000 Gesichtern mit ImageNotion. Automatic Annotation

Vergleich der Verfahren• combineAll: größte Gesamtersparnis, spart mehr als 2 Stunden.• combineSame: reduziert die Fehlerquote deutlich, spart etwa 1,5 Stunden• IIS Standbild: Ergebnis des Algorithmus von Fraunhofer IIS.

17

Integration ImageNotion. Automatic Annotation:

Art der Integration

www.imagenotion.com

ImageNotion.Annotation

Suchanfrage: „Elizabeth Taylor Cleopatra“

Vollständiges Suchergebnis

ImageNotion.Search Pro

d

d

d

d

d

Angepasstes semantisches Modell für Bildarchiv

ImageNotion. Automation

ImageNotion.Editor

18

ImageNotion. Referenzen

Entstehung von ImageNotion.In mehr als dreijähriger Entwicklungsarbeit mit u.a.• Forschungszentrum Informatik (FZI) Karlsruhe• Fraunhofer IIS• disy Informationssysteme GmbH

Testkunden u.a.• photo12 (französische Bildagentur)• BSMC (Staatsbibliothek für moderne Geschichte, Italien)• Pitopia (deutsche Bildagentur)

Auszeichnungen• u.a. Gründerwettbewerb Multimedia des Ministeriums für Wirtschaft

www.imagenotion.com

19

ImageNotion. Kontakt

Vertrieb Andreas WalterTelefon +49 721 7540 79 41Email aw@imagenotion.com

Technik Dr.-Ing. Gabor NagypalTelefon +49 721 7540 79 42Email gn@imagenotion.com

Besuchen Sie unsere Webseite www.imagenotion.com

www.imagenotion.com