21
Präsentation von: Ghamdan Atef

Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Embed Size (px)

Citation preview

Page 1: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Präsentation von:Ghamdan Atef

Page 2: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Motivation• Datensammlung• Vorgeschichte

Radio Oranje Collection Projekt Experimente

• Erstellung von Transkriptionen• Akustische Modelle• Segment-Länge

Ergebnisse Fazit Live Demonstration Zukünftige Arbeit

2

Page 3: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Problem: • Beschränkung der Zugänglichkeit von

historischen Audio-Ansammlungen

Folge: • Erschwerte Suche nach bestimmten Inhalten in

historischen Reden

Lösung:• Digitalisierung der Tonaufnahmen• Erstellung eines Zeitstempel-Index• Einführung von Such-Technologien

3Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 4: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Radio Oranje Collection: Sammlung von im Radio ausgestrahlten Reden, die Königin Wilhelmina (1880-1962) während des Zweiten Weltkriegs an das niederländische Volk richtete.

4Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 5: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Unzugänglichkeit von Audio-Sammlungen des kulturellen Erbes (z. B. Radio Oranje Collection) durch:

I. Speicherung auf analoge DatenträgerVerschlechterung der Aufnahmequalität

II. Verwendung veralteter Wiedergabe-GeräteSchwierigkeit zu einer schnellen und einfachen Zugriff

auf bestimmten Inhalten

Frühere Digitalisierungs-Projekte:• EU IST PrestoSpace• Dutch Beelden Voor De Toekomst

5Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 6: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Digitalisierung der Bewahrten Aufnahmen und deren Original-Transkriptionen

Bedarf einer schriftlichen Transkription für die Stichwortsuche: Eine Reihe von Stichwörtern z. B. aus einer

Redeepisode Generierung von automatischen Zeitstempel-

Transkriptionen

6Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 7: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Spracherkennung: (was wird gesagt?)• Transkriptionen durch vollautomatische

Spracherkennung• Suboptimal wegen schlechter Tonqualität

Alignment: (wo wird etwas gesagt?)• Modell: Verwendung einer bereits vollständig

transkribierten Sammlung• Daten: Angleichung (Alignment) der

phonetischen Darstellung des Gesprochenen mit der des Modells.

Drei Experimente zur Auswertung von Alignments zwischen Text und Rede

7Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 8: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Verwendung derselben Modelle für Alignment und Spracherkennung:

• geschlechtsunabhängig• sprecherunabhängig

Verwendete Modelle / Nachrichtensendungen:

• triphone (kontextabhängige)• monophone (kontextunabhängig)

Ergebnis: neue sprecherabhängige Modelle Generierung und Evaluierung der letzten

akustischen Wilhelmina Modelle

8Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 9: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Bei gegebenem Ton das „passende“ akustischen Modell-Segment finden

Pruning-Verfahren

Ankerpunkte: Verknüpfung Tonband und Transkription an zwei gleichen Positionen

Mehr Ankerpunkte: Alignment wird leichter Pruning-Verfahren wird weniger angewendet

Einfluss der Segment-Länge auf die Qualität des Alignment

9Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 10: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Indirekte Text-Rede-Alignment über phonemischer Darstellung des Textes

• Orthographische Transkription in phon. Darstellung• Phonem auf dem Tonband Sequenz von ak. Modellen

Konverter:• Background-Wörterbuch• Regelbasiertes System• Entsprechende Schreibweise und Aussprache

Einfluss der Konvertierung aufs Alignment:• Vollautomatische Konvertierung• Konvertierung mit Referenztext• Manuelle phonetische Konvertierung

10Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 11: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

11

Ak. Modelle aus monophonen Sendungen um 60% besser als solche aus triphone Sendungen

Datenspezifische Modelle sind besser als gewöhnliche Nachrichtensendungen

Für jedes der drei ak. Modelle wird die Datenmenge im Hinblick auf die entsp. Divergenz von der Referenztranskription gezeigt.

Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 12: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

12

Gleichgültigkeit der Länge der Segmente beim Wilhelmina-Modell

Bei längeren Segmenten aus triphoner N-Sendungen war die benötigte Zeit länger (Reduzierung des Pruning-Verfahren)

Alignment Performance als Funktion von Segmentlängen für triphone Nachrichtensendungen Models und die Sprecher-spezifischen Wilhelmina Models.

Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 13: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

13

Modelle aus monophonen Nachrichten-Sendungen

Niedriger Einfluss veralteter Schreibweise auf Alignment-Performance

Schreib-weise

Veränderte Phone (%)

Divergenz- Mittelwert (ms)

Original 0 55

Modern 1 56

Manuelle Konv.

5 54

Die Auswirkung von der Grafem-zu-Phonem Konvertierungsmethode auf die Alignment Performance.

Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 14: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Alignment-Performance ist adäquat für Indezierungsarbeiten

Monophone Modelle ergeben bessere Alignment-Performance als triphone Modelle

Mit dem richtigen Modell ist die Länge der Segmente relativ belanglos

Bei Abweichung des Tonbands vom Modell wurde mehr Zeit beansprucht für ein akzeptables Alignment

Graphem-zu-Phomen hat keinen Einfluss aufs Lokalisieren von Wortgrenzen

14Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 15: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

15Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 16: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

16Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 17: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Fortschritt in der Digitalisierung von historischen Texten, Bildern und Pamphleten• Automatische Verlinkung zwischen Dokumenten• Anzeige verwandter Dokumente in einer Präsentation

Verknüpfung der Inhalte von Medien über die semantische Darstellung jedes Medientyps:• Direkt• Über ein Lexikon• Über eine Ontologie

Keine automatische Verlinkung von Radio Oranje Aufnahmen und den entsprechenden Bilder Manuelle Erstellung der Semantische Darstellung von

Reden

17Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 18: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

http://hmi.ewi.utwente.nl/choral/radiooranje.html

18Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 19: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Bessere Erforschung der semantischen Übereinstimmung der gesprochenen Worte mit dem Thema.

Reduktion der Stichwörter auf ein kontrolliertes Vokabular

Verwendung eines Lexikon- oder Ontology-Systems (z. B. „Wordnet“)

Einsatz von Expertenwissen bei bestimmten geschichtlichen Ereignissen

19Motivation

Projekt Ergebnisse

Fazit

Demo

Zukünftige Arbeit

Page 20: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Radio Oranje: Enhanced Access to a Historical Spoken Word CollectionLaurens van der Werff, Willemijn Heeren, Roeland Ordelman & Franciska de JongUniversity of Twente

http://hmi.ewi.utwente.nl/choral/radiooranje.html

20

Page 21: Präsentation von: Ghamdan Atef. Motivation Datensammlung Vorgeschichte Radio Oranje Collection Projekt Experimente Erstellung von Transkriptionen Akustische

Vielen Dank für die Aufmerksamkeit!

Fragen?

21