Upload
buibao
View
215
Download
1
Embed Size (px)
Citation preview
Hartmut Lehmann
„Audio/Video – Delay“- ein unlösbares Problem?
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 2
Audio/Video-Delay
• 1972-1974 Ausbildung zum staatl. gepr. Bildtechniker an der Schule für Rundfunktechnik in Nürnberg
• 1974-1980 Tätigkeit beim SDR als Bildtechniker in den Bereichen Bildkontrolle, Magnetaufzeichnung und Übertragungstechnik
• 1980-1984 Studium der Nachrichtentechnik an der FH für Technik in Esslingen
• 1984-1987 Planungsingenieur beim SDR in der Bildmesstechnik
• 1987-1999 Fachbereichsleiter Studiomesstechnik
• 1999 Abteilungsleiter SystemService und Projektierung am Standort Stuttgart des SWR
• Seit 1999 ASF-Vertreter des SWR und seit 2005 stellv. Vorsitzender
• 1999-2004 auch Lehrbeauftragter an der Hochschule der Medien in Stuttgart
Vita
Hartmut Lehmann
„Audio/Video – Delay“- ein unlösbares Problem?
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 4
Audio/Video-Delay
Oder alle sprechen von HD....
.....ich auch!
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 5
Audio/Video-Delay
HD :
High Delay zwischen Audio und Video -
ein unlösbares Problem?
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 6
Audio/Video-DelayWarum ist dies heute noch ein Thema?
Stand um 1970: • Rein analoge Bild- oder Audioverarbeitung• Keine Videosynchroniser möglich• Analoge Satellitenübertragung lediglich über Kontinente• Empfänger haben keine relevante Bildaufbauzeit
Innerhalb Deutschland ist das Signal in Lichtgeschwindigkeit quasi von der Kamera bis zum Zuschauer (1000 km) in etwa 10ms bis 20ms!
Stand heute:• Elektronische CCD-Kameras haben eine Zwischenspeicherung und Signal-Prozesslaufzeiten• Digitales Audio- und speziell Videoprozessing dauert länger• Immer mehr Framesynchroniser und Format- und Up-/Down-Converter • Datenreduzierung hat bei En- und Decodierung lange Laufzeiten, Long-GoP!• Geostationäre Satellitenübertragung bei Kontribution und Distribution• Kaskadierung von Codecs
Bei DVB-T z.B braucht das Signal zwischen 5 und 6 Sekunden von der Kamera bis zum Zuschauer!
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 7
Audio/Video-Delay
• Grundlagen– Physikalische Grundlagen– Physiologische Grundlagen– Begriffsdefinition
• Standards und Normen– EBU– ITU
• Möglichkeiten der messtechnischen Erfassung • Audio-/Videodelay in der Produktionstechnik, Beispiel Übertragungs- und
Produktionskette– Akquisition– Signalprozessing– Übertragung– Endgerätetechnik
• Reduzierung des Bild/Tonversatzes
Gliederung
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 8
Audio/Video-Delay
• Schallgeschwindigkeit in Luft 331.6 m/s (bei 0 oC und 1013 mbar)
• Lichtgeschwindigkeit in Luft 299 703 146 m/s (Licht der Wellenlänge 400 nm)
• Bildwiederholzyklus beträgt 40 ms
• Zurückgelegte Wegstrecke des Schalls in 40 ms (1 Vollbild) etwa 13 m
• Zurückgelegte Wegstrecke des Lichtes in 40 ms (1 Vollbild) etwa 12 000 km
• Von einem 1 km weit entfernten Blitz ist der Donner etwa 3 s später hörbar
Physikalische Grundlagen
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 9
Audio/Video-Delay
Video
Audio
DSC (Video + Audio)
10 m30 ms Audiolaufzeit
30 ms Audio vor Video
Beispiel: Audiolaufzeit bei Playbackverfahren
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 10
Audio/Video-Delay
• Der Bild/Tonversatz kann nur empfunden werden– Erfassung des optischen Ereignisses durch den Sehsinn – Erfassung des akustischen Ereignisses durch den Hörsinn– Die Wahrnehmung des Bild/Tonversatzes findet bei der Verarbeitung der
beiden Reize im Gehirn statt• Nacheilender Ton (-) wird als „natürlich“ empfunden
– Bezugssignal ist das Videosignal– “sound delay with reference to vision”
• Voreilender Ton (+) wird als „störend“ empfunden– “sound advanced with reference to vision”
• Sensibilität für den Bild/Tonversatz– Szenenabhängig– Größenabhängig (SD-HD)– Interessenabhängig– Experten etwa doppelt so empfindlich wie Laien
Physiologische Grundlagen
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 11
Audio/Video-DelayBeispiel: Szenen- bzw. bildgrößenabhängige Empfindlichkeit
Quelle:
Universität zu LübeckInstitut für Telematik
Diplomarbeit von Dipl.-Inf. Zhen Ru Dai
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 12
Audio/Video-Delay
• Titel: The relative timing of the sound and vision components of a television signal“
(1986 revised 1997, 2002 and 2006)
• zulässiger Bild/Tonversatz am Sendeübergabepunkt:– 40 ms Ton vor Bild (voreilender Ton (+))– 60 ms Ton nach Bild (nacheilender Ton (-))
• Basierend auf subjektiven Tests– 50 % der Probanten haben größere Bild/Ton-Versätze als
+40 ms bzw. -60 ms erkannt
Standards und NormenFestlegungen in der EBU Recommendation R37
• In der Ausgabe Februar 2006wird außerdem empfohlen, wenn immer es möglich ist Vorkehrungen zu treffen, um den Bild/Tonversatz zu minimieren. Die Genauigkeit des Bild/Tonversatzes sollte an jedem Punkt innerhalb von 5 ms Ton vor Bild und 15 ms Ton nach Bild liegen.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 13
Audio/Video-Delay
• ITU-T J.100 (Section Telecommunication):
„TOLERANCES FOR TRANSMISSION TIME DIFFERENCES BETWEEN THE VISIONAND SOUND COMPONENTS OF A TELEVISION SIGNAL“
• CMTT.717 (Study Programme 21A/CMTT)Bezug auf Report 1081 (Question 35/11)
• Report 412-4 (Study Programme 21A/CMTT)Bezug auf Report 1081 (Question 35/11)
empfehlen
Standards und NormenFestlegungen in der ITU-T
Für internationalen Fernsehsignalaustausch einen Bild/Tonversatz von maximal 20 ms Ton vor Bild und 40 ms Ton nach Bild zuzulassen
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 14
Audio/Video-Delay
• ITU-R BT.1359 (Section Radiocommunication)„RELATIVE TIMING OF SOUND AND VISION FOR BROADCASTING “
Bezug auf Report 1081 (Question 35/11)
Standards und NormenFestlegungen in der ITU-R
empfehlen
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 15
Audio/Video-Delay
Sichtbarkeits- und Akzeptierbarkeitsgrenzen aus der ITU-R BT.1359
Standards und Normen ITU-R BT.1359
-200 -180 -160 -140 -120 -100 -80 -60 -40 -20 0 20 40 60 80 100
0
-0,5
-1
-1,5
-2
Undetectability plateau
Detectability threshold
Acceptability threshold
Sound advanced wrtvision
Sound delayed wrtvision
Delay time (ms)
Subjective evaluation
results (Diffgrate)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 16
Audio/Video-Delay
CodecCompilation-station
CodecOriginatingStudio
LocalStation
Outside Broadcast
1
1
1‘
1‘
1‘‘
1‘‘
2
2
2‘ 3 3‘ 44‘
5
5‘
6Contribution Distribution
Simplified reference chain television sound/vision timing
6‘
Referenzkanal der ITU-R BT.1359
+90 ms bis –185 ms
+25 ms bis –100 ms
Standards und Normen ITU-R BT.1359
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 17
Audio/Video-Delay
Guidelines for Multichannel Audio in DVBAudio/Video SynchronisationDie Synchronisation von Audio- und Video-Signalen ist eines der großen Probleme und kann sehr störend sein. Es wird auch "lip-sync“ genannt. Das DVB-System nützt den Time-Stamp-Mechanismus für die Synchronisation zwischen Audio und Video des gesendeten Signales.
Das Timing zwischen Encoder und Decoder soll innerhalb 1ms gehalten werden.
Standards und Normen EBU Tech Doc 3311
Analoge und digitale Audio-AusgängeDie Audiosignale sollen synchron mit dem Videosignal (für das gleiche Fernsehprogramm) an allen Kontrollpunkten des Übertragungskanals und die Audio/Video Synchronisation in der Set-Top-Box (STB)
innerhalb einer Toleranz von -5ms (Audio früher) und +15ms (Audio später)zwischen den decodierten Video- und Audioausgängen liegen und sollen nicht driften.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 18
Audio/Video-Delay
Messtechnische Erfassung
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 19
Audio/Video-Delay
• Einfach zu generieren
• Signalisierung von Leitungsunterbrechungen
• Bitfehler (Fehlende oder vertauschte Bits)
• Signalisierung des H - Austastbereich
• Signalisierung des V - Austastbereich
• Signalisierung von Bildversätzen (H und V)
• Leicht in Quellgeräte zu implementieren
• Möglichkeit zur Bestimmung des Bild/Tonversatzes
Messtechnische Erfassung Anforderungen an ein neues Testbild zum Einmessen von Übertragungsstrecken
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 20
Audio/Video-Delay
Markierung des Bildzentrums
Beliebiger Text z.B. Quellenkennzeichnung
Balken läuft zusammen und ist in diesem Moment mit einem Tonburst gekoppelt.
Zägezahn mit 10 bitAuflösung
Farbbalken mit Rotfläche
Die Zeilen 23 , 310, 336, und 623 sind als Weißimpulse über den gesamten Zeilenbereich beginnend vom ersten „End of Line Puls” bis zum letzten „End of Line Puls”auszuführen
Zwei „End of Line Pulse” welche die analoge und digitale Austastung markieren
Auf und ablaufender Balken zum signalisieren von „Leben“
Quadrat zum Erkennen des Bild-Seitenverhältnisses
Messtechnische Erfassung EBU-Bewegttestbild
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 21
Audio/Video-Delay
Messtechnische Erfassung EBU-Bewegttestbild
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 22
Audio/Video-Delay
Messtechnische Erfassung Vistek-Valid
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 23
Audio/Video-Delay
Messtechnische Erfassung Vistek-Valid
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 24
Audio/Video-Delay
Messtechnische Erfassung OmniTek PQA(Picture Quality Analysis Workstation)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 25
Audio/Video-Delay
Messtechnische Erfassung KorrelationsverfahrenFHS Schweinfurt + IRT
Bild
Ton ÜbertragungTon
Ableitung des charakt. Signals
KorrelationΔt - Bestimmung
Audio-Delay
ÜbertragungBild + charakt. Signal
Auswertung + Nachsteuerung
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 26
Audio/Video-Delay
Studio; Network;...
Audio
Video + Watermark
Video + Watermark
Decoder
Video
Audio
Correction Control
AudioDelay line
Audio synchronized
Videosynchronized
Encoder
Video
Audio
add coded noise Pattern
Audio
Messtechnische Erfassung WatermarkingTektronix
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 27
Audio/Video-Delay
Kontribution/DistributionBild
Ton
Messtechnische Erfassung QuMax-2000K-Will
Bild
Ton
Internet
Synchron-Kennsignalerzeugung
Auswertung/Vergleich
Anzeige
Synchron-Kennsignalerzeugung
Auswertung/Vergleich
Anzeige
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 28
Audio/Video-Delay
Messtechnische Erfassung LipTrackerPixel Instruments
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 29
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Aufnahme mit E-Kamera
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 30
Audio/Video-Delay
Zeitdiskrete Abtastung einer Szene bei elektronischer Kamera
1. field 2. field1. field2. field
t (ms)
0 4020 60 80
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 31
Audio/Video-Delay
Zeitdiskrete Abtastung einer Szene bei elektronischer Kamera
1. field 2. field1. field2. field
t (ms)
0 4020 60 80
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 32
Audio/Video-Delay
Zeitdiskrete Abtastung einer Szene bei elektronischer Kamera
1. field 2. field1. field2. field
t (ms)
0 4020 60 80
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 33
Audio/Video-Delay
Abtastung – Korrelation zur örtlichen Lage des Ereignisses
1. field 2. field1. field2. field
t (ms)
0 4020 60 80
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 34
Audio/Video-Delay
Abtastung – Korrelation zur örtlichen Lage des Ereignisses
1. field 2. field1. field2. field
t (ms)
0 4020 60 80
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 35
Audio/Video-Delay
FKTG
Schlussfolgerung
• Die zeitliche Quantisierung und örtlicher Bezug hat eine Unsicherheit von 0 ms bis zu 20 ms zur Folge.
• Mit einer mechanischen Klappe kann der Bild/Ton-Bezug nicht exakt gemessen werden.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 36
Audio/Video-Delay
Elektronische Kameras (CCD- oder CMOS-Chip)
• Bei CCD-Kameras muss eine Grundverzögerung zwischen 0 ms und 20 ms für das Videosignal Berücksichtung finden.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 37
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Wiedergabe am Display
E-Kam
era
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 38
Audio/Video-Delay
Zeitverhalten eines konventionellen CRT-50 Hz-Monitors
0 20 ms 40 ms 60 ms 80 ms
Leuc
htdi
c hte
Sig
nala
mp
litu d
e
Laufzeitverzögerung
1 Vollbild
Bild-Eingangssignal
elektrooptisches Ausgangs-Signal (Fernsehbild)
1 Halbbild
Quelle:
IRT, Herr Irmer
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 39
Audio/Video-Delay
1 Halbbild
0 20 ms 40 ms 60 ms 80 ms
Leuc
htdi
c ht
eS
igna
lam
plit
u de
1 Vollbild
Bild-Eingangssignal
Laufzeitverzögerung
Laufzeitverzögerung des BildsignalsMessbeispiel: Plasmadisplay (42 Zoll)
elektrooptisches Ausgangs-Signal (Fernsehbild)
Quelle:
IRT, Herr Irmer
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 40
Audio/Video-Delay
L eu c
htdi
c hte
1 Halbbild
0 20 ms 40 ms 60 ms 80 ms
Sig
nala
mp
litu d
e
1 Vollbild
Bild-Eingangssignal
Laufzeitverzögerung
Quelle:
IRT, Herr Irmer
Laufzeitverzögerung des BildsignalsMessbeispiel: TFT-LCD-Fernsehmonitor (18 Zoll)
elektrooptisches Ausgangs-Signal (Fernsehbild)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 41
Audio/Video-Delay
Flachdisplays
• Flachbildschirme, wie Plasma- und TFT-LC-Displays haben aufgrund der progressiven Darstellung und deren Ansteuerungsmechanismen immereinen Bildspeicher mit einer Verzögerungszeit von etwa 40 ms bis 60 ms.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 42
Audio/Video-Delay
– Fast alle Projektionstechniken basieren auf progressiver Darstellung und haben somit einen Vollbildspeicher
– Beispiele: DMD (DLP), LCD, ILA, Laser
– Einsatz auch in Monitorwänden, Synchronstudios
Projektionstechnologie
Daraus resultierendes Delay bei der Bilddarstellung:
ca. 40 ms
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 43
Audio/Video-Delay
– Für Monitorwände, speziell in Ü-Wagen, können mit einem Monitor oder Flachdisplay mehrere Videosignale gleichzeitig dargestellt werden.
– Einsatz von Bildspeichertechnologie, Synchronisation von asynchronen Signalen, u.U. Progressivwandlung bei PC-Schnittstelle
– Verzögerungszeiten von bis zu 40 ms bei Monitoren und 100 ms beiFlachdisplays
Multiplex-Darstellung auf Videomonitoren und Flachdisplays
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 44
Audio/Video-Delay
CRT-, Flachdisplays und Projektoren im Heimbereich
• 50-Hz-Röhrengerät (CRT) vernachlässigbar• 100-Hz-Röhrengerät (CRT) 10 ms bis 40 ms• Plasma-Display 40 ms bis 60 ms• TFT-LC-Display 30 ms bis 40 ms• LC-Projektor 40 ms bis 60 ms• DMD (DLP)-Projektor ca. 40 ms• ILA-Projektor ca. 40 ms• Heim-PC z.T.“peinlich“
i.d.R keine Verzögerung des Audiosignals bei Endgeräten, es tritt ein Bild/Tonversatz auf (TvB)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 45
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Drahtloskameraam
Ü-Wagen
E-Kam
era
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 46
Audio/Video-Delay
Einsatz einer Drahtloskamera
CCU
CCU
Video
Master
Control
• Übertragung datenreduziert (Wavelettransformation, MPEG2)
• Moderne Konzepte mit DVB-T- Übertragung (COFDM)
60 ms bis 100 msverzögert (TvB)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 47
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
SNGMPEG2-Codierung 8
Mbit/s
Drahtlo
s-Kam
era
E-Kam
era
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 48
Audio/Video-Delay
SNG-Übertragung mit MPEG2-Codierung, 8 Mbit/s
• Framesynchroniserfunktion im Encoder bzw. Decoder.
• Ungenauigkeiten beim Auswerten der Präsentation-Timestamps im Empfänger.
• Gemessene Toleranzen: -20 ms bis 40 ms
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 49
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Synchronisation am Studioeingang
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 50
Audio/Video-Delay
Synchronisation am Studioeingang
• Die Periodizität des SDI-Signales beträgt 40 ms.
• Die daraus resultierende Verzögerungszeit beträgt zwischen 0 ms und 40 ms.
• Bei Embeded-Audio können Probleme Beim „Stopfen“ bzw. „Weglassen“ von Frames entstehen.
• Bei guter Systemintegration wird dieser Versatz bei separater Signalführung durch ein angekoppeltes Audiodelay kompensiert. Wer macht das??
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 51
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Bearbeitung in derPostpro (am NLE mit
LCD-Monitor)
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
Synch
r. Stu
dio
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 52
Audio/Video-Delay
Arbeiten mit bildverzögernden Displays und Projektoren in Bearbeitungsräumen (Tonregie, Tonbearbeitung, Schnittplatz)
1 3 42 65
1 3 42 65
1 3 42 5
Ton
Bild
BildVerz
Aufgabe: Ton synchron an laufendem Bild anlegen
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 53
Audio/Video-Delay
Arbeiten mit bildverzögernden Displays und Projektoren in Bearbeitungsräumen (Tonregie, Tonbearbeitung, Schnittplatz)
1 3 42 65
1 3 42 65
1 3 42 5
Ton
Bild
BildVerz
Aufgabe: Ton synchron an laufendem Bild anlegen
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 54
Audio/Video-Delay
Arbeiten mit bildverzögernden Displays und Projektoren in Bearbeitungsräumen (Tonregie, Tonbearbeitung, Schnittplatz)
1 3 42 5
1 3 42 65
1 3 42 5
Ton
Bild
BildVerz
Aufgabe: Ton synchron an laufendem Bild anlegenDer Ton wird an das verzögerte Bild angelegt, somit wird der Ton quasi in Bezug zum nicht verzögerten Videosignal um das Delay des Displays verzögert TnB).
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 55
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Zuspielung über Studio und DVE
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
Synch
r. Stu
dio
Postpro
: NLE/L
CD
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 56
Audio/Video-Delay
Zuspielung über Studio und DVE
• Digitales-Video-Effektgerät (DVE).
• Konstante Laufzeit von
40 ms.
• Gilt auch für Format- und Up-/Down-Converter.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 57
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Sendeabwicklung,Playout
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
Synch
r. Stu
dio
Postpro
: NLE/L
CD
Studio
über
DVE
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 58
Audio/Video-Delay
Sendeabwicklung bzw. Playout
• Toleranzen bei Einspiel- und Ausspielvorgang über SDI an den Servern.
• Zeitanpassung überFramesynchroniser beiLivezuspielungen.
• Toleranzbereich -20 ms bis 40 ms
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 59
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Distribution überAntenne, Kabel,
Satellit
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
Synch
r. Stu
dio
Postpro
: NLE/L
CD
Studio
über
DVE
SAW /
Playo
ut
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 60
Audio/Video-Delay
Distribution über Antenne, Kabel, Satellit, Web(Kein „Briefmarkenfernsehen“ wie DVB-H, DMB, ...)
• Zuführung zum Uplink oder IP-Netz über Codec.
• Verteilung von/zu Kopfstellen.
• Multiplexbildung.
• Remultiplex.
• Toleranzen –20 ms bis20 ms.
IPTV
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 61
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Set-Top-Box,Dolby-Decoder
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
Synch
r. Stu
dio
Postpro
: NLE/L
CD
Studio
über
DVE
SAW /
Playo
ut
Distri
bution
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 62
Audio/Video-Delay
Set-Top-Box mit Dolby-Decoder
• Z.T. ungenaue Auswertung der Präsentation-Timestamps.
• Zeitlicher Bezug von AC3-Ausgang/Video.
• Verzögerungszeit derDolby-Decodierung.
• Toleranzbereich ca.-40 ms bis 40 ms.
AC3
5.1
STB
Dolby-Decoder
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 63
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
TvB TnB
100200300400 0 -100 -200 -300 -400
msR 37: 40 ms bis –60ms
ITU-R BT.1359: 90 ms bis –185 ms
Drahtlo
s-Kam
era
E-Kam
era
SNG/8M
bit/s
Synch
r. Stu
dio
Postpro
: NLE/L
CD
Studio
über
DVE
SAW /
Playo
ut
Distri
bution
STB /Dolb
y-Dec
.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 64
Audio/Video-Delay
Beispiel einer Produktions- und Übertragungskette
Prepared by:J. Carl CooperMirko VojnovicChris SmithMarch 27, 2002 (updated August 12, 2004)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 65
Audio/Video-Delay
Fakten (1)
• Große Verzögerungszeiten treten bevorzugt beim Videosignal auf.
• Nicht alle Fehlerquellen können vollständig kompensiert werden.
• Auch scheinbar geringe Differenzen zwischen Audio- und Videolaufzeiten bei den einzelnen Schritten der Kette spielen in der Summe eine Rolle.
• Durch technologische Weiterentwicklungen wird sich die Situation zukünftig verschärfen (Codecs, Kaskadierung vonCodecs, Formatkonvertierung..).
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 66
Audio/Video-Delay
Fakten (2)
• Surroundtechnik und große Displays erfordern engere A/V-Delay-Toleranzen.
• Die Richtlinien sind zum Teil sehr unbefriedigend.
• Keine automatische Korrektur zukünftig realisierbar bzw. handhabbar oder bezahlbar.
• Bei den Endgeräten treten mit neuer Technologie immer größere A/V-Delays auf und werden derzeit nicht bzw. noch nicht befriedigend kompensiert.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 67
Audio/Video-Delay
?
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 68
Audio/Video-Delay
Alle Beteiligten sind für den Bild/Ton-Versatz verantwortlich ! ! !
• Änderung bei Bewusstsein und Verantwortlichkeit für den Bild/Ton-Versatz bei allen Beteiligten: Gerätehersteller, Softwareentwickler, Systemhäuser, Planer, Produktion, Bearbeitung, Contribution, Sendung (Playout), Distribution, Management, Zuschauer.
• Jeder ist für seinen Abschnitt/Part in der Kette für dengeringstmöglichen Bild/Ton-Versatz verantwortlich.
• Nicht der einzelne Abschnitt/Gerät/Produktionsschritt darf den gesamten Toleranzbereich für sich in Anspruch nehmen.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 69
Audio/Video-Delay
Maßnahmen (1)
• Konsequente Beachtung bei Aufnahme, Bearbeitung und Übertragung.
• Abschnittsweises kompensieren.
• Leicht einschleifbare und einstellbare Audiodelays für Eingangssignale vorsehen bei Hauptschaltraum,Ingestraum, Studio, SAW und Playout.
• Optimale Beurteilungsplätze mit den richtigen Signalen, Bildaufbauverzögerungen der Displays berücksichtigen.
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 70
Audio/Video-Delay
Maßnahmen (2)
• Timing exakt bei Studiokomplexen planen und möglichst wenig Framesynchroniser einsetzen (besser:Linesynchroniser).
• Zeitebenen an Kreuzschienen einrichten.
• Alle laufzeitbestimmenden Geräte sorgfältig wählen.
• Audiodelays auf die Art ihrer Steuerung überprüfen.
• Konzept zur Synchronisation der Taktgeber mit GPS (vergl.Hybnet, Dolby E).
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 71
Audio/Video-Delay
• Handhabung der Richtlinien optimieren, Berücksichtung bei allen neuen Richtlinien.
• Messverfahren und –möglichkeitenweiterentwickeln.
• Displayhersteller sollten generell auch eine Audioverzögerung in den Heimgeräten integrieren.
• „Intelligente Schnittstellen“ im Heimbereich.• Timestamps bzw. Timelabeling für zukünftige
Systeme. • Weitere Untersuchungen bezüglich der tatsächlichen
Bild/Ton-Verhältnisse initiieren.
Weiterführende Maßnahmen (1)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 72
Audio/Video-Delay
Weiterführende Maßnahmen (2)
• Konsequente Überprüfung von A/V-Delay beiGeräteuntersuchungen, Werkslieferkontrollenund Abnahmen (RBT, IRT,…).
• Schulungsmaßnahmen von Personal (ARD/ZDF-Medienakademie).
• Bestandteil in der Ausbildung (z.B. Mediengestalter).
• Publikationen in der Fachliteratur. (FKT, Heft 10/2006)
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 73
Audio/Video-Delay
Und es gibt schon Erfolge !
• Arbeitet seit November 2007
• Weit über 100 Hersteller und Anwenderorganisationen haben sich der TF schon angeschlossen
• Die aktive Gruppe besteht aus ca. 30 bis 40 Teilnehmern, unser Vertreter: Friedrich Gierlinger (IRT)
• „Request for Technology“ bis März 2008
• Die 30 Jahre alten Standards (z.B. SMPTE 12M) sind zunehmend ungeeignet für das digitale Zeitalter (network content sharing, HDTV, UHDTV, ...)
• „Über-alles-Ansatz“
• Zeitcodelabels in der Essence, definierte Zeitreferenzsignale, ...
„Joint EBU/SMPTE Task Force on Time & Synchronisation“
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 74
Audio/Video-Delay
Spezieller Dank gilt der ASF-Expertengruppe Audio/Video-Delay:
Herr Gierlinger Friedrich IRT (Vorsitz)
Herr Kaiser Martin RBT
Herr Kurz Walter ZDF
Herr Lehmann Hartmut SWR
Herr Schiebener Jörg BR
Frau Wieland Heike RBT/SWR
Das Papier wird derzeit überarbeitet !
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 75
Audio/Video-Delay
Ein Allheilmittel zur Verbesserung der Lippensynchronität gibt es nicht.
Jedoch jede Maßnahme zur Verringerung des Bild/Ton-Versatzes führt in der Gesamtheit zu einer Verbesserung.
Die Zuschauer, unsere Kunden, werden es uns danken !
„A/V-Delay-Pflanze“
< >Hartmut Lehmann, Co-Autor: Friedrich Gierlinger/IRT© SWR 76
Audio/Video-Delay