View
642
Download
2
Embed Size (px)
Citation preview
Les nouvelles dimensions de l’analyse audio/vidéo
Mike Knee
Consultant Engineer
Snell
Nouvelles dimensionsL’analyse et le monitoring vidéo et audio est devenu un problème multidimensionnel- live streaming et fichiers- à proximité et à distance- gamme de tailles d’écran- gamme d’options de compression - de nombreux paramètres à surveiller- vidéo et audio ensemble- 3D stéréoscopique
Introduction
• QC – qu’est-ce que c’est?• Le monde multidimensionnel de l’analyse vidéo et audio• Monitoring vidéo et audio – intégrité et contenu• Challenges de monitoring du contenu pour des écrans
multiples• Lip-sync (synchro labiale)• Le suivi des changements de taille et de forme• Mesure objective de la qualité• Faire que les machines regarde la télé 3D pour vous• Surprise!
Quel est QC?
Monitoring
vidéo
audio
métadonnées
Action passer à une chaîne
de sauvegarde
remise à neuf
action contractuelle
Présentationenregistrement
alarmes
vignettes
multiviewer
automatique
Un monde multidimensionnel
fichiers
à proximité
emplacement à distance
taille d’écran
non compressé
compressionbas débit
videoaudio
œil gauche
vidéo
œil droit
live streaming
Monitoring dans le contexte
correction
analyse analyse
correction
ajouter des métadonnées
analyse
lire les métadonnées
analyse comparer
Monitoring vidéoÉtat et standard de l’entrée
Qualité du signal (rapports CRC/EDH)
Niveau de mouvement « Stillish »
Détection d’image gelée (exacte et visuelle)
Noirceur d’image « Blackish » et noir numérique
Détection de AFD / barres latérales « letterbox/pillarbox »Niveau moyen d’image
Limites hautes/basses de Luma/Chroma, débordement/soupassement
Rapports gamut RVB et sa légalisation
Précision de la vidéo
Mesures multi-régions
Vignettes vidéo par TCP/IP
Rapports d’état et mesures par OSD
Monitoring du contenu
Traitement d’images
Monitoring de l’intégrité
Traitement des données
Présence audio
Détection de catégorie audio(PCM, Non-PCM, Dolby E, AC3, MPEG Audio (SMPTE 338M)
Précision audio
Comptage de niveau audio
Silence, Calme, Fort
Surcharge et coupure audio
Position de la bande de garde Dolby E
Rapports de métadonnées Dolby (Program Configuration / Dialnorm)
Audio déphasée (polarité)
Detection Mono/Stéréo
Monitoring audio
Contentmonitoring
Signalprocessing
Integritymonitoring
Dataprocessing
Monitoring du contenu
Traitement d’images
Monitoring de l’intégrité
Traitement des données
SMPTE UMID (insérer, signaler et supprimer)
PID / House Number watermarking (insérer, signaler et supprimer)
Détection de sous-titrage « Closed Captions » (CEA608, CEA708)
AFD - WSS, VI, SMPTE 2016
Indicatif de contenu (XDS, V-chip)
ANC Timecode (720p, 1080i)
VITC Timecode (525, 625)
Détecteurs ANC définis par l’utilisateur
Détection de sous-titres OP47/WST
Rapports de métadonnées SMPTE 2020
Rapports de durée du contenu (enregistrement de timecode)
Monitoring métadonnées
Écrans multiples – les défis
• Suivi du contenu à travers des changements de– résolution
– débit binaire de compression
– aspect d’image
– cadrage
• Formats multiples de fichiers, signaux et métadonnées
• Distinguer entre les changements intentionnels et les erreurs
Lip-sync
PropriétairesEn cours de normalisation(SMPTE TC-24TB-01 AHG on Lip Sync)
empreinte audio
empreinte vidéo
comparer des
empreintes
corriger
corrigerempreinte
audio
empreinte vidéo
formatage des
métadonnées
audio
vidéo
audio
vidéo
Suivi de taille et de forme
« Kitelets » (petits cerfs-volants!)
plus de kitelets en amontmoins de kitelets en aval
Kitelets
Mesure objective de qualité
Voir www.vqeg.org
Mesure de conversion de standards
• Faire une comparaison entre des mesures d’activité des gros blocs de l’image
• Détecter un comportement périodique dans la différence entre les mesures
• Détecter une augmentation inattendue de l'activité, qui pourrait être due à des artéfacts
Mesure de conversion de standards
Mesure de conversion de standards
20
22
24
26
28
30
32
34
36
38
40
build
ings
train_
text
garde
ntra
in_se
tint
erview gir
lten
nisath
letics
table_
tennis
stree
t1str
eet2
sprin
gboa
rdtig
erba
nners
guita
rwhe
elba
llet
rugby
black
board
stree
t3foo
tball
water
mobca
lflo
wers
qual
ity m
easu
re
Converter AConverter BConverter C
3D stéréoscopique
• Détection de formats
• Correspondance de couleurs, niveaux, …
• Synchronisation temporelle
• Analyse de profondeur ou de disparité– monitoring de la disparité
– champ de disparité dense
• Détection d’échange droit-gauche
• Détection de conversions 2D-3D« Faire que les machines
regardent la télé 3D pour vous »
Synchronisation temporelle droit-gauche
Empreintes vidéo
Analyse de profondeur / disparité
• Avertissement d’éventuelle fatigue oculaire– trouver les extrémités de disparité
– dépendance de taille d’écran
• Vérification 3D– profondeur de la 3D
• Déformations géométriques entre les 2 canaux – détecter et corriger
• Insertion de légendes/sous-titres à profondeur appropriée
Affichage de disparité
Champs de disparité denses
gauche à droit droit à gauche
occlusions
SMPTE TC-10E AHG on Disparity Map Representation
Détection d’échange droit-gauche
AB
œil gauche œil droit
plan
fond
B
A
B occlusion (région vue par B seulement)
A occlusion (région vue par A seulement)
Seam Carving « découpage de veines »
• Une méthode de réduction de la largeur d'une image pixel par pixel respectueuse du contenu
• Trouver une veine (ligne connectée de pixels de haut en bas) d’activité minimum
• Supprimer tous les pixels de la veine pour rétrécir l'image d'un pixel
• Répéter l'opération jusqu'à ce que la taille désirée soit atteinte
Seam carving pour des images statiques
Seam carving pour des images animées
original
nonrécursif récursif
Seam carving pour des images animées
non récursif
récursif
Seam carving compensé en mouvement
non compensé en mouvement
compensé en mouvement
Démo de seam carving