Compresión de Vídeo. Tema 2.2. Estructura jerárquica del H · 2017-10-05 · Compresión de...

Tema  2.2.  Estructura  jerárquica  del  H.264  

Compresión  de  Vídeo  

Juan  A.  Michell  MarBn  Gustavo  A.  Ruiz  Robredo  

Departamento  de  Electrónica  y  Computadores  

Este  tema  se  publica  bajo  Licencia:  Crea9ve  Commons  BY-­‐NC-­‐SA  4.0  

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 2

ESTRUCTURA DEL VIDEO EN EL H.264/AVC

El H.264 codifica las secuencias de video en una estructura jerárquica decapas o layers.

Hay cuatro tipo de capas:

o GOP o Group of Pictures.

o Imagen o picture o frame.

o Slice o parte de una frame o una frame completa.

o Macroblock o MB de tamaño 16x16.

o Block de diferentes tamaños iguales o inferiores a un MB.

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 3

Frame

GOP

Un GOP generalmentecomienza con una frame I (intra) seguida de unasecuencia de P y/o B frames (inter).

Tipo I, P o B

Slice #0

Slice #1

Slice

BlocksMacrobloqueMB 16x16

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 4

Tipos de Slice

Una slice es una parte de una frame (mínimo tamaño 1MB) o una framecompleta que contiene un número entero de MB.

Existen tres tipos principales:

o I slice (I o intra). Todos los MB se codifican usando intra predicciónexplotando la correlación espacial. Profile all.

o P slice (P o Predicted). Además de codificar en tipo I, algunos MBpueden ser de tipo P usando predicción inter con correlación temporalde slices I o P pertenecientes a frames anteriores. Profile all.

o B slice (B o Bi-directionally predicted). Además de codificiar un MB detipo P, algunos MB de una slice B pueden ser codificados usandopredicción inter con slices (I, P o B) de frames anteriores o futuras.Profile extended & Main.

Cada slice se procesa independientemente.

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 5

I MB 16x16

I P Skip

I P B Skip

I slice

P slice

B slice

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 6

Existen otros dos tipos de slice especiales para video streaming:

o SP slice (Switching P). Permite intercambio entre diferentes frames pre-codificadas. Profile extended.

o SI slice (Switching I). Permite la exacta coincidencia de un MB en unslice SP para aplicaciones de acceso aleatorio y recuperación de errores.Profile extended.

Motivación de slices tipo SP y SI:

o El ancho de banda de las redes (internet) actuales presentanfluctuaciones. Los servidores ajustan constantemente su velocidad detransmisión de datos de acuerdo a su ocupación.

o En aplicaciones de video streaming, los parámetros de codificación devideo deben modificarse y ajustarse en tiempo real.

o Cada secuencia de videos debe ser codificada en múltiples y diferentesstreams.

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 7

GOP o Group of Pictures

GOP con solo frames tipo I (intra) o P (inter): Secuencia IP…..P

I P P P P IGOP

Valores típicos de un GOP es de 10 a 30 frames.

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación

El número máximo de frames referenciadas es de 16. H.

264

Frame 1 Frame 2 Frame 3 Frame 4

MPE

G-2

MPE

G-4

Frame 1 Frame 2 Frame 3 Frame 4

Máx

ima

com

pres

ión

No

reco

noce

Mov

imie

nto

perió

dico

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 9

I0 B1

GOP

Frames tipo I, P y B. Secuencia IBBPBBP….I

B2 P3 B4 B5 P6 B7 B8 I9

Orden de codificación: I0, P3, B1, B2, P6, B4, B5, I9, P7, B7….

Orden de reproducción: I0, B1, B2, P3, B4, B5, P6, B7, B8, I9….

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 10

Las operaciones de block-matching pueden ser extendidas para predicciónbi-direccional (tipo B), donde un block puede ser estimado a partir de unblock en:

o Frame previa.o Frame futura.

Cada block en una frame tipo B se obtiene a partir del promedio de unblock en la frame previa y frame futura.

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 11

BitRate [Mbit/s]

PSN

R Y

[dB

]Mobile & Calendar (CIF, 30 fps)

0 1 2 3 426272829303132333435363738

PBB... with B pictures PPP... with 5 previous references PPP... with 1 previous reference

>25%

Análisis del efecto de frames tipo P y B

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 12

SINTAXIS DEL H.264

MB

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 13

H.264 STREAM

Diferentes maneras de enpaquetar la sintaxis del H.264.

SODB (String Of Data Bits)

o Representación binaria (real raw H.264 stream) de acuerdo alestándar ISO/IEC 14496-10

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 14

RBSP (Raw Byte Sequence Payload)

o Es un SOBP alienado para adaptarse a un byte (8 bit) stream.

8 bit

Stop bit (=1) rbsp_alignment_zero_bit

NAL Unit (Network Abstraction Layer)

o NAL Unit es un RBSP formato con sincronización.

RBSP RBSP RBSP

NAL Unit Header Emulation_prevention_three_byte

SODB

8 bit 8 bit 8 bit

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 15

Byte Stream Format

o Es un formato de sincronización que consiste en poner la secuencia0x000001 o 0x00000001) en cada NAL Unit.

o Por razones practicas, este formato es el más usado en almacenamientoo streaming.

NAL Unit00 00 00 01 00 00 01 NAL Unit

Compresión de videoGrado en Ingeniería de Tecnologías de Telecomunicación 16

Bit stream del H.264