1

Multimedia Communications

Chapter 1Multimedia Elements

아주대학교 정보및컴퓨터공학부

노병희 (bhroh@ajou.ac.kr)

목차

멀티미디어 정보 요소들

멀티미디어 정보의 표현디지털화의 필요성

오디오 정보의 디지털화

영상정 보의 디지털화

압축의 필요성

2

1.1 멀티미디어 정보요소들멀티미디어 정보 요소

Voice/Speech 와 Audio 정보의 특징

Image의 특징

Video의 특징

멀티미디어 정보 요소들

멀티미디어 정보 요소들TextData (including Graphics)Voice (with mono-channel)Audio (with multiple-channels)Image (still image)Video (moving pictures)

3

Voice/Speech 와 Audio 의 특징

Voice/Speech 와 Audio

Telephone Speech Music (“CD Quality”)

0 Hz 4kHz 7kHz 20kHz

* 유럽의 경우로서, 미국이나 일본의 경우는 200 – 3200Hz 범위임

768kb/s1648kHz10 ~ 20000HzWideband audio

224kb/s1416kHz50 ~ 7000HzWideband speech

64kb/s88kHz300 ~ 3400Hz*Telephone speech

비트율샘플당 비트수샘플링비율주파수범위구분

Voice/Speech 와 Audio 의 특징

음성 신호의 주파수 범위음성 신호 부호화 방법이 적용되는 범위

• 협대역 : 200 Hz ~ 3.4 kHz• 광대역 : 50Hz ~ 7kHz

기본 음성 신호 부호화 방법

• 파형(waveform) 기반의 방법 (PCM, ADPCM, …)• 분석-합성(analysis-synthesis) 기반의 방법 (LPC, CELP, …)

오디오 신호의 주파수 범위사람의 가청 주파수 범위

• 10 Hz ~ 20 kHz

오디오 압축 방법은 사람의 가청 주파수 범위에 걸치는 모든오디오 성분을 대상으로 함

4

Voice/Speech 와 Audio 의 특징

사람의 청각 특성사람이 청각 능력은 주파수영역에서 고르지 않고, 특정 주파수부근에 집중되는 형태를 보여줌

• 아래 그림은 사람이 모든 주파수의 신호를 동일한 크기로 들을수있도록 하는데 있어서, 주파수에 따라 요구되는 신호의 세기를 보여줌

– 낮은 주파수와 높은 주파수 부분에서는 중간 주파수 보다 더 큰세기의 음성/오디오 신호를 만들어 주어야 함

• 앞으로 배우게 될 sub-band coding (SBC)의 배경이 되는 성질임

영상 정보의 특징

Pixel (화소)picture element 또는 picture cell의 약어 표현

디지털 이미지의 기본 단위로서, 소프트웨어 또는 하드웨어의제어하에서 변경될 수 있는 가장 작은 화면 출력 요소

이미지의 해상도(resolution) 단위는 pixel임

example) 640 x 480 format

가로로 640개의pixel과 세로로480개의 pixel이하나의 이미지또는 스크린화면을 구성됨

5

비디오 정보의 특징

Video (or Moving Pictures)Sequence of still images

• NTSC TV : 30 frames / sec• PAL TV : 25 frames / sec

짧은 프레임간의 간격으로 인하여, 인접한 프레임들간에는 큰상관성(correlation)이 존재함

time

1/30 sec.

1.2 멀티미디어 정보의 표현디지털화의 필요성

Voice/Speech 와 Audio 정보의 디지털 화

Image/Vidoe 정보의 디지털 화

6

멀티미디어 정보의 표현

디지털화의 필요성오디오와 비디오의 근본 source들은 아날로그 형태임

모든 멀티미디어 요소들은 컴퓨터내에서 저장되고 처리되기위하여 디지털화 되어야 함

voice의 정보형태

부분 확장한 모습

오디오 정보의 디지털화

두가지 기본 과정samplingquantization

analog signal- continuous-time- continuous-amplitude

sampled signal- discrete-time- continuous-amplitude

digitized signal- discrete-time- discrete-amplitude

Sampling Quantization

7

오디오 정보의 디지털화

Example (PCM)

영상 정보의 디지털화

Color Space영상 각 pixel의 색을 다른 요소들로 분리하기 위하여 표현하는이론적인 모델임

디지털 비디오에서의 두가지 color space• RGB : 컴퓨터 환경에서 주로 쓰임

• YUV 또는 YCrCb : TV 관련 분야에서 주로 사용

8

RGB Color Space

RGB color space색을 red(R), green (G), blue(B)의 세개 요소의 조합으로 표현

사람의 눈이 인식하는 모든 색을 표현하기 위하여는 RGB 요소는각각 8 bit 이상 되어야 함

• R, G, B 각 8 bits 씩 총 24 bits가 필요

• 224 = 16,777,216개의 서로 다른 색 표현 가능

G

B RG

B R

G

B R

G

Dot Row #1

dot pitchGBR Electronguns

60o

BR

Dot Row #2Dot Row #3

ShadowMask

Monitor Screen

example) CRT 모니터의 색 표현 방법

각 pixel마다 R, G, B의 세가지요소가 표현되고, 사람은 픽셀마다이 세가지 색이합쳐서 나타나는한 가지의 색으로인식하게 됨.

RGB Color Space

RGB color space단점

• 모든 가능한 색을 표현하기 위하여 RGB 각 요소는 같은 비트수를갖추어야 함.

• TV 환경에서는 부적절

– RGB에서는 밝기를 조절하기 위하여는 RGB 모든 요소의 값을동일하게 조절하여야 함

– 최상의 압축을 위하여는 각 색의 요소들이 uncorrelate되어야 함

9

사람 눈(eye)의 시각 특성

눈의 구조보는 (seeing) 동안 눈이 수행하는 두가지 역할

• to recognize details of a scene– the spatial resolution of the scene

• to recognize changes in a scene– a temporal resolution of a scene

사람 눈(eye)의 시각 특성

Photoreceptor의 두가지 형태rod (간상체)

• 흑백을 구분하고, 빛의 강도 (intensity of light)에 민감

cone (원추체)• 색 (color)을 구분함

• red, green, blue등의 색에 민감한 여러 종류의 cone들이 있음

retina (망막)에는 약 120x106개의 rod들과 8x106개의 cone들이있음

• 사람의 눈은 색(color)에는 덜 민감하고, 특히 색의 변화에는 더욱 덜민감하다.

MPEG-2등의 비디오 압축 기법

• 눈의 색에 대한 둔감 정도를 반영하여 이미지당 색에 대한 정보를줄임

• DCT를 사용하여 색의 high frequency change를 줄임

10

YUV color space

YUV color space색을 intensity (Y)와 두개의 색과 관련된 요소들 (U와 V)로 분리함

• Y: 흑/백과 관련된 정보를 표현하고 luminance라고 불림

• U와 V: 색과 관련된 정보를 표현, chrominance라고 불림

intensity와 color의 두 요소를 갖는 사람 눈의 처리 구조를 따름

YCrCb는 ITU-R 601 권고안 (CCIR-601)을 통하여 제정된 디지털비디오 형식의 색 표현에 대한 표준임.

• exmple) NTSC TV에서 RGB를 YUV로 변환하는 방법

– Y = 0.299R + 0.587G + 0.144B– Cb= 0.599R - 0.276G - 0.324B– Cr = 0.212R - 0.528G + 0.311B

Y와 (Cb, Cr) 신호는 uncorrelated 되어 있음.

YUV color space

YUV color spacesampling

• 사람의 시각 특성

– 밝기(luminance)의 변화에는 매우 민감하고,– 색(chrominance)과 색의 변화에는 더욱 덜 민감함.

• YUV를 표현시 픽셀당 Y는 그대로 유지하고, UV는 줄임으로서

– 사람의 시각 특성의 효과는 유지하면서

– 영상을 표현하는 정보량을 줄일수 있음

대표적인 sampling 방법

• 4개의 픽셀에 대하여 표현되는 Y, U, V의 비율로 나타냄

• 4:4:4• 4:2:2• 4:2:0

Y Cb Cr

4:4:4 4:2:2 4:2:0

11

Digital Video Formats

Digital Video FormatsCIF (Common Interchange Format)

• NTSC 또는 PAL 기반의 frame들을 공통된 형식으로 변환하여 화상회의등에 적용하기 위한 H.261 권고안에서의 디지털 비디오 형식

– luminance (Y) 해상도 : 352 x 288– color sampling format : 4:2:0

QCIF (Quarter CIF) : CIF의 1/4 크기 (176x144 pixels)SIF (Source Input Format)

• MPEG-1 영상 압축을 위한 디지털 비디오 형식

– luminance (Y) 해상도

• 360 x 240 pixels (for 30 frameses per sec. system: NTSC)• 360 x 288 pixels (for 25 frames per sec. system: PAL..)

– color sampling format : 4:2:0

1.3 압축의 필요성

12

압축의 필요성

압축안된 멀티미디어 정보의 데이터량비디오

음성/오디오

Format Pixelsper Line

Lines perFrame

Framesper second

Bits perPixel

Megabitsper Second

SVGA 800 600 72 8 276.5NTSC 640 480 30 24 221.2PAL 580 575 25 24 400.2SECAM 580 575 25 24 400.2HDTV 1920 1080 30 24 1,492.8Film 2000 1700 24 32 2,611.2

768kb/s1648kHz10 ~ 20000HzWideband audio

224kb/s1416kHz50 ~ 7000HzWideband speech

64kb/s88kHz300 ~ 3400Hz*Telephone speech

비트율샘플당 비트수샘플링비율주파수범위구분

압축의 필요성

size가 큰 데이터의 두가지 문제점기억

• size가 매우 큰 데이터 object는 매우 큰 저장 용량을 요구한다

• 데이터 기억 장치의 용량이 커질수록, 데이터를 검색하기 위한 접근시간이 증가하게 된다.

전송

• size가 매우 큰 object는 전송을 위하여 크기에 비례하는 만큼의 시간이요구된다.

멀티미디어 데이터들의 효율적 관리를 위하여,데이터 object들의 크기를 줄이기 위한 압축이 요구됨

13

질의/응답