제7장 무손실 압축 기법

7.1 소개 ~ 7.7 무손실 영상 압축

고급 멀티미디어 시스템08. 10. 8발표자 : 김경석

1

목 차

7.1 소 개

2 기본적인 정보 이론7.2 기본적인 정보 이론

7.3 줄길이 부호화

7.4 가변 길이 부호화(VLC)

7.5 사전 기반 부호화

7.6 산술 부호화

7.7 무손실 영상 압축

2

7.7 무손실 영상 압축

소 개

압축

정보들을 표현하면서도 전체 비트량을 줄일 수 있는 효과적인부 화 기술부호화 기술

<그림 7.1 일반적인 데이터 압축 구조>

가변 길이 부호화(VLC)

더 자주 발생하는 기호는 더 적은 비트로 부호화

부호화기의 출력을 코드 또는 코드워드라 함부호화기의 출력을 코드 또는 코드워드라 함

3

소 개

압축과 복원 과정에는 정보의 손실을 야기하지 않고, 압축구조는 무손실이 됨

압축률 정의

B = 압축 전 총 비트 수B0 = 압축 전 총 비트 수

B1 = 압축 후 총 비트 수

어떤 부호화기든 1.0 이상의 압축률을 가지는 것이 당연어떤 부호화기든 1.0 이상의 압축률을 가지는 것이 당연

압축률이 높을수록 더 좋은 무손실 압축 방법

4

기본적인 정보 이론

S={s1,s2,……sn}로 표현되는 원천 정보의 엔트로피 η

<식 7.2>

<식 7.3>

pi은 S 에서 기호 si가 발생활 확률

은 에 포함된 정보량(Sh 은 자기정보량으로 정의)

식 7.3

은 si에 포함된 정보량(Shannon은 자기정보량으로 정의)

si를 부호화하는 데 필요한 비트 수

5

기본적인 정보 이론

엔트로피란?

과학분야에서 시스템의 무질서 정도를 측량하는 수단

엔트로피가 크면 클수록 무질서

시스템에 질서 첨가하기를 할 때 음수의 엔트로피를 시스템에더함더함

<식 7.3>으로 표현된 알고리즘의 한 문제점은 한번도 발생하지 않은 기호가 있을 때 엔트로피에 계산되지 않는다는 것

0의 로그값을 취할 수 없기 때문.

6

기본적인 정보 이론

<그림 7.2>(a)는 영상이 평활한 분포의 히스토그램<그림 7.2 두 개의 회색도 강도 영상의 히스토그램>

<식 7.4>

7

기본적인 정보 이론

엔트로피 η는 에 가중치 곱을 합산한 것

원천 정보 S 에서 각 기호가 포함하는 평균 정보량을 의미

메 리리 ( ) 원천 정 에 대해 엔 피메모리리스(memoryless) 원천 정보 S 에 대해 엔트로피는 S의 각 기호를 표현하는 데 필요한 가장 작은 평균 비트 수

즉, S의 각 기호를 부호화하기 위한 평균 비트 수의 최소 한계값

<식 7 5>

: 부호화기에서 발생하는 코드워드의 평균 길이(단위 : 비트)

부호화 설계의 목적은 이 이론적 한계에 가능한 가깝게 만들

<식 7.5>

부호화 설계의 목적은 이 이론적 한계에 가능한 가깝게 만들기 위한 것

8

줄길이 부호화

줄길이 부호화(RLC)

메모리리스 정보 대신에 원천 정보에 나타난 메모리를 활용데이터 압축의 가장 간단한 형태 중 하나

압축하고자 하는 원천 정보가 기호들이 연속된 그룹을 형성,압축하고자 하는 원천 정보가 기호들이 연속된 그룹을 형성, 각 그룹의 기호를 하나식 부호화하는 대신 기호 하나와 그룹의 길이로 나타냄

예) 단 하나의 비트로 검은색과 흰색 화소를 표현

9

가변 길이 부호화(VLC)

Shannon-Fano 알고리즘

부호화 순서 (위에서 – 아래로 방식)

그들의 발생 빈도에 따라 기호를 분류

모든 부분이 오직 하나의 기호를 포함할 때까지 각각 비슷한 정도의 빈도를 가지도록 재귀적으로 두 개의 기호를 두 개의 부분으로 구분

예) “HELLO” 코딩

< 기호의 발생 빈도수 >

10

가변 길이 부호화(VLC)

<그림 7.3 Shannon-Fano 알고리즘에 의한 HELLO 코드 트리>

11

림 7.3 Shannon Fano 알 리즘에 의한 H O 리

가변 길이 부호화(VLC)

<표 7.1 HRLLO 에 대한 Shannon-Fano 알고리즘 적용 결과>

12

가변 길이 부호화(VLC)

<그림 7.4 Shannon-Fano 알고리즘에 의한 HELLO 의 또 다른 코드 트리>

13

가변 길이 부호화(VLC)

<표 7.2 HRLLO 에 대한 Shannon-Fano 알고리즘 적용의 도 다른 결과>

14

가변 길이 부호화(VLC)

허프만(Huffman) 부호화

부호화 순서 (아래서 위로)

알고리즘

초기화 : 모든 기호를 출현 빈도수에 따라 나열.

단 한가지 기호가 남을 때까지 아래 단계를 반복단 한가지 기호가 남을 때까지 아래 단계를 반복.

목록으로부터 가장 빈도가 낮은 두 개의 기호를 고른다. 허프만이두 가지 기호를 부모 노드를 가지는 부트리를 구성하고 자식 노드를생성

부모 노드 단 기호들의 빈도수를 더하여 주노드에 할당하고 목록의순서에 맞도록 목록에 삽입

목록에서 부모 노드에 포함된 기호를 제거

뿌리로부터 경로에서 각 가지에 코드워드를 부여

15

가변 길이 부호화(VLC)

<그림 7.5 > Huffman 알고리즘을 사용한 HELLO의 코드 트리

16

림 7.5 Huffman 알 리즘을 사용한 H O의 리

가변 길이 부호화(VLC)

허프만(Huffman) 부호화 특징

유일 전치 속성

허프만 부호는 다른 어떠한 허프만 부호의 전치가 되지 않음

L은 0, H는 10, E는 110, O는 111

허프만 알고리즘이 모든 입력 기호를 허프만 트리의 가지 노드허프만 알고리즘이 모든 입력 기호를 허프만 트리의 가지 노드에 위치시키기 때문

유일 전치 속성이 성립하는 전치 코드 중 하나

어떠한 모호성도 배제할 수 있어 복호화기를 효율적으로 만듬어떠한 모호성도 배제할 수 있어 복호화기를 효율적으로 만듬

비트 0이 수신되면 즉각적으로 L을 생성

17

가변 길이 부호화(VLC)

최적성

허프만 코드는 최소 중복 코드

주어진 데이터 모델(정확한 확률 분포가 주어진 상황) 최적화주어진 데이터 모델(정확한 확률 분포가 주어진 상황) 최적화

두 개의 최소 빈도 기호는 허프만 부호화에서 같은 길이를 가지게 되며, 오직 마지막 한 비트만이 다름오직 마지막 한 비트만이 다름

더 자주 발생하는 기호는 더 작은 크기의 허프만 코드를 가짐

원천 정보 S에 대하여 평균 부호 길이는 η + 1보다 작으며 식(7.5)와 결합하면, 다음의 결과를 얻음

18

가변 길이 부호화(VLC)

확장된 허프만 부호화

각 기호에 정수 길이의 비트를 코드워드에 할당

정보량은 그것을 표현하는데 필요한 비트 수정보량은 그것을 표현하는데 필요한 비트 수 =

어떤 기호가 1.0에 가까운 큰 확률을 가질 때, 정보량은 0에 가까워지고 그 기호를 표현하는데 할당된 1비트는 매우 값비싼 것

모든 기호의 확률이 2-k로 주어졌을(k는 양의 정수) 경우만이 코드워드의 평균 길이가 실질적으로 최적화

정수 길이 코드워드의 문제 해결 – 몇 개의 기호들을 하나의 그룹으로 묶고 그 그룹에 하나의 코드워드를 부여

19

가변 길이 부호화(VLC)

새로운 기호 S⒦

의 크기는 nk

.

K가 비교적 크다면(k≥3), 대부분의 실제적인 상황에서 n≫1이므로n

k는 매우 큰 수가 될 것이고 따라서 매우 큰 기호 목록이 필요n 는 매우 큰 수가 될 것이고 따라서 매우 큰 기호 목록이 필요

이런 부담으로 확장된 허프만 부호는 실질적으로 사용 못함

S 의 각 기호를 부호화하는데 필요한 평균 비트 수

확장된 허프만 부호화 방법으로 이론적 한계에 가까워지도록 상당수의 비트 수를 줄일 수 있음

원래 허프만 부호화에 비해 월등한 향상은 기대하기 어려움

20

가변 길이 부호화(VLC)

적응적 허프만 부호화

허프만 알고리즘 문제점원천 정보에 대한 확률 정보가 필요하고, 이런 정보는 종종 사용 할수 없는 경우가 생김

미래의 데이터는 실제로 도착전까지 알 수 없기 때문

확률 정보 사용하더라도 기호 목록 전송은 과중한 부담확 정 사용하더라 기 목록 송 과중 부

계차-0 모델기호/문자가 개별적으로 다루어지며 축적된 문맥이나 기록이 없는 경우기호/문자가 개별적으로 다루어지며 축적된 문맥이나 기록이 없는 경우

계차-k 모델각 기호/문자를 문맥으로 만들어서 사용 “q”와 “u”의 각 확률 = “qu”의 확률

21

q q

가변 길이 부호화(VLC)

해결책확률이 도착하는 데이터 열에 따라 유동적으로 모아지고 갱신되는방식방식

확률들은 더 이상 이전 정보에 의지하지 않고, 현재까지 수신한 실제데이터에 기반을 둠

<수행과정 7 1 적응적 허프만 부호화의 수행과정>

22

<수행과정 7.1 적응적 허프만 부호화의 수행과정>

가변 길이 부호화(VLC)

Initial_code는 빈도수에 대한 사전 정보 없이 어떤 초기 코드를 기호에 부여, ASCII와 같은 어떤 임의 코드가 문자 기호를부호화하기 위해 사용부호화하기 위해 사용

Updete_tree는 적응적 허프만 트리를 만드는 과정, 기호의 빈도수를 증가시키며, 트리를 갱신

허프만 트리는 양단 성질을 항상 유지, 모든 노드들(내부와 가지)은빈도수의 순서에 따라 나열

양단 성질이 위반될 때는 트리를 갱신하기 위해 노드들을 제배열하여 교체 과정 수행

빈도수가 N인 가장 먼 노드가 막 빈도수가 N+1이 된 노드와 교체. 빈도수가 N인 노드가 가지(LEAF) 노드가 아니라면, 전체 부노드는교체 과정에서 모두 교체

부호화기와 복호화기는 정확히 독같은 Initial_code와 uipdete_tree과정을 사용

23

가변 길이 부호화(VLC)

<그림 7 6> 적응 허프만 트리를 갱신하기 위한 노드 교체

24

<그림 7.6> 적응 허프만 트리를 갱신하기 위한 노드 교체

가변 길이 부호화(VLC)

예제 7.1 기호열 AADCCDD의 적응적 허프만 부호화A부터 Z까지 알파벳 26개 기호의 ASCII 순서에 따라 부호화기와 복호화기에서 초기 코드를 부여호화기에서 초기 코드를 부여

어던 문자/기호가 한번 보내지려면, 특정한 기호 NEW가 선행

NEW의 초기 코드는 0, 빈도수도 항상 0으로 고정

<표 7 3> 적응 허프만 코딩을 사용한 AADCCDD 열의 초기 코드 배분

25

<표 7.3> 적응 허프만 코딩을 사용한 AADCCDD 열의 초기 코드 배분

가변 길이 부호화(VLC)

<그림 7 7> AADCCDD에 대한 적응 허프만 트리

26

<그림 7.7> AADCCDD에 대한 적응 허프만 트리

가변 길이 부호화(VLC)

<그림 7 7> AADCCDD에 대한 적응 허프만 트리

27

<그림 7.7> AADCCDD에 대한 적응 허프만 트리

가변 길이 부호화(VLC)

적응적 허프만 부호화 과정에서는 종종 특정 기호의 코드가바뀐다는 점은 중요

<표 7.4> 복호화기로 보내진 심볼과 코드 열

바뀐다는 점은 중요

그 순간 이르기까지 더 자주 발생한 기호는 더 짧은 코드를 가짐짐

D는 A보다 발생빈도가 높아서 코드는 101에서 0으로 바뀜

코드들은 기호의 새로운 확률 분포에 따라써 유동적으로 재배정배정

28

사전 기반 부호화

Lempel-Ziv-Welch(LZW) 알고리즘

적응적인 사전 기반 압축 기법

코드워드의 길이가 다른 가변 길이 부호화와는 달리, 영어 문장의 단어처럼 주로 함께 발생하는 가변 길이의 기호/문자열을 표현하는데 고정 길이 코드워드 사용을 현하는데 정 길이 워 사용

부호화기와 복호화기는 데이터를 수신하는 동안 유동적으로동일한 사전을 생성

단일 코드가 한 가지 기호/문자 이상을 표현할 수 있기 때문단일 코드가 한 가지 기호/문자 이상을 표현할 수 있기 때문에 데이터 압축이 이루어짐

29

사전 기반 부호화

알고리즘 7.2 LZW 압축

30

사전 기반 부호화

예제 7.2 ABABBABCABABBA의 LZW 압축세 개의 문자가 포함된 간단한 사전(문자열표)으로 시작

31

사전 기반 부호화

출력 코드 : 1 2 4 5 2 3 4 6 1. 14개의 문자 대신 9개의 코드가 필요(압축률 : 14/9 1 59)

32

(압축률 : 14/9 = 1.59)

사전 기반 부호화

예제 7.3 LZW 복호화(간단한 방법)

예제 7 3 ABABBABCABABBA의 LZW 복호화예제 7.3 ABABBABCABABBA의 LZW 복호화복호화기의 입력 코드 1 2 4 5 2 3 4 6 1. 초기 문자열표는 부호화기와 동일

33

사전 기반 부호화

출력 문자열은 ABABBABCABABBA로 손실 없는 결과를 얻음

34

출력 문자열은 ABABBABCABABBA로 손실 없는 결과를 얻음

사전 기반 부호화

알고리즘 7.4 개선된 LZW 복호화

35

사전 기반 부호화

실제 구현에 있어서 , 부호 길이 l은 [l1, lmax]에 제한

사전은 최초에 2 의 크기를 가짐0l

꽉차면, 부호 길이는 1만큼 증가되고, 가 될 때까지반복

UNIX 압축에서는 자신의 성능을 감시하면서 압축률이 일정

maxll =

UNIX 압축에서는 자신의 성능을 감시하면서 압축률이 일정한계 이하로 덜어지면 사전을 재초기화

좀더 나은 사전 관리 기법은 LRU(최근에 가장 적게 사용된)좀더 나은 사전 관리 기법은 LRU(최근에 가장 적게 사용된) 목록을 제거

36

산술 부호화

산술 부호화

허프만 부호화보다 우수한 성능의 최신 부호화 기법

전체 메시지를 하나의 단위로 취급

입력 데이터는 보통 오류 전파를 방지하기 위해 일단의 묶음으로 쪼개짐음으로 쪼개짐

37

<그림 7.8> (a) 심볼들의 확률 분포

산술 부호화

38

<그림 7.8> (b) 축소되는 영역의 도식적 표현

산술 부호화

<그림 7.8> (c) 생성된 새로운 저, 고 영역 <알고리즘 7.5> (c) 산술 부호화 부호화기

< 최종 range 값 >

39

산술 부호화

<부호화기에서의 코드워드 생성 >

40

산술 부호화

<표7.5> 산술 부호화 : 복호 심볼들 CAEE$

<알고리즘 7.6> 산술 부호화 복호화기

41

무손실 영상 압축

영상의 차분 부호화오디오 신호는 시간축에서 신호를 다루지만 영상은 공간축상의신호로 나타냄신호로 나타냄

비교적 천천히 변하는 영상의 공간적인 특성 때문에 근접 화소들은 매우 높은 유사도를 가짐 = 비슷한 밝기값

원본 영상 차분 영상)(I )(d원본 영상 : 차분 영상 : ),( yxI ),( yxd

),1(),(),( yxIyxIyxd −−=

이산 2D 라플라시안 연산기를 이용한 방법

),1(),1()1,()1,(),(4),( yxIyxIyxIyxIyxIyxd −−+−+−−−=

42

무손실 영상 압축

(a) 원래의 회색도 크기 영상 (b) 부분 미분 영상

(c) 원 영상의 히스토그램 (d) 부분 미분 영상의 히스토그램( ) ( ) 부 미 영상의 히

“Barb” 이라 불리는 보편적으로 쓰이는 영상

43

무손실 영상 압축

무손실 JPEG

JPEG 영상 압축의 특별한 경우

영상 압축 도구에서 사용자가 100% 화질요소를 선택하면이루어짐

예측 방법 : 차분 예측기와 부호화기 구성예측 방법 : 차분 예측기와 부호화기 구성

예측기는 X로 표시된 현재 화소의 예측값으로 세 개까지의 인접 화소의 값들을 결합

표 7.6의 7개 값중 하나를 가질 수 있음

부호화기는 예측과 위치 x에서의 실제 화소값을 비교

허프만 부호화와 같은 무손실 압축 기법 중 하나를 사용하허프만 부호화와 같은 무손실 압축 기법 중 하나를 사용하여 차이를 부호화

44

무손실 영상 압축

<그림 7. 10> 무손실 JPEG의 예측을 위한 이웃 화소들. 단 A,B측은 C의 그 어느 것도 부/복호화 단계 중 복호화단계에서 예측기에 사용되기 전에 이미 복호화 되엇음을유의

<표 7.6 > 무손실 JPEG를 위한 예측기들

45

무손실 영상 압축

<표 7. 7> 다른 무손실 압축 프로그램과 무손실 JPEG와의 비교

46

무손실 영상 압축

Lena.bmp Football.bmp

F-18.bmp Flower.bmp

47

p p