TIK_Pred-04_2014-15.pdf

Dravni Univerzitet NOVI PAZAR

2014/2015

Dr. Ivan OKI

TEORIJA INFORMACIJA

LEKCIJA 4: Teorija informacija i kodiranje izvora

TEORIJA INFORMACIJA

Digitalni kanal za prenos informacija

TEORIJA INFORMACIJA

Kodiranje izvora

Kodiranje izvora je efikasna reprezentacija podataka koje

generie izvor.

Za efikasno kodiranje izvora neophodno je znanje o statistikim karakteristikama izvora.

Ako su neki simboli koje alje izvor verovatniji od drugih, njima se dodeljuju kratke kodne rei, dok se retkim simbolima dodeljuju duge kodne rei.

TEORIJA INFORMACIJA

Kodiranje izvora

Neka diskretan izvor proizvede K razliitih simbola sk i neka koder izvora konvertuje simbole u blokove 0 i 1, oznaene kao bk

Pretpostavimo da se k-ti simbol sk pojavljuje sa verovatnoom pk , k=0,1..K-1. Neka binarne kodne rei dodeljene simbolima sk imaju duinu lk (bita). Tada je srednja duina kodne rei kodera izvora:

TEORIJA INFORMACIJA

Kodiranje izvora

Neka Lmin doznaava najmanju moguu duinu kodne rei. Tada je efikasnost kodera izvora definisana kao:

TEORIJA INFORMACIJA

Kompresija podataka

Kompresija podataka je vana zato to generisani signali, koji se prenose kroz komunikacioni kanal, sadre znaajnu koliinu vika informacija i uzalud troe resurse prilikom prenosa.

Za efikasan prenos viak informacije treba ukloniti pre prenosa kroz komunikacioni kanal.

Kompresija podataka se postie dodeljivanjem kratkih oznaka najfrekventnijim dogaajima na izlazu izvora, a duih oznaka onim manje frekventnim.

Neke eme kodiranja izvora za kompresiju podataka su: Prefiks kodiranje (trenutno kodiranje)

Hafmenovo kodiranje (The Huffman Coding) Lempel-Zivovo kodiranje (The Lempel-Ziv Coding)

TEORIJA INFORMACIJA

Prefiks kodiranje

Prefiks kodiranje znai da ni jedna kodna re nije prefiks neke druge kodne rei

Primer:

Simbol

izvora

Verovatnoa simbola

Kod I Kod II Kod III

s0 0.5 0 0 0

s1 0.25 1 10 01

s2 0.125 00 110 011

s3 0.125 11 111 0111

TEORIJA INFORMACIJA

Da li je kod I prefiks kod?

Nije! Bit nula je kodna re simbola s0, ali je i prefiks 00, kodne rei simbola s2 . Bit 1, kodna re za s1, takoe je i prefiks u11, kodnoj rei simbola s3.

Da li je kod II prefiks kod?

DA!

Da li je kod III prefiks kod? NE!

Prefiks kod ima znaajnu karakteristiku on je uvek jednoznano dekodabilan.

Simbol

izvora

Verovatnoa simbola

Kod I Kod II Kod III

s0 0.5 0 0 0

s1 0.25 1 10 01

s2 0.125 00 110 011

s3 0.125 11 111 0111

Prefiks kodiranje

TEORIJA INFORMACIJA

Prefiks kodiranje primer

Simbol

izvora

Kod I Kod II Kod III Kod IV

s0 0 0 0 00

s1 10 01 01 01

s2 110 001 011 10

s3 1110 0010 110 110

s4 1111 0011 111 111

Koji je prefiks kod?

Kodovi I i IV.

x x

TEORIJA INFORMACIJA

Hafmenovo kodiranje primer prefiks kodiranja

Osnovna ideja: Svakom simbolu dodeliti sekvencu bita priblino jednaku po duini koliini informacije koju prenosi.

Hafmenov algoritam kodiranja:

Korak 1: Simbole izvora izlistati po opadajuoj verovatnoi pojavljivanja. Dva simbola sa najmanjom verovatnoom oznaiti sa 0 i 1; Korak 2: Prethodna dva simbola smatrati kao jedan, ija je verovatnoa pojavljivanja jednaka sumi dve originalne verovatnoe. Verovatnou novog simbola postaviti na listu prema dobijenoj vrednosti;

Procedura se ponavlja sve dok se lista ne svede samo na dva simbola

kojima se dodeljuju 0 i 1. Kodna re za svaki simbol se odreuje idui unazad, pratei jedinice i nule koje su dodeljene simbolima ili njihovim naslednicima.

TEORIJA INFORMACIJA

Hafmenovo kodiranje primer

Korak 1: Simboli izvora su izlistani sa opadajuom verovatnoom. Dva simbola sa najmanjom verovatnoom oznaeni su sa 0 i 1; Korak 2: Simboli iz koraka 1 su kombinovani u novi simbol, sa verovatnoom 0.2 (suma originalnih verovatnoa); Verovatnoa novog simbola je postavljena na odgovarajue mesto. Procedura se ponavlja sve dok se lista ne svede samo na 2 simbola, kojima se

dodeljuju 0 i 1. Kodna re se odreuje idui unazad, pratei sekvencu nula i jedinica do svakog poetnog simbola izvora.

TEORIJA INFORMACIJA

Hafmenovo kodiranje srednja duina koda

Lsrednje = 0.4(2) + 0.2(2) + 0.2(2) + 0.1(3) + 0.1(3)

= 2.2

TEORIJA INFORMACIJA

Osobine Hafmenovog kodiranja

Hafmenovo kodiranje koristi due kodne rei za simbole sa manjom verovatnoom pojavljivanja, a krae za one simbole koji se ee pojavljuju na izlazu izvora;

Dve najdue kodne rei razlikuju se samo u poslednjem bitu;

Kodne rei su prefiks kodirane i jednoznano dekodabilne;

Za srednju duinu rei vai

H Lsrednje < H + 1

TEORIJA INFORMACIJA

Proireno Hafmanovo kodiranje

Hafmenovo kodiranje nije efikasno u sluajevima kada izvor ima mali alfabet simbola, i kada se

verovatnoe pojavljivanja simbola znaajno razlikuju.

Primer:

Neka izvor ima 2 simbola, a i b. Neka je P(a) = 0.9

and P(b) = 0.1

Tada je H = 0.4690

Za Hafmenovo kodiranje srednja duina rei je 1

(to je daleko od optimuma!).

TEORIJA INFORMACIJA

Kodiranje se moe vriti za grupu simbola, ime e se postii bolje performanse

Ako se za prethodni primer proiri lista simbola i proireni izvor ima novu listu simbola {aa, ab, ba, bb}, tada je:

P(aa) = P(a)*P(a) = 0.81 => 1

P(ab) = P(a)*P(b) = 0.09 => 00

P(bb) = P(b)*P(b) = 0.09 => 011

P(bb) = P(a)*P(b) = 0.01 => 010

Tada je srednja duina kodne rei po simbolu 0.6450 (mnogo bolje!).


TEORIJA INFORMACIJA

1223231212

P(1) = 0.3 p(2) = 0.5 P(3) = 0.2

Kodne rei: 1 -> 10 2 -> 0 3-> 11

Lsrednje = 2 * 0.3 + 1 * 0.5 + 2 * 0.2 = 1.5

P(12) = 0.6 P(23) = 0.4

Kodne rei: 12 -> 0 23 -> 1

Lsrednje = (1 * 0.6 + 1 * 0.4)/2 = 0.5

U drugom sluaju je srednja duina kodne rei manja od entropije jednog simbola 1. Da li je to u redu?


TEORIJA INFORMACIJA

Teorija informacija

i

multimedijalni sistemi

TEORIJA INFORMACIJA

ta je multimedija?

Multimedija (Multimedia) nema striktnu definiciju;

U kontekstu ovog kursa multimedija ukazuje na raunarsku tehnologiju (multimedia computing) koja se koristi za efikasniju komunikaciju korienjem razliitih vrsta medija :

Tekst

Audio i govor

Slike

Grafika

Video

TEORIJA INFORMACIJA

Multimedijalni sistem

Multimedija ukljuuje mnogo vie od jednostavnog dodavanja novih vrsta podataka;

Multimedija integrie irok spektar modova simbola u jedan povezan, koherentan okvir;

Taj okvir se obino naziva multimedijalni sistem.

TEORIJA INFORMACIJA

Izazovi multimedijalnog raunarskog sistema

Razvoj uspenog multimedijalnog sistema nije trivijalan:

Kontinualne vrste multimedija, kao to je video na primer, trae puno prostora za pamenje i uvanje i irok propusni opseg za prenos;

Vana su i striktna vremenska ogranienja i sinhronizacija;

Automatska organizacija, indeksiranje i analiza kod videa i slika znatno je tee nego kod teksta;

Multimedijalni sistemi ukljuuju istraivanje u mnogim oblastima i zahtevaju kompleksne i efikasne algoritme i

raunarske platforme.

TEORIJA INFORMACIJA

Multimedijalni sistem je multidisciplinaran

Obrada

slike i

zvuka

Raunarsko generisanje slike,

prepoznavanje

oblika

Raunari, mree, operativni

sistemi

Interakcija

ovek-raunar Raunarska grafika

Multimed.

raunanje

TEORIJA INFORMACIJA

Multimedijalni sistem primer

Photosynth of Microsoft Live Labs.

TEORIJA INFORMACIJA

Multimedijalni raunarski sistem tehnike

Multimedijalni sistemi koriste neke bazine tehnike:

Multimedijalna reprezentacija i kompresija podataka;

Multimedijalna obrada i analiza podataka;

Prenos multimedijalnih podataka kroz raunarske i komunikacione mree;

Multimedijalne baze podataka, pretraivanje i indeksiranje.

TEORIJA INFORMACIJA

Kompresija podataka

Sirova slika zauzima oko 6M bytes

(bez zaglavlja) 24K bytes u formatu JPEG, Q=50

TEORIJA INFORMACIJA

Ilustracija kompresije podataka JPEG

r g b transform.

u frekventni

domen

kvantizacija

kompresija bez gubitaka

0010001 .

dekodovanje

r g b

u v

0

10

20

30

40

50

60

0

10

20

30

40

50

60

0

1

2

x

y

|dct(b-0.5)|

TEORIJA INFORMACIJA

Kompresija podataka

Metode kompresije podataka su kljune za multimedijalne aplikacije;

Sirovi multimedijalni podaci zauzimaju mnogo prostora i propusnog opsega:

Sirov video sa 30 slika/sec, rezolucijom 640x480 piksela, i bojom definisanom sa 24bita

Za 1 sec videa treba 30 * 640 * 480 * 3 = 27.6480 Mbytes

Za 1 sat videa treba oko100 Gbytes

TEORIJA INFORMACIJA

Kompresija podataka pojmovi

Koder

(kompresija )

Memorija

ili mrea Dekoder

(dekompresija)

Podaci-ulaz

(sekvenca simbola iz

alfabeta )

Podaci-izlaz (rekonstruisana

ulazna sekvenca)

Kompresija bez gubitaka: rekonstruisani podaci jednaki ulaznim

Kompresija sa gubicima: rekonstruisani podaci aproksimiraju ulazne

Kompresioni odnos = (broj bita za prezentaciju ulaza) /

(broj bita koda)

Kod (sekvenca kodnih rei )

Izvor

informacije

TEORIJA INFORMACIJA

Kompresija podataka entropija

Broj bita neophodan da se kodira izvor sa donje strane je ogranien entropijom izvora;

Samoinformacija dogaaja A definisana je

-logbP(A)

gde je P(A) verovatnoa dogaaja A

Ako je b jednako 2, jedinice su bits

Ako je b jednako e, jedinice su nats

Ako je b jednako 10, jedinice su hartleys

TEORIJA INFORMACIJA

Kompresija podataka primer entropije

Izvor ima alfabet od 2 simbola, 0 i 1. Verovatnoe pojavljivanja simbola su P(0) = 0.25, P(1) = 0.75

Informacija koja se dobije pri prijemu simbola 0 je

log2(1/0.25) = 2 bita ;

Informacija koja se dobije pri prijemu simbola 1 je

log2(1/0.75) = 0.4150 bita .

TEORIJA INFORMACIJA

Osobine samoinformacije (Self Information)

Simbol sa manjom verovatnoom ima veu samoinformaciju;

Informacija koja se dobije pri prijemu 2 nezavisna simbola jednaka je sumi samoinformacija ta dva

simbola

-log2P(sa,sb)

= -log2P(sa)P(sb)

= [-log2P(sa)] + [- log2P(sa)]

TEORIJA INFORMACIJA

Entropija izvora

Ako izvor ima simbole {s1, s2, , sn}, i ako su simboli nezavisni, onda je srednja samoinformacija

H = 1n P(si)log2(1/P(si)) [bits]

H se naziva entropija izvora

Broj bita po simbolu neophodnih za kodiranje multimedijalnog izvora sa donje strane je ogranien njegovom entropijom.

TEORIJA INFORMACIJA

Izvor ima alfabet od 2 simbola, 0 i 1. Verovatnoe pojavljivanja simbola na izlazu izvora su

P(0) = 0.25, P(1) = 0.75.

Entropija je:

H = 0.25 log2(1/0.25) + 0.75 log2(1/0.75)

= 0.8113 bits

Za ovaj izvor neophodno je najmanje 0.8113 bita po simbolu

za njegovo kodiranje.

Entropija izvora - primer

TEORIJA INFORMACIJA

Entropija slike - primer

Neka slika ima 256 moguih nivoa sivog: A={0, 1, 2, , 255}. Pretpostavljajui da su pikseli slike nezavisni i da svaki nivo sivog slike ima jednaku verovatnou, entropija slike je

H = 256 1/256 log2(1/256) = 8 bita

ta je sa crno-belom slikom koja ima samo 2 nivoa 0 i 255? Pretpostavljajui da je P(0) = 0.5 i P(255) = 0.5

H = 1 bit

TEORIJA INFORMACIJA

Procena entropije

a a a b b b b c c c c d d

P(a) = 3/13

P(b) = 4/13

P(c) = 4/13

P(d) = 2/13

Entropija: H = [-P(a)log2P(a)] + [-P(b)log2P(b)] + [-P(c)log2P(c)] + [-P(d)log2P(d)] = 1.95 bita

Ako su simboli statistiki nezavisni, onda je:

TEORIJA INFORMACIJA

eme kodiranja

Alfabet izvora: A = {s1, s2, s3, s4}

P(s1) = 0.125

P(s2) = 0.125

P(s3) = 0.25

P(s4) = 0.5

s1

s2

s3

s4 0

1 11

01 s1

s2

s3

s4 0

10 111

110 s1

s2

s3

s4 0

0 11

10

Entropija izvora H = 1.75 bita

Nisu jednoznano dekodabilni! Dobar kod, dostignuta

donja granica

TEORIJA INFORMACIJA

Kompresija podataka sa gubicima

Osim kompresije bez gubitaka, moe se i dalje redukovati broj bita koji predstavljaju multimedijalni

sadraj. To se postie odbacivanjem nepotrebne informacije.

Medijski sadraji, kao to su slike, audio i video mogu se modifikovati bez ozbiljne redukcije kvaliteta.

Standardi kompresije multimedijalnih podataka su JPEG, MPEG, itd.

TEORIJA INFORMACIJA

Metode odbacivanja informacije

Smanjivanje rezolucije

Originalna slika Rezolucija smanjena na 1/2

TEORIJA INFORMACIJA

Redukcija nivoa boje piksela

Smanjenje nivoa boje na Originalna slika

Metode odbacivanja informacije

TEORIJA INFORMACIJA

Oteenje informacije (distortion)

Oteenje informacije: mera razlike izmeu kodiranih i originalnih multimedijalnih podataka. Moe se iskazati kroz sledee parametre:

Srednja kvadratna greka (MSE - Mean Square Error)

mean( ||xorig xdecoded||2)

Odnos signal-um (SNR - Signal to Noise Ratio)

SNR = 10log10(Signal_Power/MSE) (dB)

TEORIJA INFORMACIJA

Funkcija oteenja informacija

Funkcija oteenja informacije pokazuje odnos izmeu dozvoljenog oteenja informacije i minimalnog protoka

informacije po simbolu iz izvora. Ako

oteenje nije dozvoljeno (D=0), onda po simbolu treba preneti koliinu informacija jednaku entropiji, R(0)=H. Ako je

dozvoljeno oteenje Dmax, onda ne postoji potreba ni za kakvim prenosom.

D

R(D)

0 Dmax

H

R(0)=H

TEORIJA INFORMACIJA

Odabiranje, kvantizacija

Preslikava kontinualan ili diskretan set vrednosti u manji set vrednosti;

Osnovni metod je da se odbaci deo informacije;

Kvantizacija se moe koristiti za skalare (pojedinane brojeve) ili vektore (nekoliko brojeva zajedno);

Posle kvantizacije moe se direktno generisati kod fiksne duine.

TEORIJA INFORMACIJA

Uniformna skalarna kvantizacija

xmin xmax

D =(xmax - xmin)/N

Granice odluivanja Kvantizaciona vrednost

Pretpostavimo da se x nalazi u opsegu [xmin, xmax]. Opseg

se deli na N uniformnih regiona bez preklapanja. Tada je

kvantizacioni korak D :

Kvantizator (odabira) Q(x) mapira vrednost x u kvantizacionu vrednost regiona kojoj pripada trenutna vrednost x.

TEORIJA INFORMACIJA

Greka kvantizacije

Da bi se minimizirala vrednost greke kvantizaciona vrednost treba da bude na sredini intervala odluivanja;

Ako je x sluajna promenljiva, onda je Q(x) uniformno distribuirano u intervalu [-D/2, D/2] .

xn xn+1

Greka kvantizacije

x Kvantizaciona

vrednost

TEORIJA INFORMACIJA

Kvantizacija kodne rei

xmin xmax

Kvantizaciona vrednost moe da odgovara binarnoj kodnoj rei. U gornjem primeru, kodna re odgovara indeksu svake kvantizacione vrednosti.

000 001 010 011 100 101

TEORIJA INFORMACIJA

Grejov kod (Gray code)

xmin xmax

000 001 011 010 110 111

Kodne rei se razlikuju samo za 1 bit od susednih kodnih rei. Grejov kod je otporniji na greke od prirodnog binarnog koda.

TEORIJA INFORMACIJA

Vrednost jednog bita

Ako je broj kvantizacionih intervala N, onda je potrebno log2(N) bita da bi se predstavile sve kvantizacione vrednosti

Za uniformno distribuirano x, odnos signal - um (SNR) za Q(x) je proporcionalno sa 20log(N) = 6.02n, gde je N=2n

Broj bita

dB

1 bit vie

oko 6db dobitak (gain)

TEORIJA INFORMACIJA

Neuniformni odabira (kvantizator)

Za audio i vizuelne podatke tolerancija oteenja je proporcionalna veliini signala.

Zato se kvantizacioni korak D moe uiniti proporcionalnim nivou signala

Ako distribucija signala nije uniformna, takoe treba primeniti

neuniformni korak kvantizacije.

0

Doivljeno oteenje ~ D / s

TEORIJA INFORMACIJA

Vektorsko odabiranje

Region odluivanja Kvantizaciona

vrednost

TEORIJA INFORMACIJA

Kompresija slike primer

Siva slika (Grayscale Image)

227878 bytes

Diferencijalna slika

Pri kompresiji slike bez gubitaka esto se koristi metod predikcije.

TEORIJA INFORMACIJA

Kod Siva slika (bytes) Diferencijalna slika (bytes)

Huffman coding: 192163 129397

Arithmetic coding: 190212 127220

LZ77 coding (gzip): 151685 128252

LZW (compress): 158573 136899

Entropija

H = 4.4314

Entropija

H = 6.6483

Kompresija slike primer

TEORIJA INFORMACIJA

Kompresija slike JPEG standard

TEORIJA INFORMACIJA

JPEG standard mere kompresije

binarne slike 2 bita/pikselu,

raunarska grafika 4 bita/pikselu, grayscale slike 8 bita/pikselu,

slike u boji 16, 24 ili vie bita/pikselu

Stepen kompresije:

Broj bita po pikselu u komprimovanoj slici:

Srednjekvardratna

greka:

TEORIJA INFORMACIJA

Kompresija slike primer JPEG

Originalna slika 500362 piksela i

kodovana sa 8 bita/pikselu Slika komprimovana 4 puta

Slika komprimovana 10 puta Slika komprimovana 22 puta

TEORIJA INFORMACIJA

Kompresija slike primer JPEG

TEORIJA INFORMACIJA

Documents

TIK_Pred-04_2014-15.pdf