Zadaci Kodiranje

8/18/2019 Zadaci Kodiranje

1/43

Teorija kodiranjTeorija kodiranja Z A D A C IZ A D A C I


2/43

a). Odrediti binarni kod za cifrea). Odrediti binarni kod za cifre0,1,...,9, ako je odgovarajuće0,1,...,9, ako je odgovarajućekodno tab!o "rikazano na !icikodno tab!o "rikazano na !ici..

0 0 0 0 01 11 1 1

0

0

0

0

0

00

1 # $ % & ' ( 9

1

1

1 1

1

1

b). *acrtati kodno tab!o za !edećib). *acrtati kodno tab!o za !edećiternarni kod+ternarni kod+

-- 0,10,11,1#,#00,#01,###0,###1,###0,10,11,1#,#00,#01,###0,###1,###


3/43

Svakom kodu odgovara OD*O 2A34O ili 2A34OOD456IA*7A koje predstavlja grafčki prikazkodnih širi u kome čvorovi odgovaraju svimprefksima (uključujući i prazan skup) kodnih

zamena.

Ključne reči

Ključne reči

Alabet je konačan neprazan skup ! čiji suelementi slova. "pera#ija dopisivanjanadovezuje reči$

%&%'.....%n &'....m z&% z&%'...%n'...m.Ako je z&% % je 8:;I a 5;I u reči z.

razan skup zove se i 8AZ*A :6i njom prošireni skup se označava

sa !* (!* & !+

, - )"


4/43

* A A⊆

**: B A f →

)( *

A f V =

Ključne reči

Ključne reči

/onačan skup A & -α1,…,αa} je A4;A3:2 IZOAi 0 = {β1,…,β b je A4;A3:2 ODA za a b1'.

0roj b je 3AZA ODA.Ako je onda je svako '2' preslikavnje

jedno ODIA*7: :6I nad A.

Skup je OD a njegovi elementi suOD*: ZA


5/43

a).

0 0 0 0 01 11 1 1

0

0

0

0

0

00

1 # $ % & ' ( 9

1

1

1 1

1

1


6/43

a). 6ekoder uvek kreće od početne aze.

rvi primljeni bit pokreće dekoder premazavršnoj azi.

3 33''

0 0 0 0 01 11 1 1

0

0

0

0

0

00

1 # $ % & ' ( 9

1

1

1 1

1

1a).

očetnatačka


7/43

' 3'335 3'3'7 3''3

8 3'''

9 '33'

: '3'3; '3''< ''33

= '333

a).

0 0 0 0 01 11 1 1

0

0

0

0

0

00

1 # $ % & ' ( 9

1

1

1 1

1

1očetnatačka


8/43

0

0

0

0

0

1

1

1

1

2

2

2

2

2

2

0 10 11 12

200 201

2220 2221

22222

> & - 3'3'''553353'5553555'55555b).


9/43

b).

b)., drugom delu zadatka nije potrebnopostavljati glavne jednačine i vršitikalkula#ije jer se u postav#i zadatkazahteva samo grafčko predstavljanjekodnog stabla za dati ternarni kod.

očetna tačka je proizvoljno izabrana.

Svaka kodna zamena zadatog ternarnogkoda se predstavlja u stablu odlučivanjasamo jednom.


10/43

?ešenje zadatka se mo@e proveritiposmatranjem kodnog stabla koje se grana ukorela#iji sa povećanjem du@ine kodnih zamenau delu zadatka b).

, prvom delu zadatka sve kodne zamenedobijenog koda imaju jednak broj #iara (8) što

je takoe evidentno sa stabla odlučivanja.

6a bi dekodirao niz kodnih #iara koje sugenerisane iz prefksnog izvornog kodadekoder izvora kreće od početka niza i dekodirakodne #ire jednu po jednu. "vaj pro#es je

ekvivalentan pro#esu razvijanja stabla

a)b)

a)b)


11/43

Ako e vakaAko e vaka kodna za=enakodna za=ena"re>knog koda za=eni njeni="re>knog koda za=eni njeni=najkraći= "re>ko= koji nijenajkraći= "re>ko= koji nije

"re>k nijedne druge kodne"re>k nijedne druge kodneza=ene, dobija e "onovoza=ene, dobija e "onovo"re>kni kod."re>kni kod.

Dokazati tvr?enje i "ri=eniti naDokazati tvr?enje i "ri=eniti nakod+kod+

- - 000, 001, 011, 1001, 1011,000, 001, 011, 1001, 1011,1101, 11101101, 1110//


12/43

Ključne rečiKljučne reči

/od > je prefksni (ima svojstvo prefksa) akonijedna njegova kodna zamena nije prefks nekedruge kodne zamene.

reiksni kod omogućava jednoznačno dekodiranje.

/od > omogućava jednoznačno dekodiranje ako sesvaka poruka mo@e jedinstveno napisatinadovezivanjem kodnih zamena.


13/43

0

0

0

1

1

1

1

1

0

0

0

0

1

1 1

1

1

000 001 011

1001 1011

1101 1110

- - 000, 001, 011, 1001, 1011,000, 001, 011, 1001, 1011,1101,11101101,1110//


14/43

Beka je kod @-v1@,, vk @/ nastao od

prefksnog koda -v1,,vk /, tako što je svakakodna zamena koda > zamenjena njenimnajkraćim prefksom koji nije prefks nijednedruge kodne zamene. retpostavlja se da @ nije"re>kni kod tj. da postoje kodne zamene viC i

v jC takve da je vi@ "re>k od v j@.

'V ∈

ostoje četiri mogućnosti$vi@ & vi i v j@ & v jD , ovom slučaju dobija se da > nije

prefksni kod jer je vi prefks od

v j.

11..


15/43

vi@ & vi i v j@ je prefks od v jD vi je prefks odv j@ a v j@ je prefks od v j odakle sledi da je vi

prefks od v j tj. > nije prefksni kod.

##..

$$..

%%

..

, svakom navedenom slučaju pretpostavka da jevi@ prefks od v j@ postaje kontradiktorna pa je

stoga @ "re>kni kod.

vi@ je preks od vi i v j@&v jD dobija se da je vi@ prefks od v j što je u suprotnosti sakonstruk#ijom koda @ (svaka kodna

zamena zamenjuje se njenim najkraćimprefksom koji nije prefks nijedne drugekodne zamene iz >).vi@ je prefks od vi i v j@ je prefks od v jD iz togašto je vi@ prefks od v j@ i v j@ prefks od v j

sledi da je vi@ prefks od v j što je usuprotnosti sa konstruk#ijom koda @ (kaou slučaju 7)


16/43

- - 000, 001, 011, 1001, 1011, 1101,1110000, 001, 011, 1001, 1011, 1101,1110//

/od/od je prefksni. je prefksni.

@@ -- 000,000, 001,001, 01,100,01,100, 101,101, 110,110, 111/111/

/od/od @@ je prefksni. je prefksni.

) r i m e n o m

p r e t h o d n o d o k a z a n

e p r e t p o s t

a v k e n a

k o d > i z p o

s t a v k e z a d

a t k a d o b i j a s e

s l e d e ć

i k o d$


17/43

4ačnost izvoenja dokaza potvruje

činjeni#a da je kod @ nastao tako što jesvaka kodna zamena prefksnog kodazamenjena najkraćim prefksom koji nijeprefks nijedne druge kodne zamenetakoe prefksni.

, pojedinim slučajevima kada nije

moguće izvesti dokaz neke tvrdnjeregularnim tokom veoma korisno mo@ebiti postavljanje antiteze a zatimdokazivati suprotno od prethodnozahtevanog.


18/43

a)a) Dokazati da e vaki "re>kni kodDokazati da e vaki "re>kni kod=oBe do"uniti do "ot"unog=oBe do"uniti do "ot"unog"re>knog koda."re>knog koda.

b)b) *eka je dat binarni kod*eka je dat binarni kod--10,01,000,111/10,01,000,111/ zza a!fabet od %a a!fabet od %!ova a verovatno!ova a verovatnoća=a redo= koji=ća=a redo= koji=

u navedene kodne za=ene) u navedene kodne za=ene) , E,, E,$F1', 1F1'.$F1', 1F1'.3ez koriGćenja tab!ica "roceniti3ez koriGćenja tab!ica "rocenitientro"iju izvora.entro"iju izvora.

8okazati da nije o"ti=a!an kod.8okazati da nije o"ti=a!an kod.


19/43

Ključne rečiKljučne reči/od > je prefksni (ima

svojstvo prefksa) ako nijednanjegova kodna zamena nijeprefks neke druge kodne

zamene.refksni kod je potpun ako se dodavanjem nove

kodne zamene gubi svojstvo prefksa.

Beka su n'...na b prirodni brojevi (a b 1 '). 6abi postojao prefksni kod >&-%'E%a nad

alabetom koda sa bazom b i takav da su du@inenjegovih kodnih zamena redom n'...napotrebno je i dovoljno da va@i /ratovanejednakost$1

1

≤∑=

−a

i

nib /ratova nejednakst va@i zasve kodove koji omogućavaju

jednoznačno dekodiranje.


20/43

Fntropija izvora predstavlja prosečnu količinusadr@aja inorma#ije po simbolu emitovanom iz

izvora a zavisi od verovatnoće pojavljivanjasimbola u alabetu.

Ključne rečiKljučne reči

Ako je > optimalni binarni kod za izvor (A)i onda su kodne zamene va2' i va (koje odgovaraju verovatnoćama pa2' i pa) istedu@ine.

a A =||

a p p p ≥≥≥ ...21


21/43

refksni kod se mo@e dopuniti dopotpunog prefksnog koda.

a).

Beka je > & -v'v

5Ev

k prefksni kod nad

bazom b i neka je

/ada se kod > dopuni svim rečima du@ine

d čiji prefksi nisu reči koda > dobija serefksni kod .

||max 1 ik

i vd ==

Treba dokazati da se svaki prefiksni kod možedopuniti do potpunog prefiksnog koda:


22/43

b).

bn H v 2log*

−

≤

Za entropiju izvora važi procena:

b).

V = {10, 01, 000, 11175.2

161*3

163*3

41*2

21*2 =+++=

−

vn

75.2≤ H

bita

!etiri s"ova a"fabeta su: a1,a2,a3, a4#

$%a1&=1'( $%a(&=1')$%a*&=*'1+ $%a)&=1'1+


23/43

Greške nisu pronaene.

> nije optimalan kod jer je npr. kod>'&-'3 3' 33 '' takoe prefksnikod a za njega je ."vaj kod daje i bolju pro#enu za

entropiju izvora bita.

2=−

vn

2≤ H


24/43

Za izvor A, 8)Za izvor A, 8)8 -8 - 0.$0.$H 0.#H 0.1&H 0.1H 0.1H 0.0HH 0.#H 0.1&H 0.1H 0.1H 0.0H0.0&H 0.0#0.0&H 0.0#//

kontruiati binarne kodovekontruiati binarne kodove=etodo= ;anoa i uf=ana i za vaki=etodo= ;anoa i uf=ana i za vakikod odreditikod odrediti"roeJnu duBinu kodniK za=ena."roeJnu duBinu kodniK za=ena.

5"orediti duBine a entro"ijo=5"orediti duBine a entro"ijo=izvora.izvora.


25/43


26/43

ostupakIumana

ostupak Janoa


27/43

Ako je > optimalan kod za izvor (A) ibazu b onda iz pi1p j sledi niK&n j gde suni i n j du@ine kodnih zamena kojeodgovaraju redom slovima izvora saverovatnoćama pi i p j.

∑=

−=a

i

ii p p H 1

2log FB4?"LMA LN>"?A

∑=

−

=a

iiiv n pn 1

?"SFOBA 6,PLBA

/"6BLI NAQFBA


28/43

RiR'R

5R7R8

R=R9R:

R;

pi3.73

3.53

3.'=

3.'3

3.'

3

'

'

'

''

''

3 3

33

3

33

(Ri)

33

3''33

'3'

''3

'''3

''''3

'''''

ni5

57

7

7

8

=

=

ostupak Janoa

>' & -333''33'3'''3 '''3''''3 '''''

-0.$L0.#)M#L0.1&L0.10L0.10)M$L0.0M%L0.0&L0.0#)M&

-#.(# ∑=

=−=8

12 68.2log

i

ii p p H

1

_

vn


29/43

AR'R5R7R8R=R9R:R

;

3.73

3.53

3.'=

3.'3

3.'3

3.3

A'R'R5R7R8R=R9R:;

'3.73

3.53

3.'=

3.'3

3.'3

3.3

A5R'R5R7R9:;R8R=

53.73

3.53

3.'=

3.'=

3.'3

3.'

3

'

3'

3

'

ostupak


30/43

A7R'5R8=R7R9:;

73.7

33.53

3.53

3.'=

3.'=

A8R'R79:;R5R8=

83.7

33.73

3.53

3.53

A=R58=R'R79:;

=3.8

33.73

3.73

3

'

3

'

3'

ostupakIumana


31/43

A9'79:;R58=

93.93

3.8

3

3'

/odna zamena (α!) je sastavljena odsimbola koji sudodeljeni indeksu togslova u svakom korakuidući od poslednjegizvora unazad pa je$

A f A) ni

R'

R5R7R8

R=R9R:

R;

3.73

3.533.'=

3.'3

3.'3

3.3;

3.3=

3.35

33

'33'3

''3

'''

3''3

3'''3

3''''

5

57778==

ostupak

>5 & -33'33'3''3''' 3''3 3'''33''''

2

_

vn &(3.7+3.5)*5+(3.'=+3.'3+3.'3)*7+3.3;*8+(3.3=+3.3

5)*=

&5.:5 ∑=

=−=8

12 68.2log

i

ii p p H


32/43


L Iumanov algoritam i postupak Janoadaju optimalni kod i va@i$

1 _

+


33/43

Izvor e=ituje i=bo!e a i b aIzvor e=ituje i=bo!e a i b averovatnoća=a 0.# i 0..verovatnoća=a 0.# i 0..

Odrediti o"ti=a!ni kod zaOdrediti o"ti=a!ni kod zaodgovarajući izvor nadodgovarajući izvor nad a,ba,b//$$

ku" reJi duBine $) i u"oreditiku" reJi duBine $) i u"orediti

rednju duBinu kodniK za=ena arednju duBinu kodniK za=ena aentro"ijo= izvora.entro"ijo= izvora.


34/43

ostupak


35/43

∑=

−=a

i

ii p p H 1

2log FB4?"LMA LN>"?A

∑=

−

=a

iii

v

n pn 1

?"SFOBA 6,PLBA

/"6BLI NAQFBA

Ako je > optimalan kod za izvor (A) ibazu b onda iz pi1p j sledi niK&n j gde suni i n j du@ine kodnih zamena kojeodgovaraju redom slovima izvora saverovatnoćama pi i p j.


36/43

(α1)&3.;7&3.='5

(α2)&(α3)&(α4)&3.;5

*3.5&3.'5;(α5)&(α6)&(α7)&3.;*3.55&3.375

(α8)&3.57&3.33;

Lzvor nad -ab7

sastoji se od 57

elemenata$-bbb bba bab abb aab baa abaaaa. "značeni su redom sa α1, α2,..., α8.ošto je "a)-0.# i "b)-0. verovatnoćepojedinih reči od α1 "o α8 su$


37/43

AR'R5R7R8R=R9R:R;

3.='5

3.'5;

3.'5;3.'5;

3.375

3.3753.375

3.33;

A'R'R5R7R8R:;R=R9

'3.='

5

3.'5;

3.'5;

3.'5;

3.38

3.375

A5R'R5R7R8R=9R:;

53.='5

3.'5;

3.'5;3.'5;

3.398

3.383

'

3'

3

'

ostupak


38/43

A7R'5R7R8R

=9:;

73.='

5

3.'5;

3.'5;

3.'5;

3.'38

A8R'R8=9:;R5R7

83.='

5

3.575

3.'5;

3.'5;

A=R'R57R8=9:;

=3.='5

3.5=9

3.575

3

'

3

'

3

'

ostupakIumana

A9

R'R578=9:;

9

3.='53.8;;

3'


39/43

"ptimalan kod prikazan je u sledećojtabli#i$

A f A) ni

R'R5R7R8R=R9R:R;

3.='5

3.'5;

3.'5;

3.'5;

3.375

3.375

3.37

33

'33

'3'

''3'''3

3

'''3

'''''

3

''''

'

'77

7==

==

-0, 100,101, 110, 11100, 11101,

11110,11111/

vn

_

&3.='5*'+(3.'5;+3.'5;+3.'5;)*7+(3.375+3.375+3.375+3.33;)*= &5.';8

∑=

≈−=8

12 166.2log

i

ii p p H

∑=

−

=

a

i

iiv n pn1


40/43


rosečna du@ina kodnih zamena jeveoma bliska donjoj grani#i T entropijiizvora.

2.184 _

=vn

166.2≈ H


41/43

H V A L AH V A L AN AN A

P A Ž NJ IP A Ž NJ I


42/43

#$%$&

#$+-


43/43

""!! o! o" l"!9 o"oa ;!

A o!maa). BC+BD+-E+ $B$F#+ ! b). G+-D$ AB$&D$""!!

Documents

Zadaci Kodiranje