DRŽAVNI UNIVERZITET U NOVOM PAZARU RAČUNARSKA TEHNIKA

TEORIJA INFORMACIJA I KRIPTOLOGIJA

Prvi kolokvijum – _ _. mart 2012. godine 1. Šta znači reč „informacija“?

(2 poena) Rešenje:

Ne postoji usvojena precizna definicija, ali ipak: • Informacija nosi neko specifično znanje, koje je sigurno novo za onog ko prima

informaciju; • Informaciju nešto (ili neko) isporučuje u različitim formama (pismo, brojevi, simboli,

sekvence brojeva ili simbola, zvuk, slika, ...); • Informacija ima smisla samo ako onaj ko je prima može da je interpretira. • Prema Oxford English Dictionary, najstarije istorijsko značenje reči information na

engleskom jeziku je act of informing, ili davanje forme, oblika mišljenju.

2. Navesti aksiomatske osobine informacije.

(2 poena) Rešenje:

1. Informacija je ne-negativna veličina, I(p) ≥ 0; 2. Ako je verovatnoća nekog događaja 1, ne dobija se nikakava informacija iz njegovog

dešavanja, I(1) = 0; 3. Ako se dva nezavisna događaja dešavaju (čija je združena verovatnoća jednaka

proizvodu individualnih verovatnoća), onda je je informacija koju dobijamo posmatranjem ovakvog slučaja jednaka sumi dve informacije, I(p1•p2) = I(p1) + I(p2);

4. Mera informacije treba da bude kontinualna (i monotona) funkcija verovatnoće. Male promene verovatnoće treba da izazovu male promene informacije.

3. Napisati izraz za meru informacije i navesti bar 3 jedinice za meru

informacije. (2 poena)

Rešenje: I(p) = logb(1/p) = -logb(p)

• log2 → jedinice su bits (od “binary”) • log3 → jedinice su trits (od “trinary”) • loge → jedinice su nats (od “natural”) • log10 → jedinice su Hartleys (po prezimenu jednog od pionira u ovoj oblasti)

4. Šta je samoinformacija simbola izvora xi ?

(2 poena) Rešenje:

Funkcija I(xi,xi) je samoinformacija simbola xi . Ona pokazuje znanje da se simbol xi šalje sa verovatnoćom p(xi) i aposteriorno znanje da je simbol xi definitivno poslat;

5. Pri kodiranju multimedijalnog izvora šta određuje najmanji broj bita po simbolu?

(2 poena) Rešenje:

Broj bita po simbolu neophodnih za kodiranje multimedijalnog izvora sa donje strane je ograničen njegovom entropijom.

6. Ako su date slučajne promenljive X i Y, a združena gustina verovatnoće je

data u tabeli gde je ( 0,1,2,3,4,...)in i i . Odrediti entropije.

(5 poena)

Y X 1 2 3 4

1 3

1

2n

4

1

2n

5

1

2n

5

1

2n

2 4

1

2n

3

1

2n

5

1

2n

5

1

2n

3 4

1

2n

4

1

2n

4

1

2n

4

1

2n

4 2

1

2n 0n 0n 0n

Rešenje:

Y X 1 2 3 4

1 1

8

1

16

1

32

1

32

2 1

16

1

8

1

32

1

32

3 1

16

1

16

1

16

1

16

4 1

4

0 0 0

Marginalne raspodele: X(1/2, 1/4, 1/8, 1/8), za Y (1/4, 1/4, 1/4, 1/4)

1 1 1 1 1 1 1 1 7( ) log log log log

2 2 4 4 8 8 8 8 4H X bit

1 1 1 1 1 1 1 1

( ) log log log log 24 4 4 4 4 4 4 4

H Y bit

1 1 1 1 1 1 1 1 1 1 1 1( ) ( 1) ( , , , ) ( 2) ( , , , ) ( 3) ( , , , )

2 4 8 8 4 2 8 8 4 4 4 4

11( 2) (1,0,0,0)

8

H x y P Y H P Y H P Y H

P Y H bit

7. Kodirati slova alfabeta {e,h,l,o,p,t,w} ako se u tekstu od 10881 karaktera

svako od slova pojavljuje sledeći broj puta

{3320,1458,1067,1749,547,2474,266} (obratiti pažnju da se vrednosti

procenta pojavljivanja karaktera u tekstu zaokružuju na četiri decimale).

Kodiranje odraditi binarnim karakterima koristeći Hafmenovo kodiranje.

(5 poena)

Znak Vero

v.

kod Verov. kod Verov. kod Verov. kod Vero

v.

kod Vero

v.

kod

e .3051 00 .3051 00 .3051 00 .3051 00 .4029 1 .5998 0

t .2274 10 .2274 10 .2274 10 .2947 01 .3051 00 .4029 1

o .1607 010 .1607 010 .1755 11 .2274 10 .2947 01

h .1340 011 .1340 011 .1607 010 .1755 11

l .0981 110 .0981 110 .1340 011

p .0503 1110 0.0774 1111

w .0244 1111