1/2

Teorija informacij in sistemov

1. kolokvij – 15. 4. 2015 ob 18:00

Teoretični del Literatura ni dovoljena. Čas pisanja: 30 minut.

1. Vir brez spomina oddaja N različnih znakov. Kolikšna je najmanjša entropija vira? Kolikšni sta v tem primeru verjetnosti najbolj in najmanj verjetnih znakov?

2. Vir brez spomina oddaja več različnih znakov. Znake pred kodiranjem združujemo v končne nize dolžine n. Kaj velja za povprečno dolžino kodnih zamenjav nizov? Kot odgovor napišite matematično zvezo in napišite pomen količin, ki nastopajo v njej

3. Kako so povezane dolžine kodnih zamenjav li trenutnega koda, s katerim kodiramo N različnih znakov?

Ime:

Priimek:

Vpisna št.:

2/2

4. Pokažite, da so enakomerni kodi manj učinkoviti od neenakomernih kodov pri kodiranju

znakov, katerih verjetnosti niso enake. Namig: primerjajte intervale možnih vrednosti povprečnih dolžin kodnih zamenjav pri enakomernih in neenakomernih kodih. Napišite pomen uporabljenih količin.

5. Vzemimo, da imamo povezani spremenljivki X in Y. Pokažite, da nam spremenljivka X pove o spremenljivki Y ravno toliko kot spremenljivka Y o spremenljivki X!

6. Vir brez spomina oddaja znaka 0 in 1 z verjetnostma in 1- neposredno v binarni simetrični kanal z brisanjem. Kolikšna sme biti verjetnost za napako v kanalu, da je mogoča pravilna rekonstrukcija oddanih znakov? Namig: ker znakov ne združujemo v bloke, je hitrost koda enaka entropiji vira.

1/2

Teorija informacij in sistemov

1. kolokvij – 15. 4. 2015 ob 18:00

Teoretični del Literatura ni dovoljena. Čas pisanja: 30 minut.

1. Vir brez spomina oddaja N različnih znakov. Kolikšna je največja entropija vira? Kolikšni sta v tem primeru verjetnosti najbolj in najmanj verjetnih znakov?

2. Napišite prvi Shannonov teorem in opišite pomen količin, ki nastopajo v njem!

3. Kakšen je zadosten pogoj, da je kod trenuten?

Ime:

Priimek:

Vpisna št.:

2/2

4. Pokažite, da so enakomerni kodi manj učinkoviti od neenakomernih kodov pri kodiranju znakov, katerih verjetnosti niso enake. Namig: primerjajte intervale možnih vrednosti povprečnih dolžin kodnih zamenjav pri enakomernih in neenakomernih kodih.

5. Imamo povezana dogodka X in Y. Pokažite, da v primeru, ko poznamo izid dogodka Y, o dogodku X vemo več, kot sicer. Izhajajte iz dejstva, da je medsebojna informacija nenegativna.

6. Vir brez spomina oddaja znaka 0 in 1 z enakima verjetnostma neposredno v binarni simetrični kanal. Pri kakšnih verjetnostih za napako v kanalu je mogoča pravilna rekonstrukcija oddanih znakov? Namig: ker znakov ne združujemo v bloke, je hitrost koda enaka entropiji vira.

1/3

Teorija informacij in sistemov

1. kolokvij – 15. 4. 2015 ob 18:00 Računski del Dovoljen je 1 list A4 z zapiski in računalo. Čas pisanja: 45 minut. Rezultate zapisujte v okvirčke na desni strani na 2 decimalni mesti natančno.

1. Na igralni ruleti (37 polj) je pod poljem s številko 5 postavljen magnet. Verjetnost, da se kroglica ustavi na tem mestu je štirikratnik verjetnosti za ostala mesta. Opazujemo, na katerem polju se ustavi kroglica. Koliko bitov informacije prejmemo potem, ko se v desetem poskusu kroglica ustavi na polju s številko 5?

2. V vreči sta dve črni in šest belih kroglic. Iz vreče zaporedoma izvlečemo dve kroglici, pri čemer nobene ne vrnemo nazaj. Zanima nas barva izvlečenih kroglic. Za koliko bitov se v povprečju zmanjša nedoločenost potem, ko pogledamo še drugo izvlečeno kroglico?

3. Izračunajte učinkovitost binarnega Fanojevega koda za znake {a, b, c, d, e}, ki se pojavljajo z verjetnostmi {0,35, 0,17, 0,17, 0,16, 0,15}

Ime:

Priimek:

Vpisna št.:

Rezultat:

Rezultat:

Rezultat:

2/3

4. Znaki {a, b, c, d} se pojavljajo z verjetnostmi {1/3, 1/3, 1/6, 1/6}. Koliko različnih Huffmanovih kodov lahko generiramo? Ciljna abeceda je binarna.

5. Vir oddaja znake {0, 1, 2} z verjetnostmi {0,2, 0,4, 0,4}. Sporočilo se vedno konča z znakom 0. Kateri niz znakov je v binarnem aritmetičnem kodu predstavljen s kodno zamenjavo 011101? Pri določanju intervalov za osnovne znake poskrbite, da ima spodnja meja intervala za znak 0 najnižjo vrednost, zgornja meja intervala za znak 2 pa najvišjo.

6. V DNK najdemo nukleotide A – adenin, C – citozin, T – timin in G – gvanin. Zaporedje nukleotidov ACACATG zakodirajte po metodi LZ77!

Rezultat:

Rezultat:

Rezultat:

3/3

7. Kateri niz znakov je po metodi LZW predstavljen s kodami 1|3|4|2|1? V osnovnem slovarju ima znak A indeks 1, znak U pa indeks 2.

8. Pošiljatelj oddaja v diskretni binarni komunikacijski kanal z brisanjem dva različna znaka, sprejemnik pa prejme tri različne znake. Nedoločenost oddanih znakov je 2,5 bita, nedoločenost sprejetih znakov je 3 bite, šum v kanalu je 0,5 bita. Kolikšna je dvoumnost poslanih znakov v bitih, če poznamo sprejete znake?

9. Izračunajte kapaciteto diskretnega komunikacijskega kanala (v bitih na znak), podanega z verjetnostno matriko

𝑃𝑘 = [0,9 0,10,1 0,9

] .

Rezultat:

Rezultat:

Rezultat:

1/3

Teorija informacij in sistemov

1. kolokvij – 15. 4. 2015 ob 18:00 Računski del Dovoljen je 1 list A4 z zapiski in računalo. Čas pisanja: 45 minut. Rezultate zapisujte v okvirčke na desni strani na 2 decimalni mesti natančno.

1. Na igralni ruleti (37 polj) je pod poljem s številko 5 postavljen magnet. Verjetnost, da se kroglica ustavi na tem mestu je dvakratnik verjetnosti za ostala mesta. Opazujemo, na katerem polju se ustavi kroglica. Koliko bitov informacije prejmemo potem, ko se v drugem poskusu kroglica ustavi na polju s številko 2?

2. V vreči so tri črne in šest belih kroglic. Iz vreče zaporedoma izvlečemo dve kroglici, pri čemer nobene ne vrnemo nazaj. Zanima nas barva izvlečenih kroglic. Za koliko bitov se v povprečju zmanjša nedoločenost potem, ko pogledamo še drugo izvlečeno kroglico?

3. Izračunajte učinkovitost binarnega Shannonovega koda za znake {a, b, c, d, e}, ki se pojavljajo z verjetnostmi {0,35, 0,17, 0,17, 0,16, 0,15}.

Ime:

Priimek:

Vpisna št.:

Rezultat:

Rezultat:

Rezultat:

2/3

4. Znaki {a, b, c, d, e} se pojavljajo z verjetnostmi {1/4, 1/4, 1/4, 1/8, 1/8}. Koliko različnih Huffmanovih kodov lahko generiramo? Ciljna abeceda je binarna.

5. Vir oddaja znake {0, 1, 2} z verjetnostmi {0,2, 0,4, 0,4}. Sporočilo se vedno konča z znakom 0. Kateri niz znakov je v binarnem aritmetičnem kodu predstavljen s kodno zamenjavo 101100? Pri določanju intervalov za osnovne znake poskrbite, da ima spodnja meja intervala za znak 0 najnižjo vrednost, zgornja meja intervala za znak 2 pa najvišjo.

6. V DNK najdemo nukleotide A – adenin, C – citozin, T – timin in G – gvanin. Zaporedje nukleotidov GCAAAG zakodirajte po metodi LZ77!

Rezultat:

Rezultat:

Rezultat:

3/3

7. Kateri niz znakov je po metodi LZW predstavljen s kodami 1|2|4|5? V osnovnem slovarju ima znak B indeks 1, znak R pa indeks 2.

8. Vremensko napoved smo poslušali hkrati po radiju in televiziji in dobili 4 bite informacije. Koliko bitov napovedi je bilo enake na radiju in televiziji, če bi pri poslušanju same radijske napovedi dobili 3,5 bita informacije, pri poslušanju same televizijske napovedi pa 3 bite informacije?

9. Izračunajte kapaciteto diskretnega komunikacijskega kanala (v bitih na znak), podanega z verjetnostno matriko

𝑃𝑘 = [0,9 0,1 00 0,1 0,9

] .

Rezultat:

Rezultat:

Rezultat: