Základy informatiky

1. Vznik a vývoj teorie informace

2. Matematický aparát v teorii informace• Základy teorie pravděpodobnosti – Náhodné veličiny• Číselné soustavy

3. Informace• Základní pojmy – jednotka a zobrazení informace, informační hodnota• Entropie – vlastnosti entropie• Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv• Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu,

způsoby boje proti šumu

4. Kódování• Elementární teorie kódování• Rovnoměrné kódy – telegrafní kód• Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů• Efektivní kódy – Shannonova – Fanova metoda, Hoffmanova metoda

5. Bezpečností kódy • Zabezpečující schopnosti kódů, • Systematické kódy, • Nesystematické kódy

ZÁKLADY INFORMATIKY – Bezpečnostní kódyZÁKLADY INFORMATIKY – Bezpečnostní kódy

V každé oblasti přenosu a zpracovaní diskrétních V každé oblasti přenosu a zpracovaní diskrétních informací se proto postupně stabilizuje používání informací se proto postupně stabilizuje používání určitých kódů, které se ukazují jako nejvýhodnější z určitých kódů, které se ukazují jako nejvýhodnější z hlediska kompromisu mezi:hlediska kompromisu mezi:

a) stupněm zabezpečení proti chybáma) stupněm zabezpečení proti chybám

b) jednoduchostí (efektivností)b) jednoduchostí (efektivností)

c) cenou realizace příslušných zařízeníc) cenou realizace příslušných zařízení

V reálném životě často dochází při přenosu V reálném životě často dochází při přenosu zakódovaných informací k chybám způsobeným zakódovaných informací k chybám způsobeným šumem prostředí (přenosového kanálu).šumem prostředí (přenosového kanálu).

Snažíme se tedy najít kód, který má co nejkratší délku a Snažíme se tedy najít kód, který má co nejkratší délku a přitom opravuje co největší počet chyb.přitom opravuje co největší počet chyb.

Každé kódové slovo představuje bod v Každé kódové slovo představuje bod v signálním signálním prostoru.prostoru. V důsledku rušivých vlivů se tento bod vysune V důsledku rušivých vlivů se tento bod vysune do jiné polohy. Při náhodném charakteru rušivých vlivů do jiné polohy. Při náhodném charakteru rušivých vlivů se poloha tohoto bodu neustále mění – tvoří soustavu se poloha tohoto bodu neustále mění – tvoří soustavu bodů kolem původního místa.bodů kolem původního místa.

Rozložení náhodných poruch - Rozložení náhodných poruch - GAUSSOVO rozdělení.GAUSSOVO rozdělení.

Z předchozího vyplýváZ předchozího vyplývá

––>> pravděpodobnost chybného přenosu zprávy se pravděpodobnost chybného přenosu zprávy se zmenší vzdálením jednotlivých symbolů množiny zmenší vzdálením jednotlivých symbolů množiny signálů.signálů.

To lTo lze zze zajistit ajistit tak, že vyjádříme signálové symboly tak, že vyjádříme signálové symboly nějakým kódem a pak je vzdálíme od sebe vložením nějakým kódem a pak je vzdálíme od sebe vložením dalších míst do každého kódového slova.dalších míst do každého kódového slova.

Opatření, která provádíme pro zvýšení odolnosti Opatření, která provádíme pro zvýšení odolnosti kódových slov proti vlivům poruchkódových slov proti vlivům poruch

bezpečnostní kódování (kódové zabezpečení)bezpečnostní kódování (kódové zabezpečení)

Snížení výskytu chyb při přenosu dat je možné Snížení výskytu chyb při přenosu dat je možné zabezpečit několika způsoby:zabezpečit několika způsoby:

Bez zabezpečovacích zařízeníBez zabezpečovacích zařízení - tj. úpravou zprávy, velice účinný způsob ochrany, nevyžaduje žádná přídavná zařízení

S pomocí zabezpečovacích zařízení tj.bezpečnostní kódyS pomocí zabezpečovacích zařízení tj.bezpečnostní kódy – systematické, nesystematické kódy

Kontrolou kvality signáluKontrolou kvality signálu - tj. při vybočení sledovaného parametru signálu z tolerance se žádá o opakované zaslání posledního bloku dat

Ad 1) Ad 1) Bez zabezpečovacích zařízeníBez zabezpečovacích zařízení

Nejjednodušším způsobem snížení chybnosti je zvýšení zvýšení redundanceredundance (nadbytečnosti) zprávy = opakování každého kódového slova.

Příklad:Příklad: Pro přenesení binárního kódového slova 1010 použijeme opakování třikrát za sebou. Vysíláme tedy kódové slovo 101010.101010. (při takovém přenosu je možné opravit jednu chybu)

Maximální délka kódu při šestimístném kódovém slově je dána L=2L=266=64=64. Informaci však nesou pouze 2 místa a další čtyři jsou zabezpečující, tzn. LLZZ=2=222=4=4.

Poměr zkrácené a maximální délky kódu = v y u ž i t í k ó d uv y u ž i t í k ó d u

6,25%0,0625222

LL

V 46

2Z

U číselných položek se používá úprava kontrolním úprava kontrolním součtemsoučtem..

Příklad:Příklad:

Chceme-li přenést číslo 5 4 3 2 15 4 3 2 1 sečteme 5+4+3+2+1=15, poslední číslici přidáme k původnímu číslu a pak přenášíme číslo

5 4 3 2 1 55 4 3 2 1 5

10%0,1101010

LL

V 16

5Z

Maximální délka kódu při šestimístném kódovém slově je dána L=10L=1066. Informaci nese prvních 5 míst a poslední místo je zabezpečující, tzn. LLZZ=10=1055.

Příklad:

Přeneste dvoumístné kódové slovo vyjádřené desítkovou číselnou soustavou. Použijte přenesení se zabezpečením pomocí dvojnásobného opakování. Jaké je využití tohoto kódu.

Řešení:Maximální délka kódu pro čtyřmístné dekadické kódové slovo je dána L=10L=1044. Informaci však nesou pouze 2 místa a další 2 jsou zabezpečující, tzn. LLZZ=10=1022.Poměr zkrácené a maximální délky kódu = v y u ž i t í k ó d v y u ž i t í k ó d uu

1%0,01101010

LL

V 24

2Z

Geometrický model kóduGeometrický model kódu

je výhodný pro odvození zabezpečujících vlastností kódu

umožňuje názorné odvození vzdálenosti kódových slov, která je rozhodující pro určení počtu chyb, které je možno objevit popř. opravit

m-místný binární kód (2m kódových slov) lze znázornit pomocí m-rozměrné krychle - HAMMINGHAMMING

nejvýhodnější je představa pro 3-místný binární kód (délka kódu je 23=8) KRYCHLE

HAMMINGOVA KOSTKAHAMMINGOVA KOSTKA

000000

101101

111111

110110

011011

100100

010010

001001

◙ můžeme názorně odvodit z geometrického můžeme názorně odvodit z geometrického modelu kódumodelu kódu

◙ je dána počtem hran, které spojují jednotlivá je dána počtem hran, které spojují jednotlivá kódová slovakódová slova

◙ je rovna počtu znaků, ve kterých se dvě kódová je rovna počtu znaků, ve kterých se dvě kódová slova lišíslova liší

◙ Je označována jako Je označována jako

tzv. tzv. Hammingova vzdálenost - dHammingova vzdálenost - d

Geometrická interpretace viz následující obrázky

Vzdálenost kódových slovVzdálenost kódových slov

000000

101101

111111

110110

011011

100100

010010

001001

Hammingova vzdálenost Hammingova vzdálenost

d = 1d = 1

délka hrany krychle a = 1a = 1

poloměr opsané koule r = 1r = 1

kombinační číslokombinační číslo

počet vrcholů počet vrcholů ležících na opsané ležících na opsané

koulikouli

1

3

d

m

000000

101101

111111

110110

011011

100100

010010

001001


d = 2d = 2


poloměr opsané koule r = r =



koulikouli

2

3

d

m

2

000000

101101

111111

110110

011011

100100

010010

001001


d = 3d = 3


poloměr opsané koule r = r =



koulikouli

3

3

d

m

3

Příklad: Mějme dvojkový 3-místný kód. Sledujte jaký vliv na zabezpečující vlastnosti kódu má velikost Hammingovy vzdálenosti.

Detekční a korekční schopnosti kóduDetekční a korekční schopnosti kódu

• kód využijeme celý (každé kódové slovo nese informaci d=1d=1) – takový kód neumožňuje registrovat chybu

• využijeme jen kódová slova o d=2d=2 (např. 000, 101, 110, 011) – takový kód umožňuje detekovat chybu

• využijeme jen kódová slova o d=3 (např. 000, 111) – takový kód umožňuje detekovat i opravit chybu

Demonstrace viz předchozí obrázky

Maximální délka dvojkového 3-místného kódu – L = 2L = 233 = 8 = 8 (viz Hammingova kostka)

Z předchozího příkladu vyplývá, že kód objevuje (detekuje) -násobné chyby-násobné chyby, když platí:

d 1d α

Pod detekčními schopnostmi kódudetekčními schopnostmi kódu rozumíme schopnost kódu objevovatobjevovat - - detekovatdetekovat chyby vzniklé při přenosu informací.

Pod pojmem korekční schopnosti kódukorekční schopnosti kódu rozumíme schopnost kódu chyby objevené při přenosu i opravitopravit - korigovatkorigovat. .

Z předchozího příkladu vyplývá, abychom mohli opravit (korigovat) -násobnou chybu-násobnou chybu, musí platit:

22

d 1d

Příklad:

Jaké jsou detekční a korekční schopnosti kódu s minimální Hammingovou vzdáleností d = 3.

Opakovací kódOpakovací kód - přenášený znak se vyšle vícekrát (lichý počet krát - např. 5).

Pro dekódování se pak uplatňuje většinové zastoupenívětšinové zastoupení (větší počet stejných znaků je uznán jako přijatý znak).

1 11111 10101 1Zdrojové slovo

kódování přenos dekódování

Kódové slovo

šum

Přijaté slovo znak

Příklad: Uvažujte opakovací kód. Sledujte detekční a korekční schopnosti tohoto kódu.

d=5 d=5 → → = 4 = 4 = 2 = 2

(můžeme objevit 4 chyby a dvě chyby můžeme opravit)(můžeme objevit 4 chyby a dvě chyby můžeme opravit)

Hammingova váha kódového slovaHammingova váha kódového slova

Je definována jako součet nenulových míst dvojkové posloupnosti tvořící kódové slovo. Lze jí tedy zapsat ve tvaru:

0 kde wm

ii

i aa1

3 )w(C5

k 1i

ia

Příklad: Uvažujte kódové slovo ve tvaru CCkk = 11010 = 11010. Jaká je Hammingova váha takového kódového slova.

Distribuce chybových míst v kódovém slověDistribuce chybových míst v kódovém slově

Máme-li m-místné kódové slovo a z toho je k míst zasaženo rušením (je chybných) pak existuje právě N možností výskytu chybových míst v kódovém slově.

k

mN

Celkový počet možností nulové až m-násobné chyby můžeme vyjádřit vztahem:

mm

k k

m2

0

Nechť pro výskyt chyby platí pravděpodobnost pp a pravděpodobnost (1-p)(1-p) pro ostatní místa složky. Pak pravděpodobnost, že na kk místech kódové složky se vyskytne chyba, a na (m - k)(m - k) místech nikoli, bude:

kmkch p)(1pp

Protože však počet možností výskytu k-násobné chyby je dáno kombinačním číslem mm nad k, platí pro pravděpodobnost výskytu kk-násobné chyby:

kmkch p)(1p

k

mp

Označíme-li pravděpodobnost vzniku chyby na jednom místě kódového slova pch1, pravděpodobnost vzniku chyby na dvou místech pch2 a analogicky pravděpodobnost vzniku chyby na n

místech pchn pak platí nerovnost ppch1ch1 > p > pchch22 > ...> ...>> p pchchnn

Příklad:

Mějme pětimístné kódové slovo (m=5)(m=5) a sledujme pravděpodobnost vzniku dvoumístné chyby (k=2).(k=2). Výskyt chyby je dán pravděpodobností pp a pravděpodobností (1 - p)(1 - p) je dán správný přenos ostatních míst.

Řešení:Počet všech kombinací pro dvě chyby je dán kombinačním číslem:

Pravděpodobnost výskytu dvojnásobné chyby je pak dána:

102

5

32ch2 p)(1p10p

Příklad: Stanovte pravděpodobnost bezchybného přenosu a dále pravděpodobnost výskytu 1, 2, 3, 4-násobné chyby v čtyřmístém kódovém slově. Pravděpodobnost chyby je dána p=0.2p=0.2 a tedy (l - p) = 0.8(l - p) = 0.8

Pozn: Pravděpodobnost přechodu z nuly na jedničku a naopak (tedy pravděpodobnost chyby) může mít různou hodnotu (v příkladu jsme volili p = 0.2), musí však platit 0 < p < 0.5. (Pro hodnotu p = 0.5 klesá kapacita kanálu C na nulu)

0,40960,80,21p)(1p0

4p 4040

ch0

0,40960,80,21p)(1p1

4p 3131

ch1

0,15360,80,21p)(1p2

4p 2222

ch2

0,02560,80,21p)(1p3

4p 1313

ch3

0,00160,80,21p)(1p4

4p 0404

ch4

Documents

Základy informatiky