· Institut for Matematiske Fag Fredrik Bajers Vej 7G 9220 Aalborg Øst Telefon 99 40 88 04 Fax 98 15 81 29 Titel: Kommunikation over støjfyldte

Institut for Matematiske Fag – www.math.aau.dk

Kommunikation overstøjfyldte kanaler

MAT2-projektrapportaf G3-117 – forarssemestret 2008

Institut for Matematiske FagFredrik Bajers Vej 7G9220 Aalborg ØstTelefon 99 40 88 04Fax 98 15 81 29http://www.math.aau.dk

Titel: Kommunikation over støjfyldte kanaler

Projektperiode: MAT2, forarssemestret 2008

Projektgruppe: G3-117

Deltagere:

Dann Skou Olesen

Martin Toft

Mikael Harkjær Møller

Mikkel Meyer Andersen

Ronni Yde Post

Vejleder: Christian Thommesen

Oplagstal: 8

Sidetal: 111

Bilagsantal og –art: Ingen

Afsluttet: 28. maj 2008.

Synopsis:

Denne rapport omhandler kommunikationover støjfyldte kanaler. Først behandles infor-mationsteori, hvor støjfri kanaler betragtes.Entropibegrebet samt gensidig informationintroduceres og egenskaber herved i forbindelsemed kilder gennemgas. Dette efterfølges afJensens ulighed, Dataprocesseringsuligheden ogFanos ulighed. Herefter beskrives kildekodning,hvor bl.a. Krafts sætning, McMillans sætning ogkildekodningssætningen bevises og Huffman-kodning samt universel kildekodning gives someksempler.

Kanalkodning for støjfyldte kanaler behandlesefterfølgende gennem en introduktion af line-ære koder. Herefter bliver Gilbert-Varshamovgrænsen og kanalkodningssætningen bevist ogsammenlignet. Til sidst beskrives Reed-Solomonkoder, og hvordan disse kan dekodes bade medSudans listedekodning og Petersons dekod-ningsalgoritme, der ogsa vises anvendt pa enBCH-kode.

Projektrapportens indhold er frit tilgængeligt, offentliggørelse er tilladt med kildeangivelse.

http://www.math.aau.dk

ABSTRACT

This report is the product of a project in coding and information theory, spring 2008.

The purpose of this project is to give an overview of these subjects and to document vitalresults of these.

The report is divided into three parts. The first part is discussing the concept of entropy,which is central in information theory. Entropy is introcuded through three requirementswhich are shown to result in a unique form of the entropy function. Properties of thisfunction is then shown, specifically several important inequalities such as the Informa-tion Inequality. Furthermore the concepts of relative entropy and mutual information areintroduced.

The second part covers the subject of information theory. The focus is on communicationthrough noiseless channels, specifically Jensen’s Inequality, The Data Processing Inequa-lity, Fano’s Inequality, Kraft’s Theorem, and McMillan’s Theorem, and source encoding,where the Source Encoding Theorem is proved and examples of Huffman encoding andUniversal Source Encoding are given.

The third part covers encoding of information to be sent through noisy channels. Line-ar block codes and error correcting codes are introduced. The Gilbert-Varshamov limitand the Channel Encoding Theorem is proved and the obtainable rates of codes whichthese theorems gives rise to is compared. The best result is achieved using the ChannelEncoding Theorem which gives obtainable rates below the capacity of the codes.

Finally Reed-Solomon codes are introduced and it is shown that these can be decodedusing Sudan’s List Encoding and Peterson’s Decoding Algorithm, which is also used onthe briefly introduced BCH-codes.

FORORD

Denne rapport er udarbejdet som hovedprojekt i forarssemestret 2008 af fem studerendepa MAT2 ved Aalborg Universitet og har til formal at redegøre for centrale begreberinden for emnet informationsbehandling. Det er ikke kun forsøgt at præsentere relevanteteoretiske resultater efter studieordningens anvisninger, det er ogsa søgt at demonstrerevisse af disse resultaters anvendelse pa konkrete eksempler.

Vi ønsker at takke vores vejleder Christian Thommesen for kyndig vejledning og at haveværet medvirkende til at fa kvaliteten af rapportens indhold til at være strengt stigendeover tid ved at bidrage med anseelige mængder hjælp og input til forbedringer – ogsaflere end vi har formaet at indarbejde i dette endelige resultat.

BRUG AF KILDER

Der anvendes primært de kilder, der er brugt i semestrets PE-kursus Kodnings og infor-mationsteori, men der anvendes ogsa litteraturen fra de to SE-kurser Matematisk Analyse IIog Sandsynlighedsregning samt enkelte øvrige kilder. Ved kildehenvisninger anvendes for-men [ forfatter(e) , arstal [, placering i kilden] ], eksempelvis [Roman, 1992] og [Roman,1992, s. 36].

Vi har bestræbt os pa at referere sa præcist som muligt i de tilfælde, hvor definitioner ogsætninger mv. er helt eller delvist gengivet fra en kilde.

LÆSEVEJLEDNING OG NOTATION

Vi har ikke medtaget de mest elementære begreber og sætninger fra lineær algebra, ana-lyse og sandsynlighedsregning i denne rapport; der henvises til hhv. [Axler, 1997], [Wade,2004] samt [Olofsson, 2005] herfor.

Definitioner, sætninger og lemmaer mv. er nummereret pa formen X.Y, hvor X er detaktuelle kapitel, og Y et fortløbende heltal startende fra 1 i hvert kapitel. Ligninger mv.er nummereret pa samme vis, men pa formen (X.Y).

Det bemærkes, at der bagerst i rapporten findes oversigter over navngivne definitioner,lemmaer, sætninger og korollarer i denne rapport. Oversigten bestar af et navn for detomtalte samt det sidetal, det kan findes pa.

Symbolet 0m×n betegner en nulmatrix med m rækker og n søjler.

Vektorer er ikke specielt markerede, idet det fremgar ud fra konteksten, hvornar et giventsymbol repræsenterer en vektor.

INDHOLDSFORTEGNELSE

1 Introduktion 10

2 Entropi 132.1 Entropien af en kilde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.2 Egenskaber ved entropi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3 Informationsuligheder 28

4 Kildekodning 404.1 Støjfri koder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434.2 Kildekodningssætningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484.3 Huffman-kodning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494.4 Universel kildekodning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5 Kanalkodning 575.1 Gilbert-Varshamov grænsen . . . . . . . . . . . . . . . . . . . . . . . . . . . 625.2 Kanalkodningssætningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

6 Reed-Solomon koder 716.1 Generator- og paritetstjekmatricer . . . . . . . . . . . . . . . . . . . . . . . 746.2 Cykliske koder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

6.2.1 Cykliske Reed-Solomon koder og BCH-koder . . . . . . . . . . . . 816.3 Dekodning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

6.3.1 Sudans simple listedekodning . . . . . . . . . . . . . . . . . . . . . 866.3.2 Petersons algoritme . . . . . . . . . . . . . . . . . . . . . . . . . . . 906.3.3 Listedekodning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

7 Opsummering 103

Litteratur 105

A Binomialformlen 106

B Oversigt over matematiske højdepunkter 108B.1 Definitioner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109B.2 Lemmaer, sætninger og korollarer . . . . . . . . . . . . . . . . . . . . . . . 110B.3 Eksempler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

KAPITEL 1

INTRODUKTION

I dette afsnit gives et overblik over, hvad kodnings- og informationsteori er, lidt om for-skellen pa dem, og hvordan det er opdelt i rapporten. Figur 1.1 kan anvendes til at giveet indledende overblik over den proces, der finder sted, nar data skal transmitteres fra etsted til et andet.

Figur 1.1 – Oversigtsbillede – figuren er adapteret fra [Roman, 1992, s. 3].

Nar information skal overføres fra et sted til et andet, sa sker der bag kulissen en helrække af trin, der hver især har et matematisk grundlag. I denne rapport er der behandleten række af disse trin.

Først og fremmest haves en kilde, der indeholder den information, som ønskes overført.Vha. begrebet entropi kan denne information behandles matematisk, hvilket er emnet forkapitel 2. I informationsteori er entropi en maling af, hvor meget information og usikker-hed, der er i en kilde.

Inden informationen afsendes, kan den med fordel komprimeres for at effektivereoverførslen. Denne proces kaldes for kildekodning og der er i kapitel 4 fokus pa dennedel af processen. Emnet behandles bade rent formelt, og der ses ogsa pa konkrete kilde-kodningsmetoder i form af Huffman-kodning og universel kildekodning.

Efter komprimeringen er informationen klar til at blive sendt over en kommunikationska-nal. Begrebet kanal dækker over en vej, som informationen følger fra afsender til modta-ger, og kan være sa vidt forskellige ting som radiobølger eller en cd-rom.

Ved overførsel gennem en kanal introduceres ofte støj, hvilket medfører, at den modtagneinformation er forskellig fra den afsendte. Der er flere mader at imødega denne problem-stilling pa – en made er at tilføje kontrolinformation til det afsendte, der ved modtagelsekan bruges til at verificere, hvorvidt der er opstaet fejl. I tilfælde af fejl kan informationensendes igen, men mere avancerede teknikker kan decideret rette op til et vist antal fejl,der matte være opstaet, sa antallet af gentransmissioner kan nedbringes.

Disse teknikker kaldes for kanalkodning, og det er emnet for kapitel 5 og 6. I det kapitel 5behandles kanalkodning generelt, mens der i kapitel 6 ses pa Reed-Solomon koder, derer en hyppigt anvendt kanalkodning. Efter informationen er modtaget, skal den indførtekanalkodning dekodes. Denne proces indebærer at undersøge, om der er opstaet fejl un-dervejs, og i givet fald forsøge at rette fejlene. I afsnit 6.3 beskrives de to dekodnings-

Side 11

Gruppe G3-117 Kapitel 1. Introduktion

metoder Sudans simple listedekodning og Petersons algoritme, der kan kan anvendes tildenne dekodning.

Inden den oprindelige information kan læses af modtageren, skal den dekomprimeres,hvilket er en del af kildekodningen, som blev behandlet i kapitel 4. Endeligt vil infor-mationen efter dekomprimeringen være tilgængelig i den oprindelige form og klar tilaflæsning af modtageren.

Side 12

KAPITEL 2

ENTROPI

I dette kapitel behandles entropi indledningsvist generelt, hvorefter der arbejdes med deti forbindelse med informationsteorien.

Vi far ofte brug for at anvende visse egenskaber ved logaritmer, hvorfor disse defineresher en gang for alle.

Definition 2.1 (Konventioner for logaritmer)For en vilkarlig logaritme med grundtal a > 1 sættes 0 · log

( 10

):= 0 og p · log

( 10

):= ∞

for p > 0. Desuden sættes p · log( p

0

):= ∞ for p > 0, pi log

(piqi

):= 0 for pi = 0 samt

pi log(

piqi

):= ∞ for pi > 0 og qi = 0 .

2.1 ENTROPIEN AF EN KILDE

Dette afsnit er baseret pa [Roman, 1992, s. 11-13].

Definition 2.2 (Kilde)En kilde S = (S,P) er et ordnet par, hvor S = {x1, . . . ,xn} er en endelig mængde kal-det kildealfabetet, og P er en sandsynlighedsfordeling over S. Sandsynligheden for xibetegnes med pi eller p(xi) for alle i ∈ {1, 2, . . . , n}.

Antag nu, at der samples fra en kilde S = (S,P), dvs., at der vælges elementer fra S medsandsynlighedsfordelingen P. Sandsynligheden for at vælge xi er sa p(xi).

Det ses, at usikkerhed og information er relateret, da der inden samplingen er usikkerhedmht. udfaldet, og efter samplingen er der opnaet information om kilden.

Malet er nu at definere en funktion H(p1, . . . ,pn), som udtrykker usikkerheden ved samp-ling af en kilde – en sadan kaldes for en entropifunktion. Bemærk at H kun afhænger afkildens sandsynlighedsfordeling og ikke af dens kildealfabet. For at definere H er detnødvendigt at kigge nærmere pa begrebet usikkerhed, da det stiller en række krav til H.Umiddelbart skal H(p1, . . . ,pn) være defineret for alle p1, . . . ,pn, der opfylder 0 ≤ pi ≤ 1og ∑n

i=1 pi = 1. Derudover skal en lille ændring af sandsynlighederne kun give en lilleændring af usikkerheden, sa H skal ogsa være kontinuert.

Nar alle udfald har samme sandsynlighed, er det et rimeligt krav, at flere udfald medførerstørre usikkerhed. Et yderligere krav til H er dermed, at

H(

1n

, . . . ,1n

)︸︷︷︸

n

< H(

1n + 1

, . . . ,1

n + 1

)︸︷︷︸

n+1

.

Det sidste krav, der stilles til H, er et sakaldt grupperingsaksiom. Lad elementerne iS = {x1, . . . ,xn} være klasseopdelt i ikke-tomme, disjunkte mængder B1, . . . ,Bk (kaldetblokke), hvor bi := |Bi| og ∑k

i=1 bi = n. Hver blok har sandsynligheden P(Bi) := bin for

at blive udtrukket. Betragt nu følgende eksperiment: Først vælges en blok, og derefter

Side 13

Gruppe G3-117 Afsnit 2.1: Entropien af en kilde

vælges et element fra den valgte blok. Bemærk at hvis xj er i blokken Bu, sa er

P(xj | Bi) ={

0 hvis i 6= u1bu

hvis i = u.

Dermed haves vha. Loven om Total Sandsynlighed ([Olofsson, 2005, sæt. 1.6.1, s. 43]), at

P(xj) =k

∑i=1

P(xj | Bi)P(Bi) =1bu

bu

n=

1n

.

Dvs., at sandsynligheden for at vælge et hvilket som helst xj under disse betingelser erens, ligesom hvis elementet blev valgt fra en kilde med ligefordelt sandsynlighed, ogusikkerheden skal derfor være den samme ved begge eksperimenter.

Usikkerheden ved at vælge direkte fra S med ens sandsynligheder er H( 1

n , . . . , 1n

), og

usikkerheden ved at vælge en af blokkene B1, . . . ,Bk er H(

b1n , . . . , bk

n

), men i sidste til-

fælde mangler der dog stadig at blive valgt et element fra blokken. Den gennemsnitligeusikkerhed i denne proces er

k

∑i=1

P(Bi) · (usikkerhed ved valg fra Bi) =k

∑i=1

bi

nH(

1bi

, . . . ,1bi

).

Dermed bliver det sidste krav til entropifunktionen, at

H(

1n

, . . . ,1n

)= H

(b1

n, . . . ,

bk

n

)+

k

∑i=1

bi

nH(

1bi

, . . . ,1bi

).

Vi definerer nu formelt entropifunktionen.

Definition 2.3 (Entropifunktionen)Lad H være en familie af funktioner af p1, . . . , pn ∈ R for alle n ∈ N. Hvis H opfylderfølgende betingelser, kaldes H en entropifunktion:

(i) H (p1, . . . , pn) er defineret og kontinuert for alle p1, . . . , pn, der opfylder, at 0 ≤pi ≤ 1 og ∑n

i=1 pi = 1.

(ii) For n ∈N gælder, at

H(

1n

, . . . ,1n

)︸︷︷︸

n

< H(

1n + 1

, . . . ,1

n + 1

)︸︷︷︸

n+1

. (2.1)

(iii) For bi ∈N og ∑ki=1 bi = n gælder, at

H(

1n

, . . . ,1n

)︸︷︷︸

n

= H(

b1

n, . . . ,

bk

n

)︸︷︷︸

k

+k

∑i=1

bi

nH(

1bi

, . . . ,1bi

)︸︷︷︸

k

, (2.2)

hvilket kaldes et grupperingsaksiom.

[Roman, 1992, s. 13]

Side 14

Afsnit 2.1: Entropien af en kilde Gruppe G3-117

Det viser sig, at der findes en entydig funktion, som opfylder definition 2.3.

Sætning 2.4 (Formen af entropifunktionen)En familie af funktioner Hb af p1, . . . , pn ∈ R for alle n ∈ N er en entropifunktion, hvisog kun hvis

Hb (p1, . . . , pn) = −n

∑i=1

pi logb (pi) =n

∑i=1

pi logb

(1pi

), hvor b > 1. (2.3)

[Roman, 1992, sæt. 1.1.1, s. 13]

BEVIS. Antag at H er en entropifunktion. Denne vej vises ved at lave en funktionsana-lyse. Sæt H := Hb. Vælg m,n ∈ N, saledes at m | n, og at der findes et s ∈ N, sa n = ms.Sæt desuden k := n

m , hvor k ∈ N. Lad bi = m for alle i ∈ {1, . . . ,k}, sa følger det af (2.2),at

H(

1n

, . . . ,1n

)︸︷︷︸

n

= H(m

n, . . . ,

mn

)︸︷︷︸

k

+k

∑i=1

mn

H(

1m

, . . . ,1m

)︸︷︷︸

k

= H(m

n, . . . ,

mn

)+ H

(1m

, . . . ,1m

)= H

( mms , . . . ,

mms

)+ H

(1m

, . . . ,1m

)= H

(1

ms−1 , . . . ,1

ms−1

)+ H

(1m

, . . . ,1m

).

For x ∈N defineres

g(x) := H(

1x

, . . . ,1x

)︸︷︷︸

x

,

hvorved der haves, at

g(ms) = g(ms−1) + g(m), (2.4)

hvor g(1) := 0 for m, s ∈N. Ved induktion vises det nu, at

g(ms) = sg(m). (2.5)

For basistrinnet s = 1 er (2.5) oplagt opfyldt. Der antages for induktionstrinnet, at (2.5)gælder for s− 1, og dermed følger det af (2.4), at

g(ms) = g(ms−1) + g(m) = (s− 1)g(m) + g(m) = sg(m).

Jf. (2.1) er g en strengt voksende funktion, sa der gælder for m > 1, at g(m) > 0 = g(1).

Til ethvert r, m ∈N, hvor r ≥ 2, m ≥ 2 og t ∈N, findes s ∈N, sa der gælder, at

ms ≤ rt < ms+1,

hvilket lader sig gøre, hvis s vælges som det største naturlige tal, sa ms ≤ rt, hvilket sam-menholdt med, at ms er strengt voksende, giver det ønskede. Da g er strengt voksende,sa fas fra (2.5), at

sg(m) ≤ tg(r) < (s + 1)g(m),

Side 15

Gruppe G3-117 Afsnit 2.1: Entropien af en kilde

hvilket giver, at

st≤ g(r)

g(m)<

s + 1t

, (2.6)

hvor længden af intervallet[ s

t ; s+1t

]er 1

t for alle s, og da t vælges frit, kan længden af in-tervallet laves tilpas lille. Logaritmefunktionen opfylder disse egenskaber ved at benyttesamme argumentation som for g, sa

st≤ log(r)

log(m)<

s + 1t

. (2.7)

Ved at kombinere (2.6) og (2.7) fas der for fast r og m, men for vilkarligt t, at

−1t

<g(r)g(m)

− log(r)log(m)

<1t

,

hvoraf det følger, at g(r)g(m) = log(r)

log(m) . Det ses for m > 1, at

g(r) =g(m)

log(m)log(r).

Dvs., at g(r) er proportional med log(r), sa g(r) = logb(r) for r > 1 og et fastholdt m.Derved fas, at

H(

1n

, . . . ,1n

)= g(n) = logb(n) for ethvert n ∈N.

Efter denne analyse vises nu, at H er pa formen givet i (2.3). Der fas jf. (2.2), at

H(

b1

n, . . . ,

bk

n

)= H

(1n

, . . . ,1n

)−

k

∑i=1

bi

nH(

1bi

, . . . ,1bi

)= logb(n)−

k

∑i=1

bi

nlogb(bi)

=k

∑i=1

bi

nlogb(n)−

k

∑i=1

bi

nlogb(bi)

=k

∑i=1

(bi

nlogb(n)− bi

nlogb(bi)

)= −

k

∑i=1

bi

nlogb

(bi

n

). (2.8)

Safremt p1, . . . , pk ∈ Q+, hvor ∑ki=1 pi = 1 for k ∈N kan pi forlænges, sa

(p1, . . . , pk) =(

b1

n, . . . ,

bk

n

),

hvor b1 + · · ·+ bk = n. Heraf giver (2.8), at

H (p1, . . . ,pk) = −k

∑i=1

pi log (pi) . (2.9)

Side 16

Afsnit 2.1: Entropien af en kilde Gruppe G3-117

Da funktionen H per antagelse er kontinuert, gælder (2.9) ogsa for p1, . . . , pk ∈ R+ ∪ {0}.Desuden haves fra l’Hopital, at

limp→0+

(p logb p) = limp→0+

(logb p

1p

)

= limp→0+

( 1p ln(b)

− 1p2

)

= limp→0+

(− p

ln(b)

)= 0,

hvorved (2.9) gælder for alle ikke-negative tal.

Nu vises, at (2.9) opfylder (i), (ii) og (iii):

(i) Logaritmefunktionen, og dermed H, er defineret og kontinuert for p1, . . . ,pk > 0.Da p logb p = 0 for p = 0 haves desuden, at H er defineret for p1 = · · · = pk = 0.Som vist ovenfor, sa er pi logb pi → 0 for pi → 0+, og det vil sige, at H er kontinuerti p1 = · · · = pk = 0.

(ii) Bemærk, at

log(

1n

)> log

(1

n + 1

), hvor n ∈N,

hvilket giver

H(

1n

, . . . ,1n

)= −

n

∑i=1

1n

log(

1n

)= − log

(1n

)< − log

(1

n + 1

)= −

n+1

∑i=1

1n + 1

log(

1n + 1

)= H

(1

n + 1, . . . ,

1n + 1

).

Side 17

Gruppe G3-117 Afsnit 2.2: Egenskaber ved entropi

(iii) Vises med summationer og logaritmefunktionen:

H(

b1

n, . . . ,

bk

n

)+

k

∑i=1

bi

nH(

1bi

, . . . ,1bi

)= −

k

∑i=1

bi

nlog(

bi

n

)−

k

∑i=1

bi

n

bi

∑j=1

1bi

log(

1bi

)

= −k

∑i=1

bi

n

(log(

bi

n

)+ log

(1bi

))= −

k

∑i=1

bi

nlog(

1n

)= − log

(1n

)= −

n

∑i=1

1n

log(

1n

)= H

(1n

, . . . ,1n

).

Dermed er begge veje nu vist.

2.2 EGENSKABER VED ENTROPI

Der er en række væsentlige egenskaber ved entropi, der her vil blive vist et antal af.Først er der brug for et par lemmaer, hvoraf det første udtaler sig om, at den naturligelogaritmefunktion altid har mindre end eller samme funktionsværdi som dens tangentfor x = 1.

Lemma 2.5 (Sammenhæng mellem ln(x) og x − 1)Lad ln(x) betegne den naturlige logaritme af x > 0. Da gælder, at

ln(x) ≤ x− 1 for alle x > 0, (2.10)

og der gælder lighed i (2.10) hvis og kun hvis x = 1.

[Roman, 1992, lem. 1.2.1, s. 22]

BEVIS. Funktionen f (x) = x − 1− ln(x) for x > 0 undersøges. Ved differentiation fas,at f ′(x) = 1− 1

x , og det ses, at f ′(x) = 0 for x = 1. Da f ′( 1

2

)= 1− 2 < 0 og f ′(2) =

1− 12 > 0, sa er der tale om et globalt minimum for x = 1, og da f (1) = 0 følger det, at

uligheden i (2.10) er opfyldt, idet

0 ≤ x− 1− ln(x) ⇔ ln(x) ≤ x− 1,

og ligheden i (2.10) er opfyldt for netop x = 1.

Det viser sig at være nyttigt at kunne skifte mellem logaritmer med forskellige grundtal.

Lemma 2.6 (Konstant faktor mellem logaritmer)Givet to logaritmer med forskellige grundtal a > 1 og b > 1 gælder, at

loga(x) =1

logb(a)logb(x).

Side 18

Afsnit 2.2: Egenskaber ved entropi Gruppe G3-117

BEVIS. Givet loga(x) = k logb(x) fas ved indsættelse af x = a, at k = 1logb(a) , sa det er

altsa muligt at gange en logaritme med grundtal b med 1logb(a) for at beskrive den ved

logaritmen med grundtal a.

Det næste lemma udtaler sig om en nyttig ulighed for entropifunktionen, hvis derindføres en ny fordeling Q = {q1, . . . , qn}, hvor det gælder, at ∑n

i=1 qi ≤ 1. Q er dermedikke nødvendigvis en sandsynlighedsfordeling.

Lemma 2.7 (Informationsuligheden)Lad P = {p1, . . . , pn} være en sandsynlighedsfordeling, og lad for Q = {q1, . . . , qn}

gælde, at 0 ≤ qi ≤ 1 ogn

∑i=1

qi ≤ 1. Da gælder, at

n

∑i=1

pi log(

1pi

)≤

n

∑i=1

pi log(

1qi

), (2.11)

hvor konventionerne fra definition 2.1 gælder. Yderligere gælder, at der i (2.11) er lig-hed, hvis og kun hvis qi = pi for alle i = 1, . . . ,n.

Uligheden (2.11) kan ogsa udtrykkes som

n

∑i=1

pi log(

pi

qi

)≥ 0, (2.12)

hvilket kaldes informationsuligheden.

[Roman, 1992, lem. 1.2.2, s. 22]

BEVIS. Jf. lemma 2.6 kan vi gange logaritmerne i (2.11) med en passende konstant ogbetragte dem som den naturlige logaritme uden tab af generalitet.

Det vises nu, at

pi ln(

1pi

)≤ pi ln

(1qi

)+ qi − pi (2.13)

gælder, og der er tre tilfælde at betragte. Hvis pi = 0 fas, at 0 ≤ qi, hvilket er oplagtsandt. Hvis pi > 0 men qi = 0, sa gælder (2.13) ogsa, idet højresiden er ∞. Endeligt er dertilfældet med bade pi og qi positive – her kan (2.13) skrives pa formen

pi

(ln(

1pi

)− ln

(1qi

))≤ qi − pi ⇔

pi ln(

qi

pi

)≤ qi − pi ⇔

ln(

qi

pi

)≤ qi

pi− 1,

hvilket gælder per lemma 2.5, sa (2.13) gælder for alle de mulige tilfælde.

Ved at summere (2.13) over i = 1, 2, . . . , n fas, at

n

∑i=1

pi ln(

1pi

)≤

n

∑i=1

pi ln(

1qi

)+

n

∑i=1

qi −n

∑i=1

pi ≤n

∑i=1

pi ln(

1qi

)

Side 19


da ∑ni=1 qi ≤ 1 og ∑n

i=1 pi = 1, hvilket viser gyldigheden af (2.11). Ved at se pa trinene forat vise gyldigheden af (2.13) og betingelserne for lighed i lemma 2.5, sa ses det, at lighedgælder hvis og kun hvis pi = qi for alle i.

Lemma 2.7 giver anledning til følgende definition.

Definition 2.8 (Relativ entropi / Kullback-Leibler-afstand)Givet to sandsynlighedsfordelinger P = {p1, . . . , pn} og Q = {q1, . . . , qn}, sa er denrelative entropi eller Kullback-Leibler-afstanden D(P‖Q) mellem P og Q givet ved

D(P‖Q) :=n

∑i=1

pi log(

pi

qi

).

[Thommesen, 2008a, spis. 2, s. 3]

Bemærk at Kullback-Leibler-afstanden ikke er symmetrisk og bemærk yderligere, at in-formationsuligheden (2.12) kan udtrykkes som

D(P‖Q) ≥ 0,

og der gælder lighed hvis og kun hvis pi = qi for alle i, hvilket betegnes P = Q.

Vi vil ogsa indføre den relative entropi for en stokastisk variabel, men først er detnødvendigt at indføre generel entropi for en stokastisk variabel med udgangspunkt iformen af entropifunktionen, som blev fundet i sætning 2.4.

Definition 2.9 (Entropi af en stokastisk variabel)Lad X være en stokastisk variabel med billede S = {x1, . . . ,xn}. Hvis P (X = xi) =p (xi), da er entropien af X givet ved

H(X) =n

∑i=1

p (xi) log(

1p (xi)

)= −

n

∑i=1

p (xi) log (p (xi)) .

[Roman, 1992, s. 18]

Definition 2.10 (Relativ entropi / Kullback-Leibler-afstand for stokastiske variable)Hvis X og Y er diskrete stokastiske variable med samme billede S, og

p(x) = P(X = x) og q(x) = P(Y = x) for alle x ∈ S,

sa er D(X‖Y) givet ved

D(X‖Y) := ∑x∈S

p(x) log(

p(x)q(x)

).

[Thommesen, 2008a, spis. 2, s. 3]

Pa tilsvarende made som før gælder, at

D(X‖Y) ≥ 0,

Side 20


og med lighed, hvis og kun hvis p(x) = q(x) for alle x ∈ S.

Lemma 2.7 kan nu benyttes til at vise en ulighed, der giver bade en øvre og en nedregrænse for en vilkarlig entropifunktion. Den øvre grænse fas ved en ligefordelt sandsyn-lighed, og den nedre grænse fas, nar p(xi) = 1 for netop et i.

Sætning 2.11 (Øvre og nedre grænse for entropifunktionen)Lad X være en stokastisk variabel med billede {x1, x2, . . . , xn}. Da gælder, at

0 ≤ Hb(X) ≤ logb (n) . (2.14)

Yderligere gælder, at H(X) = log(n), hvis og kun hvis p(xi) = 1n for i = 1, 2, . . . , n, og

der gælder, at H(X) = 0 hvis og kun hvis p(xi) = 1 for netop et i.

[Roman, 1992, sæt. 1.2.3, s. 23]

BEVIS. Lad H := Hb og log := logb. Først vises den højre ulighed i (2.14). Ved at anvendelemma 2.7 pa fordelingen af X og pa en ligefordelt sandsynlighed Q =

{ 1n , . . . , 1

n

}fas, at

H(X) =n

∑i=1

p(xi) log(

1p(xi)

)

≤n

∑i=1

p(xi) log

(11n

)

=n

∑i=1

p(xi) log (n)

= log(n)n

∑i=1

p(xi)

= log(n),

sa H(X) ≤ log(n). Yderligere fas det fra lemma 2.7, at der er lighed, nar p(xi) = q(xi) foralle i, dvs. nar p(xi) = 1

n for alle i, hvilket netop er tilfældet her.

Den venstre ulighed i (2.14) vises ved at betragte definitionen af entropifunktionenH(X) = ∑n

i=1 p(xi) log(

1p(xi)

). Hvert led i denne sum er pa formen

p(xi) log(

1p(xi)

)= p(xi) log (1)− p(xi) log (p(xi)) ,

og idet 0 ≤ p(xi) ≤ 1, sa følger det, at p(xi) log (p(xi)) < 0, sa der er tale om en sumaf ikke-negative led, hvilket viser, at H(X) ≥ 0. Idet der netop er tale om ikke-negativeled, sa skal alle led være 0, hvis H(X) = 0 skal gælde. Det er kun tilfældet for led medp(xi) = 0 eller p(xi) = 1, og idet der gælder, at ∑n

i=1 p(xi) = 1, sa er H(X) = 0 hvis ogkun hvis p(xi) = 1 for et i.

Bemærk at sidste pastand i sætning 2.11 om, at H(x) = 0 givet pi = 1 for et i, er intuitivtsand, da udfaldet ved ethvert eksperiment sa ville være givet pa forhand, hvorved 0bliver en nedre grænse for entropien, fordi der ingen usikkerhed er. At log(n) er en øvregrænse, har den brugbare fortolkning, at der opnas mest information per sampling ved enligefordelt sandsynlighed.

Korollar 2.12 siger, at entropien af en stokastisk variabel kan udtrykkes som middelvær-dien af den stokastiske variabel log(p(X)) (dog med omvendt fortegn), der har sandsyn-lighedsfordelingen P = {p(x1), . . . ,p(xn)}.

Side 21


Korollar 2.12Givet en stokastisk variabel X, da er

H(X) = −E[log(p(X))].

[Cover & Thomas, 2006, s. 14]

BEVIS. Per definition 2.9 har vi, at entropien af den stokastiske variabel X er

H(X) = −n

∑i=1

p (xi) log (p (xi)) . (2.15)

Det ses, at hvis log(p(X)) er den stokastiske variabel, sa svarer summen i (2.15) til deni sætningen om middelværdien af en diskret stokastisk variabel givet i [Olofsson, 2005,prop. 2.4.4, s. 104].

Det bemærkes, at entropien af en stokastisk variabel ogsa kan udtrykkes som middel-værdien af den stokastiske variabel log

(1

p(X)

), sa der fas, at

H(X) = E[

log(

1p(X)

)].

Definition 2.13 (Sammensat entropi)Entropien af to sammensatte diskrete stokastiske variable (X,Y), der antager værdier ihenholdsvis X og Y , med sandsynlighedsfordelingen p(x,y), defineres som

H(X,Y) := ∑x∈X

∑y∈Y

p(x,y) log(

1p(x,y)

)= − ∑

x∈X∑

y∈Yp(x,y) log(p(x,y)).


Bemærk at den sammensatte entropi ogsa kan udtrykkes som middelværdien af en sam-mensat stokastisk variabel, sa

H(X,Y) = E[

1log(p(X,Y))

]= −E[log(p(X,Y))].

Definition 2.14 (Betinget entropi)For to sammensatte diskrete stokastiske variable (X,Y), med sandsynlighedsfordelin-gen p(x,y) defineres den betingede entropi

H(X | Y) := ∑y∈Y

p(y)H(X | Y = y) := ∑y∈Y

p(y) ∑x∈X

p(x | y) log(

1p(x | y)

).


Denne entropi kan ogsa udtrykkes vha. middelværdien af en stokastisk variabel.

Side 22


Lemma 2.15Lad X og Y være stokastiske variable, da gælder, at

H(Y | X) = −E [log (p(Y | X))] .


BEVIS. Definition 2.14 benyttes og dermed fas, at

H(Y | X) = ∑x∈X

p(x)H(Y | X = x)

= ∑x∈X

p(x) ∑y∈Y

p(y | x) log(

1p(y | x)

)= ∑

x∈X∑

y∈Yp(y,x) log

(1

p(y | x)

)= E

[log(

1p(Y | X)

)]= −E [log (p(Y | X))] ,

hvilket er det ønskede.

Sætning 2.16 (Den lille kæderegel for entropi)Givet to stokastiske variable X og Y, da gælder, at

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y).

[Cover & Thomas, 2006, sæt. 2.2.1, s. 17]

BEVIS. Vi beviser kun det første lighedstegn i sætningen, da det andet vises pa nøjagtigsamme made. Der gælder, at

H(X,Y) = − ∑x∈Xy∈Y

p(x,y) log(p(x,y))

= − ∑x∈Xy∈Y

p(x,y) log(p(x)p(y | x))

= − ∑x∈Xy∈Y

p(x,y)(log(p(x)) + log p(y | x))

= − ∑x∈Xy∈Y

(p(x,y) log(p(x)) + p(x,y) log(p(y | x)))

= − ∑x∈Xy∈Y

p(x,y) log(p(x))− ∑x∈Xy∈Y

p(x,y) log(p(y | x))

= − ∑x∈X

p(x) log(p(x))− ∑x∈Xy∈Y

p(x,y) log(p(y | x))

= H(X) + H(X | Y),

og dermed er sætningen vist.

Side 23


Som et mal mellem stokastiske variable indføres den gensidige information. Den udtryk-ker, som navnet beskriver, hvor meget information de stokastiske variable indeholder omhinanden.

Definition 2.17 (Gensidig information)Den gensidige information I(X; Y) mellem to stokastiske variable X og Y med sammen-sat sandsynlighed p(x,y), er givet ved

I(X; Y) := ∑x∈Xy∈Y

p(x,y) log(

p(x,y)p(x)p(y)

)= E

[log(

p(X,Y)p(X)p(Y)

)]

[Cover & Thomas, 2006, s. 19-20]

Den gensidige information kan ogsa udtrykkes ved entropien.

Sætning 2.18Givet de stokastiske variable X og Y, sa gælder, at

I(X; Y) = H(X)− H(X | Y) = H(Y)− H(Y | X).


BEVIS. Det er kun det første lighedstegn, der vises, da det andet følger direkte af sym-metrien af den gensidige information. Ved brug af definitionen af gensidig information,og i (2.16) benyttes betinget sandsynlighed, hvorved der fas, at

I(X; Y) = ∑x∈Xy∈Y

p(x,y) log(

p(x,y)p(x)p(y)

)

= ∑x∈Xy∈Y

p(x,y) log(

p(x | y)p(x)

)(2.16)

= ∑x∈Xy∈Y

p(x,y) log(

1p(x)

)+ ∑

x∈Xy∈Y

p(x,y) log (p(x | y))

= H(X)− H(X | Y),


Korollar 2.19Givet de stokastiske variable X og Y, sa gælder, at

I(X; Y) ≥ 0,

og I(X; Y) = 0 hvis og kun hvis X og Y er uafhængige.


Side 24


BEVIS. Vi har fra informationsuligheden i lemma 2.7, at

n

∑i=1

pi log(

pi

qi

)≥ 0,

hvor der kun er lighedstegn, hvis pi = qi for alle i ∈ {0, . . . ,n}. Lad P og Q være sand-synlighedsfordelinger, hvor pi := p(xi,yi), og qi := p(xi)p(yi). Det ses da at

0 ≤n

∑i=1

pi log(

pi

qi

)=

n

∑i=1

p(xi,yi) log(

p(xi,yi)p(xi)p(yi)

)= I(X; Y).

Hermed er uligheden vist, og da der kun er lighedstegn, nar pi = qi for alle i ∈ {0, . . . ,n},skal p(xi,yi) = p(xi)p(yi), hvilket kun er opfyldt, nar X og Y er uafhængige.

Korollar 2.20 (Selvinformation)Givet en stokastisk variabel X, sa gælder, at

I(X; X) = H(X).

BEVIS. Per definition fas, at

I(X; X) = H(X)− H(X | X) = H(X),

hvilket giver det ønskede.

For at kunne indføre den store kæderegel for entropi, er det nødvendigt at introducerefølgende kæderegel for sandsynlighed.

Sætning 2.21 (Kædereglen for sandsynlighed)Givet n stokastiske variable Xn,Xn−1, . . . , X1, da gælder, at

p(Xn,Xn−1, . . . , X1) =n

∏i=1

p(Xi | Xi−1, . . . ,X1),

hvor p(X1 | X0, X1) := p(X1).

BEVIS. Per definitionen af betinget sandsynlighed fas, at

p(Xn,Xn−1, . . . , X1) = p(Xn | Xn−1, . . . , X1)p(Xn−1, . . . , X1)= p(Xn | Xn−1, . . . , X1)p(Xn−1 | Xn−2 . . . , X1)p(Xn−2, . . . , X1)

=n

∏i=1

p(Xi | Xi−1, . . . ,X1),

hvilket netop er det ønskede.

Side 25


Sætning 2.22 (Den store kæderegel for entropi)Givet n stokastiske variable X1,X2, . . . , Xn, med sandsynlighedsfordelingenp(x1,x2, . . . , xn), da gælder, at

H(X1,X2, . . . , Xn) =n

∑i=1

H(Xi | Xi−1, . . . ,X1).


BEVIS. Af korollar 2.12 og sætning 2.21 fas, at

H(X1,X2, . . . , Xn) = −E [log (p(X1,X2, . . . , Xn))]

= −E

[log

(n

∏i=1

p(Xi | Xi−1, . . . ,X1)

)]

= −E

[n

∑i=1

log (p(Xi | Xi−1, . . . ,X1))

]

=n

∑i=1−E [log (p(Xi | Xi−1, . . . ,X1))]

= H(Xn | Xn−1, . . . ,X1) + · · ·+ H(X2 | X1) + H(X1)

=n

∑i=1

H(Xi | Xi−1, . . . ,X1),


Definition 2.23 (Betinget gensidig information)Givet tre stokastiske variable X,Y,Z defineres den betingede gensidige information som

I(X; Y | Z) := H(X | Z)− H(X | Y,Z).


Sætning 2.24 (Kædereglen for gensidig information)Givet n + 1 stokastiske variable X1,X2, . . . , Xn og Y, da gælder, at

I(X1,X2, . . . , Xn; Y) =n

∑i=1

I(Xi; Y | Xi−1, . . . ,X1)


Side 26


BEVIS. Vha. den store kæderegel for entropi i sætning 2.22 fas, at

I(X1,X2, . . . , Xn; Y) = H(X1, X2, . . . , Xn)− H(X1, X2, . . . , Xn | Y)

=n

∑i=1

H(Xi | Xi−1, . . . ,X1)−n

∑i=1

H(Xi | Xi−1, . . . ,X1,Y)

=n

∑i=1

(H(Xi | Xi−1, . . . ,X1)− H(Xi | Xi−1, . . . ,X1,Y))

=n

∑i=1

I(Xi; Y | Xi−1, . . . ,X1),


Side 27

KAPITEL 3

INFORMATIONSULIGHEDER

I dette kapitel vises en række nyttige uligheder, bl.a. Jensens ulighed, Fanos ulighed ogDataprocesseringsuligheden.

Før vi kan vise Jensens ulighed, skal vi først indføre begrebet konveksitet.

Definition 3.1 (Konveks mængde)En mængde K ⊆ Rn siges at være konveks, hvis der givet x,y ∈ K opfyldes, at

ax + (1− a)y ∈ K

for 0 ≤ a ≤ 1.

[Roman, 1992, s. 26]

Bemærk at mængden {ax + (1− a)y | 0 ≤ a ≤ 1} er det rette linjestykke mellem x og y,sa der gælder med andre ord om en konveks mængde K, at den indeholder alle punkternepa den rette linje mellem ethvert par af punkter i K.

Definition 3.2 (Konveksitet af funktioner over konvekse mængder)Givet en konveks mængde K, da kaldes en reel funktion f : K → R konveks op safremtden opfylder

f (ax + (1− a)y) ≤ a f (x) + (1− a) f (y)

for ethvert x,y ∈ K og 0 ≤ a ≤ 1.

Givet en konveks mængde K, da kaldes en reel funktion f : K → R konveks ned ellerkonkav safremt den opfylder

f (ax + (1− a)y) ≥ a f (x) + (1− a) f (y)

for ethvert x,y ∈ K og 0 ≤ a ≤ 1.

[Roman, 1992, s. 27]

Sætning 3.3 (Sandsynlighedsfordelinger er konvekse)Mængden

K =

{P = (p1, . . . , pn)

∣∣∣∣∣ 0 ≤ pi ≤ 1 ,n

∑i=1

pi = 1

}

af alle sandsynlighedsfordelinger er en konveks delmængde af Rn.

[Roman, 1992, s. 27]

BEVIS. Givet P = (p1, . . . , pn) og Q = (q1, . . . , qn) i K, sa haves

aP + (1− a)Q = (ap1 + (1− a)qi, . . . , apn + (1− a)qn).

Side 29

Gruppe G3-117 Kapitel 3. Informationsuligheder

Nu er 0 ≤ a,pi,qi ≤ 1, hvilket medfører, at 0 ≤ api + (1− a)q1 ≤ 1 samt at

n

∑i=1

(api + (1− a)qi) = an

∑i=1

pi + (1− a)n

∑i=1

qi = a + (1− a) = 1,

sa aP + (1− a)Q ∈ K, og dermed er K konveks.

Det viser sig, at entropifunktionen H er konveks ned.

Sætning 3.4 (Konveksitet af entropifunktionen)Entropifunktionen H er konveks ned pa sandsynlighedsfordelingerne P = (p1, . . . , pn)og Q = (q1, . . . , qn) sa

H (aP + (1− a)Q) ≥ aH (P) + (1− a)H(Q)

for 0 ≤ a ≤ 1.

[Roman, 1992, s. 27–28]

BEVIS. Der haves, at

H(aP + (1− a)Q) =n

∑i=1

(api + (1− a)qi) log(

1api + (1− a)qi

)= a

n

∑i=1

pi log(

1api + (1− a)qi

)+ (1− a)

n

∑i=1

qi log(

1api + (1− a)qi

)≥ a

n

∑i=1

pi log(

1pi

)+ (1− a)

n

∑i=1

qi log(

1qi

)(3.1)

= aH(P) + (1− a)H(Q),

hvor der i (3.1) er brugt lemma 2.7, og sætningen følger dermed.

Sætning 3.5 (Jensens ulighed)Givet en konveks op funktion f , og en stokastisk variabel X, da gælder, at

E [ f (X)] ≥ f (E[X]) .


BEVIS. Sætningen vises kun for diskrete sandsynlighedsfordelinger. Dette vises vha. in-duktion. Som basistrin benyttes en 2-delt sandsynlighedsfordeling P = (p,1− p). Sam-men med [Olofsson, 2005, prop. 2.4.4, s. 104] om middelværdi af diskrete stokastiskevariable og definition 3.2 af konveksitet af funktioner fas, at

E[ f (X)] = p1 f (x1) + p2 f (x2)= p1 f (x1) + (1− p1) f (x2)≥ f (p1x1 + (1− p1)x2)= f (p1x1 + p2x2)= f (E[X]).

Side 30

Kapitel 3. Informationsuligheder Gruppe G3-117

Antag nu at sætningen gælder for en (k− 1)-delt sandsynlighedsfordeling, og sa skal deti induktionstrinnet nu vises, at det ogsa gælder for en k-delt sandsynlighedsfordeling.Sæt først

p′i :=pi

1− pkfor i ∈ {1, . . . , k− 1}.

Lad nu X være en diskret stokastisk variable med en k-delt sandsynlighedsfordeling, dagælder, at

E[ f (X)] =k

∑i=1

pi f (xi)

= pk f (xk) +k−1

∑i=1

pi f (xi)

= pk f (xk) + (1− pk)k−1

∑i=1

p′i f (xi)

≥ pk f (xk) + (1− pk) f

(k−1

∑i=1

p′ixi

)(3.2)

≥ f

(pkxk + (1− pk)

k−1

∑i=1

p′ixi

)(3.3)

= f

(pkxk +

k−1

∑i=1

pixi

)

= f

(k

∑i=1

pixi

)= f (E[X]),

hvor (3.2) følger af induktionsantagelsen og (3.3) følger af definition 3.2 af konveksitet affunktioner.

Da binomialformlen ofte benyttes, kan den findes i bilag som sætning A.1.

Lemma 3.6For en binomialfordelt sandsynlighedsfordeling

q(i) :=(

ni

)pi(1− p)n−i for i ∈ {0,1, . . . ,n},

gælder, at nar k ∈ {0,1, . . . ,n} og p = kn , er q voksende for i < k, aftagende for i ≥ k og

antager sit maksimum nar i = k.

Side 31


BEVIS. Betragt først

q(i + 1)q(i)

=( n

i+1)(

kn

)i+1 (1− k

n

)n−i−1

(ni )(

kn

) (1− k

n

)n−i

=n!

(n−i−1)!(i+1)!n!

(n−i)!i!

kn(

1− kn

)=

(n− i)!i!(n− i− 1)!(i + 1)!

kn− k

=(n− i)k

(i + 1)(n− k).

Safremt q skal være voksende, skal q(i) ≤ q(i + 1), hvilket er ensbetydende med, at

1 ≤ q(i + 1)q(i)

=(n− i)k

(i + 1)(n− k), (3.4)

hvoraf reducering giver, at

i + 1 ≤ k +kn

,

hvilket er opfyldt netop nar i < k da k ∈ {0, 1, . . . , n} sa 0 ≤ kn ≤ 1.

For at vise, at q er aftagende, skal (3.4) omskrives, saledes at i + 1 ≥ k + kn , hvilket netop

er opfyldt, nar i ≥ k.

Dermed er det vist, at q er voksende for i < k og aftagende for i ≥ k, og sa antager q sitmaksimum nar i = k.

Sætning 3.7For ethvert k ∈ {0, 1, . . . , n}med n ∈N gælder, at

1n + 1

2nH2( kn ) ≤

(nk

)≤ 2nH2( k

n ).

BEVIS. Først vises den højre ulighed, dvs. (nk) ≤ 2nH2( k

n ). Til dette bruges sætning A.1,hvorved det fas, at

1 = 1n = ((1− p) + p)n =n

∑k=0

(nk

)(1− p)n−k pk for alle 0 ≤ p ≤ 1 og n ∈N.

Da alle led i summen er positive gælder, at(nk

)(1− p)n−k pk ≤ 1 for alle 0 ≤ p ≤ 1 og k ∈ {0, 1, . . . , n}.

Specielt for p = kn haves, at (

nk

)(1− k

n

)n−k ( kn

)k

≤ 1,

Side 32


hvoraf det fas, at(nk

)(1− k

n

)n−k ( kn

)k

=(

nk

)2log2

((1− k

n )n−k)

2log2

(( k

n )k)

=(

nk

)2(n−k) log2(1− k

n )2k log2( kn )

=(

nk

)2(n−k) log2(1− k

n )+k log2( kn )

=(

nk

)2n((1− k

n ) log2(1− kn )+ k

n log2( kn ))

=(

nk

)2−nH2( k

n )

≤ 1.

Dermed haves, at (nk

)≤ 2nH2( k

n ).

Nu vises den venstre ulighed, dvs. 1n+1 2nH2( k

n ) ≤ (nk). Fra starten af beviset haves, at ved

fastholdte k og n sa k ≤ n, at

n

∑i=0

(ni

)(1− k

n

)n−i ( kn

)i

= 1.

Jf. lemma 3.6 antager den endelige følge{

(ni )(

1− kn

)n−i (kn

)i}

i∈{0,1,...,n}sit maksimum,

nar i = k. Dette giver, at

(n + 1)(

nk

)(1− k

n

)n−k ( kn

)k

≥n

∑i=0

(ni

)(1− k

n

)n−i ( kn

)i

= 1.

Fra beviset for højre ulighed haves, at (nk)(

1− kn

)n−k (kn

)k= (n

k)2−nH2( kn ), hvorfor

(n + 1)(

nk

)2−nH2( k

n ) ≥ 1,

saledes at (nk

)≥ 1

n + 12nH2( k

n ),

hvilket beviser det ønskede.

Sætning 3.8For p > 0, q > 0, p + q = 1, 0 ≤ λ ≤ p og µ + λ = 1 gælder der for n ∈N, at

bλnc

∑k=0

(nk

)pkqn−k ≤ λ−λnµ−µn pλnqµn.

Side 33


BEVIS. Bemærk antagelserne giver, at 0 ≤ λ < 1 og 0 < µ ≤ 1. For ethvert 0 < x ≤ 1gælder, at xλn ≤ xk for k = 0,1, . . . ,bλnc. Dette giver, at

xλnbλnc

∑k=0

(nk

)pkqn−k =

bλnc

∑k=0

(nk

)pkxλnqn−k

≤bλnc

∑k=0

(nk

)pkxkqn−k

=bλnc

∑k=0

(nk

)(px)k qn−k

≤n

∑k=0

(nk

)(px)k qn−k

= (px + q)n .

Det sidste lighedstegn fas vha. sætning A.1 og dermed fas, at

bλnc

∑k=0

(nk

)pkqn−k ≤ x−λn (px + q)n =

(x−λ (px + q)

)n. (3.5)

Lad ϕ (x) = x−λ (px + q) for x > 0. Nu udføres ekstremumsanalyse af ϕ.

ϕ′(x) = −λx−λ−1 (px + q) + px−λ

= −λpx−λ − λqx−λ−1 + px−λ

= −x−λ−1 (λpx + λq− px)

= −x−λ−1 ((λ− 1) px + λq)

= −x−λ−1 (−µpx + λq) .

Der er ekstremum nar λq − µpx = 0 eller −x−λ−1 = 0. Da ϕ(x) kun er defineret forx > 0, er det kun interessant at se pa det ekstremum, hvor λq− µpx = 0, hvilket netop ernar x = λ

µqp . Da ϕ′

(λµ

qp

)< ϕ′(y) for y > λ

µqp og ϕ′

(λµ

qp

)> ϕ′(y) for y < λ

µqp , er x = λ

µqp

et minimum, og derfor kan ϕ vurderes nedadtil.

Omskrives (3.5) fas, at

bλnc

∑k=0

(nk

)pkqn−k ≤ (ϕ(x))n , hvor 0 < x ≤ 1.

Side 34


Idet λµ

qp ≤ 1⇔ 0 ≤ λ ≤ p kan ovenstaende ulighed betragtes for netop x = λ

µqp , deraf fas

for λ ≤ p, at

bλnc

∑k=0

(nk

)pkqn−k ≤

(ϕ

(λ

µ

qp

))n

=

((λ

µ

qp

)−λ (p(

λ

µ

qp

)+ q))n

=(

λ−λµλq−λ pλ

(λqµ

+ q))n

=(

λ−λµλq−λ pλ(

qµ−1))n

=(

λ−λµλ−1q−λ+1 pλ)n

=(

λ−λµ−µ pλqµ)n

,


Korollar 3.9For p > 0, q > 0, p + q = 1, 0 ≤ λ ≤ p og µ + λ = 1 gælder det for n ∈N og P = (p, q),Λ = (λ, µ), at

bλnc

∑k=0

(nk

)pkqn−k ≤ 2−nD(Λ||P),

hvor D(Λ||P) er den relative entropi med logaritmegrundtallet 2.

BEVIS. Per sætning 3.8 gælder

bλnc

∑k=0

(nk

)pkqn−k ≤ λ−λnµ−µn pλnqµn

=( p

λ

)nλ(

qµ

)nµ

=(

λ

p

)−nλ (µ

q

)−nµ

= 2

(log2

((λp

)−nλ)

+log2

((µq

)−nµ))

= 2−n(

λ log2

(λp

)+µ log2

(µq

))= 2−nD(Λ‖P)

Det sidste lighedstegn fas fra definition 2.8, hvilket er det ønskede resultat.

Sætning 3.10For r ∈N med r ≥ 2 og 0 ≤ λ ≤ r−1

r gælder, at

bλnc

∑k=0

(nk

)(r− 1)k ≤ r(Hr(λ)+λ logr(r−1))n

Side 35


BEVIS. Da

bλnc

∑k=0

(nk

)(r− 1)k =

bλnc

∑k=0

(nk

)(r(

1− 1r

))k

=bλnc

∑k=0

(nk

)(1− 1

r

)k

rk

= rnbλnc

∑k=0

(nk

)(1− 1

r

)k rk

rn

= rnbλnc

∑k=0

(nk

)(1− 1

r

)k 1rnr−k

= rnbλnc

∑k=0

(nk

)(1− 1

r

)k 1rn−k

= rnbλnc

∑k=0

(nk

)(1− 1

r

)k (1r

)n−k

giver sætning 3.8, hvor p := 1− 1r og q := 1

r , at

bλnc

∑k=0

(nk

)(r− 1)k ≤ rnλ−λnµ−µn

(1− 1

r

)λn (1r

)µn

. (3.6)

Bemærk at

λ−λnµ−µn = λ−λn (1− λ)−(1−λ)n

=(

1λ

)λn ( 11− λ

)(1−λ)n

= rλn logr( 1λ )r(1−λ)n logr( 1

1−λ )

= rn(λ logr( 1λ )+(1−λ) logr( 1

1−λ ))

= rnHr(λ,1−λ)

= rnHr(λ),

hvor λ + µ = 1 jf. den tidligere anvendelse af sætning 3.8. Det indsættes i (3.6), sa der fas,at

bλnc

∑k=0

(nk

)(r− 1)k ≤ rnrnHr(λ)

(1− 1

r

)λn (1r

)µn

= r(λ+µ)nrnHr(λ)(

1− 1r

)λn (1r

)µn

= rnHr(λ)rλn(

1− 1r

)λn

rµn(

1r

)µn

= rnHr(λ) (r− 1)λn ,

hvilket giver det ønskede.

For at vise Dataprocesseringsuligheden og Fanos ulighed, er det nødvendigt at introdu-cere Markov-kæder.

Side 36


Definition 3.11 (Markov-kæde)De stokastiske variable X, Y, Z siges at danne en Markov-kæde i den nævnte ræk-kefølge, betegnet X → Y → Z, hvis

p(z | y,x) = p(z | y) for alle x, y, z, sa 0 < p(x,y,z) ≤ 1.


Af definition 3.11 følger visse egenskaber, som nu vil blive vist.

Lemma 3.12(i) Hvis X → Y → Z, sa er p(x, y, z) = p(x)p(y | x)p(z | y).

(ii) X → Y → Z hvis og kun hvis p(x,z | y) = p(x | y)p(z | y).

(iii) X → Y → Z ⇒ Z → Y → X

(iv) Hvis X og Y er stokastiske variable, gælder at X → Y → f (Y), hvor f (Y) betegneren funktion af Y.


BEVIS. Da (i) og (iv) følger per definition 3.11, vises kun de andre to.

(i) p(x,z | y) = p(x,y,z)p(y) = p(x,y)p(z|y)

p(y) = p(x | y)p(z | y)

(ii) Fra (ii) er X → Y → Z ensbetydende med, at betinget Y er X og Z er uafhængige.Derfor gælder der ogsa, at X → Y → Z ⇒ Z → Y → X.

Sætning 3.13 (Chebyshevs ulighed)Lad X være en stokatisk variabel med middelværdi µ og varians σ2. Da gælder forethvert ε > 0 at

P(|X− µ| ≥ εσ) ≤ 1ε2 .

[Olofsson, 2005, sæt. 2.4.7, s. 110]

Sætning 3.14 (De store tals lov – svag udgave)Lad X1, X2, . . . , Xn være en følge af ensfordelte og uafhængige stokastiske variable medmiddelværdien µ og lad

X :=1n

n

∑k=1

Xk

være det aritmetiske gennemsnit. For ethvert ε > 0 gælder da, at

P(∣∣X− µ

∣∣ > ε)→ 0 for n→ ∞.

[Olofsson, 2005, sæt. 4.2.1, s. 270]

Side 37


BEVIS. Antag at Xk har en endelig varians σ. Sa kan Chebyshevs ulighed i sætning 3.13anvendes med c = ε

√n

σ saledes der fas, at

P(∣∣X− µ

∣∣ > ε)≤ σ2

nε2 → 0 for n→ ∞.

Hvis variansen σ = ∞ kan det ogsa vises, men da det jf. [Olofsson, 2005, s. 270] er merekompliceret, vises det ikke her.

Sætning 3.15 (Dataprocesseringsuligheden)Hvis X → Y → Z, sa gælder, at

I(X; Y) ≥ I(X; Z).


BEVIS. Ifølge definition 2.17 af gensidig information gælder, at

I(X; Y,Z) = I(X; Z) + I(X; Y | Z)= I(X; Y) + I(X; Z | Y)= I(X; Y),

da I(X; Z | Y) = 0 jf. definition 2.23, og dermed er sætningen vist.

Sætning 3.16 (Fanos ulighed)Lad X og Y være stokastiske variable. For enhver estimator X := g(Y) saledes X →Y → X gælder, at

Hb (Pe) + Pe logb |X | ≥ Hb

(X|X

)≥ Hb (X|Y) ,

hvor Pe := P(

X 6= X)

betegner fejlsandsynligheden, og alfabetet for X er X og for X

er alfabetet X .

BEVIS. Lad først H := Hb og log := logb. Da X → Y → X, fordi X = g (Y), giver

dataprocesseringsuligheden, at I(X; X) ≤ I(X; Y), og da I(

X; X)

= H (X)− H(

X | X)

og I (X; Y) = H (X)− H (X | Y) følger det, at H(

X | X)≥ H (X | Y).

Derfor skal det nu kun vises, at Hb (Pe) + Pe logb |X | ≥ Hb

(X|X

). Indfør fejlindikator-

variablen

E :=

{1 hvis X 6= X0 hvis X = X.

Kædereglen for entropi i sætning 2.16 giver to udtryk for H(

E, X | X)

afhængigt af, omder tages udgangspunkt i E eller X. Der gælder, at

H(

E, X | X)

= H(

X | X)

+ H(

E | X, X)

(3.7)

= H(

X | X)

Side 38


samt at

H(

E, X | X)

= H(

E | X)

+ H(

X | E, X)

. (3.8)

I (3.7) er H(

E | X, X)

= 0 da der ingen usikkerhed er for E, hvis man bade kender X og

X. I (3.8) er H(

E | X)≤ H(E) = H (Pe), da entropien reduceres givet mere information.

Ydermere gælder, at givet E = 0 er X = X, sa derfor er

H(

X | E, X)

= ∑e∈{0,1}

x∈X

H(

X | E = e, X = x)

P(E = e, X = x)

= ∑x∈X

H(

X | E = 0, X = x)

P(E = 0, X = x)+

∑x∈X

H(

X | E = 1, X = x)

P(E = 1, X = x)

= ∑x∈X

log (|X |) P(E = 1, X = x)

= log (|X |) ∑x∈X

P(E = 1, X = x)

=Pe log (|X |) .

Samlet giver dette, at

H(

X | X)

= H(

E, X | X)

= H(

E | X)

+ H(

X | E, X)

≤ H(Pe) + Pe log (|X |) ,

og sætningen er vist.

Det bemærkes, at hvis X = X , sa er det i stedet logb (|X | − 1), der kan anvendes.

Side 39

KAPITEL 4

KILDEKODNING

I dette kapitel benyttes de introducerede begreber til at foretage kildekodning, der, sombeskrevet i indledningen, gar ud pa at forberede informationen til afsendelse ved at kom-primere det. Dette sker ved at repræsentere informationen ved færre symboler end denegentlige information.

Først er der brug for nogle grundlæggende begreber.

Definition 4.1 (Alfabeter, strenge og r-ære koder)Den endelige mængde A = {a1, a2, . . . , ar} kaldes et kodealfabet, og elementernea1, a2, . . . , ar kaldes symboler.

En streng a over alfabetet A er en endelig følge af elementer fra A, og den skrives som

a = ai1 ai2 · · · aik , hvor ai1 , ai2 , . . . , aik ∈ A.

Den tomme streng, θ, er den entydige streng, der ikke indeholder nogle symboler.

Mængden af alle strenge over A noteres A∗.En r-ær kode er en ikke-tom delmængde C ⊆ A∗, og r kaldes kodens radix. Elementernei C kaldes kodeord.

En kode, hvis alfabet er {0, 1}, kaldes en binær kode, og en kode, hvis alfabet er {0, 1, 2},kaldes en tertiær kode.

Længden af en streng a noteres len (a) og angiver antallet af symboler i strengen.

[Roman, 1992, s. 39–40]

Nar kodens radix ikke er central, vil betegnelsen “r-ær kode” blive erstattet med “kode”.

Definition 4.2 (Diskret hukommelsesfri kanal)En diskret kanal med input Xn og output Yn siges at være hukommelsesfri, hvis

P (Xn = xn, Yn = yn) = P (Xn = xn) P (Yn = yn | Xn = xn) ,

hvor

P (Yn = yn | Xn = xn) :=n

∏i=1

p(yi | xi).

Definition 4.3 (Kanalkapacitet)For en diskret hukommelsesfri kanal defineres kanalkapaciteten K som

K := maxp(x)

I(X; Y).


Side 41

Gruppe G3-117 Kapitel 4. Kildekodning

Sætning 4.4 (Kanalkapacitet for en symmetrisk hukommelsesfri kanal)For en binær symmetrisk hukommelsesfri kanal, gælder at

K = 1− H(p).


BEVIS. Da kanalkapaciteten er defineret som maksimum af den gensidige information,bevises sætningen ved at vurdere den gensidige information opad til. Dermed fas, at

I(X; Y) = H(Y)− H(Y | X)

= H(Y)− ∑x∈X

p(x) ∑y∈Y

p(y | x) log(

1p(y | x)

)= H(Y)− ∑

x∈Xp(x)H(p)

= H(Y)− H(p) ∑x∈X

p(x)

= H(Y)− H(p)≤ 1− H(p),

hvor den sidste ulighed fas da Y er en binær stokastisk variabel.

Lemma 4.5Lad Xn og Yn være henholdsvis input og output til den n’te udvidelse af en diskrethukommelsesfri kanal med kapaciteten K. Da gælder, at

H (Yn | Xn) =n

∑i=1

H (Yi | Xi) ,

samt at

I (Yn; Xn) ≤n

∑i=1

I (Yi; Xi) ≤ nK.

BEVIS. Ifølge lemma 2.15 og definition 4.2 fas, at

H (Yn | Xn) = −E [log (p (Yn | Xn))]

= −E

[log

(n

∏i=1

p (Yi | Xi)

)]

= −E

[n

∑i=1

log (p (Yi | Xi))

]

= −n

∑i=1

E [log (p (Yi | Xi))]

=n

∑i=1

H (Yi | Xi) .

Side 42

Afsnit 4.1: Støjfri koder Gruppe G3-117

Jf. definition 2.17 om gensidig information fas, at

I (Yn; Xn) = H (Yn)− H (Yn | Xn)

= H (Yn)−n

∑i=1

H (Yi | Xi)

= H (Yn)−n

∑i=1

(H (Yi)− I (Yi; Xi))

= H (Yn)−n

∑i=1

H (Yi) +n

∑i=1

I (Yi; Xi) ,

og da [Cover & Thomas, 2006, Sæt. 2.6.1, s. 30] giver, at H (Yn) ≤ ∑ni=1 H (Yi), sa er

H (Yn)−∑ni=1 H (Yi) ≤ 0, hvorved den venstre ulighed er opfyldt. Den højre ulighed er

opfyldt, da kanalens kapacitet er en maksimering af den gensidige information.

4.1 STØJFRI KODER

Dette afsnit omhandler støjfri koder, og indholder vigtige resultater som Krafts sætningog McMillans sætning. Støjfri koder er koder, der anvendes i forbindelse med støjfri ka-naler. Indledningsvist er der brug for en række definitioner.

Definition 4.6 (Kodningsskema)Lad S = (S, P) være en kilde. Et kodningsskema for S er et ordnet par (C, f ), hvor C eren kode og f : S→ C en injektiv funktion, der benævnes kodningsfunktionen.

[Roman, 1992, s. 40]

Definition 4.7 (Gennemsnitslig kodeordslængde)Den gennemsnitslige kodeordslængde af et kodningsskema (C, f ) for en kilde S = (S, P) =({s1, s2, . . . , sn}, P) er defineret ved

AveLen (C, f ) :=n

∑k=1

P(sk)len ( f (sk)) .

[Roman, 1992, s. 40]

Definition 4.8 (Blokkode og kode af variabel længde)Hvis alle kodeord i en kode C har den samme længde, kaldes C en blokkode. Hvis Cindeholder kodeord af forskellig længde kaldes C en kode af variabel længde.

[Roman, 1992, s. 41]

Definition 4.9 (Entydig kode)En kode C er entydig hvis, c1, . . . , cm og d1, . . . , dn er kodeord i C og c1 · · · cm = d1 · · · dn,sa m = n og ck = dk for alle k ∈ {1, . . . , m}.

[Roman, 1992, s. 43]

Side 43

Gruppe G3-117 Afsnit 4.1: Støjfri koder

Definition 4.10 (Momentan kode)En kode siges at være momentan, hvis ethvert kodeord i enhver streng af kodeord kandekodes ved læsning fra venstre mod højre løbende, sa snart koden modtages.

[Roman, 1992, s. 43]

Bemærk at hvis en kode er momentan, er den entydig.

Definition 4.11 (Mindste gennemsnitlige kodeordslængde)MinAveLenr(p1, . . . ,pn) betegner den mindste gennemsnitlige kodeordslængde blandtalle r-ære, momentane koder for sandsynlighedsfordelingen (p1, . . . ,pn).

Definition 4.12 (Optimal kode)En optimal, r-ær kode for en sandsynlighedsfordeling (p1, . . . ,pn) er en r-ær momentankode (c1, . . . ,cn), hvor der gælder, at

AveLen(c1, . . . ,cn) = MinAveLenr(p1, . . . ,pn).

Definition 4.13 (Præfiksegenskab)En kode siges at have præfikegenskaben, hvis intet kodeord er et præfiks af enhvertandet kodeord; sa nar c = x1 · · · xn er et kodeord, sa er x1 · · · xk ikke et kodeord for1 ≤ k < n.

[Roman, 1992, s. 43]

Sætning 4.14 (Momentan kode ensbetydende med præfikskode)En kode er momentan, hvis og kun hvis koden har præfiksegenskaben.

[Roman, 1992, sæt. 2.1.1, s. 44]

Sætning 4.15 (Krafts sætning)Der eksisterer en r-ær momentan kode C over alfabetet A med kodeordslængdernel1, l2, . . . , ln, hvis og kun hvis

n

∑k=1

1rlk≤ 1,

hvilket kaldes Krafts ulighed.

[Roman, 1992, sæt. 2.1.2, s. 44]

BEVIS. Antag at C er en r-ær momentan kode over alfabetet A med kodeordslæng-derne l1, l2, . . . , ln. Antag uden tab af generalitet, at lmax = len (cn), hvor lmax :=max{l1, l2, . . . , ln}. Hvis ci = x1x2 · · · xli ∈ C betragtes for i ∈ {1, 2, . . . , n − 1}, kan ciforlænges, saledes at

c′i = x1x2 · · · xli yli+1yli+2 · · · ylmax for yli+1, yli+2, . . . , ylmax ∈ A,

Side 44


hvorved ci er præfiks af c′i og len (c′i) = ln. Da C er en momentan kode, er den jf. sætning4.14 præfiksfri.

Der findes altsa rln−li mader at forlænge ci pa, idet i holdes fast. Til hvert af kodeordenec1,c2, . . . ,ci, . . . ,cn er der rlmax−li forskellige kodeord af længde lmax. Sa findes der ∑n

i=1 rln−li

mulige kodeord af længde lmax. Pa den anden side findes der i alt rlmax kodeord af længdelmax. Derfor gælder der, at

n

∑i=1

rln−li ≤ rln ⇒ rlnn

∑i=1

r−li ≤ rln ,

hvilket betyder, at

n

∑i=1

1rli≤ 1.

for r ≥ 2 og li ∈N0 for alle i ∈ {1, 2, . . . , n}.Antag nu pa den anden side, at r, l1, l2, . . . , ln ∈ N med r ≥ 2 og ∑n

k=11

rlk≤ 1. Indfør nu

hjælpestørrelsen αj, der betegner antallet af ord med længden j.

Der skal nu benyttes α1 ord af længden 1, hvilket kan gøres ved at vælge de første α1symboler. Det er ogsa muligt, hvis α1 ≤ r. For at konstruere α2 ord med længde 2, skaldisse vælges, saledes at ingen af de α1 symboler er præfiks, da koden sa ikke ville værepræfiksfri. Sa ud af de r2 mulige ord med længden 2 over A, skal der ses bort fra de rα1,der er benyttet til at lave de α1 ord med længden 1. Dermed kan der laves α2 kodeordmed længden 2 ud af r2 − rα1 mulige. Som før er det tilstrækkeligt , at

α2 ≤ r2 − rα1,

hvilket er ensbetydende med, atα2 + rα1 ≤ r2.

For at lave α3 kodeord med længden 3 er det som før et krav, at ingen af de r2α1 kodeordmed længden 3 starter med nogle af de α1 kodeord fra kontruktionen af α1 kodeord ogheller ikke med nogle af de rα2 kodeord fra konstruktionen af α2 kodeord. Igen er dettilstrækkeligt, at

α3 ≤ r3 − rα2 − r2α1,

hvilket er ensbetydende med, at

α3 + rα2 + r2α1 ≤ r3.

Ved at fortsætte fremgangsmaden fas et system af uligheder givet ved

α1 ≤ r (4.1)

α2 + rα1 ≤ r2

α3 + rα2 + r2α1 ≤ r3

...

αm + rαm−1 + · · ·+ rm−2α2 + rm−1α1 ≤ rm.

Konstruktionen er mulig, hvis ulighederne i systemet er opfyldt. Det vises nu, at densidste ulighed medfører den forrige, dvs. at hvis

αm + rαm−1 + · · ·+ rm−2α2 + rm−1α1 ≤ rm ⇒αm−1 + rαm−2 + · · ·+ rm−3α3 + rm−2α2 ≤ rm−1,

Side 45

Gruppe G3-117 Afsnit 4.1: Støjfri koder

sa kan der konstrueres en præfiksfri kode. Implikationen gælder for r ≥ 2, da

rm−1 =rm

r

≥ αm + rαm−1 + · · ·+ rm−2α2 + rm−1α1

r=

αm

r+ αm−1 + · · ·+ rm−3α2 + rm−2α1

≥ αm−1 + · · ·+ rm−3α2 + rm−2α1.

Det ses desuden at sidste ulighed i (4.1) er ækvivalent med Krafts ulighed, idet den veddivision med rm fas til

1 ≥ αm

rm +rαm−1

rm + · · ·+ rm−2α2

rm +rm−1α1

rm =m

∑k=1

αk

rk =n

∑i=1

1rli

,

hvor gyldigheden af det sidste lighedstegn fas ved substitution.

I forbindelse med eksistens af entydige koder er det interessant at kigge pa nødvendigeog tilstrækkelige betingelser. Da enhver momentan kode er entydig, er Krafts ulighed entilstrækkelig betingelse. At Krafts ulighed er en nødvendig betingelse kommer af McMil-lans sætning, der dermed giver, at man ikke taber noget ved at arbejde med præfikskoder.

Sætning 4.16 (McMillans sætning)Hvis koden C = {c1, c2, . . . , cn} er en entydig r-ær kode, sa opfylder længdernel1, l2, . . . , ln for kodeordene i C Krafts ulighed, saledes at

n

∑k=1

1rlk≤ 1.

[Roman, 1992, sæt. 2.1.3, s. 48]

BEVIS. Antag at αk er antallet af kodeord i C med længden k. Der gælder da, at

n

∑k=1

1rlk

=m

∑k=1

αk

rk ,

hvor m er den maksimale kodeordslængde. For u ∈N betragtes nu udtrykket(m

∑k=1

αk

rk

)u

=(α1

r+ · · ·+ αm

rm

)u

=m

∑i1=1

(· · ·(

m

∑iu=1

αi1ri1· · · αiu

riu

))= ∑

i1,...,iu1≤ij≤m

αi1ri1· · · αiu

riu

= ∑i1,...,iu

1≤ij≤m

αi1 · · · αiu

ri1+···+iu

Side 46


Da 1 ≤ ij ≤ m for j ∈ {1, . . . , u}, er u ≤ i1 + · · · + iu ≤ um. Led med fælles sumi1 + · · ·+ ii kan samles, hvorved det fas, at(

m

∑k=1

αk

rk

)u

=um

∑k=u

(∑

i1+···+iu=kαi1 · · · αiu

)1rk

=um

∑k=u

Nk

rk ,

hvor

Nk = ∑i1+···+iu=k

αi1 · · · αiu .

Nk er dermed det totale antal strenge af længden k, der fremkommer ved at sammensætteu kodeord. Betragt nu

N = {x = c1 · · · cu | ci ∈ C, len (x) = k},

som netop er mængden af alle de førnævnte strenge, dvs. Nk = |N |. Ethvert x =c1 · · · cu ∈ N kan anses for at være en streng af længde k over det r-ære alfabet A. DaC er entydig, er der ikke to strenge i N , som kan være starten pa en streng i A∗, og dader er rk strenge i A∗, fas

Nk = |N | ≤ rk,

og dermed, at (m

∑k=1

αk

rk

)u

≤um

∑k=u

rk 1rk

=um

∑k=u

1

≤ um.

Da dette gælder for alle u ∈N, kan der tages den u’te rod, saledes at

m

∑k=1

αk

rk ≤ u1u m

1u .

Det er nu muligt at tage grænseværdien, hvorved m1u → 1 for u → ∞. Betragt nu om-

skrivningen

u1u = eln(u)

1u = e

1u ln(u),

og benyt l’Hopitals regel pa eksponenten, hvorved der fas

limu→∞

ln(u)u

= limu→∞

(ln(u))′

u′= lim

u→∞

1u1

= limu→∞

1u

= 0.

Da e1u ln(u) → 1 haves, at m

1u u

1u → 1 for u→ ∞ og saledes fas, at

n

∑k=1

1rlk

=m

∑k=1

αk

rk ≤ 1,

hvilket netop er det ønskede.

Side 47

Gruppe G3-117 Afsnit 4.2: Kildekodningssætningen

4.2 KILDEKODNINGSSÆTNINGEN

Sætning 4.17Lad C = (c1, . . . ,cn) være en r-ær entydig kode for en sandsynlighedsfordeling P =(p1, . . . ,pn). Sa gælder der, at

Hr(p1, . . . ,pn) ≤ AveLen (c1, . . . ,cn) ,

hvor der gælder lighedstegn hvis og kun hvis len (ci) = logr1pi

.

[Roman, 1992, sæt. 2.3.1, s. 62]

BEVIS. Da C er entydig gælder Krafts ulighed. Dvs. koden opfylder, at

n

∑i=1

1rli≤ 1.

Vælges qi = 1rli

, haves der jf. lemma 2.7, at

Hr(p1, . . . ,pn) =n

∑i=1

pi logr1pi≤

n

∑i=1

pi logr1qi

=n

∑i=1

pi logr rli =n

∑i=1

pili = AveLen (c1, . . . ,cn) ,

hvor lighedstegnet gælder hvis og kun hvis qi = pi, dvs. hvis og kun hvis pi = 1rli

ellerli = logr

1pi

.

Sætning 4.18 (Kildekodningssætningen)For enhver sandsynlighedsfordeling P = (p1, . . . ,pn) gælder der, at

Hr(p1, . . . ,pn) ≤ MinAveLenr (p1, . . . ,pn) < Hr(p1, . . . ,pn) + 1.

[Roman, 1992, sæt. 2.3.2, s. 64]

BEVIS. Lad li = dlogr1pie. Sa gælder der, at

logr1pi≤ li < logr

1pi

+ 1. (4.2)

Det venstre ulighedstegn medfører, at pi ≥ 1rli

. Altsa ma der gælde, at

n

∑i=1

1rli≤

n

∑i=1

pi = 1.

Dvs. at Krafts ulighed er opfyldt. Derfor eksisterer der sa en r-ær entydig kode C =(c1, . . . ,cn) for sandsynlighedsfordelingen P = (p1, . . . ,pn), hvorfor der jf. sætning 4.17gælder, at

Hr(p1, . . . ,pn) ≤ AveLen (c1, . . . ,cn) . (4.3)

Side 48

Afsnit 4.3: Huffman-kodning Gruppe G3-117

Det højre ulighedstegn i (4.2) giver, at den gennemsnitlige ordlængde for C opfylder, at

AveLen (C) =n

∑i=1

pili <n

∑i=1

pi

(logr

1pi

+ 1)

=n

∑i=1

pi logr1pi

+n

∑i=1

pi = Hr(p1, . . . ,pn) + 1.

Sammen med (4.3) fas, at

Hr(p1, . . . ,pn) ≤ AveLen (C) < Hr(p1, . . . ,pn) + 1.

Den mindste gennemsnitlige ordlængde ma saledes opfylde, at

Hr(p1, . . . ,pn) ≤ MinAveLenr (p1, . . . ,pn) < Hr(p1, . . . ,pn) + 1,

hvilket beviser det ønskede.

4.3 HUFFMAN-KODNING

Dette afsnit er baseret pa [Roman, 1992, afsnit 2.2].

Huffman-kodning er en metode til at konstruere effektive momentane koder. Kodningenudføres ved at lave sakaldte Huffman-reduktioner og -udvidelser, som vi vil introduceregennem et eksempel. Efter eksemplet udvides fremgangsmaden til en generel algoritme.

Vi vil nu konstruere en tertiær Huffman-kode for sandsynlighedsfordelingen

P = (0,09; 0,17; 0,03; 0,22; 0,02; 0,07; 0,29; 0,11),

der bestar af 8 sandsynligheder.

Der skal nu laves de førnævnte Huffman-reduktioner, der gar ud pa at reducere de 8sandsynligheder til 3, da det er en tertiær kode, der betragtes i dette eksempel. Alle re-duktioner, undtaget muligvis den første, skal have størrelsen r = 3, da det er en tertiærkode, der konstrueres. Størrelsen af første reduktion skal vælges, sa sidste kolonne farr sandsynligheder for en r-ær kode. Da en reduktion af størrelse s reducerer antallet afsandsynligheder med s− 1, og da 8− (2− 1)− (3− 1)− (3− 1) = 3, er det klart, at førstereduktion skal have størrelsen 2. Vi introducerer senere en formel til at beregne størrelsenaf første reduktion.

Betragt figur 4.1. Først arrangeres sandsynlighederne i faldende rækkefølge, som illu-streret i første kolonne. Derefter erstattes de to mindste sandsynligheder med deres sum,og de resulterende sandsynligheder arrangeres i en ny kolonne i faldende rækkefølge.Summen skal markeres, da det senere er nødvendigt at kunne genkende den for at kun-ne folde summen ud til de oprindelige sandsynligheder. Typisk skrives et symbol vedsummen, men vi har her valgt at bruge pile mellem kolonnerne. Processen med at kom-binere de to mindste sandsynligheder til en sandsynlighed kaldes en Huffman-reduktionaf størrelse 2.

Næste skridt er at lave en Huffman-reduktion af størrelse 3. Resultatet ses i tredje ko-lonne pa figur 4.1. Resten af tabellen fas ved at lave Huffman-reduktioner af størrelse3, indtil antallet af sandsynligheder er reduceret til 3. Efter hver reduktion arrangeressandsynlighederne i faldende rækkefølge.

Ved at arbejde fra højre mod venstre kan der nu konstrueres kodeord for sandsynlighed-erne. Dette kan gøres i samme tabel som pa figur 4.1, men for at tydeliggøre processen

Side 49

Gruppe G3-117 Afsnit 4.3: Huffman-kodning

0,29 0,290,220,170,110,090,070,030,02

0,220,170,110,090,070,05

0,290,220,210,170,11

0,490,290,22

S K S K S K S K

Figur 4.1 – Huffman-reduktioner. S = Sandsynligheder, K = Kodeord.

0,29 0,290,220,170,110,090,070,030,02

0,220,170,110,090,070,05

0,290,220,210,170,11

0,490,290,22

S K S K S K S K012

020100211

20102000001002

12010200000100200021

Figur 4.2 – Huffman-udvidelser. S = Sandsynligheder, K = Kodeord.

gøres dette i en separat tabel pa figur 4.2. Først tildeles de r = 3 sandsynligheder i sidstekolonne kodeordene 0,1, . . . ,r − 1. Derefter tildeles der kodeord til den anden sidste K-kolonne ved at udvide kodeordet for summen i den sidste kolonne. Udvidelsen foregarved at sammensætte summens kodeord med symbolerne 0,1, . . . ,r − 1. Pa figur 4.2 ersummen 0,49 med kodeordet 0. Summen 0,49 splittes op i sandsynlighederne 0,21, 0,17og 0,11, der far kodeordene hhv. 00, 01 og 02. Udvidelserne fortsættes mod venstre, indtilførste K-kolonne pa figur 4.2 opnas. Koden bestaende af kodeordene i denne kolonne erden ønskede Huffman-kode, som ses at være en momentan kode.

Vi kan antage, at kodealfabetet er {0,1, . . . ,r − 1}, da vi har at gøre med r-ære koder.Følgende kan observeres ud fra det indledende eksempel. Lad P = (p1, . . . ,pn) være ensandsynlighedsfordeling. Ved at udføre en Huffman-reduktion af størrelse s fas sandsyn-lighedsfordelingen

Q = (p1, . . . ,pn−s,q),

hvor q = pn−s+1 + · · ·+ pn. Antag at D = (c1, . . . ,cn−s,d) er en optimal kode for fordelin-gen Q. Sa kan koden

C = (c1, . . . ,cn−s,d0,d1, . . . ,d(s− 1))

for (p1, . . . ,pn) konstrueres ved at udvide kodeordet d til s kodeord d0,d1, . . . ,d(s − 1),der alle har en længde, som vi kalder L. Koden C har præfiksegenskaben og er derfor enmomentan kode.

Da

AveLen(D) =n−s

∑i=1

pilen (ci) + qlen (d)

Side 50


og

AveLen(C) =n−s

∑i=1

pilen (ci) +n

∑i=n−s+1

pi(len (d) + 1)

=n−s

∑i=1

pilen (ci) + q(len (d) + 1)

= AveLen(D) + q

haves, idet D er optimal, at

MinAveLenr(p1, . . . ,pn) ≤ AveLen(C)= AveLen(D) + q= MinAveLenr(p1, . . . ,pn−s,q) + q. (4.4)

Fra (4.4) og definition 4.12 ses, at C er optimal hvis og kun hvis

MinAveLenr(p1, . . . ,pn) = MinAveLenr(p1, . . . ,pn−s,q) + q. (4.5)

Vi vil nu vise, at (4.5) er opfyldt ved at vise, at den omvendte ulighed af (4.4) er opfyldt,saledes at

MinAveLenr(p1, . . . ,pn) ≥ MinAveLenr(p1, . . . ,pn−s,q) + q. (4.6)

Nar dette er vist, sa ved vi, at de gentagne udvidelser, der udføres i forbindelse medHuffman-kodning, giver optimale koder.

Lad C = (c1, . . . ,cn) være en optimal kode for (p1, . . . ,pn) og lad L være den maksimalelængde af kodeordene i C. Hvis C har s kodeord pa formen

d0,d1, . . . ,d(s− 1) (4.7)

for et eller andet d, og hvis C ikke har andre kodeord med d som præfiks, sa kan Creduceres til koden

D = (c1, . . . ,cn−s,d)

for (p1, . . . ,pn−s,q). Det medfører, vha. definition 4.7 og definition 4.12, at

MinAveLenr(p1, . . . ,pn−s,q) ≤ AveLen(D)

=n−s

∑i=1

pili + (L− 1)q

=n

∑i=1

pili − q

= AveLen(C)− q= MinAveLenr(p1, . . . ,pn)− q,

hvilket viser, at (4.6) er opfyldt.

Nu mangler vi kun at vise, at der altid findes en optimal kode C = (c1, . . . ,cn) med kode-ord pa formen (4.7). Der indledes med nogle bemærkninger om reduktionsstørrelsen.

Som beskrevet tidligere skal størrelsen af den første reduktion vælges, sa den sidste ko-lonne med sandsynligheder har størrelsen r. Størrelsen pa de efterfølgende reduktionerer altid r. En reduktion af størrelse t reducerer antallet af sandsynligheder med t− 1, sa

Side 51

Gruppe G3-117 Afsnit 4.3: Huffman-kodning

hvis s er størrelsen af første reduktion og u er antallet af efterfølgende reduktioner afstørrelse r, sa haves

n− (s− 1)− u(r− 1) = r ⇔ s = n− (u + 1)(r− 1).

Da 2 ≤ s ≤ r, kan s altsa bestemmes entydigt af betingelsen

s ≡ n mod (r− 1) og 2 ≤ s ≤ r.

Bemærk at for binær Huffman-kodning er s = r = 2, sa alle reduktioner har størrelsen 2.

Sætning 4.19Lad P = (p1, . . . ,pn) være en sandsynlighedsfordeling, hvor p1 ≥ p2 ≥ · · · ≥ pn. Saeksisterer der en optimal, r-ær kode C = (c1, . . . ,cn) for P, som har s kodeord af denmaksimale længde L pa formen

d0,d1, . . . ,d(s− 1).

Der er ikke flere kodeord med d som præfiks, og s er bestemt ved

s ≡ n mod (r− 1), 2 ≤ s ≤ r. (4.8)

Heraf følger, at

MinAveLenr(p1, . . . ,pn) = MinAveLenr(p1, . . . ,pn−s,q) + q,

hvor q = pn−s+1 + · · ·+ pn.

[Thommesen, 2008a, “Transp3”]

BEVIS. Ved om nødvendigt at ombytte kodeord kan vi antage, at

l1 ≤ · · · ≤ ln = L,

hvor li := len (ci) for alle i ∈ {1, 2, . . . , n}. Lad

K :=n

∑i=1

r−li .

Da C er momentan, sa gælder ifølge sætning 4.15, at K ≤ 1. Der gælder desuden, atK − r−L + r−(L−1) > 1, hvor kodens samlede ordlængde er gjort mindre ved udskifteet ord af længde L med et ord af længde L − 1, da C ellers ikke ville være optimal jf.definition 4.12.

Altsa fas, at

r−L − r−(L−1) + 1 < K ≤ 1,

hvilket kan omskrives til

rL − r + 1 < rLK ≤ rL.

Det vil sige, at der findes et α ∈ {2, . . . ,r}, saledes at

rLK = rL − r + α. (4.9)

Side 52


Der gælder desuden, at

rLK = rLn

∑i=1

r−li =n

∑i=1

rL−li ≡ n mod (r− 1),

hvilket sammen med (4.8) og (4.9) medfører, at

α ≡ s mod (r− 1).

Da 2 ≤ α ≤ r og 2 ≤ s ≤ r gælder der, at α = s og at rLK = rL − r + s. Altsa fas, at

rLK ≡ s mod r. (4.10)

Lad nu k være antallet af kodeord af maksimal længde. Sa gælder der, at

rLK =n−k

∑i=1

rL−li +n

∑i=n−k+1

rL−li

=n−k

∑i=1

rL−li +n

∑i=n−k+1

rL−L

=n−k

∑i=1

rL−li +n

∑i=n−k+1

1

=n−k

∑i=1

rL−li + k

≡ k mod r.

Det giver sammen med (4.10), at

k ≡ s mod r,

hvilket medfører, at

k = s + tr, t ∈N0.

Altsa medfører udvidelserne, der blev omtalt i det indledende eksempel, at d0,d1, . . . ,d(s−1) er de eneste ord, der har d som præfiks.

Sidste del af sætningen er vist tidligere – se ligning (4.4) og (4.6).

Følgende resultat følger direkte af sætning 4.19.

Korollar 4.20Hvis D = (c1, . . . ,cn−s,d) er en optimal kode for sandsynlighedsfordelingen Q =(p1, . . . ,pn−s,q), sa er C = (c1, . . . ,cn−s,d0,d1, . . . ,d(s − 1)) en optimal kode for sand-synlighedsfordelingen P = (p1, . . . ,pn).

Side 53

Gruppe G3-117 Afsnit 4.4: Universel kildekodning

Sætning 4.21 (Huffmans algoritme)Betragt følgende rekursive algoritmeH, der producerer en r-ær kode C for sandsynlig-hedsfordelingen P.

(i) Hvis P = (p1, . . . ,pn), hvor n ≤ r, sa lad C := (0, . . . ,n− 1).

(ii) Hvis P = (p1, . . . ,pn), hvor n > r, sa

(a) Omnummerer om nødvendigt sandsynlighederne i P, saledes at p1 ≥ p2 ≥· · · ≥ pn.

(b) Bestem s, sa 2 ≤ s ≤ r og s ≡ n mod (r − 1), og lad Q := (p1, . . . ,pn−s,q),hvor q := pn−s+1 + · · ·+ pn.

(c) UdførH pa Q og fa derved koden

D = (c1, . . . ,cn−s,d).

(d) Lad C være bestemt ved

C := (c1, . . . ,cn−s,d0,d1, . . . ,d(s− 1)).

Sa er koden C optimal.

BEVIS. Sætningen bevises ved induktion i n (størrelsen af sandsynlighedsfordelingen).Det er klart, at resultatet gælder for n ≤ r, da koden C = (0,1, . . . ,n− 1) blot kan vælges.Antag at resultatet gælder for alle sandsynlighedsfordelinger af længde mindre end n ogbetragt koden C = (c1, . . . ,cn) for (p1, . . . ,pn), lavet afH.

Da |Q| < n, medfører induktionsantagelsen, at D er optimal (Q og D kommer fra skridt(ii).(c)). Dvs. D er en momentan kode, og ifølge korollar 4.20 gælder der, at

AveLen(D) = MinAveLenr(p1, . . . ,pn−s,q) = MinAveLenr(p1, . . . ,pn)− q.

Da D er en momentan kode, sa er C ogsa. Endeligt gælder der, at

AveLen(C) = AveLen(D) + q = MinAveLenr(p1, . . . ,pn),

hvilket medfører, at C er optimal.

4.4 UNIVERSEL KILDEKODNING

Dette afsnit er baseret pa [Thommesen, 2008a, “Universel kildekodning – Eksempel”].

Det specielle ved universel kildekodning er, at metoden koder et ord uden at kende sand-synlighedsfordelingen for symbolerne i kildealfabetet. Vi præsenterer her en binær uni-versel kildekodningsalgoritme.

Side 54

Afsnit 4.4: Universel kildekodning Gruppe G3-117

ALGORITME 4.22 (BINÆR UNIVERSEL KILDEKODNING).Lad X1,X2, . . . ,XN være uafhængige, ensfordelte stokastiske variable med kildealfabetetX = {0,1}, p = P(Xi = 1) og entropien H2(p). Bemærk at p er ukendt. Lad desudenXN = (X1,X2, . . . ,XN).

For xN = (x1,x2, . . . ,xN) tæller t = x1 + x2 + · · ·+ xN antallet af ettere i xN .

Det binære kodeord for xN bestar af to sekvenser efter hinanden:

(i) t angivet med dlog2(N + 1)e binære cifre.

(ii) Nummeret pa xN blandt de (Nt ) mulige sekvenser af længde N med t ettere. Dette

nummer angives med dNH2( t

N

)e binære cifre.

[Thommesen, 2008a, “Universel kildekodning - Eksempel”]

Betragt følgende eksempel, hvor algoritme 4.22 anvendes.

Eksempel 4.23Vi vil foretage en binær universel kildekodning af ordet 10101111. Ordet er 8 symbolerlangt, sa N = 8. Da t = 6 og dlog2(9)e = 4 følger det af punkt (i) i algoritme 4.22, atførste del af kodeordet bliver 0110. Der er (8

6) = 28 mulige sekvenser af længde 8 med 6ettere:

1. 00111111 8. 10011111 15. 11010111 22. 111011102. 01011111 9. 10101111 16. 11011011 23. 111100113. 01101111 10. 10110111 17. 11011101 24. 111101014. 01110111 11. 10111011 18. 11011110 25. 111101105. 01111011 12. 10111101 19. 11100111 26. 111110016. 01111101 13. 10111110 20. 11101011 27. 111110107. 01111110 14. 11001111 21. 11101101 28. 11111100

Ordet 10101111 er nummer 9. Da d8H2( 6

8

)e = 7, sa følger af punkt (ii) i algoritme 4.22,

at sidste del af kodeordet bliver 0001001. Altsa bliver kodeordet 01100001001. Bemærkat det kun er nødvendigt at kende N for at dekode kodeordet.

Nu følger to resultater om universel kildekodning.

Sætning 4.24Nummereringen, der foretages i punkt (ii) i algoritme 4.22, er altid mulig.


BEVIS. Fra sætning 3.7 haves (Nt

)≤ 2NH2( t

N ),

hvilket giver resultatet direkte.

Side 55

Gruppe G3-117 Afsnit 4.4: Universel kildekodning

Sætning 4.25Lad X1,X2, . . . ,XN være uafhængige, ensfordelte stokastiske variable med kildealfabetetX = {0,1}, p = P(Xi = 1) og entropien H2(p). Lad desuden XN = (X1,X2, . . . ,XN).

Idet L angiver længden af det kodeord, der er produceret til ordet xN med algoritme4.22, sa gælder

1N

E[L] ≤ H2(p)

for N → ∞.


BEVIS. Sæt T := X1 + X2 + · · ·+ XN . Bemærk at

E[

TN

]=

E [X1] + · · ·+ E [XN ]N

=p + · · ·+ p

N= p. (4.11)

Længderne af kodeordets dele i algoritme 4.22 giver, sammen med sætning 3.5 (Jensensulighed) og (4.11), en øvre grænse for middelordlængden per kildesymbol:

1N

E[L] ≤ 1N

(log2(N + 1) + 1 + E

[NH2

(TN

)]+ 1)

≤ 1N

(log2(N + 1) + 2 + NH2

(E[

TN

]))=

log2(N + 1)N

+2N

+ H2(p), (4.12)

hvor højresiden i (4.12) gar mod H2(p) for N → ∞.

Af sætning 4.25 kan konkluderes, at middelordlængden per kildesymbol nærmer sig kil-dens entropi, nar ordlængden gar mod uendeligt, hvilket er optimalt ifølge sætning 4.18(Kildekodningssætningen).

Side 56

KAPITEL 5

KANALKODNING

Kanalkodning anvendes til at beskytte information, der sendes via en støjfyldt kanal.Dette gør det muligt at rette op til et antal fejl (afhængigt af koden), der matte være frem-kommet under transmissionen. I dette kapitel introduceres generelle kanalkodningsprin-cipper, og i kapitel 6 behandles en konkret type koder kaldet Reed-Solomon koder.

Indledningsvist introduceres begrebet lineære koder. Vi antager, at Fq er et endeligt lege-me med q elementer, og Fn

q :={(x1,x2, . . . ,xn) | xi ∈ Fq, i ∈ {1, 2, . . . , n}

}.

Det bemærkes, at Fnq er et vektorrum over skalarlegemet Fq.

Definition 5.1 (Blokkode)En blokkode C er en delmængde af Fn

q , som bestar af M kodeord ci ∈ Fnq ,

C = {c1,c2, . . . ,cM}ci = (ci,0,ci,1, . . . ,ci,n−1),

for i = 1, . . . ,M.

[Justesen & Høholdt, 2004, s. 1]

Oftest kaldes blokkoder blot for koder. Kodeord med n indgange og siges at have læng-den n.

Definition 5.2 (Lineær kode)En kode C kaldes en lineær (n,k)-kode, hvis C er et underrum af Fn

q og dim C = k.

[Justesen & Høholdt, 2004, def. 1.1.1, s. 2]

Da en kode C er en endelig mængde kan man selvfølgelig beskrive den ved at opremsealle elementerne. Da en lineær blokkode er et vektorrum, er det dog nærliggende at be-skrive den vha. en basis bestaende af k lineært uafhængige kodeord. Bemærk desuden atantallet af forskellige kodeord er givet ved M = qk, da dette netop er antallet af muligelinearkombinationer af de k kodeord, som udgør en basis for koden C.

Definition 5.3 (Generatormatrix)En generatormatrix G for en lineær (n,k) blokkode C er en en k× n-matrix, hvor ræk-kerne er lineært uafhængige vektorer i C.


Bemærk at da dim C = k, udgør de k lineært uafhængige rækker i en generatormatrixfor C en basis for C. Bemærk ogsa, at da der kan findes forskellige basis for en lineærblokkode, kan der ogsa findes forskellige generatormatricer for en sadan. Systematiskindkodning fas ved generatormatricen pa formen G = [Ik Ak×n−k].

Ethvert kodeord c ∈ C kan endvidere skrives pa formen c = uG, hvor u ∈ Fkq.

Side 57

Gruppe G3-117 Kapitel 5. Kanalkodning

Definition 5.4 (Paritetstjek)Et paritetstjek h for en lineær kode C er en vektor h ∈ Fn

q , hvorom der gælder, at

GhT = 0.


Det ses at mængden af paritetstjek for C er kernen af den lineære afbildning T : h 7→ GhT.Da T er en lineær afbildning fra Fn

q er mængden af paritetstjek for C et underrum af Fnq

jf. [Axler, 1997, prop. 3.1].

Billedet af T er det underrum af Fkq som udspændes af søjlerne i G. Dimensionen af bille-

det er altsa lig søjlerangen af G. Da matricer har samme række- og søjlerang, og rækkernei G udgør en basis for C, er dim range T = dim C = k, og da dimensionsformlen jf. [Axler,1997, sæt. 3.4] giver, at

dim Fnq = dim kerT + dim rangeT,

sa er dimensionen af nulrummet for T lig n− k.

Da mængden af paritetstjek for en lineær (n,k) blokkode C saledes udgør et vektorrum,er det nærliggende at beskrive den vha. en basis bestaende af n− k lineært uafhængigeparitetstjek.

Definition 5.5 (Paritetstjekmatrix)En paritetstjekmatrix H for en (n,k)-kode C er en (n− k)× n-matrix, hvis rækker bestaraf lineært uafhængige paritetstjek.


Jf. definitionen af en paritetstjekmatrix H gælder der, at GHT = 0k×(n−k), og herved fasder ved systematisk indkodning, at H = [−AT I(n−k)×(n−k)].

Definition 5.6 (Syndrom)Lad H være en paritetstjekmatrix for en lineær (n,k)-kode C, og lad r ∈ Fn

q , da er syn-dromet s givet ved

s = HrT.


Det modtagne kodeord r, kan skrives som r = c + e, hvor e kaldes fejlmønstret, sa derforer s = HrT = H(c + e)T = HeT, idet s = HcT = 0. Dette gælder, da ethvert kodeord erortogonal med ethvert paritetstjek. Syndromet afhænger altsa kun af fejlmønstret.

Side 58

Kapitel 5. Kanalkodning Gruppe G3-117

Definition 5.7 (Dualkode)Lad C være en blokkode, da kaldes mængden

C⊥ :={

x ∈ Fnq | ∀c ∈ C : x · c = 0

}dualkoden for C.


Det viser sig at ogsa denne mængde udgør et underrum af Fnq . Faktisk det samme under-

rum som udspændes af mængden af paritetstjek.

Sætning 5.8Lad C være en lineær (n,k)-kode over Fn

q og lad G være en generatormatrix for C. Da er

{x ∈ Fnq | Gx> = 0} = C⊥,

og C⊥ er et (n− k)-dimensionalt underrum i Fnq .

BEVIS. Lad x ∈ Fq og rækkerne i G være navngivet g1,g2, . . . ,gk og bemærk at

Gx> = 0⇔

g1 · x = 0g2 · x = 0

...gk · x = 0

. (5.1)

Det medfører, at (u1g1 + u2g2 + · · · + ukgk) · x = 0 for alle u1,u2, . . . ,uk ∈ Fq, og dag1,g2, . . . ,gk er en basis for koden C fas , at x · c = 0 for alle c ∈ C. Per definition af C⊥ erdet hermed vist, at

{x ∈ Fnq | Gx> = 0} ⊆ C⊥.

Antag, at x · c = 0 for alle c ∈ C. Rækkerne g1,g2, . . . ,gk er ogsa kodeord i C, sa x · g1 =x · g2 = · · · = x · gk = 0, hvilket kombineret med (5.1) viser

{x ∈ Fnq | Gx> = 0} ⊇ C⊥.

Bemærk at {x ∈ Fnq | Gx> = 0} er mængden af paritetstjek for C, som vi tidligere har

gjort rede for er et (n− k)-dimensionalt underrum af Fnq .

Det bemærkes at rækkerne i paritetstjekmatricen for C udgør en basis for C⊥, og det sesdesuden, at mængden af paritetstjek kun afhænger af koden C og ikke af den specieltvalgte generatormatrix G.

Ved hjælp af dette resultat kan vi nu vise følgende egenskab ved koder og deres dual.

Sætning 5.9Lad C være en lineær (n,k)-kode over Fn. Sa gælder der, at(

C⊥)⊥

= C.

Side 59

Gruppe G3-117 Kapitel 5. Kanalkodning

BEVIS. Jf. definition 5.7 haves, at(C⊥)⊥

={

x ∈ Fnq | ∀c ∈ C⊥ : x · c = 0

}.

Hvis x ∈ C, gælder der at x · c = 0 for alle c ∈ C⊥, og sa er

C ⊆(

C⊥)⊥

. (5.2)

Sætning 5.8 giver, idet dim C = k, at dim C⊥ = n− k, og igen at

dim(

C⊥)⊥

= n− (n− k) = k.

Altsa har C og(C⊥)⊥ samme dimension. Sammen med inklusionen i (5.2) medfører det

at C =(C⊥)⊥.


q og lad H være en paritetstjekmatrix for C. Sagælder der, at

c ∈ C ⇔ Hc> = 0.

BEVIS. Da H er en generatormatrix for koden C⊥ giver sætning 5.8 og sætning 5.9, at

C =(

C⊥)⊥

={

x ∈ Fnq | Hx> = 0

},

og dermed er det ønskede vist.


q og lad G være en vilkarlig k× n matrix. Sa erG en generatormatrix for C hvis og kun hvis G er en paritetstjekmatrix for C⊥.

BEVIS. Først antages at G er en generatormatrix for C. Jf. sætning 5.9 er(C⊥)⊥ = C, sa

rækkerne i G er ortogonale med alle x ∈ C⊥. Dvs. rækkerne i G udgør n− (n− k) = klineært uafhængige paritetstjek for C⊥, og jf. definition 5.5 er G altsa en paritetstjekmatrixfor C⊥.

Antag nu at G er en paritetstjekmatrix for C⊥. Det medfører, at de n− (n− k) = k line-ært uafhængige rækker i G er vektorer i

(C⊥)⊥ = C. Altsa er G ifølge definition 5.3 en

generatormatrix for C.

Definition 5.12 (Hammingvægt og -afstand)For x,y ∈ Fn

q defineres

(i) Hammingvægten wH(x) := antal koordinater i x forskellige fra nul.

(ii) Hammingafstanden dH(x,y) := antal koordinater, hvor x og y er forskellige.

Desuden defineres minimumsafstanden af en kode C, noteres d(C), som den mindste af-stand mellem to forskellige kodeord, og minimumsvægten af en kode C, noteres w(C),defineres som den mindste vægt af alle kodeord c ∈ C \ {0}.

[Justesen & Høholdt, 2004, def. 1.2.{2,3}, s. 5]

Side 60

Kapitel 5. Kanalkodning Gruppe G3-117

Lemma 5.13For en lineær kode C gælder, at d(C) = w(C).

[Justesen & Høholdt, 2004, lem. 1.2.1, s. 5]

BEVIS. Ifølge definition 5.12 er wH(x) = dH(x,0) og dH(x,y) = wH(x − y). Lad der forc ∈ C gælde, at wH(c) = w(C), sa er

w(C) = dH(c,0) ≥ d(C).

Hvis der derimod for c1,c2 ∈ C gælder, at dH(c1,c2) = d(C), sa er

d(C) = wH(c1 − c2) ≥ w(C).

Heraf fas, at d(C) = w(C).

Definition 5.14 (t-fejlkorrigerende)En kode C kaldes t-fejlkorrigerende, hvis der for alle kodeord ci 6= cj og for allefejlmønstre e1,e2, hvor wH(e1),wH(e2) ≤ t, gælder, at

ci + e1 6= cj + e2.


Sætning 5.15 (t-fejlkorrigerende kode)En kode C er t-fejlkorrigerende hvis og kun hvis t < d(C)

2 .

BEVIS. Antag at t < d(C)2 og at der ligesom i definition 5.14 haves to kodeord ci,cj ∈ C,

hvor ci 6= cj og to fejlmønstre e1,e2, hvor wH(e1),wH(e2) ≤ t. Antag sa modsætningsvist,at

ci + e1 = cj + e2 ⇒ ci − cj = e2 − e1.

Heraf fas

wH(ci − cj) = wH(e2 − e1) ≤ 2t < d(C),

hvilket giver en modstrid, da ci − cj ∈ C, og der jf. lemma 5.13 for linære koder gælder,at d(C) = w(C).

Omvendt antages modsætningsvist, at t ≥ d(C)2 , og at koden C er t-fejlkorrigerende. Lad

der for c ∈ C gælde, at wH(c) = d(C). Betragt nu tilfældene, hvor d(C) er henholdsvislige og ulige.

Lad først d(C) = 2s, hvor s ∈ N, og lad c ændres pa s ikke nulpositioner til 0, og kalddette nye kodeord y. Heraf haves

wH(y) = dH(0,y) = d(C)− d(C)2︸︷︷︸s

≤ t ∧ wH(y− c) = dH(c,y) = s =d(C)

2≤ t.

Side 61

Gruppe G3-117 Afsnit 5.1: Gilbert-Varshamov grænsen

Men da

0 + e1 = 0 + y = c + (y− c) = c + e2

er C ikke er t-fejlkorrigerende, da definition 5.14 kræver, at 0 + y og c + (y− c) er forskel-lige. Altsa en modstrid med antagelsen.

Lad nu d(C) = 2s + 1, hvor s ∈ N0, sa gælder der, at t ≥ d(C)2 = s + 1

2 . Dvs. at t ≥ s + 1.Lad c ændres pa s ikke nulpositioner til 0, og kald igen dette nye kodeord for y. Der fasendvidere, at

wH(y) = dH(0,y) = s + 1 ≤ t ∧ wH(y− c) = dH(c,y) = s =d(C)

2− 1

2≤ t,

som igen er i modstrid med at C er t-fejlkorrigerende.

5.1 GILBERT-VARSHAMOV GRÆNSEN

Inden Gilbert-Varshamov grænsen kan bevises, defineres først en kodes hastighed.

Definition 5.16 (Hastigheden af en kode)En kodes hastighed defineres som

Rb :=logb(M)

n,

hvor M er antallet af kodeord i koden og n er kodens længde.

For en lineær kode fas hastigheden Rq = kn , idet M = qk og logaritmen logq vælges. En

kodes hastighed kan saledes tolkes som antallet af informationssymboler per kodesym-bol.

Sætning 5.17 (Gilbert-Varshamov grænsen)Givet n,k,d ∈ N, eksisterer der en binær lineær (n,k) kode med højst n − k lineærtuafhængige paritetstjek og minimumsafstand mindst d, hvis

d−2

∑j=0

(n− 1

j

)= 1 +

(n− 1

1

)+ · · ·+

(n− 1d− 2

)< 2n−k. (5.3)

[Justesen & Høholdt, 2004, sæt. 1.2.2, s. 6]

BEVIS. Betragt en (n − k) × i matrix, hvor ethvert vilkarligt udvalg af d − 1 søjler erlineært uafhængige.

Antallet af mader, hvorpa der kan udtages en søjle ud af de i søjler, er ( i1), og for to søjler

bliver antallet ( i2). Der er altsa (

i1

)+ · · ·+

(i

d− 2

)mulige linearkombinationer af d− 2 eller færre søjler af de i udvalgte.

Side 62

Afsnit 5.1: Gilbert-Varshamov grænsen Gruppe G3-117

Hvis dette antal er mindre end 2n−k− 1, som er antallet af (n− k)-søjler, der er forskelligefra 0-søjlen, findes en (n− k)-søjle, som ikke ligger i spændet af nogle d− 2 søjler af deallerede valgte i.

Udvides matricen med denne søjle, gælder saledes stadigt at ethvert vilkarligt udvalg afd− 1 søjler er lineært uafhængige.

Hvis (5.3) gælder, kan vi saledes opbygge en (n− k)× n-matrix H, hvor ethvert vilkarligtudvalg af d− 1 søjler er lineært uafhængige.

Lad nu C betegne ker(x 7→ Hx>). Da er C et underrum af Fn2 og dermed en lineær

blokkode.

Da rang H er højst n− k giver dimensionsformlen jf. [Axler, 1997, sæt. 3.4], at

dimC = dim ker(x 7→ Hx>) = dim (Fn2)− rang H ≥ n− (n− k) = k.

Det ses at paritetstjek for C er linearkombinationer af rækkerne i H. Der er dermed højstrang H ≥ n− k lineært uafhængige paritetstjek for C.

Lad der for et kodeord c = (c1,c2, . . . ,cn) ∈ C gælde, at wH(c) = w(C). Da

Hc> = c1b1 + · · ·+ cdbd + · · ·+ cnbn = 0,

sa ma der være w(C) af søjlerne b1, . . . ,bn, der er lineært afhængige.

Desuden, da ethvert udvalg af d− 1 søjler i H er lineært uafhængige, ma der være mindstd lineært afhængige søjler, dvs. w(C) ≥ d. Da der jf. 5.13 gælder, at w(C) = d(C), fasd(C) ≥ d.

Sætning 5.18 (Kommunikation med fejlsandsynlighed gaende mod 0)Lad p betegne overgangssandsynligheden for en binær, symmetrisk, hukommelsesfrikanal, over hvilken der sendes ord af længde n.

Hvis 2p < 12 kan man kommunikere over en binær, hukommelsesfri, symmetrisk kanal

med hastighed kn ≈ 1−H(2p) og en fejlsandsynlighed gaende mod 0 for n gaende mod

∞.

BEVIS. Lad en diskret stokastisk variabel T betegne antallet af fejl i overførslen af et ord.

Hændelsen {T = c} vil da indtræffe, hvis c af de overførte n symboler er fejl. Sand-synligheden for fejl pa kanalen er p, og dermed er sandsynligheden for at overføre etsymbol succesfuldt 1− p. Da kanalen er hukommelsesfri, er de enkelte hændelser uaf-hængige. Dermed er sandsynligheden for en given sekvens af c fejl og n− c successfuldeoverførsler af symboler pc(1− p)n−c. Da en sekvens af c fejl og n− c successer kan vælgespa (n

c) mader, har vi altsa, at

P(T = c) =(

nc

)pc(1− p)n−c for c = 1,2, . . . ,n.

Altsa er T ∼ binom(n,p).

Side 63

Gruppe G3-117 Afsnit 5.1: Gilbert-Varshamov grænsen

Dermed giver [Olofsson, 2005, sæt. 2.5.1, s. 115], at for µ := E[T] = np og σ2 := Var[T] =np(1− p), at

P(∣∣∣∣Tn − p

∣∣∣∣ ≥ ε

)= P (|T − np| ≥ nε)

= P

(|T − np| ≥

(√n)2

ε

√p(1− p)√p(1− p)

)

= P

(|T − np| ≥

√nε√

p(1− p)

√np(1− p)

)

= P

(|T − µ| ≥

√nε√

p(1− p)σ

).

Sætning 3.13 giver os nu at

P

(|T − µ| ≥

√nε√

p(1− p)σ

)≤ 1( √

nε√p(1−p)

)2

=p(1− p)

nε.

Sa da p(1−p)nε → 0 for n→ ∞ konkluderer vi, at

limn→∞

P(∣∣∣∣Tn − p

∣∣∣∣ ≥ ε

)= 0 (5.4)

Lad nu {Cn}n∈N betegne en følge af koder med minimumsafstande {dn}n∈N, hvoromder gælder, at

limn→∞

dn

n= 2p + 2ε. (5.5)

Vi vil senere gøre rede for at en sadan faktisk findes.

Sætning 5.15 giver, at en kode Cn kan rette Tn fejl, hvis 2Tn < dn, sa sandsynligheden forfejl ved kommunikation over kanalen med koden Cn er Pen := P (2Tn ≥ dn). Desudengiver (5.5), at der for store n gælder, at dn

n ≤ 2p + 2ε og dermed er

Pen = P (2Tn ≥ dn)

= P(

2Tn

n≥ dn

n

)≤ P

(2

Tn

n≥ 2p + 2ε

)= P

(Tn

n− p ≥ ε

)≤ P

(∣∣∣∣Tn

n− p

∣∣∣∣ ≥ ε

).

Sa vha. (5.4) konkluderer vi, at Pen → 0 for n→ ∞.

Til sidst redegøres for at følgen af koder {Cn}n∈N findes.

Side 64

Afsnit 5.2: Kanalkodningssætningen Gruppe G3-117

p0 0.2 0.4 0.6 0.8 1.0

R

0

0.2

0.4

0.6

0.8

1.0

Figur 5.1 – Kurven for R = 1− H(2p). Alle hastigheder under denne er opnaelige.

Vælg nu ε > 0 sadan at 2p + 2ε ≤ 12 , og lad kn =

⌊(1− H

(dnn

))n⌋

. Der gælder saledesfor store n, at

dn

n≤ 1

2og H

(dn

n

)≤ 1− kn

n,

og sætning 3.10 giver dermed, at

dn

∑k=0

(nk

)≤ 2nH( dn

n ) ≤ 2n(1− knn ) = 2n−kn .

Sætning 5.17 fortæller nu, at der findes en lineær (n,kn)-kode med minimumsafstandmindst dn.

Gilbert-Varshamov grænsen giver altsa anledning til, at man for hastigheder R ≤ 1−H(2p) og store ordlængder kan kommunikere sikkert over en binær hukommelsesfri ka-nal. Disse hastigheder er afbildet pa figur 5.1.

5.2 KANALKODNINGSSÆTNINGEN

Kanalkodningssætningen er et essentielt resultat, der viser, at alle hastigheder mindreend kapaciteten af en kanal er opnaelige. Sidst i afsnittet sammenlignes Kanalkodnings-sætningen med Gilbert-Varshamov grænsen.

Først er det nødvendigt at definere typiske mængder samt at indføre to lemmaer. Disseskal bruges i beviset for Kanalkodningssætningen.

Definition 5.19 (Typiske mængder)Lad X1,X2, . . . ,Xn være n ensfordelte binære stokastiske variable, og ε > 0. Sa defineres

A(n)ε =

{(x1,x2, . . . ,xn) ∈ Fn

2

∣∣∣∣∣ H(X)− ε ≤ − log(p(x1,x2, . . . ,xn))n

≤ H(X) + ε

},

som den typiske mængde.

Side 65

Gruppe G3-117 Afsnit 5.2: Kanalkodningssætningen

Lemma 5.20Der gælder, at ∣∣∣A(n)

ε

∣∣∣ ≤ 2n(H(X)+ε).

[Cover & Thomas, 2006, sæt. 7.6.1 i), s. 192]

BEVIS. Givet et x ∈ A(n)ε , gælder per definition 5.19, at

H(X)− ε ≤ − log(p(x1,x2, . . . ,xn))n

≤ H(X) + ε,

og ved at multiplicere med n fas, at

−n(H(X) + ε) ≤ log(p(x1,x2, . . . ,xn) ≤ −n(H(X)− ε),

hvilket kan omskrives til

2−n(H(X)+ε) ≤ p(x1,x2, . . . ,xn) ≤ 2−n(H(X)−ε).

Deraf har vi, at

1 = ∑x∈Xn

p(x1,x2, . . . ,xn)

≥ ∑x∈A(n)

ε

p(x1,x2, . . . ,xn)

≥ ∑x∈A(n)

ε

2−n(H(X)+ε)

= 2−n(H(X)+ε)∣∣∣A(n)

ε

∣∣∣ ,

hvilket giver os den ønskede ulighed.

Lemma 5.21Lad X = (X1,X2, . . . ,Xn), hvor X1,X2, . . . ,Xn er ensfordelte uafhængige stokastiske va-riable. Sa gælder der, at

P(

X /∈ A(n)ε

)→ 0, for n→ ∞.

[Cover & Thomas, 2006, sæt. 7.6.1 ii), s. 192]

BEVIS. Jf. definitionen 5.19 gælder der, at

P(X ∈ A(n)ε ) = P

(∣∣∣∣− 1n

log(p(x1,x2, . . . ,xn))− H(X)∣∣∣∣ ≤ ε

).

Lad nu Y = (Y1,Y2, . . . , Yn), hvor Yi er givet ved Yi := − log(p(Xi)) for alle i ∈{1,2, . . . ,n}. Det ses, at Yi’erne er ensfordelte, og da en funktion af en uafhængig stoka-stisk variabel forbliver uafhængig, er Y1, Y2, . . . , Yn ensfordelte stokastiske variable. Der-for gælder, at

− 1n

log(p(X)) =1n

n

∑i=1− log(p(Xi)) =

1n

n

∑i=1

Yi.

Side 66


Per sætning 2.12 har vi at

µ := H(X) = −E[log(p(X))] = E[− log(p(X))] = E[Y].

Det leder os nu til at

P(X ∈ A(n)ε ) = P

(∣∣∣∣− 1n

log(p(X))− H(X)∣∣∣∣ ≤ ε

)= P

(∣∣∣∣∣ 1n n

∑i=1

Yi − µ

∣∣∣∣∣ ≤ ε

).

De store tals lov, sætning 3.14, giver os da P(X ∈ A(n)ε ) → 1 for n → ∞, dvs. P(X /∈

A(n)ε )→ 0 for n→ ∞.

Sætning 5.22 (Kanalkodningssætningen)For en binær, symmetrisk, hukommelsesfri kanal med kapaciteten K = 1−H(p) gælderder, at hvis hastigheden R opfylder, at

R < K,

sa eksisterer der en binær, lineær kode, hvor fejlsandsynligheden P→ 0 for n→ ∞.

[MacKay, 2003, afsnit 14.1, s. 229]

BEVIS. Lad H være en m× n paritetstjekmatrix for en binær, lineær, fejlkorrigerende ko-de, hvor H’s rækker ikke nødvendigvis er lineært uafhængige. Da gælder der for kodenshastighed, at

R ≥ 1− mn

(5.6)

Lad det modtagne kodeordr = c + x,

hvor c er det afsendte kodeord, og x er fejlmønstret.

For et muligt fejlmønster x′ ∈ A(n)ε ma der per definition 5.6 gælde, at

s = H(x′)>.

Typisk mængde-dekodning udføres ved følgende algoritme:

• Beregn syndromet af det modtagne kodeord s := Hr>, og bestem x′ ∈ A(n)ε , saledes

at s = H(x′)>.

• Hvis der ikke findes noget x′ ∈ A(n)ε , der har samme syndrom som r, eller hvis der

findes mindst to forskellige x′ ∈ A(n)ε , der har samme syndrom som r, meldes der

fejl.

• Hvis der kun findes et x′ ∈ A(n)ε der har samme syndrom som r, dekodes r som

r− x′, som den entydigt bestemte løsning.

Side 67


Sandsynligheden for fejl ved typisk mængde dekoding kan skrives som

PTM = P(A) + P(B),

hvor A er hændelsen for, at det sande fejlmønster x /∈ A(n)ε og B er hændelsen for, at det

sande fejlmønster x ∈ A(n)ε samtidig med det opfyldes, at s = H(x′)> = Hx> for mindst

et x′ 6= x, hvor x′ ∈ A(n)ε .

Lemma 5.21 giver, at P(A)→ 0 for n→ ∞. B kan skrives

B := {x ∈ A(n)ε | ∃x′ ∈ A(n)

ε : x′ 6= x ∧ H(x′ − x)> = 0}.

Indikatorfunktionen indføres som

1[e] =

{1, hvis udsagnet e er sandt0, hvis udsagnet e er falsk.

I denne situation benyttes

1[H(x′ − x)> = 0] =

{1, hvis H(x′ − x)> = 00, hvis H(x′ − x)> 6= 0.

Da der kan være flere x′, der løser H(x′ − x)> = 0, ma der gælde, at

1[∃x′ 6= x : H(x′ − x)> = 0] ≤ ∑x′∈A(n)

ε \{x}

1[H(x′ − x)> = 0].

Heraf kan sandsynligheden af B vurderes ved, at

P(B) = ∑x∈A(n)

ε

p(x) 1[∃x′ 6= x : H(x′ − x)> = 0] (5.7)

≤ ∑x∈A(n)

ε

p(x) ∑x′∈A(n)

ε \{x}

1[H(x′ − x)> = 0].

Foreløbigt har vi kun betragtet en paritetstjekmatrix. Lad nu H være valgt tilfældigt. Detaritmetiske gennemsnit af P(B) over alle mulige paritetstjekmatricer H noteres 〈P(B)〉H.Jf. (5.7) haves, at

〈P(B)〉H ≤⟨

∑x∈A(n)

ε

p(x) ∑x′∈A(n)

ε \{x}

1[H(x′ − x)> = 0]

⟩H

= ∑x∈A(n)

ε

p(x) ∑x′∈A(n)

ε \{x}

⟨1[H(x′ − x)> = 0]

⟩H

.

Vi vil nu finde ud af, pa hvor mange mader vi kan vælge paritetstjekmatricen H. Lad Hbesta af elementerne hi,j, hvor i ∈ {1,2, . . . ,m} og j ∈ {1,2, . . . ,n}, og sæt v := x′ − x, somholdes fast. Da vi betragter hændelse B, skal Hv> = 0 og x 6= x′, da er v 6= 0. Dette giveros for et fastholdt i, at

v1hi,1 + v2hi,2 + · · ·+ vnhi,n = 0. (5.8)

Da v 6= 0, ma der gælde at mindst et vj 6= 0, og heraf fas

hi,j = v1hi,1 + v2hi,2 + · · ·+ vnhi,n, (5.9)

Side 68


og saledes kan hi,j′ for j′ 6= j vælges frit, hvorved hi,j er bestemt jf. (5.9). De resterende hi,j

i (5.8) kan da vælges pa 2n−1 mulige mader, sa sandsynligheden for at ligningen stadiger opfyldt er da givet ved 2n−1

2n = 12 . Der er i alt m rækker i H, og sandsynligheden for at

Hv> = 0 er derfor( 1

2

)m, da der netop er m-rækker i H. Heraf fas, at

⟨1[H(x′ − x)> = 0]

⟩H

=1

2m .

Samlet giver det, at

〈P(B)〉H ≤ ∑x∈A(n)

ε

p(x) ∑x′∈A(n)

ε \{x}

12m

=

∑x∈A(n)

ε

p(x)

(∣∣∣A(n)ε

∣∣∣− 1) 1

2m

≤(∣∣∣A(n)

ε

∣∣∣− 1) 1

2m

≤∣∣∣A(n)

ε

∣∣∣ 12m .

Lemma 5.20 giver sa, at

〈P(B)〉H ≤ 2n(H(p)+ε) 12m = 2n(H(p)+ε)−m.

Blandt de mulige H-matricer er der mindst en matrix, som er bedre end gennemsnittetog som kan vælges. Det ses, at sa længe m > n(H(p) + ε), sa 〈P(B)〉H → 0 for n → ∞.Lad derfor m = dn(H(p) + 2ε)e, sa er

H(p) + 2ε ≤ mn≤ H(p) + 2ε +

1n

.

hvilket giver, at

1− mn≥ 1− H(p)− 2ε− 1

n.

Ifølge (5.6) og Lemma 4.3 haves, at

R ≥ 1− mn≥ K− 2ε− 1

n.

Da 1n → 0 for n→ ∞ og ε > 0 kan vælges frit, fas der sammenlagt, at hvis

R < K,

sa vil fejlsandsynligheden PTM → 0 for n→ ∞.

Begrænsningen for hastigheden kan sammenlignes med den grænse, som opnas vedGilbert-Varshamov grænsen, hvor der om hastigheden gælder, at

R < 1− H(2p),

idet fejlsandsynligheden gar mod nul. Pa figur 5.2 ses, at der med kanalkodningssæt-ningen kan opnas en større hastighed end den, som Gilbert-Varshamov grænsen giveranledning til.

Side 69


p0 0.2 0.4 0.6 0.8 1.0

R

0

0.2

0.4

0.6

0.8

1.0

Figur 5.2 – Den fuldtoptrukne kurve viser en øvre grænse for de hastigheder, som kan opnas ved kanal-kodningssætningen, hvor fejlsandsynligheden gar mod nul. Tilsvarende viser den stipledekurve en øvre grænse for de hastigheder, som kan opnas gennem Gilbert-Varshamov græn-sen, idet fejlsandsynligheden gar mod nul. Den sidstnævnte kurve er den samme som vistpa figur 5.1.

Side 70

KAPITEL 6

REED-SOLOMON KODER

Dette kapitel er baseret pa [Justesen & Høholdt, 2004, kap. 5 og kap. 6].

I dette kapitel bearbejdes Reed-Solomon koder, der blev opdaget i 1959 og siden har væ-ret anvendt hyppigt i eksempelvis cd’er og satellitkommunikation [Justesen & Høholdt,2004, s. 49].

Indledningsvist defineres Reed-Solomon koder, og visse generelle egenskaber vises. Der-efter introduceres cykliske koder og sammenspillet med Reed-Solomon koder fremhæ-ves. Slutteligt vises to dekodningsalgoritmer med tilhørende eksempler.

Definition 6.1 (Reed-Solomon kode)Lad x1, x2, . . . , xn være forskellige elementer i Fq med n ≤ q, og lad

Pk :={

f (x) ∈ Fq[x] | deg ( f (x)) < k}

for k ≤ n.

Da kaldes kodenC := {( f (x1), f (x2), . . . , f (xn)) | f ∈ Pk}

for en (n,k) Reed-Solomon kode.


Dimensionen af en (n, k) Reed-Solomon kode er netop k, hvilket vises i sætning 6.2. Førster der dog et par tekniske bemærkninger.

Som det ses, kræves store legemer for at kunne lave lange Reed-Solomon koder, da n ≤ q,og dermed findes der heller ikke umiddelbart interessante binære Reed-Solomon koder.Det skal dog senere vise sig, at der kan konstrueres interessante binære koder ud fraReed-Solomon koder. Disse kaldes BCH-koder. Det er i almindelighed kompliceret atkonstruere vilkarligt store legemer, men som det omtales i [Justesen & Høholdt, 2004,kap. 2], kan man konstruere legemerne F2m for m ∈N og Fpm for m ∈N og primtallet p.Pa den made har man sa alligevel vilkarligt store legemer.

I samme ombæring bemærkes det en gang for alle, at F2 er et dellegeme af F2m [Justesen& Høholdt, 2004, sæt. 2.3.3, s. 26], hvorfor beregninger (som eksempelvis løsning af lig-ningssystemer) i F2m kan indeholde elementer fra F2. Tilsvarende gælder for Fp og Fm

p ,nar p er et primtal.

Der vil ikke blive gaet mere i dybden med, hvordan legemet F2m præcist konstrueres. Foruddybende information henvises til [Justesen & Høholdt, 2004, kap. 2, s. 23].

Sætning 6.2 (Dimensionen af en Reed-Solomon kode)Hvis C er en (n,k) Reed-Solomon kode, sa gælder, at

dim(C) = k.

BEVIS. Antag at C er konstrueret ud fra Pk med elementerne x1, x2, . . . , xn. Det vises nu,at afbildningen fra polynomier til kodeord er injektiv. Dette gøres ved at vise, at nulordeter dannet af nulpolynomiet.

Side 71

Gruppe G3-117 Kapitel 6. Reed-Solomon koder

Lad c = (0, 0, . . . , 0) = ( f (x1) , f (x2) , . . . , f (xn)). Da f ∈ Pk, sa er deg ( f (x)) < k, menf (x1) = f (x2) = · · · = f (xn) = 0, sa det betyder, at f = 0.

Sætning 6.3 (Reed-Solomon koders linearitet)Hvis C er en (n,k) Reed-Solomon kode, sa er C en lineær kode.


BEVIS. Lad c1 = ( f1(x1), f1(x2), . . . , f1(xn)) og c2 = ( f2(x1), f2(x2), . . . , f2(xn)), hvorf1, f2 ∈ Pk. Sa gælder for a, b ∈ Fq, at

ac1 + bc2 = a ( f1(x1), f1(x2), . . . , f1(xn)) + b ( f2(x1), f2(x2), . . . , f2(xn))= (a f1(x1), a f1(x2), . . . , a f1(xn)) + (b f2(x1), b f2(x2), . . . , b f2(xn))= (a f1(x1) + b f2(x1), a f1(x2) + b f2(x2), . . . , a f1(xn) + b f2(x2)) ,

og da (x 7→ a f1(x) + b f2(x)) ∈ Pk, følger resultatet.

Det bemærkes, at polynomierne i Pk med(1, x, . . . , xk−1) som basis udspænder et vek-

torrum over Fq med dimension k.

Nu vises en interessant grænse, som Reed-Solomon koder herefter vises at ligge pa.

Sætning 6.4 (Singleton-grænsen)Hvis C er en lineær (n,k)-kode over Fq, sa gælder, at

d := d(C) ≤ n− k + 1.


BEVIS. Da det i sætning 6.3 er vist, at koden er lineær, findes en generatormatrix G, somkan reduceres til en matrix G pa systematisk form, saledes at

G ∼ · · · ∼ G :=

1

1 0 g1,k+1 · · · g1,ng2,k+1 · · · g2,n

0 . . .1

......

gk,k+1 · · · gk,n

k×n

.

Lad nu v = (v1, v2, · · · , vk) være en k-vektor, saledes at vi 6= 0 for et i ∈ {1, 2, . . . , k} ogvj = 0 for alle j ∈ {1, 2, . . . , i− 1, i + 1, . . . , k}. Da ses, at vektoren vG ∈ C og dermed eret kodeord, hvis vægt er højst (n− k) + 1.

Nu vises, at Reed-Solomon koder faktisk ligger pa Singleton-grænsen givet i sætning 6.4og dermed er en sakaldt MDS-kode (Maximum Distance Separable Code). MDS-kodervil ikke blive behandlet i almindelig udover denne enkelte sætning.

Sætning 6.5 (Reed-Solomon koder er en MDS-kode)Hvis C er en (n, k) Reed-Solomon kode over Fq, sa gælder, at

d := d(C) = n− k + 1.


Side 72

Kapitel 6. Reed-Solomon koder Gruppe G3-117

BEVIS. Det vises, at d(C) ≥ n− k + 1, da Singleton-grænsen i sætning 6.4 i sa fald giverdet ønskede, da Reed-Solomon koder jf. sætning 6.3 er lineære.

Lad c = ( f (x1), f (x2), . . . , f (xn)) være det kodeord, saledes at wH(c) = d(C). Da f ∈Pk \ {0}, sa gælder der, at deg ( f ) ≤ k− 1, og dermed følger, at

wH(c) = n− |{i ∈ {1, 2, . . . , n} | f (xi) = 0}| ≥ n− (k− 1) = n− k + 1,

da f højst har k− 1 nulpunkter.

Eksempel 6.6 (Indkodning af Reed-Solomon kode)Fra [Justesen & Høholdt, 2004, s. 20] haves, at multiplikation i ethvert endeligt legemeFq kan udføres som addition af heltal modulo q − 1. Dette følger af, at Fq indeholderet primitivt element α, saledes at Fq \ {0} = {αi | i ∈ {0, 1, . . . , q − 2}} og αq−1 = 1.Dermed er αiαj = α(i+j) mod (q−1).

For det primitive element α ∈ Fq sættes xj = αj−1, hvor j ∈ {1, 2, . . . , q− 1}. Da(αi)n =

(αn)i gælder for n = q − 1 dermed, at 1 = αq−1 =(αq−1)n = (αn)q−1 = (αn)q−2 =

· · · = (αn)2 = αn. For n = q − 1 betyder det, at xnj = 1 for alle j ∈ {1, 2, . . . , n}. En

made at lave en indkodning i en (n,k) Reed-Solomon kode af k informationssymboleri0, i1, . . . , ik−1 ∈ Fq, er dermed at konstruere i(x) = i0 + i1x + · · · + ik−1xk−1. Sa vili(x) ∈ Pk. Det kodeord, der skal afsendes, konstrueres sa ved, at

c := (i(x1), i(x2), . . . , i(xn)) .


Eksempel 6.7 (Indkodning af (10,5) Reed-Solomon kode i F11)Da 11 er et primtal følger det af [Justesen & Høholdt, 2004, sæt. 2.1.1, s. 20], at F11 er etlegeme. I F11 er 2 et primitivt element, og for xj = 2j−1 fas, at

x1 = 20 = 1

x2 = 21 = 2

x3 = 22 = 4

x4 = 23 = 8

x5 = 24 = 5

x6 = 25 = 10

x7 = 26 = 9

x8 = 27 = 7

x9 = 28 = 3

x10 = 29 = 6.

I en (n,k) = (10,5) Reed-Solomon kode over F11 kan i0, i1, . . . , i4 sa sendes ved at kon-struere i(x) = i0 + i1x + · · ·+ i4x4 og dermed fas

c = (i(1), i(2), i(4), i(8), i(5), i(10), i(9), i(7), i(3), i(6)) .

Safremt man ønsker at sende (i0, i1, i2, i3, i4) = (1, 2, 3, 2, 1) fas da, at

i(x) = 1 + 2x + 3x2 + 2x3 + x4,

Side 73

Gruppe G3-117 Afsnit 6.1: Generator- og paritetstjekmatricer

sa

c = (i(1), i(2), i(4), i(8), i(5), i(10), i(9), i(7), i(3), i(6)) = (9, 5, 1, 5, 4, 1, 9, 4, 4, 1)

sendes via kanalen.

Tilsvarende kan en generatormatrix konstrueres ved at benytte informationsvektorerne

(0, 0, 0, 0, 1), (0, 0, 0, 1, 0), (0, 0, 1, 0, 0), (0, 1, 0, 0, 0), (1, 0, 0, 0, 0),

som indkodes til kodeordene

(0, 0, 0, 0, 1) ∼ (1, 5, 3, 4, 9, 1, 5, 3, 4, 9)(0, 0, 0, 1, 0) ∼ (1, 8, 9, 6, 4, 10, 3, 2, 5, 7)(0, 0, 1, 0, 0) ∼ (1, 4, 5, 9, 3, 1, 4, 5, 9, 3)(0, 1, 0, 0, 0) ∼ (1, 2, 4, 8, 5, 10, 9, 7, 3, 6)(1, 0, 0, 0, 0) ∼ (1, 1, 1, 1, 1, 1, 1, 1, 1, 1).

[Justesen & Høholdt, 2004, eks. 5.1.1, s. 50]

6.1 GENERATOR- OG PARITETSTJEKMATRICER

I dette afsnit bearbejdes de vigtige Vandermonde-matricer kort. Her skal vi se, at de bl.a.kan benyttes til at konstruere generator- og paritetstjekmatricer til Reed-Solomon-koder.

Lemma 6.8Lad β ∈ Fq være et element af orden n, og sæt xj := βj−1 for j ∈ {1, 2, . . . , n} samt

A :=

1 1 · · · 1x1 x2 · · · xnx2

1 x22 · · · x2

n...

......

xa1 xa

2 · · · xan

(a+1)×n

og B :=

x1 x2 · · · xnx2

1 x22 · · · x2

n...

......

xs1 xs

2 · · · xsn

s×n

.

Hvis s + a + 1 ≤ n, sa gælder der, at

BAT = 0s×(a+1),

hvilket er ensbetydende med, at ABT = 0(a+1)×s.


BEVIS. Lad elementerne i A være givet ved arj = xr−1j og elementerne i B være givet ved

bij = xij. Sættes C = BAT, med elementerne cir, fas vha. matrixmultiplikation, at

cir =n

∑j=1

xijx

r−1j =

n

∑j=1

xi+r−1j =

n

∑j=1

(βj−1

)i+r−1=

n

∑j=1

(βi+r−1

)j−1.

Per antagelse er s + a + 1 ≤ n og da i ∈ {1, 2, . . . , s} og r ∈ {1, 2, . . . , a} fas, at i + r− 1 ≤s + a ≤ n− 1. Da β har orden n og fas nu, at βi+r−1 6= 1. Da ∑n−1

k=0 xk = xn−1x−1 for x 6= 1 fas,

Side 74

Afsnit 6.1: Generator- og paritetstjekmatricer Gruppe G3-117

at

cir =n

∑j=1

(βi+r−1

)j−1=(

βi+r−1)n − 1βi+r−1 − 1

=(βn)i+r−1 − 1

βi+r−1 − 1=

(1)i+r−1 − 1βi+r−1 − 1

= 0.

Tilsvarende argument viser, at ABT = 0(a+1)×s.

Definition 6.9 (Vandermonde-matrix)Hvis der i lemma 6.8 gælder, at a = n− 1, sa kaldes A en Vandermonde-matrix.


Sætning 6.10 (Generator- og paritetstjekmatrix for en Reed-Solomon kode)Lad β ∈ Fq være et element af orden n, xj := βj−1 for j ∈ {1, 2, . . . , n} og lad

G :=

1 1 · · · 1x1 x2 · · · xn...

......

xk−11 xk−1

2 · · · xk−1n

k×n

=

1 1 · · · 11 β · · · βn−1

......

...1 βk−1 · · · β(k−1)(n−1)

k×n

,

H :=

x1 x2 · · · xnx2

1 x22 · · · x2

n...

......

xn−k1 xk−1

2 · · · xn−kn

(n−k)×n

=

1 β · · · βn−1

1 β2 · · · β2(n−1)

......

...1 βn−k · · · β(n−k)(n−1)

(n−k)×n

.

Da gælder, at for en (n,k) Reed-Solomon kode C, er G en generatormatrix og H enparitetstjekmatrix.

BEVIS. For f (x) ∈ Pk med f (x) = f0 + f1x + · · ·+ fk−1xk−1 og f =[

f0 f1 · · · fk−1]

1×kgælder, at

f G =[

f0 f1 · · · fk−1]

1×k

1 1 · · · 1x1 x2 · · · xn...

......

xk−11 xk−1

2 · · · xk−1n

k×n

=

f0 + f1x1 + · · ·+ fk−1xk−1

1f0 + f1x2 + · · ·+ fk−1xk−1

2...

f0 + f1xn + · · ·+ fk−1xk−1n

>

1×n

=[

f (x1) f (x2) · · · f (xn)]

1×n

og dermed ses, at G er en generatormatrix.

Fra sætning 6.8 haves, at GH> = 0, og dermed er rækkevektorerne i H paritetstjek. Vedat lave en (n − k) × (n − k)-matrix ud fra H ved at tage de første n − k søjler, fas enVandermonde-matrix. Jf. [Justesen & Høholdt, 2004, kor. 5.3.1, s. 54] fas, at determinantenaf denne (n− k)× (n− k)-matrix er forskellig fra 0, og dermed er rangen fuld. Det giver,at der i H er n− k lineært uafhængige rækker, og dermed er H en paritetstjekmatrix.

Side 75

Gruppe G3-117 Afsnit 6.2: Cykliske koder

6.2 CYKLISKE KODER

I dette afsnit behandles cykliske koder først generelt, hvorefter der konstrueres cykli-ske Reed-Solomon koder og sakaldte subfield subcodes, der er koder, der udelukkendebestar af de binære kodeord fra Reed-Solomon koden. Sidstnævnte hører under en ty-pe koder, der betegnes ofte BCH-koder efter Bose, Chaudhuri og Hocquenghem, der erifølge [Justesen & Høholdt, 2004, s. 69] var de første, der betragtede denne form for koder.

Definition 6.11 (Cyklisk kode)En (n,k) lineær kode C over Fq kaldes cyklisk, hvis

c := (c0, . . . , cn−3, cn−2, cn−1) ∈ C ⇒ (cn−1, c0, . . . , cn−3, cn−2) ∈ C

for alle c ∈ C og c0, c1, . . . , cn−1 ∈ Fq.


Ud fra denne definition bemærkes det, at en cyklisk koder ikke nødvendigvis er en cykel.Der kan sagtens være flere cykler, hvor man ikke kan komme over i de andre cykler vedat foretage cykliske skift.

Cykliske kodeord kan i flere henseender med fordel anses som polynomier i Fq[x]. Ko-deordet c = (c0, c1, . . . , cn−1) ∈ C ⊆ Fn

q associeres med polynomiet c(x) = c0 + c1x +· · ·+ cn−1xn−1 ∈ Fq[x]. Et eksempel pa en sadan henseende ses nu, hvor et cyklisk skiftintroduceres som en algebraisk operation.

Lemma 6.12 (Cyklist skift som algebraisk operation)Lad C være en cyklisk kode og lad c = (c0, c1, . . . , cn−2, cn−1) ∈ C, sa c(x) = c0 +c1x + · · · + cn−2xn−2 + cn−1xn−1 ∈ Fq[x]. Hvis der foretages et cyklisk skift pa c fasc = (cn−1, c0, . . . , cn−2) med c(x) = cn−1 + c0x + · · ·+ cn−2cn−1 ∈ Fq[x]. Der gælder da,at

c(x) = xc(x)− cn−1 (xn − 1)

er polynomiet, der fas ved at lave et cyklisk skift pa c.


BEVIS. Der regnes direkte, hvorved der fas, at

xc(x)− cn−1 (xn − 1) = x(

c0 + c1x + · · ·+ cn−2xn−2 + cn−1xn−1)− cn−1xn + cn−1

= xc0 + c1x2 + · · ·+ cn−2xn−1 + cn−1xn − cn−1xn + cn−1

= xc0 + c1x2 + · · ·+ cn−2xn−1 + cn−1

= cn−1 + xc0 + c1x2 + · · ·+ cn−2xn−1

= c(x),

for c = (cn−1, c0, . . . , cn−2), som er det cykliske skift af c.

Side 76

Afsnit 6.2: Cykliske koder Gruppe G3-117

Lemma 6.13Lad C være en cyklisk kode og lad

g(x) = g0 + g1x + · · ·+ gk−1xk−1 + xk

være det moniske polynomium af laveste grad i koden. Sa findes der ikke andre poly-nomier i den cykliske kode af strengt lavere grad.

BEVIS. Antag at g(x) er det moniske polynomium af laveste grad k, og modsætningsvisat

f (x) = f0 + f1x + · · ·+ fm−1xm−1 + fmxm,

med m < k. Da C er lineær, vil 1fm

f (x) ogsa være i koden, men

1fm

f (x) =1fm

f0 +1fm

f1x + · · ·+ 1fm

fm−1xm−1 + xm,

og dermed vil 1fm

f (x) være et monisk polynomium i koden af mindre grad end g(x) dam < k, hvilket er en modstrid.

Med dette lemma, er det nu muligt at vise en vigtig sætning om cykliske koder.

Sætning 6.14 (g(x) egenskaber)Lad C være en cyklisk (n,k) kode over Fq og lad g være det moniske polynomium aflavest grad i C \ {0}. Da gælder følgende udsagn:

(i) g er entydigt bestemt

(ii) deg (g) = n− k = n− dim C

(iii) g gar op i c for alle c ∈ C

(iv) g gar op i xn − 1 i Fq[x]


BEVIS.

(i) Antag at g1 og g2 begge er moniske polynomier af lavest grad, sa deg(g1) =deg(g2), og antag modsætningsvist, at g1 6= g2. Da C er lineær er h(x) := g1(x)−g2(x) ogsa i koden, og da g1 og g2 er moniske, er deg (h) < deg (g1) = deg (g2),hvilket jf. lemma 6.13 er en modstrid.

(ii) Først vises, at k ≤ n− deg (g(x)). Derefter vises, at k ≥ n− deg (g(x)), hvormeddet ønskede følger. Hvis to kodeord er ens pa de sidste n− deg (g(x)) positioner,er de ens pa alle positionerne, da deres differens ellers ville være et polynomium aflavere grad end deg (g(x)), hvilket jf. sætning 6.13 ikke kan lade sig gøre. Dermeder |C| ≤ qn−deg(g(x)), hvormed det fas, at k ≤ n− deg (g(x)). Nu vises den andenulighed. For alle j ∈ {1, 2, . . . , n− 1−deg (g(x))} gælder vha. lemma 6.12, at xjg(x)er i koden, da koefficienten til leddet med xn−1 netop for disse er 0. Derfor fas, ata(x)g(x) er i koden, nar 0 ≤ deg (a(x)) ≤ n− 1− deg (g(x)). For j ∈ {1, 2, . . . , n−1− deg (g(x))} er xjg(x) for forskellige j lineært uafhængige, da polynomierne harforskellig grad, sa k ≥ n− deg (g(x)).

Side 77


(iii) Lad c ∈ C. Da g(x) 6= 0 giver [Justesen & Høholdt, 2004, sæt. 2.2.1, s. 22], at

c(x) = a(x)g(x) + r(x), hvor deg (r(x)) < deg (g(x)).

Da deg (c(x)) ≤ n − 1 fas, at deg (a(x)) ≤ n − 1− deg (g(x)), og dermed fas, ata(x)g(x) ogsa er i koden. Da C er cyklisk, er den lineær, og derfor er r(x) sa ogsai koden. Da deg (r(x)) < deg (g(x)) gælder dog, at r(x) = 0 grundet antagelserneom g(x), og dermed følger resultatet.

(iv) Først bemærkes, at der findes et kodeord med cn−1 6= 0, da dette eksempelvis kankonstrueres vha. cykliske skift af generatorpolynomiet. Da g(x) gar op i c(x) foralle c ∈ C, gar g(x) ogsa op i cykliske skift af c(x) da disse netop ogsa er i koden.Dermed følger resultatet vha. lemma 6.12.

Det modsatte af sætning 6.14 (iv) vil nu blive vist, og derefter omtales kort, hvad dettilsammen giver.

Sætning 6.15 (g(x) er et generatorpolynomium)Antag at g(x) ∈ Fq[x] er monisk og gar op i xn − 1. Sa er

C :={

i(x)g(x) | i(x) ∈ Fq[x] og deg(i(x)) < n− deg(g(x))}

en (n,k) cyklisk kode C med g(x) som generatorpolynomium og dim C = k = n −deg (g(x)).


BEVIS. C er oplagt en lineær kode, da der for to kodeord c1(x) = i1(x)g(x) og c2(x) =i2(x)g(x) gælder, at c1(x) + c2(x) = i1(x)g(x) + i2(x)g(x) = (i1(x) + i2(x))g(x), hvordeg (i1(x) + i2(x)) = max{deg (i1(x)) , deg (i2(x))} < n− deg(g(x)).

For at vise koden er cyklisk, betragtes

g(x) = g0 + g1x + · · ·+ gs−1xs−1 + xs.

Da g(x) gar op i xn − 1, er

h(x) :=xn − 1g(x)

= h0 + h1x + · · ·+ hn−s−1xn−s−1 + xn−s

veldefineret. For et vilkarligt c(x) i C gælder, at c(x) = i(x)g(x), hvor deg(i(x)) < n−deg(g(x)) = n− s. Det cykliske skift c(x) af c(x) fas da vha. lemma 6.12, saledes at

c(x) = xc(x)− cn−1(xn − 1)= xi(x)g(x)− cn−1h(x)g(x)= g(x) (xi(x)− cn−1h(x)) .

For at c(x) skal være i C, skal deg (xi(x)− cn−1h(x)) < n− s, da det sa opfylder defini-tionen af C. Da deg(i(x)) < n− s ma deg(xi(x)) < n− s + 1, saledes at

xi(x) = i0x + i1x2 · · ·+ in−s−1xn−s

for i(x) = i0 + i1x + · · ·+ in−s−1xn−s−1. Da deg(h(x)) = n− s, vil deg (xi(x)− cn−1h(x)) <n− s hvis og kun hvis cn−1 = in−s−1. Dermed vil leddet med xn−s ga ud og sikre en til-strækkelig lille grad af polynomiet xi(x)− cn−1h(x) til at c(x) ligger i koden.

Side 78


Da g(x) er monisk, kan bidraget til xn−s kun komme fra i(x), hvilket ses ved, at

c(x) = c0 + c1x + · · ·+ cn−1xn−1

= i(x)g(x)

= (i0 + i1x + · · ·+ in−s−1xn−s−1)(g0 + g1x + · · ·+ gs−1xs−1 + xs),

og dermed fas, at cn−1 = in−s−1, hvoraf det følger, at c(x) ligger i C.

Da der nu er argumenteret for, at C er cyklisk, følger det per konstruktion, at g(x) ergeneratorpolynomiet for C.

Sætning 6.14 og sætning 6.15 giver, at cykliske koder kan studeres ved at studere diviso-rerne af xn − 1. Dette kan gøres separat, som det eksempelvis er gjort for F2[x] i [Justesen& Høholdt, 2004, afsnit 2.3]. Faktisk kan cykliske binære koder af længde n konstrueresved at faktorisere xn − 1 i irreducible elementer. For en gennemgang af dette henvises til[Justesen & Høholdt, 2004, kap. 2]. I stedet for at arbejde med det, fortsættes i stedet medgenerator- og paritetstjekmatricer for cykliske koder.

Sætning 6.16 (Generatormatrix for en cyklisk kode)Lad C være en cyklisk (n,k) kode over Fq, og lad

g(x) := g0 + g1x + · · ·+ gn−k−1xn−k−1 + xn−k,

være det moniske polynomium af laveste grad. Da er

G :=

g0 g1 g2 · · · gn−k−1 1 0 0 · · · 00 g0 g1 · · · gn−k−2 gn−k−1 1 0 · · · 0...

. . . . . . . . . . . ....

0 0 · · · g0 g1 g2 · · · gn−k−1 1 00 0 · · · 0 g0 g1 g2 · · · gn−k−1 1

k×n

en generatormatrix for C.


Det bemærkes, at første række i G er koefficienterne til g(x), og de næste rækker er opnaetved at lave systematiske cykliske skift.BEVIS. Sætning 6.14 og sætning 6.15 giver, at det moniske polynomium g(x) = g0 +g1x + · · ·+ gn−k−1xn−k−1 + xn−k af laveste grad er generatorpolynomium for C. Det be-mærkes, at xjg(x) for alle j ∈ {1, 2, . . . , k− 1} er lineært uafhægige, og i beviset for sæt-ning 6.14 blev der argumenteret for, at alle polynomierne er i koden. Tilsammen giverdette, at G en generatormatrix for C.

Side 79


Sætning 6.17 (Paritetstjekmatrix for en cyklisk kode)Lad C være en cyklisk (n,k) kode over Fq, og lad

g(x) := g0 + g1x + · · ·+ gn−k−1xn−k−1 + xn−k

være det moniske polynomium af laveste grad, samt

h(x) = h0 + h1x + · · ·+ hkxk :=xn − 1g(x)

.

Da er

H :=

hk hk−1 hk−2 · · · h1 h0 0 0 · · · 00 hk hk−1 · · · h2 h1 h0 0 · · · 0...

. . . . . . . . . . . ....

0 0 · · · hk hk−1 hk−2 · · · h1 h0 00 0 · · · 0 hk hk−1 hk−2 · · · h1 h0

(n−k)×n

.

en paritetstjekmatrix for C.

[Justesen & Høholdt, 2004, s. 65-66]

Det bemærkes, at første række i H er koefficienterne til h(x) i omvendt rækkefølge, og denæste rækker er opnaet ved at lave systematiske cykliske skift.BEVIS. Først bemærkes, at h(x) er veldefineret, da g(x) jf. sætning 6.14 gar op i xn − 1og af samme sætning følger, at deg(h(x)) = n− deg(g(x)) = k.

For et kodeord c(x) i C gælder jf. sætning 6.14, at c(x) kan skrives som c(x) = i(x)g(x),og dermed følger, at

c(x)h(x) =(

c0 + c1x + · · ·+ cn−1xn−1) (

h0 + h1x + · · ·+ hkxk)

= i(x)g(x)h(x)= i(x) (xn − 1)

=(

i0 + i1x + · · ·+ ik−1xk−1)

(xn − 1)

=(

i0xn + i1xn+1 + · · ·+ ik−1xn+k−1)−(

i0 + i1x + · · ·+ ik−1xk−1)

.

Heraf ses, at c(x)h(x) ikke har led af grad j for alle j ∈ {k, k + 1, . . . , n− 1}. Dermed er

n−1

∑i=0

cihj−i = c0hj + c1hj−1 + · · ·+ cn−1hj−n+1 (6.1)

= 0 for alle j ∈ {k, k + 1, . . . , n− 1},

Side 80


hvor hj−i = 0 hvis j− i < 0. Koefficienterne til xj i c(x)h(x) er altsa 0 for alle j ∈ {k, k +1, . . . , n− 1}. Af (6.1) fas de n− k vektorer

(hk, hk−1, . . . , h0,n−k−1︷︸︸︷

0, 0, . . . , 0, 0),(0, hk, hk−1, . . . , h0, 0, . . . , 0, 0),...

(0, 0, . . . , 0, hk, hk−1, . . . , h0, 0),( 0, 0, . . . , 0, 0︸︷︷︸

n−k−1

, hk, hk−1, . . . , h0),

der giver n− k lineært uafhængige paritetstjek. Dermed fas paritetstjekmatricen H, sa

H(n−k)×n

c0c1...

cn−1

n×1

= 0(n−k)×1

for alle c(x) = c0 + c1x + · · ·+ cn−1xn−1 i C, hvilket er det ønskede.

Sætning 6.18 (Dualkode til en cyklisk kode er cyklisk)Lad C være en cyklisk (n,k) kode med generatorpolynomiet g(x) = g0 + g1x + · · · +gn−k−1xn−k−1 + xn−k. Sa gælder, at dualkoden C⊥ er cyklisk med generatorpolynomiet

g⊥(x) = hk + hk−1x + · · ·+ h1xk−1 + h0xk = xkh(

x−1)

, hvor h(x) =xn − 1g(x)

.


BEVIS. Dualkoden C⊥ har

H :=

hk hk−1 hk−2 · · · h1 h0 0 0 · · · 00 hk hk−1 · · · h2 h1 h0 0 · · · 0...

. . . . . . . . . . . ....

0 0 · · · hk hk−1 hk−2 · · · h1 h0 00 0 · · · 0 hk hk−1 hk−2 · · · h1 h0

(n−k)×n

.

som generatormatrix, da H er paritetstjekmatrix for C. Da hk + hk−1x + · · · + h0xk =xkh

(x−1) er divisor i xn − 1, er koden med H som generatormatrix jf. sætning 6.15 en

cyklisk kode.

6.2.1 CYKLISKE REED-SOLOMON KODER OG BCH-KODER

I indledningen til kapitel 6 blev det bemærket, at der ikke umiddelbart fandtes inter-essante binære Reed-Solomon koder. Vi skal nu se pa, hvornar der findes interessantebinære koder, der er lavet ud fra Reed-Solomon koder. Dette faktum kommer af, at endel Reed-Solomon koder er cykliske, og ved at udtage de binære kodeord fas igen cyk-liske koder, der kaldes “en delkode i et dellegeme” (ogsa kaldet subfield subcode). Dadet drejer sig om cykliske koder, er det derfor relevant at studere generatorpolynomiernenærmere.

Side 81


Pa samme made som Singleton-grænsen blev vist for Reed-Solomon koder, vises nu densakaldte BCH-grænse.

Sætning 6.19 (BCH-grænsen)Lad g(x) være generatorpolynomiet for en cyklisk (n,k) kode C over Fq og antag, atg(x) har rødderne βa, βa+1, . . . , βa+d−2︸︷︷︸

d−1

, hvor β ∈ Fqm har orden n. Da gælder, at

d(C) ≥ d.


BEVIS. Betragt først

H :=

1 βa β2a · · · β(n−1)a

1 βa+1 β2(a+1) · · · β(n−1)(a+1)

......

......

1 βa+d−2 β2(a+d−2) · · · β(n−1)(a+d−2)

(d−1)×n

.

Sætning 6.15 giver, at alle kodeord c(x) = c1 + c2x + · · ·+ cnxn−1 kan skrives pa formenc(x) = i(x)g(x) for i(x) ∈ Fq[x] og deg(i(x)) < n− deg(g(x)). Da g (βa) = g

(βa+1) =

· · · = g(

βa+d−2) = 0, er c (βa) = i(βa)g(βa) = i(βa)0 = 0, sa dermed fas, at

c (βa) = c(

βa+1)

= · · · = c(

βa+d−2)

= 0.

Da

c (βa) = c1 + c2βa + · · ·+ cn (βa)n−1 = 0,

c(

βa+1)

= c1 + c2βa+1 + · · ·+ cn

(βa+1

)n−1= 0,

...

c(

βa+d−2)

= c1 + c2βa+d−2 + · · ·+ cn

(βa+d−2

)n−1= 0,

fas, at Hc> = 0 for alle kodeord c, og dermed er alle rækkevektorerne i H paritetstjek forkoden.

Minimumafstanden for en lineær (n, k)-kode er jf. [Justesen & Høholdt, 2004, lem. 1.2.3,s. 6] lig med det mindste antal lineært afhængige kolonner i paritetstjekmatricen. H erikke nødvendigvis en paritetstjekmatrix, men da det er en nedre grænse, kan [Justesen &Høholdt, 2004, lem. 1.2.3, s. 6] stadig anvendes. Vi vil nu vise, at hver gang der udtagesd− 1 vilkarlige søjler fra H, vil de være lineært uafhængige. Dermed vil d være en nedregrænse for antallet af lineært afhængige søjler.

Udtag nu d− 1 vilkarlige søjler, saledes der fas

H :=

βi1a βi2a · · · βid−1a

βi1(a+1) βi2(a+1) · · · βid−1(a+1)

......

...βi1(a+d−2) βi2(a+d−2) · · · βid−1(a+d−2)

(d−1)×(d−1)

Side 82


for j ∈ {1, 2, . . . , d− 1} og ij ∈ {0, 1, . . . , n− 1}. Nar determinanten er forskellig fra 0, ermatricen regulær, og sa er alle søjlerne lineært uafhængige. Sæt xj := βij , hvorved derfas, at

det(

H)

=

∣∣∣∣∣∣∣∣∣xa

1 xa2 · · · xa

d−1xa+1

1 xa+12 · · · xa+1

d−1...

......

xa+d−21 xa+d−2

2 · · · xa+d−2d−1

∣∣∣∣∣∣∣∣∣(d−1)×(d−1)

.

Da giver [Justesen & Høholdt, 2004, kor. 5.3.1, s. 54] om determinanter af Vandermonde-matricer, at

det(

H)

= xa1xa

2 · · · xad−1

d−1

∏i>j

(xi − xj) 6= 0,

og dermed følger det ønskede.

Vi vil nu se pa, hvilke Reed-Solomon koder, der er cykliske.

Definition 6.20 (Cyklisk Reed-Solomon kode)Lad α ∈ Fq være et primitivt element, lad n | q− 1, sæt β := α

q−1n og lad

Pk :={

f (x) ∈ Fq[x] | deg ( f (x)) < k}

for 1 ≤ k ≤ n.

Lad xi := βi−1 for alle i ∈ {1, 2, . . . , n}. Da kaldes koden

Ck := {( f (x1), f (x2), . . . , f (xn)) | f ∈ Pk}

for en cyklisk (n,k) Reed-Solomon kode.


Det vises nu, at Ck er cyklisk. Først bemærkes dog, at x1, x2, . . . , xn er forskellige grundetvalget af α, hvorfor det pa den made stemmer overens med den oprindelige definition6.1 af Reed-Solomon koder. Heraf følger ogsa grunden til, at en stor del af Reed-Solomonkoderne er cykliske, da Ck specielt er en Reed-Solomon kode.

Sætning 6.21 (Ck er cyklisk)Koden Ck er en cyklisk (n,k) kode over Fq med generatorpolynomiet

g(x) = (x− β)(x− β2) · · · (x− βn−k

).


BEVIS. Først vises, at Ck er cyklisk. Lad c ∈ Ck med

c =(

f(

β0) , f (β) , . . . , f(

βn−2) , f(

βn−1))

.

Side 83


Da er det cykliske skift af c givet ved c =(

f(

βn−1) , f(

β0) , . . . , f(

βn−2)). For h(x) :=f (xβ−1) fas da, at

c =(

f(

βn−1)

, f(

β0) , . . . , f(

βn−2))=(

h (βn) , h(

β1)

, . . . , h(

βn−1))

=(

h (1) , h (β) , . . . , h(

βn−1))

=(

h(

β0) , h (β) , . . . , h(

βn−1))

,

og da deg(h(x)) = deg( f (x)) følger, at c ∈ Ck. Fra definitionen af Ck og beviset forsætning 6.19 fas, at

H :=

1 β · · · βn−1

1 β2 · · · β2(n−1)

......

...1 βn−k · · · β(n−k)(n−1)

(n−k)×n

er en paritetstjekmatrix for Ck og grundet definitionen for en paritetstjekmatrix følger, at

Hg> = 0,

sa

g0 + g1β + · · ·+ gn−kβn−k = 0 = g (β)

g0 + g1β2 + · · ·+ gn−k(

β2)n−k = 0 = g(

β2)...

g0 + g1βn−k + · · ·+ gn−k

(βn−k

)n−k= 0 = g

(βn−k

)og dermed er β, β2, . . . , βn−k rødder i generatorpolynomiet.

Definition 6.22 (sub (Ck) – subfield subcode)I specialtilfældet q = 2m kaldes den delkode af Ck, hvor kun de binære ord er med, foren delkode i et dellegeme (eller subfield subcode) og noteres sub (Ck), sa

sub (Ck) := {c ∈ Ck | c ∈ Fn2}.

Definition 6.23 (Minimalpolynomium)Lad γ ∈ F2m . Minimalpolynomiet for γ kaldes mγ(x), og er det polynomium i F2[x] aflaveste grad, der har γ som rod.


Sætning 6.24 (Minimumsafstand og generatorpolynomium for sub (Ck))Koden sub (Ck) er en cyklisk kode med minimumsafstand d (sub (Ck)) ≥ n − k + 1,hvor generatorpolynomiet for sub (Ck) er produktet af forskellige minimalpolynomierfor β, β2, . . . , βn−k.


Side 84

Afsnit 6.3: Dekodning Gruppe G3-117

BEVIS. Koden er cyklisk, da Reed-Solomon koden Ck er. Fra sætning 6.21 fas, at gene-ratorpolynomiet mindst har nulpunkterne β, β2, . . . , βn−k, og polynomiet i F2[x] af lavestgrad med disse nulpunkter er jf. [Justesen & Høholdt, 2004, afsnit 2.3] netop produktet afde forskellige minimalpolynomier for β, β2, . . . , βn−k. Da kodeordene er kodeord fra enReed-Solomon kode, følger minimumsafstanden fra sætning 6.5.

6.3 DEKODNING

I dette afsnit beskrives pa to dekodningsalgoritmer. Den første er forholdsvis ny (frasidst i 1990’erne). Egentlig kommer den fra Sudans listedekodningsalgoritme med li-stestørrelsen 1 [Justesen & Høholdt, 2004, kap. 12], hvorfor vi kalder den “Sudans simplelistedekodning”. Der vil i afsnit 6.3.3 komme en kort forklaring af, hvad listedekodninger. Den anden algoritme, der betragtes, er Petersons dekodningsalgoritme, som kan be-nyttes til at dekode BCH-koder.

I hele afsnit 6.3 antages, at der arbejdes i koden C, der er en (n,k) Reed-Solomon kode,og at x1, x2, . . . , xn ∈ Fq er de n forskellige elementer, der er benyttet til at konstruerekoden. Ydermere antages, at r = c + e er det modtagne ord med det afsendte kodeord cog fejlmønstret e, saledes at w(e) ≤ t = b n−k

2 c = b d−12 c < d

2 jf. sætning 6.5. Som tidligerebetragtes vektorerne som polynomier, sa

r(x) = r1 + r2x + · · ·+ rnxn−1,

c(x) = c1 + c2x + · · ·+ cnxn−1,

e(x) = e1 + e2x + · · ·+ enxn−1.

Begge algoritmer anvender et interpolationspolynomium

Q(x,y) = Q0(x) + yQ1(x),

hvor Q ∈ Fq[x,y] \ {0}, og Q0, Q1 ∈ Fq[x] med

Q0 = Q0,0 + Q0,1x + · · ·+ Q0,l0 xl0

ogQ1 = Q1,0 + Q1,1x + · · ·+ Q1,l1 xl1 .

I denne forbindelse vil Q1 blive kaldt fejllokaliseringspolynomiet; grunden til dette sessenere. Ideen gar ud pa at bestemme Q(x,y), og dermed Q0 og Q1, saledes at visse e-genskaber er opfyldt. Som det kan ses, efter begge algoritmer er blevet præsenteret, erforskellen mellem algoritmerne, hvordan interpolationspolynomiet anvendes og bestem-mes, og hvilke krav der benyttes for at kunne gøre dette.

Sætning 6.25 beskriver vigtige karakteristika for begge algoritmer.

Side 85

Gruppe G3-117 Afsnit 6.3: Dekodning

Sætning 6.25Antag at r = c + e er modtaget. Sa findes der mindst et polynomium Q(x,y) ∈ Fq[x,y] \{0} pa formen

Q(x, y) = Q0(x) + yQ1(x) for Q0(x), Q1(x) ∈ Fq[x],

der opfylder, at

(i) Q(xi, ri) = 0 for alle i ∈ {1, 2, . . . n} ,

(ii) deg Q0 ≤ n− 1− t =: l0 og

(iii) deg Q1 ≤ t =: l1 .


BEVIS. Betingelsen (i) giver n homogene ligninger med (1 + l0) + (1 + l1) = (1 + n− 1−t) + (1 + t) = n + 1 ubekendte i form af koefficienterne til Q0 og Q1, hvilket resulterer i,at

Q0,0 + x1Q0,1 + x21Q0,2 + · · ·+ xl0

1 Q0,l0 + r1Q1,0 + r1x1Q1,1 + · · ·+ r1xl11 Q1,l1 = 0

Q0,0 + x2Q0,1 + x22Q0,2 + · · ·+ xl0

2 Q0,l0 + r2Q1,0 + r2x2Q1,1 + · · ·+ r2xl12 Q1,l1 = 0

...

Q0,0 + xnQ0,1 + x2nQ0,2 + · · ·+ xl0

n Q0,l0 + rnQ1,0 + rnxnQ1,1 + · · ·+ rnxl1n Q1,l1 = 0,

hvilket svarer til ligningssystemet

1 x1 x2

1 · · · xl01 r1 r1x1 · · · r1xl1

11 x2 x2

2 · · · xl02 r2 r2x2 · · · r2xl1

2...

......

......

......

1 xn x2n · · · xl0

n rn rnxn · · · rnxl1n

n×(l0+l1+2)

Q0,0Q0,1

...Q0,l0Q1,0Q1,1

...Q1,l1

(l0+l1+2)×1

= 0n×1, (6.2)

sa dermed er der færre ligninger end ubekendte, hvorfor der er en ikke-triviel løsning.

6.3.1 SUDANS SIMPLE LISTEDEKODNING

Sætning 6.26Hvis et afsendt ord c er genereret af g(x), sa

c = (g(x1), g(x2), . . . , g(xn))

og antallet af fejl w(e) ≤ t < d2 , sa er

Q(x, g(x)) = Q0(x) + g(x)Q1(x) = 0.


Side 86


BEVIS. Da Q(xi, ri) = Q(xi, ci + ei) = Q(xi, g(xi) + ei) = 0 for alle i ∈ {1, 2, . . . , n} jf.sætning 6.25, sa er

Q(xi, g(xi)) = 0 for mindst n− t værdier af i ∈ {1, 2, . . . , n},

da det er antaget, at der maksimalt er begaet t fejl. Derfor er ei = 0 for mindst n − tværdier af i ∈ {1, 2, . . . , n}. Sa følger, at Q(x, g(x)) altsa har mindst n− t nulpunkter. Vedat betragte graden fas, at

deg (Q (x, g(x))) = max {deg (Q0(x)) , deg (g(x)) + deg (Q1(x))}≤ max{n− t− 1, (k− 1) + t}

≤ max{

n− t− 1, (k− 1) +n− k

2

}= max

{n− t− 1,

k2− 1 +

n2

}= max

{n− t− 1,

k2− 1 +

(n− n

2

)}= max

{n− t− 1, n− n− k

2− 1}

≤ max {n− t− 1, n− t− 1}= n− t− 1,

hvorfor det fas, at Q(x, g(x)) er nulpolynomiet. Dermed er Q(x, g(x)) = Q0(x) +g(x)Q1(x) = 0, hvilket er det ønskede.

Det bemærkes, at Q1(x) ∈ Fq[x] \ {0}. Hvis modsætningsvist Q1 = 0, sa er Q0(x1) =Q0(x2) = · · · = Q0(xn) = 0, da Q(xi, ri) = Q0(xi) + riQ1(xi) = 0, men deg (Q0(x)) ≤n− 1− t ≤ n− 1. Dette ville betyde, at Q0 = 0, og sa ville Q(x, y) = Q0(x) + yQ1(x) = 0,hvilket er i modstrid med valget af Q(x, y) jf. sætning 6.25.

Da sætninger 6.26 giver, at

Q(x, y) = Q0(x) + yQ1(x) = Q1(x)(

y +Q0(x)Q1(x)

)= Q1(x) (y− g(x)) ,

vil xi’erne, hvor der er sket fejl, være blandt nulpunkterne for Q1, for hvis ei 6= 0, saer ri − g(xi) 6= 0, hvoraf Q(xi, ri) = 0, og sa er Q1(xi) = 0, og netop derfor kaldes Q1fejllokaliseringspolynomiet.

Tilbage er sa blot at finde ud af, hvordan man ud fra det modtagne r finder g(x).Som det i sætning 6.26 er antydet, skal man for at finde det afsendte ord c =(g(x1), g(x2), . . . , g(xn)) udregne kvotienten−Q0(x)

Q1(x) . Her benyttes sætning 6.25, der givern ligninger med l0 + 1 + l1 + 1 = n + 1 ubekendte, som det ses i beviset for sætningen.Dette giver anledning til følgende algoritme, hvor løsningen til disse n ligninger netopudgør polynomierne Q0 og Q1. Sætning 6.26 giver dermed, at det afsendte ord kan ud-regnes.

Side 87


ALGORITME 6.27 (SUDANS SIMPLE LISTEDEKODNING).Input: Et modtaget ord r = (r1, r2, . . . , rn).

Algoritmen forløber efter følgende trin:

(i) Løs ligningssystemet

1 x1 x2

1 · · · xl01 r1 r1x1 · · · r1xl1

11 x2 x2

2 · · · xl02 r2 r2x2 · · · r2xl1

2...

......

......

......

1 xn x2n · · · xl0

n rn rnxn · · · rnxl1n

n×(l0+l1+2)

Q0,0Q0,1

...Q0,l0Q1,0Q1,1

...Q1,l1

(l0+l1+2)×1

= 0n×1.

(ii) Sæt

Q0(x) :=l0

∑j=0

Q0,jxj,

Q1(x) :=l1

∑j=0

Q1,jxj,

g(x) := −Q0(x)Q1(x)

.

(iii) Hvis g(x) ∈ Fq[x], sa er det afsendte ord

(g(x1), g(x2), . . . , g(xn)) ,

ellers meld fejl.

[Justesen & Høholdt, 2004, alg. 5.2.1, s. 52]

I [Justesen & Høholdt, 2004, s. 51] vælges l1 = n− 1− t− (k− 1). Nar n− k er et lige tal,sa er n− 1− t− (k− 1) = t, og nar n− k er et ulige tal, er n− 1− t− (k− 1) = t + 1. Narn− k er ulige og l1 = n− 1− t− (k− 1) fas altsa en ligning mere end ved at vælge l1 = t.

Eksempel 6.28 (Dekodning af (10,5) Reed-Solomon kode i F11 med algoritme 6.27)I eksempel 6.7 blev informationsvektoren (1, 2, 3, 2, 1) indkodet som(9, 5, 1, 5, 4, 1, 9, 4, 4, 1). Sætning 6.5 giver, at der kan ske maksimalt t fejl, hvort < d

2 = n−k+12 . I det konkrete eksempel er n−k+1

2 = 10−5+12 = 6

2 = 3, sa koden kan rettemaksimalt t = 2 fejl. I dette eksempel vil der blive simuleret 2 fejl.

I stedet for det afsendtec = (9, 5, 1, 5, 4, 1, 9, 4, 4, 1),

sa adderes fejlvektoren e = (3, 2, 0, 0, 0, 0, 0, 0, 0, 0) og der modtages i stedet

r = (r1, r2, . . . , r10) = (1, 7, 1, 5, 4, 1, 9, 4, 4, 1).

Side 88


Da l0 = n − 1 − t = 10 − 1 − 2 = 7 og l1 = 2 fas l0 + 1 + l1 + 1 = 11 ubekendte in = 10 ligninger. I [Justesen & Høholdt, 2004, eks. 5.2.1, s. 53] er der en dimension ekstragrundet valget af l1, men som det ogsa ses, er koefficienten heri til højestegradsleddet0, og det har derfor ingen betydning. Fra eksempel 6.7 haves, at

x1 = 1x2 = 2x3 = 4x4 = 8x5 = 5x6 = 10x7 = 9x8 = 7x9 = 3

x10 = 6.

Ligningssystemet

010×1 =

1 x1 x21 x3

1 x41 x5

1 x61 x7

1 1 x1 x21

1 x2 x22 x3

2 x42 x5

2 x62 x7

2 7 7x2 7x22

1 x3 x23 x3

3 x43 x5

3 x63 x7

3 1 1x3 1x23

1 x4 x24 x3

4 x44 x5

4 x64 x7

4 5 5x4 5x24

1 x5 x25 x3

5 x45 x5

5 x65 x7

5 4 4x5 4x25

1 x6 x26 x3

6 x46 x5

6 x66 x7

6 1 1x6 1x26

1 x7 x27 x3

7 x47 x5

7 x67 x7

7 9 9x7 9x27

1 x8 x28 x3

8 x48 x5

8 x68 x7

8 4 4x8 4x28

1 x9 x29 x3

9 x49 x5

9 x69 x7

9 4 4x9 4x29

1 x10 x210 x3

10 x410 x5

10 x610 x7

10 1 1x10 1x210

10×11

Q0,0Q0,1

...Q0,l0Q1,0Q1,1

...Q1,l1

11×1

=

1 1 1 1 1 1 1 1 1 1 11 2 4 8 5 10 9 7 7 3 61 4 5 9 3 1 4 5 1 4 51 8 9 6 4 10 3 2 5 7 11 5 3 4 9 1 5 3 4 9 11 10 1 10 1 10 1 10 1 10 11 9 4 3 5 1 9 4 9 4 31 7 5 2 3 10 4 6 4 6 91 3 9 5 4 1 3 9 4 1 31 6 3 7 9 10 5 8 1 6 3

10×11

Q0,0Q0,1

...Q0,l0Q1,0Q1,1

...Q1,l1

11×1

skal altsa løses modulo 11.

Side 89


Dette giver løsningen

Q0,0Q0,1

...Q0,l0Q1,0Q1,1

...Q1,l1

11×1

=

21181010109310

11×1

.

I alt giver dette polynomierne

Q0(x) = 2 + x + x2 + 8x3 + 10x4 + 10x5 + x6

Q1(x) = 9 + 3x + 10x2,

og dermed er

g(x) = −Q0(x)Q1(x)

= −2 + x + x2 + 8x3 + 10x4 + 10x5 + x6

9 + 3x + 10x2

= 1 + 2x + 3x2 + 2x3 + x4,

sa den indkodede information er (1, 2, 3, 2, 1). Det kan ydermere benyttes til at udregnedet afsendte ord, sa der fas, at

c = (g(x1), g(x2), . . . , g(x10)) = (9, 5, 1, 5, 4, 1, 9, 4, 4, 1) .

6.3.2 PETERSONS ALGORITME

I dette afsnit behandles Petersons algoritme, der er en minimumsafstandsdekodningsal-goritme, som, udover dekodning af Reed-Solomon koder, ogsa kan anvendes til at deko-de BCH-koder. Denne dekodningsmetode benytter sig ogsa af interpolationspolynomi-er og fejllokaliseringspolynomier, men disse udregnes pa en anden made end i Sudanssimple listedekodningsalgoritme. Der er indledningsvist brug for nogle observationer.

Sæt xj := βj−1 for β ∈ Fq af orden n.

For matricen

H =

1 β · · · βn−1

1 β2 · · · β2(n−1)

......

...1 βn−k · · · β(n−k)(n−1)

(n−k)×n

,

som i sætning 6.10 er vist at være en paritetstjekmatrix, er syndromet s givet ved

s = (s1, s2, . . . , sn−k) = Hr> = H(c + e)> = Hc> + He> = He>,

Side 90


hvoraf det følger, at

si = r1 · 1 + r2βi + · · ·+ rnβi(n−1) = e1 · 1 + e2βi + · · ·+ enβi(n−1).

Som tidligere nævnt er r(x) = r1 + r2x + · · ·+ rnxn−1 og tilsvarende e(x) = e1 + e2x +· · ·+ enxn−1, og derfor er

si = r(βi) = e(βi).

Vi vil nu introducere Petersons algoritme, men i forbindelse med det skal ligningssyste-met

xi1 xi2 · · · xit

x2i1 x2

i2 · · · x2it

......

...xt

i1 xti2 · · · xt

it

t×t

ei1ei2...

eit

t×1

=

s1s2...st

t×1

,

pa et tidspunkt løses, hvor βij er nulpunkter til Q1(x).

Her kan man benytte Cramers regel [Wade, 2004, sæt. C.8, s. 583] som vist i [Justesen &Høholdt, 2004, sæt. 5.4.1, s. 57], der anvender Vandemonde-matricer gennem [Justesen &Høholdt, 2004, kor. 5.3.2, s. 55]. Alternativt kan man finde E−1, som det er gjort i [Thom-mesen, 2008b, “Transpk”], og som dermed erstatter [Justesen & Høholdt, 2004, kor. 5.3.2,s. 55]. Vi har valgt at følge fremgangsmaden som vist i [Thommesen, 2008b, “Transpk”],da man dels kan læse om metoden med Cramers regel i [Justesen & Høholdt, 2004], ogdels er Cramers regel mest af teoretisk interesse grundet kompleksiteten af udregning afdeterminanter.

Lemma 6.29Lad x1, x2, . . . , xt ∈ Fq \ {0} være t forskellige elementer. Sa gælder for

E :=

x1 x2 · · · xtx2

1 x22 · · · x2

t...

......

xt1 xt

2 · · · xtt

t×t

,

at

E−1 =[(

1P(s)(xs)

P(s)r

)sr

]t×t

=

1

P(1)(x1)P(1)

1 · · · 1P(1)(x1)

P(1)t

......

1P(t)(xt)

P(t)1 · · · 1

P(t)(xt)P(t)

t

t×t

,

hvor

P(s)(x) := xt

∏i=1i 6=s

(x− xi) ∈ Fq[x], s ∈ {1, 2, . . . , t}

og P(s)1 , P(s)

2 , . . . , P(s)t ∈ Fq er koefficienterne til P(s)(x), saledes at

P(s)(x) = P(s)1 x + P(s)

2 x2 + · · ·+ P(s)t xt =

t

∑r=1

P(s)r xr.

[Thommesen, 2008b, “Transpk”]

Side 91


BEVIS. For at E−1E = It×t skal det vises, at for den s’te række og u’te søjle i E−1E gælder,at

t

∑r=1

1P(s)(xs)

P(s)r xr

u = δsu :=

{1 hvis s = u0 hvis s 6= u

.

Det bemærkes, at P(s)(x) er konstrueret, saledes at xs ikke er rod, men xi er rod for i ∈{1, 2, . . . , s− 1, s + 1, . . . t}.Da

t

∑r=1

1P(s)(xs)

P(s)r xr

u =1

P(s)(xs)

t

∑r=1

P(s)r xr

u

=P(s)(xu)P(s)(xs)

= δsuP(s)(xs)P(s)(xs)

= δsu,

følger det ønskede.

Som i den tidligere dekodningsalgoritme benyttes, at

Q(x,y) = Q0(x) + yQ1(x),

hvor Q ∈ Fq[x,y] \ {0}, og Q0, Q1 ∈ Fq[x] med

Q0 = Q0,0 + Q0,1x + · · ·+ Q0,l0 xl0

og

Q1 = Q1,0 + Q1,1x + · · ·+ Q1,l1 xl1 .

Petersons algoritme dekoder ved at finde interpolationspolynomiet Q(x,y) direkte, hvil-ket illustreres i følgende sætning. Det bemærkes, at et fejllokaliseringspolynomium jf.afsnit 6.3.1 et et polynoium, der har nulpunkter i alle fejlpositioner, hvis der er begaetmaksimalt t fejl.

Sætning 6.30Et fejllokaliseringspolynomium Q1 er en løsning til ligningssystemet

s1 s2 · · · sl1+1s2 s3 · · · sl1+2...

......

sl1 sl1+1 · · · s2l1

l1×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

= 0l1×1 (6.3)


BEVIS. Først vises, at hvis Q1 er et fejllokaliseringspolynomium, sa er (6.3) opfyldt. Der-efter vises, at givet en løsning til (6.3) kan interpolationspolynomiet Q(x, y) konstrueres.

Side 92


Antag at Q1 er et fejllokaliseringspolynomium. Fra sætning 6.25 (i) fas (6.2) pa side 86,hvilket grundet formen af Q(x, y) kan omskrives til

1 x1 x2

1 · · · xl01

1 x2 x22 · · · xl0

2...

......

1 xn x2n · · · xl0

n

n×(l0+1)

Q0,0Q0,1

...Q0,l0

(l0+1)×1

(6.4)

+

r1 r1x1 · · · r1xl1

1r2 r2x2 · · · r2xl1

2...

......

rn rnxn · · · rnxl1n

n×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

= 0n×1.

Det bemærkes, at den første matrix

An×(l0+1) :=

1 x1 x2

1 · · · xl01

1 x2 x22 · · · xl0

2...

......

1 xn x2n · · · xl0

n

n×(l0+1)

(6.5)

ikke afhænger af det modtagne kodeord r, og ved at gange igennem fra venstre med

Bl1×n :=

x1 x2 · · · xnx2

1 x22 · · · x2

n...

......

xl11 xl1

2 · · · xl1n

l1×n

kan leddet med (6.5) fjernes, da lemma 6.8 giver, at

Bl1×n An×(l0+1) = 0l1×(l0+1).

Derved fas, at (6.4) i stedet kan udtrykkes som

Bl1×n

r1 r1x1 · · · r1xl11

r2 r2x2 · · · r2xl12

......

...rn rnxn · · · rnxl1

n

n×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

n×1

= 0l1×1.

Side 93


Ved at sætte

D(r) =

d1,1 d1,2 · · · d1,(l1+1)d2,1 d2,2 · · · d2,(l1+1)

......

...dl1,1 dl1,2 · · · dl1,(l1+1)

l1×(l1+1)

:=

x1 x2 · · · xnx2

1 x22 · · · x2

n...

......

xl11 xl1

2 · · · xl1n

l1×n︸︷︷︸

Bl1×n

r1 r1x1 · · · r1xl1

1r2 r2x2 · · · r2xl1

2...

......

rn rnxn · · · rnxl1n

n×(l1+1)

=

x1r1x01 + · · ·+ xnrnx0

n · · · x1r1xl11 + · · ·+ xnrnxl1

n...

...xl1

1 r1x01 + · · ·+ xl1

n rnx0n · · · xl1

1 r1xl11 + · · ·+ xl1

n rnxl1n

l1×(l1+1)

fas for alle i ∈ {1, 2, . . . , l1} og j ∈ {1, 2, . . . , l1 + 1}, at

di,j =n

∑q=1

xiqrqxj−1

q

=n

∑q=1

rqxi+j−1q

= r1x1 + r2xi+j−12 + · · ·+ rnxi+j−1

n

= r1 · 1 + r2βi+j−1 + · · ·+ rnβ(i+j−1)(n−1)

= si+j−1,

og dermed at D(r) = D(e), hvoraf det følger, at Q1(x) er en løsning til systemet i (6.3).

Nu vises, at givet en løsning til (6.3) kan interpolationspolynomiet Q(x, y) konstrueres.Antag derfor, at Q1(x) er en løsning til (6.3). Sa haves, at

Bl1×n

r1 r1x1 · · · r1xl11

r2 r2x2 · · · r2xl12

......


n

n×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

n×1

= 0l1×1.

Derfor gælder det for vektoren

v :=

r1 r1x1 · · · r1xl11

r2 r2x2 · · · r2xl12

......


n

n×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

n×1

,

at v ∈ null (Bl1×n).

Da Bl1×n An×(l0+1) = 0 ligger An×(l0+1)’s søjler i Bl1×n’s nulrum. Per konstruktion er l1 = tog dermed gælder, at

dim (null (Bl1×n)) = n− l1 = l0 + 1,

Side 94


og da det netop er antallet af søjler i An×(l0+1), udspænder An×(l0+1)’s søjler dermedBl1×n’s nulrum. Heraf fas, at

r1 r1x1 · · · r1xl11

r2 r2x2 · · · r2xl12

......


n

n×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

= An×(l0+1)

Q0,0Q0,1

...Q0,l0

(l0+1)×1

for passende valg af[Q0,0 Q0,1 · · · Q0,l0

]>1×(l0+1). Dette giver, at (6.4) har en løsning

Q0(x), og dermed kan Q(x, y) konstrueres.

Nar Q1(x) er fundet, bestemmes dets nulpunkter βi1 , βi2 , . . . , βiw , hvor w ≤ t. Bestemmel-se af nulpunkterne kan eksempelvis gøres ved at prøve med alle elementerne i Fq.

Fra indledningen til dette afsnit haves, at

He> = (s1, s2, . . . , s2l1) ,

og dermed kan fejlværdierne findes ved at løse ligningssystemetxi1 xi2 · · · xiw

x2i1 x2

i2 · · · x2iw

......

...xw

i1 xwi2 · · · xw

iw

w×w

ei1ei2...

eiw

w×1

=

s1s2...

sw

w×1

,

hvilket lemma 6.29, der ogsa blev omtalt i indledningen til dette afsnit, kan benyttes til.Dette leder frem til følgende algoritme.

ALGORITME 6.31 (PETERSONS DEKODNINGSALGORITME).Input: Et modtaget ord r = (r1, r2, . . . , rn).

Algoritmen forløber efter følgende trin:

(i) Udregn syndromerne si = r(βi) for alle i ∈ {1, 2, . . . , n − k}, hvor r(x) = r1 +r2x + · · ·+ rnxn−1.

(ii) Find en løsning Q1(x) = Q1,0 + Q1,1x + · · ·+ Q1,l1 xl1 tils1 s2 · · · sl1+1s2 s3 · · · sl1+2...

......

sl1 sl1+1 · · · s2l1

l1×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

= 0l1×1

jf. sætning 6.30.

(iii) Find alle nulpunkterne βi1 , βi2 , . . . , βiw til Q1, hvor w ≤ t, og sæt xij := βij−1.

(iv) Løs xi1 xi2 · · · xiw

x2i1 x2

i2 · · · x2iw

......

...xw

i1 xwi2 · · · xw

iw

w×w

ei1ei2...

eiw

w×1

=

s1s2...

sw

w×1

,

hvormed fejlvektoren e = (e1, e2, . . . , en) fas.

[Justesen & Høholdt, 2004, alg. 5.4.1, s. 60]

Side 95


Eksempel 6.32 (Dekodning af (10,5) Reed-Solomon kode i F11 med algoritme 6.31)Dette eksempel laves som eksempel 6.28 og med samme kode for at kunne sammenlig-ne algoritmerne. Der blev fundet frem til, at koden kunne rette maksimalt t = 2 fejl.

I stedet for det afsendtec = (9, 5, 1, 5, 4, 1, 9, 4, 4, 1),

sa adderes fejlvektoren e = (e1, e2, . . . , e10) = (3, 2, 0, 0, 0, 0, 0, 0, 0, 0) og der modtages

r = (r1, r2, . . . , r10) = (1, 7, 1, 5, 4, 1, 9, 4, 4, 1),

sar(x) = 1 + 7x + x2 + 5x3 + 4x4 + x5 + 9x6 + 4x7 + 4x8 + x9.

Da n− k = 5 og βj−1 = xj fas, at

s1 = r(β1) = r(x2) = r(2) = 7

s2 = r(β2) = r(x3) = r(4) = 0

s3 = r(β3) = r(x4) = r(8) = 8

s4 = r(β4) = r(x5) = r(5) = 2

s5 = r(β5) = r(x6) = r(10) = 1.

Da l1 = t = 2 fas, at løsningen til

[7 0 80 8 2

] Q1,0Q1,1Q1,2

=[

00

]er Q1,0

Q1,1Q1,2

=

317

,

saQ1(x) = 3 + x + 7x2,

har rødderne 1 = 20 = x1 = 2i1−1 og 2 = 21 = x2 = 2i2−1, sa i1 = 1 og i2 = 2. Derforhar fejlpolynomiet e(x) formen e(x) = ei1 xi1−1 + ei2 xi2−1 = e1 + e2x. For at finde e1 og e2skal systemet [

x1 x2x2

1 x22

] [e1e2

]=[

s1s2

]løses. Ved at indsætte tallene fas systemet[

1 21 4

] [e1e2

]=[

70

],

hvilket giver, at e1 = 3 og e2 = 2 sa e = (3, 2, 0, 0, 0, 0, 0, 0, 0, 0), hvilket præcis svarer tildet adderede fejlmønster.

Algoritme 6.31 kan som nævnt ogsa anvendes pa BCH-koder. Dette foregar pa sammemade som vist i eksempel 6.32. Dog kan visse egenskaber, vi har vist om cykliske ko-der, udnyttes. Eksempelvis kan et generatorpolynomium for koden findes ved, at man,

Side 96


ud fra kodens egenskaber, har rødderne og deres minimalpolynomier og med disse kankonstruere generatorpolynomiet. Nar generatorpolynomiets vægt er kendt, sa giver sæt-ning 6.19 ydermere en nedre grænse for minimumsafstanden og dermed en øvre grænsefor antallet af fejl. Derudover skal man ogsa have et primitivt element pa samme madesom i de andre eksempler. Alt dette vil vi nu gennemga med et eksempel.

Eksempel 6.33 (Dekodning af (15, 5, 7) BCH-kode med algoritme 6.31)Der henvises til afsnit 6.2.1 for en nærmere gennemgang af BCH-koder.

Vi vil først konstruere en (n,k,d) = (15, 5, 7) BCH-kode. Lad m = 4 sa q = 2m = 16. Vælgn = 15, sa q−1

n = 1. Tag dernæst et primitivt element α ∈ F16 og sæt β := αq−1

n = α.Dermed kan der laves en BCH-kode sub (C9) jf. definition 6.20 og sætning 6.21.

Sætning 6.24 giver nu, at generatorpolynomiet g(x) for sub (C9) fas ved at finde for-skellige minimalpolynomier for β, β2, . . . , βn−9, hvor βn−9 = β15−9 = β6. Da β = α skalminimalpolynomierne for α, α2, . . . , α6 findes. Hvis mα(x) er minimalpolynomium for α,giver [Justesen & Høholdt, 2004, sæt. 2.3.1, s. 25], at mα(x) ogsa er minimumspolynomi-um for α2. Dette argument resulterer i, at mα(x) = mα2(x) = mα4(x) og mα3(x) = mα6(x).Disse findes ved at benytte [Justesen & Høholdt, 2004, appendix C, s. 185], hvorved derfas, at

mα(x) = 1 + x + x4

mα3(x) = 1 + x + x2 + x3 + x4

mα5(x) = 1 + x + x2.

Derved er generatorpolynomiet for sub (C9) givet ved

g(x) = mα(x)mα3(x)mα5(x)

= 1 + 3x + 5x2 + 6x3 + 7x4 + 7x5 + 6x6 + 4x7 + 3x8 + 2x9 + x10

= 1 + x + x2 + x4 + x5 + x8 + x10.

Sætning 6.14 giver dermed, at

dim (sub (C9)) = n− deg(g(x)) = 15− 10 = 5.

Sætning 6.24 giver ydermere, at d (sub (C9)) ≥ n − 9 + 1 = 15 − 9 + 1 = 7, og dag = (1, 1, 1, 0, 1, 1, 0, 0, 1, 0, 1) ∈ sub (C9) fas, at der er lighed, saledes at

d (sub (C9)) = 7.

For nu at dekode, skal der benyttes et primitivt element. Da x4 + x + 1 er et irreducibeltpolynium i F2[x] og har grad 4, kan F16 jf. [Justesen & Høholdt, 2004, s. 24-25] konstru-eres over dette polynomium, sa

F16 = F2[x]/〈x4 + x + 1〉,

Side 97


hvor der sa fas, at x4 = x + 1. De forskellige elementer i F16 er sa givet ved, at

0

x0 = 1

x1

x2

x3

x4 = x + 1

x5 = x2 + x

x6 = x3 + x2

x7 = x4 + x3 = x3 + x + 1

x8 = x2 + 1

x9 = x3 + x

x10 = x4 + x2 = x2 + x + 1

x11 = x3 + x2 + x

x12 = x4 + x3 + x2 = x3 + x2 + x + 1

x13 = x4 + x3 + x2 + x = x3 + x2 + 1

x14 = x4 + x3 + x = x3 + 1.

Dermed er x et primitivt element i F2[x]/〈x4 + x + 1〉, sa er α = x.

Nu sendes nulordet og der introduceres 3 fejl, saledes der modtages r(x) = x9 + x7 + x5.Derefter udregnes syndromerne

s1 = r(β1) = r(α1) =(α3 + α

)+(α3 + α + 1

)+(α2 + α

)= α2 + α + 1

s2 = r(β2) = r(α2) = α2 + α

s3 = r(β3) = r(α3) = α

s4 = r(β4) = r(α4) = α2 + α + 1

s5 = r(β5) = r(α5) = 0

s6 = r(β6) = r(α6) = α2

s7 = r(β7) = r(α7) = α3 + α2 + 1

s8 = r(β8) = r(α8) = α2 + α

s9 = r(β9) = r(α9) = α2 + 1

s10 = r(β10) = r(α10) = 0.

Side 98


Dermed fas, at løsningerne tils1 s2 · · · sl1+1s2 s3 · · · sl1+2...

......

sl1 sl1+1 · · · s2l1

l1×(l1+1)

Q1,0Q1,1

...Q1,l1

(l1+1)×1

= 0l1×1

er

α3 + α2

α2

α2 + α + 1100

,

αα + 1

α010

,

α3 + α + 1α3 + α

α3 + α2 + 1001

.

For at fa sa fa rødder som muligt, og dermed et ligningssystem med færre ubekendte,kan polynomiet af lavest grad vælges. Her vælges dog et andet for at illustrere, at detogsa virker. Dermed fas, at

Q1(x) = α + (α + 1)x + αx2 + x4

= α + α4x + αx2 + x4

som har rødderneα5, α7, α9, α10,

sa i1 = 6, i2 = 8, i3 = 10 og i4 = 11. For at finde fejlpolynomiet skal systemet

α5 α7 α9 α10

......

......(

α5)5 (α7)5 (

α9)5 (α10)5

e6e8e10e11

=

s1s2s3s4s5

løses. Dette giver, at e6 = 1, e8 = 1, e10 = 1 og e11 = 0 sa e(x) = x5 + x7 + x9. Derfor erdet afsendte kodeord

c(x) = r(x)− e(x)

=(x5 + x7 + x9)− (x5 + x7 + x9)

= 0,

hvilket netop er nulordet, som var det afsendte ord.

[Justesen & Høholdt, 2004, eks. 6.4.1, s. 69]

6.3.3 LISTEDEKODNING

Vi vil i dette afsnit kort præsentere en gren af den nyere tids udvikling af dekodning. Vivil ikke ga i detaljer eller give beviser, men blot give en kort omtale af mader at rette flereend t fejl pa.

Side 99


De to præsenterede algoritmer er sakaldte minimumsafstandsdekodningsalgoritmer. Deudnytter, at der for lineære koder gælder, at minimumsafstanden d er lig med minimums-vægten. Hvis der er begaet t < d

2 fejl, vil det modtagne kodeord ligge i en afstand fra detafsendte kodeord, der gør det muligt entydigt at identificere, hvad det afsendte kodeordvar.

Der har naturligvis været stor motivation for at kunne rette flere fejl end d2 . I 1997 publice-

rede Madhu Sudan artiklen [Sudan, 1997], hvor han viser, at givet visse betingelser er detmuligt at konstruere en algoritme, der i polynomiel tid kan rette flere end d

2 fejl. I stedetfor enten at give det afsendte kodeord eller returnere en fejl, giver algoritmen en liste in-deholdende et antal mulige kodeord, hvor størrelsen pa listen er fastsat pa forhand. Denomtalte algoritme er ogsa præsenteret i [Justesen & Høholdt, 2004, alg. 12.1.1, s. 129].

I henhold til Sudans simple listedekodning, hvor Q(x,y) = Q0(x) + yQ1(x), sa laver mani den generelle listedekodning i stedet

Q(x,y) = Q0(x) + yQ1(x) + · · ·+ ylQl(x),

hvor der skal gælde lignende betingelser som i sætning 6.25. Udover kravene til Q(x,y) ∈Fq[x, y] \ {0}, sa er der ogsa visse krav til l. Disse er analyseret i detaljer i [Justesen &Høholdt, 2004, s. 128], men konklusionen er, at hvis

1l + 1

>k− 1

n, (6.6)

sa kan man rette τ fejl, hvor

τ < nl

l + 1− (k− 1)

l2

,

og ved dekodning vil man da modtage højst l kodeord, der er kandidater til det afsendte.

Det bemærkes, at for l = 1 er t = τ, hvilket netop er tilfældet i algoritme 6.27, derbeskriver Sudans simple listedekodning.

Eksempel 6.34 (Fejlgrænsen ved listedekodning af en (15,3) Reed-Solomon kode)Jf. [Justesen & Høholdt, 2004, eks. 12.1.1, s. 129] kan der laves en (15,3) Reed-Solomonkode over F16. Da n−k+1

2 = 15−3+12 = 13

2 , sa kan koden rette maksimalt t = 6 fejl. Da

k− 1n

=215

vælges l = 3, sa 1l+1 = 1

4 = 1560 > 8

60 = 215 . Dermed er

τ < nl

l + 1− (k− 1)

l2

= 1534− 2

32

=334

= 8 +14

,

og der kan rettes τ = 8 fejl, hvis listestørrelsen er l = 3. I [Justesen & Høholdt, 2004,eks. 12.1.1, s. 129] vises det, at hvis listestørrelsen er l = 2, kan der rettes τ = 7 fejl. Ikkeoverraskende kan man altsa rette flere fejl, hvis man tillader en større liste og dermedstørre unøjagtighed i dekodningen.

I eksempel 6.28 er (n,k) = (10,5), og hvis man prøver at udregne l i dette tilfælde, viserdet sig, at man ikke kan rette flere end t = 2 fejl, hvilket netop er det maksimale antal fejlmed minimumsafstandsdekodning. Grunden er, at l = 1 er den eneste mulighed for at

Side 100


opfylde de nævnte krav, da

11 + 1

=12︸︷︷︸

l=1

>25︸︷︷︸

k−1n

>13

=1

2 + 1︸︷︷︸l=2

,

og dermed er betingelsen (6.6) ikke opfyldt for l = 2. Som det ses i (6.6), er det forhol-det mellem k og n, der har indflydelse pa, hvor mange fejl der kan rettes. Des mindrehastigheden k

n er, des flere fejl kan der rettes. Denne metode virker altsa kun for lavehastigheder af koden.

I 1999 publicerede Sudan sammen med Venkatesan Guruswami artiklen [Guruswami &Sudan, 1999], der beskriver en forbedring af metoden beskrevet i [Sudan, 1997]. Ogsadenne nye algoritme er præsenteret i [Justesen & Høholdt, 2004, alg. 12.2.1, s. 131]. Al-goritmen giver optimerede betingelser, bl.a. ved at den ogsa virker pa koder med højerehastigheder. Igen vil vi ikke ga i dybden med den men blot indikere, hvad man opnarmed denne nye forbedrede algoritme. Først er der brug for en enkelt definition.

Definition 6.35 (Multiplicitet af rødder)Lad Q(x, y) := ∑ qi,jxiyj være et polynomium i Fq[x,y], lad (a, b) ∈ Fn

q2 og lad

Q∗(x, y) := ∑ q∗i,jxiyj = Q(x + a, y + a). Hvis q∗i,j = 0 for i + j < s og s er det største

tal, der opfylder dette, sa kaldes (a, b) en rod i Q(x, y) af multiplicitet s.


Eksempel 6.36Polynomiet Q(x, y) = 1 + x2 + y2 + x2y2 i F2[x,y] har (1, 1) som rod af multiplicitet 4,da

Q(x + 1, y + 1) = 1 + (x + 1)2 + (y + 1)2 + (x + 1)2(y + 1)2

= 1 + x2 + 12 + y2 + 12 + (x2 + 12)(y2 + 12)

= 1 + x2 + 1 + y2 + 1 + x2y2 + x2 + y2 + 14

= 4 + 2x2 + 2y2 + x2y2

= x2y2.

Dette passer fint overens med det kendte for polynomier af en variabel, da

(x− 1)2 (y− 1)2 =(x2 + 1

) (y2 + 1

)= x2y2 + x2 + y2 + 1 = Q(x,y).


Igen er de specifikke krav analyseret i detaljer i [Justesen & Høholdt, 2004, s. 131], menkonklusionen er, at hvis s < l og

sl + 1

>k− 1

n,

sa kan man rette τ fejl, hvor

τ < n2l − s + 12(l + 1)

− (k− 1)l

2s.

Side 101


Udover disse krav forudsætter en del af algoritmen, at man kan faktorisere Q(x,y) til fak-torer pa formen (y− f (x)), hvor deg ( f (x)) < k, hvilket behandles i [Justesen & Høholdt,2004, afsnit 12.3, s. 132]. Ved at sammenligne med (6.6) ses det, at s netop bevirker, atdenne dekodningsalgoritme kan fungere for alle hastigheder og ikke blot for lavhastig-hedskoder.

En made at udnytte listedekodning pa, er at anvende det i situationer, hvor man ikke blotbetragter en enkelt transmission ad gangen, men i stedet udnytter, at kommunikation oftesker efter protokoller med en bestemt syntaks og semantik. Pa den made kan man efterdekodningen udelukke visse af kodeordene i listen, da kommunikationen ved benyttelseaf disse kodeord ikke vil overholde protokollen. Alternativt kan man vælge det kodeordfra listen, der har mindst afstand til det modtagne kodeord.

Side 102

KAPITEL 7

OPSUMMERING

I sætning 4.18 blev Kildekodningssætningen vist. Den siger, at for enhver sandsynlig-hedsfordeling P = (p1, . . . ,pn) gælder der, at

Hr(p1, . . . ,pn) ≤ MinAveLenr (p1, . . . ,pn) < Hr(p1, . . . ,pn) + 1.

Det betyder, at den mindste gennemsnitlige ordlængde for en kode ligger tæt ved kodensentropi. Et eksempel, hvor dette faktum udnyttes, er givet gennem universel kildekod-ning i afsnit 4.4.

I definition 5.16 blev hastigheden af en kode defineret som

Rb :=logb(|C|)

n.

For en lineær kode over Fq fas hastigheden Rq = kn , da |C| = qk og logaritmen logq

vælges. En kodes hastighed kan saledes tolkes som antallet af informationssymboler perkodesymbol.

I sætning 5.17 blev Gilbert-Varshamov grænsen vist. Den siger, at givet n,k,d ∈ N, eksi-sterer der en binær, lineær (n,k) kode med højst n− k lineært uafhængige paritetstjek ogminimumsafstand mindst d, hvis

d−2

∑j=0

(n− 1

j

)= 1 +

(n− 1

1

)+ · · ·+

(n− 1d− 2

)< 2n−k.

Gilbert-Varshamov grænsen giver anledning til, at man for hastigheder R ≤ 1− H(2p),hvor p er overgangssandsynligheden, kan kommunikere over en binær, hukommelsesfrikanal med en fejlsandsynlighed gaende mod 0, nar ordlængden gar mod uendelig.

I sætning 5.22 blev Kanalkodningssætningen vist. Den siger, at for en binær, symmetrisk,hukommelsesfri kanal med kapaciteten K = 1− H(p) (hvor p igen er overgangssand-synligheden) gælder der, at hvis hastigheden R opfylder, at R < K, sa eksisterer der enbinær, lineær kode, hvor fejlsandsynligheden gar mod 0, nar n gar mod uendelig.

I sætning 6.5 blev det vist, at Reed-Solomon koder ligger pa Singleton-grænsen, og derforkaldes en MDS-kode (Maximum Distance Separable Code). Singleton-grænsen er vist forlineære koder i almindelighed i sætning 6.4. Med andre ord gælder der, at hvis C er en(n, k) Reed-Solomon kode over Fq, sa er

d(C) = n− k + 1.

Dette faktum resulterer i, at der kan rettes t < d2 = n−k+1

2 fejl ved minimumsafstandsde-kodning. Minimumsafstandsdekodning gar ud pa, at der i en kode er en vis minimumsaf-stand mellem alle kodeord. Dette kan udnyttes i forbindelse med fejlkorrigerende koder.Hvis der modtages et kodeord, der ikke ligger i koden, sa kan man tage det kodeord, derligger tættest pa, da der er stor sandsynlighed for, at det netop er det afsendte.

Der er i afsnit 6.3 beskrevet to minimumsafstandsdekodningsalgoritmer, og afsnittet re-degør afslutningsvist for en gren i den videre udvikling af dekodning kaldet listedekod-ning, der distancerer sig en anelse fra minimumsafstandsdekodning, men til gengældgør det muligt at dekode pa trods af, at der er sket flere end n−k+1

2 fejl. Dette gør sig ogsagældende for højhastighedskoder.

Side 103

Gruppe G3-117 Kapitel 7. Opsummering

Fejlkorrigerende koder far hastigheden til at dale, da der bliver tilføjet symboler for atkunne rette fejl. Ved indledningsvist at lave kildekodning, der komprimerer den oprin-delige information, kan man dog under visse omstændigheder kompensere for faldet ihastigheden samtidig med at have den fejlkorrigerende egenskab.

Side 104

LITTERATUR

[Axler, 1997] Sheldon Jay Axler. Linear Algebra Done Right. Springer, 2. udgave, 1997.ISBN: 0-387-98259-0.

[Cover & Thomas, 2006] Thomas M. Cover og Joy A. Thomas. Elements of InformationTheory. John Wiley And Sons Ltd, 2. udgave, 2006. ISBN: 0-471-24195-4.

[Guruswami & Sudan, 1999] Venkatesan Guruswami og Madhu Sudan. ImprovedDecoding of Reed-Solomon and Algebraic-Geometric Codes. 1999. URL: http://citeseer.ist.psu.edu/guruswami99improved.html.

[Justesen & Høholdt, 2004] Jørn Justesen og Tom Høholdt. A Course In Error-CorrectingCodes. European Mathematical Society Publishing House, 1. udgave, 2004. ISBN: 3-03719-001-9.

[Lauritzen, 2005] Niels Lauritzen. Concrete Abstract Algebra – From Numbers to GrobnerBases. Cambridge University Press, 1. udgave, 2005. ISBN: 0-521-53410-0.

[MacKay, 2003] David J. C. MacKay. Information Theory, Inference and Learning Algorithms.Cambridge University Press, 1. udgave, 2003. ISBN: 0-521-64298-1.

[Olofsson, 2005] Peter Olofsson. Probability, Statistics, and Stochastic Processes. John Wiley& Sons, Inc., 1. udgave, 2005. ISBN: 0-471-67969-0.

[Roman, 1992] Steven Roman. Coding and Information Theory. Springer, 1. udgave, 1992.ISBN: 0-387-97812-7.

[Sudan, 1997] Madhu Sudan. Decoding of Reed Solomon Codes beyond the Error-CorrectionBound. Journal of Complexity, 13, nr. 1, s. 180–193, 1997. URL: http://citeseer.ist.psu.edu/article/sudan97decoding.html.

[Thommesen, 2008a] Christian Thommesen. Spisesedler til MAT2-kurset i informationsteori,2008a. URL: http://people.math.aau.dk/∼cthom/kurser/infkodn-08/.

[Thommesen, 2008b] Christian Thommesen. Spisesedler til MAT2-kurset i kodningsteori,2008b. URL: http://people.math.aau.dk/∼cthom/kurser/infkodn-08/.

[Wade, 2004] William R. Wade. An Introduction to Analysis. Pearson Prentice Hall, 3.internationale udgave, 2004. ISBN: 0-13-124683-6.

Side 105

http://citeseer.ist.psu.edu/guruswami99improved.html

http://citeseer.ist.psu.edu/guruswami99improved.html

http://citeseer.ist.psu.edu/article/sudan97decoding.html

http://citeseer.ist.psu.edu/article/sudan97decoding.html

http://people.math.aau.dk/~cthom/kurser/infkodn-08/

http://people.math.aau.dk/~cthom/kurser/infkodn-08/

BILAG A

BINOMIALFORMLEN

Sætning A.1 (Binomialformlen)Hvis a, b ∈ R og n ∈N, sa gælder der, at

(a + b)n =n

∑k=0

(nk

)an−kbk. (A.1)

[Wade, 2004, sæt. 1.15, s. 16]

BEVIS. Dette bevises ved induktion over n. Basisskridtet er trivielt opfyldt, og dermedantages, at (A.1) er opfyldt for et n ∈N, hvorved der sammen med, at(

nk

)+(

nk− 1

)=(

n + 1k

)haves, at

(a + b)n+1 = (a + b) (a + b)n

= (a + b)n

∑k=0

(nk

)an−kbk

=

(a

n

∑k=0

(nk

)an−kbk

)+

(b

n

∑k=0

(nk

)an−kbk

)

=

(n

∑k=0

(nk

)an−k+1bk

)+

(n

∑k=0

(nk

)an−kbk+1

)

= an+1 +

(n

∑k=1

(nk

)an−k+1bk

)+

(n−1

∑k=0

(nk

)an−kbk+1

)+ bn+1

= an+1 +

(n

∑k=1

(nk

)an−k+1bk

)+

(n

∑k=1

(n

k− 1

)an−k+1bk

)+ bn+1

= an+1 +

(n

∑k=1

((nk

)+(

nk− 1

))an−k+1bk

)+ bn+1

= an+1 +

(n

∑k=1

(n + 1

k

)an−k+1bk

)+ bn+1

=n+1

∑k=0

(n + 1

k

)an−k+1bk,


Side 107

BILAG B

OVERSIGT OVER MATEMATISKEHØJDEPUNKTER

B.1 DEFINITIONER

2.1 Konventioner for logaritmer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2 Kilde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.3 Entropifunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

2.8 Relativ entropi / Kullback-Leibler-afstand . . . . . . . . . . . . . . . . . . . . . 20

2.9 Entropi af en stokastisk variabel . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.10 Relativ entropi / Kullback-Leibler-afstand for stokastiske variable . . . . . . . 20

2.13 Sammensat entropi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.14 Betinget entropi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.17 Gensidig information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.23 Betinget gensidig information . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

3.1 Konveks mængde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3.2 Konveksitet af funktioner over konvekse mængder . . . . . . . . . . . . . . . 29

3.11 Markov-kæde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4.1 Alfabeter, strenge og r-ære koder . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4.2 Diskret hukommelsesfri kanal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4.3 Kanalkapacitet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

4.6 Kodningsskema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.7 Gennemsnitslig kodeordslængde . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.8 Blokkode og kode af variabel længde . . . . . . . . . . . . . . . . . . . . . . . . 43

4.9 Entydig kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.10 Momentan kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.11 Mindste gennemsnitlige kodeordslængde . . . . . . . . . . . . . . . . . . . . . 44

4.12 Optimal kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.13 Præfiksegenskab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

5.1 Blokkode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.2 Lineær kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.3 Generatormatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

5.4 Paritetstjek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

5.5 Paritetstjekmatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

5.6 Syndrom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

5.7 Dualkode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Side 109

Gruppe G3-117 Afsnit B.2: Lemmaer, sætninger og korollarer

5.12 Hammingvægt og -afstand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

5.14 t-fejlkorrigerende . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

5.16 Hastigheden af en kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5.19 Typiske mængder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

6.1 Reed-Solomon kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

6.9 Vandermonde-matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

6.11 Cyklisk kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

6.20 Cyklisk Reed-Solomon kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

6.22 sub (Ck) – subfield subcode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

6.23 Minimalpolynomium . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

6.35 Multiplicitet af rødder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

B.2 LEMMAER, SÆTNINGER OG KOROLLARER

2.4 Formen af entropifunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2.5 Sammenhæng mellem ln(x) og x− 1 . . . . . . . . . . . . . . . . . . . . . . . . 18

2.6 Konstant faktor mellem logaritmer . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.7 Informationsuligheden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.11 Øvre og nedre grænse for entropifunktionen . . . . . . . . . . . . . . . . . . . 21

2.16 Den lille kæderegel for entropi . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.20 Selvinformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.21 Kædereglen for sandsynlighed . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.22 Den store kæderegel for entropi . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.24 Kædereglen for gensidig information . . . . . . . . . . . . . . . . . . . . . . . . 26

3.3 Sandsynlighedsfordelinger er konvekse . . . . . . . . . . . . . . . . . . . . . . 29

3.4 Konveksitet af entropifunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.5 Jensens ulighed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.13 Chebyshevs ulighed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.14 De store tals lov – svag udgave . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.15 Dataprocesseringsuligheden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

3.16 Fanos ulighed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

4.4 Kanalkapacitet for en symmetrisk hukommelsesfri kanal . . . . . . . . . . . . 42

4.14 Momentan kode ensbetydende med præfikskode . . . . . . . . . . . . . . . . 44

4.15 Krafts sætning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

4.16 McMillans sætning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4.18 Kildekodningssætningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4.21 Huffmans algoritme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

5.15 t-fejlkorrigerende kode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Side 110

Afsnit B.3: Eksempler Gruppe G3-117

5.17 Gilbert-Varshamov grænsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5.18 Kommunikation med fejlsandsynlighed gaende mod 0 . . . . . . . . . . . . . 63

5.22 Kanalkodningssætningen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

6.2 Dimensionen af en Reed-Solomon kode . . . . . . . . . . . . . . . . . . . . . . 71

6.3 Reed-Solomon koders linearitet . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

6.4 Singleton-grænsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

6.5 Reed-Solomon koder er en MDS-kode . . . . . . . . . . . . . . . . . . . . . . . 72

6.10 Generator- og paritetstjekmatrix for en Reed-Solomon kode . . . . . . . . . . 75

6.12 Cyklist skift som algebraisk operation . . . . . . . . . . . . . . . . . . . . . . . 76

6.14 g(x) egenskaber . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

6.15 g(x) er et generatorpolynomium . . . . . . . . . . . . . . . . . . . . . . . . . . 78

6.16 Generatormatrix for en cyklisk kode . . . . . . . . . . . . . . . . . . . . . . . . 79

6.17 Paritetstjekmatrix for en cyklisk kode . . . . . . . . . . . . . . . . . . . . . . . 80

6.18 Dualkode til en cyklisk kode er cyklisk . . . . . . . . . . . . . . . . . . . . . . . 81

6.19 BCH-grænsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

6.21 Ck er cyklisk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

6.24 Minimumsafstand og generatorpolynomium for sub (Ck) . . . . . . . . . . . . 84

B.3 EKSEMPLER

6.6 Indkodning af Reed-Solomon kode . . . . . . . . . . . . . . . . . . . . . . . . . 73

6.7 Indkodning af (10,5) Reed-Solomon kode i F11 . . . . . . . . . . . . . . . . . . 73

6.28 Dekodning af (10,5) Reed-Solomon kode i F11 med algoritme 6.27 . . . . . . . 88

6.32 Dekodning af (10,5) Reed-Solomon kode i F11 med algoritme 6.31 . . . . . . . 96

6.33 Dekodning af (15, 5, 7) BCH-kode med algoritme 6.31 . . . . . . . . . . . . . . 97

6.34 Fejlgrænsen ved listedekodning af en (15,3) Reed-Solomon kode . . . . . . . 100

Side 111

Documents

· Institut for Matematiske Fag Fredrik Bajers Vej 7G 9220 Aalborg Øst Telefon 99 40 88 04 Fax 98 15 81 29 Titel: Kommunikation over støjfyldte