Teoria informacji i kodowania - Cwiczenia

  • View
    221

  • Download
    5

Embed Size (px)

Text of Teoria informacji i kodowania - Cwiczenia

  • Teoria informacji i kodowaniawiczenia

    Piotr Choda, Andrzej Kamisiski

    Katedra Telekomunikacji Akademii Grniczo-Hutniczej

  • Plan prezentacji

    1 Wprowadzenie do wicze

    2 Powtrka rnych zagadnie z matematyki stosowanej

    3 Wstp do teorii informacji: informacja, niepewno,entropia, obliczanie entropii

    Katedra Telekomunikacji AGH 2/41

  • Plan prezentacji

    1 Wprowadzenie do wicze

    2 Powtrka rnych zagadnie z matematyki stosowanej

    3 Wstp do teorii informacji: informacja, niepewno,entropia, obliczanie entropii

    Katedra Telekomunikacji AGH 3/41

  • Prowadzcy

    Dr hab. in. PiotrChoda

    I D-5, parter, pokj 015

    T (+48 12 617)4036

    Bpiotr.cholda@agh.edu.pl

    mhttp://www.cholda.pl/teaching

    Mgr in. AndrzejKamisiski

    I D-5, parter, pokj 012

    U Wtorki, 16.20-17.50

    T (+48 12 617)4034

    Bkamisinski@kt.agh.edu.pl

    Spotkania w ramach konsultacji: prosimy o wczeniejszy kontaktdrog elektroniczn.

    Katedra Telekomunikacji AGH 4/41

    mailto:piotr.cholda@agh.edu.plhttp://www.cholda.pl/teachingmailto:kamisinski@kt.agh.edu.pl

  • Literatura do wicze

    Polecamy dwie pozycje w jzyku polskim:

    Jan Chojcan, Jerzy Rutkowski. Zbir zada z teorii informacjii kodowania.Wydawnictwo Politechniki lskiej, Gliwice, 1994.

    Radosaw Biernacki, Bohdan Butkiewicz, Jerzy Szabatin,

    Boena widziska. Zbir zada z teorii sygnaw i teoriiinformacji.Wydawnictwo Politechniki Warszawskiej, Warszawa, Poland,2007.

    Katedra Telekomunikacji AGH 5/41

  • Dobre podrcznikiZawieraj rwnie zadania z rozwizaniami

    Dominic Welsh. Codes and Cryptography.

    Clarendon Press, Oxford, UK, 1988.

    Thomas M. Cover and Joy A. Thomas. Elements of Information Theory.

    John Wiley & Sons, Inc., New York, NY, 1991.

    Steven Roman. Coding and Information Theory.

    Graduate Texts in Mathematics. Springer-Verlag, Berlin, Germany, 1992.

    Gareth A. Jones and J. Mary Jones. Information and Coding Theory.

    Springer-Verlag London Ltd., London, UK, 2000.

    Todd K. Moon. Error Correction Coding.

    John Wiley & Sons, Inc., Hoboken, NJ, 2005.

    Stefan M. Moser and Po-Ning Chen. A Students Guide to Coding andInformation Theory.

    Cambridge University Press, Cambridge, UK, 2012.Katedra Telekomunikacji AGH 6/41

  • Zasady zaliczeniaZaliczenie w normalnym trybie

    Trzy kolokwia:dwa zadania (12 + 13 lub 13 + 13 punktw),czas trwania: 90 minut,nieobecno: 0 punktw (nie przewidujemy poprawekpojedynczych kolokwiw ani terminw dodatkowych, zwyczeniem dwch kolokwiw zaliczeniowych poprawkowych),zakaz uywania urzdze elektronicznych oraz materiawpomocniczych,kolokwium dla caego roku na raz w godzinach wieczornych?

    Aktywno podczas zaj: dodatkowe pojedyncze punkty; nieprzyznajemy punktw ujemnych.

    Do tablicy tylko chtni (pki s. . . ).

    Katedra Telekomunikacji AGH 7/41

  • Zasady zaliczeniaZaliczenie w normalnym trybie, cd.

    Trzy spotkania zakadajce rozwizywanie zada przy uyciukomputera (3 8 punktw)Wrd zada domowych znajduj si zadania z gwiazdk(trudniejsze wiczenia teoretyczne albo np. napisanieprogramu w Matlabie) pierwsza osoba, ktra wyle doprowadzcego zajcia poprawne rozwizanie takiego zadania,otrzyma dodatkowe punkty.

    Ocena kocowa jest wyliczana wedug Regulaminu Studiw,13.1 (100% = 100 punktw).Regulamin, 11.3: obecno na wiczeniach jest obowizkowa,wic na kadych zajciach zostanie wystawiona lista obecnoci(obecno = podpisana osobicie lista).

    Katedra Telekomunikacji AGH 8/41

  • Zasady zaliczeniaKolokwia zaliczeniowe

    Pierwsze kolokwium zaliczeniowe: dla osb, ktre w cigusemestru uzyskay co najmniej 35 pkt.

    Drugie kolokwium zaliczeniowe: dla osb, ktre w cigusemestru uzyskay co najmniej 16 pkt.

    Kolokwia zaliczeniowe moliwe tylko dwa wyniki: ndst(uzyskanie za kol.

  • Zadania na wiczeniach

    Zadania s udostpniane na stronie WWW.Sugestia odnonie sposobu pracy z zadaniami:

    przeczyta odpowiedni wykad i postara si zrozumie jegotre (np. zagldajc do podrcznikw, korzystajc zkonsultacji itp.);przejrze wszystkie zadania przed wiczeniami;rozwiza przynajmniej po jednym zadaniu z kadej grupy;w czasie wicze zgosi te zadania, ktre wygldaj na trudnedo samodzielnego rozwizania (w miar moliwoci sprbujemyje rozwiza);po wiczeniach rozwiza wszystkie pozostae zadania (w razieproblemw warto ponownie zgosi si na konsultacje).

    Katedra Telekomunikacji AGH 10/41

  • Plan prezentacji

    1 Wprowadzenie do wicze

    2 Powtrka rnych zagadnie z matematyki stosowanej

    3 Wstp do teorii informacji: informacja, niepewno,entropia, obliczanie entropii

    Katedra Telekomunikacji AGH 11/41

  • Materia do powtrzeniaIndukcja matematyczna

    Sposb dowodzenia niektrych twierdze zachodzcych dlaliczb naturalnych

    Musimy dowie, e twierdzenie zachodzi dla pewnych liczbnaturalnych, poczynajc od pewnej wybranej liczby n0: T (n),n N, n n0.

    T (n0) [T (n) T (n + 1)] T (n N, n n0)

    Katedra Telekomunikacji AGH 12/41

  • Materia do powtrzeniaLogika

    Zaprzeczanie zda

    Negacja koniunkcji: (p q) (p q).Negacja implikacji: (p q) (p q).

    Katedra Telekomunikacji AGH 13/41

  • Materia do powtrzeniaKombinatoryka

    Silnian! = 1 2 n.

    Permutacja

    Liczba permutacji n rnych obiektw to: n!.

    Katedra Telekomunikacji AGH 14/41

  • Materia do powtrzeniaKombinatoryka

    Symbol Newtona(nk

    )= n!k!(nk)! :(n

    n

    )= 1,

    (n0

    )= 1,

    (n1

    )= n,

    (nk

    )=( nnk).

    Wzory rekurencyjne:(n+1

    k

    )=(nk

    )+( nk1),(nk

    )= nk

    (n1k1).

    Dwumian Newtona: (x + y)n =n

    k=0

    (nk

    )xkynk .

    (1 + x)n =n

    k=0

    (nk

    )xk .

    2n = (1 + 1)n =n

    k=0

    (nk

    ).

    k elementw mona wybra bez powtrze ze zbioru nelementw na

    (nk

    )sposobw.

    Katedra Telekomunikacji AGH 15/41

  • Materia do powtrzeniaAnaliza

    Logarytm

    loga b = c ac = b.Waciwoci logarytmw:

    iloczyn: loga(bc) = loga b + loga c ,iloraz: loga

    (bc

    )= loga b loga c ,

    potgowanie: loga(bc) = c loga b,

    zamiana podstawy: loga b =logc blogc a

    .

    Katedra Telekomunikacji AGH 16/41

  • Materia do powtrzeniaAnaliza

    Cig arytmetyczny

    an = a1 + (n 1)d ,suma: a1 + + an = n a1+an2 .

    Cig geometryczny

    an = a1 rn1,

    suma: a1 + + an =

    {a11rn1r r 6= 1

    na1 r = 1.

    Katedra Telekomunikacji AGH 17/41

  • Materia do powtrzeniaAnaliza

    Suma szeregu geometrycznego zbienego (dla |r | < 1)n=1 ar

    n1 = a+ ar + = a1r .

    Rniczkowanie szeregu

    Gdy mamy zbieno i pochodne istniej:n=0d f (n,x)d x =

    d

    n=0 f (n,x)d x .

    Analogicznie dla cakowania.

    Katedra Telekomunikacji AGH 18/41

  • Materia do powtrzeniaAnaliza

    Pochodna dd xLogarytm: (loga x)

    = 1x ln a .

    Iloczyn funkcji: (f (x)g(x)) = f (x)g(x) + f (x)g (x).

    Iloraz funkcji:(

    f (x)g(x)

    )= f

    (x)g(x)f (x)g (x)g2(x)

    .

    Funkcja zoona: (f (g(x))) = f (g(x))g (x).

    Katedra Telekomunikacji AGH 19/41

  • Kilka uytecznych konwencji. . .

    Umwmy si na nastpujce oznaczenia:

    log2 x = lg x ;

    log10 x = log x ;

    loge x = ln x .

    Gdy wiadomo (lub nie jest istotne), jaki przedzia przebiegazmienna indeksujca i , czsto dla wygody zapisujemy:

    i

    (

    i ) zamiast np.Ni=0

    . Ale gdy przebieg zmiennej indeksujcej

    jest nietypowy lub szczeglnie wany z punktu widzenia

    danego problemu, zapisujemy dokadniej, np.K5

    i=N+2.

    Katedra Telekomunikacji AGH 20/41

  • Materia do powtrzeniaRachunek prawdopodobiestwa

    A,B zdarzenia wzajemnie rozczne

    Pr{A B} = 0.Pr{A B} = Pr{A}+ Pr{B}.Pr{A B} = Pr{A}.

    Katedra Telekomunikacji AGH 21/41

  • Materia do powtrzeniaRachunek prawdopodobiestwa

    X ,Y zm. los. niezalene

    Pr{xi yj} = Pr{xi , yj} = Pr{yj , xi} = Pr{xi} Pr{yj}.

    Prawdopodobiestwo warunkowe

    Pr{xi |yj} =Pr{xi ,yj}Pr{yj} ;

    Pr{xi , yj} = Pr{yj} Pr{xi |yj} = Pr{xi} Pr{yj |xi};i

    Pr{xi |yj} = 1;

    twierdzenie o prawdopodobiestwie cakowitym:Pr{xi} =

    j

    Pr{xi |yj}Pr{yj} =j

    Pr{xi , yj}.

    Katedra Telekomunikacji AGH 22/41

  • Materia do powtrzeniaRachunek prawdopodobiestwa

    Warto rednia/oczekiwana dyskretnej zmiennej losowej

    X przyjmuje jako realizacje wartoci xi kad zprawdopodobiestwem Pr{xi};

    i Pr{xi} = 1:

    E [X ] =

    i xi Pr{xi}.Warto rednia sumy dyskretnych zmiennych losowych:

    E [X + Y ] = E [X ] + E [Y ].

    Rozkad dwumianowy/Bernoulliego

    Prawdopodobiestwo k sukcesw w n prbach, gdy p toprawdopodobiestwo sukcesu dla pojedynczego zdarzenia:

    Pr{X = k} =(nk

    )pk(1 p)nk , E [X ] = np.

    Katedra Telekomunikacji AGH 23/41

  • Materia do powtrzeniaAlgebra

    Przestrzenie liniowe

    Kombinacja liniowa wektorw (V jest przestrzeni liniow nadciaem skalarw K ): k1v1 + + knvn, ki K , vi V .Przestrze liniowa: V jest przestrzeni liniow nad zbioremskalarw K kiK ,viV k1v1 + + knvn V .Wektory v1, . . . , vn V , vi 6= 0 s liniowo zalene: jelikiK ,ki 6=0 k1v1 + + knvn = 0.

    Katedra Telekomunikacji AGH 24/41

  • Materia do powtrzeniaAlgebra

    Arytmetyka mod-2 (alternatywa wykluczajca)

    0 10 0 11 1 0

    Katedra Telekomunikacji AGH 25/41

  • Materia do powtrzeniaAlgebra

    Macierze

    Anp = [aik ]np =

    a11 a12 . . . a1pa21 a22 . . . a2p...

    .... . .

    ...an1 an2 . . . anp

    .

    Transpozycja: AT = [aik ]pn =

    a11 a21 . . . an1a12 a22 . . . an2...

    .... . .