Culegere TIC 1

7/27/2019 Culegere TIC 1

1/68

TEORIA INFORMAIEI I A CODRII

Culegere de probleme

Vol.1

Horia BALTA Maria KOVACI Radu LUCACIU

2009


2/68

Cuprins

Cap.1Probabiliti. Informaia. .................................................................................................... 1

Cap.2 Surse de informaie ............................................................................................................ 13

Cap.3 Codarea sursei .................................................................................................................... 26

Cap.4 Canale de transmisie.......................................................................................................... 41

Cap.5 Teste gril .......................................................................................................................... 57


3/68


4/681

Cap. 1 Probabiliti. Informaia

Dicionar:- aposteriori (a posteriori) -locuiune latin: din ceea ce urmeaz, dup experien, pornind de la datele ei;- apriori (a priori) - locuiune latin: din ceea ce precede, anterior experienei;- binar -1.care este constituit din dou elemente; 2.a crui baz este numrul 2;- bit/bii -1. Unitate de msur a informaiei; 2.simbol binar;- discret -care este alctuit din elemente distincte; care variaz n salturi; cuantificat; discontinuu;- echiprobabil(e) -de egal probabilitate;- informaie -necesarul/rezultatul cunoaterii;- probabilitate -1.nsuirea de a fi probabil; 2.msur (funcie) definit pe un cmp de evenimente, p : [0,1].

Definiii:- surs de informaie (sau experiment probabilistic) = un mecanism (un experiment) prin care se selecteaz un mesaj

(un eveniment) dintre n posibile dup o lege arbitrar (sau cel puin necunoscut);- mesaj (eveniment) = realizarea produs n urma efecturii experimentului;- 1 bit = cantitatea de informaie furnizat de o surs de informaie binar, fr memorie, echiprobabil, printr-un mesaj

al ei;- eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de dou evenimente distincte ntre ele i de

primul.

Breviar teoretic:1. Probabilitate

Determinarea experimental a probabilitii de realizare a unui mesaj (eveniment) A se face duprelaia:

2. Probabilitate condiionatDeterminarea experimental a probabilitii de realizare a evenimentului (mesajului) B atunci cnds-a realizat evenimentul (mesajul) A se face dup relaia:

3. Formula fundamental a probabilitilor evenimentelor elementareDac Ai, i = 1n sunt evenimentele elementare ale unui experiment probabilistic (mesajele uneisurse de informaie) atunci:

( )=

=n

1ii 1Ap (1.3)

4. Relaia lui BayesDac A i B sunt dou evenimente atunci:

( ) ( ) ( ) ( ) ( )A/BpBpB/ApApBA,p == (1.4)unde p(A, B) = probabilitatea de a se realiza i A i B.

5. Formula probabilitii totaleDac Ai cu i = 1, n sunt evenimentele elementare ale unui experiment probabilistic i B uneveniment oarecare pentru acelai experiment atunci:

( ) ( ) ( )=

=n

1iii B/ApApBp (1.5)

6. Evenimente independenteSetul de evenimente Ai, i I, sunt independente daci numai dac pentru J I

( )ii

ii

ApApJJ

= (1.6)

n particular, A i B sunt dou evenimente independente daci numai dac:


5/682

( ) ( ) ( ) ( )BpApBApBA,p == (1.7)i utiliznd relaia (1.4)

( ) ( )

( ) ( )B/ApBp

A/BpAp

=

=(1.8)

7. InformaiaCantitatea de informaie necesar ridicrii nedeterminrii asupra evenimentului A este egal cu ceafurnizat de realizarea evenimentului A i egal cu :

( )( )

Ap

1logAi 2= [bii] (1.9)

1.1 Zece mingi sunt puse n trei cutii C1, C2, C3. Care este probabilitatea ca n C1s fie 3 mingi?

Rezolvare:Fiecare minge poate fi aezat n oricare din cele trei cutii; astfel c fiecare minge tripleaz numrulde variante de aezare a mingilor n cutii. Aadar numrul de variante de aezare a mingilor n cutiieste:

N = 333 ..... 3 = 310 = 59.049 (1.1.1)

Pentru a avea trei mingi n C1 trebuie ca celelalte apte s fie aezate n C2i C3. Numrul de variante cu trei mingi n C1 va fi:

15.3601281202CN 73103C1 === (1.1.2)

unde 310C reprezint numrul de moduri de alegere a 3 mingi din 10 posibile (considernd mingile

distincte); iar 27 reprezint numrul de posibiliti de aezare a apte mingi n dou cutii, C2i C3.Probabilitatea cerut este:

26%3

2CP

10

7310

3C1

= (1.1.3)

1.2. Trei trgtori trag simultan asupra aceleiai inte. Probabilitatea ca fiecaretrgtor s nimereasc inta este p1 = 0,4; p2 = 0,5; p1 = 0,7. Notnd cu Aevenimentul ca inta s fie lovit, B evenimentul ca inta s fie lovit exact o dats se afle:a) p(A);b) p(B);c) dac cele dou evenimente A i B sunt independente.


6/683

Rezolvare:a) Calculnd probabilitatea evenimentului contrar lui A:

) ( ) ( )( ) 9%p1p1p1Ap 321 == (1.2.1)rezult c:

( ) ( ) 91%Ap1Ap == (1.2.2)

b) Avem c:( ) ) )

( ) ( )( )( ) ( ) ( )( ) 36%pp1p1p1pp1

p1p1pAAAp

AAApAAApBp

321321

321321

321321

=++

+=+

++=

(1.2.3)

unde cu Ai s-a notat evenimentul ca trgtorul i s nimereascinta.c) Pentru ca cele dou evenimente s fie independente este necesar ca:

p(A/B) = p(A) (1.2.4)

dar cum:

p(A/B) = 100% (1.2.5)

rezult c cele dou evenimente nu sunt independente.

1.3. Fie dou urne, U1 (ce conine 2 bile albe i 3 bile negre) i U2 (ce conine obil albi 5 bile negre). Se extrage o bil din U1i se introduce n U2, apoi seextrage o bil din U2. Care este probabilitatea ca bila transferat s fi fost albdac bila extras din U2 este: a) alb; b) neagr?

Rezolvare:Fie evenimentele A bila transferat este alb; B bila extras din U2 este alb;a) Pentru a calcula p(A/B) aplicm formula lui Bayes:

( ) ( ) ( ) ( )A/BpBpB/ApAp = (1.3.1)

Probabilitile ( ) ( )ApsiAp se calculeaz simplu:

( )5

2Ap = i ( )

5

3Ap = (1.3.2)

Probabilitatea condiionat p(B/A) este:

p(B/A) =2/7 (1.3.3)


7/684

iar p(B) se poate calcula cu formula probabilitii totale:

( ) ( ) ( ) ( ) ( )5

1

7

1

5

3

7

2

5

2AB/pApB/ApApBp =+=+= (1.3.4)

Astfel:

( ) ( ) ( )( ) 7

4

5

17

2

5

2

BpB/ApApA/Bp === (1.3.5)

b) n mod analog( ) ( ) ( ) ( ) ( ) ( )

5

4

7

6

5

3

7

5

5

2

A/BpAp/ABpApBp;7

5/ABp

=+=

=+==(1.3.6)

( ) ( ) ( )( )

( )A/Bp7

2,5145

5

47

5

5

2

Bp/ABpApBA/p !==== (1.3.7)

Se observ, cum era de ateptat, c este mai probabil s se fi transferat o bil alb dac din adoua urn a fost extras o bil alb.

1.4. La un examen oral studenii consider c din totalul subiectelor m suntuoare i n grele. Precizai:a) Probabilitatea ca primul student s extrag un subiect uor;

b)Probabilitatea ca cel de-al doilea student s extrag un subiect uor.Rezolvare:a) Cu notaiile: A evenimentul prin care primul student extrage un subiect uor;

B evenimentul prin care cel de-al doilea student extrage un subiect uor, avem c:

( ) ( )nm

nAp

nm

mAp

+=

+= (1.4.1)

iar

( ) ( )1nm

mAB/p1nm

1mB/Ap+

=+

= (1.4.2)

c) Pentru calcului lui p(B) se utilizeaz formula probabilitii totale, relaia (1.5). Rezult c:( )

( )( )( )

nm

m

1mnnm

1nmmnm

n

1nm

m

nm

m

1nm

1mBp

+=

++

+=

=+

+

++

+

=

(1.4.3)


8/685

adic p(A) = p(B) cum era de ateptat.

Obs: - cele dou probabiliti p(A) i p(B) sunt probabiliti apriori (dinainte de producereaevenimentelor). nainte ca primul student s extrag un subiect, toi studenii, indiferent de ordinealor, au anse egale la a extrage un subiect uor.

1.5. Un tetraedru regulat are feele colorate, una n rou, una n galben, una nverde, iar cea de-a treia conine pe toate trei culorile. Se las s cad tetraedrulpe una din fee. Fie evenimentele:R - faa pe care a czut tetraedrul conine rou; G - faa pe care a czuttetraedrul conine galben; V - faa pe care a czut tetraedrul conine verde.a) ct este probabilitatea evenimentului rou, p(R)?b)ct este probabilitatea condiionat p(R/G)?c) sunt evenimentele R, G i V independente?Rezolvare:a) Probabilitatea evenimentului rou este:

b) Probabilitatea de a se realiza evenimentului rou dac s-a realizat galben este:( )

2

1R/Gp = (1.5.2)

deoarece una din dou fee ce conin galben conine i rou.c) Pentru ca evenimentele R, G i V s fie independente trebuie s fie ndeplinite relaiile:

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( )

( ) ( ) ( ) ( )

=

=

=

=

VpRpGpVRGp

VpGpVGp

VpRpVRp

GpRpGRp

(1.5.3)

Aplicnd relaia (1.1), gsim c:

( ) ( ) ( ) ( ) ( ) ( )

( )4

1VRGp

4

1VGpVRpGRp

2

1VpGpRp

=

======(1.5.4)

Cum ultima relaie din (1.5.3) nu este verificat evenimentele R, G i V nu sunt independente.


9/686

1.6. Pot fi simultan dou evenimente i incompatibile i independente?

Rezolvare:Fie A i B dou evenimente. Incompatibilitatea lor presupune ca:

( ) 0BAp = (1.6.1)iar independena:

( ) ( ) ( )BpApBAp = (1.6.2)

Din cele dou relaii rezult c cele dou evenimente pot fi independente, fiind incompatibile, doardac unul este de probabilitate nul. Altfel spus, dou evenimente de probabiliti nenule pot fiindependente doar dac sunt compatibile.

1.7. O imagine alb negru se compune din 1024 x 256 pixeli. Fiecare pixel poate

avea un nivel de gri dintre 64 posibile. Aflai informaia furnizat de: a) unpixel; b) ntreaga imagine.

Rezolvare:a) Considernd egal probabile nivelele de gri, conform definiiei informaiei unui eveniment:

( ) ( ) 664

1loggrinivelplogpixeli 22 === bii (1.7.1)

c) ntreaga imagine furnizeaz de 1024 x 256 ori mai mult informaie:( ) ( ) 101,5pixeli2561024imaginei 6= bii (1.7.2)

1.8. a) Care este numrul de ntrebri minime necesare pentru a afla un numrnecunoscut Nx cuprins ntre 1 i 1000? ntrebrile pot fi de genul :

Numrul Nx este mai mare dect Np (nominalizat)?b) Ct este primul prag Np1i ct este informaia coninut de rspunsul la

ntrebarea:Numrul Nx este mai mare dect 348?

Rezolvare:a) Informaia necesar pentru a afla numrul Nx necunoscut este:

( )1000log

1/1000

1log

Np

1logi 22

x2N === bii (1.8.1)

Informaia obinut prin rspunsul la o ntrebare este:


10/687

( )( )

( )( )

p

p

p

pP

N

2NN

2NNAp

1logAp

Ap

1logApi += (1.8.2)

unde ANp este evenimentul prin care numrul Nx este mai mare dect pragul Np. Evident:

1ApAppp NN

=+ (1.8.3)

i putem scrie:

) )pp NN

Ap1Apx == (1.8.4)

de unde

( ) ( ) [ ]0,1cu xx1

1logx1

x

1xlogxii 22Np

+== (1.8.5)

Funcia i(x) i atinge maximul dac

21x = (1.8.6)

Valoarea maximului este:

bit1im = (1.8.7)

i corespunde unui prag:

499Npm = (1.8.8)

Aadar, dac pragul este ales la jumtatea intervalului n care se cunoate c se afl Nxinformaia obinut prin rspunsul la ntrebare (n cazul cel mai defavorabil) este maximi egalcu 1 bit.

Cert, numrul minim de ntrebri este:

unde [y]sup denot numrul ntreg superior lui y.

Obs: numrul n = 10 gsit cu raionamentul anterior este minim n cazul general, acest lucrunsemnnd c indiferent de Nx prin 10 ntrebri de tipul celei din enun (cu pragurile alese lajumtate) se afl valoarea sa. Exist cazuri particulare cnd, pentru anumite valori a lui Nx, s fiesuficiente mai puine ntrebri (ex: Nx = 1i Np = 1) dar pentru astfel de cazuri intervine ansa!

b) Din relaia (1.8.8) Np1 = 499;Dac pragul se alege (la prima ntrebare) Np1 = 348 avem c


11/688

( ) 0,6521000

3481000Ap =

= i ) 0,348Ap = (1.8.10)

de unde:

( ) 0,932348

1000log0,348

652

1000log0,652348i 22 =+= bii (1.8.11)

Rezultatul cuprins n relaia (1.8.11) arat c dac pragurile nu vor fi alese la jumtate existposibilitatea s nu fie suficiente 10 ntrebri !

1.9. Cte cntriri sunt minim necesare pentru a preciza o moned fals din 12i dac moneda este mai grea sau mai uoar? Moneda fals difer prin greutateiar cntririle se fac pe o balan cu talere.

Rezolvare:Informaia necesar pentru a soluiona problema este:

24log2log12logi 222nec =+= bii (1.9.1)

unde log212 este informaia necesar pentru a afla moneda din 12, iar log22 este informaia necesarpentru a afla dac moneda este mai grea sau mai uoar.

Informaia maxim furnizat de o cntrire este:

3logi 2cm = bii (1.9.2)

i se atinge dac cele trei variante rezultat al unei cntriri cu balana(A-balana se nclin spredreapta, B-balana se nclin spre stnga, C-balana nu se nclin) sunt egal probabile:

( ) ( ) ( )CpBpAp == (1.9.3)

Numrul de cntriri cerut va fi:

n22cmnec

supcm

nec 3log24logsauinisaui

in

= (1.9.4)

cu soluia:

nmin = 3 (1.9.5)

Obs: - relaia (1.9.2) este valabil doar dac cele trei variante rezultat ale cntririi sunt egalprobabile. Astfel dac cele 12 monezi se noteaz cu M1, M2, ....., M12 prima cntrire const n acompara pe M1+ M2+ M3+ M4 cu M5+ M6+ M7+ M8. O posibil rezolvare a problemei poate fi:A1 moneda fals este - mai uoari este M1, M2, M3, sau M4.

- mai grea i este M5, M6, M7, sau M8.B1 moneda fals este - mai grea i este M1, M2, M3, sau M4.

-mai uoari este M5, M6, M7, sau M8.C1 moneda fals este mai grea sau mai uoari este M9, M10, M11, sau M12.


12/689

Dac rezultatul primei cntriri este A1, indicele 1 semnific prima cntrire, A rezultatul ei,atunci se compar M1+ M2+ M5 cu M3+ M4+ M6

- dac la a doua cntrire rezult A2 atunci fie M1sauM2 e mai uoar fie M6 e mai grea ise compar n continuare M1 cu M2;

- dac la a doua cntrire rezult B2 atunci fie M3sauM4 e mai uoar fie M5 e mai grea ise compar n continuare M3 cu M4;

- iar dac la a doua cntrire rezult C2 atunci fie M7 e mai grea fie M8; se compar M7cu

M8.n mod analog pentru B1i C1.Obs: - relaia (1.9.4) indic c problema ar putea fi rezolvati pentru 13 monezi n locul celor12:3cu3log27log26log 222 == n

n

n realitate problema cu 13 monezi nu poate fi complet soluionat din 13 cntriri pentruc nu se poate asigura echiprobabilitatea rezultatelor.

1.10. Ct este informaia obinut n diferitele variante de rezolvare a problemeicu 12 monezi? Dar cu 13 monezi?

Rspuns:Pentru varianta A1 A2 A3 (cu 12 monezi):

4,73123log2

8log

8

2

3

8log

8

323logI 2222 =+

++= bii

Obs: informaia obinut la a doua cntrire este mai puin dect cea presupus, log23 bii.

1.11. Un convertor analog-numeric (CAN) convertete tensiunea de intrare Uxntr-un numr Nx conform relaiei:

=

q

UN xx (1.11.1)

unde Ux poate lua valori ntre 0 i Umax = 12,8 V; q este cuanta conversiei, q =50mV; [y] semnific partea ntreag a lui y.a) Ct informaie furnizeaz la ieirea sa CAN-ul prin fiecare numr generat ict informaie se pierde ?b) Dac CAN-ul folosete pentru conversie, n mai muli pai succesivi, un

comparator, s se stabileasc ct informaie furnizeaz comparatorul la un pasi ci pai sunt necesari pentru efectuarea conversiei ?c) Care sunt tensiunile de prag ale comparatoarelor utilizate, Upi, n conversiatensiunii Ux = 7,43 V, n cazul n care conversia se face ntr-un numr minim depai ?

Rspuns:a) i = 8 bii; n mod ideal Ux conine + informaie.


13/6810

n realitate msurarea unei tensiuni Ux este limitat (ca i precizie) fie de rezoluia aparatelor fie denivelul zgomotului.b) ic = 1 bit; 8 pai;c) Up1 = 6,4 V; Up2 = 9,6 V; Up3 = 8 V; Up4 = 7,2 V; Up5 = 7,6 V; Up6 = 7,4 V; Up7 = 7,5 V; Up8 =7,45 V.

1.12. Un CAN de mare vitez utilizeaz 128 de comparatoare pentru a faceconversia tensiunilor de intrare din intervalul [-12,8V, +12,8V] la o rezoluie deq=100mV. Determinai redundana n componente a CAN-ului.

Rezolvare:Numrul de rspunsuri distincte ale CAN ului pentru o tensiune Ux ce variaz de la - 12,8 V la+12,8 V este:

8minmax 2256

q

UUN ==

= (1.12.1)

Probabilitatea ca o tensiune Ux s genereze un rspuns din cele N posibile este:

p0 = 1/N = 2-8 (1.12.2)

iar informaia coninut de un rspuns este:

8plogi 020 == bii (1.12.3)

Pentru c un comparator alege o variant din dou posibile, informaia furnizat de el este:

bit12

1logi 2c == (1.12.4)

Aadar n mod ideal, pentru o conversie sunt suficiente:

n = i0/ic = 8 comparatoare (1.12.5)

de unde rezult c redundana este de 120 de comparatoare.

Obs: Motivaia utilizrii a mai multor comparatoare const n faptul c, la folosirea doar a 8

comparatoare, sunt necesare tensiuni de prag variabile n funcie de tensiunea Ux, lucru ce scadeviteza de conversie.

1.13. La o transmisie numeric informaia util se transmite prin secvenebinare de cte n bii, numite cuvinte. Ct informaie este necesar pentru apreciza poziia unui bit eronat din cei n? Dar pentru doi bii eronai?Exemplificare pentru n = 8.


14/6811

Rezolvare:Informaia cerut se calculeaz cu formula:

i = log2 n (bii) (1.13.1)

Se consider c transmiterea (implicit eronarea) unui bit este independent de a celorlali. Aadar,pentru un bit eronat i1 = 3 bii; pentru doi bii eronai 4,8Clogi

2822 = bii.

1.14. Aceeai ntrebare ca i la problema 1.13, cu diferena c este o transmisieternar.

Rezolvare:n cazul transmisiei ternare corecia unui simbol (ternar) eronat presupune pe lng aflarea

poziiei sale (fapt ce necesit aceeai informaie ca i la secvena binar), i valoarea simboluluiiniial, valoare ce poate fi una din dou posibile. Cu aceste justificri, rspunsurile vor fi:

i1 = log2 n (pentru aflarea poziiei)+ log2 2 (pentru aflarea valorii) = 4 bii (1.14.1)

6,8log2Clogi 22n22 += bii (1.14.2)

n relaia (1.14.2) s-au adugat 2 bii de informaie necesari aflrii valorii adevrate pentrudou simboluri ternare eronate.

1.15. La o transmisie binar informaia util este transmis prin cuvinte de n=8bii printr-un canal cu rata erorii p=10-3. Ct informaie, n medie pe uncuvnt, este necesar pentru a face:a) detecie de o eroare pe cuvnt?b)detecie de una sau dou erori pe cuvnt?Rezolvare:a) Probabilitatea ca un cuvnt s fie eronat ntr-o poziie este:

( ) ( )[ ] == 1np1pCp1pCp 1n

1n1

n1 33 107,9440,993108 == (1.15.1)

p1 este i probabilitatea ca receptorul s detecteze o eroare. Cert 1-p1 este probabilitatea careceptorul s ia decizia c nu exist eroare (incluznd cazurile corecte i false).

Fie a i b astfel nct:

p1 = a/b i 1- p1 = (b-a)/b (1.15.2)


15/6812

Aadar din b cuvinte transmise a sunt detectate cu eroare. Pentru a detecta un astfel de cuvnt estenecesar informaia:

121d plogi = (1.15.3)

b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvnt fiind necesarinformaia:

( )121n p1logi = (1.15.4)

Concluzionnd pentru b cuvinte recepionate este necesar informaia:

b i1 = a i1d + (b-a) i1n (1.15.5)

iar pentru un singur cuvnt recepionat, pentru a face detecie de o eroare:

=

+= 1n1d1 i

b

abi

b

ai

( ) ( ) == 121121 p1logp1plogp= 0,0668 bii/cuvnt (1.15.6)

b) i n acest caz informaia cerut are aceeai form cu (1.15.6) doar c difer p1:( ) ( )2212222 p1logp1plogpi = (1.15.7)

unde p2 este probabilitatea ca un cuvnt s fie eronat ntr-o poziie sau n dou poziii:

( ) ( ) 32n22n1n1

n2 107,972p1pCp1pCp =+= (1.15.8)

de unde rezult pentru i2 valoarea:

i2 = 0,067 bii/cuvnt (1.15.9)

Obs: Detecia prezenei erorilor presupune a decide ntre dou variante: exist sau nu exist erorin cuvntul n cauz. Informaia furnizat de o astfel de decizie (una din dou posibile) este, nmedie, subunitar, nct problema deteciei din punct de vedere strict al informaiei este solvabilcu 1 bit (de informaie) pe cuvnt, indiferent de p sau n.


16/6813

Cap. 2 Surse de informaie

Dicionar:- eficienraportul dintre ansamblul efectelor utile (rezultatelor) ce se obin de pe urma unei activiti i totalul

eforturilor;- entropie (limba greac entropie=ntoarcere, schimbare) mrime ce indic gradul de nedeterminare asupra unui

sistem;- extensie dezvoltare, cretere, amplificare, extindere;- graf cuplu format dintr-o mulime ale crei elemente se numesc vrfuri i dintr-o funcie care asociaz, la orice

pereche ordonat de vrfuri (primul numit surs iar al doilea adres), un element, numit sgeat, al unei altemulimi.

- redundan (redondan) 1.abunden (inutil) de cuvinte, de figuri retorice, de imagini pentru exprimarea uneiidei; 2.excesul de informaie fa de strictul necesar;

- stare 1.situaie n care se afl ceva sau cineva; 2.ansamblul valorilor instantanee a parametrilor ce caracterizeazcomplet un sistem dat;

- staionarcare rmne n aceeai stare;

Definiii:- Surs de informaie text = sursa de informaie, de regul considerat fr memorie, avnd drept simboluri caracterele

distincte din textul dat (opional se pot include semne de punctuaie, pauzele dintre cuvinte, cifrele, etc)..Probabilitile diferitelor simboluri vor fi ponderile lor n text.

- Extensia unei surse = fiind dat o SDFM, S cu N simboluri, se definete extensia de ordin n a sursei, notat Sn, sursaavnd un numr de Nn simboluri obinute din toate combinaiile posibile de mesaje compuse din n simboluriale sursei S.

- Surs cu memorie (Markov) de m pai = sursa de informaie cu N simboluri pentru care emisia celui de-al m+1-leasimbol depinde de cele m simboluri anterior emise.

- Starea sursei Markov de m pai = setul ultimelor m simboluri emise. Dac sursa poate emite M simboluri i este cumemorie de m pai atunci admite Mm stri.

- Probabilitate de trecere p(Sj/Si) = probabilitatea ca sursa Markov s treac n starea Sj = skm-1 skm-2 ..... sk0 (prinemiterea simbolului sk0), dac se afl n starea Si = skm-2skm-1..... sk1.

- Matricea de tranziie,T = o matrice ptrat de ordin Mm ce conine toate probabilitile de trecere;- Graful sursei cu memorie = graful ale crui noduri reprezint strile sursei, iar coardele (sgeile) ce leag nodurile

probabilitile de trecere.- Surs Markov staionar = probabilitile de trecere n n pai converg ctre limite independente de starea iniial

cnd n .- Stare de staionaritate (a unei surse Markov staionare) = un vector, P* de dimensiune M ce conine

probabilitile*jp , j = 1, M ce verific sistemul:

=

=

=

M

1j

*j

**

1p

PTP

(2.1)

Probabilitatea*jp reprezintansa ca sursa Markov, dup n pai cu n s se gseasc n starea Sj.

Notaii:

S surs de informaie;N numrul de simboluri;Si, i = 1 N simbolurile sursei;pi, i = 1N probabilitile de emisie a simbolurilor Si;S

m extensia de ordin m a sursei SDFM, S;Sj, j = 1 Nm strile sursei cu memorie, S;T matricea de tranziie;ppm pri per milion (1ppm=10-6).

Abrevieri:SDFMSurs Discret Fr Memorie.


17/6814

Breviar teoretic:1. Mrimi ce caracterizeaz sursa de informaie:

--entropiaSDFM:

( )i

2

N

1ii p

1logpSH

=

= (2.2.a)

--entropia sursei cu memorie:

( ) ( ) ( )ji2ji

N

1j

N

1i

*j /SSp 1log/SSppSH = == (2.2.b)-entropia maxim:

( ) NlogSH 2max = (2.3)--eficiena:

( ) ( )S/HSH max=s (2.4)--redundana:

R(S) = Hmax(S) H(S) (2.5)--redundana relativ:

( ) ( )S/HSR max=s (2.6)

2. Formul pentru schimbarea bazei logaritmului:

ln2

lnxxlog2 = (2.7)

3. Condiia de existen a strii de staionaritate pentru surs cu memorie:

n0 astfel nct Tn0 s fie o matrice regulat (are toate elementele strict pozitive)

2.1. O surs de informaie discret are entropia egal cu 4,8 bii/simbol iredundan

a relativ

9,8%. Cte simboluri are sursa?

Rezolvare:Din relaiile de definiie a entropiei maxime i a redundanei relative pentru o surs discret frmemorie:

NlogH 2max = (2.1.1)

( )

maxH

SH1= (2.1.2)

unde: H(s)-entropia sursei; Hmax-entropia maxim, -redundana relativ, N-nr. de simboluri asursei, gsim c:

( )

2,90

1008,4

1

SHH max

=

=

(2.1.3)

i:402N maxH == (2.1.4)


18/6815

2.2. Fie sursa de informaie S:

=

16

1

4

1

16

1

2

1

8

1

SSSSSS

54321

Se cere s se calculeze:a) informaia medie pe simbol, H(s);

b) valoarea maxim a entropiei sursei Hmax;c) eficiena sursei s;d) redundana sursei R;

e) redundana relativ.

Rezolvare:a) Informaia medie pe simbol sau entropia sursei H(S) se calculeaz cu formula:

( ) ( )( )

=

=N

1i i2i sp

1logspSH (2.2.1)

unde: N numrul de simboluri a sursei S;

si, N1,i = , simbolurile sau mesajele sursei S;p(si) probabilitatea ca sursa s emit simbolul si.nlocuind rezult c:

( ) 16log16

14log

4

116log

16

12log

2

18log

8

1SH 22222 ++++=

8

17

8

24443

16

4

4

2

8

4

2

1

8

3=

++++=++++=

= 2,125 bii/simbol (2.2.2)

b) Entropia maxim este:323,25logNlogH 22max == bii/simbol (2.2.3)

c) Eficiena sursei este:( )

91,5%H

SH

max

==s (2.2.4)

d) Redundana sursei R este diferena dintre entropia maximi entropia sursei date:R = Hmax - H(S) = 0,197 bii/simbol (2.2.5)

e) Redundana relativ, cu formula de calcul (2.6), are valoarea: = 8,5% (2.2.6)


19/6816

2.3. Sursa de informaie discret i fr memorie S are drept simboluricaracterele distincte din urmtoarea propoziie (surs text):

NU UITA NICI PAUZELE DINTRE CUVINTE .Probabilitile simbolurilor (caracterelor distincte) sunt ponderile lor din text.Se cere:a) tabloul simboluri-probabiliti pentru sursa S;

b) entropia H(S), redundana Ri eficiena s sursei S;c) probabilitatea ca sursa s emit mesajul AUR.

Rezolvare:a) tabloul simboluri-probabiliti este:

=

36

1

36

5

36

1

36

1

36

4

36

3

36

1

36

1

36

4

36

1

36

5

36

4

36

1

36

2

36

2

._ZVUTRPNLIEDCAS (2.3.1)

b) Conform relaiei de definiie entropia sursei este:( ) ( )

( )==

N

1i i2i sp

1logspSH

== =

==N

1ii2

iN

1i

N

1i2

i

i2

i klog36

k36log

36

k

k

36log

36

k(2.3.2)

unde: N = 15 numrul de simboluri a sursei S;

1,15,i,36

kp ii == - probabilitile simbolurilor.

nlocuind n (2.3.2) valorile obinute pentru ki din tabloul (2.3.1) gsim:

( ) ( +++= 3log31log172log2236

136logSH 2222

)=++ 5log524log42 22

( )

=+=

=++++=

5log36

103log

36

69

36

52

5log10163log3436

13log22

22

222

= 3,8373 bii/simbol (2.3.3)

Redundana i eficiena sursei se obin cu relaiile:

( ) ( )SHNlogSHHR 2max ==( ) ( )

Nlog

SH

H

SH

2max

==s (2.3.4)

Cunoscnd N = 15 i cu H(S) dat de (2.3.3) gsim:


20/6817

R = 0,06958 bii/simbols = 98,22% (2.3.5)

c) Sursa S fiind fr memorie probabilitatea cerut va fi:( ) ( ) ( ) ( ) 4101,715

36

1

36

4

36

2RpUpApAURp === (2.3.6)

2.4. Fie sursa de informaie discreti fr memorie:

=

100

25

100

8

100

2

100

5

100

30

100

20

100

10

SSSSSSSS

7654321

S se calculeze pentru sursa S:a) entropia H(S);

b) valoarea maxim a entropiei sursei Hmax;c) eficiena sursei s;d) redundana sursei R;

e) redundana relativ.

Rspuns:a) H(S) = 2,44 bii/simbolb) Hmax = 2,8 bii/simbolc) s = 86,85%d) R = 3,7 bii/simbole) = 13,15%

2.5. Fie sursa text:

STUDENTUL *** REZOLVA O PROBLEMA DE TTI .

a) nlocuii *** cu numele i prenumele dumneavoastri construii n acest caztabloul sursei;

b) calculai entropia i eficiena sursei de la punctul a);c) ct este probabilitatea ca sursa de la a) s emit mesajul MAR.

Rspuns:pentru *** = POP ION

a)

=

44

1

44

7

44

1

44

1

44

2

44

4

44

1

44

2

44

3

44

5

44

2

44

1

44

3

44

2

44

4

44

2

44

1

44

2

._ZVUTSRPONMLIEDBAS


21/6818

b) ( ) ( )=++++= 7log75log5163log62644

144logSH 2222 3,896 bii/simbol

%44,9318log

896,3

2

==s

c) ( ) ppm4744

43 ==MARp

2.6. O surs de informaie binar cu memorie de doi pai are grafulcorespunztor n figur. S se afle:a) probabilitile de trecere nefigurate;b) ce anse sunt ca dup transmiterea mesajului 00110 s se transmit mesajul11.

c) matricea de tranziie i o eventual stare de staionaritate;d) entropia sursei date.

Rezolvare:a) Probabilitile cerute sunt:

( ) ( )

( ) ( )

( ) ( )

( ) ( ) 4

1

/SSp1/SSp

5

3/SSp1/SSp

2

1/SSp1/SSp

7

2/SSp1/SSp

3132

4443

2423

1112

==

==

==

==

(2.6.1)

b) Deoarece sursa are memorie de doi pai, din mesajul transmis 00110 sunt relevani, pentrudefinirea strii actuale, doar ultimii doi bii transmii 10. Aadar starea actual este S3. Din S3ansele ca sursa s emit 1 i, ca atare, s treac n starea S2 sunt de 25% (p(S2/S3)). Pringenerarea nc a unui 1 sursa va trece din starea S2 n starea S4. Probabilitatea acestei tranziii estede 50%. Concluzionnd probabilitatea ce nsoeteacest traseu S3 S2 S4 este:

( ) 12,5%8

1

2

1

4

1SSSp 423 === (2.6.2)


22/6819

c) Matricea de tranziie este:

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

=

=

5

2

5

300

00

4

1

4

32

1

2

100

007

4

7

3

/SSp/SSp/SSp/SSp

/SSp/SSp/SSp/SSp

/SSp/SSp/SSp/SSp

/SSp/SSp/SSp/SSp

T

44434241

34333231

24232221

14131211

(2.6.3)

O eventual stare de staionaritate ar conine probabilitile *ip , ca sursa s se afle ntr-oanumit stare Si :

*4

*3

*2

*1

* ppppP = (2.6.4)

cu *P ndeplinind condiia:

** PTP = (2.6.5)

nlocuind n (2.6.5) pe T i *P date de (2.6.3) i (2.6.4) rezult:

[ ] 0

1-5

2

5

300

01-4

1

4

32

1

2

11-0

007

41-

7

3

pppp *4*3

*2

*1 =

(2.6.6)

Sistemul de ecuaii dat de (2.6.6) este compatibil nedeterminat fapt ce necesit nc o relaie ntreprobabilitile *ip , relaie care este:

[ ] 1pppp *4*3

*2

*1 =+++ (2.6.7)

Soluia sistemului obinut din (2.6.6) i (2.6.7) este:

=

199

40

199

48

199

48

199

63p* (2.6.8)

d) Entropia sursei cu memorie se calculeaz cu formula:( ) ( ) ( ) ( )ij2ij

2

1i

2

1jiM /Saplog/SapSpSH

2

= = =

(2.6.9)


23/6820

unde Si, cu i = 14, sunt cele 4 stri posibile ale sursei iar aj, cu j = 01, sunt mesajele posibil a fiemise din fiecare stare.

Pentru uurina calculului entropiei, elementele cerute de suma dubl din (2.6.9) sunt date ntabelul urmtor :

Si aj ( ) *ii pSp = ij/SapS1 = 00 0

1 199

63 3/7

4/7S2 = 01 0

1 199

48 1/21/2

S3 = 10 01 199

48 3/41/4

S4 = 11 01 199

40 3/52/5

Tabelul 2.1

nlocuind n (2.6.9) elementele din tabelul 2.1 rezult :

( )

++

+=

1

2log

2

1

1

2log

2

1

199

48

4

7log

7

4

3

7log

7

3

199

63SH 2222M

++

++

2

5log

5

2

3

5log

5

3

199

40

1

4log

4

1

3

4log

4

3

199

482222

= 0,944 bii/simbol (2.6.11)

2.7. O surs de informaie binar cu memorie de doi pai are grafulcorespunztor n figur. Dac n prezent sursa se afl n starea Si ct esteprobabilitatea ca dup trei simboluri sursa s se regseasc tot n starea Si?

Rspuns:( ) ( )

%37,245

2

3

1

7

3

7

4

SSSSpSSSSp3

13211111

=+

=

=+


24/6821

2.8. O surs de informaie binar cu memorie de un pas are probabilitile detrecere: p(0/0) = 5/7 i p(0/1) =3/4.a) construii graful sursei date;b) calculai starea de staionaritate;c) determinai entropia sursei;d) determinai entropia unei surse fr memorie avnd aceleai simboluri iprobabilitile simbolurilor cele coninute n starea staionar.

Rezolvare:a) Pentru a putea construi graful sursei cu memorie aflm probabilitile de trecere ce nu sunt date

n enunul problemei:

p(1/0) = 1 - p(0/0) = 2/7p(1/1) = 1 - p(0/1) = 1/4 (2.8.1)

n acest fel graful este:

b) Matricea de tranziie este:

=

4

3

4

1

7

2

7

5

T (2.8.2)

iar starea staionar se afl rezolvnd sistemul:

[ ] [ ]

=+

=

1pp

ppTpp*1

*0

*1

*0

*1

*0 (2.8.3)

Rezult:

=

=

15

8p

15

7p

*1

*0

(2.8.4)

c) Entropia sursei cu memorie este dat de relaia:( ) ( ) ( ) ( )ij2ij

1

0i

1

0jiM /Saplog/SapSpSH =

= =

(2.8.5)

unde S0 = 0; S1 = 1; a0 = 0; a1 = 1


25/6822

( ) ( )15

8pSp

15

7pSp *11

*00 ====

iar probabilitile p(aj/Si) sunt cele indicate de graf.nlocuind n (2.8.5) rezult:

( )

++

+= 3

4

log4

3

1

4

log4

1

15

8

2

7

log7

2

5

7

log7

5

15

7

SH 2222M

= 0,8355 bii/simbol (2.8.6)

d) O surs fr memorie conform cu cerinele problemei are tabloul:

=

15

8

15

7

SSS

21

(2.8.7)

iar entropia:

( ) =+=8

15log

15

8

7

15log

15

7SH 22 0,9968 bii/simbol (2.8.8)

Comparnd cele dou entropii gsite HM(S) i H(S) se observ c ultima este mai mare.

2.9. O surs de informaie binar cu memorie de trei pai are grafulcorespunztor n figur. S se afle:

a) matricea de tranziie;b)entropia sursei;c) probabilitatea ca sursa, aflat n starea S2, dup emiterea a trei simboluri s

ajung n starea S3.

Rspuns:


26/6823

a)

=

7

4

7

3

000000

007

4

7

30000

00005

2

5

300

0000003

1

3

2

2

1

2

1000000

00

5

3

5

20000

00004

3

4

100

0000002

1

2

1

T

b)

=

959

147

959

126

959

135

959

96

959

126

959

105

959

96

959

128p*

( ) 0,961454SHM = bii/simbol

c) ( ) 9%100

9SSSSp 3632 ==

2.10. Fie sursa de informaie fr memorie avnd tabloul simboluri-probabiliti:

=

x0,10,40,2

dcbaS

Se cere:

a) valoarea lui x;b)entropia i eficiena sursei S;c) tabloul sursei de informaie S2(extensia de ordin a lui S);d)entropia i eficiena sursei S2.Rezolvare:a) Deoarece:

=

=N

1ii 1p rezult x = 0,3 (2.10.1)

b) ( ) =

==N

1i i2i 846,1p

1logpSH bii/simbol entropia (2.10.2)


27/6824

( ) ( )92,32%

Nlog

SH

H

SH

2maxs === eficiena (2.10.3)

b) Extensia unei surse S se obine asociind cte dou mesaje ale sursei S. Astfel:

=

100

9

100

3

100

12

100

6

100

3

100

1

100

4

100

2

100

12

100

4

100

16

100

8

100

6

100

2

100

8

100

4

dddcdbdacdcccbcabdbcbbbaadacabaaS2

(2.10.4)

c) ( ) ( ) l3,692SH2SH 2 == bii/simbol (2.10.5)( )

( )( )

S22

2max

2

S Nlog

SH2

SH

SH2 =

== (2.10.6)

Obs:Entropia extensiei de ordinul doi a sursei S este dublul entropiei sursei date, eficienapstrndu-se. Prin generalizare se poate arta c:

( ) ( )

SS

m

m

SHmSH

==

(2.10.7)

unde Sm

este extensia de ordin m a sursei S.

2.11. O surs ternar cu memorie de un pas are graful din figura) s se afle cele trei probabiliti de trecere necunoscute;b)calculai starea de staionaritate;c) calculai entropia sursei date;d) pentru ce valori ale probabilitilor de trecere sursa este practic frmemorie?

Rspuns:

a) ( ) ( ) ( )3

1/SSp

2

1/SSp

5

1/SSp 133221 ===


28/6825

b)49

12p

49

25p

49

12p *3

*2

*1 ===

c)Stareaactual

Stareaviitoare

Probabilitateastrii staionare

Probabilitatea detrecere

S1S1S2

S312/49

1/31/3

1/3

S2S1S2S3

25/491/53/51/5

S3S1S2S3

12/491/42/41/4

Tabelul 2.2

( ) 1,3325SHM = bii/simbol

d) 1,2,3j/SSp/SSp/SSp jijiji ====

1R,,cu =++ +

2.12. O SDFM are N = 32 simboluri i eficiena de 75%. Ct sunt entropia,redundana i redundana relativ a sursei date?

Rspuns:H(S) = 3,75 bii/simbol R = 1,25 bii/simbol = 25%


29/6826

Cap. 3 Codarea surseiDicinoar:- cod (limba latin "codex"- culegere) - 1.ansamblul unor reguli; 2.culegere de legi; 3.sistem de semnale sau semne

convenionale cu semnificaii bine precizate, ale cror combinaii sunt folosite pentru transmiterea unormesaje;

- compresie - reducere a volumului.

Definiii:- codare = procesul de atribuire a unor succesiuni (secvene) de simboluri elementare mesajelor (simbolurilor) uneisurse de informaie;

- alfabetul codrii = totalitatea simbolurilor elementare cu ajutorul crora se pot construi succesiunile (secvenele);- cuvnt de cod = o secven (succesiune) atribuit prin procesul de codare a unui mesaj al sursei de informaie;- cod = totalitatea cuvintelor de cod;- cod - binar = alfabetul este binar: {0, 1}; - bloc = cuvintele au aceeai lungime; - unic decodabil = fiecrei succesiuni de cuvinte de cod i corespunde o unic succesiune de simboluri a sursei; - instantaneu = nici un cuvnt de cod nu este prefixul altui cuvnt;- graful de codare (graful codului) = un arbore ce crete, dintr-un punct iniial (numit surs), prin m ramuri la fiecare

nod (m - numrul de simboluri elementare din alfabet) i are la finele oricrei ramuri (numit frunz) cteun simbol (mesaj al sursei). Fiecare din cele m ramuri ce pleac dintr-un nod este notat cu unul dintresimbolurile elementare ale afabetului codului. Secvena obinut prin asocierea simbolurilor elementare ataateunei ci, ce pleac de la sursi ajunge la o frunz, este cuvntul de cod ce codeaz simbolul (mesajul) surseiataat acelei frunze;

- eficiena codrii = raportul ntre lungimea medie minim a cuvintelor unui cod ce ar putea coda sursa datilungimea medie a cuvintelor codului dat;

- compresia = procedeul de recodare a unei surse cu scopul de a obine o eficien superioar primului cod;- factor de compresie = raportul eficienelor codurilor, comprimat i iniial.

Notaii:L - lungimea medie a cuvintelor codului;c - eficiena codrii;F - factor de compresie.

Abrevieri:LZ -77 - algoritmul de compresie Lempel -Ziv '77.

Breviar teoretic:1. Teorema I-a a lui Shannon:pentru orice surs de informaie S, printr-o codare pe grupe

de n simboluri, poate fi fcut o codare absolut optimal dac n;2.Lungimea medie a cuvintelor codului:

=

=N

1iiilpL (3.1)

unde: li - lungimea cuvntului ataat simbolului sursei;si=numrul de simboluri elementare din componena cmpului respectiv;3. Eficiena codrii se poate calcula dup formula:

( )

L

SHc = (3.2)


30/6827

3.1. Fie sursa de informaie discreti fr memorie:

i trei coduri binare pentru sursa S:

a) Ce secven binar corespunde, pentru fiecare cod n parte, mesajului sursei:"abacdab"?;b) Artai c decodarea secvenei construite la punctul a) este unic doar pentru

CII i CIII, nu i pentru CI;c) Calculai entropia sursei i eficiena acesteia;d) Calculai lungimea medie a cuvintelor fiecrui cod, precum i eficienacodrii.

Rezolvare:a) Secvenele binare cerute se obin prin simpla substituie a literelor cu secvenele binare(cuvintelor) corespunztoare lor:

Sv1=1101100110 110

Sv2=1011001000 101 (3.1.1)Sv3=0001001011 0001

b) Decodnd secvena Sv1 prin I gsim cel puin dou variante de decodare:abacdab, dacdd, abacabab, etc...fapt ce nu se poate ntmpla cu Sv2 i Sv3 prin CII, respectiv CIII.c) Conform formulei de definiie, entropia sursei este:

( ) 9,1p

1logpSH

N

1i i2i ==

=bii/simbol (3.1.2)

Pentru calculul eficienei este necesar n prealabil entropia maxim:

2NlogH 2max == bii/simbol (3.1.3)

Rezult eficiena sursei:

( )%95

H

SH

maxs == (3.1.4)

=

15,02,025,04,0

dcbaS

11d000d110d

10c001c100c

01b01b10b

00aIIIC1aIIC1aIC


31/6828

d) Lungimea medie a cuvintelor unui cod se calculeaz cu formula:

=

=N

1iiilpL (3.1.5)

unde li este lungimea cuvntului de cod numrul i.

Deoarece CI i CII au aceleai lungimi pentru cuvinte i lungimea medie va rezulta aceeai:

95,1315,032,0225,014,0LL 21 =+++== bii/simbol (3.1.6)iar:

L3=2 bii/simbol (3.1.7)

fiind un cod bloc.

Eficienele codrilor rezult:

.%95%6,97 s3c2c1c ==== (3.1.8)

Obs.:- Dei CIII are lungimi ale cuvintelor de cod mai mici dect CIi CII, totui acestea "codeazmai eficient" sursa dat, deoarece atribuie cuvnt de cod scurt (lungime 1) simbolului cel maifrecvent (a).- Codurile CIIi CIII sunt coduri unic decodabile prin faptul c decodarea unei secvene codatedecurge ntr-un unic fel. n plus sunti coduri instantanee. Un exemplu de cod unic decodabil, darnu i instantaneu, este:

CIV a 1b 10c 100d 000

- Cu toate c realizeaz biunivociti ntre mulimea mesajelor sursei Si mulimea cuvintelor decod, codul CI nu poate fi utilizat deoarece informaia transmis printr-un astfel de cod poate fideformat la decodare.

3.2. O SDFM cu 20 simboluri echiprobabile se codeaz cu un cod bloc (toatecuvintele au aceei lungime).

a) Ct sunt entropia i eficiena sursei date?b) Ct este lungimea medie m a cuvintelor codului, minim necesar ?c) Calculai eficiena codrii.

Rezolvare:a) Sursa fiind echiprobabil:

H(S)=Hmax=log220=4,32 bii/simbol (3.2.1)


32/6829

i, ca atare:s=100% (3.2.2)

b) Pentru a putea atribui N secvene binare, de lungime m, celor N mesaje ale sursei este necesar cas existe cel puin N secvene distincte. Cum numrul de secvene binare de lungime m este 2m

rezult c 2m N, unde N este numrul de simboluri al sursei, N=20. n plus, conform cerinelorproblemei vom alege pe cel mai mic m ce verific inegalitatea, astfel nct:

m1m 2N2


33/6830

Codul obinut are lungimea:

95,1lpL4

1iii1 ==

=bii/simbol (3.3.1)

b) Tabloul sursei S2 (extensia de ordin I2 a sursei date) este:

Algoritmul de codare Huffman static pentru sursa S2 este artat n figura urmtoare:

Figura 3.2.

n desfurarea algoritmului probabilitile sunt nmulite cu 100 pentru uurina scrierii. Lungimeamedie a cuvintelor codului obinut este:

=

100

25,2

100

75,3

100

3

100

6

100

75,3

100

25,6

100

5

100

10

100

3

100

5

100

4

100

8

100

6

100

10

100

8

100

16dddcdbdacdcccbcabdbcbbbaadacabaa

S2

16 16 16 20 21,25 26,75 32 41,25 58,75 112,25 14,5 16 16 20 21,25 26,75 32 11 41,25 011,25 12,25 14,5 16 16 20 21,25 01 26,75 1010 11,25 12,25 14,5 16 16 111 20 0010 10 11,25 12,25 14,5 101 16 11010 10 10 11,25 011 12,25 1008 10 10 001 10 010

8 8 1101 10 0007,75 1011 8 11006,75 1010

aa 111 16 16 16 16 16ac 010 10 10 10 10 10ca 001 10 10 10 10 10

ab 1101 8 8 8 8 10ba 1100 8 8 8 8 8cc 1001 6,25 6,25 6,75 7,75 8ad 1000 6 6 6,25 6,75 7,75da 0111 6 6 6 6,25 6,75bc 0001 5 5,25 6 6 6,25cb 0000 5 5 5,25 6 6bb 10111 4 5 5 5,25 6 0111cd 10110 3,75 4 5 5 0001 5,25 0110dc 10101 3,75 3,75 4 10111 5 0000bd 10100 3 3,75 10101 3,75 10110

db 01101 3 01101 3 10100dd 01100 2,25 01100

1611,25

10

101088

7,756,756,25 1001

6 1000


34/6831

( ) ( )

( )=++++++

+++++++++=

25,23375,375,34100

5

556625,688100

4101016

100

3L2

...... 8375,3100

75,98177108=

++= bii/simbol (3.3.2)

Cunoscnd c entropia extensiei de ordin 2 este dublul entropiei sursei date (vezi problema 2.10)gsim c:

H(S)=1,9bii/simbol

( ) ( ) 8,3SH2SH 2 == bii/simbol (3.3.3)

De unde:( )

%63,97L

SH

11c == (3.3.4)

( ) %22,99LL2

LL2

LSH

LSH

2

11c

2

1

12

22c ==== (3.3.5)

Cum 2L1>L2 c1 > c2

3.4. Fie sursa de informaie text (inclusiv pauzele):"TEORIA TRANSMITERII INFORMATIEI ."

a) S se afle tabloul sursei;b) S se codeze cu un cod optimal prin algoritmul Huffman;

c) S se calculeze eficiena codrii i factorul de compresie fa de o codare bloc;d) S se construiasc graful de codare.

Rspuns:a)

b)A 000 0 1001E 1111 R 110F 11100 S 111011I 01 T 101M 0011 _ 1000N 0010 . 111010

c)%925,98c = F=1,185

=

32

1

32

2

32

4

32

1

32

4

32

2

32

2

32

2

32

7

32

1

32

3

32

3._TSRONMIFEA

S


35/6832

d)

3.5. O surs de informaie discreti fr memorie, avnd redundana relativ

, a fost codat cu un cod binar cu eficiene c.tiind c:

c+=1i cunoscnd lungimea medie a cuvintelor codului bloc L=5 bii/simbol aflainumrul de simboluri ale sursei.

Rspuns: N=32

3.6. Sursa de informaie, fr memorie, constituit din simbolurile A, C, D, E, I,N, R, cu p(A)=0,28, p(C)=0,14, p(D)=0,05, p(E)=0,18, p(I)=0,16, p(N)=0,06 secodeaz cu un cod binar prin algoritmul Huffman static. Care este lungimeasecvenei binare ataate mesajului "CRIN" ?

Rspuns: 13 bii

3.7. O surs de informaie echiprobabil cu 50 simboluri se codeaz cu un codbinar bloc de eficien maxim posibil (codare pe simbol). Ct este eficienacodrii?

Rspuns: %67,9850log286

502c ==

0

0

0

1

1

1 0

0

0

11 1

10

0

0

1

1

.

F

0ON

I

S


36/6833

3.8. Sursa text (fr pauze):VINE EA SI VACANTA

ordonat alfabetic, se codeaz cu un cod binar (cod binar natural). Considerndieirea codorului drept o surs binar secundar, cu ct este egal entropia

acestei surse secundare (considerati ea fr memorie)?

Rezolvare:Tabloul simboluri probabiliti este:

=

15

2

15

1

15

1

15

2

15

2

15

2

15

1

15

4VTSNIECA

S (3.8.1)

iar codul binar bloc cerut:

A 000C 001

E 010I 011N 100 (3.8.2)S 101T 110V 111

Probabilitatea ca sursa secundar s emit un zero se calculeaz cu relaia:

( ) =

=N

1i

i0iE

m

mp0p (3.8.3)

unde: N=8 - numrul de simboluri al sursei primare;

1.Nipi = -probabilitile simbolurilor sursei primare;m=3 lungimea cuvintelor codului;m0i - numrul de zerouri din componena cuvntului i.

n mod analog:

( ) ( ) =

==N

1i

i1iEE m

mp0p11p (3.8.4)

Efectund calculele, gsim c:

( ) ( )45

2611112221221243

45

10p E =++++++=

( ) ( )45

1923121221222111

45

11p E =++++++= (3.8.5)

astfel tabloul sursei secundare este:


37/6834

=

45/1945/26

10S' (3.8.6)

iar entropia:

( ) 9825,019

45log

45

19

26

45log

45

26SH 22

' =+= bii/simbol (3.8.6)

3.9. Folosind algoritmul LZ-77 gsii:a) rezultatul compresiei mesajului: aaabcbaabcc...;b) mesajul iniial, dac rezultatul compresiei a fost 00c00b73c72b640;Lungimile blocurilor Lempel respectiv Ziv sunt 8 i 4.

Rezolvare:a) Diagrama de mai jos prezint iterat codarea LZ 77 asupra mesajului dat:

1 2 3 4 5 6 7 8 9 10 11 12 S L Aa a a b 0 0 a

a a a b c 8 2 ba a a b c b a a 0 0 c

a a a b c b a a b 7 1 aa a a b c b a a b c c 4 3 c

Rezultatul comprimrii este 00a82b00c71a43c...

b) Decodarea mesajului comprimat se poate urmri cu ajutorul diagramei:

1 2 3 4 5 6 7 8 9 10 11 12 S L Ac 0 0 c

c b 0 0 bc b c b c c 7 3 c

c b c b c c c c b 7 2 bb c b c c c c b c c b c 6 4 0

Aadar, mesajul iniial este: cbcbccccbccbc... .

3.10. Comprimai mesajul: aaabcca... utiliznd algoritmul Huffman dinamic.Ct este factorul de compresie?

Rezolvare:Vom prezenta evoluia arborelui (grafului) asociat codului n timpul codrii mesajului dat:


38/6835

Obs:Semnificaia notaiilor este:

-pentru nod:

- x: numr de ordine (crete de la stnga ctre dreapta i de jos n sus pe linii);- p: ponderea cumulat din nodurile aferente.

- pentru frunz (nod terminal):

- x: numr de ordine;- p: pondere (numr de apariii ale respectivului simbol);- y: simbolul.

Frunza goal, notat cu "0", este de pondere 0.- pentru ramur: - spre stnga codare cu zero;

- spre dreapta codare (atribuire) cu unu.

0 0 mesaj: --

1 mesaj: a

10

2. S-a codat "a": 3

0 21 a

0 1

codul:

simbol cuvntde cod

0a

01

1.Arbore iniial: 1

px

x yp

3.S-a codat "aa"

mesaj: a1codul: 0 0a 1

1

3 2

10

0 0 2 2 a

4.S-a codat "aaa"

mesaj: a11codul: 0 0

a 1

1

3 3

10

0 0 2 3 a

5.S-a codat "aaab"mesaj: a110bcodul: 0 00

a 1b 01

1

3

5 4

10

1 4 3 a

10

0 0 2 1 b

1

5

7 5

10

2 6 3 a

3

10

1 4 1 b

10

0 0 2 1 c

6.S-a codat "aaabc"mesaj: a110b00ccodul: 0 000

a 1b 01c 001

1


39/6836

Obs.: la pasul 7 s-a produs un schimb ntre nodurile 2 i 4 deoarece ponderea primului era maimare (2 > 1), conform regulii care spune c un nod cu numr de ordine mai mic i pondere maimare dect un altul va face schimb de poziie n arbore cu acesta din urm.

Considernd caracterele n mesajul iniial codate pe 8 bii, lungimea acestuia este:

Li=78=56 bii (3.10.1)

Mesajul comprimat (a110b00c0011) are:

L2=83+9=33 bii (3.10.2)

Rezult un factor de compresie:

7.S-a codat "aaabcc"mesaj: a110b00c001codul: 0 000

a 1b 001c 01

1

5

7 6

10

3 6 3 a

3

10

1 4 2 c

10

0 0 2 1 b1

5

7 6

10

3 6 3 a

3

10

2 4 1 b

10

0 0 2 2 c

Schimbntre

nodurile2 i 4

8.S-a codat "aaabcca"mesaj: a110b00c0011codul: 0 000

a 1b 001c 01 5

7 7

10

3 6 4 a

3

10

1 4 2 c

1

10

0 0 2 1 b


40/6837

7,1L

LF

2

1 = (3.10.3)

3.11. Fie mesajul "aacacabcabdabadabc". S se comprime mesajul dat prin

aplicarea algoritmului:a) LZ 77;b) Huffman dinamic;

c) Huffman static, presupunnd mesajul dat o SDFM text.

d) Calculai n fiecare caz factorul de compesie fa de o codare bloc pe opt bii amesajului iniial.

Rezolvare:a) Recodarea aferent algoritmului LZ77 este prezentat n diagrama urmtoare:

1 2 3 4 5 6 7 8 9 10 11 12 S L Aa a c a 0 0 aa a c a c 8 1 c

a a c a c a b 7 3 ba a c a c a b c a b d 6 3 d

a c a b c a b d a b a d 3 2 ab c a b d a b a d a b c 5 3 c

Mesaj comprimat 00a 81c 73b 63d 32a 53c de lungime:

L1=123+68=84 bii (3.11.1)

b)1.

2.

mesaj codat: "aa"

mesaj transmis: "a1"cod: 0 0

a 1

3 2

0

0 2 20

1

1 a

mesaj codat: "a"mesaj transmis: "a"cod: 0 0

a 1

3 1

0

0 2 10

1

1 a


41/6838

3.

(4. 5. 6.) 7.

(8. 9. 10.) 11.

mesaj codat "aacacab"mesaj transmis "a10c101100b"cod 0 00

a 1b 001c 01

7 7

7

0

3 8 4a

1

5

0

1 6 2b

1

1

0

0 4 1 c

1

9 11

7

0

6 8 5 a

1

5

0

3 6 3 c

1

3

0

1 4 2 b

1

1

0

0 2 1 d

1

9 11

7

0

5 8 6a

1

5

0

3 6 3 c

1

3

0

1 4 2 b

1

1

0

0 2 10

1

d

1

5 3

0

1 4 2

1

3 a

0

0 2 10

1

c

mesaj codat: "aac"mesaj transmis: "a10c"cod: 0 00

a 1c 01


42/6839

(12.) 13.

(14. 15. 16. 17.) 18.

mesaj codat: "aacacabcabd"mesaj transmis: "a10c101100b011001000d"cod: 0 1000

a 0b 101c 01


a 0b 111c 10

d 1101

9 13

7

0

6 8 7a

1

5

0

3 6 4c

1

3

0

1 4 3 b

1

1

0

0 2 10

1

d


a 0b 10c 111

d 1101

9 18

7

0

8 8 10a

1

5

0

4 6 6b

1

3

0

2 4 4 c

1

1

0

0 2 20

1

d


43/6840

Lungimea rezultat a mesajului transmis este:

L2=48+33=65 bii (3.11.2)

c) Pentru a putea coda mesajul transmis prin algoritmul Huffman static definim sursa:

asupra creia putem aplica algoritmul:

Cu ajutorul codului obinut mesajul se transmite prin secvena binar:

"001110111010111010"L3=34 bii (3.11.3)

d) Dac mesajul iniial este codat bloc pe 8 bii lungimea secvenei binare codateeste:

L0=188=144 bii (3.11.4)

Cu rezultatele coninute n relaiile (3.11.1, 2, 3 i 4) gsim pentru factorii de compresie valorile:

7143,184

144

F1 ==

12 F3,12154,265

144F === (3.11.5)

13 F47,22353,434

144F ===

= 182184184188

dcba

S

8 04 1 04 1112 110

8 06 114 10

10 18 0

abcd


44/68

Canale

41

Cap.4 Canale de transmisieDicionar:- canal (de transmisie) - cale (mediu fizic) de transmisie prin care circul infpormaia ntre emitor (surs) i

receptor (utilizator);- cmp (corp) - o mulime K de elemente care satisfac urmtoarele axiome:

1. - pe K sunt definite dou operaii: adunarea i nmulirea;2. - n raport cu adunarea K formeaz un grup abelian cu elementul nul 0;3. - K \ {0} formeaz grup abelian pentru nmulire;

4. - nmulirea este distributiv fa de adunare;- echivoc - 1. suspect, ndoielnic; 2.echivocaie- msur a efectului perturbaiilor asupra comunicaiilor prin canale;- capacitate valoarea maxim pe care poate s o aib un parametru al unui sistem, parametru ce indic performane de

nmagazinare, transport sau prelucrare.

Definiii:1. - transferul informaiei ntre cmpul de intrare X, cel de ieire Y i canal C:

2. - Cantitatea de decizie D a unei surse cu m simboluri = maximul entropiei sursei D=Hmax;

- Debitul de decizieD - cantitatea de decizie generat n unitatea de timp;

- Debitul de momente

M - numrul de momente transmise n unitatea de timp; - Baud (Bd) - unitatea de msur a debitului de momente; - Moment - semnal elementar purttor de informaie de durat TM.

Notaii:x0=0E , x1=1E- simbolurile emisibile n canalul binar;X={x0 , x1} - cmpul de la intrare n canal;y0=0R, y1=1R- simbolurile recepionabile din canalul binar;Y={y0 , y1} - cmpul de la ieirea din canal;p(xi) - probabilitatea de a emite n canal xi;p(yj) - probabilitatea de a recepiona din canal yj;P(Y/X) - matricea de tranziie=[p(yj / xi)]22;p(yj /xi)probabilitatea (apriori) de a se recepiona yj cnd a fost emis xi;P(X,Y) =[ p(xi, yj)]22;

H(X) I(X,Y) H(Y)CmpintrareX CANAL

H(Y/X)

H X/Y

Informaia ce o adaugcanalul, n medie,fiecrui simbol binar

Informaia, n medie, ceintr n canal printr-unsimbol binar

Informaia ce o pierde

n canal, n medie, unsimbol binar

Informaia ce

traverseazcanalul, n medie,cu un simbol binar

Informaia ce iese,n medie, din canal

printr-un simbolbinar

Cmpieire

Y


45/68

Canale

42

p(xi, yj) - probabilitatea de a se fi emis xii a se recepiona yj;P(X/Y) =[ p(xi/yj)]22;p(xi/yj) - probabilitatea (aposteriorii) de a se fi emis xi cnd s-a recepionat yj; - raportsemnal-zgomot.

Abrevieri:RSZ (SNR) - Raport Semnal pe Zgomot (Signal to Noise Ratio);CBS - Canal Binar Simetric;

BER- Bit Error Rate (rata erorii).

Breviar teoretic:1. Relaii ntre matrici

( )( )

( )( )

=

= X/YP

1p0

00pY,XP

E

E (4.1)

( ) ( ) +=+= RR 1p0p (4.2)

( ) ( )( )

( )

=

R

R

1p 10

00p

1

Y,XPY/XP (4.3)

2. Entropii condiionate

- eroarea medie ( ) ( )( )ij

2

1

0i

1

0jji x/yp

1logy,xpX/YH =

= =; (4.4)

- echivocaia ( ) ( )( )ji

2

1

0i

1

0jji y/xp

1logy,xpY/XH =

= =; (4.5)

- transinformaia

( ) ( ) ( ) ( )( ) ( ) ( ) ( )X/YHYHY/XHXH

ypxp

y,xp

logy,xpY,XI ji

ji2

1

0i

1

0jji

==

= = = (4.6)

3. Capacitatea canalului- discret ( )Y,XImaxC

ip= (bii/simbol) (4.7)

- continuu ( )+===

1logBmlogMDC 2max2maxmax (4.8)

unde: B2Mmax =

- (canal ideal); B4

5Mmax =

(canal real) (4.9)

+= 1mmax (4.10)4. Redundana i eficiena canalului

( )Y,XICRC = -redundana absolut (4.11)( )

C

Y,XI1c = - redundana relativ (4.12)

( )C

Y,XIc = - eficiena (4.13)


46/68

Canale

43

4.1. Fie secvena binar:i0=100101011100011100100110 (4.1.1)

generat de o SDFM echiprobabil, X. n vederea transmiterii dibiii dinsecvena i0 se codez prin:

Se cere:a) S se calculeze entropia i eficiena sursei X; (H(X), X)

b) Debitul de informaie al sursei X dac codarea (4.1.2) se face n timp real; (

X )c) Cantitatea de decizie corespunztoare unui moment (moment = un semnaldintre S00, S01, S10 sau S11); (D)

d) Debitul de momente; ( M )e) Ce debit de informaie (n bii/sec) corespunde n acest caz unui Baud? (1Bd)f) S se reprezinte grafic semnalul S(t): suport al informaiei i0.

Rezolvare:a) Probabilitile de emisie (generare) a mesjelor binare 0 i 1 fiind egale:

p(0)=p(1)=1/2 (4.1.3)

rezult pentru entropie i eficiena sursei valorile:

H(X)=1 bit/simbol=100% (4.1.4)

b) Prin definiie:

( )

x

XHX

=

(4.1.5)

unde x este timpul n care se transmite (genereaz) un simbol binar de ctre sursa X. tiind c dou

simboluri (un dibit) au o durat de transmitere, respectiv genereare (n timp real), de TM=250srezult pentru x valoarea:

s125T2

1Mx == (4.1.6)

i ca atare:

kbiti/sec8s125

bit/simbol1X =

=

(4.1.7)

00 S00(t)= -3V t[0,TM]

01 S01(t)= -1V t[0,TM]10 S10(t)= 1V t[0,TM]11 S11(t)= 3V t[0,TM] cu TM=250s (4.1.2)


47/68

Canale

44

c) Conform definiiei:

D=log2m=2 bii (4.1.8)

unde m=4 reprezint numrul de nivele de tensiune corespunztoare dibiilor (relaia (4.1.2)).

d) Debitul de momente

M este numrul de semnale elementare (S00, S01, S10 sau S11) pe unitatea detimp:

Bd400010250

1

T

1M

6M

=

==

(4.1.9)

e) Cum debitul de informaie este 8000X =

bii/sec, corespunde la viteza de modulaie (debitul de

momente) Bd4000M =

, rezult pentru fiecare Baud cte 2 bii de informaie.f) Secvena binar dat va avea suport fizic urmtoarea succesiune de semnale elementare:

100110001101001101010110 SSSSSSSSSSSS (4.1.10)

care formeaz semnalul:

4.2. Presupunnd semnalul ternar din figur:

suportul fizic al unei informaii, s se afle:

a) Viteza de modulaie

M (debitul de momente);

[V] S[t]

3210-1-2

-3

1 2 3 4 5 6 7 8 9 10 11 12t/TM

[V] S[t]

+1

0 2 4 6 8 10 12 14

-1

t/5s


48/68

Canale

45

b) Cantitatea de informaie maxim ce se poate transmite printr-un simbolternar;c) Debitul de informaie ce rezult dac semnalul S(t) a fost obinut prinmodularea (codarea) unei secvene binare echiprobabile, n timp real, utilizndcodul:

d) Debitul maxim de informaie ce poate fi obinut printr-o codare adecvatutiliznd : - un semnal ternar;

- un semnal binar;- un semnal cuaternar.

n toate cazurile se va considera aceeai vitez de modulaie.

Rspuns:

a) Baud10secternar /simbol10T

1M 55

M===

b) D=log23=1,585 (bii)

c)

( ) ( ) ( )

( )

( )

( ) ernarbit/simb.t12log

2

14log

4

12SH

4

1Sp

2

1Sp

;4

11p1ppSp

220 =+=

=

=

===

++

( ) 55

MS 10585,1MDbiti/sec10T

SHD =


49/68

Canale

46

4.3. Sursa de informaie fr memorie constituit din caracterele echiprobabileA, C, D, E, I, N, R se codeaz cu un cod binar bloc (transpunere zecimal binara numrului de ordine; fr cuvntul de pondere zero), apoi se cupleaz la uncanal de transmisie binar simetric avnd rata erorii egal cu 0,1. Calculai:a) entropia i eficiena sursei; (H(S) S)b) eficiena codrii; (c)

c) entropia cmpului de la intrarea n canal; (H(X))d) matricea de tranziie i eroarea medie; (P(Y/X), H(Y/X))e) cmpul de la ieirea din canal i entropia sa; (Y, H(Y))f) echivocaia i transinformaia; (H(X/Y), I(X,Y))g) capacitatea canalului; (C)h) probabilitatea ca sursa s fi emis mesajul DAC atunci cnd s-a recepionatmesajul RAC. (p(DACE/RACR))

Rezolvare:a) Sursa fiind echiprobabil:

( ) 8,27logHSH 2max == bii/simbolS=100% (4.3.1)

b) Conform cerinelor problemei codul binar bloc este:

i are lungimea medie a cuvintelor de cod:

L=3 bii/simbol (4.3.2)

Pentru eficien rezult valoarea:

( )%58,93

L

SHc == (4.3.3)

c) Cmpul de la intrarea n canal conine dou simboluri binare ce pot fi emise n canal cuprobabilitile:

( ) ( )7

3

21

9k

21

1

3

kSp0p

7

1ii0

i07

1iiE ====

==

( ) ( )7

4

21

12k

21

1

3

kSp1p

7

1ii1

i17

1iiE ====

==

A 001C 010D 011E 100I 101

N 110R 111

(4.3.4)


50/68

Canale

47

Astfel, tabloul sursei binare (secundare) ce emite n canal este:

=

7/47/3

10X EE (4.3.5)

i are entropia:

( ) 9852281,04

7log7

4

3

7log7

3XH 22 =+= bii/simbol (4.3.6)

Obs.: n fapt, sursa secundar X este cu memorie. Pentru a argumenta acest lucru, este suficient sconsiderm sursa X fr memoriei s calculm probabilitatea de a emite A:

( ) ( ) ( ) ( ) ( )7

1

49

361p0p0p001pAp EEEE ===

care difer de p(A)=1/7, dat de echiprobabilitatea sursei primare.

d) Canalul fiind binar simetric i cunoscnd rata erorii p=0,1 matricea de tranziie are forma:

( )( ) ( )

( ) ( )

RRRR 10

E

E10

E

E

ERER

ERER

9,01,0

1,09,0

1

0

p1p

pp1

1

0

1/1p1/0p

0/1p0/0pX/YP

=

=

= (4.3.7)

Eroarea medie este "informaia" medie, pe simbol binar, ce sosete la recepie i nu provine de laemisie ci din canal:

( ) ( )( )ij

2

1

0i

1

0jji x/yp

1logy,xpX/YH =

= =(4.3.8)

unde: - p(yj/xi) = probabilitatea ca la recepie s soseasc yj dac la emisie a fost transmis xi;probabilitile de genul p(yj/xi) sunt coninute n matricea P(Y/X) dat de relaia (7).

- p(xi , yj ) = probabilitatea de a se emite xii a se recepiona yj;Aceste probabiliti formeaz o matrice de forma P(X,Y) i se calculeaz cu ajutorul relaiei luiBayes:

p(xi , yj )=p(xi) p(yj/xi) i,j=0, (4.3.9)

sau:

( )( )

( )( )X/YP

xp0

0xpY,XP

1

0

= (4.3.10)

- xi , yj cu i,j=0, 1 sunt notaiile alternative pentru 0E, 1E respectiv 0R, 1R folosite pentru a scrierelaiile compact:

1R0RE1E0 y1y01x0x ==== (4.3.11)

Obs.:Dei att cmpul de la intrare cti cmpul de la ieire conin aceleai dou simboluribinare 0 i 1, sunt necesare notaii distincte pentru a putea fi distinse n diferitele relaiimatematice.


51/68

Canale

48

nlocuind rezultatele din (4.3.4) i (4.3.7) n (4.3.10) gsim c:

( )

=

7

6,3

7

4,07

3,0

7

7,2

Y,XP (4.3.12)

Dispunem acum de toate probabilitile cerute de (4.3.8) pentru a putea calcula eroarea medie:

( )

binarlbiti/simbo4689955,01,0log1,09,0log9,0

9,0log7

6,31,0log

7

4,01,0log

7

3,09,0log

7

7,2X/YH

22

2222

==

==(4.3.13)

e) Probabilitile simbolurilor de la ieirea din canal, 0Ri 1R se afl cu ajutorul formulelor:

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )RERE11101R

RERE01000R

1,1p1,0py,xpy,xpyp1p

0,1p0,0py,xpy,xpyp0p

+=+==+=+==

(4.3.14)

sau compact:

( ) ( )[ ] [ ] ( )

==

7

9,3

7

1,3Y,XP111p0p Rr (4.3.15)

Sursa binar echivalent ieirii canalului este:

=

7

9,3

7

1,310

YRR

(4.3.16

i are entropia:

( ) =+= 9,3log7

9,31,3log

7

1,37log

9,3

7log

7

9,3

1,3

7log

7

1,3YH 22222

=0,990577bii/simbol binar (4.3.17)

f) Echivocaia, notat H(X/Y), este cantitatea medie de informaie pe un simbol binar ce estepierdut de acesta (simbolul binar) n canal:

( ) ( )( )ji

2

1

0i

1

0jji

y/xp

1logy,xpY/XH =

= =(4.3.18)

Calculnd probabilitile aposteriori p(xi/yj) cu relaia:

( )( ) ( )

( ) ( )( )

( )

( )

=

=

=

R

R

RERE

EERE

1p

10

00p

1

Y,XP1/1p0/1p

1/0p0/0pY/XP


52/68

Canale

49

=

=

13

12

31

431

1

31

27

9,3

70

01,3

7

7

3,6

7

0,47

0,3

7

2,7

(4.3.19)

Se gsete valoarea echivocaiei:

( )12

13log

7

6,3

4

31log

7

4,013log

7

3,0

27

31log

7

7,2Y/XH 2222 +++=

=0,463666 bii/simbol binar (4.3.20)

Transinformaia I(X,Y) se poate afla utiliznd egalitile:

I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) (4.3.21)

Utiliznd (4.3.6) i (4.3.20) gsim valoarea:

I(X,Y)=0,521562 bii / simbol binar (4.3.22)

Valoare ce se gsete i folosind rezultatele din (4.3.13) i (4.3.17).

Obs.:- utilizarea relaiilor necesare n rezolvarea problemelor de tipul prezentei implic calculematematice voluminoase. Pentru a obine rezultate bune este de preferat s nu se fac aproximrin calculele intermediare, obtnd pentru varianta memorrii lor cu ajutorul unitii de calcul. Obun verificare a rezultatelor gsite se poate face cu ajutorul relaiei (4.3.21).

g) Capacitatea canalului binar simetric se calculeaz cu formula:

( ) ( )p1logp1plogp1C 22 ++= (4.3.23)

i, n cazul de fa pentru p=0,1, este:

C=0,531004bii/simbol (4.3.24)

Obs.:- capacitatea canalului, conform definiiei, este maximul transinformaiei. Rezultatul (4.3.24)se poate regsi fcnd n (4.3.21) H(Y)=1.

h) Probabilitatea de a se fi emis "DAC" atunci cnd s-a recep ionat "RAC" este identic cuprobabilitatea de a se fi emis secvena binar "011 001 010" atunci cnd s-a recepiopnat "111 001

010":

( )

( ) ( ) ( )

%2,313

12

13

1

31

27

1/1p1/0p0/0p

)111001010/011001010(pRAC/DACp

44

4RERE

4RE

RERE

=

==

==

(4.3.25)


53/68

Canale

50

Obs.: - n ultima relaie, (4.3.25), s-a fcut presupunerea c transmisia unui simbol binar esteindependent de a celorlalte.

4.4. Sursa text (discreti fr memorie):"TEORIA TRANSMISIUNII INFORMATIEI"

se codeaz binar bloc (ordonare alfabetic, pauza la sfrit, cod binar natural) ise cupleaz la un canal de transmisie binar. Cunoscnd c ( ) 9,00/0p ER = i

( ) 2,01/0p ER = s se afle:a) matricea de tranziie a canalului; (P(Y/X))b) codul binar bloc;c) probabilitatea ca sursa s emit mesajul METEOR;d) probabilitatea de a se fi recepionat TEN dac s-a emis TEO;e) probabilitatea de a se fi emis MAR dac s-a recepionat MAT;f) entropiile cmpurilor de intrare i ieire; (H(X), H(Y))

g) eroarea medie i echivocaia; (H(Y/X), H(X/Y))h) transinformaia i capacitatea canalului; (I(X,Y), C)

Rspuns:

a) ( )

RR 10

E

E

8,02,0

1,09,0

1

0X/YP

=

b)

c) ( ) 76E

1034,132

322322METEORp ==

d)( ) ( )

( ) ( ) ( ) ( ) %435,08,01,02,09,01/1p0/1p1/0p0/0p

100100011001/010100011001pTEO/TENp

464ERERER

6ER

ERER

===

==

e) ( ) ( )16

71p

16

90p EE == ,

n ipoteza c sursa secundar {0E,1E} este fr memorie.

A 3/32 0000E 2/32 0001

F 1/32 0010I 8/32 0011M 2/32 0100N 3/32 0101O 2/32 0110R 3/32 0111S 2/32 1000T 3/32 1001U 1/32 1010_ 2/32 1011


54/68

Canale

51

( )

RR 10

E

E

16

6,5

16

4,116

9,0

16

1,8

1

0Y,XP

=

( ) ( )16

5,61p

16

5,90p RR ==

( )

RR 10

E

E

65

56

95

1465

9

95

81

1

0Y/XP

=

( ) ( ) ( ) ( ) ( )

3327

3RE

2RERE

7RERE

1063,065

56

95

14

65

9

95

81

1/1p0/1p1/0p0/0pMAT/MARp

=

=

==

f) H(X)=0,988699408 bii/simbol binarH(Y)= 0,974489403 bii /Simbol binar

g) H(Y/X)=0,579653563 bii/simbol binarH(X/Y)= 0,593863568 bii /Simbol binar

h) I(X,Y)=0,39483584 bii/simbol binarC= 0,420346437 bii/simbol binar

4.5. Sursa text ANTENA RECEPTOARE codat binar bloc (ordonare alfabetic+CBN) se cupleaz la un canal de transmisiune binar avnd matricea detranziie:

=

8,02,0

1,09,0P

a) S se afle tabloul sursei primare S;b) S se afle tabloul sursei secundare X, ce emite n canal, considerndu-se ceste SDFM;c) Considernd c S' este sursa avnd aceleai simboluri ca i S dar cu

probabiliti cele de recepionare a mesajelor, s se afle tabloul sursei S;d) Ct sunt probabilitile:p(CAPE) - de a se emite mesajul CAP;p(CAPR) - de a se recepiona mesajul CAP;p(CAPR /CAPE) - de a se recepiona mesajul CAP dac acesta a fost

emis;p(CAPE /CAPR) - de a se fi emis mesajul CAP dac acesta a fost

recepionat?


55/68

Canale

52

Rezolvare:a) Tabloul sursei primare S este:

=

16

2

16

2

16

1

16

1

16

2

16

4

16

1

16

3TRPONECA

SEEEEEEEE

(4.5.1)

Obs.: Indicele "E" se refer la emisie.

Codul bloc este:

b) Utiliznd relaiile (4.3.4) aflm c:

( ) ( ) 24

11

1p24

13

0p EE == 4.5.3)

c) Pentru a afla probabilitile simbolurilor recepionabile se utilizeaz formula probabilitii totale(1.5). De exemplu, pentru calculul probabilitii de a recepiona A, se folosete relaia:

( ) ( ) ( ) ( ) ( )

( ) ( )ERE

EREERER

T/ApTp

V/ApCpA/ApApAp

+++=

!

(4.5.4)

unde:

( ) ( ) ( ) 33ERERER 9,00/0p000/000pA/Ap === (4.5.5)

Folosind relaiile de forma (4.5.4) i (4.5.5) se calculeaz probabilitile de recepionare pentru toatecele 8 simboluri. Aceste calcule sunt indicate n tabelul de mai jos:

Probabilitatesimbol 16

Simbol

3

A

1

C

4

E

2

N

1

O

1

P

2

R

2

T16.000

A 39 292 292 229 292 229 229 32 3355

C 192 892 921 928 921 928 122 822 1485

E19

2

921

892

982 921

122

982

822

3515

N 219 918 981 289 212 218 218 288 1845

O 192 912 912 122 892 981 982 228 1485

P 219 981 212 821 981 289 821 282 1075

R 219 212 981 821 981 821 289 282 1845

T 31 218 218 182 218 182 182 38 1395

Tabloul sursei S' va fi:

A 000 O 100C 001 P 101E 010 R 110N 011 T 111

(4.5.2)


56/68

Canale

53

=

16000

1395

16000

1845

16000

1075

16000

1485

16000

1845

16000

3515

16000

1485

16000

355.3TRPONECA

S' (4.5.6)

Obs.: comparnd (4.5.1) cu (4.5.6) se observ c A, C, O i P sunt mai probabile la recepie dectla emisie n vreme ce probabilitile simbolurilor E, N, R i T au sczut, n probabilitate, la recepie

fa de emisie.

d) Probabilitile cerute sunt:

( ) 33E

107,016

3CAPp ==

( ) 33R

103,116

3558,5CAPp ==

( ) ( ) 336ERER 102728,09,0001000101/001000101pCAP/CAPp===

( ) ( ) 336

RERE 1023510188139117001000101/001000101pCAP/CAPp===

unde: p(0E/0R) i p(1E/1R) s-au calculat cu relaiile (4.1, 2 i 3):

( )

=

24

8,8

24

2,224

3,1

24

7,11

Y,XP

( ) ( )24

1,101p

24

9,130p RR ==

( )

=

101

88

139

2210113

139117

Y/XP

Obs.: Calculul probabilitilor p(0R) i p(1R) se poate face i cu relaii de forma (4.3.4), rezultndaceleai valori.

4.6. Care este durata transmiterii unei imagini alb-negru format din N=106

pixeli printr-un canal:a) telefonic cu banda cuprins ntre 300-3400 Hz;b) video cu banda 12 MHz;c) optic (fibr optic) cu banda de 1 GHz;Intensitatea fiecrui pixel se cuantizeaz pe 128 nivele, iar raportul semnal-zgomotul se consider cel minim necesar.

Rezolvare:


57/68

Canale

54

Informaia coninut ntr-o imagine, necesar a fi transmis, este:

62

6pixelim 107128log10iNI === bii/imagine (4.6.1)

La 128 de nivele de cuantizare este necesar un raport semnal-zgomot minim:

1422)128( = (4.6.2)

pentru care rezult capacitile canalelor:

( ) 4,4314101,31logBC 32TT ==+= kbii/sec

( ) 1681410121logBC 62VV ==+= Mbii/sec

( ) 1414101logBC 62OO ==+= Gbii/sec (4.6.3)

Dac transmisiile s-ar face la aceste capaciti (debite de informaie) rezult timpii de transmisie:

sec3,161C

It

T

imT ==

ms7,41C

It

V

imV ==

ms5,0C

It

O

imO == (4.6.4)

4.7. La ce raport semnal-zgomot minim s-ar putea transmite, n cele trei cazuridin problema anterioar, imaginile cu viteza necesar de 25 imagini/sec?

Rezolvare:Capacitatea cerut fiecrui canal este:

175sec1/I25I

C imagimag

imag ==

= Mbii/sec (4.7.1)

Aceast capacitate se poate obine la un raport semnal/zgomot:

12 B/C = sau (dac C>>B):BC3dB = (4.7.2)

Cunoscnd n fiecare caz banda disponibil avem c:

dB169355101,3

101753

3

6TdB =


58/68

Canale

55

dB75,431012

101753

6

6VdB =

dB9sau129,012 OdB175,0O == (4.7.3)

Obs.: Evident c un raport semnal-zgomot de 169355 dB este un rspuns non sens pentru practic.

4.8. Reprezentai secvena de date prezentat n figura de mai jos, pe rnd ncodurile NRZ, RZ, AMI i HDB3. Calculai componenta medie, n fiecare caz,lund valoarea vrf la vrf a semnalului A.

Rspuns:

Component medie: NRZ - 11/25 A RZ - 11/50 A AMI - O HDB3 - 1/50 A

4.9. Desenai semnalele de linie n cod HDB3 pentru urmtoarele secvene dedate:

a) 10100100000000011110;b) 00010010000100001001;c) 10000110000011000011;

1 1 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1

Tb

RZ

AMI

HDB3

NRZ

A


59/68

Canale

56

4.10. Care va fi semnalul de linie (L) dac la intrarea cifratorului din figur:

se aduce semnalul:

i=11101000000110000111...

Starea iniial a RDR este

=

0

0

1

S0 .

Rspuns: 01010001011010101001.

C3 C2 C1

+

+

i

L


60/68

57

Cap.5 Teste gril

5.1 Dac p(A) este probabilitatea de realizare a mesajului A, atunci informaia furnizat de producereasa , i(A), este:

a). lnA; *b). log2 p(A); c). p(A) log2)(

1

Ap; d). log2p(A); e). p(A)ln p(A).

5.2 Entropia unei surse este:a). informaia medie transmis de surs n unitatea de timp;b). informaia instantanee transmis de surs;c). egal cu raportul dintre entropia maxim a sursei i redundana sa;*d). egal cu produsul dintre entropia maximi eficiena sursei;e). nici o variant nu este corect.

5.3 Cantitatea de decizie a unei surse este:a). informaia medie transmis de surs printr-un simbol al su, dac sursa este echiprobabil;

*b). egal cu entropia maxim a sursei;c). egal cu produsul dintre entropia maximi eficiena sursei;d). informaia medie transmis de surs n unitatea de timp;e). nici o variant nu e corect.

5.4 Care dintre scopurile de mai jos nu se realizeaz prin codare:a). adaptarea naturii diferite a sursei la natura canalului;*b). multiplexarea mai multor semnale purttoare de informaie n vederea transmiterii pe

acelai canal;c). compresia sursei;d). protejarea informaiei mpotriva perturbaiilor;

e). protejarea informaiei mpotriva receptorilor neautorizai (secretizarea).

5.5 Care dintre mrimile de mai jos reprezint criterii de fidelitate:__________

1). eroarea medie ptratic: = [ ])()( tytx 2;________

2). raportul semnal-zgomot: = y(t)2/u(t)2;3). echivocaia;

a). doar 1).; b) 1). i 3).; c) 2) i 3).; d) toate trei; *e). 1) i 2)..

5.6 Care dintre mrimile de mai jos reprezint criterii de fidelitate:

1). eroarea medie H(Y/X) = - =

n

i 1=

m

j 1

p(xi,yj)log2p(yj/ xi);

_______2). raportul semnal-zgomot: =y(t)2/u(t)2;3). rata erorii (BER).

a). doar 1).; b). 1). i 3).; *c). 2) i 3).; d). toate trei; e). 1). i 2)..


61/68

58

5.7 O surs discret S este fr memorie dac:*a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilitile diferitelor simboluri nu depind de originea timpului;c). genereaz simboluri la o indicaie exterioar;d). genereaz simbolurile cu o vitez fix;

e). nici un rspuns nu este corect;5.8 O surs discret este cu debit necontrolat dac:

a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilitile diferitelor simboluri nu depind de originea timpului;c). genereaz simboluri la o indicaie exterioar;*d). genereaz simbolurile cu o vitez fix;e). nici un rspuns nu este corect;

5.9 O surs discret Sn este extensia unei surse de ordin n a sursei S dac:a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilitile diferitelor simboluri nu depind de originea timpului;c). genereaz simboluri la o indicaie exterioar;d). genereaz simbolurile cu o vitez fix;*e). nici un rspuns nu este corect;

5.10 Informaia obinut n urma realizrii evenimentului a, a crui anse de realizare sunt 100% este:*a). zero; b). un bit; c). un bit/simbol; d). strict pozitiv; e). nici un rspuns nu e corect.

5.11 Relaiile ntre unitile de msur a informaiei sunt:a). 1nit


62/68

59

5.13 O SDFM , S, cu 32 de simboluri are entropia egal cu a unei surse echiprobabil cu 26 desimboluri. Redundana sursei S este:

*a). 0,3 bit/simbol;b). 0,3 bit/secund;c). 4,7 bit/simbol;

d). 4,7 bit/secund;e). 6%.

5.14 Precizai rspunsul fals. Entropia unei SDFM este:a). dat prin formula:

H(S)==

N

i 1

p(si)log2p(si),unde: si i=1..N, -simbolurile sursei;

N -numrul de simboluri;p(si) -probabilitatea de

emisie a lui si;b). msurat n bii/simbol;*c). o funcie continu n raport cu fiecare variabil si;d). o funcie simetric n raport cu toate variabilele p(si);e). aditiv.

5.15 O surs de informaie are entropia numeric egal cu 3,7 iar redundana sursei este 5,3%. Sursa areun numr de simboluri egale cu:

a). 13; *b). 15; c). 16; d). 9; e). 4.

5.16 Semnalele utilizate pentru transportul informaiei numerice sunt compuse din suite de semnaleelementare n timp, numite momente. Numrul de momente transmise n unitatea de timp este:

1). debitul de momente;2). viteza de modulaie;3). viteza telegrafic.

Rspunsurile corecte sunt:a). 1); b). 2); c). 3); d). nici unul; *e). toate trei.

5.17 Precizai rspunsul fals. Debitul de informaie al unei surse de informaie este:*a). msurat n bii/simbol;b). msurat n bii/secund;c). cantitatea medie de informaie generat de surs n unitatea de timp;d). egal cu debitul de decizie, dac sursa este echiprobabil;e). mai mic dect capacitatea canalului, la transmisiile n timp real.

5.18 Pentru un canal de transmisie discret, X={x i}i=1..n si Y={yj}j=1..m reprezint cmpurile de laintrarea, respectiv ieirea din canal. Matricea de trecere P este o matrice avnd dimensiunile nxm iconine probabiliti de forma:

a). p(xi)p(yj); b). p(xi, yj);c). p(xi/yj); *d). p(yj/xi,);e). nici un rspuns nu e corect.


63/68

60

5.19 Un canal este binar simetric dac:a). p(0E)=P(1E);b). p(0E/1R)=p(1E/0R);*c). p(0R/1E)=p(1R/0E);d). p(0R)=p(1R);

e). nici o variant nu e corect.5.20 Un canal este binar simetric dac:

a). p(0E,0R)=p(0E,1R);b). p(0E/0R)=p(1E/1R);c). p(0R/1E)=p(1R/1E);d). p(0R)=p(1R);*e). nici o variant nu e corect.

5.21 Mrimea H(y)-H(y/x) pentru un canal binar este:*a). transinformaia doar dac p(0R)=p(1R);b). capacitatea canalului doar dac p(0

R)=p(1

R);

c). subunitar;d). msurat n bii/simbol binar;e). egal cu H(x)-H(x/y) dac p(0R)=p(1R);Precizai rspunsul fals.

5.22 Mrimile mrginite superior de H(x) entropia cmpului de la intrarea n canal, sunt:a). numai transinformaia;b). eroarea medie i transinformaia;c). echivocaia i eroarea medie;*d). echivocaia i transinformaia;e). echivocaia, eroarea medie i transinformaia.

5.23 Mrimile mrginite superior de H(Y) entropia cmpului de la ieirea din canal, sunt:a). numai transinformaia;*b). eroarea medie i transinformaia;c). echivocaia i eroarea medie;d). echivocaia si transinformaia;e). echivocaia, eroarea medie i transinformaia.

5.24 Capacitatea canalului binar simetric avnd rata erorii BER=10-2 este:

*a). 0,9192 bii/simbol binar;b). 0,944 bii/simbol binar;c). 0,944 bii/secund;d). 0,9756 bii/secund;e). 0,9192 bii/secund.


64/68

61

5.25 O SDFM avnd tabelul:

S=

25,02,04,0

dcba

emite cte un simbol la fiecare milisecund. Debitul sursei este:a). 1,9 kbii/simbol;

b). 1,3 kbii/secund;c). 573 bii/secund;*d). 1,9 kbii/secund;e). 1,3 kbii/secund.

5.26 Care din expresiile de mai jos reprezint capacitatea unui canal de transmisiune analogic(considerat ca un FTJ ideal avnd lrgimea de band B i raportul semnal-zgomot - zgomotgaussian).

a) ( )B1logC 2 += ;*b) ( )

+=1logBC

2;

c) ( ) += 2log1BC ;

d) ( )+= 1logBC 22 ;

e) 22 1logBC += ;

5.27 Fie S o surs discret cu memorie avnd graful din figura 1:

Figura.1Sursa are memorie de:

a) un pas, deoarece orice tranziie se face ntre starea actuali starea viitoare;b) doi pai, deoarece orice tranziie se face ntre dou stri;*c) doi pai, deoarece fiecare stare este numit prin doi pai;

d) doi pai, deoarece din fiecare stare pleac dou ramuri;e) patru pai, deoarece sunt patru stri.

5.28 Fie S o surs discret cu memorie avnd graful din figura 1. Ce anse sunt ca sursa S s emit unzero dac secvena emis pn n prezent a fost: 10011?

a) 25%; b) 30%; c) 40%; d) 50%; *e) 60%;

S2 = 10S1 = 01

S0 = 00

S3 = 11

3/7

3/4

2/5

1/2


65/68

62

5.29 Sursa discret cu memorie, S, al crei graf este prezentat n figura 1, se gsete n stare S2. Careeste probabilitatea ca dup emisia a trei simboluri sursa s se gseasc n starea S1?

a) 3,125%;b) 42,86%;c) 18,37%;

*d) 21,5%;e) 46%;

5.30 Fie Sn extensia sursei discrete i fr memorie, S. Entropia sursei Sn, notat H(Sn), se calculeazfuncie de entropia sursei S, notat H(S), dup relaia:

*a) H(Sn)=nH(S);b) H(Sn)=(H(S))n;c) H(Sn)=H(S);d) H(Sn)=H(S)log2n;e) nici o variant nu este corect.

5.31 Eficiena unei surse discrete fr memorie, avnd 20 simboluri echiprobabile, ce s-a codat cu uncod binar bloc, este:

a)

Documents

Culegere TIC 1