Trasmissione Numerica Università di Trento - ing.unitn.itmelganif/PDF/tx-num3.pdf · Teoria dell’Informazione: un sistema di TLC viene studiato dal punto di vista del processo

Trasmissione Numerica Università di Trento

3. TEORIA DELL’INFORMAZIONE

INTRODUZIONE

MISURA DI INFORMAZIONE

SORGENTE DISCRETA SENZA MEMORIA

ENTROPIA DI UNA SORGENTE NUMERICA

CODIFICA DI SORGENTE

1° TEOREMA DI SHANNON

CODICI UNIVOCAMENTE DECIFRABILI



DISUGUAGLIANZA DI KRAFT

CODICE DI SHANNON-FANO

CODICE DI HUFFMAN

MISURA DI INFORMAZIONE MUTUA

CANALE BINARIO SIMMETRICO

CAPACITA’ DI UN CANALE DISCRETO

CODIFICA DI CANALE




CANALI CONTINUI

CAPACITA’ DI UN CANALE CONTINUO

SISTEMA DI TELECOMUNICAZIONE IDEALE

LEGGE DI HARTLEY-SHANNON

CONFRONTI DELLE PRESTAZIONI DI SISTEMI REALI


INTRODUZIONE

Sino ad ora abbiamo considerato i sistemi di TLC dal punto

di vista dei messaggi emessi da una sorgente e dei segnaliad essi associati.

Obiettivo di un sistema di TLC: trasferire informazione da

una sorgente ad una destinazione mediante un canale di

trasmissione.

E’ importante studiare i sistemi di TLC sulla base

dell’informazione associata ad un messaggio.


INTRODUZIONE

Teoria dell’Informazione: un sistema di TLC viene studiato dal punto di vista del processo di trasferimento

dell’informazione contenuta nei messaggi emessi dalla

sorgente, indipendentemente dal segnale con cui questa

informazione viene rappresentata.

Cenni storici: la Teoria dell’Informazione è stata formulata

da Shannon (1948).


INTRODUZIONE

OBIETTIVO DELLA TEORIA DELL’INFORMAZIONE

Dato un messaggio prodotto da una sorgente, l’obiettivo della

teoria dell’informazione è capire come si deve rappresentare

tale messaggio per ottenere una trasmissione efficiente

dell’informazione in esso contenuta su di un canale di

comunicazione reale (con inevitabili limitazioni fisiche).

Sorgente ? Canale ? Destinazione

X=x1 , x2 , …, xM


INTRODUZIONE

La teoria dell’informazione utilizza 3 concetti base:

misura di informazione di una sorgente;

capacità di informazione di un canale;

codifica: mezzo per utilizzare la capacità di canale

per trasferire informazione.


INTRODUZIONE

Codifica ottima: “adatta” sorgente e canale in modo da

avere la massima “efficienza” nel trasferimento

dell’informazione.

Nella teoria dell’informazione, il processo di codifica viene

separato in 2 fasi distinte:

codifica di sorgente;

codifica di canale.


INTRODUZIONE


La codifica di sorgente adatta la sorgente alla

trasmissione su di un opportuno canale equivalente privo

di rumore.

La codifica di sorgente è governata dal 1° Teorema di

Shannon.


INTRODUZIONE

CODIFICA DI CANALE

La codifica di canale permette di trasmettere l’informazione

emessa dalla sorgente (opportunamente trattata mediante la

codifica di sorgente) in maniera affidabile su un canale reale

caratterizzato da limitazioni fisiche (es. rumore).

La codifica di canale è governata dal 2° Teorema di Shannon


INTRODUZIONE

SorgenteCodifica di sorgente

Canale equivalente privo di rumore Destinazione

Decodifica di sorgente

Codifica di canale

Canale reale (rumoroso)

Decodifica di canale


INTRODUZIONE

Nel seguito, dapprima analizzeremo il caso di informazione

legata ad una sorgente discreta.

Successivamente i risultati ottenuti nel caso discreto

verranno generalizzati al caso continuo.

Il primo passo da fare nello studio della teoria

dell’informazione è definire in maniera formale una sorgente

discreta e la quantità di informazione da essa emessa.


SORGENTE DISCRETA: DEFINIZIONE

Sorgente discreta: esperimento con diversi valori di uscita

caratterizzati da una conoscenza probabilistica del tasso

di emissione.

x1, x2, … , xM

P1,P2, … , PM

VALORE DI USCITA

PROBABILITA’



La misura di informazione è legata all’incertezza

associata all’emissione di ciascun simbolo xi (ovvero è

legata all’incertezza sul fatto che il valore di uscita

dell’esperimento sia proprio xi)

Forte incertezza grande contenuto informativo

Messaggi “poco probabili” grande contenuto informativo



Quindi l’informazione associata ad un messaggio è legata

alla sua probabilità le probabilità degli eventi

definiscono la funzione informazione (o la funzione

incertezza).

Shannon definì misura di informazione la quantità:

IL

autoinformazione del messaggio xi

b base del logaritmo

ibib

def

i PPI

1loglog =−=


MISURA DI INFORMAZIONE: PROPRIETA’

a) Ii ≥0 per 0≤ Pi ≤1

b) Ii →0 per Pi → 1

c) Ii > Ij per Pi < Pj

HYHQWR PROWRSUREDELOH SRFD

LQIRUPD]LRQH

i q PHQR SUREDELOH GLj i FRQWLHQH SLLQIRUPD]LRQH GL j


MISURA DI INFORMAZIONE: PROPRIETA’

d) Consideriamo due messaggi indipendenti xi, xj :

P (xi , xj) = Pi ·Pj

L’informazione totale è uguale alla somma

dell’informazione associata ai singoli messaggi.

( ) jijbibjibjibij IIPlogPlogPPlogx,xPlogI +=−−=−=−=

N.B.: La misura di informazione definita da Shannon è l’unica

funzione che soddisfa le 4 proprietà viste.



Solitamente si lavora nel caso binario (b=2):

Per una sorgente binaria con simboli equiprobabili:

Questo significa che 1 bit è l’informazione necessaria per

distinguere tra 2 messaggi equiprobabili.

( ) ( )2

1xPxP 21 ==

[ ]bitP

1logI

i2i =

[ ]bit12logII 221 ===


MISURA DI INFORMAZIONE: NOTAZIONE

E’ necessario distinguere tra:

bit intesi come misura di informazione;

bit intesi come vere e proprie cifre di un codice binario.

Nel seguito si userà il termine binit per indicare le cifre

binarie quali elementi fisici di un messaggio o di un

codice.

Il termine bit verrà associato alla misura di informazione.


SORGENTE DISCRETA SENZA MEMORIA: DEFINIZIONE

Definiamo sorgente discreta senza memoria una sorgente

caratterizzata delle seguenti proprietà:

sorgente che può emettere un insieme di M simboli X= x1, x2,

… , xM ciascuno caratterizzato da probabilità Pi e autoinformazione Ii ;

Pi costanti nel tempo (sorgente stazionaria);

simboli emessi in istanti differenti statisticamente indipendenti.

Indichiamo con r [simboli/sec] la symbol rate (velocità di

simbolo) media di emissione della sorgente.


ENTROPIA DI UNA SORGENTE DISCRETA SENZA MEMORIA

L’informazione media per simbolo è data dalla media

statistica delle autoinformazioni dei simboli della sorgente

(I1 , I2 ,… , IM ):

Tale quantità è definita entropia della sorgente.

( ) [ ]∑∑==

==M

1i i2i

M

1iii

def

simbolo/bitP

1logPIPXH


ENTROPIA DI UNA SORGENTE BINARIA

Nel caso di sorgente binaria (M=2), l’entropia della sorgente

può assumere i seguenti valori:

In particolare, note le probabilità di emissione dei simboli

(P1 =p e P2 =1-p), l’entropia di una sorgente binaria è data

da:

( ) ( ) ( )p1

1logp1

p

1logppXH 22 −

−+== Ω

( ) 1MlogXH0 2 =≤≤


ENTROPIA DI UNA SORGENTE BINARIA

IL MASSIMO DELL’ENTROPIA SI VERIFICA NELLE CONDIZIONI DI

EQUIPROBABILITA’ ( p=0.5) E VALE log 22=1 [bit/simbolo]

( )pΩ

p


ENTROPIA DI UNA SORGENTE M-ARIA

Nel caso di sorgente M-aria, l’entropia H(X) dipende dalla probabilità Pi dei simboli emessi dalla sorgente e dalla

dimensione M dell’alfabeto (M=numero di simboli).

Si può dimostrare che:

( ) MlogXH 20 ≤≤

NESSUNA INCERTEZZA SUL SIMBOLO EMESSO DALLA

SORGNTE (Pi =1, Pj =0 ∀j ≠i )

MASSIMA INCERTEZZA SUL SIMBOLO EMESSO DALLA

SORGENTE (Pi =1/M, ∀i )



Se la sorgente emette una sequenza di n simboli (con

n>>1), l’informazione totale da trasferire è pari a circa

nH(X) bit.

Si definisce velocità di informazione della sorgente

(“information rate”) R la seguente quantità:

( ) ( )[ ]sec/bitXrHrn

XnHR ==

DURATA DELLA SEQUENZA NEL TEMPO

SONO BIT DI INFORMAZIONE



Shannon: l’informazione proveniente da una sorgente

discreta senza memoria può essere codificata con cifre

binarie e trasmessa su di un canale senza rumore con

una bit rate rb che deve soddisfare il seguente vincolo:

[ ]sec/binitRrb ≥

SONO CIFRE DI UN CODICE BINARIO



NOTAZIONE

r è la symbol rate misurata in [simboli/sec];

R è la information rate misurata in [bit/sec];

rb è la signalling rate (o bit rate) misurata in [binit/sec].



Consideriamo una sorgente discreta senza memoria

caratterizzata dalla possibilità di emettere M simboli

differenti:

se i simboli sono equiprobabili

se i simboli non sono equiprobabili

MlogrR 2=

( ) MlogrXrHR 2<=



OSSERVAZIONI

Nel caso di simboli equiprobabili, l’informazione può essere efficacemente trasmessa per mezzo di simboli M-ari con

symbol rate r.

Nel caso di simboli non equiprobabili, conviene usare una

un processo di codifica che tenga conto dell’informazione

variabile associata ai simboli e che consenta di trasmettere ad una velocità prossima a R.



Consideriamo il caso di codifica binaria dei simboli di

sorgente.

Il codificatore produce un’uscita uguale a quella che

avrebbe una sorgente binaria con entropia Ω(p) e

information rate rbΩ(p) (con p opportuno).



Poiché il codificatore non aggiunge né distrugge informazione,

allora l’information rate di ingresso deve essere uguale a quella

di uscita:

( ) ( ) bb rprXrHR ≤==

Sorgente discreta senza memoria

Codificatore binario

( )XrHR =

Rrb ≥

Information rate in ingresso al codificatore

Information rate in uscita dal codificatore

Bit rate in uscita dal codificatore

( )prR bΩ=



Si definisce lunghezza media di un codice la quantità:

Si può scrivere:

Parola di codice (caso binario): sequenza di “1” e “0” con

cui viene codificato un determinato simbolo.

r

rN b=

∑=

=M

iii NPN

1

LUNGHEZZA DELLA PAROLA DI CODICE

RELATIVA AL SIMBOLO i-ESIMO



Siano l’entropia di una sorgente discreta senza

memoria e il valore medio delle lunghezze delle parole

di codice che rappresentano i simboli emessi dalla

sorgente. Si può dimostrare che vale la seguente

condizione:

Il limite inferiore di è quindi dato da .

( )XHN ≥

( )XHN =

( )XH

N

N


EFFICIENZA DI UN CODICE

Un codice per cui vale si dice assolutamente

ottimo.

Un codice per cui si ottiene il valore minimo possibile di

per una determinata sorgente si dice ottimo (anche se

).

Un codice con valore di superiore a quello di un codice

ottimo si dice sub-ottimo.

( )XHN >

( )XHN =

N

N


EFFICIENZA DI UN CODICE

Il rapporto tra entropia e lunghezza media del codice:

rappresenta una buona misura dell’efficienza di un codice

ottimo o sub-ottimo. Pertanto, si può definire l’efficienza

come:

( )1≤=

N

XH

r

R

b

( )100⋅=

N

XH%efficienza


CODICE UNIVOCAMENTE DECIFRABILE

Proprietà fondamentale di un codice: la sequenza di

simboli codificati non deve dare luogo ad ambiguità in

sede di decodifica.

Un codice che rispetta la suddetta proprietà è detto

unicamente decifrabile (ud).

Esempio: codice non ud

A→0, B→1, C→10, D→11

10011 può essere decodificato come BAABB

CADCABB


CODICE UNIVOCAMENTE DECIFRABILE ISTANTANEO

Definizione: Codice ud istantaneo (o codice a prefisso)

Si dice codice ud istantaneo un codice in cui ogni parola è

identificabile non appena finita la sequenza binaria che la rappresenta.

Per costruire un codice ud istantaneo, ogni parola di

codice deve essere scelta in modo tale che non risulti prefisso di altre parole di codice.

Esempio di codice ud istantaneo:

A → 0, B → 10, C → 110, D → 111


DISUGUAGLIANZA DI KRAFT-MCMILLAN

Data una sorgente discreta senza memoria che può emettere uno tra M simboli, un codice binario ud che rappresenta tale sorgente è sempre costituito da parole di codice aventi lunghezze che soddisfano la seguente disuguaglianza di Kraft-McMillan:

Viceversa, se si scelgono per le parole di codice che rappresentano la sorgente lunghezze che soddisfano la condizione di Kraft-McMillan, allora è sempre possibile costruire un codice ud.

121

≤= ∑=

−M

i

NiK

iN


CODIFICA DI SORGENTE: ESEMPIO

Consideriamo una sorgente che emette 4 simboli non

equiprobabili:

L’entropia H(X) di questa sorgente è data da:

( ) ]simbolo/bit[75.18log8

18log

8

14log

4

12log

2

1

P

1logPXH 2222

4

1i i2i =+++== ∑

=

8

1P

8

1P

4

1P

2

1P 4321 ====



.

'

&

%

$

&RG&RG&RG&RGPixi

N



Codice 1 (codice a lunghezza fissa)

N=1 → ud, efficienza 88%

Codice 2

, N>1 → non è ud!

Codice 3 (codice a virgola)

, N<1 → ud, efficienza 93%

Codice 4 (codice ad albero)

.=1 → ud, efficienza 100% →codice assolutamente ottimo

( )XH25.1N <=

2N =

875.1N =

( )XH75.1N ==


CODICE ASSOLUTAMENTE OTTIMO: CONDIZIONE NECESSARIA

Un codice binario può essere assolutamente ottimo (cioè

) se e solo se k=1 e le probabilità dei simboli

sono tali per cui:

Pertanto, il codice assolutamente ottimo dovrà avere:

iNiP2

1=

( )XHN =

i=1,2,…,M

Ni=LUNGHEZZA PAROLA i-ESIMA

iii IPN =−= 2log


CODICE ASSOLUTAMENTE OTTIMO

ESEMPIO

CONCLUSIONE

La strategia da adottare per effettuare la codifica di sorgente prevede di assegnare ai simboli che hanno probabilità piùalta parole di codice più corte rispetto a quelle dei simboli con probabilità più bassa.

6N...1N4N3N64

1P...

2

1P

16

1P

8

1P

M321

M321

====

====



Si tratta di un codice sub-ottimo univocamente decifrabile

semplice ed efficiente.

STRATEGIA DI CODIFICA

1. I simboli vengono ordinati in colonna con probabilità

decrescente.

2. I simboli vengono divisi in due gruppi, tramite una riga

orizzontale, in modo che le probabilità cumulative dei due gruppi

siano le più simili possibili.



3. Si aggiunge una cifra 0 a destra delle parole di codice del I°

gruppo e una cifra 1 a destra di quelle del II° gruppo.

4. Per ognuno dei due gruppi si ripetono i passi dal 2 in poi.

5. Quando tutti i gruppi sono stati ridotti ad un simbolo ⇒ il codice

è completo.


CODICE DI SHANNON-FANO: ESEMPIO



Se la symbol rate fosse , la information

rate sarebbe pari a .

Il codice di Shannon-Fano avente richiede una

bit rate (si noti che, come atteso,

per i codici sub-ottimi ).

L’efficienza di tale codice vale:

[ ]sec/simbolir 1000=

( ) [ ]sec/bitXrHR 2150==

18.2=N

[ ]sec/binitrNrb 2180=⋅=

Rrb >

( )%.

.

.

N

XH%efficienza 698100

182

152100 =⋅=⋅=



Per confronto, vediamo quale efficienza e quale bit rate rb

avrebbe un codice a lunghezza di parola fissa.

Utilizzando il codice a lunghezza fissa con

si ottiene:

38logNN 2i ===

[ ]sec/binitrNrb 300010003 =⋅=⋅=

( )%.

.

N

XH%efficienza 671100

3

152100 =⋅=⋅=


CODICE DI HUFFMAN

Il codice di Huffman è un codice ottimo (ovvero permette di

ottenere il minimo possibile per una determinata

sorgente), ma non necessariamente assolutamente ottimo.

Pertanto si tratta di un codice che permette di avvicinarsi il

più possibile al limite del 1° teorema di Shannon ( ).( )XHN =

N


CONDIZIONI DI OTTIMALITÀ DI UN CODICE

Si può dimostrare che affinché un codice ud istantaneo sia

ottimo devono essere verificate le seguenti condizioni:

1. Si devono assegnare parole di codice più lunghe ai simboli meno

probabili:Pi > Pj Ni < Nj

2. Le due parole di codice meno probabili (che sono anche le più

lunghe) devono avere la stessa lunghezza:NM-1=NM

3. Tra le parole di codice che hanno la stessa lunghezza, almeno 2

devono coincidere in tutti i bit tranne l’ultimo.


CODICE DI HUFFMAN

Sulla base delle condizioni precedenti, Huffman ha sviluppato la

seguente strategia di codifica dimostrando che conduce ad un

codice ottimo (ovvero il più vicino possibile al limite di Shannon):

Supponiamo di dover codificare i simboli xi emessi da una

sorgente Scon M uscite caratterizzate dalle probabilità P1 ,…,PM.

Analogamente a quanto fatto per il codice di Shannon-Fano, gli M

simboli da codificare vengono ordinati secondo le loro probabilità.

Supponiamo di essere nella seguente situazione :

MP...PP ≥≥≥ 21


CODICE DI HUFFMAN

Consideriamo una sorgente S’ con M-1 uscite yi caratterizzate

dalle seguenti probabilità di emissione:

P’1 = P1

P’2 = P2

P’M-1 = PM-1 + PM

N’1

N’2

N’M-1= N’ M-2

Lunghezza delle parole di un codice

ottimo per S’


Se conosciamo un codice ottimo per la sorgente S’, il codice ottimo

per la sorgente Spuò essere ottenuto nel modo seguente:

Le prime M-2 parole di codice della sorgente Ssono uguali a

quelle della sorgente S’. Pertanto:

Ni=N’ i i=1,…,M-2

Le ultime 2 parole di codice della sorgente S vengono

generate aggiungendo alla parola yM-1 di S’ rispettivamente

un bit “0” e un bit “1”. Quindi, si ottiene:

NM = NM-1 = N’M-1+1

CODICE DI HUFFMAN


CODICE DI HUFFMAN

Parola di codice relativa al simbolo yM-1

CODICE OTTIMO PER LA SORGENTE S

CODICE OTTIMO PER LA SORGENTE S’

Parola di codice relativa al simbolo

xM-1

Parola di codice relativa al simbolo

xM

0

1

NM-2= N’ M-2

Le prime M-2 parole di codice non cambiano

N’1 N1

NM-1= NM = N’ M-1 +1

N’M-2= N’ M-1


CODICE DI HUFFMAN

Tale strategia può essere iterata all’indietro fino a risalire ad una

sorgente binaria equivalente. Arrivati alla sorgente binaria

possiamo attribuire facilmente un codice ai due simboli emessi:

y1

y2

0

1

Simboli della sorgente binaria Migliore codice possibile

(assolutamente ottimo solo se i simboli y1 e y2

sono equiprobabili)


CODICE DI HUFFMAN: ESEMPIO

Consideriamo una sorgente discreta senza memoria X=A,B,C,D,E che può emettere uno tra 5 simboli

caratterizzati dalle seguenti probabilità:

L’entropia H(X) di questa sorgente è data da:

( ) ( ) ( ) ( ) ( ) 1.0PEP1.0PDP2.0PCP2.0PBP4.0PAP 54321 ==========

[ ]simbolo/bit12.210log10

110log

10

15log

5

1222 ≅+++

( ) ++== ∑=

5log5

1

2

5log

5

2

P

1logPXH 22

5

1i i2i



Vediamo ora di costruire il codice di Huffman per tale sorgente

A 0.4 A 0.4 A 0.4 B+C+D+E 0.6

B 0.2 B 0.2 C+D+E 0.4 A 0.4

C 0.2 C 0.2 B 0.2

D 0.1 D+E 0.2

E 0.1

Raggruppiamo iterativamente i simboli meno probabili sino ad avere una sorgente binaria

SimboloProbabilità di emissione



A questo punto possiamo costruire un codice ottimo per la

sorgente binaria ottenuta e derivare un codice ottimo per la

sorgente originaria

Migliore codice possibile per questa

sorgente binaria(non è assolutamente ottimo)

B+C+D+E (0.6)

A (0.4)

0

1

A (0.4)

C+D+E (0.4)

B (0.2)

1

00

01

A (0.4)

B (0.2)

C (0.2)

D+E (0.2)

1

01

000

001

1

01

000

0010

0011

A (0.4)

B (0.2)

C (0.2)

D (0.1)

E (0.1)

Codice ottimo per la sorgente

considerata



Calcoliamo ora la lunghezza media del codice ottenuto:

Il codice ottenuto è ottimo (la codifica di Huffman è sempre

ottima), ma non assolutamente ottimo. Infatti:

[ ]simbolo/binit2.241.041.032.022.014.0NPN5

1iii =⋅+⋅+⋅+⋅+⋅== ∑

=

( ) [ ]simbolo/bit12.2XHN =≠


EFFICIENZA DI UN CODICE UD ISTANTANEO

Si può dimostrare che per un codice ud istantaneo valgono le

seguenti relazioni:

1P

1logN

P

1log

i2i

i2 +<≤

( ) ( ) 1XHNXH +<≤


Sulla base delle precedenti relazioni, si può dire che un codice

ud istantaneo ha buona efficienza se oppure se per

tutti i simboli si ha .

Se nessuna di queste condizioni è verificata, al fine di migliorare

le caratteristiche del codice, è possibile ricorrere ad un artificio

noto come “estensione della sorgente”.

i2i

P

1logN ≈

( ) 1XH >>

EFFICIENZA DI UN CODICE UD ISTANTANEO


ESTENSIONE DELLA SORGENTE

Si dice che una sorgente S’ è un’estensione di ordine n di una

sorgente S, se i suoi simboli sono ottenuti raggruppando in sequenze di lunghezza n i simboli emessi dalla sorgente S.

E’ possibile codificare i simboli della sorgente estesa S’ anziché

i simboli della sorgente originale Ssenza perdere informazione.

Si può dimostrare che codificando i simboli della sorgente estesa di ordine n con un codice ud istantaneo si ottiene un

codice che soddisfa la seguente condizione:

( ) ( )n

1XHNXH +<≤


ESTENSIONE DELLA SORGENTE

Per quanto visto, si può concludere che il meccanismo di estensione della sorgente permette di avvicinarsi quanto si vuole al limite di Shannon agendo sul valore di n. In particolare, quando allora .

OSSERVAZIONE

Nella pratica aumentare n (ovvero avvicinare a ) significa incrementare significativamente la complessità del decodificatore ed introdurre un ritardo di trasmissione.

∞→n ( )XHN →

( )XHN


SORGENTE DISCRETA CON MEMORIA

Sino ad ora abbiamo considerato sorgenti in cui i simboli

emessi sono statisticamente indipendenti.

Molte sorgenti informative reali hanno una memoria: la

probabilità di emissione di un simbolo all’istante

considerato dipende dai simboli emessi precedentemente.


SORGENTE DISCRETA CON MEMORIA: DEFINIZIONE

Definiamo sorgente discreta con memoria, una sorgente con

le seguenti proprietà:

sorgente che può emettere un insieme di M simboli X= x1, x2,

… , xM ciascuno caratterizzato da probabilità Pi e

autoinformazione Ii ;

Pi costanti nel tempo (sorgente stazionaria);

simboli emessi dalla sorgente in istanti differenti correlati:

( ) ( )ii xPxP ≠x

La probabilità che venga emesso il simbolo xi dipende dalla sequenza di simboli xemessa precedentemente dalla sorgente


ORDINE DELLA MEMORIA

Definiamo ordine della memoria della sorgente il numero

di simboli precedentemente emessi che influenzano la

probabilità di emissione del simbolo corrente.

Nel seguito considereremo il caso di una sorgente con

memoria di primo ordine (la probabilità del simbolo

emesso dipende solo dal simbolo precedente):

dove xj è il simbolo emesso prima di xi .

( ) ( )jii xxPxP =x


ENTROPIA DI UNA SORGENTE DISCRETA CON MEMORIA

Data una sorgente X con memoria di primo ordine, si

può definire la sua entropia condizionata al simbolo xj

come:

Mediando su tutti i possibili simboli xj , si ottiene:

( ) ( ) ( )∑=

=M

1i ji2ji

def

j xxP

1logxxPxXH

( ) ( ) ( )∑=

=M

1jjj xXHxPXH

Valido solo per il caso dimemoria di primo ordine


ENTROPIA DI UNA SORGENTE DISCRETA CON MEMORIA

Le probabilità condizionate hanno l’effetto di ridurre il

valore dell’entropia (la memoria introduce una certa

prevedibilità riducendo la quantità di informazione

associata ai simboli).

Come si deve trattare una sorgente con memoria dal punto

di vista della codifica di sorgente?


CODIFICA PREDITTIVA

Un modo di sfruttare la memoria della sorgente è quello di

utilizzare un meccanismo di codifica predittivo.

Consideriamo il seguente schema:

Sorgente M-aria con memoria

Conversione dasimboli M-ari

a binari

Predittore

Codificatore

x(i)

( )ix~

ε(i)

bit i-esimo della sequenza binaria

Predizione del bit i-esimo

errore di predizione(vale o “0” o “1”)sommatore modulo 2


CODIFICA PREDITTIVA

L’ingresso ε(i) al codificatore è costituito da una sequenza di

bit.

Se usiamo un “buon predittore” sbagliamo poco nella

sequenza ε(i) compaiono molti “0” e pochi “1”.

Essendo molto sbilanciate le probabilità degli “0” e degli “1”, la

sequenza ha un’entropia molto bassa.


CODIFICA PREDITTIVA

Essendo l’entropia della sequenza “errore” molto bassa, in uscita

dal codificatore è possibile ottenere una sequenza codificata con

una bit rate “bassa”.

( ) 2

1pconp0iP >>==ε


CODIFICA RUN-LENGTH

Abbiamo detto che la sequenza ε(i) è costituita da lunghe

stringhe di bit “0” intervallate da qualche bit “1”.

Definizione: si dice run di lunghezza n una sequenza di n bit “0”

seguiti da 1 bit “1”.

ESEMPIO

« «0 0 1 0 0 0 0 0 0 0 0 0 0 0 1

run di lunghezza 11 ( n=11)


CODIFICA RUN-LENGTH

La codifica run-length sfrutta la presenza dei run

precedentemente definiti.

Invece di trasmettere l’intera stringa, si trasmette il

valore n che caratterizza la sua lunghezza.

Usando parole di codice composte da k bit, è possibile

rappresentare stringhe con lunghezza massima pari a

n=2k-1.


CODIFICA RUN-LENGTH

N.B.: Se si verifica troppo spesso la stringa “111” si deve aumentare il valore di k.

ESEMPIO: k=3.

1112k-1=7

1102k-2=6

……

0011

0000

Parola di codice

n

Esprime la lunghezza del run

Rappresenta una situazione con un runcon n ≥ 7. In questa evenienza, il

codificatore deve attendere la parola di codice successiva per ricostruire il run .


CODIFICA RUN-LENGTH:EFFICIENZA

La codifica risulta efficiente se in media le parole di codice hanno meno bit dei run che rappresentano.

Indichiamo con la media dei bit presenti in un run e con il numero medio dei bit delle di parole di codice necessarie per codificare il run.

La bit rate rb sarà data da:

Il rapporto dice quanto è efficiente la codifica. Piùpiccolo è il rapporto, migliore è la codifica.

N

E

rE

Nrb

=

EN


INTRODUZIONE ALLA CODIFICA DI CANALE

SorgenteCodifica di sorgente

Canale equivalente privo di rumore Destinazione

Decodifica di sorgente

Codifica di canale

Canale reale rumoroso

Decodifica di canale


INTRODUZIONE ALLA CODIFICADI CANALE

Quanto visto per la codifica di sorgente ha senso solo nell’ipotesi che il canale non introduca errori (Pbe=0). Infatti, per i codici visti,

un errore in ricezione distruggerebbe l’intero messaggio!

La codifica di canale affronta il problema di trasmettere in maniera affidabile su un canale non-affidabile.

In pratica si realizza un processo di codifica a controllo d’errore

per ridurre gli effetti del rumore presente sul canale.

La codifica di canale è governata dal 2° Teorema di Shannon.


INTRODUZIONE ALLA CODIFICA DI CANALE

Per semplicità, nel seguito assumeremo che sia la sorgente

sia il canale di trasmissione siano discreti (l’assunzione di

canale discreto è poco realistica).

In queste ipotesi, verranno definite la quantità di informazione

trasferita e la capacità di un canale.


CANALE DISCRETO: DEFINIZIONE

CANALE

L’ingresso è costituito da un insieme

finito X di simboli xi.

L’uscita è costituita da un insieme

finito Y di simboli yj.

Il rumore e altre possibili distorsioni del canale alterano i simboli trasmessi, producendo

un alfabeto a destinazione Y che può essere diverso da quello di

ingresso X (K può essere diverso da M).

Mx,...,xX 1= Ky,...,yY 1=


CANALE DISCRETO: NOTAZIONE

P(xi) probabilità che la sorgente emetta il simbolo xi;

P(yj) probabilità che a destinazione venga ricevuto il simbolo yj;

P(xi,yj) probabilità congiunta che sia stato trasmesso il simbolo xi

e venga ricevuto il simbolo yj;

P(xi / yj) probabilità condizionata che sia stato trasmesso il simbolo xi dato che è stato ricevuto il simbolo yj;

P(yj / xi) probabilità condizionata che sia stato ricevuto il simbolo yj

dato che è stato trasmesso il simbolo xi.


CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE: DEFINIZIONE

Si definisce canale discreto senza memoria tempo-invariante un canale discreto:

in cui l’uscita in un determinato istante dipende solo dal

simbolo in ingresso al canale in quell’istante e non dai simboli precedentemente trasmessi.

le cui proprietà non variano nel tempo;

Un canale discreto senza memoria tempo-invariante è univocamente

definito dall’alfabeto di ingresso X, da quello di uscita Y e dalle probabilità condizionate di transizione in avanti P(yj / xi).


CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE: ESEMPIO

P(y1 / x1)

P(y1 / x2)

P(y2 / x1)

P(y2 / x2)

P(y3 / x1)

P(y3 / x2)

x1

x2

y1

y2

y3

PROBABILIT À DI TRANSIZIONE IN AVANTI PER UN CANALE DISCRETO CON DUE SIMBOLI IN INGRESSO (M=2) E TRE SIMBOLI IN USCITA ( K=3)


CANALE DISCRETO SENZA MEMORIA TEMPO-INVARIANTE

Talvolta può essere utile scrivere le probabilità di transizione

di un canale in forma matriciale:

Nota: per semplicità di notazione, da qui in poi assumeremo implicita la tempo-invarianza ed indicheremo un canale discreto senza memoria tempo-invariante semplicemente con la dicitura canale discreto senza memoria.

( ) ( ) ( )( )

( ) ( )

=

MKM1

21

1K1211

xyPxyP

xyP

xyPxyPxyP

P

Matrice delle probabilità di transizione



Obiettivo: misurare l’informazione trasferita da un canale (ipotesi: canale discreto senza memoria).

Vediamo innanzitutto di introdurre l’entropia condizionata alla ricezione di un particolare simbolo H(X/yj):

Questa quantità esprime quanto vale l’incertezza sul simbolo trasmesso (ovvero il simbolo emesso dalla sorgente) una volta che è stato ricevuto il simbolo yj.

( ) ( ) ( )

= ∑

∈ ji2

Xxjij yxP

1logyxPyXH

i



Il valore medio di H(X/yj) (ovvero la media calcolata su tutte

le possibili uscite) è chiamato entropia condizionata H(X/Y)

e rappresenta l’incertezza che rimane in media sul simbolo

trasmesso dopo l’osservazione del simbolo ricevuto:

H(X/Y) è anche chiamata equivocazione e può essere vista

come l’informazione perduta nel canale rumoroso.

( ) ( ) ( ) ( ) ( )∑ ∑∑∈ ∈∈

==

Yy ji2

Xxjij

Yyj

j ijyxP

1logy,xPyPyXHYXH



L’entropia della sorgente H(X) rappresenta l’incertezza sul

simbolo inviato sul canale prima dell’osservazione dell’uscita.

Sulla base di quanto visto fin qui, possiamo definire l’informazione mutua media I(X;Y) di un canale come:

L’informazione mutua media I(X;Y) dice di quanto si sia ridotta

in media l’incertezza sul simbolo emesso dalla sorgente una

volta osservato il simbolo ricevuto.

( ) ( ) ( )YXHXHY;XIdef

−=



L’informazione mutua media I(X;Y) può essere calcolata

anche come:

dove I(xi;yi) è l’informazione mutua associata alla trasmissione

del simbolo xi ed alla ricezione del simbolo yi (ovvero la

quantità di informazione trasferita sul canale quando viene trasmesso xi e viene ricevuto yi). I(xi;yi) è definita come:

( ) ( )( ) [ ]bitxP

yxPlogy;xI

i

ji2ji

def

=

( ) ( ) ( ) [ ]simbolobity;xIy,xPY;XIXx Yy

jijii j

∑ ∑∈ ∈

=


1. L’informazione mutua media di un canale è simmetrica, ovvero:

2. L’informazione mutua media è sempre una quantità non-

negativa:

MISURA DI INFORMAZIONE MUTUA: PROPRIETÀ

( ) ( )X;YIY;XI =

( ) 0Y;XI ≥


3. L’informazione mutua media di un canale può essere espressa

come:

dove H(Y) è l’entropia a destinazione e H(Y/X) è chiamata

entropia di rumore. H(Y) e H(Y/X) sono date rispettivamente da:

( ) ( ) ( )XYHYHY;XI −=

( ) ( ) ( )∑ ∑∈ ∈

=Xx Yy ij

2jii j

xyP

1logy,xPXYH

( ) ( ) ( )∑∈

=Yy j

2jj

yP

1logyPYH



4. L’ informazione mutua media di un canale è legata all’entropia congiunta di ingresso e uscita H(X,Y) secondo la seguente

relazione:

dove H(X,Y)è definita come:

( ) ( ) ( )∑ ∑∈ ∈

=Xx Yy ji

2jii j

y,xP

1logy,xPY,XH

( ) ( ) ( ) ( )Y,XHYHXHY;XI −+=




Abbiamo già detto che descrivere un canale discreto senza memoria significa stabilire gli alfabeti X, Y e le probabilità di

transizione in avanti P(yj/xi).

Per calcolare I(X;Y) sono necessarie:

le probabilità congiunte P(xi,yj) , le probabilità condizionate

P(xi / yj) e le probabilità di emissione dei simboli P(xi);

oppure:

le probabilità congiunte P(xi,yj) , le probabilità condizionate P(yi / xj) e le probabilità P(yi).



In realtà, fissate le probabilità di emissione dei simboli di sorgente P(xi) e note le probabilità di transizione P(yj|xi), si

hanno tutti i dati per il calcolo dell’informazione mutua.

Infatti, utilizzando il Teorema di Bayes, si può scrivere:

( ) ( ) ( )iijji xPxyPy,xP =

( ) ( ) ( )( ) ( ) ( )

( )( ) ( )∑ ∑

∑∑ ∑

∈ ∈∈

∈ ∈==

Xx YyXx

iij

ij2iij

Xx Yy j

ij2ji

i j

i

i j xPxyP

xyPlogxPxyP

yP

xyPlogy,xPY;XI

( ) ( ) ( ) ( )∑∑∈∈

==Xx

iijXx

jijii

xPxyPy,xPyP


MISURA DI INFORMAZIONE MUTUA: CASI PARTICOLARI

CANALE SENZA RUMORE (IDEALE)

Ogni simbolo yj identifica solo un determinato xi:

L’informazione trasferita è identica all’autoinformazione del simbolo xi . Ragionando in media si ha:

( ) ( ) ( ) ii

2jiji IxP

1logy,xI1yxP =

==

x1

x2

x3

y1

y2

y3

( ) ( )XHY;XI =

Esempio: M=K=3


MISURA DI INFORMAZIONE MUTUA: CASI PARTICOLARI

RUMORE INFINITO (CANALE “INUTILE”)

L’osservazione di yj non riduce l’incertezza sul simbolo xi

trasmesso:

L’informazione trasferita è nulla. Ragionando in media si ha:

( ) ( ) ( ) 01logy,xIxPyxP 2jiiji ===

( ) 0Y;XI =


CANALE BINARIO SIMMETRICO: DEFINIZIONE

Si definisce canale binario simmetrico un canale discreto con le seguenti caratteristiche:

l’alfabeto di sorgente è composto da due simboli x1 e x2

caratterizzati da probabilità P(x1)=p e P(x2)=1-p;

l’alfabeto di destinazione è composto da due simboli y1 e y2;

le probabilità di transizione valgono:

( ) ( ) α== 1221 xyPxyP

( ) ( ) α−== 12211 xyPxyP


ESEMPIO: CANALE BINARIO SIMMETRICO

x1

x2

y1

y2

1-α

1- α

αα

( ) ( )( ) ( )

−

−=

=

αααα

1

1

xyPxyP

xyPxyPP

2221

1211

( ) pPxP 11 ==

( ) p1PxP 22 −==



È possibile verificare che per un canale binario simmetrico

valgono le seguenti relazioni:

dove Ω(p) è l’entropia di una sorgente binaria definita come:

( ) ( )[ ] ( )p2pyPYH 1 ααΩΩ −+==

( ) ( )αΩ=XYH

( ) ( )p1

1logp1

p

1logpp 22 −

−+=Ω



Nel caso di canale binario simmetrico, l’informazione mutua

è quindi data da:

( ) ( ) ( ) ( ) ( )αΩααΩ −−+=−= p2pXYHYHY;XI

p

I(X;Y)

0.5

1α=0

0<α<1/2


CAPACITÀ DI UN CANALE DISCRETO

L’informazione mutua di un canale dipende dalle probabilità di transizione in avanti P(yj|xi) e dalle probabilità di emissione dei simboli della sorgente P(xi). Pertanto,

non dipende solo dal tipo di canale considerato, ma anche dall’uso che viene fatto del canale.

Al fine di caratterizzare un canale discreto senza memoria indipendentemente dalla sorgente in ingresso, si definisce capacità del canale il valore massimo dell’informazione mutua rispetto a tutte le possibili distribuzioni delle probabilità dei simboli di ingresso:

( )Y;XI

( ) ( ) [ ]simbolo/bitY;XImaxC

ixPS =

( )Y;XI



La capacità di canale rappresenta il massimo trasferimento

di informazione possibile per simbolo di un canale, ottenuto

in presenza di una particolare statistica di sorgente.

La capacità di canale può essere anche misurata in termini

di velocità nel trasferimento dell’informazione (informationrate).


Se s [simboli/sec] indica la massima velocità dei simboli

(symbol rate) permessa dal canale, allora la capacità del

canale per unità di tempo è data da:

La capacità di canale per unità di tempo C rappresenta la

massima velocità di trasferimento dell’informazione permessa

dal canale.

[ ]sec/bitCsC S⋅=



CAPACITÀ DI UN CANALE DISCRETO SIMMETRICO

La capacità di canale è una caratteristica propria del canale (non dipende dall’ingresso considerato) ed è legata alla

matrice di transizione.

In generale non è semplice calcolare la capacità di un

canale.

In ipotesi di canale è simmetrico, il calcolo della capacità di

canale si semplifica.


CANALE DISCRETO SIMMETRICO

Definizione: canale discreto simmetricoUn canale discreto simmetrico è un canale in cui le probabilità di transizione sono tali per cui la probabilità di transire risulta uguale per tutti i simboli (la matrice di transizione è formata da righe e colonne caratterizzate dagli stessi valori di probabilità).

In un canale discreto simmetrico l’entropia condizionataè indipendente dal simbolo xi (non dipende dalla

riga della matrice di transizione su cui si fa il calcolo).

( )ixYH



Vediamo quanto vale la capacità di canale CS nel caso di

canale discreto simmetrico:

( ) ( ) ( )

( ) ( ) ( ) ( ) =

−=−= ∑∈Xx

iixPxP

S

iii

xYHxPYHmaxXYHYHmaxC

( ) ( ) ( ) ( )

( ) ( ) ( ) i

xPXxii

xPxYHYHmaxxPxYHYHmax

iii

−=

−= ∑∈

È indipendente da xi



Pertanto l’informazione mutua I(X;Y) è massima quando

H(Y) è massima. Ciò è verificato quando i simboli yj sono

equiprobabili.

Vediamo quale condizione deve essere verificata sui simboli di ingresso xi al fine di ottenere simboli in uscita yj

equiprobabili:

( ) ( ) ( ) ( ) ( )∑∑∑∈∈∈

===Xx

ijXx

iijXx

ijjiii

xyPM

1xPxyPx,yPyP

Se gli M ingressi sono equiprobabili Non dipende da j

sono equiprobabili



Quindi, nel caso di canale discreto simmetrico, i simboli in

uscita sono equiprobabili quando anche i simboli in

ingresso sono equiprobabili.

La capacità del canale può quindi essere determinata

assumendo equiprobabili i simboli di ingresso.


ESEMPIO: CAPACIT À DI UN CANALE BINARIO SIMMETRICO

Nel caso di canale binario simmetrico, abbiamo già visto che la media dell’informazione mutua vale:

( ) ( ) ( ) ( ) ( )αΩααΩ −−+=−= p2pXYHYHY;XI

Per ogni α la curva che descrive l’informazione mutua ha un massimo per p=0.5, ovvero per simboli

equiprobabili.p

I(X;Y)

0.5

1α=0

0<α<1/2



Pertanto, ponendo p =0.5 si ottiene:

( ) ( ) ( )αΩαΩααΩ −=−−+= 1p2pCs

CS

α0.5

1

1



Quindi la capacità di canale CS dipende dalla probabilità di

transizione α.

Osservazioni (sorgente binaria)

Canale ideale (senza rumore):

α=0 CS=1 [bit/simbolo]

Canale molto rumoroso:

α→1/2 CS→0 [bit/simbolo]


CODIFICA DI CANALE

A questo punto diventa importante studiare come sia

possibile utilizzare la capacità di un canale per trasferire

l’informazione emessa da una sorgente.

Dato un canale reale (ovvero “rumoroso”) caratterizzato da

una capacità di informazione data, è possibile utilizzare una

strategia che permetta di ottenere dal punto di vista del

trasferimento dell’informazione un canale equivalente senza

rumore?


CODIFICA DI CANALE

In un sistema di trasmissione numerica, la presenza di un

canale “rumoroso” causa delle discrepanze (errori) tra la

sequenza di dati in ingresso al sistema e quella in uscita.

Per canali “relativamente” rumorosi la probabilità di errore sul bit è dell’ordine di 10-2.

Per applicazioni reali, tipicamente è necessario ottenere una

probabilità di errore sul bit di informazione dell’ordine di 10-6.

Tali valori di probabilità d’errore si possono raggiungere

effettuando una codifica della sequenza da trasmettere (codificadi canale).


CODIFICA DI CANALE

L’obiettivo della codifica di canale consiste nell’aumentare

la resistenza di un sistema di telecomunicazione al rumore

presente sul canale.

La codifica di canale “trasforma” la sequenza di dati in ingresso al canale in una nuova sequenza intrinsecamente

più robusta agli effetti del rumore.

La decodifica di canale effettua l’operazione inversa in

uscita dal canale al fine di ricostruire le sequenza orginale

(che rappresenta l’informazione della sorgente).


CODIFICA DI CANALE

L’approccio adottato nella codifica di canale solitamente consiste

nell’introdurre ridondanza.

Sfruttando tale ridondanza, il decodificatore può ricostruire il

messaggio originale anche in presenza di bit errati.

OSSERVAZIONE

L’obiettivo della codifica di sorgente è quello di ridurre la ridondanza per incrementare l’efficienza del sistema di

trasmissione.

L’obiettivo della codifica di canale è quello di introdurre ridondanza

per incrementare l’affidabilità del sistema di trasmissione.


ESEMPIO: CODICI A BLOCCHI

I codici a blocchi costituiscono un semplice approccio alla codifica di canale.

La sequenza da trasmettere viene divisa in blocchi di k bit di

informazione. Ogni blocco viene codificato con n bit (n>k).

Il numero di bit ridondanti è quindi pari a n-k. Tali bit vengono scelti in modo da ottenere una protezione dell’informazione dal rumore (vedi parte 4 del corso).

k n-k


ESEMPIO: CODICI A BLOCCHI

Se una sorgente emette M simboli equiprobabili, ogni simbolo della nuova parola di codice ha associata

un’informazione pari a .

Si definisce code rate la quantità .

Aumentando n aumenta la ridondanza introdotta e quindi la

resistenza del codice al rumore, ma aumenta il tempo

necessario alla trasmissione della sequenza (a parità di

altre condizioni).

nMlog2

nkRc =


CODIFICA DI CANALE

A questo punto ci si può porre la seguente domanda:

Esiste uno schema di codifica (eventualmente anche molto complicato) tale da rendere la probabilità di errore di un

canale reale rumoroso arbitrariamente piccola?

Il 2° Teorema di Shannon fornisce una risposta precisa alla

domanda precedente.


2° TEOREMA DI SHANNON: IPOTESI

Supponiamo di avere una sorgente discreta senza memoria con alfabeto X, entropia H(X) e symbol rate r.

Per quanto visto precedentemente, l’information rate della sorgente vale R=rH(X).

Supponiamo di disporre di un canale discreto senza memoria con capacità per unità di tempo pari a C [bit/sec].



Nelle ipotesi precedenti, il 2° Teorema di Shannon afferma che:

Se R≤C allora esiste un sistema di codifica tale da permettere la trasmissione dell’informazione emessa dalla

sorgente sul canale con una probabilità di errore

arbitrariamente piccola.

Se invece R>C non è possibile trasmettere l’informazione

senza errori.


2° TEOREMA DI SHANNON: OSSERVAZIONI

Il 2° Teorema di Shannon non fornisce dettagli sul sistema

di codifica necessario per ottenere probabilità d’errore

arbitrariamente piccola, ma afferma solo che, se R≤C, esso esiste.

Nella pratica, si può verificare che per ridurre la probabilità d’errore si deve incrementare il numero di bit di ridondanza (n-k).

Per (n-k) → ∞ il tempo necessario per la trasmissione del messaggio codificato tende però all’infinito.


SORGENTI E CANALI CONTINUI

Fino ad ora è stato considerato il caso in cui sia la sorgente che il

canale sono discreti.

Nel seguito si generalizzerà la trattazione al caso più realistico di

sorgente che emette un segnale continuo e di canale anch’esso continuo.

La capacità del canale sarà espressa in termini di larghezza di banda e di rapporto segnale-rumore (legge di Hartley-Shannon).

Si arriverà alla definizione di un sistema di telecomunicazione ideale che serve come riferimento per il confronto con i sistemi reali.


SORGENTI CONTINUE

Nel caso continuo, la sorgente può produrre un insieme di possibili segnali nel tempo x(t) che può essere visto come

un processo aleatorio che si assume essere ergodico.

Si effettua inoltre l’ipotesi che il processo abbia larghezza di

banda limitata, in modo da poterlo campionare senza

perdita di informazione (vedi Teorema del

Campionamento).


SORGENTI CONTINUE

Ad ogni istante di campionamento, l’insieme dei possibili valori assunti dal campione costituisce una variabile aleatoria continua x descritta dalla sua funzione di densità di probabilità pX(x).

La quantità di informazione media per campione è misurata tramite la funzione entropia così definita:

( ) ( ) ( )dxxp

1logxpXH

X2X∫

+∞

∞−

⋅=


( ) ( ) xloglimdxxp

1logxp 2

0xX2X ∆

∆ →

+∞

∞−

−= ∫

SORGENTI CONTINUE

OSSERVAZIONE

In realtà l’entropia assoluta associata ad una sorgente continua è sempre ∞. Ciò è facilmente verificabile applicando il concetto di limite alla definizione di entropia per una sorgente discreta:

( ) ( ) ( ) == ∑→ xxp

1logxxplimXH

iX2

iiX

0xass ∆

∆∆

Questa è la H(x) definita precedentemente e rappresenta una misura di entropia relativa

(o differenziale)

Questo termine vale sempre -∞ non è informativo


CANALI CONTINUI

La sorgente emette il segnale x(t) che, dopo essere stato

corrotto dal rumore presente sul canale, arriva a destinazione come segnale y(t). In analogia al caso discreto, la media

dell’informazione mutua trasferita dal canale può essere calcolata come:

dove pX(x) è la densità di probabilità della sorgente, pXY(x,y) è la

densità di probabilità congiunta e pX (x|y) è la densità di

probabilità di transizione all’indietro.

( ) ( ) ( )( ) dydxxp

yxplogy,xpY;XI

X

X2XY∫ ∫

+∞

∞−

+∞

∞−=


CANALI CONTINUI

Tipicamente, si conosce la densità di probabilità di transizionein avanti pY(y/x) del canale; pertanto, conviene calcolare

l’informazione mutua mediante la seguente espressione:

Si noti che, come nel caso discreto, l’informazione mutua è

una quantità simmetrica per cui può anche essere calcolata come:

( ) ( ) ( )XYHYHY;XI −=

( ) ( ) ( )YXHXHY;XI −=


CAPACITÀ DI UN CANALE CONTINUO

La capacità di un canale continuo è data da:

Se il canale ha larghezza di banda fissata B, allora y(t) è

anch’esso a banda limitata. Campionando al limite di Nyquist( fc=2B ) si ottengono 2B campioni (o simboli) al secondo.

( )( ) [ ]campione/bitY;XImaxC

xpS

X

=


CAPACITÀ DI UN CANALE CONTINUO

Pertanto, la massima velocità di trasferimento dell’informazione è

data da:

C definisce la capacità per unità di tempo di un canale continuo a

banda limitata.

Per calcolare la capacità di un canale continuo, dobbiamo quindideterminare Cs. Vediamo come si può fare nell’ipotesi di canale

che introduca un rumore additivo gaussiano bianco (AWGN).

[ ]sec/2 bitBCC S=


CANALE CONTINUO CON RUMORE AWGN

Consideriamo un canale con le seguenti caratteristiche:

il canale non provoca distorsioni all’interno della banda B e ogni attenuazione è compensata da opportune amplificazioni;

il canale vincola il segnale in ingresso x(t) ad essere un segnale a banda limitata con potenza media fissata ;

il segnale y(t) a destinazione è contaminato da rumore n(t) additivo

gaussiano bianco a media nulla e potenza media N= σ2 =ηB;

il segnale e il rumore sono indipendenti:

y(t)=x(t)+n(t) NSy2 += Potenza mediadi y(t)

2xS =


LEGGE DI HARTLEY-SHANNON

Shannon ha dimostrato che la capacità di una canale continuo

AWGN con le caratteristiche descritte in precedenza può essere calcolata come:

dove B è la banda del canale espressa in [Hz] e è

il rapporto segnale-rumore a destinazione.

Come atteso, C aumenta se aumenta la banda B o se aumenta

.

[ ]sec/1log2 bitN

SBC

+=

N

S

LEGGE DI

HARTLEY-SHANNON

N

S


LEGGE DI HARTLEY-SHANNON: DIMOSTRAZIONE

Abbiamo visto prima che la capacità di canale è data da:

In analogia al caso discreto, l’entropia di rumore H(Y/X) si

può scrivere come:

( )( )

( )( ) ( ) XYHYHmaxB2Y;XImaxB2BC2C

xpxpS

XX

−===

( ) ( ) ( ) ( )∫ ∫+∞

∞−

+∞

∞−= dxdy

xyP

1logxypxpXYH

Y2YX



Nell’ipotesi di rumore additivo indipendente si può scrivere:

Quindi, l’entropia di rumore H(Y/X)si può scrivere come:

Pertanto la capacità Cs sarà data da:

( ) ( ) ( ) eN2log2

1dn

np

1lognpXYH 2

n2n π== ∫

+∞

∞−

L’entropia di rumore non dipende da pX(x)

( ) ( ) ( )xypnxpxyp nYY −=+=

( )( ) ( )[ ]

( )( ) eN2log

2

1YHmaxXYHYHmaxC 2

xpxps

XX

π−=−=



La potenza media del segnale in ricezione è data da:

Si può dimostrare che H(Y) è uguale al suo massimo quando

pX(x) è gaussiana a media nulla. In tali condizioni si ha:

+=

N

S1logBC 2

( ) ( ) ( ) ( ) ( )NSe2log2

1YH NSytntxty 2

2 +≤+=⇒+= π

( )

+=−+=

N

NSlog

2

1Ne2log

2

1NSe2log

2

1C 222s ππ

C.V.D.



Al fine di ottenere una probabilità d’errore circa nulla, deve essere

verificata la condizione .

Si definisce sistema di telecomunicazione ideale un sistema che

ha un tasso d’errore quasi nullo (Perr≅0) con un’information ratepari a:

+=

N

S1logBR 2

CR ≤



La legge di Hartley-Shannon dice qual’è l’ottimo

compromesso sullo scambio tra banda e potenza. In

particolare, essendo N=ηB, con B banda del canale e densità spettrale di potenza del rumore AWGN, si può

scrivere:2η

+=

B

SBC

η1log2



Assumendo che η e R abbiano valori fissati, si ricava una espressione utile che identifica le condizioni affinché la

trasmissione dell’informazione avvenga ad una rate R≤C:

−≥ 12B

R

R

B

R

S

η



1<R

B

impossibile per comunicazioni reali

comunicazioni reali

CR >

CR =

CR<


SISTEMA DI TELECOMUNICAZIONE IDEALE: OSSERVAZIONI

Nella regione corrispondente a R>C è impossibile ottenere

un trasmissione affidabile.

Se (compressione di banda) occorre aumentare

notevolmente la potenza del segnale al fine di trasmettere

in maniera affidabile.

Se (espansione di banda) si può effettuare una

trasmissione affidabile anche con basse potenze del

segnale (per , ).

1<R

B

1>R

B

[ ]dB 6.1R

S≈

η∞→

R

B



Un canale ideale con larghezza di banda infinita ha capacità C∞ finita data da:

In pratica se:

10>R

B∞≅ CC

( )ηη

λληη

S44.1

2ln

S

2ln

1lnSlim

B

S1logBlimC

B2

B≅=

+=

+=

∞→∞→∞

0B

SB ∞→→=

ηλ ( )

11ln

0→→+

λλλ



I risultati ottenuti sulla base della legge di Hartley- Shannonsi riferiscono ad un sistema di telecomunicazione ideale

(pertanto non realizzabile nella pratica).

Tuttavia, tali risultati sono molto utili nella progettazione diun sistema di telecomunicazioni reale, in quanto

definiscono il limite superiore delle prestazioni ottenibili da

un sistema modellabile con un canale corrotto da rumore

AWGN.



ESEMPIO

Sia dato un canale AWGN con e

.

Trovare il minimo valore della potenza S (espressa in

[mW]) per avere un collegamento affidabile a R =100

[bit/sec] , R =1000 [bit/sec], R = 10000 [bit/sec].

[ ]KHz1B =

[ ]Hz/W1 µη =



SOLUZIONE

Usando la relazione:

si ricava:

Poiché allora:

−≥ 12B

R

R

B

R

S

η

310−=Bη

[ ][ ]

[ ]

≥→=≥→=

≥→=

−⋅≥ −

mW1023S10000R

mW1S1000R

mW072.0S100R

1210S 1000

R3

−≥ 12B

R

R

BRS η


CONFRONTO CON I SISTEMI DI TELECOMUNICAZIONE ANALOGICI

I parametri essenziali per effettuare un confronto tra un

sistema ideale e i sistemi di comunicazione analogici sono:

il rapporto segnale-rumore;

l’occupazione di banda.

Consideriamo un sistema analogico generico in cui il segnale a destinazione abbia banda W e rapporto segnale-

rumore (S/N)D.

Consideriamo un canale AWGN con banda BT e rapporto segnale-rumore dato da (dove SR è la potenza del

segnale in ricezione).T

R

B

S

η



La massima information rate ottenibile in uscita è data da:

In ogni caso, l’information rate non può superare la capacità

del canale:

+=

D2 N

S1logWR

MODULATORE

SORGENTEANALOGICA

CANALE AWGN

DESTINAZIONE

DEMOD.

+=

DN

SWR 1log2

+=≤

T

R2T B

S1logBCR

η

+=

TT B

SBC

η1log2



Ponendo R≤C e risolvendo rispetto a (S/N)D si ottiene:

dove:

1111 −

+=−

+≤

bW

B

T

R

D bB

S

N

ST

γη

W

S

W

Bb RT

ηγ == ,



La relazione trovata fornisce un termine di confronto per

tutti i sistemi di comunicazione analogici (è sufficiente

fornire a b e a γ i valori che caratterizzano il sistema in esame).

Solitamente, si usa confrontare grafici che rappresentano

(S/N)D in funzione di γ (avendo fissato b) oppure che

rappresentano γ in funzione di b (avendo fissato (S/N)D).



Documents

Trasmissione Numerica Università di Trento - ing.unitn.itmelganif/PDF/tx-num3.pdf · Teoria dell’Informazione: un sistema di TLC viene studiato dal punto di vista del processo