6. Monte Karlo metod i izdvajanje performansi tokom simulacije

1. Monte Karlo metod – procjena mjere intervala

Kao što smo istakli ranije, idealna Monte Karlo simulacija predstavlja realno oponašanje stvarnog sistema. Ako ostavimo po strani pitanja vjernosti predstavljanja modela, ključna ideja Monte Karlo simulacije jeste ta da se slučajni procesi, signali i šum razvijaju u vremenu noseći one statističke vrijednosti koje su im dodjeljene. Vezano za problem procjene vjerovatnoće greške bita ili vjerovatnoće greške simbola, Monte Karlo metod je samo način za implementaciju sekvence Bernulijevog pokusa, s tim da u implementaciji ovog metoda simulacije pretpostavke za izvlačenje nisu potrebne. Implikacija ovakvog eksperimenta jeste da brojimo “uspjehe” (greške u kontekstu) koje dijelimo sa brojem pokusa, a rezultat će biti procjena relativnog broja grešaka, ili ono što jednostavno zovemo vjerovatnoća greške bita, odnosno simbola. Metod sam po sebi ne zahtijeva nikakve pretpostavke o osobinama sistema. Zapravo, u implementaciji metoda sistem sam po sebi se zaobilazi (Slika 6.9), osim naravno, izlaza digitalnog izvora i verzije ureñaja za odlučivanje. Kako je izlaz izvora poznat, poreñenje dvije sekvence nakon odreñenog relativnog zakašnjenja omogućava empirijsku bazu za proračun relativne učestanosti pogrešaka.

Sekvenca

digitalnog

izvora

Cijeli sistem (izuzev

izvora i ureñaja za

odlučivanje)

Ureñaj za

odlučivanje

(dekoder)

Kašnjenje Poreñenje

Simulirani sistem

Monte Karlo

procedura

procjene

Procijenjena

sekvenca

Sekvenca

greške

Slika 6.9. Šematski prikaz implementacije Monte Karlo procedure U cilju implementacije ovakve procedure neophodno je poznavati kašnjenja. Poznavanje kašnjenja je u stvari ekvivalentno sinhronizaciji kašnjenja i treba imati na umu da će različite tehnike izdvojiti različite uzorke signala. Ovo ima za posljedicu da ako kašnjenje nije jedinstveno, tada ni MK procjena neće biti jedinstvena. Ovo nam govori da je ponašanje

sistema u potpunosti zavisno od svih aspekata njegove implementacije. Sa tačke gledišta same tehnike procjene ovi detalji generalno nisu važni. Monte Karlo metod je suštinski defnisan navedenom procedurom. Meñutim, potrebno je “izvesti” metod na takav način da eksplicitno pokazuje funkciju gustoće vjerovatnoće varijable za odlučivanje. Već smo naglasili da funkcija gustoće vjerovatnoće, dakle vjerovatnoća greške, može biti različita za različite simbole. Zbog toga je neophodno da generalno postavimo uslove za vjerovatnoću greške simbola prema specifičnom tipu simbola koji prenosimo. Fokusirajmo se na neki proizvoljan simbol, recimo simbol aj,

{ }1,...,1,0 −∈ Lj , i osim ako nije drugačije odreñeno, zavisnost svih veličina koje zavise od odreñenog simbola nije potrebno eksplicitno naglašavati. Važno je razumjeti da ovo uslovljavanje važi samo za simbol na kom se vrši odlučivanje, ali ne ograničava sekvencu simbola koje prethode ili slijede taj simbol. Formulacija je po formi identična za sve simbole, bez obzira da li im je vjerovatnoća greške ista. Zbog toga vjerovatnoću greške simbola, odnosno vjerovatnoću greške bita pj za pretpostavljeni simbol, možemo izraziti kao:

∫ ℜ∈=

jjv vj dvvfp )(

(6.1)

Gdje je

jvf funkcija gustoće vjerovatnoće vrijednosti uzoraka simbola j na periodu τ (kojeg

ćemo za sada ostaviti neodreñenim), a jℜ je oblast v koja odgovara greški. Definišući funkciju pokazivača greške:

ℜ∉

ℜ∈=ℜ

j

j

v

vvI

j ,0

,1)(

(6.2)

izraz (6.1) možemo predstaviti kao:

∫∞

∞−ℜ= dvvfvIp

jj vj )()( (6.3)

Posljednja jednačina je ekvivalentna izrazu: [ ])(VIEp

jj ℜ= (6.4)

Gdje je E operator očekivanja, a obzirom da je estimator očekivanja jp̂ u stvari srednja

vrijednost uzoraka možemo pisati:

∑∈

ℜ=j

ji

ij

j VIN

pϕ

)(1

ˆ

(6.5)

Gdje je )(ˆ ii tVV = sekvenca uzoraka rasporeñenih simbola naponskog odlučivanja, φj je skup

cjelobrojnih vrijednosti koje sadrže svako i takvo da ti odgovara simbolu uzorka j, a Nj je broj

elemenata skupa. Vidimo da se )( iVIjℜ ponaša kao detektor greške, suma kao brojač

grešaka, a jN

1 kao usrednjivač. Na ovaj način smo formalno došli do željenog rezultata na

način koji prepoznaje ulogu funkcije raspodjele vjerovatnoće posmatrane varijable V(t). Jasno je da se jednačina (6.1) može proširiti na cjelokupni prosjek statističke učestanosti greške jednačinom:

∑ ∫−

=

∞

∞−ℜ=

1

0

)()(L

jVj dvvfvIp

jjπ

(6.6)

Čija je empirijska kopija:

∑∑=

−

=ℜ ==

N

i

L

jiai N

NnsVI

Np

jj1

1

0

)()(1)(

1ˆ

(6.7)

Gdje su s1, s2, …, aktuelne sekvence prenesenih simbola, N je ukupan broj procesuiranih simbola, a n je ukupan broj primjećenih grešaka. Simbol indikator 1aj(si) je jednak 1 ako je i-ti prenešeni simbol aj, u suprotnom je nula. Kako ∞→N , p̂ će gotovo sigurno konvergirati ka p, zbog zakona o velikim brojevima. Zbog toga je rezultat sume 1 ili 0, a sekvenca ima isto značenje kao i τe .

U izrazu (6.7) a priori vjerovatnoće simbola jπ su implicitne jer se u MK simulaciji ove

vjerovatnoće prirodno manifestuju kroz relativno pojavljivanje simbola kada je simulacija

dovoljno duga, odnosno, dobro su aproksimirani sa N

N j .

Možemo proračunati i ostale vrijednosti koje nas interesuju uz malo više posla. Neka su a0, a1, …, aL-1 obilježeni L simbolom alfabeta i neka je djk Hamingovo rastojanje izmeñu aj i ak. Procijenjena vjerovatnoća greške bita je onda:

∑∑

=

−

=ℜ=

N

i

L

jjkiaib dsVI

mNp

jj0

1

0

)(1)(1

ˆ

(6.8)

Gdje je ak detektovani simbol, a m je broj bita u simbolu (podrazumijevamo naravno da je L=2m). Jednačina (6.8) nam jednostavno kazuje težinu greške simbola prema stvarnom broju grešaka bita. Možemo ići i dalje i izračunati vjerovatnoću specifične greške bita, koja nam dosta znači u odreñenim modulacijskim šemama blok kodova. Ako je

),...,,( 0,2,1, kmkmkk bbba −−= binarno predstavljanje ak, tada bk,l nazivamo l-tim značajnim bitom;

odnosno bk,0 se naziva najmanje značajnim bitom, a bk,m-1 najzanačajnijim bitom. Zavisno od mapiranja bita u simbole, vjerovatnoća greške bita može biti različita u različitim pozicijama bita. Neka je )(l

jkd Hamingovo rastojanje izmeñu l-tih značajnih bita simbola sj i sk; naravno

ono je jednako 0 ili 1. Tada je specifična vjerovatnoća greške bita očita modifikacija izraza (6.8):

∑∑

=

−

=ℜ=

N

i

L

j

ljkiailb dsVI

Np

jj1

1

0

)(, )(1)(

1

(6.9)

U nastavku ćemo se pozabaviti pouzdanošću ovih procjena.

1.1. Interval povjerljivosti: binomijalna raspodjel a Monte Karlo metod je jedan od rijetkih gdje možemo tačno procjeniti raspodjelu, pretpostavljajući nezavisnost izmeñu dogañaja greške. Greška može biti bitska greška, simbolska greška, ili bilo koji adekvatno definisani dogañaj. Najvažnija stvar kod ovih posmatranja jeste ta da one mogu biti podijeljene u dvije grupe: jednu koja sadrži dogañaje grešaka i drugu koja ih ne sadrži. Drugim riječima, ne pravimo razliku izmeñu grešaka na različitom tipu simbola. Sa ovom pretpostavkom nezavisnosti, broj dogañaja greške n ima binomijalnu raspodjelu, ( , )B N p , gdje je p a priori vjerovatnoća dogañaja, i za dato N

procjena N

np =ˆ ima binomijalnu raspodjelu. Prema definiciji o povjerljivosti intervala,

možemo pokazati da je za 1-α nivo povjerljivosti gornje i donje vrijednosti dvostrano simetričnog intervala 1h i 2h , respektivno, rješenje

2),1;(1)1( 1

011

α=−+−=−

−

=∑ nNnhFhh

k

N kNn

k

k (6.10a)

i

2)1,;(1)1( 222

α=+−−=−

−

=∑ nNnhFhh

k

N kNN

nk

k (6.10b)

Gdje je ),;( baxF dato kao:

dttt

ba

babaxF b

xa 1

0

1 )1()!1()!1(

)!1(),;( −− −

−−−+= ∫

(6.11)

za cjelobrojne vrijednosti a i b. Desna strana izraza (6.11) predstavlja )( xYP ≤ , gdje je Y slučajna varijabla sa beta raspodjelom, Y ~ beta (a,b). Izraz dat u ovom obliku je mnogo lakše proračunati nego sume date u izrazu (6.10). Za jednostrani interval, izraz (6.10a) će se koristiti sa dvostrukom vrijednošću α. Desne strane jed6načine (6.10), takoñe mogu biti različite, recimo ako je 1α i 2α odabrano tako da

je ααα =+ 21 , tada ova asimetrija može malo smanjiti dužinu intervala povjerljivosti. Rješavanje (6.10) je računski naporno za tipične vrijednosti N i p, meñutim, napredak u matematskom softveru nam danas omogućava neposrednu procjenu preko kumulativne beta raspodjele. Tabela 6.1 pokazuje gornje i donje vrijednosti faktora (množitelja) na posmatranom p̂ za kreiranje intervala pojerljivosti na naznačenom povjerljivom nivou. Bitno

je naglasiti da, u prethodnim jednačinama, nivo povjerljivosti zavisi jedino od N, ali u procesu kreiranja tabele 6.1 se vidi da interval povjerljivosti neznatno zavisi od N (razlikuje se samo u trećoj ili četvrtoj decimali) jednom kada N preñe 1000. Zbog toga se, kao što je i rečeno, može kreirati mnogo kompaktnija tabela. Iako je potreba za aproksimacijama za rješavanje (6.10) manja nego nekada, još uvijek su interesantne zbog dva razloga: ukoliko postoji potreba za opsegom parametara koji nisu obuhvaćeni tabelom 6.1 i bez odgovarajućeg alata, ove aproksimacije će dozvoliti brze i prihvatljivo tačne rezultate; i drugi, ove aproksimacije, posebno one uobičajene, daju bolju analitičku preglednost nego jednačine (6.10).

Broj grešaka 90% povjerljivosti 95% povjerivosti 99% povjerljivosti

2,995 3,69 5,30 0 0 0 0 4,74 5,57 7,43 1 5,13 x 10-2 2,532 x 10-2 5,01 x 10-3 3,147 3,61 4,64 2 1,777 x 10-1 1,211 x 10-1 5,17 x 10-2 2,584 2,922 3,66 3 2,726 x 10-1 2,062 x 10-1 1,126 x 10-1 2,288 2,560 3,147 4 3,42 x 10-1 2,725 x 10-1 1,681 x 10-1 2,102 2,333 2,829 5 3,94 x 10-1 3,25 x 10-1 2,156 x 10-1 1,696 1,838 2,139

10 5,43 x 10-1 4,80 x 10-1 3,72 x 10-1 1,452 1,544 1,732

20 6,63 x 10-1 6,11 x 10-1 5,18 x 10-1 1,356 1,427 1,572

30 7,20 x 10-1 6,75 x 10-1 5,93 x 10-1 1,301 1,361 1,483

40 7,55 x 10-1 7,15 x 10-1 6,40 x 10-1 1,265 1,317 1,424

50 7,80 x 10-1 7,43 x 10-1 6,74 x 10-1 1,239 1,286 1,382

60 7,98 x 10-1 7,64 x 10-1 6,99 x 10-1 1,219 1,262 1,349

70 8,12 x 10-1 7,80 x 10-1 7,20 x 10-1 1,203 1,243 1,324

80 8,24 x 10-1 7,94 x 10-1 7,36 x 10-1 1,191 1,228 1,303

90 8,34 x 10-1 8,05 x 10-1 7,50 x 10-1 1,180 1,215 1,286

100 8,42 x 10-1 8,14 x 10-1 7,62 x 10-1 1,075 1,089 1,118

500 9,29 x 10-1 9,16 x 10-1 8,91 x 10-1 1,051 1,060 1,080

1000 9,51 x 10-1 9,42 x 10-1 9,24 x 10-1

Tabela 6.1 Tačni intervali povjerljivosti vjerovatnoće greške bita za binomijalnu raspodjelu

Ukoliko bismo željeli kreirati interval povjerljivosti učestanosti greške odreñenog simbola, može izgledati da možemo primjeniti prethodne formule jednostavnom zamjenom, recimo p sa pj, p̂ sa jp̂ , n sa nj i N sa Nj. U većini slučajeva koje bi posmatrali, odnosno za dovoljno

veliko N, procjena bazirana na ovoj pretpostavki bi dala rezultate prilično bliske tačnoj vrijednosti. Ali, ova procedura zapravo ne bi bila skroz tačna jer nj nije binomijalno rasporeñen. On je uslovno binomijalan, po vrijednosti Nj koja je binomijalno rasporeñena. Potrebno je još naglasiti pojavu slučajnog odabira Nj, koja se javlja zato što mi u MK simulaciji imitiramo sistem onakav kakav je, dakle generišemo simbole slučajno. Postoji varijacija MK metodologije po kojoj možemo generisati fiksan broj bilo kakvih datih simbola, i to samo onda kada možemo pretpostaviti da je memorija sistema ograničena, recimo jednaka m simbola. U tom slučaju postoji Lm-1 mogućih uzoraka simbola koji prehode svakom simbolu i možemo osigurati da se svaki od ovih uzoraka desi u konjukciji sa odabranim simbolom jednak broj puta, koristeći na primjer sekvencu Bruijina.

2.2. Interval povjerljivosti: Poasonova aproksimacija Kao što nam je poznato, binomijalna raspodjela može biti aproksimirana Poasonovom raspodjelom ukoliko 0ˆ →p za ∞→N tako da

λ=∞→

pNN

ˆlim

Gdje je λ > 0 konstanta. Pod odreñenim uslovima, binomijalna raspodjela može biti zamijenjena sa Poasonovom raspodjelom što vodi do relacija:

∑

=

− =n

k

k

ke

0

1

2!1

αλλ ∑=

− =N

nk

k

ke

2!22

αλλ

(6.12)

koje treba riješiti po 1λ i 2λ , pomoću kojih ćemo kreirati interval povjerljivosti (NN

21 ,λλ

) sa

nivoom povjerljivosti α−1 . Prednost izraza (6.12) jeste ta što tablice Poasonove raspodjele već postoje i pokrivaju velik opseg vrijednosti. Heuristički, aproksimacija je korisna jer se širok opseg vrijednosti p̂ i N može predstaviti relativno malim opsegom pomoću parametra

λ=pNˆ . Tabela gornjih i donjih vrijednosti λ za različite nivoe povjerljivosti data je u tabeli 6.2 za

vrijednosti 500 ≤≤ n , gdje je n broj primjećenih grešaka. Kako bi kreirali interval povjerljivosti za p, potrebno je unijeti red gdje je n primjećeno i podijeliti odgovarajuću vrijednost λ sa N, ukupnim brojem promatranja. Vrijednosti λ u tabeli su dobijene

koristeći istu vrijednost (2

α) sa desne strane suma (6.12).

Generalno govoreći, kao i kod binomijalne raspodjele, možemo dobiti malo uže intervale povjerljivosti ukoliko koristimo različite vrijednosti zbira, recimo 1α i 2α takve da je

ααα =+ 21 . Ovakva modifikacija izraza obično ne vodi značajnom smanjenju dužine intervala. Tabela 6.2 pokriva značajan dio mogućih vrijednosti n. Poredeći tabele 6.1 i 6.2, vidimo (nakon trivijalnih proračuna) da je slaganje u većini slučajeva dosta dobro. Zapravo, za 10≥n , rezultati se bitno podudaraju sa onima dobijenim pomoću normalne aproksimacije, o kojima ćemo diskutovati u sljedećem poglavlju.

1-α = 0,90 1-α = 0,95 1-α = 0,99

n Donja granica

Gornja granica

Donja granica

Gornja granica

Donja granica

Gornja granica

0 0,000 3,00 0,000 3,69 0,000 5,30 1 0,051 4,74 0,025 5,57 0,005 7,43 2 0,355 6,30 0,242 7,22 0,103 9,27 3 0,818 7,75 0,619 8,77 0,338 10,98 4 1,37 9,15 1,09 10,24 0,672 12,59 5 1,97 10,51 1,62 11,67 1,08 14,15 6 2,61 11,84 2,20 13,06 1,54 15,66 7 3,29 13,15 2,81 14,42 2,04 17,13 8 3,98 14,43 3,45 15,76 2,57 18,58 9 4,70 15,71 4,12 17,08 3,13 20,00 10 5,53 16,96 4,80 18,39 3,72 21,40 11 6,17 18,21 5,49 19,68 4,32 22,78 12 6,92 19,44 6,20 20,96 4,94 24,14 13 7,69 20,67 6,92 22,23 5,58 25,50 14 8,46 21,89 7,65 23,49 6,23 26,84 15 9,25 23,10 8,40 24,74 6,89 28,16 16 10,04 24,30 9,15 25,98 7,57 29,48 17 10,83 25,50 9,90 27,22 8,25 30,79 18 11,63 26,69 10,67 28,45 8,94 32,09 19 12,44 27,88 11,44 29,67 9,64 33,38 20 13,25 29,06 12,22 30,89 10,35 34,67 25 17,38 34,92 16,18 36,90 14,00 41,00 30 21,59 40,69 20,24 42,83 17,77 47,21 35 25,87 46,40 24,38 48,68 21,64 53,32 40 30,20 52,07 28,58 54,47 25,59 59,36 45 34,56 57,69 32,82 60,21 29,60 65,34 50 38,96 63,29 37,11 65,92 33,66 71,27

Tabela 6.2 Intervali povjerljivosti vjerovatnoće greške bita za Poasonovu aproksimaciju

1.3 Interval povjerljivosti: Normalna aproksimacija Poznato je da se za veliko N raspodjela estimatora p̂ dobro aproksimira sa normalnom raspodjelom sa srednjom vrijednošću p i varijansom p(1 - p)/N. Dakle, moguće je kreirati interval povjerljivosti u obliku:

α

αα

α

α

αα

α

α

−=

+−++

+≤≤

+−−+

+

1

2)ˆ1(ˆ

2ˆ

2)ˆ1(ˆ

2ˆ

2

122

2

2

122

2

N

d

N

ppd

N

dp

dN

Np

N

d

N

ppd

N

dp

dN

N

P

(6.13)

Gdje je p vrijednost učestanosti greške, a dα se bira tako da bude:

∫

−

−−=

α

α

απ

d

d

t

dte 1

)2(

1 2

2

1

2

(6.14)

Heuristički, možemo reći da će normalna aproksimacija dati dovoljno dobre rezultate za

[ ] 2/1/)1( Nppdp −≥ α , odnosno za vrijednost standardne devijacije manju od p po faktoru dα.

Ovo se dalje prevodi u nejednačinu 2αdNp ≥ .

Apsolutna vrijednost intervala povjerljivosti data izrazom (6.13) ne daje nam toliko informacija koliko ih možemo dobiti iz dužine intervala normalizovanog prema samoj vjerovatnoći greške bita, kao što smo to već prikazali u tabeli 6.1. Najveća korist normalne aproksimacije, sem univerzalnog pristupa tabalema normalne raspodjele, je ta da vodi do uopćene grafičke predstave koja je inherentno normalizovana ka učestanosti greške. Da bi ovo grafički prikazali potrebno je podesiti vp −=10ˆ i vN 10η= ( p̂ ne smije biti jednaka nuli; ukoliko je to ipak slučaj potrebno je koristiti tabelu 6.1. ili 6.2.) Aproksimacije

1)/( 2 ≈+ αdNN i ppp ˆ)ˆ1(ˆ ≈− su obično više nego dovoljne. Tada možemo (6.13) prikazati

kao:

[ ] α−=≤≤ +− 1ypyP (6.15)

Gdje je interval povjerljivosti ),( +− yy dat sa

+±+= −

±

2

1

2

2

14

12

110α

α ηη d

dy v

(6.16)

Ovaj interval je prikazan na slici 6.2 za 90%, 95%, i 99% intervale povjerljivosti. (Potrebno je naglasiti da navedena aproksimacija može biti primjenjena za proračun vjerovatnoće greške bita za odreñene simbole, ili srednje vrijednosti za sve simbole.)

broj simbola

Slika 6.2 Intervali povjerljivosti vjerovatnoće greške bita sa posmatranom vrijednošću 10-v za

Monte Karlo tehniku baziranu na normalnoj aproksimaciji Interval povjerljivosti, bez obzira na primjenjeni metod, se uvijek odnosi na jednu tačku krive koja prikazuje vjerovatnoću greške bita, odnosno simbola, koja odgovara fiksiranom odnosu signal i šum (S/Š). U simulacijama vremenski nezavisnih sistema se, na primjer učestanost greške procjenjuje sa nekoliko vrijednosti odnosa signal/šum (ili Eb/N0), a blaga kriva odgovara ovim vrijednostima. Cjelokupnost ovih tačaka nam daje više informacija o učestanosti greške za datu vrijednost odnosa signal/šum, nego što bi dobili posmatranjem same vrijednosti odnosa signal/šum. Zbog ovoga, kriva koja najbolje odgovara navedenim vrijednostima bi nam trebala dati veći stepen povjerenja nego procjena za samo jednu tačku.

6.3 Srednja vrijednost i varijansa Monte Karlo estimatora Promjenimo raniju oznaku za sekvencu greške { }τe u { }ie gdje je i i-ta odluka, a period τ

neodreñen. Onda je 1=ie ako doñe do greške, odnosno 0=ie ako se ne desi greška. Tada je

izraz za MK estimator oblika:

∑

=

=N

iie

Np

1

1ˆ

(6.17)

Kako je peE i =)( , jasno je da je ppE =)ˆ( , dakle MK estimator je neizmjenjen. Varijansa

p̂ je

222 )ˆ()ˆ( ppEp −=σ

(6.18)

Kako je ppE =)ˆ( , to možemo izraziti )ˆ( 2pE kao:

∑ ∑

−

= +=

⋅+=1

1 12

2 2)ˆ(

N

i

N

ijijpp

NN

ppE

(6.19)

gdje je

pij = [ej = 1 ׀ ei = 1, j > i]

(6.20)

Za nezavisne greške je pij =p za svako i,j . Obzirom da postoje članovi 2

2 NN − u dvostrukoj

sumi, oni se dodaju u 2222 )/11(2/))(/2( pNpNNN −=− . Uvrštavajući ovaj rezultat u izraz (6.19), a zatim u (6.18) dolazimo do standardnog rezultata (uz uslov q = 1 - p)

N

pqpp

NN

p

N

pp =−=−= )1(

1)ˆ(

22σ

(6.21)

Ukoliko želimo da odredimo učestanost greške odreñenog simbola, recimo simbola j, estimator

jjj Nnp /ˆ = (6.22)

nema karakter srednje vrijednosti procjene jer je za dato N, Nj slučajno. Meñutim, estimator ostaje nedeformisan, dakle jj ppE =)ˆ( , te je takoñe moguće neposredno pokazati da je

(uslovna) varijansa odreñena sa:

−=

jjjj N

Eppp1

)()ˆ( 22σ

(6.23)

Član

jNE

1 zapravo ne postoji ukloiko ne isključimo Nj = 0, što ima smisla, jer inače

nećemo imati stvarnu procjenu (različitu od nule). Ukoliko uvrstimo ovaj uslov, tada

01 >j

j

NN

E ima oblik prikazan na slici 6.3. Možemo primjetiti, da je čak i za različite

vrijednost N, ali veće od 100, ova funkcija dobro aproksimirana sa Njπ/1 . Ovo znači da se

estimator za pj suštinski ponaša kao MK estimator.

Slika 6.3 Vrijednosti 01 >−jj NNE (gornja kriva) i 1)( −Njπ (donja kriva)

funkcije od N za 25,0=jπ

Varijansa, ili preciznije njen kvadratni korjen, standardne devijacije estimatora, pruža nam mogućnost procjene pouzdanosti estimatora. Pogodan način procjene je pomoću normalizovane standardne greške, ili kako je još zovemo relativne preciznosti

2

1

)(/)1(/)ˆ()ˆ(−∆

≅−== NpNpppp pσε

(6.24)

Gdje aproksimacija 11 ≈− p važi za gotovo svaki realan slučaj. Generalno govoreći, zahtijevamo da ε bude mali broj. Zbog ovoga, za datu frakcionalnu grešku vidimo da je zahtjev za opažanjem dat sa:

pN 2

1ε

=

(6.25)

koji nam daje osjećaj o broju simbola koje treba procesirati i samim tim spoznaju o potrebnom proračunu. ■ Napomena. Prethodne jednačine, na primjer jednačina (6.25) koje zavise od poznavanja učestanosti greške, ne mogu biti korištene u stvarnim slučajevima za procjenu ε , jer p zahtijeva kvantitet. U praksi, ε možemo procijeniti iz samih momenata uzoraka ili grubom procjenom, korištenjem p̂ umjesto p, ili procjenom

)ˆ(2 pσ iz varijanse uzoraka )ˆ(2 ps , kako slijedi. Podijelimo sekvencu grešaka u K

podsekvenci { },jke Jj ,...,2,1= i Kk ,...,2,1= takvih da je NJK = . Definišimo

∑ == J

j jkk eJp1

)/1(ˆ kao prosječnu učestanost greške za k-tu podsekvencu i ukupnu

srednju vrijednost kao ∑ == K

k kpKp1

ˆ)/1( . Tada je

∑=

−−

=K

kk pp

Kps

1

22 )ˆ(1

1)ˆ( ■

1.4. Efekat zavisnih grešaka Do sada smo pretpostavljali da se greške generišu nezavisno. Ovo je razumna pretpostavka u nekim slučajevima, ali ne u svim. Zavisnost može nastati iz raličitih razloga, na primjer zbog filtriranja ili iščezavanja. Forma srednje učestanosti grešaka estimatora p̂ je i dalje opisana izrazima (6.7) ili (6.17). U oba izraza estimator je neizmjenjen. Raspodjela estimatora je povezana sa načinom na koji se sama zavisnost manifestuje. Dakle, potreban nam je specifičan model zavisnosti grešaka kako bi mogli izračunati interval povjerljivosti ili varijansu estimatora. Ovakav model može biti neka hipotetička zavisnost izmeñu grešaka izvedena iz nekog oblika sistema sa konačnim brojem stanja. Za naše potrebe ćemo odabrati jednostavan model koji nam daje suštinu zaključka: da je za zavisne greške potrebno posmatrati više simbola u datom intrvalu povjerljivosti. U modelu koji ćemo prikazati, pretpostavili smo da se dogañaj greške uvijek sastoji od skupa od 1+m grešaka (jednostavan primjer ovog slučaja jeste da kada se desi 1=m podaci su dekodirani drugačije). Bitno je primjetiti da ukoliko podijelimo sekvencu koja se prenosi u m-bitne bajte, prethodna razmatranja se mogu primjeniti, ali se sada svaki bit “posmatra” odvojeno i bitske greške su nezavisne. Dakle, za datu pouzdanost, dužina simulacije mjerena u bitima je sada m puta duža. Pretpostavimo sada da smo zainteresirani za bisku učestanos greške i tražimo varijansu procjene vjerovatnoće greške bita. Možemo primjeniti jednačine (6.17) – (6.20) i pod navedenim pretpostavkama možemo pisati

1=ijp miiij +++= ,...,2,1

ppij = mij +> (nezavisnost)

(6.26)

U dvostrukoj sumi u izrazu (6.9) postoji 2/)1( +− mmNm članova za koje je mij +> . Koristeći ovu činjenicu i izraz (6.26), dobijamo izraz za varijansu estimatora

+−+=N

mmm

N

pqp

)1(21)ˆ(2σ

(6.27)

I obzirom da je uglavnom mN >> , ovaj izraz možemo pisati u obliku

)21(

1)ˆ(2 mpq

Np +≅σ

(6.28)

Poredeći ovaj rezultat sa (6.21) vidimo da je varijansa grubo povećana faktorom )21( m+ , što je blizu onog što smo očekivali. Dakle, zavisne greške obezbjeñuju manje informacija, što je jasno; meñutim ukoliko imamo kanal za koji je poznato ili se prepostavlja da daje zavisne greške, dati broj posmatranja neće dati tako pouzdan interval povjerljivosti. Korisnik simulacije ovo treba imati na umu.

1.5. Sekvencijalna procjena U prethodnim poglavljima smo implicitno pretpostavili da je dužina simulacije fiksirana i jednaka posmatranju N simbola. Pouzdanost estimatora nije toliko povezana sa samim N koliko sa brojem uočenih dogañaja greške u toku simulacije. Dakle, alternativna strategija simulacije bi bila da izvodimo simulaciju onoliko dugo dok se ne uoči n grešaka, gdje je n prethodno odreñeno. Ovo se naziva sekvencijalnom procedurom, kojom se upravlja pomoću pravila za zaustavljanje, u našem slučaju “pravilo” jednostavno znači da će izvoñenje prestati kad se uoči n-ta greška. Jasno je, dakle, da u ovom slučaju, n više nije binomijalno rasporeñeno, već može imati samo odabranu vrijednost, dok je N slučajna vrijednost. Može se pokazati da je neizmjenjeni estimator učestanosti greške, p, dat sa

1

1ˆ

−−=

N

np

(6.29)

i da je varijansa tog estimatora data sa

∑

∞

=−

−+=

1

22 )1(1

)ˆ(j

pj

jnppσ

(6.30)

Generalno govoreći, nas interesuju relativno male učestanosti greške. Odgovarajuća aproksimacija bi stoga, ukoliko usvojimo ograničavajuću vrijednost iz (6.30), trebala dati rezultat ∞→p . Ipak, kako smo to i naglasili ranije, značajnije je izmjeriti varijabilnost koja odgovara pravoj vrijednosti. Zbog toga, za n > 2 vrijedi

)2/(1/)ˆ(lim 22 −=∞→

nppp

σ (6.31a)

ili u ovim granicama, standardna greška je jednaka

2/1)ˆ( −= npε (6.31b)

Vidimo da je za veliki broj grešaka, ε grubo ekvivalentna u sekvencijalnim i MK

slučajevima, jer je na kraju pN/1=ε i za dovoljno veliko N, nNp ≈ .

1.6. Procjena mjere intervala Do sada smo razmatrali mjere preformansi koje pokazuju srednju učestanost dogañaja greške. Kao što smo već naglasili, ovakve prosječne mjere ne moraju dati previše podataka da li je relativna učestanost greške na intervalima koji su operativno značajni dosta varirala, što može biti slučaj u, na primjer, oblasti prijema signala. Zbog ovoga, za uopćenije kanale, opis mehanizma detekcije greške na značajnim intervalima je poželjan. Zbog očitih razloga, ove mjere ćemo nazvati mjerama intervala. Početni korak za definisanje ovakvih mjera je

sekvenca greške { }ie koju smo već identifikovali, ili uopćenije, neku sekvencu (čiji izlaz ne

mora obevezno imati samo dvije vrijednosti), koju ćemo označiti sa { }NOOOO ,...,, 21= , a

posmatranja možemo vršiti na izlaznom prostoru ),...,,( 21 moooo = , koji opet može biti

generalno definisan. Može se odnositi na, na primjer, sekvencu greške koju smo već pomenuli, detekciju napona sa mekim odlučivanjem, kanale sa fedingom, i tako dalje. Kada nam je dato O, postoje dva pristupa u korištenju ove informacije, koje označavamo kao generativni i opisni. Prvi, kao što možemo zaključiti iz naziva, uključuje konstrukciju modela koji može biti korišten isključivo za generisanje sekvenci koje su tipični predstavnici kanala. Ne postoji generalno jedinstven model, ali postoji mnoštvo mogućih modela koji će više ili manje odgovarati posmatranju. Većina modela se zasniva na nekoj vrsti pretpostavljene Markovljeve strukture, najviše zbog relativne jednostavnosti Markovljevih modela da predstave zavisnost izmeñu dogañaja. Najuobičajeniji modeli su skriveni Markovljevi modeli. Opisni modeli su po prirodi statistički i uključuju kreiranje različitih tipova statistike (raspodjela) iz posmatrane sekvence. Ova dva pomenuta pristupa imaju odreñeni stepen preklapanja iz čije statistike možemo iznaći princip generativnog modela.

1.6.1. Generativni model Iz posmatrane sekvence možemo izvući skriveni Markovljev model koji daje “najbolje objašnjenje” o tome šta je viñeno. Standardna aplikacija ovakvih modela jeste da generišu “tipi čne” sekvence greške koje mogu biti dodane informacijskoj sekvenci, a rezultat se učitava u izlazne ureñaje za obradu, na primjer, dekodere. Prednost ovakve metodologije modeliranja jeste ta da ne moramo više da radimo sa analognim procesima i mnoštvom impliciranih uzoraka po simbolu, niti sa proračunom efekata svakog ureñaja koji procesiraju ove talase. (Ali, da bi imali ovakav model, neophodno je da obavimo sveobuhvatne simulacije talasa.) U principu, bilo koji statistički interval tada može biti izdvojen jer skriveni Markovljev model daje kompletan opis mehanizma. Kao primjer, prikazećemo vezu izmeñu skrivenog Markovljevog modela i ),( nmF , vjerovatnoću od m ili manju u bloku od n simbola. K-stanje skrivenog Markovljevog modela je djelimično opisano vektorom vjerovatnoće početnih stanja

),...,,( 21 Kππππ =

i stacionarnim stanjem prelazne matrice vjerovatnoće P,

=

KK

N

KK p

p

p

p

p

p

P ⋮

⋯

⋯

⋮⋮

1

2

12

1

11

(6.32)

gdje je ijp vjerovatnoća da će nastupiti stanje j ukoliko je trenutno stanje i. Svako stanje će

zasebno biti opisano izlaznom vjerovatnoćom prelazne matrice koje predstavlja vjerovatnoće povezane sa izlazom u bilo kom trenutku. Za naše potrebe, pogodno je definisati ovu matricu

u formi koja zavisi od ulaznih simbola u korespodenciji sa vremenom posmatranja. Zbog toga, definšemo matricu )( lr oB čiji je element (k, l) definisan sa

rttltlkr aAkXoOPob ==== ,)( (6.33)

gdje X predstavlja varijablu stanja, A ={ }Laa ,...,1 je alfabet ulaznih simbola, a { }tA je ulazna

sekvenca izvučena iz A. Sada možemo konstruisati matricu )( lr oQ čiji element (i, j)

iXaAoOjXPoQ trtlttl

rij ===== +++ ,,)( 111 (6.34)

daje vjerovatnoću da će iz stanja i u trenutku t, proces ići u stanje j u trenutku t+1, ulazni simbol je ar a posmatramo ol. Iz izraza (6.33) i definicije ijp slijedi

=)()(

)()(

)(

11

1111

lKrKKlrK

lKrKlr

lr

obpobp

obpobp

oQ

⋯

⋮⋮

⋯

(6.35a)

ili, ekvivalentno,

∑

=

=K

iliilr obPEoQ

1

)()(

(6.35b)

gdje je itiiE ξξ= ,a iξ je i-ti bazni vektor koji ima K komponenti (0, 0, …, 1, 0, …, 0) u kom

se 1 nalazi na i-toj koordinati, a sve ostale vrijednosti su nula. Za odreñenu sekvencu posmatranja O, dužine n možemo pisati

∏=

===n

iirrnnr OQaAaAOP

i

111 1)(,..., π

gdje je 1 vektor K kolona, a Oi je odreñeni element od o. Kao što možemo vidjeti, vjerovatnoća da će nastupiti odreñena izlazna sekvenca u potpunosti zavisi od ulazne sekvence. Za odreñene definicije izlaza, ili pod uslovima odreñene simetrije, zavisnost ulazne sekvence može nestati. Na primjer, pretpostavimo da je O sekvenca greške za binarni simetrični kanal (u svakom stanju) i definišimo težinu od O kao │O│, što označava broj uočenih grešaka. Tada imamo,

∑ ∏≤ΙΙ =

=mO

n

iiOQnmF

1

1)(),( π

(6.36)

Praktičnost proračuna izraza (6.36) će zavisiti od K, n i m jer su množenja n+K matrice

indicirana za svako O zadovoljavajući ograničenja težine i postoji ∑ =

m

j n

j1

ovakvih

mogućnosti. Direktan proračun izraza (6.36) će biti veoma zahtjevan, ali za ograničene vrijednosti n, recimo 100 ili manje, te za male vrijednosti t, recimo 3 ili manje, proračun nije toliko kompikovan. Moguće je izvesti efikasnije oblike izraza za P(m,n), ili ekvivalentno, za F(m,n), barem u odreñenim slučajevima skrivenog Markovljevov modela. Potrebno je još

naglasiti, da je teško kvantifikovati tačnost za F(m,n) (na primjer u slučaju varijanse estimatora) jer je i skriveni Markovljev model sam po sebi samo približan opis kanala. Shodno ovome, kao što je pomenuto ranije, bolje je koristiti skriveni Markovljev model kao generativni, nego kao opisni alat.

1.6.2. Opisni model Opisni model uključuje, u suštini, kreiranje empirijskih raspodjela ili raspodjela vjerovatnoća za datu posmatranu sekvencu. Ovo je dosta jasno, i praktično se sastoji samo od dodjeljivanja posmatranja odgovarajućim blokovima. Iako su neobrañena posmatranja predstavljena simbolima, statistika koju treba prikupiti se zasniva na njihovom grupiranju. Postoji mnogo načina da se ove informacije pripreme, ali mi ćemo se bazirati na prilično generalnom opisu karaktera posmatrane sekvence, i to na raspodjeli višestrukih prekida prenosa (multigap distributions). Pretpostavićemo da je posmatrana sekvenca sekvenca greške. Prvo treba da definišemo prostor greške (prekid prenosa). Prostor greške G dužine r je sekvenca greške koja počinje sa 1 (greška) kojeg slijedi uzastopna sekvenca od r-1 nula (nema greške) i onda opet slijedi jedinica. Drugim riječima, ima r-1 uzastopnih nula ograničenih sa dvije jedinice. Posmatrana sekvenca može biti opisana kao lanac prekida. Prekid prenosa reda k, Gk, je sekvenca od k uzastopnih prekida prenosa. Odgovarajuća raspodjela vjerovatnoća diskretnih vrijednosti g(r, K), r ≥ k, je definisana kao vjerovatnoća da je k uzastopnih prekida jednako r. Ova funkcija raspodjele diskretnih vrijednosti je izvediva pod odreñenim uslovima. Na primjer, za diskretni kanal bez memorije sa učestanošću greške p, je dat sa

krkqp

kr

rkrg −

−−

=1

),( (6.37)

Srednja vrijednost i varijansa ove raspodjele su K/p i kq/p2, respektivno. Jednostruki prekid (single-gap) funkcije raspodjele diskretnih vrijednosti, g(r,1) ≡ g(r) slijedi iz izraza (6.37) i predstavlja dobro poznatu geometrijsku raspodjelu

1,)( 1 ≥= − rpqrg r (6.38)

Funkcija raspodjele jednostrukih prekida, ukoliko bi je poznavali, bi nam mogla dati, na primjer, pES, vjerovatnoću broja sekundi sa pogreškom. Ovo zanči da je pES jednostavno jednako g(r) za r = R+1 sa brzinom prijenosa podataka u bitima/sekundi. Raspodjela greške po blokovima P(m,n) je povezana sa raspodjelom višestrukih prekida kako slijedi

[ ]∑−

−=++−−−=

1

1

)1,(),(2)1,()(),(n

mj

mjgmjgmjgjnpnmP

(6.39)

za nm≤≤1 , uz )()0,( jjg δ= . Vjerovatnoća greške bloka, je dalje, za t-kod ispravke greške data sa

[ ]∑∑ +−−==−+=

)1,(),()(),(),(11

tjgtjgjnpnmPntFn

tm

(6.40)

U dvije prethodne jednačine, p je srednja vrijednost učestanosti greške, što je takoñe bolje objašnjeno u ovom kontekstu, kao recipročna vrijednost srednje vrijednosti dužine trajanja prekida jedne greške. Naravno, kao što je rečeno ranije, možemo napraviti histogram broja grešaka u bloku od n simbola za simulaciju dovoljne dužine, iz koje bismo mogli izvesti vjerovatnoću dostizanja t grešaka. Generalno, dosta je teško, odnosno proračunski zahtjevno, da dobijemo pouzdanu procjenu, zbog nivoa poteškoća koji zavisi od ciljane ispravke učestanosti greške i dužine bloka: dužina simulacije raste sa dužinom bloka i sa opadajućom učestanošću greške. Kodiranje se primjenjuje kako bi dobili relativno nisku učestanost greške, recimo najmanje (ne više od) u rangu od 10-5 do 10-6. Ukoliko, na primjer, pretpostavimo na trenutak da su greške blokova nezavisne (što nije tačno u većini slučajeva) i da je vjerovatnoća da će se desiti greška bloka pblok tada, po analogiji sa (6.41), za zahtijevani broj grešaka bloka slijedi

blokblok p

N 2

1ε

=

(6.41)

a broj procesiranih simbola je n puta duži. Ne možemo pretpostaviti da će greška bloka nastati nezavisno. Za datu pouzdanost procjene korelacija izmeñu dogañaja grešaka zahtijeva se veći broj posmatranja. Zbog ovoga, vidimo da zahtijevano vrijeme može lako postati zaštićeno. Zbog veoma dugih simulacijskih sekvenci koje su općenito potrebne, bilo bi korisno unositi analitički korisne zaključke iz simulacija razumne dužine. Najkorisniji zaključak jeste da se kanal ponaša otrilike kao nezavisni kanal greške. Onda je moguće izvesti bilo koji broj statistika grešaka. Čak iako je kanal očito drugačiji, nekakav smisao razumnosti te pretpostavke se može osigurati ispitivanjem prostorne raspodjele prekida prenosa. Posebno, varijansa Gk daje naznaku stepena do kojeg mogu biti opravdane pretpostavke nezavisnosti ili svojstva ponavljanja sekvence greške. Druga takva naznaka se daje funkcijom raspodjele praznine prvoga reda, koji u idealnom slučaju ima geometrijsku raspodjelu: test ocjene prilagoñenja se takoñe može koristiti da bi se ustanovilo koliko je opravdana takva pretpostavka.

1.6.3. Simulacija intervala Spomenuli smo da se generativni model može koristiti da bi se proizvela manje-više tipična sekvenca, što može biti urañeno jednostavnim praćenjem pravila vjerovatnoće modela za prelaze stanja i za izlaze. Ovaj metod generiše dva slučajna broja po izlazu. Opisne statistike mogu takoñe biti korištene za kreiranje tipične sekvence koristeći tehniku koju nazivamo simulacijom intervala, koja je značajno efikasnija od korištenja generativnog modela. Da bi ilustrirali ovu ideju, počećemo sa jednostavnim slučajem binarnog simetričnog kanala bez memorije sa vjerovatnoćom križanja (vjerovatnoćom greške bita) p. Iz izraza (6.38), raspodjela jednog prekida ima geometrijsku raspodjelu, jednaku

1,)( 1 ≥= − rpqrg r

Poznato nam je da možemo “simulirati” geomitrijsku slučajnu varijablu (u ovom slučaju prekid r) iz formule

[ ]pr log/log1 ξ+= (6.42) Gdje kockaste zagrade označavaju cjelobrojnu vrijednost, a ξ je uniformno rasporeñena

cjelobrojna vrijednost na intervalu [ ]1,0 . (Ovakav metod generisanja r je primjena transformacijske tehnike inverzne vjerovatnoće.) Kako prekidi mogu biti dosta dugi i jedna vrijednost ξ “generiše” jedan prekid, potencijal efikasnosti je jasan.