InfoKod Jegyzet I-resz Beta1

8/20/2019 InfoKod Jegyzet I-resz Beta1

1/68

INFORMÁCIÓ- ÉS

KÓDOLÁS-ELMÉLET(Kézirat, 2007 augusztusi munkapéldány)

írtákDr. Tóth Mihály és Tóth Gergely


2/68

1. Az

információelméletalapjaiAz információelméletet a legtágabb értelemben vett hírközlés általános elméletének

részeként dolgozták ki. Az elmélet több kutató nevéhez f zdik. Az általános elméletkidolgozójának Norbert Wiener-t szokták tekinteni, de az elmélet alapjai Maxwell ésBoltzmann statisztikus fizikai munkájáig (1894) és Szilárd Leó 1925-ben közzétett, a fizikaiinformáció észlelésével kapcsolatos elméleti munkájáig vezethetk vissza.

Mindezen elzmények után mindazt, amit ma információelméletnek nevezünk, Claude

Elwood Shannon-nak [20] egy 1948-ban a Bell Laboratorium (ma: Lucent Technologies)közleményében megjelent munkája indította el. (Az 55 oldalas, kétrészes cikk letölthet aVilághálóról [19]

1998-ban, az alapcikk megjelenésének 50. évfordulója alkalmából világszerteinformációelméleti konferenciákat is tartottak.)

Shannon a második világháború alatt a Bell Laboratóriumban üzenetek kódolásának,titkosításának és megfejtésének a módszereivel foglalkozott és itt írta meg “A hírközlésmatematikai elmélete” c. fent említett cikkét1. C. E. Shannon 2001. február 24-én elhunyt.

Wiener korábbi javaslata alapján dolgozta ki Shannon a diszkrét információ ún.entrópikus elméletét és vezette be ezzel közvetlen összefüggésben a (zajos) csatornán való

1 A Bell Systems Laboratory az már 1920-ban elkezdett foglalkozni a kommunikáció elméleténekkidolgozásával. Elször a szabályozástechnikából ismert nev Harry Nyquist foglalkozott az„intelligencia” átviteli sebességének technikai kérdésével (1920). C kezdte el „információnak”nevezni azt, amit továbbítottak, ezért ma többször hivatkoznak arra, hogy az információelmélettulajdonképpen Nyquisttel kezddött. Ct követte R.V.L.Hartley, aki kiterjesztette Nyquist„információ” fogalmát (1924) s tulajdonképpen volt, aki hangsúlyozta, hogy ahhoz, hogymértéket lehessen hozzárendelni ehhez a fogalomhoz, el kell tekinteni annak szemantikaitartalmától. Tle származik az a koncepció is, hogy az információ, mint olyan egy végesüzenethalmazból való választást jelent, de sohasem dolgozta ki, hogy pontosan mit ért az általa

bevezetett fogalmak alatt. Nyquist volt az, aki a logaritmusos mértéket elször javasolta, de azegész elméletet végül is Shannon „tette rendbe” a már hivatkozott alapcikkében (1948).


3/68

információátvitelre vonatkozó tételeit, valamint a kódoláselmélet alapvet felismeréseit. Azinformációelméleti entrópiát máig is Shannon-Wiener féle entrópia-fogalomnak nevezik 2.

Shannon, nagy eldeitl némileg eltér en mérnöki szemlélettel közelítette azinformációelmélet alapproblémáit (és éppen ezért alkalmazta Hartleynek a szemantikától valóelvonatkoztatásról mondott elvét.

Jóllehet a legáltalánosabb értelemben vett információközlés (vagy kommunikáció)nemcsak az embertl emberig valamilyen módon eljuttatott információra, hanem eszköz ésember (pl. egy mszer által az emberrel közölt információ), vagy eszköz és eszköz közöttiinformációközlésre is kiterjed, mi az alábbiakban nem általánosítunk ennyire. St, mégannyira sem, hogy a beszéden ill. az írott szöveges – esetleg kódolt – és numerikusinformáción kívül másfajta (pl. zenei vagy képi) információra is kiterjesszük vizsgálatainkat.

Ezek a megszorítások azonban nem érintik a bemutatni kívánt alapvet tételekáltalánosságát. Mindössze arról van szó, hogy így egyszer bb példákon keresztül, induktívmódon, racionális okoskodással lehet az információelmélet alapfogalmait bemutatni. Ez amegközelítés persze matematikailag nem feltétlenül precíz, de úgy gondoljuk, hogy az

érthetséget szolgálja.

1.1. Az információ fogalma a hírközléstechnikábanVannak olyan általános fogalmak, amelyekr l „mindenki” tudja, hogy mit kell alattuk

érteni. Ilyen pl. az „információ” fogalma is. A gond az, hogy az ennyire általános fogalmakatigen nehéz jól definiálni, s ahány tudományterület, annyiféle értelmezése van. Az X.függelékben csatoltunk egy ilyen értelmezési táblázatot.

Hétköznapi értelemben az információhoz mindig valamilyen jelentéstartalmat rendelünkhozzá, azaz az információnak szemantikai tartalma van.

Hangsúlyozni kell, hogy a hírközléstechnikában nem err l az információfogalomról van

szó

3

. Mint Shannon kijelentette: “A hírközlés szemantikai vonatkozásai mszakiszempontból teljesen közömbösek.” ( [2] p.19.)

Warren Weaver a következképp magyarázza ezt: “A hírközlés mszaki elmélete pontosan olyan, mint egy nagyon illedelmes, diszkrét postáskisasszony, aki a táviratunkat a postán felveszi. Azaz nem szentel figyelmet a jelentésnek…, azonban felkészültnek kelllennie, hogy minden, az asztalához érkez üzenetet kezelni tudjon.” ( [2] p.40.)

A fogalmak keveredésének elkerülése végett a továbbiakban a jelentéstartalommalrendelkez, “hétköznapi értelemben vett” információt hírnek nevezzük, az információmegnevezést pedig a hírközléstechnikában használt információfogalomra alkalmazzuk. Azutóbbit technikai rendszerekben mindig valamilyen fizikai dolog hordozza.

A hírközléstechnikának az a dolga, hogy közvetítse azt a hírt, azaz azt a hétköznapiértelemben vett információt, amelynek a továbbítását elvárják tle. Nem egyszer a hír küld je

2 Érdemes megemlíteni, hogy az átlagos információtartalom matematikai statisztikai mértékét Neumann János tanácsára nevezte Shannon információelméleti entrópiának. Ez az elnevezéssok szempontból hasznos volt, de annak is oka volt, hogy kapcsolatba hozták a termodinamikamásodik f tételével és sok filozófiai spekulációra is okot szolgáltatott.

3 Lényegében ez a tartalomtól való elvonatkoztatás teszi lehetvé, hogy az információ mennyiségimértékére valamilyen objektív vonatkoztatási alapot használjunk. Manapság több törekvés isvan arra, hogy az információ jelentéstartalmához is hozzárendeljenek valamilyen mértéket, de

valamennyi javaslat közös problémája, hogy a jelentéstartalom nagyon szubjektív dolog, s ezértmindeddig nem sikerült hozzá jól definiált vonatkoztatási alapot találniE hozzárendelési kísérletekr l némi fogalmat ad az X. függelék.


4/68

valamilyen módszerrel el is rejti az információt vagy annak a jelentését, de a hírközlésirendszernek ettl függetlenül minél pontosabban továbbítania kell az üzenetet.

A hírközl rendszer számára tehát az információ megjelenési formája a fontos, atartalma, jelentése viszont nem4.

Álljunk meg egy szóraAz információ, mint olyan fogalmának pontosítása kedvéért.

Bármit is értsünk információ alatt, annak a keletkezési helyét az információ forrásának, azazinformációforrásnak nevezzük. Ha természetes forrásról van szó, akkor annak a vizsgálatáravalamilyen matematikai modellt alkotunk. Többféle modell ismeretes. Mi itt a továbbiakbanaz egyik legegyszer bb modellt, az un. diszkrét valószínségi modellt alkalmazzuk.Modellünkr l feltételezzük, hogy abban diszkrét, egymástól elkülönül id pillanatokban egy-egy esemény történik, méghozzá véges számú lehetséges esemény valamelyike. Az eseménymegtörténtét az jelzi, hogy annak a hatására egy-egy szimbólumot5 (vagy bett) produkál azinformációforrás. Végeredményben tehát egy n elem, véges ábécé valamelyik bet jét és aforrás kimenete végül is egy betsorozat. Ez eddig kb. megfelel annak, ahogyan egy szövegesinformáció általában keletkezik. A diszkrét valószínségi modellünk esetében azonban azt isfeltételezzük, hogy a forrás egymást követ eseményei egymástól független események s ez aszöveggel leírt információk esetében egyáltalán nem így van, mert egy érthet szöveg semmiesetre sem véletlenszer en elállított betk és írásjelek sorozata. E tekintetben tehát adiszkrét valószínségi modell messze áll a szemantikai tartalommal rendelkez írottinformációtól. Mégis kiválóan megfelel arra, hogy a segítségével a diszkrét információmennyiségi mértékének a fogalmát bevezessük. Jegyezzük meg tehát, hogy - akövetkezkben tárgyalt információ-fogalmak alapja egy matematikai modell. Itt és most az adiszkrét valószínségi modell, amelyet leírtunk. Ezt a modellt aztán a továbbiakban

finomítani fogjuk. A (diszkrét) információ mennyiségi mértékének a meghatározásakor aforrás egyes eseményeit egymástól független eseményeknek tekintjük. Erre azért van szükség,mert az egyes eseményekhez véges valószínségeket rendelünk hozzá és az egymást követ(független!) eseményekre alkalmazzuk majd a valószínségek szorzási szabályát (Bayestétele), amely csakis független eseményekre igaz. E közelít modell alkalmazásának az az ára,hogy a forrás által elállított betsorozat szemantikai tartalmát e modellel nem vizsgálhatjuk.A közelítés további ára az, hogy – mint látni fogjuk – egy természetes nyelv kötöttségei (mint

pl. az, hogy nem torlódhat egymás után akármennyi mássalhangzó), más szóval a szövegstatisztikai szerkezete bizony er sen befolyásolja annak a tényleges információtartalmát, amitaz els közelítésben használt diszkrét valószínségi modell nem vesz figyelembe, nem tudkezelni. Van olyan nézet is, amely szerint egy valóságos forrás átlagos információmennyisége

nem is ismerhet meg, s a viselkedését leíró modell csak egy becslést ad a ténylegesinformációmennyiségre.

4 Ez persze csak els közelítésben igaz. Az üzenetnek ugyanis majdnem minden esetbenvalamilyen statisztikai szerkezete is van, ami a jelentéstartalommal is összefügghet, s ez aszerkezet bizony már érdekes a hírközlés számára is. Err l kés bb még lesz szó. Már ittmegjegyezzük, hogy az ún. rejtjelezett üzenetek megfejtésének legfontosabb támpontja éppen az

itt említett statisztikai szerkezet, mint pl. a betgyakoriság egy szövegben.5 A FOLDOC szótár szerint „token”-nek is nevezik a forrásszimbólumot.


5/68

1.2. A folytonos és a diszkrét információValamilyen fizikai folyamatról, jelenségr l, állapotról méréssel szerzett információ

alapveten kétféle lehet: folytonos (analóg), vagy számjegyes (digitális).

Az “igazán” folytonos jel mind id ben, mind nagyságának eloszlásában

(amplitúdójában) folytonos, azaz egy meghatározott tartományban bármilyen értéket felvehet.A gyakorlatban az id beli folytonossággal kapcsolatban korlátozást jelent, hogy a jel

változási (vagy észlelési) sebessége mindig korlátozott. Ismeretes, hogy az emberi fül pl. a16 Hz-tl 16 kHz-ig terjed frekvenciatartományba es hangokat képes érzékelni, de ehhezhasonló korlátozás érvényes bármilyen érzékel mszerünkre is.

Az ilyen korlátozott frekvenciatartományú jelek az általuk hordozott információ teljesmegrzésével id ben diszkrét jelekké alakíthatók. C. E. Shannon erre vonatkozóan állította felaz ún. mintavételi törvényét, de ezzel itt részleteiben nem foglalkozunk. A Shannon-félemintavételi törvény egyik lényeges megállapítása az, hogy ha egy folytonos jelfrekvenciaspektruma felülr l határos, azaz egy f max frekvenciánál magasabb frekvenciájú

komponenseket már nem tartalmaz, akkor egy f s >2* f max frekvenciájú. id ben diszkrétmintasorozatból az eredeti, folytonos jel maradéktalanul visszaállítható, tehát a mintasorozattartalmaz minden információt, ami a mintavételezés eltti jelben megvolt.

A mondott id beli átalakítás után a jelek amplitúdó eloszlása még mindig folytonos, dea gyakorlatban mindig véges érzékelési pontosság miatt az ún. kvantálási eljárással azamplitúdó eloszlás is diszkrétté tehet.

Pontosan ilyen, kétlépcss analóg/digitális átalakítást végeznek el hangfelvételeken mi-eltt CD-re rögzítik a hangfelvétel által hordozott információt. Lejátszáskor azután a fordítottátalakítás történik meg. Mint tudjuk, a CD lejátszó jó hangtechnikai berendezéssel igen jóminség hangot produkál, s ez nem lenne így, ha az eredeti hang-információból sok elveszneaz átalakítások során.

A modern kommunikációs technológiára hivatkozva nagyon sok példát lehetnefelsorolni arra, hogy mennyire sikeres a digitális technika és, hogy miért az.

E felsorolástól eltekintve a továbbiakban figyelmünket a diszkrét információkrafordítjuk.

1.3. A diszkrét információ, mint választási lehet ! ségVizsgáljunk meg egy olyan példát, amelyben latin betkkel írott szöveges információt

közöl az információ forrása. Ebben az esetben az ún. jelkészlet az ábécé kis és nagy betibl,számokból, írásjelekbl, szóközbl, az üzenet elejét és végét, valamint a lapdobást jelz

jelekbl és hasonlókból áll.

Mindezeket gy jtnéven a forrás szimbólumkészletének, jelkészletének vagyábécéjének nevezzük. Ez a szimbólumkészlet véges számú elemet tartalmazó halmaz.Egészen biztosan vannak benne elemek, tehát nem üres halmaz, azaz

• a forrás szimbólumkészlete véges, nem üres halmaz,

• és egy szimbólum közlése felfogható úgy is, hogy ebbl a halmazból kiválasztunk egyelemet, s azt továbbítjuk, mint információt.

Az ilyen véges szimbólumkészlettel rendelkez információforrást diszkrét forrásnaknevezik.

Ez a fajta felfogás (pontosabban az erre bevezetett diszkrét valószínségi modell - lásd

az E Függeléket is) alkalmas arra, hogy segítségével mennyiségi mér számot rendeljünk azinformációhoz. Mieltt ezt megtennénk, vizsgáljunk meg még egy példát:


6/68

Milyen szimbólumkészletbl választják ki az ötös lottó els nyer számát és hány elemez a szimbólumkészlet?

A válasz: Az 1-tl 90-ig terjed természetes számok készletébl, tehát aszimbólumkészlet 90 elembl áll. (Gondoljunk arra, hogy valóban 90 db számozott golyóhalmazából választanak.)

1.4. A szimbólumkészlethez rendelt valószín$ ségi modellAz elz pontban említett, szöveges információt közl forrást vizsgálva, ha az pl.

magyar szavakat közöl betr l betre, akkor eléggé nyilvánvaló, hogy a különböz betk elfordulási valószínsége is különböz. A magyar nyelvben (és történetesen az angolban is)

pl. az e bet fordul el leggyakrabban. (lásd az E Függeléket az írott magyar nyelv betgyakoriságairól.)

Sok szöveget megvizsgálva minden bethöz hozzárendelhet egy-egy valószínség sezek a valószínségek többnyire különbözek.

Általánosítva az elmondottakat:

Adjon hírt egy véges, diszkrét E eseményrendszer, azaz{ }1 2; ; ;k n E E E E E = K K (1.1)

eseményeinek bekövetkeztér l egy n elem véges szimbólumkészlet

{ }1 2; ; ;k n X x x x x= K K (1.2)

amelynek minden egyes xk eleméhez meghatározható egy-egy P(xk ) elfordulásivalószínség:

( ) ( ) ( ) ( ) ( ){ }1 2; ; ;k n P X P x P x P x P x= K K (1.3)

úgy, hogy ezek egyike sem nulla, azaz P(xk ) > 0 minden egyes P(xk ) –ra, azaz nem lehet zérusvalószínség esemény.

Továbbá

( )1

1n

k k

P x=

= (1.4)

ami azt jelenti, hogy egészen biztos (biztos esemény), hogy amikor egy szimbólumotválasztani kell, akkor azt az adott szimbólumkészlet elemei közül választjuk ki, és aszimbólumkészlet nem tartalmaz olyan elemet, amelyet sohasem választunk ki.

A P(xk ) = 1 valószínség esemény elvileg megengedett, de akkor – a (1.4) szumma

miatt – e biztos eseményen kívül nem is fordulhat el más esemény a rendszerben. Mivel bennünket az olyan információforrások érdekelnek, amelyek nem csak egyetlen egy hírtképesek generálni, ezért ezzel az esettel sem kell számolnunk.

Az ilyen tulajdonságokkal rendelkez valószínségi modell ún. teljes eseményrendszerthatároz meg.

A véges szimbólumkészlet elemeihez rendelt valószínségek halmaza egyébkéntdiszkrét valószínségi modell. (Az elmondottakból következik, hogy miért.)

A diszkrét forráshoz tehát diszkrét valószínségi modell tartozik.

Mind az


7/68

{ }1 2; ; ;k n E E E E E = K K eseményrendszer, mind az

{ 1 2; ; ;k n X x x x x= K K

véges szimbólumkészlet, mind pedig a( ) ( ) ( ) ( ) ( ){ }1 2; ; ;k n P X P x P x P x P x= K K

diszkrét valószínségi modell egy-egy halmazként értelmezhet és a továbbiakbanszemléletes lesz ezeket a halmazokat Venn diagramjaikkal ábrázolni:

A diszkrét forráshoz többféle valószínségi modell rendelhet hozzá.

Bizonyos szempontból a legegyszer bb az, amelyben a forrás valamennyiszimbólumához azonos valószínséget rendelünk hozzá, azaz n szimbólum esetén mindegyikelfordulási valószínsége 1/n.

Ebben a modellben a szimbólumok el"fordulása egymástól független (independent) és avalószín&ségek eloszlására azonos (identically distributed). A továbbiakban erre az iidrövidítést használjuk. (Independent, identically distributed).

Ha a szimbólumok elfordulása ugyan független egymástól, de a valószínségeikvéletlenszer en (randomly) fordulnak el, akkor erre a modellre a továbbiakban az ird(Independent, randomly distributed) rövidítést használjuk.

Az eseményhalmaz, a szimbólumkészlet és a diszkrét valószínségi modell, minthalmazok és kapcsolataik ábrázolása Venn diagramjaikkal

1-1. ábra: Diszkrét valószín&ségi modell halmazai és azok összefüggései

Természetesen létezik leképezés az E eseményhalmaz és a P(X) valószínségi modellközött is, de ezt az ábrán nem jelöltük.6

Megjegyzés: Tekintettel arra, hogy több eseményhez is tartozhat ugyanolyan érték

valószínség, ezért a szimbólumkészlet és a valószínségek halmaza (amit valószínségitérnek is neveznek) között egyértelm ugyan, de nem kölcsönösen egyértelm a leképezés.Ugyanez elmondható az eseménytér és a valószínségek halmaza közötti leképezésre is.

1.5. Az információ mértékeEmlítettük, hogy diszkrét forrás esetén egy-egy szimbólum által hordozott információ

mennyisége valamilyen módon függ az adott szimbólum kiválasztásának valószínségétl.

( )( )k k I f P x= (1.5)

6

Könnyen belátható, hogy ez a leképezés általános esetben nem kölcsönösen egyértelm, mertegynél több forrás-eseménynek is lehet ugyanolyan valószínsége, tehát a valószínségekáltalában nem határozzák meg egyértelmen a forrás-eseményt.


8/68

ahol I k a k -adik szimbólum által hordozott egyedi információ mértéke. Úgy is fogalmazhatjuk,hogy a k-adik (Ek) esemény bekövetkezésér l szóló hír információtartalma.

Egy hír információtartalma tehát azon esemény bekövetkezési valószínségének

reciprokától függ, amely eseményr l az adott hír tudósít.

Spekulatív úton arra következtethetünk, hogy minél meglep bb egy esemény, annálértékesebb az arról szóló hír. Ezt úgy is fogalmazhatjuk, hogy minél kisebb egy esemény

bekövetkezési valószínsége, annál nagyobb az arról szóló hír információtartalma. Vagyis azinformációtartalomnak nagyobbnak kell lennie, ha az esemény valószínsége kisebb, éskisebb kell, hogy legyen az esemény hírértéke, ha a bekövetkezésének nagy a valószínsége.Ezt minden újságszerkeszt és minden szabadúszó újságíró tudja.

Ez a megállapítás jól használható az (egyelre még) ismeretlen f függvénymeghatározásához, de még nem elegend.

Vizsgáljunk meg most egy olyan esetet, amelyben egy összetett esemény egymástólfüggetlen rész-eseményekre bontható.

Tegyük fel, hogy egy tetcserép gyár úgy szerkeszti meg a katalógusát, hogy mindegyikcseréptípust külön-külön tünteti fel és mindegyik cseréptípusból ugyanolyan színválasztékotgyárt s a kapható színeket egy külön katalógusban sorolja fel.

Valahogyan a következképp:

Tipusválaszték SzínválasztékSztenderd P(T 1 ) natúr P(Sz1 )Hódfarkú P(T 2 ) Piros P(Sz2 )Alpesi P(T 3 ) barna P(Sz3 )Kolostor P(T 4 ) szürke P(Sz4 )

A táblázatokba mindjárt beírtuk az egyes típusok választásának P(T i ) és az egyes színekválasztásának P(Sz j ) valószínségeit (amelyeket egy adott idszak vásárlási szokásainakfigyelésével pl. a gyártó marketing részlege határozott meg).

Így egy adott típus (nevezetesen az i-edik) kiválasztásáról szóló hír információtartalma:

( )

1iT

i

I f P T

=

(1.6)

Hasonlóan a j-edik szín kiválasztásáról szóló hír információtartalma:

( )1

jSz

j

I f P Sz

= (1.7)

Az a logikus, ha a típus és a szín együttes kiválasztásáról szóló hír információtartalma afenti két egyedi információ-mennyiség összege, azaz

( ) ( )1 1

i jegyüttes T Szi j

I I I f f P T P Sz

= + = + (1.8)


9/68


10/68

Persze a leírt példa nélkül is rájöhettünk volna, hogy független eseményekre avalószínségek szorzási szabálya érvényes, a valószínségek függvényeként meghatározottinformációtartalmakat pedig össze kell adni. Eléggé nyilvánvaló, hogy ezt a két mveletet alogaritmusfüggvény kapcsolhatja össze.

Mindenesetre emlékezzünk arra, hogy spekulatív (heurisztikus) úton jutottunk el ide

abból kiindulva, hogy közönséges értelemben mit is tekintünk egy hír mennyiségi értékének(ti. a valószínsége reciprokától függ valamit) és hogy hogyan is kellene “viselkednie” egyilyen függvénynek, nevezetesen: az együttes hír információtartalmát lehessen kiszámítani azegyedi hírek összegzésével.

Ténykérdés, hogy az információelmélet nagynev tudósai is úgy jutottak el azinformáció fogalmához, hogy egy axiómarendszerben összefoglalták, hogy milyennek iskellene lennie az információmennyiséget meghatározó függvénynek, s olyan függvényeketkerestek, amelyek eleget tesznek egy ilyen axiómarendszernek. (Err l kés bb, az entrópiafüggvény kapcsán még említést teszünk.)

(Talán szükségtelen is megemlíteni, hogy e nagynev tudósok nem a tetcserép-

marketinggel foglalkoztak.)A fentieket figyelembe véve tehát diszkrét forrás esetén egy P(xk ) valószínség forrás-

szimbólum kiválasztásának egyedi információtartalma7:

( ) ( )

1log logk a a k

k

I P x P x

= =

(1.13)

Néhány megjegyzést kell hozzáf zni ehhez az összefüggéshez:

A negatív el jel azért szükséges, mert a valószínségek mind 1-nél kisebb számok,amelyek logaritmusa negatív szám. Éppen az összefüggésben szerepl mínusz jel miatt lesz az

egyedi információ értéke mindig pozitív.A logaritmusfüggvény folytonos és monoton függvénye az argumentumának. Így az

információ mennyisége is folytonos függvénye az esemény valószínségének. Minél kisebbaz esemény valószínsége, annál nagyobb a hozzárendelhet információ mértéke.

Nulla valószínség esemény – többek között – azért sem fordulhat el a diszkrétforráshoz rendelt valószínségi szkémában, mert a zérus logaritmusa nem értelmezhet.

Mivel a biztos esemény valószínsége 1, és 1 akármilyen alapú logaritmusa 0, ezért a biztos esemény információtartalma nulla. Ez egybevág azzal a korábbi megfontolásunkkal,hogy egy esemény hírértéke annál kisebb, minél biztosabb annak a bekövetkezése, és fordítva.

Mint a következkben látni fogjuk, nagyon kézenfekv választás, hogy egységnyinek

tekintjük azt a hírt, amely két, egyenlen valószín esemény közti választásról (alternatíváról)értesít bennünket.

7 Van olyan szakirodalom, amely ezt a mennyiséget „öninformációnak” (self-information) nevezi.


11/68

1.6. Az információ mennyiségi mér ! száma és egységeiFoglalkozzunk most a fenti összefüggésben szerepl logaritmus alapszáma

megválasztásának kérdésével! Ettl mindössze az információ mennyiségének mér számafügg.

Ha a logaritmusalapszáma…

Az információmértéke:

Az információmértékegysége

10 ( )lgk k I P x= hartley

2 ( )2logk k I P x= bit

a természetes logaritmusalapszáma (e)

( )lnk k I P x= nat

Mivel a ugyanannak a számnak a különböz alapú logaritmusai csak egy-egy

szorzófaktorban különböznek, azért a fenti egységek között az alábbi váltószámokérvényesek:

bit nat Hartley

1 bit = 1 0,693 0,3011 nat = 1,443 1 0,4341 hartley= 3,322 2,302 1

(Tehát 1 bit = 0,301 Hartley és így tovább.)

Gyakorlatilag az esetek túlnyomó többségében a bit egységet használjuk, amelynek

nagyon kézenfekv jelentése is van:1.7. Az elemi döntésElemi döntésnek nevezzük azt a hírt, amely két azonos valószínség esemény közti

választás eredményér l számol be.

Könny belátni, hogy az elemi döntés információtartalma éppen egy bit. Mivel feltételszerint a döntés mindkét lehetséges kimenetele egyforma valószínséggel fordul el, ígymindkét esemény elfordulási valószínsége ½. A döntés lehetséges kimeneteleir l szólóhírek információtartalma ezek szerint megegyezik, és az alábbi formulával számítható:

[ ]0 1 21

log 1

2

I I bit = = =

(1.14)A döntés lehetséges kimeneteleihez mint eseményekhez a (1.14) képletben a ’0’ és az

’1’ szimbólumokat rendeltük. Ennek pusztán tradicionális oka van. Használhattunk volna másszimbólumokat is: például az ’I’ és ’H’ jeleket, a ’+’ és ’-’ jeleket, vagy bármilyen másszimbólumpárt.

Minél több lehetséges kimenetele van egy döntésnek, nyilván annál kisebb az egyeskimenetelek elfordulási valószínsége – feltéve persze, hogy az egyes kimenetelek egyformavalószínséggel fordulhatnak el. Ugyanez fordítva is igaz: minél kevesebb lehetségesalternatíva közül kell választanunk, annál nagyobb az egyes alternatívák választásának esélye,és ennek megfelelen annál kisebb az egyes választásokról szóló hírek információtartalma.

Ténylegesen kettnél kevesebb lehetséges eset közül már nem is kétséges a választáseredménye, azaz a lehet legkevesebb információt hordozó választás éppen az elemi döntés.


12/68

Ez az oka annak, hogy sok helyen az információ egységének az elemi döntést, illetve a bitettekintik.

A (1.14) formula arra is rámutat, hogy egy olyan bináris kódban, amelyben bármely bináris számjegy (binary digit – bit) egyforma valószínséggel fordul el, egy-egy számjegyéppen 1 bit információt hordoz. Tehát a bit, mint bináris számjegy információtartalma éppen 1

bit. Szerencse, hogy két fogalom jelentése egybeesik, különben nehezen lehetnemegmagyarázni, hogy a bináris számok egy-egy számjegyének a megnevezésére használt„bit” szó és ugyanannak a számjegynek az információtartalmára használt „bit” egység nemugyanaz.

Megjegyezzük, hogy ha egy logikai áramkörnek ún. three state, azaz háromállapotúkimenete van, akkor is 1 bit az információtartalma annak a hírnek, hogy a két meghatározott(magas vagy alacsony) logikai szint közül melyik következett be. A harmadik „lebeg”logikai állapot ilyenkor azt jelenti, hogy nem történt logikai információt hordozó esemény.Ezért lehetséges az ilyen áramköröket a kétállapotú Boole algebrai modellekkel kezelni.

Más a helyzet akkor, ha egy kétkarú mérleggel összehasonlító mérést végzünk. Ennek a

mérésnek ugyanis háromféle eredménye lehet:Vagy a baloldali serpeny be helyezett tömeg a nehezebb,Vagy a jobboldali serpeny be helyezett tömeg a nehezebb,Vagy egyforma a két tömeg.

Ha egy adott esetben mindhárom mérési eredmény azonos valószínséggel fordulhatel, akkor egy ilyen mérés eredményér l szóló hír információtartalma:

[ ] [ ]lg3 0,477 1,585 I hartley bit = = = (1.15)

1.8. Az információelméleti entrópiaBármilyen gyakorlati hírközlési feladat esetén egyedi hírek egymás utáni, folyamatos,

szekvenciális közlésér l van szó. E folyamat id beliségével majd csak kés bb foglalkozunk.Eléggé kézenfekv az is, hogy az ilyen hírközlés, mint folyamat szempontjából az egyes

hírek információtartalma helyett magára a folyamatra inkább jellemz a folyamat egyeshíreinek átlagos információtartalma. Ezt úgy számíthatjuk ki, hogy képezzük az egyes hírekelfordulási valószínségével súlyozott egyedi információinak összegét. Egy jelforrás nelem X szimbólumkészlete összes szimbólumának átlagos információtartalma tehát:

( ) ( ) ( )1

logn

i a ii

H X P x P x=

= (1.16)

Ezt a mennyiséget információelméleti entrópiának 8

nevezik. Az adott esetben ez a jelforráshoz tartozó ún. forrás-entrópia.

(V.ö. azzal, amit korábban a diszkrét valószínségi modellr l, mint a forrás egyegyszer közelítésér l mondtunk.. Van szakirodalom, amely a fenti mennyiség, mint becslés

jellegét hangsúlyozandó ezt az entrópia els becslésének tekinti.)

8 Ez a Shannon és Wiener által bevezetett fogalom az információelmélet legfontosabb

alapfogalma. Látni fogjuk, hogy összetett valószínségi modellek esetén az entrópia-fogalomáltalánosítható s többféle (információelméleti) entrópia is létezik, de mindegyik általánosításnakez az alapja.


13/68

Mivel definíciója szerint az adott szimbólumkészlet egyes elemei átlagos információ-mennyiségét jelenti ezért egysége a

• bit/szimbólum,• bit/jel,• bit/bet,• stb

aszerint, hogy szimbólumkészletre, jelkészletre, vagy a forrás ábécéjére vonatkoztatjuk.Természetesen, ha az információ kifejezésére bit egység helyett nat-ot, vagy hartley-thasználunk, akkor az entrópiát is eszerint kell megadni.

Az egyes eseményekhez tartozó valószínségek diszkrét eseményrendszer(következésképp diszkrét valószínségi modell) esetén is bármilyen értéket felvehetnek 0 és 1között. A valószínségek tehát diszkrét modell esetén is folytonosan változhatnak ebben atartományban.

Ebbl következik, hogy az entrópia a valószínségek folytonos függvénye.

Valószínségszámítási szempontból az információelméleti entrópiát a valószínségek

negatív logaritmusának, (azaz az egyedi információ) mint valószínségi változó várhatóértékének tekinthetjük:

( ) ( )( ) ( )loga k k H X E P x E I = = (1.17)

Ez a megközelítés különösen hasznos az entrópia függvény alább felsorolttulajdonságainak belátásában, illetve a fejezetben tárgyalt kétdimenziós kommunikációsmodell esetében.


14/68

1.9. Az entrópia függvény tulajdonságaiFolytonosság

A H(x1 ,x2 ,…xk ,…xn ) függvény folytonos minden P(xk ) változójában.

A folytonosság más szóval azt jelenti, hogy ha bármelyik valószínség csak egy egészenkicsit változik, akkor az entrópia is csak egészen kicsivel változik meg:

1-2. ábra: Függvények folytonossága

Könny belátnunk a tulajdonság meglétét: hiszen az egyedi információ az eseményekvalószínségeinek folytonos függvénye (ti. a log függvény folytonos), ezek várható értéke

pedig – mint folytonos függvények lineáris kombinációja – szintén folytonos függvény.

Milyen gyakorlati jelentsége van az entrópia függvény folytonosságának?

Képzeljük el, hogy egy kaszinóban kockázunk, és a „jobb hatásfok” érdekében cinkeljük

a kockát. Ha a kocka „nagyon” cinkelt, akkor a krupiénak gyorsan szemet fog szúrni, hogyállandóan hatost dobunk, és kitiltanak a kaszinóból. Ha viszont csak kicsit cinkeljük a kockát,


15/68


16/68

Ilyen értelemben mondhatjuk azt, hogy az entrópia a bizonytalanság mértéke.9

Furcsa, de úgy is mondhatjuk, hogy az entrópia azt mutatja meg, hogy mennyire nem tudjuk,hogy mi a kérdéses esemény kimenetele s annak a bekövetkezésér l szóló hír éppen ezt e„nemtudást” szünteti meg, vagyis éppen annyi információt közöl, amennyi ennek a„nemtudásnak” a mértéke.

1.9.3. Additivitás

Az eseményhalmaz egyes eseményeinek csoportosításával abizonytalanság nem változik.

Legyen az E eseménytér k -adik eseménye E k , és legyen ennek a bekövetkezésivalószínsége P(xk ). (Ezek pontosan az eddigiekben használt fogalmak és a követett

jelölésmód.)

Csoportosítsuk most az E eseménytér egyes eseményeit egymástól függetlencsoportokba (diszjunkt részhalmazokba). Mindegyik ilyen részhalmazhoz tartozik egy-egy

valószínség, amely a beletartozó egyes események valószínségeinek összege.10 Egyesemény bekövetkezése – mint korábban láttuk – úgy is értelmezhet, mint egy véges halmazelemeibl való választás. A csoportosítás azt jelenti, hogy elször azt a csoportot(részhalmazt) választjuk ki, amelyben az esemény bekövetkezett. Ehhez a választáshoztartozik egy rész-információ. Ez után pedig a kiválasztott csoportba tartozó események közülazt, amelyik az adott esetben bekövetkezik, s ehhez a választáshoz is tartozik egy rész-információ. Végül is a csoportosítás miatti ketts választás teljes információtartalmaszükségképpen a két választás egyedi információinak összege.

(Lényegében ugyanazt a gondolatmenetet követjük itt, mint amit az információkvantitatív mértékének bevezetésekor leírt áruválaszték és katalógusok kapcsán elmondtunk.)

Az itt vázolt megfontolásból következik az entrópia (függvény) additivitása, amit a fenti4. pontban állítottunk.

A gondolatmenet meg is fordítható s az E k eseményt feloszthatjuk m darab, egymástólfüggetlen F 1 , F 2 ,… F j ,… F m, részeseményre úgy, hogy e részesemények valószínségeinekösszege éppen P(xk ) legyen.

Imígyen egy újabb F eseményrendszerrel helyettesítettük az el bbi E eseményrendszerk -adik eseményét. Tehát ha az F eseményrendszer valamelyik eseménye bekövetkezik, akkoraz a „saját” valószínségén kívül még P(xk )-val súlyozva járul hozzá az E eseménytér

bizonytalanságához és – additív módon – a „saját” entrópiájával növeli az eredeti E eseménytér entrópiáját.

Az itt alkalmazott eljárás igen hasznos relatív vonatkoztatási rendszert ad, ti. az E k eseményre vonatkoztatott F j, mint az el bbi részeseménye fogalmát és az ezzel kapcsolatosún. feltételes valószínségeket

Ezekkel a fogalmakkal alább, a kétdimenziós eseményrendszerek és valószínségimodellek kapcsán foglalkozunk majd.

A fenti megfordításból közvetlenül adódik az entrópia függvény additivitásának egymásik megfogalmazása:

9 Ez a megfogalmazás Hincsintl származik – legalább is, ami az információelméleti

alkalmazását illeti.10 Itt hallgatólagosan ismét feltételezzük, hogy független eseményekr l van szó, mert csak ezekreérvényes a valószínségek összegezési szabálya.


17/68

Új események bevezetésével az eseményrendszer bizonytalansága nemcsökken.

Ez azt jelenti, hogy ha egy eseményrendszer „jelentéktelen” eseményeit egyetlencsoportba foglaljuk össze, és ezt a csoportot elemi eseménynek tekintjük, akkor az így nyertrendszer bizonytalansága nem nagyobb, mint az eredeti rendszeré.

Legyen adott egy

{ }1 2 1; ; ; ; ;n n E E E E E += K K (1.19)(nem feltétlenül véges elemszámú) független eseményekbl álló eseményrendszer.Csoportosítsuk az En+1, En+2, … eseményeket egyetlen F eseményhalmazba:

{ }1 2; ;n n F E E + += K (1.20)Ekkor

( ) ( )1 2 1 2 1, , , , , , ,n n n H x x x F H x x x x +K K K (1.21)

A (1.21) egyenltlenség fontos alkalmazása az az eset, amikor nem ismerjükvalamennyi esemény bekövetkezési valószínségét, st esetleg magukat a lehetségeseseményeket sem látjuk mind elre. Ilyenkor bevett szokás, hogy az elre nem láthatóeseményeket egyetlen „rendkívüli eseménnyel” helyettesítjük, amelynek valószínségét úgyszámítjuk, hogy az ismert valószínségek összegét kivonjuk 1-bl.

Az entrópia függvény felsorolt négy tulajdonságát à priori axiómáknak is lehet tekinteni,amelyekbl levezethet, hogy milyen analitikus függvény-formula elégíti ki ezeket azaxiómákat. Ilyen eljárásokat alkalmaznak pl. Feinstein, Hincsin, Shannon, Schützenberger ésmások különböz munkáikban. Kiderül ezekbl, hogy többféle olyan függvény is van, amelykielégíti a leírt négy axiómát, de mindezek közül a Shannon-Wiener-féle formula alegegyszer bb. Reza [1] szerint az információelmélet nem utolsó sorban éppen azértfejldhetett, mert olyan egyszer alapfogalomra épül, mint Shannon és Wiener formulája:

( ) ( ) ( )21

logn

i ii

H X P x P x=

= (1.22)ahol – mint láttuk – az összegezést a véges, diszkrét forrás szimbólumkészletének ( X )valamennyi (azaz összesen n) elemének valószínségeire el kell végezni, és a kapottszámérték a logaritmus alapszámának megválasztásától függ. Itt a képletben 2-es alapszámúlogaritmust adtunk meg, amit a továbbiakban, az egyszer bb írásmód kedvéért ld –vel

jelölünk majd.

1.10.

A jelforrás hatásfoka, a redundancia, a relevancia és az illeszt ! kódolás

1.10.1. A jelforrás hatásfokaEgy jelforrás különböz mennyiség információt ad, amikor jelkészlete különböz

szimbólumait (vagy ábécéje különböz betit) bocsátja ki:

A kis gyakoriságú betk esetén az átlagosnál nagyobb információt – de ritkán. A nagyvalószínség jeleknél az átlagosnál jóval kisebb információt – de gyakran.

Mindent összevetve az el bbiekben láttuk, hogy a betnkénti átlagosinformációmennyiség akkor lenne a legnagyobb, ha a jelforrás ábécéjében minden betnekugyanakkora lenne a kibocsátási valószínsége. n bet esetén ez az érték:


18/68


19/68

1.10.3. Az illeszt ! kódolásTénykérdés, hogy ha egyáltalán nem vagyunk tekintettel a forrásra, akkor az információ

gazdaságos továbbítása szempontjából az lenne a jó, ha egy-egy szimbólum – vagy ahozzárendelt kód – azt a maximális információt hordozná, amelyre optimális esetben

egyáltalán képes.Az információforrás jelkészletének, ill. az abból egy egyértelm leképezéssel

elállítható forráskódnak 12 tehát akkora a redundanciája, amekkorát a forrás statisztikaiszerkezete meghatároz. Ha a gazdaságos információtovábbítás kedvéért ennél kevésbéredundáns, st: a lehet legkisebb redundanciával rendelkez ún. csatornakódot szeretnénkelállítani az információt továbbító csatorna számára, akkor ezt egy ún. illeszt kódolóvallehet megoldani. Az itt elmondottakat szemlélteti a következ blokkvázlat:

1-3. ábra: Illeszt" kódolás blokkvázlata

Itt úgy ábrázoltuk az információforrást, mint ami „egybl” kódolt információt(forráskódot) bocsát ki. Feltételeztük ugyanis, hogy az à priori forrásszimbólumhoz aforráskód hozzárendelése már az információforráson belül megtörténik. (lásd a 12.lábjegyzetet is.)

Shannon is és mások is kidolgoztak eljárásokat arra, hogy hogyan lehet ismertstatisztikai szerkezet forráskódhoz olyan csatornakódot szerkeszteni, amelynek minimális(vagy, ha elérhet, akkor éppenséggel nulla) a redundanciája. Ezt a feladatot illesztkódolásnak nevezik, és egy, az alábbiakban majd részletesebben kifejtett, fejezetbenfoglalkozunk vele.

A relevanciaA „redundancia” szóhoz nagyon hasonló hangzású szó a „relevancia” szó, amit

ugyancsak az információval kapcsolatban szokás használni.

Amíg azonban a redundancia objektív fogalom, amely semmilyen összefüggésben nincsa forrásinformáció jelentésével, addig a relevancia nagyon is szubjektív valami, ami éppen aztfejezi ki, hogy az adott információ valakinek vagy valaminek a szempontjából mennyire

fontos, számára mennyire érdekes. A relevancia fogalma nem tárgya az információelméletszakterületének, és – a shannoni értelemben – nem is rendelhet hozzá számszer mérték.

12 Emlékezzünk arra, hogy a forráshoz olyan diszkrét valószínségi modellt rendeltünk hozzá,amely szerint minden esetben, amikor egy esemény történik a forrásnál, az valamilyenszimbólummal jelzi ennek az eseménynek a bekövetkeztét. Szöveges forrásnál pl. egy tágértelemben vett ábécé egy bet jével.Ha a forrás pl. egy mér berendezés, akkor egy mérési adattal, amely nem csak egy számértéket jelenthet, hanem egységet, méréstartományt, a mérés id pontját és más, a méréshez tartozó,többnyire numerikus adatot is.Akármilyen adatról vagy egy ábécé egy szimbólumáról van szó, manapság gyakori, hogy azt a

forrás eleve egy bináris kód formájában jeleníti meg s ilyenkor ezt a kódot nevezzükforráskódnak.Mindezekre a kérdésekre a kódolással foglalkozó fejezetben kés bb visszatérünk majd.


20/68

Ugyanakkor az információ más aspektusait vizsgáló tudomány területeken a relevancia azinformációnak nagyon is fontos, lényeges tulajdonsága

Például egy meghatározott részvény tulajdonosa számára nagyon is releváns információaz a hír, amely közli annak a bizonyos részvénynek a tzsdei ármozgásait. Valaki másszámára, aki nem tzsdézik, az el bbi információ talán egyáltalán nem releváns (azaz

irreleváns). A relevancia egy hír szemantikai tartalmának és a hír fogadója etartalom iránti (szubjektív) érdekl 5 désének viszonyát fejezi ki, s nincsis számértéke,

hanem csak határozókkal fejezik ki. Például bizonyos hír számomra nagyon releváns, másvalaki számára viszont egyáltalán nem az. Vagy: egy bizonyos hír relevanciája számomranagyobb, mint egy másik adott híré. Vagy: egy bizonyos szónok beszéde számomrasemmilyen releváns információt nem közvetít.

1.10. Az eseménytér

Nem mindig nyilvánvaló, hogy mit tekintünk egyetlen, egyedi eseménynek, mert azlehet több, bizonyos szempontból egy kalap alá vonható esemény-együttes (halmaz) is.

Ilyen szempontból igen hasznos az eseményteret, az esemény bekövetkezésér l hírt adó jelek halmazát és az eseménytérhez rendelhet diszkrét valószínségi modellt, egyaránthalmazokként kezelni, halmazoknak tekinteni. (lásd a Hiba! A hivatkozási forrás nemtalálható. példát a 1. fejezet végén!)

Az illeszt kódolásnak pontosan az a szerepe, hogy csökkentse a forrás redundanciáját, stegye ezt úgy, hogy megfelel csatornakód választásával illeszti a forrás statisztikaiszerkezetét a csatornához.

Az 1-1. Táblázat egy ún. irreducibilis13 kódot mutat be, amelyben ránézésre úgy tnhet,

hogy sokkal több 1-es bit látszik benne, mint 0-ás bit. Márpedig, ha egy binárisan kódoltinformációban nem azonos a 0-ás és az 1-es szimbólumok elfordulási valószínsége, akkorcsökken az átlagos információtartalom (ti. az entrópia függvény szélsérték tulajdonságamiatt).

Vizsgáljuk meg azt is, hogy az adott esetben mi a helyzet a 0-ás és az 1-es számjegyekgyakoriságával! A kódszavak gyakorisága ismert, tehát ebbl indulunk ki.

Bet pi kódszó A 0-ákszáma

Az 1-esekszáma

0 átl. 1 átl.

A 12 0 1 0 12 0

B1

4 10 1 11

4

1

4C 18 110 1 2 18 28D 116 1110 1 3 116 316E 132 11110 1 4 132 4 32F 132 111110 1 5 132 532

3232 1= 3132 0,97

1-1. Táblázat: Egy lehetséges illeszt" kód

13 Irreducibilitással részletesebben foglalkozunk a fejezet végén a kidolgozott példák között a példakapcsán, illetve Hiba! A hivatkozási forrás nem található. fejezetben.


21/68

Látható, hogy kódszavanként átlagosan 1-1 db 0-ás számjegy fordul el (ezt számolnisem kellett, mert „ránézésre” látható, hogy mindegyik kódszóban 1-1 db 0-ás jegy van) az 1-es számjegyek átlagos elfordulása pedig 0,97; azaz majdnem ugyanakkora, mint a 0-ásszámjegyeké. A választott kód tehát ebbl a szempontból is nagyon jól kiegyenlített. (A„kiegyenlítettség” általában nem nyilvánvaló. A mértéke is befolyásolható. Erre az ún.

Huffman kódolásnál még visszatérünk.)

1.11. A diszkrét valószín$ ség-eloszlások deduktív leírása, példákAz eddigiekben elmondott és bemutatott egydimenziós (és az ezt követen bemutatni

kívánt kétdimenziós) eseményterek és minden, amit ezekkel kapcsolatban elmondtunk és elfogunk mondani, a Shannon-féle hírközlési modellbl indul ki. A diszkrét valószínségeloszlásoknak azonban volt ezt a modellt megelzen is deduktív leírásuk. Most ezt idézzükfel, hogy bemutassuk, hogy a dolog tökéletes analógiát mutat azzal, amit a Shannon-félemodellel kapcsolatban megmutattunk.

1.12.1. Diszkrét valószín$ ségfüggvények és eloszlásokVizsgáljunk meg egy véletlen eseményhez tartozó E eseményteret. Ha egy véletlen

esemény kimeneteleinek száma véges14, akkor diszkrét eseménytérr l beszélünk.

A diszkrét eseménytér eseményeihez egy ; diszkrét valószínségi változót rendelünkhozzá, amely minden egyes kísérleti eredményhez (ti. egy-egy kísérlet lehetségeskimeneteleihez) az

{ }1 2; ; ;k n X x x x x= K K (1.27)

egy-egy elemét rendel hozzá, azaz az ; (diszkrét) valószínségi változó ezeket azértékeket, és csakis ezeket veheti fel, akkor egy f(x) diszkrét valószínség függvénytdefiniálhatunk úgy, hogy

( ) ( ) ( )k k k f x P x P x = = = (1.28)

ahol

( )1

1n

k k

P x=

= (1.29)Ha hangsúlyozni akarjuk, hogy az f függvény a ; valószínségi változó

eloszlásfüggvénye – és nem valami más változóé –, akkor az f ; jelölést használjuk.

Az egydimenziós eseménytér, és az ahhoz rendelt valószínségi változó, valamintvalószínségfüggvény fogalma többféleképpen is kiterjeszthet.

Tekintsünk most egy olyan eseményteret, amelyhez két valószínségi változó (; és


22/68

b) Lehetséges kiterjesztés az is, hogy megvizsgáljuk, hogy ha az < valószínségi változóértéke valamely rögzített < = y j érték, akkor a ; valószínségi változó milyenvalószínségekkel veheti fel az xk értékeket. Ilyenkor beszélünk a (most ismét egyváltozós)

( ) ( ) ( )

( )

,| |

k j

k j k j

j

f x y f x y P x y

f y

= = = =

(1.31)valószínségfüggvényr l, ami az el bbi egyik ún. vetületi valószínségfüggvénye. Itt

jelenik meg a korábban már bevezetett feltételes valószínség fogalma is.

A definícióból nyilvánvaló kell, hogy legyen, hogy

( )1

| 1n

k jk

f x y=

= (1.32)c) A harmadik lehetséges kiterjesztés az el bbi párja, csak ekkor az ; valószínségi

változó értéke valamely rögzített ; = xk érték és ekkor az egyváltozós valószínségfüggvény

( ) ( ) ( )

( )

,

| | k j

j k j k k

f x y

f y x P y x f x = = = = (1.33)

és

( )1

| 1m

j k j

f y x=

= (1.34)Természetesen ez is vetületi valószínségfüggvény, mint az el bbi, és a feltételes

valószínség fogalma itt is elfordul.

Vegyük észre, hogy a kétdimenziós, diszkrét eseményrendszerhez három újabbvalószínség mátrix tartozik:

Az együttes elfordulások valószínség-párjainak mátrixa, valamintAz egyik valószínségi változó, mint rögzített feltétel melletti feltételesvalószínségek mátrixa, továbbáUgyanez a másik valószínségi változóra, mint feltételre nézve.

Vizsgáljuk meg most részletesebben az el bbiekben említett kétdimenziós valószínségimodellt a shannoni hírközlés elmélet szempontjai szerinti megközelítésben!

1.12.2. A diszkrét valószín$ ség-eloszlások deduktív leírása

Az eddigiekben elmondott és bemutatott egydimenziós (és az ezt követen bemutatni kívánt

kétdimenziós) eseményterek és minden, amit ezekkel kapcsolatban elmondtunk és el fogunkmondani, a Shannon-féle hírközlési modellbl indul ki. A diszkrét valószínségeloszlásoknakazonban volt ezt a modellt megelzen is deduktív leírásuk. Most ezt idézzük fel, hogy

bemutassuk, hogy a dolog tökéletes analógiát mutat azzal, amit a Shannon-féle modellelkapcsolatban megmutattunk.

Vizsgáljunk meg egy véletlen eseményhez tartozó E eseményteret. Ha egy véletlen eseménykimeneteleinek száma véges15, akkor diszkrét eseménytérr l beszélünk.

15 Ez és a következ megállapítások megszámlálhatóan véges elem eseménytérre isérvényesek, de az utóbbiakat –az egyszer bb érthetség kedvéért- itt és a következk-

ben nem említjük


23/68


24/68

1.13. Kidolgozott példák a 1. fejezet anyagához

1.13.1. példaAdott egy diszkrét információforrás, amelynek négyelem szimbólumkészlete van, és a

négy szimbólum kibocsátásainak relatív gyakoriságai (határesetben a valószínségei) rendre akövetkezk: 16

{ }1 1 1 13 4 4 6, , , P =

Teljes-e a rendszer?31 1 1 1 4 2 12

3 4 4 6 12 12 12 122 1+ + + = + + = =

tehát az eseményrendszer teljes. Az egyedi információk:13lg lg3 0,477 = = hartley = 1,585 bit (szoroztuk 3,322-vel)

12 24log log 4 2 = = bit

1

6lg lg 6 0,778 = =

hartley = 2,585 bit (szoroztuk 3,322-vel)Az entrópia

( ) 1 1 12 2 23 4 61 1 13 2 6

log 3 2 log 4 log 6

1,585 2 2,585 0,528 1 0,431

1,959 bit szimbólum

H X = + + =

= + + = + + =

= Mekkora ennek a valószínségi modellnek a hatásfoka?

( )

max 2

1,9590,9796 97,96%

log 4

H X e

H = = = =

Mekkora a redundanciája? R = 1– e = 2,04%

Ez igen kis redundancia. Az az oka, hogy a négy szimbólum közül kettnek éppenátlagos (ti. ¼) a valószínsége, és a másik ketté sem sokkal tér el ettl. Más szóval azentrópiafüggvény maximumának a közelében járunk.

Mindezt azért érdemes megjegyezni, mert itt is, mint minden mérnöki számításnál,érdemes átgondolni, hogy a kapott eredmény valószer -e.

Itt hívjuk fel a figyelmet egy a hallgatóknál sajnos gyakran elforduló súlyos számításihibára: amikor az entrópia és a maximális entrópia értékét nem ugyanolyan alapúlogaritmussal számítják. A valószínségi modell hatásfoka egy viszonyszám, és

értelemszer en csakis azonos mértékegységekben kifejezett értékek hasonlíthatók össze. Haképtelenül kicsi vagy lehetetlenül nagy – pl. 100%-nál nagyobb – hatásfok értéket számolunk,mindig vizsgáljuk meg, vajon az entrópiát és a maximális entrópiát ugyanabban amértékegységben fejeztük-e ki, és nem osztunk például bitet hartley-val vagy fordítva.

16 Nem adtuk meg, hogy melyik forrásszimbólumhoz melyik valószínség tartozik, mert az

entrópiafüggvény szimmetriája miatt ez úgy sem lenne érdekes. Az egyedi információkszámításához azonban tudni kell, hogy melyik valószínség eseményhez mekkora egyediinformáció tartozik.


25/68

1.13.2. példaAdott egy diszkrét információforrás, amelynek háromelem szimbólumkészlete

(ábécéje) van és a három bet kibocsátásainak a valószínségei rendre a következk:

P(A)=0,7; P(B)=0,2; P(C)=0,1

Határozzuk meg a rendszer karakterisztikáját, azaz számítsuk ki az egyediinformációkat, az entrópiát, a hatásfokot és a redundanciát!

Megoldás:

A rendszer teljes, mert

0,7 + 0,2 + 0,1 = 1

Az egyes szimbólumokhoz tartozó egyedi információk:

[ ]

[ ]

[ ]

lg 0, 7 0,155

lg 0, 2 0, 699

lg 0,1 1

A

B

C

I hartley

I hartley

I hartley

= =

= =

=

=Az entrópia:

( ) 7 10 1 110 7 5 10log log5 log10

0,108 0,14 0,1

0,348 hartleybet 4

H X = + + =

= + + =

= A hatásfok és a redundancia:

max log 3 0, 477 hartley

bet 4 H = = ( )

max

0,348

0,7298 72,98%0,477

H X

e H = = = = R = 1–e = 27,02%

1.13.3. példaTekintsük egyetlen eseménynek két kockadobás együttes eredményét! Táblázatba

rendezve a lehetséges eredményeket:

Tekintsük most egyetlen eseménynek egy ketts dobás eredményét, ami 2-tl 12-ig bármi lehet, de az egyes eredmények korántsem azonos relatív gyakoriságúak. Ebben afelfogásban most az eseménytér elemei:

E = {2; 3; 4; 5; 6; 7; 8; 9; 10; 11; 12}a hozzájuk rendelt valószínségek pedig rendre:


26/68

{ }3 5 6 5 31 2 4 4 2 136 36 36 36 36 36 36 36 36 36 36; ; ; ; ; ; ; ; ; ; P =

mert az összesen 36 lehetséges ketts dobásból rendre ennyiszer jöhetnek ki atáblázatban feltüntetett pontszámok.

Van tehát egy egydimenziós eseményrendszerünk (a ketts dobások, mint események), a

ketts dobások eredményét tartalmazó 11 elem halmaz és az ehhez rendelt valószínségimodell.

Ellenrizzük az eseményrendszer teljességét, számítsuk ki az entrópiáját, hatásfokát és aredundanciáját.

A teljesség: (ha a diszkrét valószínségek összege =1)

( )3 5 6 15 6 361 2 436 36 36 36 36 36 36 36 362 2 1 + + + + + = + = =

tehát az eseményrendszer teljes

Az egyes események egyedi információtartalma:

[ ]12 12 36lg 1,556 I I hartley= = =

[ ]23 11 36lg 1,255 I I hartley= = =

[ ]34 10 36lg 1,079 I I hartley= = =

[ ]45 9 36lg 0,954 I I hartley= = =

[ ]56 8 36lg 0,857 I I hartley= = =

[ ]67 36lg 0,778 I hartley =

Az entrópia:

( )

( )51 1 1 1 136 18 12 9 36 62 1,556 1, 255 1,079 0,954 0,857 0,778

2 0, 428 0,130 0,986 hartleyeredmény

H X =

+ + + + + =

= + = (mert 10-es alapú logaritmusokkal számoltunk)

Az entrópia akkor lenne maximális, ha valamennyi (azaz mind a 36-féle) kettsdobásnak ugyanakkora lenne a valószínsége, azaz

max lg36 1,556 hartleyeredmény H = =

A hatásfok (százalékban):

( )max

0,986 0,6334 63,34%1,556

H X e H

= = = =

(Figyelem! Ha 100%-nál nagyobb eredményt kapnánk a hatásfokra, akkor egészen

biztosan rosszul számoltunk!)

A redundancia:

R = 1– e = 36,66%

(Természetesen 100%-nál nagyobb (vagy éppenséggel negatív) redundancia is csakhibás számítás eredménye lehet


27/68

1.13.4. példaAdott egy diszkrét információforrás, amely nyolc szimbólumának kibocsátásainak

relatív gyakoriságai rendre a következk:

{ }1 1 1 1 1 1 1 14 4 8 8 16 16 32 32, , , , , , , P =

Határozzuk meg a forrás entrópiáját!

Megoldás

Legelször is ellenrizzük, hogy teljes-e az eseményrendszer:16 8 4 2 301 1 1 1 1 1 1 1

4 4 8 8 16 16 32 32 32 32 1+ + ++ + + + + + + = = <

azaz az eseményrendszer nem teljes.

Az eseményrendszer nem-teljessége esetünkben azt jelenti, hogy az eseményekmegfigyelésekor a fenti nyolc eseményen kívül történtek olyan események is, amelyekr l nemkészült feljegyzés. A relatív gyakoriságok értékeibl látszik, hogy ilyen regisztrálatlanesemény az összes események 15 116 161 = részében történt. Mivel nem tudjuk, hogy hánykülönböz ismeretlen eseményünk történt, és hogy ezek milyen gyakorisággal fordultak el,nem tudunk pontos értékeket számítani a rendszer karakterisztikájára. Az entrópiafüggvényadditív tulajdonsága azonban módot ad arra, hogy becslést tehessünk a forrás entrópiájára.

Az entrópia függvény additív tulajdonsága – (1.21) – szerint a rendszer entrópiája újesemények bevezetésével nem csökken. Tehát az információforrás entrópiája az ismeretleneseményeket is figyelembe véve legalább akkora kell legyen, mint ha az ismeretleneseményeket egyetlen regisztrálatlan események tekintjük, amelynek ismerjük az elfordulásigyakoriságát. Ezek szerint a rendszer entrópiájára megfelel alsó korlát a:

( ) ( )

( )

1 1 1 1 12 2 2 2 24 8 16 32 16

16 12 8 5 4 131 1 1 1 14 8 16 32 16 16 16

2 log 4 log 8 log 16 log 32 log 16

2 2 3 4 5 4 2 2,8125 bit szimbólum

H X

+ + + +

+ + + + =

+ + + + = = =

1.13.5. példaEgy hatbets ábécé beti a következk:

X = { A, B, C, D, E, F }

A forrás, amely ezeket a betket leadja a következ valószínségekkel bocsátja ki ket:

( ) 12 P A = ; ( )14 P B = ; ( )

18 P C = ; ( )

116 P D = ; ( )

132 P E = ; ( )

132 P F =

Az információforrást egy ún. illeszt kódoló követi, amely a következ bináris kódokat

rendeli hozzá a forrás-ábécé betihez: A 0; B 10; C 110; D 1110; E 11110; F 111110;

(Figyeljük meg, hogy egyetlen kódszónak sem prefixuma egy másik, (rövidebb) kódszó,tehát a 0 és 1 jelek tetszleges sorozatában azonosíthatók a kódszavak. Az ilyen, változószóhosszúságú kódot egyértelmen (elválasztó jelek nélkül is) megfejthet, idegen szóvalirreducibilis kódnak nevezik.) A kódolás kapcsán még bvebben szólunk róluk.

A feladathoz rendelhet blokkvázlat:


28/68

Számítsuk ki elször a forrás információelméleti jellemzit!

A forrásentrópia (Az adott valószínségek számértékeibl látszik, hogy itt érdemes 2-esalapú logaritmusokkal számolni):

( ) 1 1 1 1 12 2 2 2 22 4 8 16 321 1 1 1 12 4 8 16 32

3 5 151 1 12 2 8 4 16 16

log 2 log 4 log 8 log 16 2 log 32

1 2 3 4 2 5

1 1,938

F

bit bet 4

H X = + + + + =

= + + + + =

= + + + + = =

A forrásentrópia maximális lehetne, ha a hatbets ábécé minden egyes bet jénekugyanakkora, azaz mindegyiknek 1/6 lenne a valószínsége. Tehát

max 2log 6 2,585 bit

F bet 4 H = =

Ebbl a forrás hatásfoka:

( )

max

1,9380,75 75%

2,585 F

F F

H X e

H = = = =

A forrás redundanciája pedig

R F = 1– e F = 25%

A csatornakód átlagos szóhosszúságát a valószínségekkel súlyozott egyes

szóhosszúságokból számítjuk ki: (Induljunk ki visszafelé, az „F” bettl.)Az „F” bethöz tartozó hatbites kódszó valószínsége 132 . Ugyanez a valószínsége az

„E” bethöz tartozó ötbites kódszónak is. A gondolatmenetet folytatva és kiterjesztve azösszes betre az átlagos szóhosszúság

( )1 1 1 1 132 16 8 4 2 _ 8 3111 12

32 32 32 32

6 5 4 3 2 1

1 1 1,969 bináris számjegykódszó

l = + + + + + =

= + + + = = Az adott esetben egy-egy forrásszimbólum átlagosan HF =1,938 bit információt közöl,

és nyilván ugyanennyi a kódolt szimbólum információtartalma is. A binárisan kódolt

szimbólum átlagos kódszó-hosszúsága, mint az el bb kiszámoltuk, 1,969 bit.Így a csatornakód hatásfoka (más néven kódolási arány):( ) 1,938

0,9841 98,41%1,969c

H X A

l = = = =

1.13.6. példa12 pénzdarabunk van, amelyek közül 11 darabnak azonos a súlya, egyé pedig

különbözik a többiétl. Lehet könnyebb is, lehet nehezebb is, nem tudjuk.

Azt állítjuk, hogy egy mér súlyok nélküli serpenys mérleg segítségével legfeljebb 3méréssel meg lehet mondani, hogy melyik az a pénzdarab, amelynek a súlya különbözik a

többiétl, és az is kiderül, hogy könnyebb-e vagy nehezebb-e a többinél.


29/68

Információelméleti fogalmak segítségével meg lehet mondani, hogy ez a feladatmegoldható-e, de azt nem, hogy milyen mérési stratégiát kell hozzá alkalmazni.

Ha 12 pénzdarab közül egyet kell kiválasztani (ti. azt, amelyiknek a súlya különbözik atöbbiétl) akkor ennek a választásnak az információtartalma:

[ ]

1

1 2 12

log 3,585 I bit = =

Az a döntés, amelyik arról informál, hogy könnyebb-e a keresett érme, vagy nehezebb-e,mint a többi, nos ez éppen egy igen-nem döntés (elemi döntés), amelynek, mint tudjuk, éppen1 bit az információtartalma.

A feladat megoldásához tehát legalább 3,585+1=4,585 bit információra van szükségünk.

Mennyi információt ad egy kétserpenys mérleggel való összehasonlító mérés? Nos egyilyen mérésnek háromféle eredménye lehet: vagy a baloldali serpeny be helyezett érme anehezebb, vagy a jobboldaliba helyezett érme, vagy pedig egyforma súlyúak. Ha mindháromeredmény ugyanolyan valószínséggel fordulhat el, akkor egy mérés

I M = log23 = 1,585 [bit]

információt adhat, három mérés pedig ennek a háromszorosát, azaz I3M = 4,755 bitinformációt. Ez több, mint a feladat megoldásához feltétlenül szükséges 4,585 bitnyiinformáció, tehát a feladat elvileg megoldható. Más kérdés, hogy sikerül-e olyan mérésistratégiát kidolgozni, amely valóban megadja a megoldást.

(Minél kisebb az információ-többlet, annál kevésbé redundáns a megoldás és annálnehezebb a mérési stratégiát kitalálni. Az adott esetben azonban van ilyen stratégia.)

1.13.7. példa:Tekintsük két dobókocka ( X és Y ) egyidej feldobását egyetlen eseménynek. Kérdés,

hogy mi lesz annak az együttes valószínsége, hogy az X kockával 3,4 vagy 5-öt dobunk, sugyanakkor az Y kockával 2 vagy 3-at?

Megoldás

A keresett megoldás (valószínség) az ábrán satírozott rész területet, azaz 6 136 6=

Mi az átlagos információ-tartalma a dobás eredményét közl hírnek?


30/68

1.13.8. példa:Összesen 64 eseményünk van, amely összességet 3 kategóriába sorolhatunk:

1-4. ábra: A Hiba! A hivatkozási forrás nem található. példa eseménytere

Az els kategóriában egy-egy esemény valószínsége: 61 12 32 2 =

A második és a harmadik kategóriában pedig: 61 14 16 2 =

Ezekkel az egész eseményrendszer entrópiája a következ:

( ) ( ) ( )6 6 6 62 26

32 2 log 2 2 16 2 log 2

64 2 6 6 bit esemény

H X

= + =

=

max 2log 64 6 bit esemény H = =

A hatásfok és a redundancia:

( )

max

61 100%

6

1 0%

H X e

H

R e

= = = =

= =

1.14. Ellen! rz ! kérdések és feladatok a 1. fejezet anyagához

1.14.1. Miért és hogyan fonódik össze a neve Claude E. Shannonnak azinformációelmélettel?

1.14.2. Mit jelent az, hogy az információ mennyiségi meghatározásakor ahírközléselméletben nem vesszük figyelembe az információ szemantikaitartalmát?

1.14.3. Hányféle mérési eredmény olvasható le arról a mszerr l, amelynek akijelz je 3 decimális számjegyet képes megjeleníteni? (És hányféle akkor,ha az el jelet is képes kijelezni?)

1.14.4. Mit nevezünk az információelméletben diszkrét valószínségi modellnek?1.14.5. Mit jelent az, hogy diszkrét valószínségi modell?

1.14.6. Mi különbözteti meg a diszkrét információforrást egy folytonos forrástól?


31/68

1.14.7. Miért mondhatjuk, hogy a folytonos információ átalakítása diszkrétinformációvá kétlépéses folyamat?

1.14.8. A diszkrét információforrások modellezésére használt sémák közül a kétlegegyszer bb az iid és az ird modell. Mik ezek, miben hasonlítanak ésmiben különböznek egymástól? Léteznek-e ezeken kívül más

forrásmodellek is? (Indokolja.)1.14.9. Mi köze az információelmélet diszkrét valószínségi modelljének a logikaiautomaták körében használt statikus modellhez?

1.14.10. Mikor „teljes” egy információforráshoz rendelhet valószínségi modell?1.14.11. Milyen összefüggésben vannak egymással egy diszkrét

információforráshoz rendelhet alábbi halmazok:EseményhalmazSzimbólumkészletÁbécéForráskódValószínségi modell

1.14.12. Milyen kikötések vannak érvényben egy diszkrét forráshoz rendelhethalmazokra?

1.14.13. Mit jelent az egy irányban egyértelm és a kölcsönösen egyértelmleképezés? Melyik értelmezhet a diszkrét forrásokhoz rendelhet halmazokközül mely halmaz-párokra? (Indokolja, hogy miért!)

1.14.14. Miért nem kölcsönösen egyértelm a forrás szimbólumkészlete és ahozzátartozó valószínségi modell közötti leképezés?

1.14.15. Mi a Shannon-féle egyedi információ definíciója, mi a mértéke és hogyanfüggenek össze a különböz egységei?

1.14.16. Mit jelent az, hogy a diszkrét információ mértékét egy választási lehetségsegítségével definiáljuk?

1.14.17. Milyen egységeket és mér számokat rendelhetünk az egyedi információhozés hogyan függenek össze ezek egymással?

1.14.18. Egy diszkrét információforrás esetén a Shannon-Wiener értelemben vettinformációnak mi köze van az információ szemantikai jelentéséhez?

1.14.19. Mit nevezünk elemi döntésnek?1.14.20. Mi a Shannon-Wiener-féle információelméleti entrópia definíciója

(képletben) és hogyan értelmezhet ez szavakkal megfogalmazva?1.14.21. Miért nem értelmezhet a Shannon-Wiener-féle entrópia folytonos

forrásokra?1.14.22. Miért nem értelmezhet a Shannon-Wiener-féle entrópia folytonos

forrásokra?1.14.23. Miért nevezhet az (információelméleti) entrópia a kiszámíthatatlanság vagymegjósolhatatlanság mértékének?

1.14.24. Sorolja fel az entrópiafüggvény négy alapvet tulajdonságát és értelmezze etulajdonságokat!

1.14.25. Melyik az a négy axióma, amelybl a Shannon-Wiener-féleentrópiafüggvény levezethet?

1.14.26. Mikor maximális egy eseményrendszer entrópiája általában, és mekkora ez amaximum?

1.14.27. Rajzolja le egy kéteseményes eseményrendszer entrópiafüggvényét az egyikesemény P(x1 ) valószínségének változása függvényében.

1.14.28. Egy kéteseményes eseményrendszer entrópiájának maximuma van, amikoraz egyik esemény valószínsége:


32/68

P(x1 ) = ………………….A másik esemény valószínsége pedig

P(x2 ) = ………………….Az entrópia maximumának értéke ekkor:

H max = …………………

1.14.29. Mi a jelforrás hatásfoka és mi az abszolút ill. a relatív redundancia? Mi közeezeknek a relevanciához?1.14.30. Mit nevezünk egy forrás abszolút és mit a relatív redundanciájának és

hogyan függ ez össze a forrás entrópiájával?1.14.31. Mit nevezünk relevanciának és mi köze a redundancia fogalmához?1.14.32. Ábrázolja és magyarázza el egy jelforrás hatásfok-változását egy bináris

eseményrendszer egyik eseményének valószínsége függvényében!1.14.33. Ábrázolja és magyarázza el egy jelforrás redundanciájának változását egy

bináris eseményrendszer egyik eseményének valószínsége függvényében!1.14.34. Az információelmélet alapfogalmaival kapcsolatban válaszoljon a következ

kérdésekre:

a. Adja meg, hogy melyek egy diszkrét információforrás jellemzi éshogyan határozzuk meg azokat. (Ügyeljen arra, hogy egyetlen használtfogalmat se’ hagyjon magyarázat ill. definició nélkül, még magát adiszkrét forrást sem!)

b. Mit nevezünk információelméleti entrópiának és hogyan magyarázhatóaz, hogy csak diszkrét forráshoz rendelhet hozzá ez a fogalom, mégisfolytonos függvénye – minek is?

c, Melyek az entrópiafüggvény tulajdonságai?1.14.35. Számítsuk ki a forrásentrópia, a hatásfok és a relatív redundancia értékét

annak a négy diszkrét információforrásnak az esetében, amelyeket rendre akövetkez valószínségi modellek jellemeznek:

{ }1 1 1 12 4 8 8; ; ; P =

{1 1 1 1 1 12 4 8 16 32 32; ; ; ; ; P =

{ }0,4;0,3;0,2;0,1 P =

Ellenrizze mindegyik esetben azt is, hogy teljes eseményrendszerr l van-eszó és határozza meg az egyes eseményekr l szóló hírek egyediinformációtartalmait is.

1.14.36. Az angol ábécé els öt bet jének abszolút gyakorisága egy nagyobbszövegben a következ:

Bet Gyakoriság

A 85B 15C 28D 43E 127k 705 az összes többi bet együttvéve

Tekintse – a k –val együtt – ezt az ábécét egy hatbets ábécének ésszámítsa ki az információelméleti jellemzit

1.14.37. Egy diszkrét információforrás szimbólumkészlete 6 forrásszimbólumból állés a forrásszimbólumok elfordulási valószínségei rendre a következk:

{ }1 1 1 1 1 12 4 8 16 32 32

; ; ; ; ; P =


33/68

Állapítsa meg, hogy a forráshoz tartozó valószínségi modell teljes-e ésindokolja is, hogy miért.Állapítsa meg, hogy ez forrás az iid vagy az ird modellt követi-e és indokolja is aválaszát egy mondatban.Számítsa ki a forrásentrópia, azaz H(X) értékét és adja meg bit egységekben.

Számítsa ki, hogy mi lenne a forrásentrópia elvi maximuma, azaz H max (X) ésegy mondatban írja le, hogy mikor következhetne be ez az elvi maximum.Számítsa ki a forrás hatásfokát.Számítsa ki a forrás redundanciáját.


34/68

1.14.38. Egy diszkrét információforrás ötelem ábécéjének betgyakoriságai akövetkezk

Bet GyakoriságA 60B 105

C 30D 90E 15

Számítsa ki a forrásentrópiát, a forrás hatásfokát és redundanciáját.1.14.39. Egy diszkrét információforrás szimbólumkészlete 6 forrásszimbólumból áll és

a forrásszimbólumok elfordulási valószínségei rendre a következk:P = {0,5; 0,25; 0,125; 0,0625; 0,03125; 0,03125}

Állapítsa meg, hogy a forráshoz tartozó valószínségi modell teljes-e ésindokolja is, hogy miért.Állapítsa meg, hogy ez forrás az iid vagy az ird modellt követi-e és indokolja is aválaszát egy mondatban.

Számítsa ki a forrásentrópia, azaz H(X) értékét és adja meg bit egységekben.Számítsa ki, hogy mi lenne a forrásentrópia elvi maximuma, azaz H(X)max és egymondatban írja le, hogy mikor következhetne be ez az elvi maximum.Számítsa ki a forrás hatásfokát.Számítsa ki a forrás redundanciáját.

1.14.40. Adott két, egyenként négyoldalú dobókocka (tetraéderek), amelyek oldalai 1-tl 4-ig számozottak . Egy diszkrét információforrás egy-egy eseménye az,hogy hány pontot dobunk egyszerre ezzel a két dobókockával.Számítsa ki a forrásentrópia értékét, a forrás hatásfokát és a relatívredundanciát.

1.14.41. Mit nevezünk illeszt kódolásnak?1.14.42. Értelmezze szavakban, hogy mi a különbség a forráskód és a csatornakód

között (ha van egyáltalán).

1.14.43. Mit nevezünk egy forrás abszolút és mit a relatív redundanciájának éshogyan függ ez össze a forrás entrópiájával?

1.14.44. Mi az illeszt kódolás szerepe az információs láncban? Mi köze atömörítéshez?

1.14.45. Melyek a Shannon-Fano-féle illeszt kódolás alapelvei? Miben különböznekettl a Huffman-féle illeszt kódolás elvei?

1.14.46. A Shannon-Fano-féle illeszt kódolás különösen könnyen alkalmazható

akkor, ha a forrás-események valószínségei 2-nek negatív egész hatványai.Miért?

1.14.47. Mindkét tanult illeszt kódolási módszer csökkenti a forrás redundanciáját.Mi lehet a csatornakód minimális redundanciája? Mi az elvi optimum ésmikor lehet ezt elérni?

1.14.48. Mindenfajta hatásfok (így a kódolásé is) relatív érték, ami százalékokbanmegadható. Hogyan számítja ki (és f leg mire vonatkoztatja) egycsatornakód hatásfokát?


35/68

2Ebben a fejezetben megvizsgáljuk Shannon továbbfejlesztett, diszkrét információforrás-modelljét.E modellel Shannon az adót és a vevt egyetlen, egyesített rendszerként tárgyalja, amelytartalmazza ugyan a nem tökéletes átviteli csatornát is, de a csatorna által okozott

bizonytalanságot úgy veszi figyelembe, hogy a vev által fogadott információt nem tekintiazonosnak az adó által küldött információval.Vegyük észre, hogy ez a Shannon által bevezetett ún. kétdimenziós modell lényegében olyanempirikus szemléletet tükröz, amely nem igényli a közvetlenül esetleg nem is mérhetcsatorna paramétereinek a vizsgálatát, hanem az általa okozott információ-bizonytalanságot(az adó ismeretét feltételezve) a vev mérhet bizonytalanságával veszi figyelembe.A kétdimenziós modell, az adó oldali és a vev oldali (diszkrét) valószínség-eloszlásokkülönbözsége miatt, valamint ezek feltételes és együttes valószínségei miatt továbbientrópia definiciókat tesz szükségessé.

2.1. Az adó és a vev! statisztikai kapcsolata valamint

a kétdimenziós valószín$ ségi modell

Vizsgáljuk meg most a lehet legegyszer bb adó – vev kapcsolatot egyetlen statisztikairendszerként.Az egyszerüsítés abban áll, hogy nem alkalmazunk az adó oldalán semmiféle kódolót (ésennek párjaként dekódolót sem a vev oldalon) és egyelre nem számolunk az információttovábbitó csatorna saját statisztikai tulajdonságaival, zajkarakterisztikájával sem, bár a vevoldalán figyelembe vesszük azt a tényt, hogy a vev esetenként nem feltétlenül azt a jeletveszi, amit az adó oldalon elk ldtünk neki.Ezekkel az egyszerüsítésekkel kapjuk a következ információ-továbbító blokkdiagramot:

Adó Vevõ

E eseménytér X szimbólumkészlet

P valószínûségi modell

F eseménytér Y szimbólumkészlet

Q valószínûségi modell

Ezt a modellt a következkben egyetlen rendszernek tekintjük, amely a külön-külön

egydimenziós E ill. F eseményterek helyett egyetlen kétdimenziós eseménytérrel és egyetlenkétdimenziós valószínségi modellel rendelkezik. Tesszük mindezt azért, hogy megmutassuk,hogy ebben a rendszerben milyen külön-külön, együttes és u.n. feltételes valószínségimodellek értelmezhetk és ezekbl hogyan vezethetk le ill. származtathatók különbözentrópia-fogalmak, mi ezek jelentése és hogyan függenek össze egymással.A kiindulás az eddigiekben már értelmezett egydimenziós eseménytér, szimbólumkészlet ésvalószínségi modell értelemszer alkalmazása mind az adó (forrás) oldalára, mind a vevoldalára úgy, ahogyan ezt az el bbi blokkvázlat mutatja.Ez után a két oldal modelljeit egyesítve17 jutunk el a kétdimenziós modellhez úgy, ahogyanezt a következ oldal ábrája mutatja.

17 Az „egyesítés” során végzünk olyan mveleteket, mint a halmazok direkt szorzása ésolyanokat is, amelyek során az utóbbiak elemeit mátrixokba rendezzük.


36/68

Egydimenziós (valószínségi) sormátrix Egydimenziós (valószínségi)oszlopmátrix

E1F

j

E2F

j

EnF

j

EkF

jE

kF

1 E

kF

2 E

kF

m

Bekövetkezik az Enesemény. Híre: x

nValószínûsége: p

n

Bekövetkezik az E1esemény. Híre: x

1Valószínûsége: p

1

Bekövetkezik az E2esemény. Híre: x2 Valószínûsége: p2

Bekövetkezik az Ekesemény. Híre: x

kValószínûsége: p

k

B e k ö v e t k e z i k a z F

m e s e m é n y .

H í r e : y m

V a l ó s z í n û s é g e : q m

B e k ö v e t k e z i k a z F 1 e s e m é n y .

H í r e : y 1 V a l ó s z í n û s

é g e : q 1

B e k ö v e t k e z i k a z F 2 e s e m é n y .

H í r e : y 2 V a l ó s z í n û s

é g e : q 2

B e k ö v e t k e z i k a z F j e s e m é n y .

H í r e : y j V a l ó s z í n û s

é g e : q j

X

EnF

1 E

nF

2 E

nF

m

E1F

m

E2F

m

E1F

1 E

1F

2

E2F

1 E

2F

2

n

m

FE

j=

k= 1

2

k

1 2 j

Az Ek esemény, mint elre kikötött feltétel mellettvizsgálja az F1, F2,…F j,…Fm véletlen eseményekbeövetkezését. Lássuk be, hogy ez egy egydi-

menziós, véges, diszkrét eseményrendszer, amipersze az Ek esemény bekövetkezéséhez, mintfeltételhez van kötve.

Az F j esemény, mint elre kikötött feltétel mellettvizsgálja az E1, E2,…Ek,…En véletlen esemé-nyek beövetkezését. Lássuk be, hogy ez is egy

egydimenziós, véges, diszkrét eseményrend-szer, ami persze az F j esemény bekövetkezésé-hez, mint feltételhez van kötve


37/68

Megjegyzések az ábrához:Az E és F külön-külön egydimenziós eseményterek szorzattere az ExF kétdimenzióseseménytér, amelynek minden egyes sora külön-külön egydimenziós eseménytérnektekinthet és ugyanez igaz az oszlopaira is.(Lásd még a következkben a 4. és az 5. pontot is!)

Az mxn méret, kétdimenziós mátrix k,j index cellája az Ek és Fj események együttes bekövetkezését jelöli (de mást is jelölhet, mint alább látni fogjuk). Beírhatók tehát a cellába azEk és Fj események, s így egy kétdimenziós eseményteret (eseménymátrixot) kapunk.A mátrix mindegyik cellájába értelemszerüen beírhatók az adott eseményekhez tartozóvalószínségek, azaz a p{xk yj} értékek.(Lássuk be, hogy e valószínségek összege =1, azaz a modell teljes.)Így megkapjuk az ExF kétdimenziós eseménytérhez tartozó (kétdimenziós,véges, diszkrét)valószínségi modellt (t.i. mátrixot).Ha az (adó-oldali) E eseménytérnek –mondjuk- a k-adik eseményét, mint beteljesült feltételt,rögzítjük, akkor ez kijelöli a mátrix k-adik sorát, és a mátrix e sorába beírhatjuk a p{yj|xk}feltételes valszínségeket.

Az így kapott feltételes valószínségmátrix k-adik sorára igaz, hogyés ez igaz a mátrix minden egyes sorára. (Összesen m oszlop van.)

A feltételes valószínség-mátrix minden egyes sora tehát egy-egy egydimenziós (végesdiszkrét) valószínségi modell.Megfogalmazhatjuk ezt az esetet úgy is, hogy ha biztosan tudjuk, hogy a forrás az xk szimbólumot bocsájtotta ki akkor mi a valószínsége annak, hogy a vev oldalon az y1; y2; ......y j;... ...ym szimbólumok valamelyikét észleljük. Az biztos, hogy ezek közül valamelyiket,

tehát az xk rögzített feltétel melletti y j | xk feltételes valószínségek összege 1, ha j befutjavalamennyi 1 j m értéket.

jk y x | Ugyanez értelemszer en elmondható arra az esetre is, amikor az F eseménytérnek

egyik –mondjuk a j-edik- eseményét rögzítjük mint beteljesült feltételt. Ez a mátrix j-edikoszlopát jelöli ki és ennek az oszlopnak minden egyes cellájába beírhatjuk a p{xk|yj}feltételes valószínségeket.Az így kapott feltételes valószínségmátrix j-edik oszlopára igaz, hogyés ez igaz a mátrix minden egyes oszlopára. (Összesen n sor van.)

{ }1 | 1

n

k jk x y= =

A feltételes valószínség-mátrix minden egyes oszlopa tehát egy-egy egydimenziós (végesdiszkrét) valószínségi modell.

Vegyük észre, hogy az elz két (t.i. az 4. és a 5.) pontban leírt feltételesvalószínségmátrixok egyáltalán nem azonosak egymással és nem azonosak a 3. pontban leírtegyüttes valószínségmátrixszal sem.Az xk feltételekhez kötött Y-beli események (kétdimenziós) valószínségmátrixa, miközbenxk végigfut valamennyi X-beli eseményen

Az y j feltételekhez kötött X-beli események (kétdimenziós) valószínségmátrixa, miközben y jvégigfut valamennyi Y-beli eseményen

{ } 1|1

==

m

jk j x y


38/68

A kétdimenziós eseménytér bevezetése után tehát összesen 5 olyan mátrixunk van, amelyekbevalószínségek vannak beírva. Ezek a következk:ahol

Az öt valószínségi mátrixnak megfelelen ötféle entrópiát definiálhatunk a kétdimenziós,véges valószínségi modellel kapcsolatban. (Ezt alább meg is tesszük majd.)Emlékezzünk rá, hogy a jelforrás és a vev semmiféle kapcsolatát nem írtuk el általában,hanem olyan modellt vezettünk be, amely az adó és a vev kapcsolatát az éppen adottrendszert meghatározó valószínségmátrixokkal definiálja. Ez a modell csak azt tételezi fel,hogy valamilyen statisztikus kapcsolat azért létezik az adó és a vev között.Megjegyezzük továbbá, hogy ha olyan adó-vev kapcsolatról van szó, amelynél teljes

bizonyossággal mindíg ugyanaz a jel tartozik mindegyik leadott szimbólumhoz, akkor azutóbbi három valószínségmátrix mindegyike n-ed rangú egységmátrix.

{ }{ } jk

y p F x p E

{ }

{ };;;;;;;;

21

21

m j j

nk k

y y y yY y

x x x x X x

LL

LL

=!

=!

p

{ }

{ }

{ }Y X p

X Y p

Y X p

|

|

,{ }

{ }

{ }Y X p

X Y p

Y X p

|

|

,


39/68

2.1. A kétdimenziós modellhez rendelhet ! entrópiákA felsorolt öt valószínségi modellhez a következ ötféle entrópia rendelhet hozzá:

H(X) A forrás átlagos, szimbólumonkénti entrópiája:

a forrásentrópiaH(Y) Átlagos szimbólumonkénti entrópia a rendeltetési helynél:a vev entrópiájaH(X;Y) A forrás oldalon leadott és a vev oldalon vett szimbólumpáronkénti átlagosinformáció, azaz az egész adó-vev rendszer bizonytalansága.H(Y|X) Egy meghatározott xk szimbólum forrás-oldali leadásakor teljesáltalánosságban minden lehetséges yj vételének lehet nullától különböz valószínsége. Azehhez a feltételes, diszkrét valószínségeloszláshoz tartozó H(Y|xk) entrópiák átlagértéke(amikor is az xk feltétel végigfutja az összes leadható szimbólumok

{ }nk x x x x X LLLL ;;; 21=

halmazát), nos ez a H(Y|X) feltételes entrópia, ami nem más, mint a vevre vonatkozó bizonyt

Documents

InfoKod Jegyzet I-resz Beta1