1.1. Uvod Novo znanstveno podruje Teorija informacija, nastalo je zbog
praktinih problema, koji su se javljali kod projektiranja, izvoenja, rada i odrvanja komunikacijskih ureaja u telegrafsko-telefonskim i radiokomunikacijskim sustavima i TV vezama, te svim slinim sustavima u kojima prenosimo, preraujemo i pohranjujemo informacije.
U sklopu modernizacije eljeznikog prometa, H uvodi informacijske sustave u poslovanje eljeznice. To su: UIS (upravljako-informacijski sustav), PIS (poslovni informacijski sustav) i SDU (sustav daljinskog upravljanja) te SPEV (stabilna postrojenja elektrine vue). Zbog toga je za obrazovanje kadrova na eljeznici uveden predmet Informacijski sustavi u eljeznikom prometu u kojem se teoretski i praktiki razmatra funkcioniranje i stanja objekata, usluga, procesi kretanja putnika, vlakova i robe, pomou informacijskih signala na ulazu i izlazu iz sustava.
U teoriji informacija obrauju se zakonitosti predaje, prijema, prerade uskladitenja informacija u razlilitim sustsvima i matematikim modelima praktinoj primjeni.
Stanje nekog informatikog sustava opisujemo pomou brojeva. Brojevi su pridrueni parametrima i karakteristini za trenutno stanje sustava, meusobno zavisni, te podlijeu nekim zakonitostima. Veze izmedu parametara i zakonitosti kod odreenih stanja i promjena, ciljevi su znanstvenog i teoretskog pristupa i u istraivanjima. Takva istraivanja zahtijevaju matematiki instrumentarij. Na tcmelju poznavanja trenutnih stanja, mogu se predvidjeti i budue, za krae ili due vremensko razdoblje.
Sustav je u toku svog rada odreen u svakom trenutku, zauzima odreena stanja, tj. parametri sustava odnosno informacijski signali, imaju odreenu vrijednost. Ako se stanja toliko dobro poznaju, da se mogu predvidjeti, onda je sustav odredljiv-deterministian, tj. postoji uzrona zavisnost izmedu sadanjeg i budueg stanja. Budui da sc zakonitost ponaanja moe odrediti, moemo s odreenom vjerojatnou zakljuiti, to se o ponaanju sustava moe u budunosti oekivati. Egzaktnije, moemo predvidjeti proraunom odreenu vjerojatnost raspodjele svih moguih stanja u budunosti. Da bi to stvarno mogli izraunati, problem treba promatrati kvantitativno tj. na temelju podataka o stanju signala, kontroli i izvrenju naredbi i mjerenjima u samom sustavu.
Kod brojanog razmatranja mogu postojati dvije krajnosti stanja. Prvo

mogue stanje je velika neizvjesnost ili stanje u kojem vlada veliki kaos ili nered, te nema zakonitosti veza sadanjosti i budunosti. Drugo je stanje velikog ili apsolutnog reda ili potpuna organiziranost. Kad se problem razmatra deterministiki moglo bi se rei: svakom uzroku odgovara potpuno odreena posljedica. Stvarnost je negdje izmeu ta dva mogua stanja, a na nama je da budunost predvidimo sa to veom vjerojatnou.
Mjerenjem parametara dobije se brojni pokazatelj neizvjesnosti ili mjera nereda i obino se naziva entropija sustava. Tono definiranje i odreivanje entropije (stanja) sustava brojanim odreivanjem pojedinih parametara, jedan je od problema koji rjeava teorija informacija.
1.2. Komunikacijski sustav Svaki se informacijski sustav razmatra na odreeni nain. Tako e se i
informacije u eljeznikom prometu razmatrati samo s aspekta odreenih problema na eljeznici i pomou parametara koji odreuju ovu vrstu prometa. Na jedaoj strani se stvaraju informacije u obliku signala: naredbi i dogaaja (poloaja skretnice, prolaza vlaka i sl.), koji ine izvor podataka. Ovi se podaci odailju preko nekog sredstva. To je prijenos informacija preko kanala veze do primaoca poruke ili prijemnika (npr. postaje ili TK centra). Dakle postoji izvor (odailja), kanal i odredite (prijemnik). Uz korisne informacije na odredite mogu stii i signali iz razliitih, esto nepoeljnih izvora, koji ometaju pravilno primanje odaslanih poruka. Cijeli ovakav sustav za vezu izmedu odailjaa (izvora) preko kanala do prijemnika (odredita) predstavlja i zove se komunikacijski sustav i prikazan je slikom 1.1.
Sl.1.1. Komunikacijski sustav U cilju poboljanja rada komunikacijskih sustava, istrauju se pomou
matematikih modela odnosi u razliitim tipovima sustava, s praktinim vrijednostima izgraenih sustava. Na temelju konkretnih podataka, modeli se kvantitativno usporeuju u koliini i brzini odailjanja signala, pouzdanosti i kvaliteti prenesenih podataka i slinim pokazateljima kvalitete, ekonominosti i sigurnosti. Ti su podaci vani (ne samo zbog konkurentskih razloga), posebno u tehnikim komunikacijskim sustavima
KANAL PRIJEMNIK ODAILJA
1.2.1. Glavni dijelovi komunikacijskog sustava Ve 1948. godine postavljeni su temelji Teoriji informacije, kad je
amerikanac C.E. Shannon objavio A Mathematical Theory of Communications. U tom je znaajnom djelu obradio matematike modele i definirao parametre za konstruktivnu analizu tehnikih komunikacijskih sustava. Dao je jednostavni shematski prikaz komercijalnog sustava, koji je polazite predodaba o funkcioniranju komunikacijskih sustava i prikazan je sIikom 1.2.
Sl. 1.2. Shematski prikaz rada komunikacijskog sastava r
Iz odailjaa emitiraju se poruke u obliku impulsa ili drugih oblika signala s odreenom raspodjelom vjerojatnosti.
U koderu se odailjaki signali transformiraju u oblik, koji je prikladan za prijenos raspoloivim kanalom za vezu s prijemnikom.
Kamunikacijski kanal-veza moe biti ina ili beina. Na tom putu od izvora do odredita, korisna je informacija izloena utjecaju smetnji, koje mijenjaju odaslanu informaciju. Cilj teoretskc razrade oblika i izvora smetnji, je smanjenje izoblienja poruke, zbog djelovanja smetnji.
U dekoderu se odaslana poruka pretvara u prikladan oblik, koji odgovara poslanoj poruci, koja se onda primi vizualno, akustino ili drugim nainom u prijemniku, odnosno kod primaoca poruke.
1.3. Parametri komunikacijskog sustava 1.3.1. Razvoj teorije informacija Nakon Shannonovih opisa bitnih fenomena u tehnikim izvedbama
komunikacijskih sustava, vanih za rjeavanje telekomunikacijskih problema, teorija informacija profirila se na sve grane gospodarstva. Praktiki vie nema podroja ljudske djelatnosti u kojem se ne primjenjuju
KANAL PRIJEMNIK ODAILJA

informacijski sustavi, posebno za obradu podataka. Teorija informacija u biti se razvijala u dva smjera. Jedan se bavio
matematikom obradom teorijskih i praktinih rezultata uz stvaranje matematikih modela i primjenu vjerojatnosti i statistike. Drugi smjer razvoja je primjena koja koristi teorijske postavke i dostignua za rjeavanje konkretnih problema. Za nas je interesantna primjena kod upravljanja i nadzora eljeznikog prometa, kao i u raunarskoj tehnici.
1.3.2. Definicija informacije Informaciju moemo smatrati podatkom o neemu, uputom,
obavjetenjem. Razliiiti izvori daju informacije preko suvremenih sredstava predaje i prijenosa kao to su radio, novine, televizija, telefon, telegraf i sl. Informaciju takoer moemo promatrati kao kvalitativni faktor. Kao takva odreuje stanje nekog sustava, te utjecaj jednog sustava na drugi. Zahtijeva mogunost mjerenja informacije, pa se ona mora kvantitativno izraziti.
Bilo kakovu informaciju, tekst ili sliku predovamo u obliku diskretnih ili kontinuiranih signala (najee binarnih znakova) ili brojeva. Oni su nosioci informacije i moemo ih teoretski i raunski obradivati.
1.3.3. Vani parumetri za prijenos informacija Prema slici 1.2. informacija putuje od izvora do odredita preko kanala
veze i tehnikih uredaja koji ine telekomunikacijsku mreiu za prijenos poruka. Na tom putu informacije (signala) moraju biti ispunjeni slijedei uvjeti: brzina, vjernost i sigurnost.
Mrea za prijenos podataka je jako sloen i organiziran sustav kojeg ine vorovi povezani kanalima s razliitim kapacitetima, namjenama i tehnikim izvedbama. Trebali bi imati slijedea svojstva: mogudnost posluivanja (pri tom je vana kompatibilnost ureaja) i mogunost izmjene reima rada.

realizaciju njihova pravilnog funkcioniranja. Tako problemi mree rjeavaju:
− ureaji za preradu podataka − ureaji za uskladitenje podataka − ureaji za distribuciju podataka − kriteriji (uvjeti) za upravljanjc mreom: sigurnost, kvaliteta, brzina 3. Optimiziranje sustava Sustavi su sve sloeniji, pa da bi se postigli: brzina, ekonominost i
vjernost, treba ostvariti: − optimalne i sigurnosne kodove − brzinu prerade informacija (jer ih ima mnogo) − optimalnu eksploataciju rafunala kao i − programa i jezika za smanjenje gubitaka informacija. 1.3.4. Zadaci teorije informacija Zadaci teorije informacija jesu prouavanje zakonitosti i rjeavanje teoretskih i
praktinih problema u vezi s prcdajom, prijenosom, prijemom, preradom i uskladitenjem informacija. Vaan je efektivni prijenos. To znai mogunost to vie vjerno prenesenih podataka kroz kanal, u zadanom vremenu.
1.3.5. Oblici informacija iz izvora Izvor informacija moe dati brojeve, tekst, govor, glazbu, slike, naredbe
itd. Takve informacijc mogu biti diskretne i kontinuirane. Skup diskretnih informacija jesu npr. abeceda ili Morzeovi znakovi.
Moemo ih predoiti kao konani broj elementarnih simbola. To su sve diskretni nizovi ili brojne vrijednosti bilo kao dekadski ili binarni simboli.
Kontinuirane informacije predstavljaju vremenski neprekidni skup razliitih vrijednosti. Takvi su informacijski signali govora, glazbe ili kontinuirani signali u telemetriji. Kontunuirane informacije se mogu pretvoriti u diskretne (npr. A/D konverterom u PCM).

1.4. Funkcioniranje komunikacijskog sustava Detaljnija logika shema komunikacijskog sustava prikazana je na slici 1.3. Sl. 1.3. Detaljna blok shema komunikarijskog sustuva Slova abecede, brojke i ostali znakovi kod prenoenja poruka obino se
zamjenjuju nizom toaka i crta (Morzeov kod) ili nula i jedinica (Meunarodni kodovi), zbog lakeg prijenosa signala. Dakle u prvom koderu odailjaa tekst se kodira, odnosno transformira u niz toaka i crta ili nula i jedinica, pa alje kao takav u kanal ili prije toga ponovno kodira u koderu signala u prikladan oblik za prijenos preko kanala veze s prijemnikom.
Koja je svrha kodiranja? Cilj i svrha kodiranja je to bri i sigurniji prijenos poruka od odailjaa do prijemnika. To zni da se tekst pretvara u oblik to je mogue kraih (zbog brzine) niza znakova, a da pri tome vjerojatnost pogrenog prijema bude to manja, odnosno tonost prijema ispravnog sadraja teksta to vea (zbog sigurnosti).
Koder informacija pretvara informariju u bilo kojem ili standardnom obliku u slijed simbola npr. toka i crta ili nula i jedinica.
Koder signala transformira kodiranu informaciju u signal prilagoen za predaju po kanalu veze.
Smetnje utjeu u kanalu veze na signal, izobliuju ga, oduzimaju mu ili dodaju nepoeljne signale.
Treba tako kodirati, da se na izlazu sustava odredi pravilna informacija uz minimalnu pogreku.
Dekoder signala prima signal i odreuje kodiranu informaciju. Dekoder informacije pretvara kodiranu informaciju u oblik iz kojeg e se
na najbolji nain zakljuiti kakva je bila predana informacija. Za usporedbu pojedinih sustava potrebne su univerzalne mjere ili
standardi. Za kvantitativno odreivanje vano je: - sposobnost prenoenja informacija kroz sistem - volumen (koliina) prenesenih podataka.
KANAL IZVOR
INFORMACIJA KODER
INFORMACIJA DEKODER

Gornji su podaci za kvantitativno ocjenjivanje dani u sadraju informacije jednog simbola u odnosu na drugi.
Pojam "sadraj informacije" moe se dati u dva teorema. 1. Prvi teorem ispunjava koder informacije, a znai: "sadraj informacije
jednak je prosjenom broju binarnih znamenaka poruke". 2. "Uz odreene uvjete signali se mogu kodirati i dekodirati tako, da
vjerojatnost pogrenog prijama informacije bude po volji malena". Da bi se optimizirao rad komunikacijskog sustava mora biti ispunjen niz
faktora. Navedeno e biti pet najvanijih. Struktura mree. Mogui su razliiti zahtijevi kao npr. a) kanal veze
mora biti stalno spojen izmedu dvije fiksne toke i b) drugi kanali veze za prijenos podataka uk1juuju se automatskom komutacijom.
Karakter poruke. Poruka moe biti zvuna, slika, podaci tampaa, slova, brojke. Vani su zahtjevi korisnika na izoblienja poruke.
Karakteristike signala za prijenos. Obzirom na nain modulacije (AM, FM, PCM) oblik signala je razliit kao i mogunosti izoblienja i utjecaj smetnji. Takoer je za postizanje kvalitete, vano prilagoenje ureaja.
Tehnike karakteristike komponenata izvedenog sustava. Obino su zahijevi kontradiktorni, jer su u pitanju cijena i kvaliteta. U karakteristike spadaju snaga, um, kapacitet, frekvencijski pojas, stabilnost.
Prilagodbe sustava, kompatibilnost. Kod izvedbe novih sustava vano je da se uklope u postojee stare, ali ne samo na razini drave, nego kontinenta, pa i cijele Zemlje.
1.5. Komunikacijski kanal Zadaa kanala veze je prijenos podataka izmeu dvaju korisnika iii
odailjaa i prijemnika, koji su fiziki i prostorno odvojeni. U informacijsko-komunikacijskim sustavima se najee prenose digitalni podaci bilo u samom raunalu ili izmeu odvojenih jedinica. Podaci se prenose kao niz izmjeninih ili istosmjernih impulsa napona ili struje.
Pod kanalom veze podrazumijeva sc dio komunikacijskog sustava (vidi sliku 1.3.) koji ukljuuje: koder informacija, koder signala, kanal sa smetnjama i dekodere signala i informacija.

sustava nije identian ulaznom signalu. Dakle prolaskom informacije kroz kanal veze, dolazi i do smanjenja (uslijed priguenja na linijama) kao i izoblienja (umovi i smetnje) signala ili do degradacije informacije.
Svaki komunikacijski sustav mora u to kraem vremenu prenijeti to vie tonih informacija. Pri tom je vana brzina prijenosa podataka. Maksimalna brzina kojom se podaci mogu prenositi je propusna mo kanala veze.
Prijenos informacija ovisi i o stanju kanala, koje se mijenja ovisno o: prethodno prenesenim signalima; to je kanal s odreenom memorijom, kapacitetu kanala; to je i propusna mo nekog kanala bez memorije. Kapacitet C kanala zavisi i o frekvencijskom opsegu prijenosnog sustava,
trajanju signala i o omjeru veliina signala i uma. Vano je znati, da je nemogue postii brzinu prijenosa informacija veu
od kapaciteta kanala. Medutim, paralelnim spajanjem kanala veze ili preko multipleksera, mogue je poveati brzinu prijenosa informacija.
Prijenos diskretnim kanalima K1 i K2 bez memorije s kapacitetima C1 i C2 ima slijedeu ovisnost. Kad kanale K1 i K2 paralelno spojimo dobiti emo novi kanal K, a on e imati novi kapacitet C, povean prema izrazu
C=ln(eC1 +eC2 ) odnosno eC =eC1 +eC2
1.6. Informacija Da bi se informacija mogla kvantitativno razmatrati, mora se prikazati
brojem. U takvom se obliku informacija moe tretirati poput bilo koje fizikalne veliine (puta, brzine, energije, sile itd.), kvalitativno i kvantitativno.
Nosioci informacija jesu diskretni i kontinuirani signali. Za njihovo kvantitativno karakteriziranje treba uvesti nove pojmove i raunsku obradu pomou vjerojatnosti i statistike.
I informacija x i smetnja z jesu sluajne promjenljive veliine, podlijeu odreenoj raspodjeli vjerojatnog pojavljivanja, dakle one su sluajne, ali odreene varijable. U shematskom prikazu komunikacijskog sustava te varijable moemo upisati kao na slici 1.4.
Sl.1.4. Prikaz varijabli komunikucijskog sustava
y=f(x,z)

U komunikacijski kanal ulazi korisna informacija x kao vlastita informacija I(x) i smetnja z, a prijemnik e poruku y=f(x,z) primiti kao zdruenu informaciju I(x,y).
Za zadanu sluajnu varijablu x sada je matematiki problem kako tono odrediti i definirati parametre I(x) (vlastite informacije) obzirom na prispjelu I(x,y) informaciju. Vjerojatnost je mjera odreenosti nastupa dogaaja ili informacije, koja je sluajna veliina i podlijee statistici. Teoretsko razmatranje toka informacija u komunikacijskim sustavima nije mogue bez poznavanja rauna vjerojatnosti i statistike.
1.7. Izvor informacije Kad teleksom aljemo neku poruku, u odreenom vremenskom intervalu,
u odailja e biti upisano n znakova teksta koji sadrava znakove abecede, brojeve, interpunkcije, adresu primaoca i naredbe (start, stop i sl.). Da bi se teoretski razmatralo ovakav sustav, mora se nainiti matematiki model. Pri stvaranju modela polazi se od slijedeeg:
1. Generiranje informacija sastoji se od odailjanja niza impulsa, a to znai znakova koji predstavljaju simbole slova, brojeva, interpunkcija i sl. Ti se impulsi uzimaju iz nepraznog skupa X svih raspoloivih znakova. Taj je skup konaan, jer ima (x1,.x2,.xn) elemenata i poruka se moe prikazati kao n- lani niz:
x = (x1,x2,..xn>), i = 1,2,...n. Poruka sadri razne kombinacije znakova iz skupa X koji npr. mogu biti
svi znakovi abecede. Tako npr. slova nae abecede imaju konan broj znakova i ine skup X koji sadri 27 elemenata, pa n poprima vrijednosti od 1 do 27. Meutim za bolje sporazumijevanje, tekst koji predstavlja nau poruku, treba sadriavati i brojeve, znakove interpunkcije, te razliite naredbe za sporazumijevanje izmeu ureaja koji su vezani preko kanala veze. Zbog toga skup simbola za korektno prenoenje poruka treba imati znatno vie od 27 elcmenata. Za brzu i kvalitetnu vezu dvaju korisnika (odailjaa i prijemnika) trebalo bi osigurati i isto toliko kanala, koliko ima elemenata skupa. To bi bilo veoma skupo i neekonomino.
2. Najprikladniji i najekonominiji nain ostvarenja veze dvaju korisnika preko jednog kanala veze mogue je ostvariti pretvaranjem poruke u kombinacije binarnih brojeva. U elektronikoj obradi podataka koristi se binarni kôd s dva logika pojma ili znaka: nula i jedan. Svaki se binarni broj A moie prikazati kao suma:
A = ak2k+ ..+ a121+ a020,

gdje su a znamenke binarnog broja i poprimaju mogue vrijednosti 0 ili 1. Binarni emo broj prema gornjem izrazu pretvoriti u dekadski jednostavnim sumiranjem vrijednosti. Baza binarnog sustava je broj 2 ili B = 2. Broj elemenata n odredenog skupa X binarnih brojeva je i maksimalni broj kombinacija:
X=Bn. Tako npr. u binarnom sustavu s n=7 elemenata (simbola) moemo
nainiti maksimalno X=27=128 brojeva ili znakova. 3. Smetnje se superponiraju korisnim signalima i oni u prijemnom dijelu
vie nemaju izvorni oblik. Dio sustava koji sadri koder na ulazu, a dekoder na izlazu, moemo
nazvati komunikacijskim sustavom predoenim slikom 1.6. Na ulaz u taj sustav dolaze sluajni dogaaji iz skupa X. Na izlazu e se takvi kodirani dogaaji pojaviti kao elementi lanova skupa Y koji ine m-lani niz:
y = (y1,y2,.ym) j=1,2,.m. Sutina procesa prijenosa informacija je u tome da se od n simbola na
ulazu (npr. xi od skupa X) na izlazu primijeti yj, a nakon toga odlui koji je simbol bio predan ulazu.
4. Kod slanja poruka koristimo jezik u kojem vladaju odreene statistike zakonitosti. Tako se frekvencija pojavljivanja simbola odreuje vjerojatnostima. Npr. xi se pojavljuje s apriornom (prije dogaaja) vjerojatnou p(xi).
Sustav ine realni sklopovi i mediji. U njima djeluju sluajni dogaaji kao to su umovi, smetnje i izoblienja. Stoga se dogaaju xi moe pridruiti dogaaj yj. Ali takva se pridruivanja ne dogaaju stalno. Svaki e se element skupa Y pojaviti s odreenom nesigurnou, odnosno vjerojatnou p(y).
Preostala nesigurnost karakterizirana je s aposteriornom (poslije dogaaja) vjerojatnou p(xi/yj). To se moe rei i tako, da pojava dogaaja yj mijenja vjerojatnost pojave dogaaja xi iz apriorne p(xi) u aposteriornu p(xi/yj).
Istovremeno pojavljivanje parova ili zdruena vjerojatnost p(xi,yj) moe se predoiti kao produkt vjerojatnosti i pisati kao:
p(xi,xj) = p(xi)·p(yj/xi) = p(yj)·p(xi/yj). Pri tome je p(yj/xi) uvjetna vjerojatnost. Njena se veliina moe odrediti

projektiranje buduih, mogue je samo konkretnim, odnosno brojanim razmatranjem. To znai da se svaka informacija mora kvantitativno izraziti.
Promatranjem dogaaja i injenica dolo se do zakljuka da je mjera koliine informacija koju donosi pojedini signal, logaritamskog karaktera. Predloeno je da se signalu koji se bira iz skupa n moguih signala pridrui informacija I(n) = log n.
Obino se informacija sastoji od barem dvaju podataka iz skupova s m i n moguih signala. Poruka to ju takav par nosi jednaka je izrazu:
I(m n) = I(m) + I(n), te je logino da je informacija I logaritamska funkcija i zbraja se prema
izrazu: log(m n) = log m + log n. Informacija je svaki prirodni broj n i log n > 0. To znai da je
informacija uvijek pozitivna veliina. Nedostatak je takvog razmiljanja njegova nerealnost, jer se sve poruke (svi signali) tretiraju ravnopravno tj. s jednakom vjerojatnou.
U komunikacijama i korisni signali (poruke) i smetnje (umovi i sl.) jesu statistikog karaktera. Zbog toga se pojavljuju u obliku odreenih raspodjela vjerojatnosti p.
Na temelju iznesenog, informacija dobivena pojavom dogaaja yj, odnosi se na dogaaj xi, logaritamskog je karaktera i zavisi o omjeru aposteriorne i apriorne vjerojatnosti prema izrazu:
( ) ( ) ( )i
/ log; =
Na gore napisan nain, definiran je uzajamni sadraj informacije. Kad je baza logaritma 10 mjera jedinice informacije je dekadska jedinica dit.
U matematici se najee koriste prirodni logaritmi s oznakom ln i bazom e, pa je u tom sluaju jedinica informacije nit.
Suvremeni tehniki ureaji obino rade s binarnim sustavom, pa je baza logaritma 2. To su tzv. dualni ili ld logaritmi, a jedinica sadraja informacije im je binarna jedinica bit (binary digit).
( ) ( ) ( ) ( ) ( )
= ⋅
⋅ =
/ ;

pa se iz toga vidi da je sadraj informacije simetrina funkcija u odnosu na dogaaje xi i yj, odnosno vrijedi:
I(xi;yj) = I(yj;xi). U komunikacijskim sustavima nisu nam interesantni pojedini znakovi
(sadraji informacija), ve svojstva sustava u cjelini. To se postie uvoenjem srednjih (prosjenih) sadraja informacija u odnosu na cijeli skup dogaaja. Sada sadraj informacije, s pripadajuim vjerojatnostima, ine statistiki skup X, za koji se mogu raunati prosjeci. Veliina I(X;yj) predstavlja srednji sadraj informacije koju donosi primljeni simbol yj, a koji se odnosi na skup svih predanih simbola X.
Veliina I(X) predstavlja srednji vlastiti sadraj informacije. Ona predstavlja onaj iznos informacija koji je u prosjeku potreban da bi se odredila bilo koja pojedinana vijest iz skupa X moguih vijesti koje se prenose nekim sustavom. Uobiajeno je pisati za I(X) i H(X). U tom se sluaju zove entropija diskretne sluajne veliine X. H(X) ili entropija je mjera neizvjesnosti ili kvantitativna mjera neodreenosti neke vijesti, prije nego to je primljena. H(X) predstavlja iznos informacija, koji se mora u prosjeku utroiti da bi se upoznala bilo koja vijest iz skupa X. Entropija ne moe biti negativna veliina, jer i vlastiti sadraj je pozitivan ili najmanje nula.
Veliinu H(X) naziva se i mjerom nereda. Entropija H(X) = 0 samo u sluaju kad je jedna od vjerojatnosti dogaaja p(x;) = 1, a sve ostale su jednake nuli. To znai da se moe prenijeti samo jedna vijest, te se nakon nje ne dobiva vie nikakav sadraj informacije.
Izrazi za odnose izmeu potpunog, uzajamnog sadraja informacija I i entropija H ili mjera neodreenosti vijesti, odnosno iznosa informacija jesu slijedei:
I(X; Y) = H(X) + H(Y) - H(X, Y) I(X; Y) = H(X) - H(X/Y) I(X; Y) = H(Y) - H(Y/X) Analogno, kako su oznaene uvjetne vjerojatnosti dogaaja na ulazu i

Sl.1.5. Prikaz Vennovih dijagrama U teoriji informacija, naroito kod prorauna prijenosa informacija vaan
je srednji uzajamni sadraj informacije I(X;Y) i obino se izraava pomou entropija. Grafika interpretacija ovakvih izraza jesu Vennovi dijagrami prikazani na slici 1.5.
Prethodno navedeni izrazi za vezu srednjeg sadraja informacija i entropija imaju vrlo vanu primjenu u tehnici i proraunu prijenosa informacija. To je najprikladnije razmotriti na blok shemi prikaza komunikacijskog kanala prema slici 1.6.
Sl.1.6. Tok informacija kroz komunikacijski sustav
KOMUNIKACIJSKI SUTAV

Iz odailjaa izlaze dogaaji kao elementarni simboli (x1,x2,xn), koji se interpretiraju kao entropija H(X) ili mjera neizvjesnosti srednjeg vlastitog sadraja informacija I(X), odnosno srednji sadraj predane informacije.
Prolazom kroz komunikacijski kanal, signali su podvrgnuti smetnjama. Zbog toga signali na prijemnu stranu ulaze kao modificirani elementarni simboli i oznaeni su: (y1,y2,.yn).
Mjera neizvjesnosti ili entropija srednjeg sadraja izlaznih informacija iz komunikacijskog sustava, koji ulaze u prijemnik, oznaena je kao H(Y). To je srednji sadraj stvarno primljene informacije.
Zbog gubitaka u sredstvima prijenosa, jedan dio informacija nestaje. Oznaen je kao H(X/Y) i predstavlja srednji sadraj izgubljenih informacija. Veliina I(X;Y) je obzirom na odailja, preneseni dio informacija od izvora k odreditu i ima smisao transformacije, pa se oznaava i kao HT.
Veliina I(X; Y) zove se i srednji uzajamni sadraj informacije, jer to je i srednji sadraj primljene informacije. Na prijemni dio osim korisnih signala, stigle su i smetnje oznaene kao H(Y/X). Zato se veliina H(Y/X) zove i entropija uma. Ona ne predstavlja korisnu informaciju ve dio primljene informacije, koji je povean za iznos smetnji, kojima je um najvei doprinos. Veliina H(Y/X) moe se lako odrediti mjerenjem na realnom sustavu, a tee teoretski, jer je odreena strukturom smetnji i karakterom njihove interakcije sa signalom.
1.8. Kodiranje Kodiranje informacije je operacija prikazivanja skupa znakova (abecede)
pomou slijeda simbola drugog niza (abecede). Prema broju elementarnih simbola koje koristimo, kodove nazivamo: binarni (s dva simbola 0 i 1), ternarni (s tri razliita simbola) itd. U praksi se najvie koristi binarni kod, jer je tehnika izvedba sklopova za kodiranje i dekodiranje najjednostavnija.
Skupine signala od nula i jedinica koje oznaavaju binarni broj u raunalu, predstavljaju odreeni simbol (slovo, broj itd.) i nazivaju se kodnom kombinacijom. Pri tome je element kodne kombinacije 1 bit (tj. nula ili jedinica), pa bitovi sainjavaju kodnu kombinaciju.
Postoji nekoliko tipova kodova, ve prema broju elemenata i oni mogu biti vieznani tj. mogu imati 5, 6, 7 ili 8 elemenata u kodnoj kombinaciji.
Kodovi mogu biti ravnomjerni i neravnomjerni. Ravnomjerni imaju jednaki broj elemenata u svakoj kodnoj kombinaciji, dok ih neravnomjerni nemaju, odnosno broj elemenata je razliit za znakove podataka ili teksta.

1.8.1. Neravnomjerni kôd U neravnomjernom kodu trajanje impulsa, odnosno broj elemenata, jesu
razliiti. To je sluaj kod Morzeovih signala, prikazanih tablicom l. Element se moe predoiti kao jedan strujni (ili naponski) impuls. Signal trajanja to predstavlja toku, a signal koji traje 3t0 predstavlja crtu. Razmak izmeu impulsa je bezstrujni (ili beznaponski) impuls trajanja to. Slovo "e" predstavlja toka, a vrijednost broja nula predstavlja 5 crta. To su primjeri razliitog trajanja pojedinih kodnih znakova. U Morzeovom kodu prosjean broj elemenata za jedan znak je velik (oko 9.5 elementarnih impulsa po znaku) i zbog toga je neekonomian. Koristi se za vezu radiotelegrafista, jer je od svih kodova najprikladniji za prijem na sluh, zbog najmanjeg utjecaja smetnji.
Tablica 1. Morzeov kôd

1.8.2. Ravnomjerni kôd U informacijskim sustavima se najee koristi obini (sve kodne
kombinacije imaju isti broj elemenata) kod i to ravnomjerni. U ravnomjernom kodu npr. binarni broj 24 sainjavaju 2 jedinice i 3 nule. Ako kod ima 25 = 32 kombinacije, a to znai 5 elemenata, onda e mu signal izgledati kao niz 11000, tj. ima 5 elementarnih simbola. Broj 3 se moe prikazati samo s dvije jedinice, ali u ravnomjernom kodu kojeg ine po 5 elemenata, treba imati 5 impulsa u znaku, pa e broj 3 izgladati kao niz 00011, tj. dodati e se jedinicama onoliko nula koliko je potrebno do ravnomjernog broja, a to znai i jednakog trajanja signala za pojedini znak (u ovom sluaju 5 to).To je potrebno zbog jednostavnije tehnike izvedbe ureaja za odailjanje i prijem signala.
Tipian primjer petoznanog ravnomjernog koda je Meunarodni kod broj 2, koji koriste teleprinteri. Takvi su kodni signali i odgovarajue rupice na perforiranoj traci, prikazani tablicom 2.
Tablica 2. Meunarodni kôd broj 2

Nule i jedinice mogu se odailjati bilo kao strujni i bezstrujni impulsi, ili kao pozitivni i negativni impulsi. Prije slanja kombinacije znaka daje se polazni (start) impuls (trajanja to) koji je bezstrujni, zatim slijedi 5 elementarnih impulsa poslanog znaka, a na kraju strujni stop impuls (trajanja 1,5 to prema CCITT standardima). Na slici T.I.7. prikazan je oblik teleprinterskog signala slova D.
Teleprinter zbog malog broja kodnih kombinacija (25 = 32) nema malih slova. Brojevi od 0 do 9 i znakovi interpunkcije, koriste iste kodne kombinacije koje vrijede i za slova. Pie se jednostavno s oznaenim tipkama na tastaturi, dok teleprinter automatski prebacuje pisanje sa slova na brojeve i obrnuto.
i
to 5 to 1,5 to
Ts = 7,5 to
t
Sl.1.7. Oblik signala slova D odaslanog teleprinterom 1.8.3. 7-bitni ASCII kod - MEUNARODNI KOD BROJ 5 Za internu reprezentaciju znakova u raunalima i u informacijskim
sustavima za prijenos podataka, koristi se ASCII kod ili Meunarodni kod broj 5 prikazan tablicom 3. On je nastao zbog potrebe koritenja veeg broja znakova. To je 7 bitni binarni kod s 27 = 128 kodnih kombinacija, koji se zove i donji (od 0 do broja 127). U raunalima se koristi i gornji ASCII kod (od broja 128 do 255) prikazan tablicom 4.

znaku odgovaraju: 20 (heksadecimalna oznaka), 0100000 (binarna oznaka) i 032 dekadski broj odnosno red u koloni od 127 kodnih kombinacija ASCII koda. U preostaloj polovici redaka (kodnih kombinacija) jesu velika i mala slova latinice, standardna i specijalna za pojedine jezike (poput afrikata - naih slova ,,, i ), umjesto znakova za specijalne namjene (npr. uglate i vitiaste zagrade).
Ovako su smjeteni znakovi nae abecede prema starom standardu JUS I B1.002.
Tablica 3. ASCII kod

Meunarodni standardi predviaju znakove za razliite jezike u gornjem dijelu ASCII tablice kodova. To je 8-bitni ASCII kod, ve vaei standard, predoen tablicom 4.
U najnovijem MS (MicroSoft) DOS (Disk Operating System) 5 programu, odreena su mjesta za nae posebne znakove tzv. afrikate. Taj je program modificiran srazmjerno razvoju grafiki orjentiranom multimodalnom operacijskom sustavu Windows, s posebnim multinacionalno orjentiranim kodnim stranicama. Osnovicu ovog sustava ini ANSI kod, a za slavensko europsko podruje inaica Latin 2 prikazana tablicom 5.
Tablica 5. Latin 2 kod
Na tastaturi su oznake po standardu za razmjetaj slova i znakova za
tastaturu. Posebnim programom se pridodaje znak odreenoj tipki tastature. Prikaz HR tipkovnice dat je na slici 1.8.

Sl. 1.8. HR tipkovnica 1.8.4. Kodovi za otkrivanje i ispravljanje pogreaka Korekcioni kodovi imaju dvije namjene. Prvoj je cilj detektiranje ili
otkrivanje pogreaka u toku prijenosa informacija. Druga je namjena detektiranje i ispravljanje nastalih pogreaka.
U informacijskim i komunikacijskim sustavima koristi se binarni kod (s bazom B=2) i to vieznani s moguim k = 5, 6, 7 i 8. Tako se u "k"- znanom kodu moe koristiti X = Bk kodnih kombinacija ili varijacija s ponavljanjem. Moemo se zapitati, kojim bi kodom mogli prikazati slova nae abecede, kojih ima 27 ? Ako koristimo vieznani kod s k = 5, broj moguih varijacija nula i jedinica s ponavljanjem, e biti X = 25 = 32 dok je potrebno samo N = 27 kodnih kombinacija, pa je X > N. Ovakav viak kombinacija omoguava sigurniji prijenos podataka.
Pouzdanost prijenosa informacija e biti to vea, to emo imati na raspolaganju vei broj neiskoritenih kodnih kombinacija. U navedenom primjeru to e biti pet kombinacija (X - N = 32-27 = 5). Viak elemenata u kodnim kombinacijama nazivamo i redundancijom koda (redundancy = preobilje). Vea se pouzdanost postie time, to e pri izoblienju izvjesnog broja elemenata znaka (u kodnoj kombinaciji) biti manja vjerojatnost da se jedan znak preobrazi u drugi, kad raspolaemo s vie neiskoritenih kombinacija. Zato korekcioni kodovi imaju viak elemenata u kodnim kombinacijama. Koeficijent redundancije Re korekcionog koda, odreuje se izrazom:
ldN ldXRe =

U toku prijenosa izvorna informacija prolazi kroz koder i kanal veze. Na tom se putu, dijelu komunikacijskog procesa, ulaznoj veliini "x" superponiraju smetnje i izoblienja odnosno pridruuje niz veliina "z", te se veliina x pretvara u primljenu veliinu "y". Mora se odluiti kako e se dekodirati dobiveni izlazni niz veliina y. To nazivamo "shemom odluivanja", a znai funkcijski odrenu zavisnost varijable x o prispjeloj y. Ta funkcija mora biti tako definirana, da o vismanji utjecaj smetnji. Dakle osnovna ideja "sheme odluvanja" ili funkcijske zavisnosti x o y je u tome, da se "mesobno pridruju najvjerojatniji" ulazni i izlazni nizovi.
U "idealnoj shemi odluvanja" ili ustanovljavanja pogreka, usporeuju se nizovi kombinacija elemenata i odreje njihova razlika. Pri tome se misli na razlike izmeu poslane poruke x i primljene y. Ta se razlika definira kao "udaljenost" d, a ona je zapravo funkcija x i y varijabli ili d = f(x,y). U literaturi se navodi i kao Hammingova udaljenost binarnih nizova x i y. Radi to sigurnijeg prijenosa informacija, nizovi se biraju tako, da njihove meusobne Hammingove udaljenosti budu to je mogue vee.
Dakle Hammingova ili kodna udaljenost d je minimalni broj elemenata prema kojima se, u istom kodu, razlikuje jedna kodna kombinacija od druge. Ravnomjerni k-znani kod, npr. Meunarodni kod broj 2, koristi sve kodne kombinacije, pa mu je vrijednost d = 1. U sluajevima kad je d > 3 mogue su detekcije i ispravljanja pogreaka.
Kad se pogreno primi 1 od n elemenata, to se naziva jednostruka pogreka i d=2. Kod pogrenog prijema 2 elementa u nizu od n, to e biti dvostruka pogreka. Vrijednost veliine "d" odreuje otkrivanje i ispravljanje pogreaka prema izrazu
d ≥ 2 ip + 1 . Ovdje "ip" predstavlja broj ispravljenih pogreaka. Prema tom izrazu, to
e Hammondova udaljenost biti vea (a to znai i vei broj neiskoritenih kodnih kombinacija), mogunost ispravljanja veeg broja pogreaka, takoer e biti vea.
1.8.6. Kôd s parnim brojem jedinica Meutim u praksi, osim spomenutih 7 elemenata, svaka kodna

kombinacija ima parni broj jedinica (npr. 4 jedinice) osmi, dodani element je nula.
i
t
STOPSTART
to 2 to 1 2 3 4 5 6 7 8
b1 b2 b3 b4 b5 b6 b7 b8
Sl.1.9. Oblik odaslanog signala slova D prema 7-bitnom ASCII kodu Osim 8 elemenata, izlazni signal ima start i stop impulse s trajanjima