5.3.2015

1

Audio-vizuelna tehnologija

Filozofski fakultet Tuzla

Odsjek: Tehniki odgoj i informatika

I ciklus studija

Ak.god. 2014./2015.

Nastavno osoblje

Nastavnik dr.sci. Samra Mujai, vanr.prof.

samra.mujacic@untz.ba

ECTS: 3

Predavanja: 30

5.3.2015

2

Cilj predmeta

Znanja u podruju audio, video i multimedijskih tehnologija

Osnovni koncepti i odabrani primjeri + praktino iskustvo kroz projektne zadatke

Sadraj predmeta

Osnovni tipovi medija: Tekst; Nepomina slika; Pomina slika animacija; Audio zvuk; Video. Postupci obrade i kompresije medija. Formati zapisa. Audio-vizuelna

integracija. Multimedija. Hipermedija. Multimedijski

dokumenti. Sinhronizacija multimedije. Multimedijske

tehnologije i aplikacije: videokonferencija, web

konferencija, interaktivna televizija, strujanje medija,

VoD, elektronski obrazovni sadraji, e-uenje.

5.3.2015

3

Nastavna literatura (1)

Slajdovi sa predavanja

Projektni zadaci

Nastavna literatura (2)

Osnovne knjige:

J. Barakovi Husi, E. Brka, M. Hadiali, M. krbi: Multimedija i kodiranje, univerzitetsko izdanje,

Elektrotehniki fakultet Univerziteta u Sarajevu, Sarajevo, 2014.

Z. Bojkovi, D. Martinovi: Osnove multimedijalnih tehnologija, udbenik, Visoka kola elektrotehnike i raunarstva, Beograd, 2011.

P.Mari, S.Mujai, M.Zori-Venuti, A.Tibaut, V.uki, Z.Gaji, M.Gaji: Preporuke: Bosna i Herzegovina, Radna grupa za eObrazovanje. dopunjeno izdanje,

Graz: World University Service Austrian Commitee. 2006.

5.3.2015

4

Nastavne metode

Predavanja

Samostalan rad projektni zadaci

Konsultacije

Metode provjere znanja

Projektni zadaci

Testovi

Zavrni ispit

5.3.2015

5

Metode ocjenjivanja

Prisustvo na nastavi

Projektni zadaci

Testovi

Zavrni ispit

Bodovanje aktivnosti za sticanje potpisa

bodovi

Prisustvo

Projektni

zadaci Potpis

3 30 33 maksimalan broj

bodova

2,4 15 17,4 minimalan broj bodova

5.3.2015

6

Bodovi za zavrni ispit

Potpis Testovi

Uslov za

ZI

33 50 83 maksimalan broj

bodova

17,4 25 42,4 minimalan broj bodova

Bodovi ukupno

Potpis Testovi ZIU Ukupno

33 50 17 100 maksimalan broj

bodova

17,4 25 8,5 50,9

minimalan broj

bodova (nije dovoljan

min po svim

kriterijima!)

5.3.2015

7

...ili bodovi ukupno

Potpis ZIP ZIU Ukupno

33 50 17 100 maksimalan broj

bodova

17,4 25 8,5 50,9

minimalan broj

bodova (nije dovoljan

min po svim

kriterijima!)

Konana ocjena

Bodovi Ocjena

54 - 63 6

64 73 7

74 83 8

84 93 9

94 - 100 10

1

Audio-vizuelna tehnologija

Pojam, obiljeja i komunikacijski zahtjevi medija

Tipovi medija

Sadraj

Uopte o medijima Podjela medija Multimedija Multimedijski sistemi Osnovni tipovi medija

Tekst Raunarska grafika (nepomina slika, animacija) Zvuk Video

2

Medij, definicija i pojmovi

multi [lat. multi-]: viestruki, vie, puno

medij [lat. medium]: sredstvo za prikaz informacije

vrste medija: vizualni medij: tekst, crte, nepokretna slika, pokretna slika

(animacija), video

akustini medij: zvuk, govor i muzika

mediji vezani uz druga ljudska osjetila ili umjetna osjetila (senzore)

prikaz na raunaru: analogno-digitalna pretvorba

definicija multimedije (u irem smislu):

informacija predoena preko vie medija

Kvalitativna podjela medija vremenski neovisni medij (diskretni)

valjanost podataka ne ovisi o vremenskim uslovima tj. o trenutku pojavljivanja, trajanju i sl.

npr: tekst, nepomina slika

vremenski ovisni medij (kontinuirani) vrijednost podataka se mijenja tokom vremena, valjanost ovisi o

vremenskim uslovima obrada i komunikacija sloene npr: govor, muzika, video, animacija

stroga definicija multimedije:

vie objedinjenih medija od kojih je barem jedan kontinuiran (vremenski ovisan) i barem jedan diskretan

(vremenski neovisan)

Kada se konzumentu multimedijskog sadraja omogui da upravlja elementima koji e mu biti isporueni, tada govorimo o interaktivnoj multimediji

3

Definicije multimedije

Na primjer, neko e pod multimedijom podrazumijevati PC sa ugraenom zvunom karticom, DVD-ROM-om, multimedijskim procesorom koji je u stanju obraivati dodatne multimedijske instrukcije.

Ili na primjer, pod multimedijom se moe podrazumijevati interaktivna kablovska televizija sa stotinama digitalnih kanala i

uslugama brzog irokopojasnog pristupa Internetu.

Nadalje, pojam multimedije u kontekstu raunarskih nauka obino podrazumijeva zapravo multimedijske aplikacije.

Multimedijska aplikacija je aplikacija koja koristi viestruke medijske izvore kao to su: tekst, slike, zvuk, animacije, video, itd.

Pojam multimedije u kontekstu telekomunikacijskih nauka obino podrazumijeva multimedijske komunikacijske sisteme i usluge.

Prema tome, vidimo da termin multimedija moe imati razliita znaenja ovisno o kontekstu upotrebe ovog termina.

Interdisciplinarnost

Multimedija je interdisciplinarno podruje zato to ukljuuje razliite teorije i vjetine:

raunarsku tehnologiju

telekomunikacijsku tehnologiju

umjetnost, dizajn i prezentacijske vjetine

znanje iz aplikacijske domene

4

Multimedijski sistemi 1/2

Takoer, u literaturi se mogu nai razliite definicije za

multimedijske aplikacije i multimedijske sisteme.

Moemo izdvojiti slijedea tri kriterija za klasifikaciju nekog sistema kao multimedijskog sistema:

Broj razliitih medija

Tipovi koritenih medija

Stepen integracije medija

Najjednostavniji je prvi kriterij. Prema tom kriteriju je, na primjer, i program za obradu teksta (MS Word)

multimedijski sistem.

Tipovi koritenih medija su drugi kriterij. Ovdje moemo razlikovati vremenski ovisne i vremenski neovisne

medije.

Multimedijski sistemi 2/2

Trei kriterij je integracija pod kojom podrazumijevamo da se razliiti tipovi medija obrauju i prikazuju zajedno, ali ostaju neovisni jedan od drugog.

Budui da je integracija vremenski ovisnih medijskih objekata u stvari vrlo nov aspekt obrade informacija, neki

autori definiraju multimedijski sistem kao sistem koji

podrava obradu vie od jednog medija od kojih je barem jedan vremenski ovisan.

Kombinirajui prethodna tri kriterija neki autori predlau slijedeu definiciju multimedijskog sistema:

Multimedijski sistem je sistem ili aplikacija koja podrava integralnu obradu razliitih tipova medija sa barem jednim vremenski ovisnim medijem.

5

Elementi multimedijskog sistema

Komponente multimedijskog

sistema Komponente multimedijskog sistema su:

Razliiti ulazni ureaji (video kamera, mikrofon, tastatura, mi, tableti, 3D ulazni ureaji, taktilni senzori, ...)

Ureaji za pohranu (tvrdi diskovi, CD ROM-ovi, DVD ROM-ovi, ...)

Ureaji za prikaz (monitori visoke rezolucije, HDTV, printeri u boji,...)

Raunari (multimedijski desktop raunari, radne stanice, ...)

Komunikacijske mree (lokalne mree, intranet, Internet, specifine mree s velikim brzinama prenosa)

6

Multimedijski sistemi/aplikacije

Multimedijski sistemi/aplikacije ukljuuju sljedee elemente:

Generiranje podataka

Manipulaciju podacima

Pohranjivanje podataka

Prezentaciju podataka

Prijenos podataka i informacija

Multimedijski autorski alati Multimedijski autorski alati su alati koji

omoguavaju kreiranje multimedijskih aplikacija ukljuujui i razliite komponente za interakciju.

Primjeri:

Adobe Flash (prije Macromedia Flash) omoguava kreiranje interaktivnih animacija

Adobe Director (prije Macromedia Director)

Adobe Authorware vizualni autorski alat za kreiranje aplikacija e-uenja

Quest

Grins Editor for SMIL 2.0

7

Multimedijske usluge

interaktivne usluge dvosmjerna razmjena medija izmeu dva ili vie korisnika

meusobno, i/ili s aplikacijskim posluiteljem/ima konverzacijske usluge (npr. videokonferencija)

viekorisnike saradnike aplikacije, igre

usluge pretraivanja (baze podataka, WWW)

distribucijske usluge informacija se dostavlja razliitim udaljenim mjestima

jednosmjerna komunikacija od izvora informacije prema udaljenim korisnicima

s korisnikovom kontrolom prikaza; npr. video na zahtjev

bez korisnikove kontrole prikaza; jednostavnije usluge, npr. kablovska televizija

Trenutna podruja istraivanja i razvoja

Istraivake teme povezane s multimedijskim sistemima su:

Obrada i kodiranje multimedijskih sadraja (analiza sadraja, kompresija, pretraivanje multimedijskih baza podataka,...)

Multimedijski alati i aplikacije (korisnika suelja, multimodalna interakcija, autorski sistemi, multimedija

u edukaciji, virtualna okruenja, ...)

Podrka multimedijskim sistemima i umreavanje (protokoli, operativni sistemi, serveri i klijenti, kvaliteta

usluge,...)

8

Kratak historijski prikaz 1/2 1945 Wannevar Bush (1890-1974) opisao hipermedijski sistem

pod nazivom Memex koji je bio memorijski ureaj koji je ukljuivao koncept asocijativnih veza. Bush je opisao ureaj kao elektroniki povezan u biblioteku koji bi mogao prikazivati knjige i filmove iz

biblioteke i koji bi automatski mogao slijediti reference od jednog

djela prema drugom. Memex je uticao na razvoj hiperteksta.

1960-tih godine Ted Nelson pokrenuo projekat Xanadu koji je predstavljao prvi pokuaj hipertekst sistema

1968- Douglas Engelbart pod uticajem Bush-a (As We May Think) je demonstrirao On-Line System kao primjer hipertekstualnog programa

1969- Nelson i van Dam (Brown University) kreirali editor hiperteksta pod nazivom FRESS

1978- MIT Architecture Machine Group kao rezultat projekta Multiple Media razvili Aspen Movie Map kao prvi hipermedijski videodisk

Kratak historijski prikaz 2/2

1985- Negroponte i Wiesner osnovali MIT Media Lab kao vodeu istraivaku instituciju za istraivanje digitalnog videa i multimedije.

1989- Tim Berners-Lee predloio World Wide Web instituciji European Council for Nuclear Research (CERN)

1991- standard MPEG-1 priznat kao meunarodni standard za digitalni video, nakon ega su se razvili novi standardi MPEG-2, MPEG-4, itd.

1992- JPEG je prihvaen kao meunarodni standard za kompresiju digitalnih slika, nakon ega je slijedio razvoj novih JPEG standarda

1993- University of Illinois National Center for Supercomputing Applications kreirao NCSA Mosaic kao prvi popularni web browser koji je bitno doprinio

popularnosti web-a

1994 Jim Clark i Marc Andreessen kreirali program Netscape kao prvi komercijani web browser

1995- kreiran jezik JAVA

1996- DVD video se poeo koristiti

Dalje znate i sami...

9

Tipovi medija

tekst, podaci

Mediji koji nisu

vremenski ovisni

Tipovi medija

Mediji u

realnom vremenu

slike

Diskretni

tekstualni

razgovorInstant Messaging

Kontinualni

bez tolerancije

kanjenja

sa tolerancijom

kanjenja

pristup

aplikacijama na

udaljenom kompjutoru

interaktivni

audio/video

streaming

audio/video

Bez tolerancije na greku

Osnovni tipovi medija

Tekst

Raunarska grafika Nepomina slika

Pomina slika (animacija)

Audio

Video

-----------------------------------

Multimedija

Hipermedija

10

Medij Vrsta Prednosti Ogranienja

tampani materijal

Skripte, prirunici, knjige, primjeri,

pomoni/radni materijali

1.spontan

2.jednostavan za

koritenje 3.jeftin

1.ogranieno vienje realnosti

2.pasivan i

jednosmjeran

3.ograniena interakcija

Kombinovani

mediji

(kompjuterski

predstavljeni

mediji)

Kompjuterske

aplikacije

1.multimedijski

2.interaktivan

3.dostupan

4.brz napredak i

smanjenje cijene

1.trokovi razvoja 2.isporuka

3.auriranje 4.kompjuterska

nepismenost

Audio mediji Pasivni audio medij

Aktivni audio medij

1.jeftin

2.dostupan

3.jednostavan

4.interaktivan

5.efektivan

1.nepostojanje

vizualnih informacija

2.ogranien sadraj audio zapisa

Video mediji Pasivni video medij

Aktivni video medij

1.vizualni kontakt

2.koritenje razliitih medija 3.dostupnost

4.interaktivnost

1.veliki trokovi 2.nekompatibilnost

3.nepravilna

konfiguracija

4.nepravilno

pripremljen sadraj

Tekst

11

Razvoj pismene komunikacije

Pismo ili pisana rije je sredstvo prostorne i vremenske komunikacije. Pismo se razvija paralelno s razvojem nae civilizacije i vjerovatno predstavlja najzasluniji faktor njenog napretka.

Pismo, u irem smislu, predstavlja svaki sistem vidljivih oblika (slikarija, simbola, znakova i njihovih kombinacija) namjerno proizvedenih u svrhu memorisanja i obavjetavanja -

u uem smislu predstavlja sistem znakova koji predstavljaju odreene elemente govornog jezika: pojedine rijei, slogove ili glasove.

Slikovno pismo-piktografija

piljski crtei Savremeni piktogrami

Svi oblici pisama preuzeti su sa http://likovna-kultura.ufzg.unizg.hr/pismo.htm

12

Pojmovno pismo-ideogrami

Vjerovatno je najprije razvijeno u sumerskoj kulturi oko 3400 godine prije Krista u obliku klinastog pisma[1].

Kasnije su u Egiptu razvijeni hijeroglifi, a u Kini se i danas upotrebljava takav oblik pisma. Ideogrami su shematizirani oblici slikovnog predoavanja koji postaju nositelji pojedinih rijei i pojmova koji se mogu dovoditi u odnose i stvarati asocijacije na apstraktne pojmove. Tako se npr. kod kineskog pisma ideogram "ljubav" gradi udruivanjem sliica majke i djeteta; "pjevati" je sloen od ideograma ptice i usta, a dvije ene su simbol za svau.

[1] Sumerska je kultura nastala u Mesopotamiji na podruju rijeka Eufrat i Tigris, gdje se danas nalazi Irak.

Sumerski ideogram

Savremeni ideogram

Slogovno ili silabiko pismo Ovdje se svaki znak odnosi na jedan gramatiki

slog. Slogovno pismo razvilo se tako da se znak za pojam (ideogram) ili rije (logogram) poeo odnositi samo na prvi slog te rijei, ili se vie ideograma kratkih rijei slagalo zajedno da bi se dobilo priblino fonetski sastav neke due rijei.

Pretpostavlja se da je najstariji primjer takvog pisma kretsko linearno pismo, nastalo je poetkom 2000-te godine prije Krista (prvo pismo u Europi) pod utjecajem egipatskih hijeroglifa koje do danas nije deifrirano.

Ostali primjeri silabikog pisma su hebrejsko kvadratino pismo i arapsko pismo koje je razvijeno u 7. vijeku kao prethodnik dananjem arapskom pismu. Japanci i danas koriste silabika pisma hiragana i katakana. Pored toga oni koriste i pismo kanji (kani) koje je slino kineskom slikovnom pismu.

Kretsko linearno pismo

13

Hebrejsko kvadratino pismo

Kvadratino pismo Kethabh merruba zove se jo i asirsko pismo. Sastoji se od 22 znaka za

kosonante, pie se s desna na lijevo, a odsutnost vokala nadoknauje se dodatnim znakovima, takicama ili crticama ispod slova; nazivaju se masoretskim znakovima ili

punktacijom.

Indijsko pismo Devanagari

Razvilo se u sjevernoj Indiji iz pisma

brahmi u pismo devanagari ("pismo

boanskog grada"). ita se i pie slijeva na desno. Dijeljenje rijei nije uobiajeno.

14

Arapsko pismo

Razvilo se u 7. vijeku. Najstariji rukopisi Kurana

napisani su kufskim pismom, monumentalnim i

uglatim, prikladnim za urezivanje. Pisanjem na

koi i papirusu izgubilo je svoju ukoenost i pretvorilo se u nashi, predhodnika dananjeg arapskog pisma. Arapsko se pismo se ita s desna na lijevo, a slova su unutar rijei povezana; dijeljenje rijei nije uobiajeno.

Alfabet

Na kraju razvojnog lanca pisma nalazi se alfabet, kojeg i danas koristimo za obradu teksta. Alfabet ine znakovi (grafemi) ili slova koji oznaavaju pojedini govorni glas.

Smatra se da su ga prvi razvili Feniani koji su imali alfabet od 22 slova. Od njega su Grci u 10. vijeku prije nove ere razvili grki alfabet. Sama rije alfabet dolazi od prva dva grka slova alfa i beta.

Slova grkog alfabeta

izvor http://www.omniglot.com/writing/greek.htm

15

Tekst

Tekst u multimediji karakterizira dualna priroda.

Tekst predstavlja vidljivu reprezentaciju govornog jezika i ujedno grafiku, dizajnersku i estetsku komponentu multimedije.

Kao reprezent govornog jezika, tekst nosi semantiki smisao zapisan slovima odgovarajue abecede koritenog pisma. Tekst se sastoji od grafikih elemenata kao to su znakovi, geometrijski ili fotografski elementi ili njihove kombinacije.

Iako se tekst promatra kao dvodimenzionalan objekat, u raunarima se predstavlja kao jednodimenzionalni niz znakova.

Vrste teksta

Razlikuju se tri vrste teksta:

neformatirani tekst (engl. unformatted text)

formatirani tekst (engl. formatted text)

hipertekst (engl. hypertext)

16

Mainsko tampanje teksta

594. U Kini se izraivao otisak pomou izdubljenog negativa 1041. U Kini se koriste pomini glineni peati za pisanje znakova 1436. Gutenberg zapoeo rad na svom tamparskom ureaju 1440. Gutenberg zavrio svoj drveni tamparski stroj na kojem je koristio metalna

slova

1455. Gutenberg tampao bibliju u Mainzu (Neki uzimaju ovu godinu kao poetak mainskog tampanja teksta)

1455. Gutenberg bankrotirao 1461. Albrecht Pfister tampao prvu ilustrovanu knjigu koristei drvene ablone (u

Mainzu)

1462. vojnici nadpiskupa od Nassau napali Mainz i proirili znanje o tamparskom stroju u Europu

1499. tampanje se proirilo u vie od 250 gradova irom Europe 1501. prvi puta koriteni Italic znakovi 1518. romanski znakovi poeli istiskivati gotike 1609. tampane prve novine 1666. prvi papirni novac tampala Bank of Sweden 1798. Aloys Senefelder izumio litografiju to je predstavljalo revoluciju u tamparskoj

tehnici. Koriteno je svojstvo da se ulje i voda ne mijeaju. Na kamenu povrinu se masnom kredom ucrtao znak ili crte. Nakon toga se kamena povrina umoila u tintu koja se nije zadravala na masnoj povrini

1874. Cristopher Latam Sholes izradio prvi pisai stroj kojeg je komercijalno proizveo E. Remington and Sons

Izvor http://www.dotprint.com/fgen/history1.htm

Razvoj pisaih ureaja

Replika Gutenbergovog tiskarskog stroja

Prvi komercijalno proizvedeni pisai stroj (lijevo) i tipian mehaniki pisai stroj (desno)

Tastatura prvog pisaeg stroja 1874.

17

Obrada teksta raunarom

Tekst se unosi u raunar runo upisom na tastaturu ili strojno pomou ureaja za optiko prepoznavanje tekstova - OCR (Optical Character Recognition), koji danas mogu 'prepoznati' ak i rukopis.

Tekst je u sutini niz znakova (characters) meu kojima se nalaze slova, brojevi i pomoni znakovi za ureenje teksta, kao to su znakovi interpunkcije (taka, zarez, upitnik usklinik), navodnici, akcenti itd.

Razvojem informatike razvijali su se i standardi za memorisanje navedenih znakova. Danas ne postoji jedinstveni standard za memorisanje teksta.

Standardi

ASCII (American Standard Code for Information Interchange) kod - koji predstavlja 7- bitni sistem kodiranja slova engleske abecede koji omoguava upisivanje 128 znakova

Latin Alphabet 1 (ISO 8859-1) koji koristi 8 bita (256 znakova) prvih 128 su ASCII znakovi a ostatak posebni nacionalni znakovi

Latin Alphabet 2 (Latin 2- ISO 8859-2) koji sadri i hrvatske dijakritike znakove (,,,..)

Microsoft CP -1250 koji sadri i hrvatske znakove i nalazi se na svim raunarima s Microsoft Windows platformom i koji je de facto postao standardom

Unicode (ISO 10646-1) 16 bitni sistem (65536 znakova) koji omoguava svim nacionalnim pismima da se ugrade u jedan standard

18

Obrada teksta raunarom

Prilikom obrade teksta raunarom, danas postoje dvije tehnike za prikazivanje

znakova

bitmap

outline

Najei outline oblik je vektorski

Bitmapirani i vektorski prikaz

Bitmapirani prikaz se temelji na mrei 'kvadratia' odnosno najmanjih jedinica koje se mogu prikazati (na ekranu ili printeru) koji se nazivaju dots, pa se popunjavanjem tih kvadratia stvara slika znaka. Nedostatak takvog prikaza je relativno veliki utroak memorije i ograniene mogunosti poveanja slike tj. poveanjem se gubi kvaliteta. Pojam dots per inch (dpi) je povezan s definicijom kvalitete tampaa (od 300

dpi do preko 1200), dok se kod ekrana koristi naziv pixel (picture element) kao pojam za najmanji dot koji se moe prikazati i obino to bude od 72 do 96 pixel per inch.

Vektorski prikaz definie znak kao skup geometrijskih oblika (Bezier-ove krivulje). Razlika se vidi na slici.

19

Primjeri programa za obradu teksta

DOC i PPT Microsoft

ovisni o platformi

Windows, MacOS

promjenljiv sadraj

redundancija

nezatien sadraj

+ dostupni autorski alati (Word, PowerPoint)

+ originalni dokument

PDF i PS Adobe

+ neovisni o platformi

samo je potreban preglednik

nepromjenljiv sadraj

+ kompaktan

+ zatien od kopiranja (uslovno)

manje dostupni autorski alati (Acrobat, LaTeX...)

Formati za tekst

U ovisnosti o svojstvima teksta i koritenoj metodi kompresije, tekst se moe pohranjivati u velikom broju formata. Svaki od formata zahtijeva specifinu aplikaciju za pristup i modificiranje sadraja.

TXT (engl. Text)

DOC (engl. Document)

DOCX (DOC sa XML)

OXPS (engl. Open XML Paper Specification)

RTF (engl. Rich Text Format)

PDF (engl. Portable Document Format)

PS (engl. PostScript)

20

Fontovi

Znakovi koji su osnovni elementi teksta imaju razliite mogunosti prikaza. Te se mogunosti najveim dijelom definiraju pod pojmom font. Pojam font objedinjuje

razliite karakteristike znakova meu kojima je osnovna sam izgled znakova ali i

neka druga svojstva koja neposredno

utiu na taj izgled.

Pojmovi u vezi s definisanjem fontova

Ascender

x- height (visina)

Descender

Baseline Mean line Serif

.

21

Jo o fontu

Veliina fonta se definie kao points koji predstavlja 1/72 ili 0,0138 inch-a (1 inch = 2,54

cm). Kada se kae na primjer 12 points Arial, onda pojam Arial predstavlja font, dakle oblik

slova a 12 points predstavlja 12/72 to je jednako jednu estinu inch-a odnosno 2,54/6 to je jednako 0,42 centimetra, odnosno neto vie od 4 milimetra

ovo je primjer teksta Arial 20 points

a ovo Times New Roman 20 points

Vrste fontova u odnosu na irinu elije

Svi znakovi nisu jednako iroki, pa ni razmak meu njima u tekstu ne mora biti jednak. Osnovna elija u koju se smjeta znak (slovo) moe biti uvijek iste irine i onda se govori o monospace fontovima. Ako se irina prostora kojeg e slovo zauzeti prilagoava irini samog slova onda se govori o proportional-space fontovima.

Brza smea lisica Brza smea lisica Courier 24 Times New Roman 24

22

Hipertekst

Knjigu moemo smatrati linearnim medijem zbog toga to itanje te knjige obavljamo od poetka prema kraju.

S druge strane, hipertekst se ita obino nelinearno, slijedei veze koje pokazuju na druge dijelove nekog dokumenta ili

ak na potpuno drugi dokument.

Dakle, hipertekst je tekst koji sadri veze na druge tekstove.

Ovaj termin je smislio Ted Nelson (1965)

Gornje injenice imaju implikacije na raspored i organizaciju materijala.

Na rapored i organizaciju materijala mnogo utie i konkretno podruje primjene.

Raunarska grafika

23

Raunarska grafika

Grafika podrazumijeva prikaz informacija pomou slika u kojima su osnovni nosioci informacija oblici i boje.

Raunarska grafika (engl. computer graphics) se definira kao vid grafike u kojoj se za generiranje, pohranu i

prezentiranje slikovnog sadraja koristi raunar.

Raunarska grafika se moe odrediti i kao skup tehnologija koje se koriste u kreiranju i manipuliranju

slikovnim sadrajima, odnosno kao podruje raunarskih nauka koje se bavi prouavanjem metoda za digitalno generiranje i manipuliranje vizuelnim sadrajima.

Podjela raunarske grafike

Raunarska grafika se moe podijeliti na vie razliitih vrsta u odnosu na nekoliko kriterija. Uobiajeno se spominju tri podjele raunarske grafike:

1. interaktivna i neinteraktivna

2. dvodimenzionalna i trodimenzionalna

3. vektorska i rasterska

24

Interaktivna i neinteraktivna

grafika

U interaktivnoj grafici se koristi dinamiki prikaz slike na mediju koji to omoguava pri emu korisnik aktivno sudjeluje u stvaranju i/ili izmjeni slike.

U neinteraktivoj grafici informacije su statine, a prezentiranju se bojama i oblicima, ali bez mogunosti interakcije.

2D i 3D grafika

Dvodimenzionalna grafika podrazumijeva raunarsko stvaranje digitalnih slika koje koriste dvodimenzionalni prikaz grafikih objekata.

Trodimenzionalna grafika se zasniva na dvodimenzionalnoj vektorskoj grafici. Razlika je

u tome to se ovdje koordinate taaka uvaju u prostoru umjesto u ravni, a objekti nemaju samo

irinu i visinu, nego i dubinu.

25

2D i 3D raunarska grafika

Primjer raunarske grafike: (a) dvodimenzionalna; (b) trodimenzionalna

Vektorska i rasterska grafika

Podjela na vektorsku i rastersku grafiku je izvrena prema osnovnim gradivnim elementima slike.

Vektorska grafika kao osnovne gradivne elemente ima objekte poput taaka, linija, krivih i poligona koji se mogu uklapati, preklapati i

prekrivati i tako graditi vektorsku sliku.

Za razliku od vektorske grafike, rasterska grafika poznaje samo jedan slikovni element piksel (engl. picture element).

26

Vektorska i rasterska grafika

Primjer raunarske grafike: (a) vektorska; (b) rasterska

Vektorska grafika

Kod vektorske grafike, slika predstavlja skup objekata koji su u potpunosti opisani

matematiki, to omoguava izvoenje razliitih manipulacija nad objektima slike bez negativnog uticaja na kvalitetu slike.

S obzirom na to, veliina vektorske datoteke je relativno mala, to je ini interesantnom za mnoga podruja primjene.

27

Rasterska grafika

Kod rasterske grafike, slika predstavlja matricu piksela.

Budui da je rasterska grafika namijenjena stvaranju i obradi slika s mnogo detalja izmeu kojih ne postoji matematika veza, javljaju se vei memorijski zahtjevi.

S tim u vezi, razvijene su brojne metode za kompresiju rasterskih slika. To ima za posljedicu

odreene gubitke s aspekta kvalitete slike.

Slika Slika u multimediji uobiajeno podrazumijeva rastersku

sliku koja predstavlja dvodimenzionalnu matricu

diskretnih elemenata slike, odnosno piksela. Piksel kao

element slike je odreen svojom svjetlinom i poloajem u slici.

Svjetlina piksela se izraava brojnom vrijednou intenziteta, dok se poloaj piksela predstavlja koordinatama (x, y).

Dimenzije matrice piksela odreuju rezoluciju slike. Rezolucija slike koju prikazuje zaslon mobitela,

raunara, projektor ili televizor se iskazuje brojem piksela u redu i koloni matrice (npr. 320240, 1024768, 19201080), dok se kod digitalnih fotografskih i videokamera iskazuje ukupnim brojem piksela koji njihov

senzor moe snimiti (najee u megapikselima).

28

Grafike slike (2D slike)

Vektorski bazirana grafika

Objekti

matematiki definirani

neovisni o rezoluciji

Primjena kod

tehnikih shema i projekata

slika koje sadre dosta teksta

dokumenata sa visokom izlaznom kvalitetom (print)

Grafika bazirana na pikselima

rasterska grafika

Objekti

grupa piksela

ovisni o rezoluciji

Primjena kod

fotografija

pregleda na ekranu

kompresije bez gubitka informacije

Alati za crtanje 2D slika

Alati za vektorsku grafiku, crtanje linija, krugova, kocki, tehnikih shema, projekata

CorelDraw

Adobe Illustrator

Macromedia Freehand MX

Alati za obradu bitmapirane slike, dakle, ureivanje, preureivanje slika, brisanje elemenata na gotovim slikama, uklanjanje objekata sa slike, komponovanje dvije slike u jednu itd. Alati podravaju rad sa layer-ima, to znai da se svaka slika moe posmatrati kao jedan sloj na koji se moe dodati neka druga slika koja e biti drugi sloj - layer

Adobe Photoshop Corel Painter Paint Shop Pro

P1 P2

P3

VC unitTandberg 6000(MCU 1)

VC unit Tandberg 880 MXP

(MCU 2)University clinical centar Tuzla, BH

VC unitTandberg 880 MXPRikshospitalet Oslo, Norway

VC unitTandberg 550University clinical centar

Banja Luka, BH

ISDN

VC unitTandberg 550Clinical center

Mostar, BH

S video/audiomatrix

audio desk

large multimedia room

small multimedia room

UCDED University of Tuzla, BH

128 kbps

128 kbps

128 kbps

128 kbps

VC unitTandberg 550University hospital Sarajevo, BH

29

Formati slike

Slike se mogu pohranjivati u velikom broju razliitih datotenih formata. Za svaki datoteni format je karakteristina specifina metode kompresije i dubina boje:

BMP (engl. BitMaP)

JPEG (engl. Joint Photographers Experts Group)

GIF (engl. Graphics Interchange Format)

TIFF (engl. Tag-based Image File Format)

PNG (engl. Portable Network Graphic)

PCX (engl. Personal Computer eXchange)

TGA (engl. Truevision Graphics Adapter)

Usporedba formata i veliine datoteke

Na slici su prikazane iste slike amerikog borbenog aviona F-14 Tomcat koje su zapisane u razliitim formatima. Na osnovu podataka o koliini prostora za pohranu slike u odgovarajuem formatu, korisnik moe donijeti odluku o izboru adekvatnog formata.

30

Raunarska 3D grafika Modeliranje (oblikovanje pojedinog objekta koji e se kasnije koristiti u sceni.

Moe ukljuivati i ureivanje povrine objekta odnosno njegovih materijalnih karakteristika: boja, sjaj, providnost, refleksija i sl., zatim dodavanje teksture, i

dr.)

Araniranje scene (araniranje virtuelnih objekata, svjetla, kamere i drugih objekata na sceni koji e se kasnije koristiti kod izrade nepokretne slike ili animacije. Ako se radi o animaciji ova faza se koristi za izradu kljunih okvira.)

Renderiranje (objekat se projektira kao mrea meusobno povezanih geometrijskih oblika (kvadrata ili trouglova); zatim se dodaje materijalna

struktura (tijelo) objekta; u treoj fazi dodaje se boja i sjaj koji ukazuju na izvor svjetlosti; konano, prikazuje se efekat objekta na okolinu, ukljuujui odraz i sjenu.)

Animacija

Animacija predstavlja udrueni, dinamini povezani skup grafikih elemenata/slika i nosi sva obiljeja grafikih prikaza.

Posebne osobine animacijskih prikaza vezane su za dimenziju vremena koju kod prethodnih

vrsta prikaza (tekst, grafika, fotografija) ne

nalazimo. Dimenzija vremena odreuje kada e se i koji grafiki objekt/slika pojaviti i koliko e dugo trajati njegov prikaz na ekranu.

31

Zakoni kretanja u animaciji

Animirana sekvenca sastoji se od niza crtea (kadrova) koji brzo promiu po ekranu. Veina sadri statiku sekvencu i lik (obino se naziva elijom u programima za animaciju) koji djeluje kao da se kree po sceni. Privid pokreta dobiva se crtanjem lika u razliitim poloajima u svakom okviru tako da izgleda da se on mie kad se okviri prikazuju zajedno velikom brzinom.

Poput videa, i animacijska sekvenca treba prikazati odreen broj kadrova u svakoj sekundi ili e ljudsko oko primijetiti treperenje. Profesionalni, glatki crtani filmovi trebaju oko 30 okvira u svakoj sekundi animacije. Meutim, jednostavnija animacija treba oko 10 okvira u sekundi.

Tipovi animacija

1. Jednostavne animirane slike animirane GIF slike (Graphic Interchange Format) (Photoshop)

(GIF Animator)

2. Interaktivna animacija bez raunskog modela korisnik moe uticati na animacijski proces

3. Interaktivna animacija sa raunskim modelom kompleksna animacija

Klasifikacija s obzirom na prostor

2D 3D

Klasifikacija s obzirom na tehnologiju izvrni programi - exe Razliite web tehnologije - Java, Flash

32

Microsoft GIF animator

Programsko okruenje u Microsoft GIF animatoru

Kreiranje animacije pomou Microsoft GIF animatora

- Ponavljanje animacije

- Vrijeme trajanja okvira

- Nain izmjene okvira

Macromedia FLASH

Vektorski bazirani program

Programsko okruenje u Flash-u

- Pozornica - Vremenska osa

- Kutija alata

- Biblioteka simbola

- Paneli

Stage (scena)

Modifiers

Tools (alati)

Tim

eline (v

rijeme)

33

Rad u Flash-u

Crtanje Uvezeni elementi Animacija

animacija oblika shape tween animacija instanci simbola ili grupisanih objekata motion tween

Maskiranje Tekst

statika tekstualna polja dinamika tekstualna polja ulazna tekstualna polja

Upravljanje animacijom akcije za kljuni okvir ili dugme (stop, play, goto) uvjeti za aktiviranje (press) ActionScript

Drugi programi za rad sa 2D

animacijama

Swish animiranje tekst

Swiff Chart izrada multimedijalnih grafova i dijagrama

DEMO1

DEMO2

34

Najpopularniji programi za 3D

modeliranje i animacije

Maya (Alias Wavefront)

3D Studio Max (Discreet Logic)

Animation:Master (Hash)

Lightwave 3D (Newtek)

Softimage XSI (Avid)

Houdini (Side FX)

Poser (Cirious Labs)

Formati animacijskih datoteka

Najei koriteni formati animacijskih datoteka su:

posebna opcija slikovnog formata GIF i video formata AVI (engl. Audio Video Interleaved)

na operativnom sistemu Windows

format QTFF (engl. Quick Time File Format)

format SWF (engl. ShockWave Flash)

VRML (engl. Virtual Reality Modeling Language)

35

Audio - zvuk

Zvuk

Zvuk je valovita promjena pritiska zraka.

Pojavu zvuka moemo opisati najobinijim pljeskom ruku. Kada ovjek pljesne rukama, zrak koji je bio meu dlanovima biva istisnut i na taj nain poveava se pritisak zraka u okolini ruku. Taj se poveani pritisak iri putem molekula zraka u svim smjerovima. Brzina irenja je oko 340 metara u sekundi. Kada stigne do naeg uha, odnosno bubnjia koji je osjetljiv na promjenu pritiska u zraku, ono ga registrira kao zvuk, kojeg iskustveno prepoznajemo kao pljesak ruku. Dakle, kad ne bi bilo zraka, ne bi mogli uti ni zvuk.

36

Snimanje i reprodukcija zvuka

Za razumijevanje naina snimanja i reprodukcije zvuka bitno je shvatiti nain rada mikrofona i zvunika. Mikrofon je naprava koja promjene pritiska u zraku pretvara u struju razliitog napona, po naelu jai titraj vii napon, a zvunik radi obrnuto, on takvu struju pretvara u titranje membrane koja reproducira zvuk. Posljednjih 150 godina razvijene su razliite tehnike kojom se taj zvuk pohranjuje.

Postoje dva razliita koncepta snimanja zvuka analogni i digitalni.

Jo o zvuku

Zvuk je uzrokovan promjenama u pritisku zraka koje stvaraju valni oblik koji podraava uni bubnji. Ljudsko uho uje zvune valove frekvencije izmeu 16 Hz i 20 kHz. Meutim, normalni ljudski glas je ogranien na podruje od 300 Hz do 3400 Hz.

Za prijenos zvuka kroz mreu zvuni valni oblik se mora pretvoriti u binarni oblik (podaci u obliku bita) kroz proces koji se zove kodiranje (encoding). Zatim se ti bitovi podatka moraju integrirati u mreni transportni protokol. Takav posao rade audio codec ureaji.

Audio (zvuk) je najvanija komponenta bilo koje videokonferencije, video streaminga ili IP telefonske aplikacije. Bitne informacije mogu se jo uvijek prenijeti samo pomou zvuka.

37

Percepcija glasnoe zvuka

proporcionalna pritisku

mjeri se u decibelima (dB)

0 dB se teko uje (na 2 kHz to je granica ujnosti)

120 dB je vrlo glasno! Izaziva bol!

Percepcija frekvencije zvuka

Ljudsko uho - 16Hz do 20kHz

Percepcija se mijenja logaritamski

npr. razlika izmeu 200Hz i 400Hz se percipira kao razlika izmeu 5kHz i 10kHz

38

Glasnoa i frekvencija zvuka

Razliite frekvencije iste glasnoe se percipiraju kao razliite glasnoe

Ljudsko uho je najosjetljivije na 3kHz, moemo uti vrlo tihu muziku

Najvei raspon glasnoe je do 1kHz, zvuk mora biti glasan na niim frekvencijama da bismo ga mogli uti

Glasnoa i frekvencija zvuka

39

Digitalizacija audio signala S obzirom da je gornja granica ujnosti 20 000 Hz, smatralo se

da za digitalizaciju zvuka treba uzeti barem dvostruko toliko uzoraka, pa je npr. za Compact Disc (CD) taj broj odreen kao 44100 uzoraka u sekundi.

Na CD-u se koriste 16-bitni format koji omoguava prikaz 65536 razliitih znakova. Danas se koriste 24 ili 32-bitni formati.

Raunar koje moe obraivati zvuk mora imati ugraenu zvunu karticu. Ovisno o modelu i konfiguraciji raunara zvuna kartica moe biti ugraena u raunar ili se koristiti kao vanjska jedinica.

Poput svih ostalih podataka i digitalizirani se zvuk u raunaru pohranjuje u datotekama. Te datoteke mogu biti razliitih formata.

Najee koritena tehnika digitalizacije zvuka naziva se Puls Code Modulation i ukljuuje nekoliko formata datoteka kao WAV (Windows Wave Audio File Format) ili AIFF (Audio Interchange File Format).

Kasnije su razvijeni i razni oblici komprimiranih datoteka kao MP3 koji komprimira zvuk u omjeru 10:1 uz vrlo malu degradaciju kvalitete.

Uzorkovanje diskretni vremenski intervali

40

Kvantizacija diskretno vrijeme i vrijednosti

Pogreka kvantiziranja

41

Parametri A/D konvertora

samplingrate samplingsize Shannon/Nyquist-ov teorem: frekvencija uzorkovanja

mora biti barem dva puta vea od frekvencije signala

Kompresija audio signala

Kompresija audio signala je neophodna radi lakeg pristupa i prijenosa audio signala, i zbog visoke cijene globalnih WAN mrea (Wide Area Network).

Kompresija se moe definisati sa velikim brojem razliitih matematikih funkcija.

Pulsno kodna modulacija (PCM) je najpopularnija metoda kodiranja analognog audio signala i iroko je implementirana u javnoj telefonskoj mrei. Uzorkuje analogni audio signal frekvencijom od 8000 uzoraka/sek i koristi 7 ili 8 bitnu kvantizaciju (56 kbps ili 64 kbps)

Druge tehnike kodiranja kao to je Adaptivna diferencijalna PCM (ADPCM) koristi estimacije (procjene) temeljene na dva kvantizirana uzorka u nizu da bi smanjila zahtjev za irinom pojasa na polovicu.

42

Kodiranje audio signala

Percepcijsko kodiranje Kod percepcijskog kodiranja

koriste se kratkotrajne karakteristike izvornog signala i psihoakustike osobine maskiranja ljudskog uha da bi se smanjio tok podataka. Izvorni spektar dijeli se na frekvencijske pojaseve. Odgovarajua frekvencijska komponenta unutar nekog pojasa podignut e prag maskiranja u tom pojasu te okolni signali koji padnu ispod praga maskiranja nee biti ujni. Takvo se maskiranje zove i simultano maskiranje. Osim frekvencijskog, postoji i vremensko maskiranje koje nastaje prije i poslije pojave maskirajueg signala.

Transformacijsko kodiranje Kod transformacijskog kodiranja

blok ulaznih uzoraka se linearno transformira diskretnom transformacijom u niz transformacijskih koeficijenata. Ovi koeficijenti se zatim kvantiziraju i prenose. U dekoderu inverzna transformacija vraa signal nazad u vremensku domenu. Tipine transformacije su diskretna Fourier-ova transformacija (DFT), modificirana diskretna kosinusna transformacija (MDCT), Wavelet transformacija (WT)

Video

43

Video

Video odn. pokretna slika se sastoji od niza nepominih slika (okvira), prikazanih dovoljno brzo

Frekvencija promjene slike je brzina osvjeavanja okvira (engl. frame rate) izraena u okvirima u sekundi [fps] Opaamo kretanje kao neprekinuto ako je brzina

osvjeavanja slike od 15 fps (npr. za animaciju) do 25-30 fps (npr. za full-motion video)

Posebne primjene, npr. 3D simulacija leta, do 60-75 fps

ulo vida

ulo vida je vjerovatno najvanije ulo ljudskih osjeaja

Oko percepira intenzitet i boju

Oko je osjetljivije na crno-bijele detalje

Boja se ne opaa dobro ako su smanjeni uslovi osvjetljenja

44

Analogni video

Analogni video karakterie analogni (kontinuirani)

elektrini signal, ija amplituda i oblik sadre

informacije o osobinama slike.

Analogni video

Video signal modulira jainu elektronskog topa koji red po red prolazi po ekranu i ostavlja trag

Za mirnu sliku (bez titranja izmeu uzastopnih okvira) potrebno minimum 50 Hz, stoga se koristi preplitanje (interlace)

Standardi za analogni video (TV) NTSC (National Television System Committee) 30 fps u SAD i

Japanu

PAL (Phase Alteration Line), 25 fps, u Europi, Kini i Australiji

SECAM (Squentiel Couleur Avec Memoire), 25 fps, u Francuskoj

(HDTV) (High Definition Television), 60 fps

45

Digitalni video

Okvir videa digitalna nepomina slika Video telefonija, telekonferencija

Simetrina primjena, koder i dekoder jednako sloeni Osjetljivost na kanjenje

Digitalna TV, filmovi, DVD Asimetrina primjena, jedan koder opsluuje puno

dekodera, dakle moe biti sloeniji Ukljuivanje u struju videa u bilo kojem trenutku

Video preko Interneta i mobilnih mrea Relativno male brzine prijenosa Osjetljivost na greke

Postupak kompresije videa

Video sadri prostornu i vremensku redundanciju

Uklanjanje prostorne redundancije Na razini svakog okvira/slike Koristi se (najee) transformacijsko kodiranje

Uklanjanje vremenske redundancije U nizu uzastopnih okvira Koristi se slinost slika u nizu: diferencijalno kodiranje

Pomak u slici je problem za diferencijalni koder Koristi se kompenzacija kretanja (motion

compensation)

46

Standardi za kodiranje videa

1

Audio-vizuelna tehnologija

Zvuk i kodiranje zvuka

Fizikalne osnove zvuka

Longitudinalni val titranja estica zraka Izvor zvuka stvara titranje estica (promjene pritiska) Titranje se iri brzinom v= f 340 m/s (ovisno o temperaturi i

nadmorskoj visini)

Lokalno titranje pritiska uzrokuje titranje struktura uha Punica ima vise od 10000 detektora osjetljivih na razne

frekvencije; oni pretvaraju zvuk u ivane signale

2

Struktura grae uha

Fizikalna svojstva zvuka

Vremenska domena: valni oblik amplituda

faza

frekvencija

Frekvencijska domena: frekvencijski spektar (prikazuje amplitude prema njihovim frekvencijama)

- Harmonini spektar - harmonici (viekratnici osnovne frekvencije f, 2f, 3f, ..)

- za govor, formanti (rezonantne frekvencije govornog trakta),

npr:

- a F1 660 F2 1700 F3 2400 Hz

- e F1 530 F2 1850 F3 2500 Hz

-u F1 300 F2 870 F3 2250 Hz

- Kontinuirani spektar neperiodiki zvukovi ne postoje jasno istaknute frekvencije (um, buka)

3

Zvuni i bezvuni glasovi

Primjer zvunog glasa: (a) talasni oblik; (b) frekvencijski spektar

Primjer bezvunog glasa: (a) talasni oblik; (b) frekvencijski spektar

Percepcija zvuka Percepcijski, ljudsko uho primjeuje visinu i glasnou zvuka

logaritamski su vezani za fizikalne mjere

Frekvencija (f) [Hz] visina: 20 log (f/fr) [Mel] (fr: 1000 Hz odgovara 1000 Mela) Jednake rastue korake frekvencije primjeujemo kao sve manje i

manje korake rasta visine zvuka (100-200 Hz velika, 10000-10100 Hz neprimjetna razlika visine)

ujno podruje 20 Hz do 20 kHz

Amplituda (A) [Pa] Intenzitet (I) [W/m2] glasnoa: 20 log (I/Ir) [dB] (Ir je granica ujnosti) Jednake rastue korake amplitude (intenziteta) primjeujemo kao

sve manje i manje korake rasta jaine odnosno, glasnoe zvuka

granica ujnosti 0 dB (1*10-12W/m2)

apat 25 dB

uredska buka 50 dB

razgovor 60-65 dB

prosjeni kuni stereo ureaj ~90 dB

granica boli 120 dB

ozljeda bubnjia 130 dB

4

Podruje ujnosti ljudskog uha

Izvori zvuka

Prirodni - analogni ljudski glas (govor, pjevanje) glasanje ivotinja muziki instrumenti prirodni zvukovi, npr. um mora, vjetar, grmljavina,...

Sintetiki obino digitalni oponaanje nekog od prirodnih zvukova, muzika na raunaru, ...

Digitalni oblik je pogodan za pohranu, obradu i prijenos u raunarskim sistemima

Prirodni zvukovi se stoga digitaliziraju Svrha kodiranja digitalnog zvuka: to manji zapis bez

osjetnog gubitka kvalitete

5

Postupak digitalizacije zvuka

1. uzorkovanje 2. kvantizacija

vie ulaznih vrijednosti preslikava se na istu izlaznu vrijednost ime se gubi mogunost tane rekonstrukcije

razlika stvarne i kvantizirane vrijednosti je kvantizacijska pogreka uz broj bita k dobiva se 2k razina kvantizacije openito vrijedi: vei broj bita po uzorku manje izoblienje

kvantizacija moe biti fiksna (zadane razine) ili adaptivna (adaptivno odreene razine kvantizacije)

3. kodiranje

Vrste kodera s obzirom na namjenu

uskopojasni (telefonski kanal; B = 4 kHz) prikaz zvuka s visokom tanou:

fu = 8 kHz, 16 bita po uzorku (linearno) 128 kbit/s analogna telefonija: 300 Hz 3400 Hz

fu = 8 kHz, 8 bita po uzorku (nelinarno, A/) 64 kbit/s

irokopojasni ( AM radio, ISDN; videokonferencija; B = 7 kHz)

zvuk visoke kvalitete (FM radio, televizija; B = 15 kHz) kanal 30 Hz 15 kHz

fu = 32 kHz, 16 bita po uzorku

zvuk visoke vjernosti (CD kvaliteta; B = 20 kHz)

svaki kanal 20 Hz 20 kHz

fu = 44.1 kHz, 16 ili 32 bita po

uzorku

6

Kriteriji usporedbe kodera

brzina kodera, bitrate (bit/s) izraava broj bita potreban za kodiranje jedne sekunde zvunog signala

kvaliteta objektivna mjerila (klasine metode, izoblienje signala i SNR, nisu

dobra mjerila za ljudsku percepciju rekonstruiranog signala)

subjektivna mjerila (esto vanija od objektivnih!)

kanjenje algoritamsko kanjenje u koderu na izvoru - koliko traje kodiranje? kod dekodiranja - koliko traje dekodiranje? sinhronizacija s ostalim medijima u multimedijskoj aplikaciji unosi

dodatno kanjenje

otpornost na gubitke posebno vano za prijenos preko mree

primjenjivost na ostale zvukove koji nisu govor, npr. fax i modemske signale, te muziku

sloenost (HW/SW) cijena izvedbe

Subjektivna mjerila kvalitete

Opta ocjena kvalitete - miljenje korisnika

Mean Opinion Score (MOS)

Degradation MOS (DMOS)

Ocjena razumljivosti govora

dijagnostiki testovi s parovima rijei koje slino zvue, 90% tanost smatra se toll quality

Dynamic Rhyme Test (DRT) 96 parova engleskih rijei, npr. dune/tune, chair/care, moon/noon, .. sluaima se nudi popis i pita ih se koju rije su uli

7

Objektivne metode

novije objektivne metode temelje se na poznavanju ljudskog slunog sistema raunaju izoblienje zvunog signala s percepcijskim teinskim faktorima ideja: izoblienja koje uho vie uje ima vei teinski faktor od

onog manje primjetnog ili neprimjetnog

Perceptual Evaluation of Speech Quality (PESQ) ITU-T preporuka P.862 metoda procjene subjektivne kvalitete govornih kodeka algoritam predvia subjektivnu ocjenu kvalitete degradiranog

uzorka govora

izlaz iz algoritma je procijenjena vrijednost MOS

Perceptual Evaluation of Audio Quality (PEAQ) ITU-R preporuka BS.1387 algoritam za procjenu kvalitete zvuka

Karakteristike govora vane za kodiranje

Izvor: ljudski govorni organi Zrak iz plua prolaskom kroz govorne organe (dunik, grkljan, glasnice,

upljine usta i nosa) stvara glas zvuni glasovi (zrak izaziva titranje glasnica; formanti) (npr. m, n, a)

bezvuni glasovi (nema titranja glasnica; um) (npr. s, , h)

Frekv. raspon 60 Hz - 8 kHz, dinamiki raspon 40 dB

Prijemnik: ljudski sluni organi ujno podruje 20Hz 20 kHz, dinamiki raspon 120 dB

Za razumljivost najvanije frekvencije 2 - 5 kHz (500-2000 Hz)

Kvaliteta se ocjenjuje subjektivno

Poznata anomalija: efekat maskiranja: jedan zvuni signal prekriva drugi (ovisno o relativnima glasnoama i frekvencijama)

zvuk na nekoj frekvenciji prikriva slabije zvukove na toj i okolnim frekvencijama

8

Maskiranje zvuka

Model govora u vremenu

model govora u vremenu moe se opisati on-off modelom

intervali govora prosjeno traju 800 ms - 1.2 s intervali tiine (izmeu pojedinih glasova, rijei i

reenica) prosjeno traju 1 1.6 s ako se na izlaz kodera ne alje nita u intervalima tiine, moe

se utedjeti do 40%

Modeliranje govora jednostavnim Markovljevim lancem u kontinuiranom vremenu

9

Vremenska svojstva govornog signala

govorni signal je nestacionaran (mijenja se u vremenu), ali u manjim vremenskim odsjecima (okvirima od 20 - 30 ms) moe se promatrati kao stacionaran

govorni koderi koriste to svojstvo

za kompresiju

okvir-po-okvir

algoritamsko kanjenje kod prijenosa, paket se

alje tek kada je obraen itav okvir

Vremenska analiza govora

10

Frekvencijska analiza govora (1)

Frekvencijska analiza govora (2)

11

Ideje za konstrukciju kodera govora

Svojstvo govornog signala je da ima veu vjerovatnou poprimanja manjih amplituda nego veih Uniformna kvantizacija nije optimalna Isplati se tanije kodirati manje vrijednosti od veih nelinearna

kvantizacija daje bolju kvalitetu uz jednak broj bita po uzorku

Postoji visoka korelacija izmeu uzastopnih uzoraka i uzastopnih okvira Uklanjanjem redundancije u signalu moe se saeti zapis

diferencijalno kodiranje

Na temelju poznavanja svojstava govora, tj. fiziolokih karakteristika govornog trakta, moe se napraviti model Parametri govornog modela se raunaju na temelju stvarnih uzoraka Prenose se samo parametri, a govor se rekonstruira (sintetizira) na

temelju modela visok stepen kompresije U najnovijim koderima (npr. MPEG-4 SA) ova ideja proiruje se i na

druge zvukove

Koderi govora

12

Koderi valnog oblika

Kodiranje uzoraka govora uz nelinearnu kvantizaciju

Vee brzine, dobra kvaliteta, razvijeni za fiksnu i (kasnije doraeni) za mobilnu telefoniju

Pulsno-kodna modulacija (PCM) preporuka ITU-T G.711 Pulse Code Modulation for voice

frequencies (PCM)

Adaptivna diferencijalna PCM (ADPCM) preporuka ITU-T G.726 Adaptive Differential Pulse Code

Modulation (ADPCM); sadri zastarjelu preporuku G.721 (originalni standard)

proirenje je ITU-T G.727 5-, 4-, 3- and 2 bits per sample embedded Adaptive Differential Pulse Code Modulation (ADPCM)

Koderi govora

13

Koderi zasnovani na modelu

Ideja: koder i dekoder imaju isti (parametrizirani) model govornog trakta Parametri modela se raunaju za okvire uzoraka govora

Dekoderu se prenose parametri modela (a ne uzorci govora) te se govor sintetizira na odreditu

Princip analize/sinteze

postiu se vrlo male brzine

prvi koderi, npr. LPC-10, su bili loije kvalitete, razvijeni za sisteme ograniene namjene, npr. robotika, sigurna telefonija

noviji koderi, npr. CELP na malim brzinama postiu dobru kvalitetu, ali su raunski sloeniji

Malo istorije

Kempelen Farkas/ Wolfgang von Kempelen (1734-1804)

govorni stroj govorni trakt simuliran pomou cijevi

Prvi zabiljeeni pokuaj umjetne proizvodnje govora

Homer Dudley, Bell Labs, 1939

Channel vocoder (voice coder)

Model govornog trakta s filterima

Prethodnik dananjih kodera govora, postavlja osnovne principe

14

Ljudski govorni organi

Model proizvodnje govora

Simulacija govornog

trakta na raunaru

15

Primjeri kodera zasnovanih na

modelu preporuka ITU-T G.728 Low Delay CELP

(LDCELP) 16 kbit/s, MOS 4, algoritamsko kanjenje samo 0,625

ms

preporuka ITU-T G.729 Conjugate Structure Algebraic CELP (CS-ACELP) 8 kbit/s, MOS 4, kanjenje 15 ms

preporuka ITU-T G.723.1 Dual rate speech coder for multimedia communications transmitting at 5.3 and 6.3 kbit/s 5.3 i 6.3 kbit/s, MOS 3.8 pogodan za Internet telefoniju

Primjeri kodera zasnovanih na

modelu

ETSI GSM 06.10: Full Rate codec na 13 kbit/s u upotrebi u veini GSM 900 and PCS 1800 mrea

Regular Pulse Excitation LPC with Long Term Prediction (RPE-LTP) koder

ETSI GSM 06.60: GSM Enhanced Full Rate na 12.2 kbit/s Algebraic Code-Excited Linear Prediction (ACELP)

osnova i za sjevernoameriki TDMA IS-136, kao i za ITU-T G.729

ETSI GSM 06.20: GSM Half Rate na 5.6 kbit/s Vector-Sum Excited Linear Prediction (VSELP)

16

Koderi valnog oblika Vs koderi

zasnovani na modelu

Fox PCM

193 KB

Fox ADPCM

99 KB

Govor PCM

156 KB

Govor- ADPCM

40 KB

Govor i zvuk - LPC

Koderi zvuka u frekvencijskoj

domeni Koderi zvuka u frekvencijskoj domeni nisu ogranieni na govor; imaju dobra

svojstva za bilo kakve zvukove npr. muziku Koriste podpojasno kodiranje (podjela na frekvencijske podpojase prije kodiranja)

Koriste efekt maskiranja uz jaki signal na nekoj frekvenciji uho ne moe uti slabiji signal na bliskoj

frekvenciji

osim u zadanom trenutku, maskiranje ima utjecaj i u vremenu (prije/poslije)

17

Standardi za kodiranje zvuka

Standardi imaju veliku ulogu u kompresiji zvunih signala jer osiguravaju kompromis izmeu onoga to je teorijski omogueno s jedne strane, i onoga to je tehnoloki ostvarivo s druge strane.

Standardi se openito dijele na otvorene i vlasnike.

Otvorene standarde izdaju meunarodne standardizacijske organizacije, kao to su ISO, IEC ili ITU.

Vlasniki standardi nastaju saradnjom istraivakih i industrijskih institucija, kao to su Phillips, Thomson Consumer Electronics, Fraunhofer Institute ili Dolby.

U nastavku su ukratko opisani neki od najpoznatijih otvorenih i vlasnikih standarda za kompresiju zvunog signala.

Pregled nekih kodera govora i zvuka

18

MPEG standardi

Budui da su karakteristike ljudskog vida i sluha veoma razliite, za kompresiju zvuka se koriste potpuno drugaiji algoritmi kompresije od kompresija video signala. Uho ima puno vei dinamiki opseg i rezoluciju ali je "sporije".

MPEG je preporuio 3 naina kompresije: Layer-1, Layer-2 i Layer-3. Svaki sljedei layer je kompatibilan sa svim niim i zahtijeva sloeniji koder ali daje bolje performanse (kvalitet zvuka prema potrebnoj brzini prijenosa).

MPEG audio za oba MPEG-1 and MPEG-2 je audio CD-kvalitete, pohranjujui dva kanala 16-bitnog zvuka uzorkovanog na 32 kHz, 44.1 kHz ili 48 kHz. MPEG komprimira audio uglavnom tako da uklanja frekvencije koje su sline, ili "iza" ciljane frekvencije. Taj proces se naziva maskiranje, i teko se razlikuju rezultati tog procesa od originala.

MPEG Audio

MPEG - Moving Picture Expert Group (ISO/IEC JTC1/SC29/WG11) MPEG-1

Dva audio kanala fu = 44.1 kHz (isto kao CD), 32 kHz, 48 kHz (isto kao DAT) Brzine od 8-16 kbit/s do 320 kbit/s MPEG Audio Layer -1, -2, -3: razine kodiranja rastue sloenosti Koristi se percepcijsko kodiranje

MPEG-2 Isti osnovni koder kao MPEG-1 Pet audio kanala + niskofrekventni kanal Uz MPEG-1 jo i fu = 16 kHz, 22.05 kHz, 24 kHz AAC Advanced Audio Codec, dodan kasnije

MPEG-4 AAC, dva kodera za govor, strukturirani audio, ...

19

MPEG-1

MPEG-1 omoguava prijenos 2 audio kanala. To mogu biti 1 ili 2 mono signala, stereo ili zajedniki stereo (joint stereo).

Kod obinog (l/r) stereo signala jedan kanal prenosi lijevi, a drugi prenosi desni kanal.

Joint stereo moe biti intensity stereo ili m/s stereo.

Intensity stereo omoguavaju layer-2 i layer-3 sheme kodiranja, a realizira se tako da komponente lijevog i desnog

kanala frekvencije vee od 2 kHz kombiniraju u jedan signal, a prenosi se i boni pojas.

M/s stereo omoguava samo layer-3 shema kodiranja, a realiziran je tako da jedan kanal prenosi sumu l+r, a drugi

razliku signala l-r.

MPEG-2

MPEG-2 omoguava prijenos vrlo malim brzinama (od 8kbps) uz frekvencije uzorkovanja 16 ili 24 kHz.

Takoer omoguava i prijenos do 5 glavnih audio kanala (lijevi, srednji, desni, lijevi surround, desni surround) i 1

dodatni niskofrekfencijski (LFE-Low Frequency

Enhacement).

20

MPEG-4

MPEG-4: Standard razvijen za aplikacije koje zahtijevaju malu brzinu prijenosa (videotelefonija). Video i audio

signal se opisuje audiovizualnim objektima (prirodni i

kompjuterski generirani) i vezama meu njima.

Brzine prijenosa o kojima govori MPEG-4 standard su izmeu 5 i 64 kbps za primjenu u telekomunikacijskim mreama pa do 2 Mbps za TV/filmsku industriju.

Koder MP3

Primjer konkretnog percepcijskog kodera je koder MP3 (MPEG Audio1 Layer 3).

Podjela na podpojase vri se u dva koraka prvi u 32 podpojasa, potom jo svaki u 18 finijih podpojasa za ukupno njih 576.

Ovaj koder radi brzinama od 8 kbit/s do 160 kbit/s i frekvencijama uzorkovanja od 16 kHz do

48 kHz. Moe raditi s konstantnom ili s promjenjivom brzinom kodiranja.

21

ITU-T standardi

ITU

oznaka Audio frekvencija Brzina prijenosa

Codec

algoritam Komentar

G.711 300 Hz - 3.4 kHz 56 kbit/s , 64 kbit/s PCM

Jednostavna

amplitudna

kompresija. iroko primjenjen u

PSTN.

G.728 300 Hz - 3.4 kHz 16 kbit/s

LD-CELP

(Low-Delay

Code-Excited

Linear

Prediction)

Slina kvaliteta k a o G . 7 1 1 .

V i d e k o n f e r e n c i j e

s a m a l o m b r z i n o m

p r i j e n o s a .

G . 7 2 2 5 0 H z - 7 k H z

4 8 k b i t / s , 5 6 k b i t / s ,

6 4 k b i t / s

A D P C M

B o l j a k v a l i t e t a o d

G . 7 1 1 .

V i d e o k o n f e r e n c i j e

s a v e l i k o m

b r z i n o m p r i j e n o s a .

G . 7 2 3 . 1 3 0 0 H z - 3 . 4 k H z 5 . 3 k b i t / s , 6 . 3 k b i t / s

A C E L P ( 5 . 3 ) ,

M P - M L Q ( 6 . 3 )

P r i b l i n o

t e l e f o n s k a

k v a l i t e t a . O s n o v n i

c o d e c V o I P

f o r u m a .

G . 7 2 9 i

G . 7 2 9 A

3 0 0 H z - 3 . 4 k H z 8 k b i t / s C S - A C E L P

M a n j a l a t e n c i j a i

n e z n a t n o b o l j a

k v a l i t e t a o d

G . 7 2 3 . 1 . N o v i j e

V o I P a p l i k a c i j e .

Standard G.711

ITU je standardizirao PCM kao G.711 koji omoguava kodiranje audio signala (govor) telefonske kvalitete sa irinom pojasa 3.1 kHz za prijenos brzinom od 56 kbps do 64 kbps.

G.711 koristi A-law ili -law (varijante osnovne metode PCM kodiranja koje uljuuju nelinearnu kvantizaciju tj. kvantizaciju sa promjenjivim ili

nelinearnim kvantizacijskim nivoima) kompresiju

amplitude i osnovni je uslov za veinu ITU multimedijskih komunikacijskih standarda.

22

Standard G.728

G.728 kodira audio signal (govor) telefonske kvalitete sa irinom pojasa 3.1 kHz za prijenos brzinom od 16 kbps.

Obino se koristi u videokonferencijskim sistemima koji rade sa 56 kbps ili 64 kbps.

Sa veim raunskim zahtjevima G.728 omoguava kvalitetu G.711 na 1/4 zahtijevane brzine prijenosa podataka.

Standard G.722

G.722 daje standard za kodiranje audio signala sa irinom pojasa od 7 kHz koji daje audio kvalitetu slinu AM radiju.

Koristi adaptivni diferencijalni PCM (ADPCM) za kodiranje 7 kHz audio signala za prijenos brzinama od 48 kbps, 56 kbps ili 64 kbps.

Budui da je G.722 znaajno bolji od G.711, a zahtijeva samo malo veu procesnu mo, koristi se za videokonferencijske aplikacije preko mrenih veza sa brzinom od 384 kbps.

23

Standard G.723.1

G.723.1 definira kako se audio signal (govor) sa irinom pojasa 3.1 kHz moe kodirati za prijenos na brzinama od 5.3 kbps i 6.3 kbps. G.723.1

zahtijeva vrlo malu brzinu prijenosa podataka

dok prenosi audio signal priblino telefonske kvalitete.

G.723.1 je odabran od strane Voice over IP (VoIP) foruma kao osnovni kodek za VoIP

aplikacije niske brzine prijenosa podataka.

Standardi G.729 i G.729A

Postavi slubenim ITU standardima u 1996.godini, G.729 i G.729A kodiraju audio signal (govor) priblino telefonske kvalitete sa irinom pojasa 3.1 kHz za prijenos brzinom od 8 kbps.

G.729A zahtijeva manju procesnu mo nego G.729 i G.723.1. G.729 i G.729A imaju manje kanjenje nego G.723.1.

Oekuje se da e G.729A imati glavnu primjenu u kompresiji glasa za prijenos preko beinih mrea.

24

Koderi govora u mobilnim mreama ETSI standardi

Efektivnost kodera govora se jako poboljala u proteklih nekoliko godina.

GSM mree sada imaju enhanced fullrate (bolji kvalitet) i halfrate kodere (manje propusnog opsega sa skoro istom kvalitetom).

AMR koderi

Adaptive Multi-Rate (AMR) kodiranje govora bazirano je na ACELP (Algebraic Code Excited Linear Prediction) principima.

Podrano je 8 bitskih brzina: 12.2 (GSM enhanced full rate), 10.2, 7.95, 7.40, 6.70, 5.90, 5.15 i 4.75 kbps.

3GPP (Third Generation Partnership Project) je odabrao AMR kao uskopojasni govorni koder i G.722.2 AMR-WB kao irokopojasni govorni koder za UMTS Release 5.

25

UMTS AMR i AMR-WB koderi

AMR i AMR-WB koderi su prvobitno bili dizajnirani za mobilne radio sisteme sa

komutacijom kanala.

Zbog njihove fleksibilnosti i robusnosti, oni su takoer pogodni za druge real-time govorne komunikacijske usluge paketskih

mrea kao to je na primjer Internet.

UMTS AMR koder

AMR je multimodni koder koji podrava 8 uskopojasnih govornih kodnih modova sa

bitskim brzinama izmeu 4.75 i 12.2 kbps.

Ime uskopojasni koder dolazi od frekvencije uzorkovanja od 8 KHz koja se koristi u AMR-u.

Kodiranje se provodi na govornim okvirima od 20 ms. Stoga svaki kodirani AMR govorni okvir

reprezentira 160 uzoraka originalnog govora.

26

UMTS AMR-WB koder

Slino AMR koderu, AMR-WB je takoer multimodni govorni koder. AMR-WB podrava 9 irokopojasnih govornih kodnih modova sa respektivnim bitskim brzinama koje se proteu od 6.6 do 23.85 kbps.

Ime irokopojasni koder dolazi od 16 KHz frekvencije uzorkovanja koja se koristi u AMR-WB koderu.

Procesiranje govora se vri na okvirima od 20 ms. To znai da svaki AMR-WB kodirani okvir reprezentira 320 govornih uzoraka.

Poto je ova kodna tehnika primjenjiva i u ianim i beinim platformama, interoperabilnost izmeu 3G beinih infrastruktura i fiksnih IP mrea moe biti mnogo jednostavnije realizovana.

Zadatak 3

Va je zadatak meusobno uporediti odabrane audio kodere s obzirom na brzinu (bitrate) i

subjektivnu kvalitetu.

Presluajte sve verzije datoteke Fox i popunite tablicu iz word dokumenta. Za ocjenu

subjektivne kvalitete koristite ocjene od 1-10 ili

neko od mjerila (MOS, DMOS) spomenuta na

predavanjima.

Usporedite veliine datoteka i ocjene njihove subjektivne kvalitete, ta zakljuujete?

27

Vlasniki standardi za kodiranje zvuka

Standardi Dolby AC-2 i AC-3

Dolby laboratoriji bili su aktivni u razvoju standarda MPEG, ali su razvili i svoje metode kodiranja pod

imenima AC-2 i AC-3.

Standard MIDI

Nastao je saradnjom proizvoaa muzikih instrumenata, kao to su Roland, Yamaha, Korg, Kawai i drugih. Ovaj standard se ne zasniva na

prenoenju talasnog oblika zvunog signala nego digitalnog opisa izvoenja muzike u obliku poruka MIDI. Poruka se sastoji od statusnog okteta za kojim

slijede jedan ili dva okteta podataka.

1

Audio-vizuelna tehnologija

Nepomina slika

Informacijska svojstva i kodiranje

nepomine slike

Izvori digitalne slike

Ljudski vid i percepcija slike

Raunarski prikaz slike

Principi kodiranja slike

Kodiranje bez gubitaka

Kodiranje sa gubicima

2

Digitalna slika

Digitalna slika je vrsta zapisa koji je prikazan u binarnoj formi i sastoji se od logikih nula i jedinica.

Pod slikom se podrazumijeva nepokretna slika koja se ne mijenja u vremenu.

Obrada slike ima iroko podruje primjene: astronomija, meteorologija, seizmologija,

navigacija, oceanografija, radar, fizika estica, mikroskopi, radiologija, itd.

Podruja primjene obrade slike

3

Digitalna (nepomina, 2D) slika

Slika iz stvarnog svijeta (u digitalnom obliku): slika snimljena digitalnom kamerom

slika prenesena na raunar preko optikog itaa (scanner)

...

Slika stvorena pomou raunara: crte (vektorska grafika)

slika (obraena digitalna slika, bitmap, raunarska grafika)

fraktalna slika

graf

vizualizacija

...

Slika kao jedinica unutar animiranog filma ili videa

Percepcija slike Vidljiva svjetlost = dvojne prirode elektromagnetski val (i roj fotona)

= 330 - 770 nm, c 3x108 m/s (ovisno o gustoi medija)

tri svojstva boje koje ljudsko oko raspoznaje su obojenost (hue), koja zavisi od osnovne frekvencije tj. talasne duine svjetlosti, zasienost (saturation), koja se moe shvatiti kao istoa boje (obr. prop. irini frekvenc. pojasa) i svjetlina (brightness), koja odgovara amplitudi talasa

to je osnova za HSB model boja u raunarskoj grafici (prikazuje se cilindrinim koordinatnim sistemom, gdje ugao izraava obojenost, poluprenik zasienje, a visina svjetlinu)

4

Anatomija ljudskog oka Slika se fokusira na mrenicu (lat. retina) pomou lee. Mrenica

predstavlja podruje za detektiranje slike koje je prekriveno fotoreceptorskim elijama. arenica (lat. iris) kontrolira otvor lee i time upravlja koliinom svjetlosti koja ulazi u oko i koju zatim apsorbiraju fotoreceptorske elije. Iris je prstenasti organ koji se nalazi izmeu ronice i lee, a u svom sreditu ima okrugli otvor zjenicu. Mrenica se sastoji od niza unjia i tapia.

tapii i unjii Obje vrste su duine otprilike 1/25 mm i debljine 1/500 mm. tapii su osjetljivi na svjetlinu, a ne detektiraju boju. tapii

omoguavaju vid pri slaboj svjetlosti i osjetljivost na pokrete, no imaju slabu vizuelnu preciznost i ne omoguavaju dobru percepciju detalja.

unjii omoguavaju vid u boji i dobru percepciju detalja. Postoje tri vrste unjia od kojih je svaka osjetljiva na odreene talasne duine koje odgovaraju crvenoj ( unjii), plavoj ( unjii) i zelenoj ( unjii). Najvea koncentracija unjia je u podruju na mrenici koje se naziva fovea centralis, te je stoga to podruje najotrijeg vida. Zbog toga otro vidimo samo u sredini vidnog polja, a sa strane slika je mutna. U podruju fovea centralis nema tapia. To je razlog da nou bolje vidimo malo sa strane nego u sredini vidnog polja.

5

Ljudski vid

Digitalizacija slike

Signal slike je po svojoj prirodi analogan. Takav signal se mora konvertirati u digitalni oblik da bi se mogao obraivati u digitalnom domenu. Digitalizacija signala se odvija preko dva procesa -

uzorkovanja i kvantizacije.

6

Raunarski prikaz slike

slika se promatra kao matrica obojenih taaka, odn. piksela pixel = picture element

razlikujemo pixel slike od pixela ureaja (device pixel, dot)!! Npr: printer 600 dpi: kvadrat sa stranicom 1/600" video monitor rezolucije 1280x1024 piksela (ukupan broj taaka ureaja)

rezolucija slike = dimenzija matrice piksela N1xN2 dubina slike = broj bita (d) za opis piksela (odn. boje svakog piksela)

boja = varijabla koja opisuje piksel modeli boje za sliku: RGB, CMY, HSB, HSI, ... modeli boje za video: YUV, YIQ, ...

Modeli boje za sliku

RGB: Red Green Blue

(Crvena Zelena - Plava)

svjetlo, zbrojive boje

TV ekran, monitor

CMY:

Cyan, Magenta, Yellow

(Svijetlomodra Ruiasta- uta)

pigment, oduzimljive boje

tampa

Boja je varijabla koja opisuje piksel!

7

Modeli boje za sliku

U svakom od ovih modela boja se prikazuje kao kombinacija triju komponenti boje. Ove tri komponente se kombiniraju uz pomo teinskih faktora koji se izraavaju brojevima 0-255 ili realnim brojevima 0-1.

RGB su zbrojive boje, a CMY oduzimljive. Model zbrojivih boja se koristi za sluajeve kada se svjetlost emitira,

te se komponente zbrajaju. Zbrajanjem maksimuma svih triju

komponenti dobiva se bijela boja.

Model oduzimljivih boja dobro prikazuje situaciju boje na papiru, gdje svaka komponenta djeluje kao filter i oduzima dio spektra iz

bijele svjetlosti. Dodavanjem komponenti boje oduzima se sve vie iz bijele svjetlosti, te ako se kombinuje maksimum sve tri

komponente oduzeo bi se itav spektar i dobiva se crno.

Model boje RGB

Format boje RGB se zasniva na tri

komponente boje:

crvene R (700.0 nm),

zelene G (546.1 nm) i

plave B (435.8 nm).

Svaka komponenta boje odgovara odreenoj talasnoj duini vidljivog spektra.

Tri komponente boje mogu se promatrati kao

tri koordinate vektora.

Crna je (0,0,0), a bijela (1,1,1). Sve nijanse sive se nalaze na ovoj dijagonali

izmeu crne i bijele.

8

Slika i njene RGB komponente

Model boje CMY Format boje CMY (engl. Cyan, Magenta, Yellow) koristi tirkiznu C,

purpurnu M i utu Y boju kao primarne boje. Ovaj format boje se koristi u substraktivnoj reprodukciji, na primjer kod tampaa. U praksi se mijeanjem punih intenziteta tirkizne, purpurne i ute nee dobiti prava crna boja, jer zasienje te crne boje nije dovoljno. Crna boja je veoma vana za ljudsku percepciju, tako da se uz ove tri boje dodaje jo i crna K (engl. black). Takav prostor boje se zove CMYK i koristi se kod etverobojnih tampaa.

9

Model boje HSB/HSV

Ljudi opisuju boju njenim percepcijskim atributima, a postoje

dva modela boja koja odvajaju

intenzitet od kromatskog dijela. To su

modeli boje: HSB (engl. Hue,

Saturation, Brightness) - ton,

zasienost, sjajnost (svjetlina) i HSV (engl. Hue, Saturation, Value) - ton,

zasienost, vrijednost. Ton boje varira po krunici od zelene do

plave i dalje i protee se od 0 do 360 stepeni, gdje 0 oznaava zelenu, 240 stepeni plavu, itd.

Zasienje boje varira od 0 do 100%, a naziva se i istoom boje, odnosno nivo sivila koje je prisutno u boji.

Vrijednost ili sjajnost (svjetlina) varira od 0 do 100%.

Standardi za kodiranje nepomine slike

brojni vlasniki i otvoreni standardi, npr:

BMP (Bitmap)

XBM (X11 Bitmap)

GIF (Graphics Interchange Format)

PNG (Portable Network Graphics)

TIFF (Tagged Image File Format)

JPEG (Joint Photographic Expert Group)

JPEG 2000

10

Kodiranje slike zasniva se na:

Statistikim karakteristikama slike (i metodama entropijskog kodiranja): kodiranje bez gubitaka

Karakteristikama ljudskog sistema vida: kodiranje s neprimjetnim gubicima

Saimanju manje vanih elemenata slike prema nekom kriteriju: kodiranje s vidljivim gubicima

Obino se radi o kombinaciji ovih ideja (npr. JPEG koristi transformacijsko, slijedno i

Huffmanovo kodiranje)

Kodiranje bez gubitaka

Koriste se metode entropijskog kodiranja Slijedno kodiranje

Telefax (starija verzija)

Huffmanovo kodiranje Telefax

LZW metoda (metode rjenika) GIF (Graphics Interchange Format) bez gubitaka ako se

koristi do 256 boja; pogodan za raunarsku grafiku

Huffmanovo kodiranje i LZ77 PNG (Portable Network Graphics)

11

Kodiranje sa gubicima

Moe se koristiti karakteristikama ljudskog vida i postii puno vei omjer kompresije od kodiranja bez gubitaka

Koriste se hibridne metode kodiranja (jedna ili vie metoda izvornog i entropijskog kodiranja)

Kodiranje sa gubicima

Diferencijalno (prediktivno) kodiranje

Transformacijsko kodiranje

JPEG (transformacijsko, slijedno i Huffmanovo kodiranje)

Kodiranje valiima (wavelets)

JPEG 2000

Fraktalno kodiranje

12

Diferencijalno (prediktivno)

kodiranje slike

Princip: vrijednost sljedeeg signala (piksela) predvia se iz prethodnih vrijednosti, te se kodira razlika stvarnog i predvienog

Raspon amplituda diferencijalnog signala je

povoljniji za kodiranje od originalne slike

Primjer: slika i njen histogram

Histogram prikazuje uestalost pojavljivanja odreenih vrijednosti svjetline u slici

Vrijednosti boje se kreu u rasponu 0 (crna) do 255 (bijela) Podjednaka raspodjela vrijednosti visoka entropija signala Direktnim entropijskim kodiranjem moe se postii 7 bit/pixel

13

Signal razlike Prikazan je signal razlike za sliku iz primjera uz jedan stepen

predvianja svodi se na razliku susjednih piksela

Neke vrijednosti ovakvog signala razlike se oito pojavljuju esto (velike sive povrine na slici), a sve ostale rijetko

Sve vrijednosti se nalaze u intervalu [-50, 50], s najveom koncentracijom vrijednosti oko nule nejednoliki raspored pojavljivanja smanjuje entropiju Entropijskim kodiranjem dobiva se 2.6 bit/pixel! Kompresija entropijskim kodiranjem bez gubitaka

Svojstva diferencijalnog kodiranja

+ Jednostavna implementacija

+ Moe biti bez gubitaka (ovisno o tome da li se upotrebljava kvantizacija)

- Postie se relativno slaba kompresija

14

Transformacijsko kodiranje slike

Poruka se pretvara u oblik pogodniji za kompresiju

Signal se transformira u prostorno-frekvencijske komponente, te se one kodiraju

Neke frekvencijske komponente slike pojavljuju se puno vie od ostalih, to rezultira dobrim kodiranjem

Metoda razvijena 70-tih godina

iroka primjena kroz JPEG standard (ITU & ISO) intraframe hibridna kodna metoda

JPEG = Joint Photographic Experts Group

Primjer Izvorna slika se 2DFT

transformacijom pretvara u

frekvencijske komponente, na taj

nain da se slika interpretira kao funkcija dviju varijabli I=f(x,y), gdje su

x i y kooridinatne take u slici, a I vrijednost svjetline u toj taki.

Na funkciju f primjenjuje se DFT transformacija bez kompresije.

Najjae zastupljene nie frekvencijske komponente one u sredini grafa.

Dole desno slika u frekvencijskoj domeni uz odbaene vie frekvencijske komponente kompresija.

U rekonstruiranoj slici detalji poneto zamueni, to je posljedica nestanka viih frekvencijskih komponenti.

15

Metode kompresije slike

Metode kompresije slike Kompresija slike se zasniva na razliitim metodama koje koriste statistika

svojstva slike i prostornu redundantnost sadranih informacija.

Redundantnost informacija u slici postoji zbog znaajne prostorne korelacije piksela. Statistika redundantnost se moe otkloniti koritenjem metoda entropijskog kodiranja koje omoguavaju kompresiju bez gubitka. Metode kompresije bez gubitaka omoguavaju perfektnu rekonstrukciju originalne slike, dok kod metoda s gubicima rekonstruirana slika odstupa od originalne

slike ovisno o stepenu kompresije.

Metode kompresije s gubicima omoguavaju vei omjer kompresije i stoga se ee primjenjuju. Najee se koriste hibridne metode za kompresiju slika koje kombiniraju metode kompresije s gubicima i metode kompresije

bez gubitka kako bi se postigao optimalan rezultat.

Subjektivna redundantnost se javlja zbog nesavrenosti ljudskog vizuelnog sistema. Statistika i subjektivna redundantnost nisu u direktnoj korelaciji. Transformacijsko kodiranje ima za cilj iskoristiti neke od osobina ljudskog

vizuelnog sistema. Ljudski vizuelni sistem je osjetljiviji na nisku prostornu

frekvenciju, tako da se kod kompresije slike mogu odbaciti neke vie frekvencije.

16

Standard JPEG

Standard JPEG je meunarodni standard za kompresiju monokromatskih slika i slika u boji. S

obzirom na zahtjeve da se zadovolji irok opseg razliitih slika, ovaj standard se zasniva na dvije osnovne metode:

metoda zasnovana na diskretnoj kosinusnoj transformaciji DCT je namijenjena za kompresiju s

gubicima. Ova metoda ima iroku primjenu.

metoda predikcijskog kodiranja se koristi za kompresiju bez gubitaka.

JPEG (Joint Photographic Experts Group)

ISO standard 10918-1

Zasniva se na diskretnoj kosinusnoj transformaciji blokova slike (8x8 piksela)

Svaki blok se transformira sa DCT

Koeficijenti se kvantiziraju i entropijski kodiraju

17

Svojstva slike u frekvencijskoj

domeni

Frekvencijske komponente na niim frekvencijama su izraenije od onih na viim frekvencijama

Prva etiri koeficijenta u primjeru opisuju gotovo cijelu sliku

Visoke frekvencije izraavaju zaista sitne detalje u slici

Doprinos lanova na viim frekvencijama je mali kada su razlike susjednih piksela relativno male, dakle kada slika

ne sadri puno detalja

Za veinu slika, ovo je zaista sluaj, te se na tom svojstvu zasniva JPEG kompresija (i druge metode

transformacijskog kodiranja)

Blok shema JPEG kodera

18

JPEG primjer

Slika 516 x 516 taaka

Kompresija 1:16 (0.5 bit/pixel)

Originalna slika JPEG kodirana slika

Svojstva transformacijskog

kodiranja

+ Visoka kompresija

(odlina kvaliteta slike do 0.25 bit/pixel)

+ Kvaliteta se moe regulirati

- Pri veim kompresijama postaju vidljive granice blokova

19

Standard JPEG 2000

Standard JPEG je bio u upotrebi ve deset godina kada se pojavila inicijativa za razvoj novog standarda za kodiranje slika koji e odgovoriti na sloene zahtjeve skalabilnosti i interoperabilnosti u mrenom i mobilnom okruenju. Ideja o razvoju novog standarda za kompresiju nepokretnih slika JPEG 2000 pojavila se 1997. godine.

Zamiljeno je da JPEG 2000 bude novi sistem kodiranja namijenjen razliitim tipovima nepokretnih slika (s dva nivoa, sive, obojene, multikomponentne) s razliitim svojstvima (prirodne, naune, medicinske, itd.) uz razliite modele (klijent/server, prijenos u realnom vremenu, biblioteka slika, ogranieni resursi spremnika i propusni opseg, itd.).

Razvoj standarda se odvijao unutar grupe JPEG. Cilj razvoja novog standarda nije bio zamjena, ve nadopuna i prevazilaenje nedostataka standarda JPEG.

JPEG 2000

Koristi kodiranje valiima (wavelet coding) - diskretna wavelet transformacija DWT

(engl. Discrete Wavelet Transform)

Zasniva se na podpojasnom kodiranju frekvencijske komponente manje vanosti kodiraju se manjim brojem bita

20

JPEG 2000 koder i dekoder

Koraci kompresije prema standardu JPEG2000 su: podjela slike na blokove, wavelet transformacija,

kvantizacija, kodiranje ravni bita i entropijsko kodiranje.

Nakon toga, slijedi paketizacija.

Kodiranje valiima: svojstva Visoka kompresija (25-30% vea od

JPEG)

Prirodna distorzija (zamuenost)

Prednosti u odnosu na transformacijsko kodiranje:

Manja sloenost

Nema blok efekta

Mogunost progresivnog primanja i stvaranja slike

Osnova novog standarda JPEG 2000

21

JPEG 2000 vs JPEG (1/2)

Vei dinamiki raspon (16-32 bit/pixel)

Bolja kompresija (25-30% manje podataka)

Progresivno slanje podataka

Kodiranje bez gubitaka prema podrujima interesa (Region-of-interest ROI)

Meunarodni standard 2001. godine

JPEG 2000 vs JPEG (2/2)

Usporedba rezultata uz jednaku kompresiju 1:64

1

Audio-vizuelna tehnologija

Video

Informacijska svojstva i kodiranje

videa

Osnovna svojstva videa

Analogni i digitalni video, primjene

Modeli boje za video, formati

Postupak kompresije videa

Evolucija standarda za kodiranje videa

2

ulo vida

ulo vida je vjerovatno najvanije ulo ljudskih osjeaja

Percepcija intenziteta i boja

Oko je osjetljivije na crno-bijele detalje

Boja se ne opaa dobro ako su smanjeni uslovi osvjetljenja

Slike u pokretu

Perzistencija ula vida: sukcesivno prikazane slike (15 do 20 u sekundi)

stvaraju iluziju kretanja

Manji broj okvira treperenje slike (engl. flickering), poveanjem broja okvira dobija se pokret bez prekida

3

Video se sastoji od vremenski ureenih nizova slika.

Video matematiki moemo prikazati kao signal:

I(x,y,t)

Video - slike u pokretu

Video

Video odn. pokretna slika se sastoji od niza nepominih slika (okvira), prikazanih dovoljno brzo

Frekvencija promjene slike je brzina osvjeavanja okvira (engl. frame rate) izraena u okvirima u sekundi [fps] Opaamo kretanje kao neprekinuto ako je brzina

osvjeavanja slike od 15 fps (npr. za animaciju) do 25-30 fps (npr. za full-motion video)

Posebne primjene, npr. 3D simulacija leta, do 60-75 fps

4

Razlika ...

Poreenje videa sa razliitim fps

Movies: 24 fps

TV:

American: 30 fps

European: 25 fps

HDTV: 60 fps

Filmovi rade na sljedei nain ...

24 fps

ali: svaki okvir je osvijetljen dva puta

Odnos irina/visina (aspect ratio - format slike, veliina kadra) je 16:9

ira slika se postie specijalnom optikom (Cinemascope, Panavision)

5

Analogni video

Analogni video karakterie analogni (kontinuirani)

elektrini signal, ija amplituda i oblik sadre

informacije o osobinama slike.

Analogni video

Video signal modulira jainu elektronskog topa koji red po red prolazi po ekranu i ostavlja trag

Za mirnu sliku (bez titranja izmeu uzastopnih okvira) minimum 50 Hz, stoga se koristi preplitanje (interlace)

Standardi za analogni video (TV) NTSC (National Television System Committee) 30 fps u SAD i

Japanu

PAL (Phase Alteration Line), 25 fps, u Europi, Kini i Australiji

SECAM (Squentiel Couleur Avec Memoire), 25 fps, u Francuskoj

(HDTV) (High Definition Television), 60 fps

Naalost, ne postoji kompatibilnost izmeu standarda

6

Digitalni video ureaji moraju da odgovaraju standardima ranije utvrenim za TV ureaje.

Digitalni standardi moraju zadrati kompatibilnost u odnosu na standarde za

analogne ureaje.

TV video standardi

Osnovi standarda za TV:

Svaki okvir je podijeljen na dva polja

Parne i neparne linije

Polja se prenose jedno za drugim

Okvir je sainjen od isprepletenih polja

TV video standardi

7

Interlacing-preplitanje

Koristi se zbog nesavrene elektronike u analognom TV

ureaju.

Brzina okvira se sinhronizira na polovinu frekvencije

struje.

Parne linije skenirane u jednom polu-okviru, a

neparne linije u drugom.

50 ili 60 polu-okvira u sekundi (half-frames per

second).

TV video standardi Analogni

8

Digitalni video

Digitalni video skup digitaliziranih slika, koje se prikazuju dovoljnom brzinom okvira u sekundi

Ako elimo da prenosimo niz slika u boji treba...

16 ili 24 bpp (za dobru boju)

najmanje 640 x 480 piksela (za prihvatljivu rezoluciju)

najmanje 25 fps

Ovo daje oko 15 MBps, ili preko 100 GB za cijeli film

Vea rezolucija slike (1280 x 1024) i 30 fps zahtijevaju oko 112.5 MBps irinu opsega, ili skoro 1TB memorije!

Digitalni video

Okvir videa digitalna nepomina slika Video telefonija, telekonferencija

Simetrina primjena, koder i dekoder jednako sloeni Osjetljivost na kanjenje

Digitalna TV, filmovi, DVD Asimetrina primjena, jedan koder posluuje puno

dekodera, dakle moe biti sloeniji Ukljuivanje u struju videa u bilo kojem trenutku

Video preko Interneta i mobilnih mrea Relativno male brzine prijenosa Osjetljivost na greke

9

RGB reprezentacija

Prvobitna kompjuterska grafika koristila je monokromatsku sliku (crno i bijelo). Sljedei stepen je predstavljala upotreba gray skale, gdje je svaki piksel imao i odreeni nivo luminance (intenzitet osvijetljenosti) od crne, preko mnogo nijansi sive, do bijele boje.

Za prikaz slika, kompjuteri koriste primarne boje svjetlosti: crvenu, zelenu i plavu, to se naziva RGB reprezentacija. Odgovarajuim mijeanjem tih primarnih boja moe se postii bilo koja druga boja.

Ovakva reprezentacij