4. Multimedijski tipovi objekta:video

• Osnovne karakteristike pokretnih slika• Percepcija pokreta• Moguće korišćenje videa u multimedijskim

aplikacijama/prezentacijama• Video kompresija: principi i implementacija• Neki tehnički aspekti računarskog predstavljanja videa

Vision

• Čulo vida je verovatno najvažnije čulo ljudskih osećaja

• Percepcija intenziteta i boja

• Oko je osetljivije na crno-bele detalje

• Boja se ne opaža dobro ako su smanjeni uslovi osvetljenja

Slike u pokretu

• Perzistencija čula vida: sukcesivno prikazane slike (15 do 20 u sekundu) stvaraju iluziju kretanja

• Manji broj frejmova - “flickering”, povećanjem broja frejmova dobija se pokret bez prekida

Razlika ...Ovaj video ima 4 frejma u sekundu ...

... a ovaj oko 10 (koraci se još uvek vide)

Razlika ...

• Ovaj video ima 24 fps• Ali sada računar (tj.

CPU i video podsistem) postaju ograničavajući faktor...

• Frame Rates

Movies:

24 fps

TV:

American: 30 fps

European: 25 fps

HDTV: 60 fps

Filmovi rade na sledeći način ...

• 24 fps• ali: svaki frejm je osvetljen dva puta• Odnos širina/visina (aspect ratio - format slike, veličina kadra) je 4/3• Šira slika se postiže specijalnom optikom (Cinemascope,

Panavision)

TV slike

• Prvi pokušaji 1936 (crno bela TV)• Kolor TV 1951• Elektronski zrak skenira sliku horizontalno po

linijama (525 USA, 625 u Evropi)• Brzina frejmova je sinhronizovana sa

frekvencijom električne struje: 30Hz u USA, 25Hz u Evropi

• Skenirana slika se prenosi liniju po liniju, sa odgovarajućim informacijama o sinhronizaciji

TV displej

• Slika se ponovo kreira na strani prijemnika

• Katodna cev TV-a: skenira ponovo elektronskim mlazom čiji je intenzitet modulisan signalom

• Fosforne tačke osvetljene kroz masku (rešetku) isijavaju vidljivu svetlost

• Digitalni video uređaji moraju da odgovaraju standardima ranije utvrđenim za TV uređaje

• Digitalni standardi moraju zadržati kompatibilnost u odnosu na standarde za analogne uređaje.

Video standardi

Osnovi standarda za TV:

• Svaki frejm je podeljen na dva polja

• Parne i neparne linije

• Polja se prenose jedno za drugim

• Frejm je sačinjen od isprepletanih polja

Video standardi

Interlacing-preplitanje

• Koristi se zbog nesavršene elektronike

• Brzina frejmova se sinhronizuje na polovinu frekvencije struje.

• Parne linije skenirane u jednom polu-frejmu, a neparne linije u drugom

• 50 ili 60 half-frames per second

Dimenzije slike

Problemi skladištenja

• Analogni TV zapis na magnetskim trakama

ANALOGNI• PAL (Phase Alternating Line), YUV

– Zapadna Evropa, Australija & Novi Zeland, Kina,…

• NTSC (National Television Standards Committee), YIQ – Severna Amerika, Japan, Tajvan, delovi Južne Amerike.

• SECAM (Séquential Couleur avec Mémoire)– Francuska i zemlje bivšeg Sovjetskog Saveza– Standard se odnosi na prenos dok se za kamere koristi PAL

Nažalost, ne postoji kompatibilnost između standarda

Video standardi

Digitalni video standard: propisan ITU-R BT.601 i nazvan CCIR 601

• 720 odbiraka intenziteta(Y), 2x360 odbiraka razlike boja (B−Y i R−Y) po liniji

Video standardi

Savremeni TV

• analogni HDTV– mnogo godina i para potrošenih u Japanu– malo prihvaćen zbog problema

kompatibilnosti

• digitalni TV i/ili HDTV (USA i evropa):– preko 1100 linija (1125 ili 1200)– 16:9 aspect ratio– kompletna digitalno procesiranje

Digitalni video

• Digitalni video – skup digitalizovanih slika, koje se prikazuju dovoljnom brzinom frejmova

• Ako želimo da prenosimo niz slika u boji treba...– 16 ili 24 bpp (za dobru boju)

– najmanje 640 x 480 pixels (za prihvatljivu rezoluciju)

– najmanje 25 frames per second

• Ovo daje oko 15MB per second, ili preko 100 GB za ceo film

• Veća rezolucija slike (1280 x 1024) i 30 fps zahtevaju oko 112.5MB/s širinu opsega, ili skoro 1TB memorije ???

Veličina zapisa digitalizovanog video signala

(niz frejmova opisanih bitmapiranim slikama)• PAL uncompressed

– 768x576 piksela po kadru• x 3 bajta po pikselu (24 bit boja)• x 25 kadrova u sekundu

≈ 31 MB u sekundu

≈ 1.85 GB u minutu

Digitalni video

Veličina zapisa digitalizovanog video signala

• NTSC uncompressed– 640x480 piksela po kadru

• x 3 bajta po pikselu (24 bita boja)• x 30 kadrova u sekundu (približno)

– ≈ 26 MB u sekundu– ≈ 1.6 GB u minutu

Digitalni video

Veličina zapisa digitalizovanog video signala:

• Prevelik za CD-ROM, DVD, Internet

• Dovoljni diskovi i Firewire standard

• Kompresija je neophodna

• Limitiranje veličine frejma

Digitalni video

Načini digitalizacije i kompresije:

• Video kamera – DV format (mini DV, DVCAM) +

Firewire (brzi interfejs ka računaru - IEEE 1394, iLink Sony)

Televizija je bazirana na summation modelu boja, dok je film-movie baziran na subtraction modelu boja

Digitalni video

Originalni

frejm (levo) i

komprimovani

-DV frejm (desno)

Digitalni video

Načini digitalizacije i kompresije:

Računar – video kartica (analogni signal iz video kamere ulazi u računar, a kartica vrši digitalizaciju i kompresiju)

Kompresija se vrši ili hardverski ili softverski.

Alternativa je da se analogni signal pre ulaska u računar provlači kroz eksterni uređaj koji ga pretvara u DV signal i zatim šalje u računar preko Firewire standardnog interfejsa.

Digitalni video

Mesto kompresije:• Digitalizacija u kameri znači manje šuma (DV)• Manje šuma znači bolju kompresiju• Nedostatak digitalizacije u kameri je gubitak

kontrole nad parametrima kompresije• Kodek = compressor/decompressor (hardverski

i softverski) koriste različite algoritme.

Digitalni video

Kompresija

640x480

320x240

Kompresija

• Video signal sadrži neku vrstu redundantnosti• Kompresija eksploatiše redundantnost da bi

smanjila veličinu fajla i zahtevanu brzinu transmisije

• Dva tipa kompresije: intra-frame i inter-frame, odnosno prostorna i vremenska kompresija.

Intra-frame (prostorna) kompresija

• Radi sa pojedinačnim frejmovima i pokušava da iskoristi redundantnost prisutnu u svakom frejmu pojedinačno.

• U suštini isto kao kod nepokretnih slika i grafike i većinu algoritama koje smo koristili za obradu slike možemo da koristimo i za video

• Međutim, kompresija i dekompresija mora da se izvrše u realnom vremenu - čineći neke algoritme manje pogodnim od drugih

Prostorna redundancija

• Koristi sličnost između većine susednih elemenata slike

Smanjenje prostorne redundancije

• RGB u YUV: manje informacija potrebno za YUV (ljudi su manje osetljivi na hrominiscenciju)

• Makro blokovi: grupe pixela (16x16)• Discrete Cosine Transformation (DCT)

– Zasniva se na Fourierovoj analizi gde se signal predstavlja kao suma sinusnih i kosinusnih funkcija

– Koncentriše se na vrednosti sa većom frekvencijom– Predstavlja pixel-e u blokovima sa manje brojeva

• Kvantizacija redukuje podatke potrebne kao koeficijenti

• Kompresija

Prikaz smanjenja prostorne redundancije

Cik-cak,Run-length kodiranje

Kvantizacija• velika redukcija• kontrola ‘kvaliteta’

“Intra-FrameEncoded”

Gubitak rezolucije

Original (63 kb)

Niska (7kb)

Vrlo niska (4 kb)

Inter-frame (vremenska) kompresija

• Eksploatiše prisutnu redundantnost između uzastopnih frejmova, pod pretpostavkom da se samo deo svih piksela jedne slike menja od jednog frejma do sledećeg

• Većina je bazirana na nekoj vrsti predikcije (ili estimacije) kako će se pikseli menjati od frejma do frejma

Vremenska redundancija

• Koristi sličnost sukcesivnih frejmova

950 951 952

Prikaz smanjenja vremenske redundancije

Prediktivno kodiranje• Boja se ne menja isuviše brzo unutar frejma ili

između sukcesivnih frejmova• Zbog toga, boja piksela može da se proceni na

osnovu znanja njegovih suseda• Zatim, razlika između stvarne vrednosti i

predviđene se prenosi• Na sreću, dinamički opseg se smanjuje• Zbog toga, manje bitova po uzorku je potrebno• Ali:

– postignut odnos kompresije nije visok (recimo, u opsegu od 2:1)

– šta više, u slučaju gubitka nekih frejmova pri prenosu pojavljuje se značajna distorzija ...

Makro blokovi

• Još jedan pristup baziran na predikciji• Zone ili blokovi piksela koji se mogu kretati od

frejma do frejma ali se ne menjaju• Prenose se samo granice takvih blokova i

njihove nove pozicije, umesto vrednosti boja svih piksela u bloku sa značajnim redukcijama

• Ali: potreban je sofisticiran algoritam za identifikaciju makro blokova

Kompresija ...

• Lossless kompresione tehnike ne izvršavaju kompresiju dobro

• Lossy kompresione tehnike su bolje

… ali postoji cena koja se plaća: loss = distorzija– tip distorzije zavisi od kompresione tehnike– količina distorzije zavisi od odnosa kompresije

Računarski video formati

• Najpopularniji video formati:– AVI (Microsoft i IBM)– MPEG (MPEG)– QuickTime (Apple)

AVI format

• Niz umetnutih audio i video frejmova koji obezbeđuje automatsku sinhronizaciju između njih

• Veličina slike,brzina frejmova i

intenzitet bojamogu da se podesenezavisno

MPEG

• MPEG (Motion Picture Experts Group)– MPEG-1: first incarnation of the standard, widely used for VCD– MPEG-2: the second generation of the MPEG standard, used in

DVD– MPEG-4 standard definiše kodiranje za multimedijalne strimove koji

se sastoje iz više klasa objekata – videa, grafike, animacija, 3-D modela…

– MPEG-7 is not a compression standard, but rather it is intended for content description

– MPEG-21 is intended for Digital Rights Management (DRM)

MPEG-2

• Druga generacija MPEG standarda• Hardverski dekoderi/dodati kartici se zahtevaju

(softverski-samo dekoderi rade sa MPEG-1)• Različite brzine odabiranja sa različitim

odnosima kompresije (i različitim kvalitetom)

MPEG-2 tipovi frejmova

• I-frejmovi (intra-codirane slike): kompresija JPEG (ali u realnom vremenu)

• P-frames

• B-frames

P-frames

• Predictive-coded frames require information of the previous I-frame and subsequent P-frames

• Coding based on image areas (macro blocks) that may shift between frames but do not change at all (motion estimation)

• Actual algorithm not specified, but the format for transmitting the motion vector is

• Small differences between macro blocks in successive frames allowed

B-frames

• Bidirectionally predictive coded frames• Best compression ratios, but playback requires

both previous and following I- and P-frames• Both predictive coded frames achieve good

compression ratios, but they can never be accessed randomly, since the information contained therein is incomplete

QuickTime

• Koristi se i kod Mac-a i PC-a• QuickTime movie je ustvari kontejner sa velikim

brojem komponenti koje se zovu tracks• Svaki track se sastoji iz digitalnih medijskih

podataka odgovarajućeg formata• Adaptiran od strane ISO kao startna tačka

razvoja jedinstvenog digitalno medijalnog formata skladištenja za MPEG-4

Kodeci

• I QuickTime i AVI obezbeđuju samo osnovni format za pakovanje frejmova u movie fajl ali ne prave nikakvu pretpostavku o aktuelnom algoritmu kompresije koji se koristi

• Različiti algoritmi kompresije se mogu primeniti – kodeci

• Većina kodeka može da se doda kao plugin postojećim instalacijama rekordera i plejera

Najpoznatiji kodeci• Apple Video Codec: basic codec provided with QuickTime,

reasonable compression and speed• Apple Animation Codec: RLE compression, good for animations• Microsoft Video Codec: basic for AVI, reasonable compression and

speed• Cinepak: much better quality and compression than Apple/MS, not

too fast• JPEG: each frame is compressed as a JPEG image, fast

compression, adjustable quality and compression ratio• Motion JPEG: similar to JPEG, but with predictive coding (hardware

support available)• Intel Indeo: very good quality and compression, only on Intel-based

platforms

Virtuelna realnost

• Veštački kreirano 3D okruženje za računarsku simulaciju prostornih interakcija– VRML (Virtual Reality Modeling Language) je jezik i format za

prikaz interaktivne 3D vektorske grafike za potrebe Web-a (objekti se ugrađuju u HTML)

– novi ISO standard je X3D

• Koristi se različiti senzori i dodaci za interakciju korisnika (kaciga, 3D naočare)

• Primena u edukaciji (modeli), obuci (trenažeri) i zabavi (video, igre)

Morphing-pretapanje, metamorfoza

• Za obradu video sadržaja– Avid Liquid– Apple FinalCut Studio– Adobe Premiere– Pinnacle Studio– ULEAD VideoStudio– Microsoft MovieMaker

• Za VR modelovanje– Active Worlds– Macromedia Director– Wings 3D – open source 3D modelovanje– 3D okruženja i dodaci (viewers)

Programski alati

Editovanje• Kolekcija komponenata se asemblira u kompletan

multimedijski sadržaj; – Selekcija, trimovanje i organizacija izvornog video

materijala;– Obrada tranzicija između snimaka (kadrova); – Kombinovanje i sinhronizacija slika sa zvukom;

• Originalni snimljeni materijal se ne menja u ovoj fazi obrade

Obrada video snimaka

Post-produkcija• Modifikacija i dodavanje materijala;

– Većina promena je generalizacija operacija manipulacije nad slikama (npr. korekcija boja, zamagljivanje i izoštravanje,…);

• Kombinovanje – kombinovanje elemenata iz različitih snimaka u jednu kompozitnu video sekvencu;

• Animiranje pojedinih elemenata i kombinovanje animacija sa ostalim snimljenim materijalom.

Obrada video snimaka

Priprema za dostavu video materijala• Potreban je kompromis da se potrebe za

resursima koje nameće video prilagode postojećem stanju (tj. propusnim opsezima mreža i računarima). – Redukovanje veličine frejma;– Redukovanje brzine promene frejma– Redukovanje dubine boja

Obrada video snimaka

Dodatak 1• Tipovi kolor video signala

• Komponentni video - svaka osnovna boja je postavljena kao odvojeni video signal.

• Osnovne boje mogu da budu ili RGB ili njihova luminance-chrominance transformacija (YIQ, YUV).

• Najbolja reprodukcija boja

• Zahteva veću širinu opsega i dobru sinhronizaciju tri komponente.

• Kompozitni video - signali boja (chrominance) i luminance su izmešani na jedan noseći talas. Interferencija između dva signala je neizbežna.

• S-Video (odvojen video, npr. kao kod S-VHS-a) - kompromis između komponentnog analognog videa i kompozitnog videa. Koristi dve linije, jednu za luminance i drugu za composite chrominance signal.

• Definicija: YUV • Sistem kodiranja boje korišćen za analognu televiziju (NTSC, PAL i SECAM).

YUV prostor boja (model boja) se razlikuje od RGB-a, što predstavlja ono što kamera kepčeruje i što ljudsko oko vidi. Kada su kolor signali pronađeni 1950. god. odlučeno je da crno-bela televizija prima i dekodira monochrome signale, dok televizor u boji treba da dekodira i crno-bele i kolor signale.

• Luma (osvetljenost) i signali razlike boja• Y u YUV važi za "luma," što predstavlja brightness, ili lightness i crno beli televizor

dekodira samo Y deo signala. U i V obezbeđuju kolor informacije i to su signali "razlika boja" plavo minus luma (B-Y) i crveno minus luma (R-Y). Kroz proces nazvan "konverzija prostora boja" video kamera konvertuje RGB podatke kepčerovane njenim senzorima u, ili kompozitne analogne signale (YUV), ili komponentne verzije (analogni YPbPr ili digitalni YCbCr). Za rendering na ekranu svi ovi prostori boja mora da budu konvertovani ponovo nazad u RGB od strane televizora ili displej sistema.

• Matematički ekvivalent RGB-u• YUV takođe čuva širinu opsega transmisije (transmission bandwidth) u poređenju

sa RGB-om, zato što chroma kanali (B-Y i R-Y) nose samo polovinu rezolucije luma-e. YUV nije kompresovan RGB; radije se kaže da su Y, B-Y i R-Y matematički ekvivalenti RGB-a

Dodatak 1

Dodatak 1• Kompozitni video i S-video• originalni TV standard kombinuje luma (Y) i oba signala (B-Y, R-Y) u jedan

kanal, koji koristi jedan kabal i poznat je pod nazivom "compozitni video." Opcija poznata kao "S-video" ili "Y/C video" drži luma-u odvojeno od kolor signala, koristeći jedan kabal, ali sa odvojenim žicama unutra. S-video je malo oštriji od kompozitnog videa.

• Komponentni video• Kada se luma i svaki od signala boja (B-Y i R-Y) održavaju u odvojenim

kanalima, to je "komponentni video," označen kao YPbPr u analognom domenu, a YCbCr kada je digitalni. Komponentni video je najoštriji video.

• Termin je opšti• U praksi, YUV referencira na sistem kodiranja koji koristi razliku boja ili kao

kompozitni ili kao komponentni. a "YUV," "Y, B-Y, R-Y" i "YPbPr" se koriste naizmenično za analogne signale. Ponekad "YCbCr," koji je digitalni, koristi se naizmenično takođe.

Kompozitni video, S-video i komponentni video

Distribuiranje videa