Multimédiá - files.gamepub.sk

Multimédiá

KIS, M.Oravec, KTL FEI STU

Audio

frekvenčný rozsah ľudského ucha: 20 Hz – 20 kHz

pomer dvoch zvukových signálov s výkonmi A a B:10 log10 (A/B) [dB]

ľudské ucho – veľmi citlivé na jitter niekoľko ms (oko nie)

vzorkovacia teoréma:fvz ≥ 2 fH,

fvz - vzorkovacia frekvencia, fH – horná frekvencia vzorkovaného signálu


Audio

(a) sin (b) vzorkovanie (c) kvantovanie do 9 úrovní

kvantizačný šum


Audio

telefónny systémtelefónny kanál: 300 – 3400 Hzfvz = 8 kHz, kvantovanie do 8 bitovvp = 64 kbit/s

audio CDfvz = 44100 Hz, fH = 22050 Hz, kvantovanie do 16 bitovvp = 705.6 kbit/s mono, 1.411 Mbit/s stereonekomprimované CD stereo v reálnom čase – pokryje celépásmo T1


Audio - kompresia

napr. MP3 (MPEG audio layer 3)patrí do štandardu pre kompresiu videa MPEG

kompresia audio1. transformácia na frekvenčné komponenty2. perceptuálne kódovanie

využíva nedokonalosť ľudského sluchového systémuzaložené na psychoakustikeMP3 patrí do perceptuálneho kódovania


Kompresia audia – MP3

(a) Prah počuteľnosti ako funkcia frekvencie (b) Maskovanie

perceptuálne kódovaniefrekvenčné maskovanie – schopnosť hlasného signálu v jednom frekv. pásme zakryť slabší zvuk v inom pásmečasové (temporálne) maskovanie – slabší signál ucho začuje až istý čas po skončení silného zvuku


Kompresia audia – MP3netreba kódovať zvuky pod hranicou počuteľnostimožnosť zanedbať frekvencie v kódovanom signále

sledovaním, ktoré signály sú maskované silnejšími signálmi v blízkych frekvenčných pásmach

napr. 125 Hz signál sa môže zanedbať



MP3 – Fourierova transformácia, frekvenčné koeficienty, kódovanie iba nemaskovaných, min. počtom bitovvzorkovanie

32, 44.1 alebo 48 kHzjeden al. dva kanály

monoduálne mono (napr. anglicky a nemecky)oddelené (disjunktné) stereo (každý kanál kódovaný nezávisle)vzájomné stereo (odstránenie medzikanálovej redundancie)

voľba výstupnej prenosovej rýchlosti96 kbit/s pre stereo CD s rock 'n rollom128 kbit/s pre klavírny koncert



spracúvajú sa skupiny po 1152 vzoriek

každá skupina ide cez 32 digitálnych filtrov (32 frekv. pásiem)

určenie maskovaných frekvencií (podľa psychoakustického modelu)

ďalšia transformácia 32 frekv. pásiem

nemaskované pásma sa kódujú väčším počtom bitov

využitie ďalších techník – redukcia šumu, antialiasing, medzikanálová redundancia stereo kanálov, ...


Streaming audio

zvuk cez internet, hudba na požiadanieMIME, napr. audio/mp3media player - RealOne Player, Windows Media Player, Winamp, ...

použ. rozhranie (skins), chyby pri prenose, dekompresia hudby, odstránenie jittera

nie TCP (znovuvysielanie by zaberalo veľa času), ale RTP


Streaming audio

interleaving (prekladanie)pre nekomprimované audio:

napr. paket s 220 vzorkami stereo hudby (páry 16b čísel) pre 5 ms hudbyvyslanie 10 ms nepárnych vzoriek, potom 10 ms párnychstrata paketu potom nie je 5 ms prerušenie prehrávania, ale stratu každej druhej vzorky pre 10 ms

RFC 3119 – schéma pre komprimované audio


Streaming audio


Streaming audioprehrávanie nie až po stiahnutí celého súborumetafile: rtsp://nejaky-audio-server/song252.mp3buffering vstupu z media servera, prehrávanie z buffra


Streaming audio

RTSP – Real Time Streaming ProtocolRFC 2326protokol pre diaľkové ovládanie media serveraprúd dát ide cez RTPpríkazy RTSP:


Voice over IP, VoIP

využitie paketových sietí pre prenos hlasuH.323SIP


VoIP, H.323

H.323ITUnie jeden protokol, ale architektúra Internetovej telefóniekódovanie reči, signalizácia, transport dátH.323 brána (gateway), gatekeeper, zóna


H.323

protokolový zásobník H.323


H.323

G.711 – kódovanie reči, PCM, 64 kb/spovolené aj iné kompresné algoritmy

napr. G.723.1 – blok 240 vzoriek (30 ms reči), prediktívne kódovanie na 24 al. 20 bitov, prenos. rýchlosť 6.4 al. 5.3 kb/s

H.245riadenie hovoru, dohoda terminálov (´výber kompr. alg., ...)

RTP – prenos dátRTCP – riadenie RTPQ.931 – signalizáciaH.225 – protokol pre dohovor terminálov s gatekeeprom

RAS kanál – Regstration/Admission/Statusumožní terminálom vstup do zóny, výstup zo zóny, pridelenie šírky pásma, stav spojenia, ...


H.323

logické kanály medzi volajúcim a volaným počas spojenia:


SIP – Session Initiation Protocol

RFC 3261SIP – jeden modul

relácie (sessions):dvojbodové spojenia (tlf. hovory), konferenčné spojenia, multicast

relácie – audio, video, dáta

SIP – zostavenie, manažment a zrušenie reláciítransport dát – RTP/RTCPSIP – protokol aplikačnej vrstvy, beží nad TCP alebo UDP

URL v SIP:sip:[email protected] URL môže obsahovať Pv4 a IPv6 adresy al. tlf. čísla


SIP – Session Initiation Protocol

SIP – textovo založený protokol modelovaný podľa HTTP (metódy, parametre, MIME typy, ...)

definované metódy SIP:


SIPREGISTER

spojenie k používateľovi, ktorý je mimo domuvyužitie proxy a redirection servera


SIP

aj iné vlastnosticall waitingcall screeningkryptovanieautentifikáciamožnosť volať z PC na telefón (treba vhodnú bránu)


Porovnanie H.323 a SIP


Kompresia

prečo kompresianapr. video 1024x768, 25 snímkov/s – 472 Mb/s

kódovaniestratovébezstratové

model efektívneho kódovania signálov:


Štandard JPEG

Joint Photographic Expert Group


JPEG

delenie na bloky 8x8


JPEGDCT – diskrétna kosínusová transformácia

(b)(a)

(a) blok obrazových dát (b) DCT koeficienty


JPEG

kvantovanie


JPEG

zigzagspôsob naberania a prenosu koeficientov


MPEG

Motion Pictures Experts Groupkompresia audia aj videaMPEG-1, MPEG-2, MPEG-4, MPEG-7MPEG-1

352x240 pre NTSC, 1.2 Mb/s, kompresný pomer 40 (nekomprimované 50.7 Mb/s)prenos cez symetrické páry, uchovanie videa na CD-ROM

MPEG-24-6 Mb/s (pre PAL a NTSC vysielací kanál)DVD, digitálna satelitná televízia


MPEG-1Synchronizácia audio and video prúdov

systémové hodiny 90 kHz, výstup pre oba kódery


MPEG-1kompresia videa:

odstránenie redundancie - priestorovej a časovej4 typy snímiek (frame):

I (Intracoded)vnútrosnímkové koreláciesnímky kódované variantom štandardu JPEGperiodicky obsiahnuté vo výstupnom prúde (1x al. 2x za sekundu)

P (Predictive)medzisnímkové koreláciekódovanie rozdielov makroblokov aktuálnej a predchádzajúcej snímkyvektor pohybu (motion vector), motion compensation

B (Bidirectional)referenčný makroblok v predchádzajúcej a nasledujúcej snímke

D (DC-coded)iba priemery blokov pre rýchle prevíjanie


MPEG-1

Tri nasledovné snímky


MPEG-2

I, P, B snímky (D nie)podporuje progressive aj interlaced obrazy

4 rozlíšenianízke: 352 x 240 (spätná kompatibilita s VCR)hlavné: 720 x 480 (pre bežné TV vysielanie)vysoké-1440: 1440 x 1152 (HDTV)vysoké: 1920 x 1080 (HDTV)


MPEG-4

MPEG-1 a MPEG-2 boli vyvinuté s ohľadom na CD-ROM a digitálnu televíziuMPEG-4 definuje „objekty v audio-videu alebo multimédiách“algoritmy pre efektívne uloženie, prenos a manipuláciu video dát v prostredí multimédií

VOP - Video Object Plane


MPEG-7

sept. 2001, ISO/IEC 15938 formálne označovaný ako „Multimedia Content Description Interface“

MPEG-7 sa sústreďuje na metadáta – indexovanie a organizáciu umožňuje multimediálne vyhľadávanie

Signalizácie

Signalizačné systémy


SS7 - riadiaca a používateľská rovina

sieť s prepájaním okruhov prekrytá signalizačnou sieťou s prepájaním paketov

STP - signalizačný prenosový bodSTP

SP - signalizačný bod

SP1

SP2

SP3

SS - spojovací systém

SS1 SS2 SS3

Riadiaca rovina - vytvorenie spojenia a dohľad nad spojením Používateľská rovina - prenos používateľskej informácie po zostavení spojenia


Protokolováarchitektúra SS7

Aplikačná

Prezentačná

Transportná

Relačná

Sieťová

Linková

Fyzická

MTP3 Sieťová úroveň (signaling network)

MTP2 Linková úroveň (signaling link)

MTP1 n.Úroveň dátovej linky (sig data link)

Vrstvy modelu OSI Úrovne modelu CCS7

MTPNSP

OMAP ASE

TCAP

IS UP

SCCP

OMAP - Operations, maintenance and administration ASE - Application service element TCAP - Transaction capabilities application part

ISUP - ISDN user part SCCP - Signaling connection control part MTP - Message transfer part NSP - Network service part


SS7

SS7 - 4 úrovne: MTP1MTP2MTP3 (MTP = Message Transfer Part)viacero typov UP (User Part)

MTP1, 2 a 3 poskytuje spoľahlivú službu pre smerovanie správ cez SS7 sieť, ide o službu bez spojovej orientácie, t.j. datagramovú. MTP nepokrýva celú vrstvu 3 modelu OSI, je vhodná pre telefónne aplikáciez dôvodu pokrytia všetkých vlastností 3. vrstvy modelu OSI je v SS7 pridaná úroveň SCCP (Signalling Connection Control Part).


SS7

ISUP (ISDN User Part)zostavenie, zrušenie a dohľad nad spojeniami v úzkopásmovej ISDNISUP používa MTP pre prenos signalizačných správ týkajúcich sa hovoru a môže využiť SCCP pre end-to-end signalizáciu

B-ISUP (Broadband ISDN User Part)pre širokopásmovú ISDN sieť


SS7

INAP (Intelligent Network Application Part) architektúra inteligentných sietí IN umožnila zaviesť pokročilé služby do verejnej telefónnej sieteprotokoly definované v INAP sa používajú pre architektúry inteligentných sietí a využívajú služby TCAP

MAP (Mobile Application Part) poskytuje aplikačnú vrstvu uzlom v mobilnej sieti (GSM)hlavné operácie vykonávané v MAP sú manažment mobility, údržba a dohľad, riadenie hovorov, doplnkové služby aj so službou krátkych správ SMS


SS7

TCAP (Transaction Capabilities Application Part) pre výmenu informácií, ktorá sa nevzťahujú na zostavenie okruhov

OMAP (Operation and Management Application Part) súvisiaca s procedúrami údržby a dohľadu


Signalizačný systém DSS1

DSS1 (Digital Subscriber Signalling System No. 1)☺ viď predchádzajúce prednášky


Signalizačný systém DSS2

DSS1 (Digital Subscriber Signalling System No. 2)signalizácia pre UNI v ATM sieťach (B-ISDN)správy definované podľa Q.2931

Fyzickávrstva

ATM vrstva

SAAL

Q.2931


Protokol SIP (Session Initiation Protocol)

☺ viď predchádzajúce prednášky


Odporúčanie H.323



RTP/RTCP



Iné

MGCP a MeGaCo/H.248BICCTISPANSigtran...

Documents

Multimédiá - files.gamepub.sk