Tekst i zvuk

Zapis tekstova u računaru

Šta je to tekst? Tekst

... ili dokument je "informacija namenjena ljudskom sporazumevanju koja može biti prikazana u dvodimenzionalnom obliku... Tekst se sastoji od grafičkih elemenata kao što su karakteri, geometrijski ili fotografski elementi ili njihove kombinacije, koji čine sadržaj dokumenta." (ISO-definicija)

Iako obično tekst zamišljamo kao dvodimenzioni objekat, u računarima se tekst predstavlja kao jednodimenzioni (linearni) niz karaktera.

Potrebno je, dakle, uvesti specijalne karaktere koji označavaju prelazak u novi red, tabulator, kraj teksta i slično

Zapis karaktera u računaru Računari su zasnovani na binarnoj aritmetici Cele brojeve je moguće predstaviti u binarnom sistemu Osnovna ideja je svakom karakteru pridružiti određeni ceo

broj na unapred dogovoreni način Ove brojeve zovemo kodovima karaktera (character

codes) Sedamdesetih godina su se pojavile tabele standardnih

karakterskih kodova Najpoznatiji su

• EBCDIC – IBM-ov standard, korišćen uglavnom na mainframe računarima, pogodan za bušene kartice

• ASCII – Standard iz koga se razvila većina današnjih standarda

ASCII ASCII (American Standard Code for Information

Interchange) ASCII sedmobitan (broj karaktera je 128) Pod kodnom stranom (Code page) tj. skupom karaktera

(Character set, charset) podrazumevamo uređenu listu karaktera predstavljenih svojim karakterskim kodovima

Podaci se u računarima obično zapisuju bajt po bajt ASCII je sedmobitni standard ASCII karakteri se zapisuju tako što se u svakom bajtu bit

najveće težine postavi na 0 To ostavlja prostor za novih 128 karaktera čiji binarni zapis

počinje sa 1

Kodne strane Ovaj prostor se može popuniti na razne načine Rešenje nije univerzalno, jer na svetu postoji više od 256

različitih karaktera Postavljeni su razni standardi dopunjavanja ovih 128

karaktera Svim ovim kodnim stranama je zajedničko prvih 128

karaktera i oni se poklapaju sa ASCII Ovako napravljene kodne strane obično omogućuju

kodiranje tekstova na više srodnih jezika (obično i geografski bliskih)

Nama su uglavnom važne kodne strane napravljene za centralno-evropske (Central European) latinice, kao i ćirilične kodne strane

Najčešće korišćene kodne strane kod nas

ISO 8859-2 (Latin2) ISO 8859-5 (Ćirilična) Windows 1250 Windows 1251 (Ćirilična)

(Prve dve su delo međunarodne organizacije za standardizaciju - International Standard Organization, dok su naredne dve Microsoft-ovi standardi

UNICODE svakom karakteru dodeljuje dvobajtni kod

Prvih 128 karaktera se poklapaju sa ASCII standardom, dok su sledećih 128 napravljeni tako da se pokalapaju sa Latin1 standardom

Tekst i pismo

Piktografi i prvo pismo na glinenim tablicama nastali su u Mesopotamiji oko 5.000 g.pne kao tekstualni ekvivalent govora

Vrednost pisma kao ekvivalenta govora sačuvala se do savremenog doba, kroz knjige, časopise i druge pisane materijale.

Osnovni način komunikacije na Internetu takođe je tekst, a osnovni jezik Hypertext Markup Language (HTML).

Karakteri, Glifovi, Fontovi Vrlo često se ne pravi jasna razlika između

karaktera i njihove grafičke reprezentacije Grafičku reprezentaciju karaktera nazivamo

glifovima (glyph) Skupove glifova nazivamo fontovima (font ) Pismo (typeface) – porodica grafičkih znakova

različitih tipova, stilova i veličina (npr. Helvetica, Times, Courier)

Pismo i digitalna štampa Font – zbirka znakova iz neke porodice grafičkih oblika

određenog stila i veličine (npr. Times Italic 12pt) stil: polucrno (boldface), kurziv (italic) veličina (size): štamparska jedinica mere veličine slova je point

(1/72 deo inča, približno 0,35mm)

Rasterizacija (antialias) Slovni oblici su vektorske krive, ali se prikazuju

na diskretnom rasteru štampača ili ekrana Utisak i lepota prikaza zavise od rasterizacije -

popravljena rasterizacija (antialiased) daje čitljiviji i lepši rezultat za male rezolucije.

Primeri nekih poznatijih fontova (MS Windows)

Serifni Times New Roman 28 Palatino Linotype 28 Courier New 28 (neproporcionalni)

Sans-Serif Arial 28 Verdana 28

Dekorativni i umetnički Broadway 28 Jokerman 28 Wingdings 28

Multim edija

Multimedija

Multimedija

Multimedija

Multimedija

Multimedija

Skupovi znakova ASCII (128/256), UNICODE (64K) vanevropska pisma - japanski (kanji - kineski

piktografi, katakana, hiragana - fonetsko)

Gifovi mogu biti arhivirani kao: Bitmapirana grafika

Prednost: lako se i brzo prikazuju na displeju Mana: ne skaliraju se dovoljno dobro – gube se

detalji (kada se prikazuju u veličini za koju nisu bili predviđeni)

Vektorska grafika Portabl fontovi (obično 256 glifova tj. malih

programa koji pored opisa glifova imaju i dodatne informacije koje popravljaju izgled glifova)

Postscript (Adobe) i TrueType (Apple) fontovi. Pogodni za složeno formatirane tekstove

Zapis zvuka u računarima

Zvučni signali Zvučni signal predstavlja promenu pritiska vazduha kroz

vreme Frekvencija predstavlja broj perioda u sekundi (mereno u

hercima, ciklus/sekund). Što signal češće menja svoju vrednost to nam se zvuk čini

piskaviji. Opseg frekvencija koju čovek čuje: 20 Hz -20 kHz (audio),

glas je približno od 500 Hz do 2 kHz. Amplituda zvuka je mera pomeraja pritiska vazdušnog

talasa od njegove srednje vrednosti ili razlika između maksimalne i minimalne vrednosti signala.

Što je amplituda signala veća, signal je jači. Ilustracija ovoga je moguća koristeći npr. Sound Recorder

vazd

ušni

pr

itis

ak

perioda

amplituda

vreme

Čujni raspon U proseku, ljudsko uho može da čuje zvukove čija je frekvencija

između 20Hz i 20 KHz, međutim precizni raspon je osobina svakog pojedinca. U principu, signale frekvencije iznad 10KHz većina ljudi veoma loše čuje.

Varijacije pritiska izražene koristeći logaritamsku skalu - nivo (jedinica: deciBel, dB)

intenzitet (dB) = 10 log10 (P/P0) P0 – donja granica čujnosti 10-12 [W/m2]

6dB veći nivo = dva puta veći pritisak 20dB veći nivo = 10 puta veći pritisak

Veoma mala energija – 90dB ~ 10-3 W/m2

Jačina zvuka koju ljudsko uho može da registruje se kreće od skoro 0Db (prag šuma) do 120Db (prag bola)

Digitalizacija zvuka Prema Nyqist-ovoj teoremi, prilikom digitalizacije je dovoljno

vrednost zvučnog signala semplirati dva puta češće od njegove najveće frekvencije.

Opšte prihvaćen CD audio standard se zasniva na učestanosti sempliranja od 44.1Khz.

DAT kasete, poznate muzičkim profesionalcima koriste učestanost od 48Khz

Većina zvukova u igricama je semplirana na 11 ili 22 KHz.

Brzina sempliranja (dinamički raspon)

Iako se ranije za digitalizaciju koristilo 8 bit-ova (jedan bajt), danas je standardno da se za zapis svakog sempla-odbirka koristi 16 bitova (dva bajta). Ovo omogućuje zapis 65536 raznih nivoa jačine zvuka, što daje dinamički raspon od nekih 96dB što se smatra prilično zadovoljavajućim.

Da bi se bolje dočarao prostorni raspored zvuka, koristi se stereo tehnika. Za digitalizaciju stereo zvuka potrebno je najmanje 2 mikrofona (dva kanala)

Ukoliko jednostavno zapišemo niz brojeva dobijenih digitalizacijom zvuka, dobijamo tzv. sirovi zapis (PCM – Pulse Code Modulation). Za zapis jednog minuta zvuka u stereo tehnici, potrebno je: 44100 * 2 bajta * 2 kanala * 60sekundi = 10,5 Mb

RIFF formati RIFF je grupa formata za zapis mnogih tipova

podataka, pre svega multimedijalnih (zvuka i videa).

Najpoznatiji RIFF formati su WAVE, AVI, DIVX... Svi RIFF formati se sastoje od parčića (chunks).

Svako parče ima svoj tip, koji se zapisuje pomoću 4 karaktera, za čim slede 4 bajta koji označavaju veličinu parčeta i zatim sam sadržaj.

RIFF datoteka je sama za sebe jedno parče čiji sadržaj počinje oznakom tipa RIFF datoteka, a zatim nizom drugih parčića.

WAVE format WAV spada u grupu RIFF formata i namenjen

je isključivo za zapis zvuka. Zapis u WAV formatu se sastoji od parčeta

(chunk) sa oznakom “fmt” i parčeta sa oznakom “data”

WAV format omogućava i nekoliko tipova kompresije, mada se najčešće koristi za zapis nekomprimovanog zvuka, tj. parče “data” sadrži PCM zapis.

Kompresija Problem sa WAV zapisom je, naravno, to što

zauzima previše memorijskog prostora Pošto je zvuk objekat koji se veoma

nepredvidivo menja, većina algoritama kompresije koji se zasnivaju na ponavljanjima podataka (kao npr. algoritmi korišćeni u ARJ, ZIP) pokazuju loše rezultate.

Zbog toga se pristupa primeni tzv. psihoakustičkih algoritama koji uglavnom spadaju u grupu Lossy algoritama.

Maskiranje U toku dana ne vidimo zvezde. Razlog je što je svetlost zvezda

maskirana jakom svetlošću sunca. Većina algoritama za kompresiju zvuka se zasniva na sličnoj

činjenici da će tihi zvuk u blizini mnogo glasnijeg biti skoro nečujan i da se na njegovo kodiranje ne isplati trošiti dragocene bajtove.

Koji su zvuci dovoljno tihi? Ovaj podatak se najčešće dobija eksperimentima i to sa ljudima koji slušaju zvuke i daju svoj sud.

Npr. Ukoliko imamo zvuk frekvencije 1000Hz i u njegovoj blizini zvuk od 1100Hz, ali 18 dB tiši drugi zvuk se neće čuti.

Međutim ako bi drugi zvuk bio frekvencije 2000Hz i iste glasnoće, on bi se čuo, zbog toga što je frekvencijski prilično udaljen od prvog. Pokazuje se da bi ovaj ton morao biti 45dB slabiji da bi bio nečujan.

Ovo znači da se maskiranje oslikava samo na frekvencijski bliskim zvukovima.

Maskiranje jakih zvukova Sledi, dopušteno je podizanje nivoa šuma u

blizini jakih zvukova, a čim je nivo dopuštenog šuma veći potrebno je manje bitova za zapis.

Još jedan značajan vid maskiranja je osobina da se vremenski bliski zvukovi maskiraju.

Premaskiranje kaže da se tihi ton koji se javi do 5 milisekundi pre glasnog neće čuti.

Postmaskiranje ima još mnogo duži efekat i traje do 100 milisekundi posle završetka jakog zvuka.

MPEG formati MPEG – Moving pictures experts group

Ekspertska organizacija koja je pod pokroviteljstvom ISO napravila nekoliko standardnih formata za zapis zvukova, filma i ostalih multimedijalnih sadržaja

MPEG 1 – standard na kome su zasnovani formati kakvi su video CD i MP3

MPEG 2 – standard na kome se zasniva digitalna televizija i DVD format

MPEG 4 – standard multimedije za fiksni i mobilni web

MPEG 7 – standard za opisivanje i pretragu audio i vizuelnog sadržaja

Audio Layer-i Layer-i unutar MPEG čine oznake

podstandarda koji se odnosi samo na zapis audio signala

Jedan od najpoznatijih MPEG-ovih audio layera je audio MPEG layer 3, ili pod drugim, čuvenijim imenom MP3.

MP3 je najčuveniji, MP1 je skoro zaboravljen, dok je MP2 ostvario svojevremeno i neki uticaj dok nije potisnut layerom MP3.

Audio layeri su međusobno kompatibilni prema niže što znači da programi koji mogu da tumače MP3 mogu da tumače i ostale layer-e.

Kratko o algoritmu Audio MPEG deli celokupni zvučni pojas na 32

podpojasa. Ovi pojasevi su kod layera 1 i 2 bili po 625Hz, dok se kod layera 3 uvode pojasevi različite širine. Naime, uho jasno razlikuje 1Khz od 3Khz, dok se 15Khz od 18Khz veoma teško razlikuju (ako uopšte i čujemo nešto).

Ako npr. imamo ton od 1Khz jačine 60dB, on spada u 8 pojas. Koder izračunava da je maskirajući efekat ovog tona 35 decibela ispod ovog zvuka, što daje odnos signal/šum od 25 dB, što znači da je za zapis ovog dovoljno 4 bita. I još dodatno, ovaj maskirajući efekat se proteže od pojasa 5 do 13, naravno sve manje i manje.

Kratko o algoritmu Poslednji deo zapisa je primena Huffmanovog

(statičkog) kodiranja na rezultat dobijen primenom maskiranja.

Sve ovo čini proces mp3 kodiranja prilično računski zahtevnim. Proces dekodiranja je nešto jednostavniji, ali je i dalje komplikovan.

Osnovna ideja je da se karakteri koji se češće javljaju kodiraju kraćim sekvencama, dok je kod karaktera koji se ređe pojavljuju dozvoljeno koristiti i duže kodove.

Na početku je potrebno izgraditi sortiranu tabelu frekvencija pojavljivanja svih znakova koje želimo da kodiramo.

Izgradnja Huffman-ovog drveta Pronađu se dva karaktera koja se najređe

pojavljuju i ona se zamene novim “karakterom” čija je frekvencija zbir frekvencija polazna dva karaktera. Novo uvedeni karakter predstavlja čvor drveta čiji su čvorovi polazni karakteri. Postupak se ponavlja sve dok se ne izgradi kompletno drvo.

Sve grane drveta koje vode “na levo” se označe nulom, dok se sve grane koje vode “na desno” označe jedinicom. Kod svakog karaktera se određuje prikupljanjem oznaka grana putanje koja vodi do njega.

Huffmanovo drvo - primer (32)

A(13) (19)

(11) (8)

B(6) (5) E(4) F(4) C(3) D(2)

A 0, B 100, C 1010, D 1011, E 110, F 111

0

0

0

0

0

1

1

1

Format MP3 datoteke Svaka MP3 datoteka se sastoji od više delova koji se

nazivaju okviri (frames) Svaki okvir se sastoji od 32 bitnog zaglavlja (header) i

sadržaja. Jedan okvir služi za zapis 1152 sempla kod Layer-a 2 i 3 MP3 format se može proširiti dodatnim informacijama o

muzici, izvođaču, tekstu pesme i slično. Standard koji ovo opisuje se zove ID3 i trenutno nosi oznaku verzije 2.4.0. Pošto se ovaj standard pojavio posle standardizacije MP3, ovakve dodatne oznake su se pisale na kraju MP3 datoteke. Tek od verzije 2, su oznake premeštene na početak.

ID3 v2

ZVUK

Definicije Zvuk Govor

Osnovna svojstva zvuka

Definicije Zvuk

Varijacije pritiska vazduha (mehanički talasi koji se prostiru u vazduhu brzinom 340 m/s)

GovorSposobnost govornog aparata čoveka da oblikuje glasoveSposobnost uha da razlikuje i prepoznaje izgovoreno

Digitalna obrada signala Vrlo često se javlja potreba da se zabeleže

određeni signali koji se javljaju u prirodi. Najčešće sretani primeri signala su svakako zvuk i slika, ali i drugi primeri se mogu lako naći (ekg signali, ultrazvuk, raznorazna zračenja, itd. ...)

Signali koje srećemo u prirodi se obično javljaju u kontinualnoj formi što znači da se menjaju neprekidno tokom vremena i/ili prostora.

Analogna tehnologija Analogna tehnologija pokušava da napravi

kontinualni zapis nekog signala na medijumu. Na primer: gramofonska ploča ima oblik

dugačke spirale. Kada bi se pogledao oblik udubljenja i ispupčenja zabeleženih na njoj, dobio bi se grafik koji veoma podseća na grafik zvučnog signala koji je bio sniman.

Grafik rasporeda namagnetisanja na magnetnoj traci takođe treba da odgovara vremenskom rasporedu zvuka koji je snimljen.

Analogna tehnologija - prednosti

• Ulaganja koja su potrebna da bi se dobio zapis analognog signala su veoma mala, ukoliko se zadovoljimo relativno niskim kvalitetom.

• Tehnološki, još su stari grci mogli da prave jednostavni gramofon, uz pomoć jednostavne igle prikačene na trepereću membranu

Analogna tehnologija - problemi Osnovni problem analogne tehnologije je to što je jako

teško na medijumu napraviti skoro identičnu kopiju posmatranog signala

Drugi problem je nestalnost medijuma tj. njegova promenjivost tokom vremena i osetljivost na spoljašnje uticaje

Zbog toga se za kvalitetni analogni zapis mora uložiti izuzetno puno truda za pravljenje jako kvalitetnih medijuma što je izuzetno skupo. U krajnjem slučaju, pravljenje medijuma koji će apsolutno identično zabležiti signal i koji će zadržati svoje karakteristike večno, i u svim spoljašnjim uslovima je nemoguće.

Svaka obrada ovako zapisanih signala je izuzetno komplikovana i takođe zahteva velika ulaganja

Digitalna tehnologija – osnovna ideja Osnovna ideja digitalne tehnologije je zapis signala kao

niza brojeva koji predstavljaju njegove vrednosti izmerene na diskretnim tačkama (u diskretnim vremenskim trenucima, odnosno na diskretnoj mreži tačaka prostora)

Izmerene vrednosti se ponovo predstavljaju preko određenog broja nivoa različitih vrednosti

Postupak merenja i zapisivanja vrednosti signala se često naziva sempliranje

Ukoliko je poznat izgled signala na zadatoj mreži moguće je rekonstruisati njegov izgled i u ostalim delovima vremena tj. prostora.

Postavlja se pitanje koliko je često potrebno meriti i zapisivati vrednost signala

Nyquist-ova teorema Čuvena Nyquist-ova teorema daje odgovor na

ovo pitanje Da bi signal mogao da se apsolutno rekonstruiše

potrebno je izmeriti ga dva puta češće od njegove najveće frekvencije

Npr. Čovekovo uho čuje frekvencije do nekih 20Khz. Zbog toga je zvuk u principu dovoljno semplirati nekih 40 000 puta u sekundi.

Digitalna tehnologija – simulacija na analognim uređajima

U prirodi su sve pojave suštinski analogne Digitalnu tehnologiju je neophodno dakle

modelirati na analognim uređajima. Npr. Iako su današnji računari digitalni i

smatra se da jedna memorijska ćelija npr. sadrži samo vrednosti 0 ili 1, realno vrednost napona u toj ćeliji može da varira i to obično od 0 do 5V. Postavljanjem praga na 2.5V, mi pomoću ovog analognog uređaja simuliramo digitalni

Digitalna tehnologija, problemi Početna tehnološka ulaganja da bi se uopšte stiglo do

iole upotrebljivog zapisa su jako velika. Na primer: jako je teško napraviti uređaj koji toliko često

meri vrednost zvuka, a prostor potreban da bi se mogla zapisati 1 njegova sekunda je 44000 brojeva što predstavlja skoro jednu celu papirnu svesku

Ovo je razlog zašto se digitalna tehnologija javila istorijski prilično kasno

Jako je teško bilo stići do tako gustog zapisa koji omogućuje zapis par stotina megabajta na površini dlana šake

Digitalna tehnologija - prednosti

Međutim, kada je početni tehnološki prag dostignut prednosti su postale neverovatne.

Inherentna kvarljivost medijuma, koja je predstavljala najveći problem analogne tehnologije, odjednom je postala nebitna.

Obrada postaje jednostavna i vrši se isključivo primenom matematičkih formula na brojeve

Digitalizacija zvuka PCM (Pulse Code Modulation)

sempliranje kvantizacija kodiranje

Veličina zapisa – kompresija (codec) Kvalitet zavisi od

frekvencije sempliranja (2 x najviša frekvencija) rezolucije (broja nivoa kvantizacije - bita) metoda kompresije

Sempliranje Za računarsku obradu analogni signal se mora

digitalizovati sempliranjem (uzorkovanjem) Teorema sempliranja (Nyquist-Shannon1)

frekvencija sempliranja mora biti najmanje dva puta veća od najviše frekvencije analognog signala:

fsample 2 fmax

1 Harry Nyquist 1928. godine, dokazao Claude E. Shannon 1949.

t

V

Ilustracija uticaja frekvencije sempliranja na kvalitet reprodukcije

originalni signal

frekvencija sempliranja

semplovi (podaci)

rekonstruisani signal

Rekonstrukcija signala nije moguća kada je frekvencija sempliranja suviše mala

Kvantizacija Nivo signala u određenoj tački pamti se u

računaru sa konačnom preciznošću (n bita, 2n diskretnih vrednosti)

Postupak zamene izmerene vrednosti oznakom intervala vrednosti kome pripada

t

V

0..2n

Osnovna svojstva zvuka

intenzitet (dB)10 log10 (P/P0)

P0 – donja granica čujnosti 10-12 [W/m2]

frekvencija - visina (Hz) frekvencija - broj promena u jedinici

vremena spektar -

kvalitet (%) zavisi od prisustva viših harmonijskih

frekvencija (overtones) ampl

ituda

frekvencija f

osnovni ton

više frekvencije (harmonci)

ampl

ituda

vreme

ampl

ituda

vreme

Kompresija audio zapisa

Kompresija je postupak sažimanja dužine zapisa zvučnog signala

Postoje metode kompresije bez gubitaka (lossless) i sa gubicima (lossy).

Kompresija bez gubitaka se zasniva na uklanjanju redundancije u podacima, bez ikakve njihove izmene (npr. kao kod arhiviranja podataka programom WinZip).

Kompresija sa gubicima se koristi prevashodno za slike, audio i video zapis, a zasniva se na uklanjanju redundancije i manje bitnih podataka, koji nisu važni za samu percepciju.

Program za kompresiju se često naziva codec (compressor/decompressor)

Ilustracija 1digitalna telefonija

govor: većina govornog sadržaja je u opsegu od 4KHz

teorema: sempliranje na 8KHz ako se svaki uzorak kvantizuje sa 8 bit-ova,

kanal za prenos podataka treba da ima kapacitet8 bit-ova/uzorku x 8.000 uzoraka/s = 64.000 bita/s

kapacitet modernih ISDN linija standard digitalne telefonije – kompresija MNP4

ili MNP5, ECC CCITT V42 ili V42 bis

Ilustracija 2 muzički CD

muzika: čujni opseg 20Hz - 22KHz teorema: sempliranje na 44KHz stereo zvuk: dva posebna kanala ako se svaki uzorak kvantizuje sa 16 bita po kanalu,

potreban je kapacitet prenosa od32 bita/uzorku x 44000 uzoraka/s = 1.408.000 bita/s

1,4 Mb/s = 176 kB/s - kapacitet modema/ISDN linija nije dovoljan

'Red book' standard definiše format – data rate 176kB/s, ECC CIRS (Cross Interleave Reed-Solomon)

Pregled formata digitalizacije zvuka

Frekv (Hz)

Veličina (bita)

Frekv odziva (KHz)

Data rate – kB/smono - stereo

Kvalitet

11.025 8 5 11 22 Voice

22.050 8 10 22 44 Radio

22.050 16 10 44 88 FM

44.100 16 20 88 176 CD

Savremena unapređenja kvaliteta reprodukcije

Postizanje kvaliteta reprodukcije preko prostornog utiska

Dolby ProLogic Home surround (4 kombinovana kanala, 4+1=5 zvučnika), ograničeni prostorni utisak

Dolby AC-3 surround (6 nezavisnih kanala, 5+1=6 zvučnika), puni 3D okružujući zvuk

Postoje i drugi sistemi, uglavnom bioskopski

Formati zapisa digitalnog zvuka

Fiksni Microsoft wave (.wav)

RIFF MPEG Layer 3 audio (.mp3)

perceptualno kodiranje (10:1) Midi (.mid)

zapis izvođenja muzike Streamed audio

Real audio (.ra)

Alati za obradu zvuka

Programi za reprodukciju Windows Media Player RealPlayer

Programi za obradu zvuka SoundForge WaveLab Audacity

Codec-i PCM GSM MPEG Layer 3