Oldřich ZmeškalFakulta chemická

Vysoké učení technické v Brně

zmeskal@fch.vutbr.czwww.fch.vutbr.cz/lectures/

imagesci

Digitální fotografie ve vědě a životě ?

Obsah přednášky

1. Analogový nebo digitální záznam obrazu

2. Zařízení pro digitální záznam obrazu3. Principy záznamu a digitalizace obrazu4. Záznam obrazů makroskopických a

mikroskopických objektů5. Analýza obrazových dat

-kvalita obrazových dat - fotografií a videa (rozlišovací schopnost, barevná hloubka, ...)-amatérské a profesionální zpracování fotografií a videa (správa barev – Color Management)-ekonomické aspekty (pořizovací a provozní náklady)-ekologické aspekty (životní prostředí)

Výhody a nevýhody digitálního záznamu obrazu

Zařízení pro digitální záznam obrazu

-digitální fotoaparáty (kompakty, zrcadlovky)-digitální videokamery (profesionální, amatérské, webové)-plošné a filmové skenery (digitalizace fotografií a filmů)

Definice

Digitální fotoaparát-zařízení umožňující zaznamenat statické barevné obrazy pomocí elektrických signálů (s využitím světlocitlivých záznamových prvků) a v digitalizované podobě je uložit na paměťovém médiu (např. v magnetické, elektronické, optické paměti)

Digitální fotografiedigitalizovaný záznam (vytvořený pomocí digitálního fotoaparátu) zobrazený nebo zaznamenaný v grafické podobě (např. pomocí LCD displeje, monitoru nebo tiskárny)

Definice

Světlocitlivý záznamový prvekintegrovaný obvod zabezpečující konverzi světelného záření dopadajícího na jeho jednotlivé obrazové elementy (pixely) na elektrický náboj. Počet lokálně generovaných elektronů přitom odpovídá intenzitě dopadajícího světelného záření.CCD (Charge Coupled Devices)elektronický integrovaný obvod, ve kterém je elektrický náboj vygenerovaný ve fotodiodách obrazových elementů přenášen potenciálovými jámami pomocí napětí na soustavě elektrod CMOS (Complementary Metal Oxide Semiconductors) elektronický integrovaný obvod, ve kterém je elektrický náboj vygenerovaný ve fotodiodách obrazových elementů odváděn pomocí adresovatelné sběrnice

Základní parametry

Digitální fotoaparáty-typ snímacího prvku (CMOS, CCD)-velikost (úhlopříčka) snímacího prvku (1/2,8”,2/3”)-barevná hloubka (8, 12, 16 resp. 24, 36, 48 bitů)-citlivost snímacího prvku (ISO 100, 200, 400, ...)-maximální rozlišení (fotografie, videa)-formát ukládaných dat (JPEG, TIFF, RAW)-optický zoom (AF, 10x)-ohnisko (28 mm – 350 mm)-clona (F2,8 – F8)-expozice (1/10000 s – 30 s)

Základní parametry

Digitální kamery-typ snímacího prvku (3CCD, CCD)-velikost (úhlopříčka) snímacího prvku (3x1/4,7”)-barevná hloubka (14 bitů)-maximální rozlišení (fotografie, videa)-formát ukládaných dat (JPEG, MPEG1)-paměť (flash, kazeta)-optický zoom (12x)-ohnisko (49 mm – 588 mm)-clona (F1,6 – F2,8)-rychlost závěrky (1/1000 s – 1/3 s)

Proces záznamu a digitalizace obrazu

1. vytvoření a transformace obrazu pomocí čoček, zrcadel, svazků optických vláken,

2. separace barevných složek pomocí vhodných optických filtrů (např. RGB, CMY),

3. zaznamenání barevných složek obrazu pomocí světlocitlivých senzorů (CCD nebo CMOS)

4. generace elektrických signálů pro jednotlivé obrazové body (pixely) a barevné složky,

5. transformace elektrických signálů na digitální data kvantováním na definovaný počet úrovní (A/D převodníky).

Vytvoření a transformace obrazu

světlo dopadá na záznamový prvek zpravidla prostřednictvím optických systémů, které jsou určeny- ke zvětšení nebo zmenšení obrazu,- k separaci barevných složek obrazu,- ke konverzi do oblasti vlnových délek viditelného

spektra,- k zesílení optického signálu,- ke kompenzaci optických vad

optické systémy mohou být složeny z různých optických elementů, např. - z čoček, (polopropustných) zrcadel,- ze svazků optických vláken,- z hranolů a optických filtrů.

Příklady optických soustav

objektivy - optické soustavy určené k vytvoření zmenšeného (někdy zvětšeného) obrazu na záznamové ploše světlocitlivého senzoru

speciální optické filtry - optické prvky určené k separaci barevných složek obrazu (jejich spektrální charakteristiky mohou odpovídat např. charakteristikám lidského oka)

Příklady optických soustav

svazky optických vláken - optické soustavy určené k vytvoření nebo transformaci obrazu (např. z rentgenových nebo neutronových scintilačních obrazovek, chemoluminiscenčních zdrojů, obrazových zesilovačů nebo zářičů)

Separace barevných složek

- systémy bez multiplexu (optické filtry)- systémy s vícevrstvým záznamovým

médiem (X3)- časově multiplexované systémy

(interferenční filtry)- prostorově multiplexované systémy (RGBG

filtry)R

R

G B

R G R

G B G

R G R

G B G

G

B

G

B

Příklad systému bez multiplexu

Příklad systému RGBG a X3

Zaznamenání barevných složek obrazu

Plnící kapacita (Full Well Capacity)- dopadající světelné záření způsobuje u všech tří

uvedených principů lokální generaci elektrického náboje (pár elektron/díra) v místech obrazových bodů

- maximální množství náboje které je možno v daném místě vygenerovat definuje veličina nazvaná plnící kapacita

- plnící kapacita závisí na velikosti pixelu obrazového senzoruCCD senzor velikost pixelu (m) plnící kapacita

Kodak KAF 1400 6.8 6.8 45 000 elektronůEEV CCD37 – 10 15 15 160 000 elektronůKodak KAF 1000 24 24 630 000 elektronů

Oblast lineárního plnění

- závislost mezi dopadajícím světelným zářením a množstvím vygenerovaného náboje je pro malé hodnoty náboje lineární,

- pro velké intenzity světelného záření dochází k jeho saturaci, limitní hodnotou je plnící kapacita

- pracovní oblast je určena linearitou celého procesu záznamu obrazu sestávajícího z

- konverze fotonů na elektrický náboj (lineární plnění)

- přesunu elektronů do paměťového registru- zesílení a konvertování náboje na analogový

signál- zesílení signálu a jeho digitalizace

Oblast lineárního plnění

doba expozice (s)

0,0 0,1 0,2 0,4 0,5 0,60,3

45000

30000

40000

saturace

10000

20000

ideálníprůběh

reálnýprůběh

Módy záznamu obrazu

- digitální fotoaparáty umožňují zpravidla možnost volby záznamu obrazu v některém z následujících módů

- mód s velkým dynamickým rozsahem (High Dynamic Range Mode)

- mód s vysokou citlivostí (High Sensitivity Mode)- mód s vysokým poměrem signál – šum (High Signal to

Noise Ratio Mode)

PříkladKodak KAF1400 (plnící kapacita 45000 elektronů, vyčítací

šum je při 1 MHz 11 elektronů)• dynamický rozsah 45 000 : 11 (resp. 4091 :1)• 12 bitový A/D převodník (umožňující rozlišit 4096

odstínů)

11 250 45 000 90 000

Signál (elektrony)

plnění 1 x 1 pixel

2048

1024

512

plnění 2 x 2 pixely

4096

Přenos elektrického náboje

Pro přenos náboje ze senzoru se používají čtyři odlišné principy- s mechanickou závěrkou (Full Frame CCD)- s meziřádkovým přenosem náboje (Interline-Transfer

CCD)- s přenosem snímků (Frame - Transfer CCD)- s přímou adresací pixelů (Charge Injection Devices –

CID)

Interline transfer CCD (mikročočky)

sériový registr

výstupnízesilovač

sériový posuv

přesun do paměťovéhoregistru

Frame transfer CCD & CID

horizontální sběrnice

.

+U

U

sériový registr

výstupnízesilovač

sériový posuv

přesun do paměťového pole

Digitalizace signálu

k digitalizaci signálu se používají A/D převodníky (Analog Digital Unit – ADU)

počet kvantovacích úrovní digitalizovaného signálu určuje tzv. barevnou hloubku zaznamenaného obrazu, ze které vyplývá počet různých barev, které lze na obrázku rozlišit

nejčastěji se provádí záznam obrazů ve 24 bitové nebo 36 bitové barevné hloubce (na každý barevný kanál RGB připadá 8 bitů, resp. 12 bitů), pomocí které lze rozlišit až 16,7 milionů (68,7 miliard) barev

Chyby při digitalizaci signálu

digitalizace spojitých barevných odstínů vede k tzv. chybě kvantování

plošná rozlišovací schopnost je ovlivněna velikostí obrazových bodů senzoru, při záznamu detailů může dojít k chybě vzorkování

je způsobena nahrazením spojitého barevného přechodu skokovou měnou barevje vnímána jako nová informace v obraze, která může ovlivnit výsledky obrazové analýzylze ji eliminovat zvětšením barevné hloubky, adaptivním výběrem nebo nerovnoměrným kvantováním odstínů barev.

Chyba kvantování

vzniká jako důsledek konečné velikosti pixelůz této skutečnosti vyplývá, že pomocí matice pixelů nelze zobrazit větší detaily než je poloviční vzdálenost pixelů (Shannonův terorém)v opačném případě dochází k chybné interpretaci zaznamenané struktury, vznikne tzv. aliasing

Chyba vzorkování

Vlastnosti optické soustavy

optický mikroskop NIKON Eclipse, 40

digitální fotoaparát NIKON Coolpix 4500RGB barevné kanályrozlišení obrazů až 2048 1536 pixelů24 bitová barevná hloubka, 8 bitů pro každý kanál (R, G, B).obrazy ve formátu TIFF nebo JPEG

Korekce vlivu optické soustavy

nerovnoměrné osvětlení vzorkuvzorek je ve středu zorného pole osvětlen více než při okrajíchnehomogenitu osvětlení je třeba vhodným způsobem odstranit

nelineární přenos jasůposloupnost hodnot jasu obrazu na vstupu neodpovídá posloupnosti hodnot signálu na výstupuje nutné provést tzv. gamma korekci, která upraví přenos jasů na lineární.

teplotní šum záznamového prvku (obrazového senzoru)

pro delší expozice zhoršuje kvalitu zaznamenaného obrazu

ztráta světelnosti snímaného obrazu mimo osu optické soustavy způsobená nedokonalostí optických prvků (především objektivu a okuláru)

Nerovnoměrné osvětlení vzorku

Skutečná odezva

0

1

0 1vstupní intenzita

výst

upní

inte

nzita

Gamma korekce

0

1

0 1vstupní intenzita

výst

upní

inte

nzita

Lineární odezva

0

1

0 1vstupní intenzita

výst

upní

inte

nzita

posloupnost hodnot jasu obrazu na vstupu neodpovídá posloupnosti hodnot signálu na výstupu. Proto je nutné provést tzv. gamma korekci, která upraví přenos jasů na lineární (gamma = 1).digitální fotoaparáty mají gammu záměrně upravenou na nižší hodnotu. Důvodem je skutečnost, že fotografie z digitálních fotoaparátů jsou určeny především k zobrazení na monitorech, které mají naopak gammu vyšší

Nelineární přenos jasů

vzniká jednak jako důsledek šumu temnotního proudunebo při transportu elektrického náboje z pixelů senzoruTemnotní šum (Dark Noise, DN)

Vyčítací šum (Reading Noise, RN)

Celkový šum (Total Noise, TN)

Teplotní šum

Úpravy obrazu před analýzou

rozklad na barevné složky umožňuje provádět separace jednotlivých barevných složek v různých barevných prostorech (např. RGB, HSB, HLS) bitové operace jsou jednoduché operace mezi barevnými složkami jednotlivých pixelů obrazu. Mohou to být aritmetické, logické nebo podmíněné operacefiltrace spočívá v modifikaci obsahu pixelů (jejich barevných informací) s ohledem na nejbližší okolí. Výsledkem je nový změněný obrázek.

Odstíny šedéobrázky uložené pomocí RGB složek (např. ve 24 bitové barevné hloubce - 16,7 milionů barev) lze převést na odstíny šedépřevod se provádí s ohledem na citlivost lidského oka (nejcitlivější je na zelenou)

převodem se sníží barevná hloubka třikrát (např. na 8 bitů - ve všech třech barevných kanálech bude stejný odstín barvy, počet odstínů barev bude 256) tím se podstatně (třikrát) sníží objem dat

BGRI 114,0587,0229,0

Rozklad na barevné složky

barvový prostor RGBtrojdimenzionální prostor tvaru jednotkové krychleve vrcholech krychle jsou

základní barvy - červená (R), zelená (G), modrá (B),doplňkové barvy - azurová (C), purpurová (M) a žlutá (Y)barvy černá (K) a bílá (W)

aditivním mícháním základních barev vznikne jakákoliv jiná barvapomocí složek RGB lze zobrazit barvy téměř všech elektronických zobrazovacích systémechz prostoru RGB lze odvodit doplňkový barvový prostor CMY, odečtením složek od bílé barvy (W)

barvový prostor HSBje odvozen od barvového prostoru RGBzákladními komponentami jsou hue (H), saturation (S) and brightness (B)barevný tón označuje převládající spektrální barvu, sytost určuje příměsi jiných barev a jasová hodnota množství bílého světlamá tvar šestibokého jehlanu, jeho vrchol má černou barvu (K). jasová hodnota roste směrem k podstavě, střed podstavy tvoří bílá barva. Sytost je dána vzdáleností bodu od osy jehlanudominantní barvy leží na plášti jehlanu,čisté barvy jsou u obvodu podstavy prostor často označuje jako HSV

(V - value)

barvový prostor HLSje odvozen od barvového prostoru RGBzákladními komponentami jsou hue (H), lightness (L) a saturation (S), má tvar dvou kuželů obrácených podstavami k soběbarevný tón je vyjádřen úhlovou hodnotou (0 - 360°), světlost se mění od nuly (black, dolní vrchol) do jedné (white, horní vrchol). Sytost nabývá na povrchu kuželu hodnoty jedna a klesá na nulu směrem k ose kuželů

algebraické operace mohou sloužit např. ke zjišťování rozdílů mezi obrázky (nebo jejich složkami), k odstranění nebo zavedení šumů, (operátory +, –), k odstranění nehomogenity osvětlení nebo ke zvýšení/snížení kvantovacího kroku (operátory *, /).logické operace (and, or, xor) lze použít např. k maskování barevných složek RGB nebo jejich odstínů.podmíněné operace lze s výhodou využít k prahování složek barevného obrázku (minimum, maximum, diference), tj. k výběru tmavých, světlých odstínů barev, resp. pásma barev.bitové operace mohou být realizovány

mezi jednotlivými obrázky (podmínkou je jejich stejná velikost)nebo mezi obrázkem a zadanou konstantou.

Bitové operace

nejčastěji provádí pomocí čtvercové matice, tzv. filtrační maticevýsledek operace se zapisuje do místa, kde se nachází střed maticenejjednodušší filtrace spočívá v násobení prvků filtrační matice s prvky nejbližšího okolí upravovaného pixelutato operace se nazývá diskrétní konvoluce a filtr, který ji provádí konvoluční filtr

Filtrace

vyhlazovací filtry jsou určeny ke zjemnění hran analyzovaných struktur. Používají se např. binomiální, box, mediánové, Kuwahara filtry, které využívají k vyhlazení odlišné algoritmy.hranové filtry jsou určeny k vyhledávání hran v obraze. Většina z nich je izotropní, tj. že vyhledávají hrany nezávisle na jejich orientaci. Mezi hranové filtry patří např. gradientní, Laplaceovy či Sobelovy filtry.derivační filtry umožňují vyhledávání diskontinuit v obraze. Mohou být aplikovány zleva doprava, zprava doleva či oběma směry a to jak ve svislém, tak i horizontálním směru.integračně derivační filtry (např. Sobelovy) výrazné hrany zdůrazňují, jemné naopak potlačují. Lze je proto využít např. k odstranění šumů a současně ke zvýraznění hran.

Druhy filtrů

Základní obrazová analýza

měření délek (vzdáleností, trajektorií) a úhlů měření ploch (velikosti a počtu, příp. jejich plošné distribuce)určování histogramů barev obrázků, resp. barevného profilu barvových složek v definovaném směruvýběr detailů je možné provádět ručně (např. označením nebo ohraničením pomocí myši) nebo programově (autonomně)při rutinním zpracování je možné naprogramovat posloupnost úprav předcházejících obrazové analýze (barevné separace, bitové operace, filtrace)vlastní analýzu je možné provádět ručně nebo autonomně na základě algoritmů umožňujících registrovat spojité oblasti stejných barevných odstínů

Komplexní obrazová analýza

výhoda spočívá v tom, že nepracuje s jednotlivými pixely (složek) obrázků, ale s celým obrázkem najednouhodnotí obrázek jako celek z pohledu opakujících se motivů, jejich zmenšených, příp. pootočených kopiíje založena na lineární (integrální) transformaci obrazu, kterém přiřazuje pomocí definované báze jiný obraz (obraz prostorových frekvencí), ve kterém jednotlivé pixely odrážejí různé vlastnosti (definované bází) celého původního obrázkupokud je transformace ortogonální, lze pomocí inverzní báze získat lineární (integrální) transformací původní data

Komplexní obrazová analýza

v prostoru obrazových frekvencí je jednodušší analýza dat,jednodušší provádění některých operací (např. konvoluce)snadnější vyloučení redundantních složekzvýšení odolnosti při přenosu dat

Komplexní obrazová analýza

bitovými operacemi obrazu prostorových frekvencí lze např.odfiltrovat šum (vysoké frekvence) nebo odfiltrovat základní motiv obrazu (nízké frekvence), čímž lze snížit množství dat popisujících daný obrazvýznačnou roli hrají v komplexní analýze obrazu transformace

pomocí diskrétních periodických funkcí (např. Fourierova transformace, kosinová nebo Walsh - Hadamardova transformace)pomocí prostorově omezených funkcí, tzv. waveletů (např. Haarova transformace)

diskrétní Fourierova transformace je lineární ortogonální transformace v oboru komplexních čísel, jejíž bázi tvoří harmonická funkcekosinová transformace je modifikací Fourierovy transfor-mace pro obor reálných číselFourierova (kosinová) transformace je založena na opakování zmenšené harmonické (tzv. vyšší harmonické) funkceWalsh - Hadamardova transformace je založena na opakování zmenšené diskrétní Walshovy funkce, která nabývá hodnot +1, –1

Periodické transformace

Periodické transformace

Waveletové transformace

Haarova transformace vychází ze systému ortogonálních Haarových funkcí, které nabývají hodnot +1, 0, –1 násobených mocninou čísla 2i/2, kde i = 0, 1, 2, ...

první dvě Haarovy funkce jsou totožné s Walshovýmivyšší Haarovy funkce se získají z nižších (tj. předcházejících) změnou měřítka a posuvem

Waveletové transformace

Fraktální analýza

z koeficientů integrálních transformací lze pro černobílé obrázky jednoduše určit počty černých NB, částečně černých NBW a bílých NW čtverců pro různé velikosti sítě (1  1, 2  2, 4  4, ... pixelů)z jejich mocninné závislosti na velikosti měřítka lze potom určit základní parametry struktury, tzv. fraktální dimenzi D a fraktální míru K černé a bílé plochy a jejich rozhraní. Pro rozhraní např. platí

tyto parametry mohou být využity k hodnocení determinovatelnosti obrázků, ale také např. ke zjišťování počtu definovaných objektů bez toho aniž by je bylo nutno počítat

BWDBWBW KN e

Fraktální analýza

Fraktální analýza

BWDBWBW KN e

Děkuji za pozornost

zmeskal@fch.vutbr.czwww.fch.vutbr.cz/lectures/

imagesci

Digitální fotografie ve vědě a životě !