Andrej Zupančič

Izbira barvnega prostora pri sistemih strojnega

vida

Seminarska naloga pri podiplomskem študiju

mentor : profesor dr. Stane Kovačič

Ljubljana, april 2003

BARVNI PROSTORI PRI STROJNEM VIDU i

Kazalo

1. Uvod________________________________________________________________1

2. Zaznavanje barve______________________________________________________2

2.1. Kratka zgodovina predstavitve barv________________________________________4

2.2. Zaznavanje barv z digitalnimi kamerami____________________________________52.2.1. Vidni spekter CCD kamere_____________________________________________________52.2.2. Kodiranje barvnega spektra_____________________________________________________62.2.3. Popravljanje barv_____________________________________________________________8

2.3. Računalniška predstavitev barv___________________________________________9

3. Izbira barvnega prostora_______________________________________________10

3.1. Najbolj pogosti barvni prostori na področju strojnega vida___________________133.1.1. Pogostost barvnih prostorov pri postopkih segmentacije______________________________133.1.2. Izbira prostora glede na uniformnost zaznavanja barv________________________________143.1.3. Izbira na podlagi hitrosti operacij________________________________________________153.1.4. Prostor RGB________________________________________________________________16

3.1.4.1. Gama-korigiran R'G'B' prostor_____________________________________________163.1.4.2. Normiran rgb prostor____________________________________________________17

3.1.5. Prostori HSI, HSV, HLS______________________________________________________183.1.6. Prostora CIELab in CIELuv____________________________________________________20

4. Uporabljeni barvni prostor pri moji magistrski nalogi________________________23

5. Zaključek - Kateri prostor torej izbrati?___________________________________24

6. Seznam uporabljene literature____________________________________________25

1. UvodBarve nezadržno prodirajo v sisteme strojnega vida. Čeprav so do nedavno sivinske kamere in sistemi kraljevali na tem področju, se sedaj vedno bolj rojevajo potrebe po industrijskem pregledovanju izdelkov na osnovi barv. To ne pomeni samo, da je sistem sposoben razvrščevati izdelke po barvi, ampak mora biti v nekaterih aplikacijah sposoben tudi določiti, ali je odtenek barve izdelka še sprejemljiv ali ne.Sistemi barvnega vida so pri marsikateri aplikaciji nepogrešljivi, na primer v tekstilni industriji. Prav tako lahko prinašajo veliko prednosti tudi pri drugih sistemih, saj z barvo lahko maskiramo določene lastnosti izdelka, ki niso pomembne, in poudarimo druge.

V tej seminarski nalogi bom najprej opisal kaj so barve in kako jih zaznavamo mi ljudje in kako digitalne kamere. Po uvodu v barvni strojni vid si bomo ogledali glavne barvne prostore, ki nastopajo v sistemih strojnega vida, skupaj s prednostmi in pomanjkljivostmi. In na koncu si bomo poskusili odgovoriti še na vprašanje "kateri barvni prostor izbrati".

2. Zaznavanje barveBarva ni fizična lastnost svetlobe ampak le človeku zaznani fenomen. Res je, da ima vsaka valovna dolžina vidne svetlobe svojo zaznano barvo, kar pa ne velja tudi v obratni smeri. Nikakor ne smemo direktno povezovati zaznano barvo s pripadajočo valovno dolžino, saj poznamo primere, ko več različnih porazdelitev barvnih spektrov zaznamo kot isto barvo. Naše zaznavanje barve je namreč odvisno od porazdelitve moči posameznih valovnih dolžin preko celotnega vidnega spektra in ne samo od določene valovne dolžine.Če želimo podrobno opisati, kako vidimo barve, bi morali napraviti precizno analizo in model očesa, poti nevronov do možganov in tistega dela možganov, ki se ukvarja z vidom. Taka naloga bi morala opisati vse infinitezimalno majhne delce v verigi zaznavanja, kar pa seveda presega naše zmožnosti. Vseeno je bilo v preteklosti napravljeno dovolj fizioloških študij očesa in celotnega sistema vida za dovolj dober opis delovanja in odzivanja. Na spodnji sliki si lahko pogledamo prerez očesa. Celo oko je navzven zaščiteno z ovojem, ki je na sprednji strani prozoren (roženica), ostali del vlaknastega ovoja pa obkroža mrežnico. V mrežnici se nahajajo receptorji za vid, in sicer poznamo dva tipa receptorjev, paličice (ang. rods) in čepke (ang. cons). Paličice so daljše od čepkov in so sposobne zaznati šibkejšo svetlobo ne pa tudi barv. S poskusi so dokazali, da obstajajo trije različni tipi čepkov, ki se vzburijo pri različnih valovnih dolžinah svetlobe. Glede na barvo, pri kateri se najbolj vzburijo, jih imenujemo kar receptorji za rdečo (R), zeleno (G) in modro (B) barvo.

Slika 1: Struktura človeškega očesa

Kljub temu, da imamo v očesu receptorje za tri osnovne barve, poteka zaznavanje barv v naših možganih drugače. Teorija nasprotnih barv, ki jo je vpeljal Hering, pravi, da ljudje zaznavamo barve v trivariantnem barvnem prostoru. Dve ortogonalni osi služita za določitev odtenka (to sta osi rdeče-zeleno in modro-rumeno), tretja os pa je sivinska,

oziroma črno-bela os. Primeri, ki potrjuje odvisnost teh barv, so efekti prikazovanja negativne slike tudi po umiku vira svetlobe ali slike. Zamislimo si, da je oko dolgo časa izpostavljeno močni rumeni svetlobi, in potem ugasnemo vir – v očeh ostane še nekaj časa modri prikaz prejšnje scene.

Slika 2: Nasprotna (oponentna) teorija vida (Hering)

V primeru, da ljudje nimajo vseh tipov barvnih receptorjev, preverjajo barvo le na osnovi ene od obeh barvnih osi (samo R-G ali Y-B ). Njihov barvni prostor je zato dvodimenzionalen.

Ne samo pri ljudeh, tudi pri živalih je vid zelo pomemben, če ne celo najpomembnejši zaznavni mehanizem. Omogoča jim shranjevati predstavitve posameznih predmetov in okolice, vendar ne z namenom priklica spomina, ampak predvsem kot pomoč pri iskanju hrane in orientacije v prostoru. Tudi večina primatov ima trikromatski vid, kar pa ne velja tudi za druge živali. Pri ostalih sesalcih je v večini primerov razvit le dvo-kromatski sistem zaznavanja barv. Bolj zanimiv je vid pri ptičih, ribah, dvoživkah in plazilcih. Te živali imajo poleg osnovnih treh še fotoreceptor za dodatno barvo, tako da so sposobni videti nam nevidne odtenke. Kot primer štirikromatske živali si vzemimo golobe, ki imajo dodatni receptor za barvo, ki je blizu UV področja svetlobe. To jim omogoča tri nove sposobnosti:

boljšo navigacijo, saj je UV svetloba strogo polarizirana. Torej deluje UV vid kot nekakšen kompas, saj je koncentracija v smeri proti soncu nizka, najvišja pa je pravokotno na sončne žarke;

lažje iskanje hrane, saj veliko hrane odbija ali absorbira UV svetlobo bolj intenzivno kot okolica;

lažje iskanje partnerja, saj je količina odbite UV svetlobe na perju odvisna od spola.

2.1. Kratka zgodovina predstavitve barvV svetu, v katerem živimo, se veliko vrti okoli barve: nove tehnologije, prihajajoča moda, efekti na reklamnih sporočilih. Sami smo tega že tako navajeni, da smo kar malo presenečeni, kako so o barvah razmišljali pred stoletji. Takrat niso poznali ne današnjih pigmentov, ne barvil, ne umetne svetlobe, ki bi lahko dodatno vzdražila človeška čutila. Prvi pristop pri opisu barve je bil seveda ta, da so barve poimenovali po sadju, mineralih ali organskih snoveh. Na ta način so opisali oranžno, vijolično, azurno, rubinovo, turkizno in še nekatere barve. Skokovit napredek je uvedel v letu 1704 Isaac Newton, ko je napravil prvi barvni krog z namenom analiziranja in primerjanja osnovnih barvnih odtenkov.

Slika 3: Newton-ov barvni krog

Newton-ovo razmišljanje glede mešanja odtenkov je dve desetletji kasneje razširil tiskar Jacob Le Blon z ugotovitvijo, da je možno tiskati katerokoli barvo z zaporednim nanosom treh "primitivnih" barv in črne. Podobni sistemi (npr. CMYK) se še vedno uporabljajo na področju komercialnih tiskalnikov in tiskarskih strojev. V začetku 19. stoletja so že uspeli posplošiti teorijo barve iz ploskovnega (Newton) na prostorski model. Verjetno je bil prvi celovit in geometrijsko konsistenten model, ki ga je leta 1810 predlagal Philipp Otto Runge.

Slika 4: Runge-jev barvni model je bil eden prvih prostorskih barvnih modelov

Večina modernih modelov prikaza barve je povezana s sistemom oziroma metodologijami merjenja barve. Ta pristop ima dve poglavitni prednosti:

prvič zmanjša v veliki meri napako pri definiranju barve, saj je ocena barve določena na podlagi standardiziranih metod,

in drugič lahko matematično opišemo vse barve, tudi abstraktno opisane (kot so "globoko škrlatna" ali "pariško modra").

Za primer vzemimo dve strani iz Munsell-ove knjige barv (levo) in osnovni model definiranja barve s komponentami odtenka/nasičenosti in svetlosti (desno).

Slika 5: Primer modernega prikaza barv. Levo sta prikazani dve strani iz Munsell-ove knjige barv, desno shematski prikaz HSV prostora

2.2. Zaznavanje barv z digitalnimi kameramiNa začetku smo si ogledali, kako ljudje zaznavamo barve. Sedaj bi rad osvetlil še probleme pri zajemanju barv z digitalnimi kamerami in kaj so poglavitne razlike glede na naš vid. Najprej bomo primerjali vidna spektra človeka in CCD kamere, potem bomo pogledali kako zakodirati celoten barvni spekter na tri komponente (RGB) ter na koncu pokazali še, da zaznavanje barve pri človeku ni odvisno samo od porazdelitve moči barve preko celotnega vidnega spektra, ampak tudi od sosednjih točk.

2.2.1. Vidni spekter CCD kamereCCD kamera ima precej drugačno karakteristiko kot človeško oko, na kar moramo biti pazljivi pri gradnji sistema strojnega vida. Na spodnji sliki si lahko ogledamo karakteristiko tipičnega CCD senzorja in že na prvi pogled je razvidno, da je spektralna karakteristika kamere precej pomaknjena v infrardeče področje. Zaradi tega moramo biti pazljivi pri slikanju na močni svetlobi ali pri slikanju segretih teles, saj lahko brez uporabe dobrega IR filtra opazimo na sliki nezaželeni efekt meglice.

Slika 6: Spektralna karakteristika CCD senzorja, sončne svetlobe in človeškega očesaUV = ultraviolična svetloba

IR = infrardeča svetloba

2.2.2. Kodiranje barvnega spektraOsnovni problem, ki nastopi pri zapisu barv v barvnem sistemu, je kako zakodirati porazdelitev moči preko celotnega barvnega spektra. Naše vidno polje, ki obsega svetlobo valovne dolžine od 400 do 700 nm, lahko razsekamo na 31 pasov širine 10 nm.

Slika 7: Zgoraj: Spektralna porazdelitev standardne dnevne osvetlitve (označujemo s CIE* D65)Sredina: predstavitev barve z 31 parametri spektraSpodaj: predstavitev barve s tremi barvnimi komponentami

Prvi in najbolj neposreden način za opis barve je kar zapis karakteristike spektralne porazdelitve (Slika 7, v sredini). Seveda je zapis vsake barve z 31 komponentami časovno in pomnilniško potraten, zato moramo najti način, da jih združimo v omejeno število

* CIE je kratica za mednarodno komisijo za osvetlitev (fr. Commission Internationale de l'Eclairage)

Človeško oko

Sončna svetlobaCCD senzor

UVValovna dolžina (nm)

IR

Intenziteta

značilk. Kot smo že spoznali pri opisu zaznavanja pri človeku, je naše zajemanje trikromatsko, torej si želimo tudi računalniški zapis na tak način.

Na podlagi spodnje slike si lahko ogledamo problem, znanega pod nazivom "Spektralna omejitev skenerjev" (ang. Scanner spectral constraints), ki nastopa pri zajemanju barv.. V zgornji vrsti vidimo spektralno občutljivost treh širokopasovnih filtrov, ki zaznavajo osnovne RGB barve. Po teoriji signalov je idealno, da ima filter čimbolj enakomerno ojačenje v prevodnem delu, čimbolj strme prehode in čimboljše dušenje v zapornem delu. Žal pa se to ne obnese najbolje pri razpoznavanju barv. Kot primer si poglejmo zaznavanje dveh različnih barv, spektralno omejene rdeče in oranžne barve, ki se obe razpoznata kot enak zapis v RGB = [1, 0, 0].

Slika 8: Spektralna omejitev skenerjev in kamer

Na prvi pogled se zdi, da so preširoki pasovi filtriranja poglavitni vzroki za nastali problem. Izkaže se, da z zoževanjem pasov (v sredini) dobimo mrtve pasove, kar pomeni izgubo določenih valovnih dolžin svetlobe. V našem primeru ne moremo ujeti testne oranžne barve z nobenim od treh barvnih pasov, zato jo računalnik razpozna kot črno barvo (RGB = [0, 0, 0]). Karakteristika zaznavanja pravega sistema bi morala biti čimbolj podobna zaznavanju pri človeku. Zato so pri CIE v 20 letih 20 stoletja napravili obsežen eksperiment ujemanja barv, katerega rezultat je bil graf odzivanja človeškega vida na posamezne valovne dolžine (Slika 9). Kakor vidimo v spodnji vrsti, kjer je filtriranje izvedeno glede na karakteristiko človeka, sta uspešno razpoznani tako rdeča barva kot tudi oranžna (v resnici RGB [0.8, 0.4, 0]).

širokopasovni filtri

ozkopasovni filtri

množica filtrov, definiranih s strani CIE

oranžnardeča

Slika 9: Karakteristika zaznavanja barv Standardnega opazovalca

2.2.3. Popravljanje barvZadnje, na kar bi rad spomnil, je naša lastnost popravljanja barv glede ozadje oziroma na sesednje točke in to lastnost moramo upoštevati pri gradnji sistema. V vsakem trenutku se moramo zavedati, da mi mnogo bolje kot digitalna kamera vidimo barve in poleg tega še samodejno popravljamo kontrast.

Na spodnji sliki si poglejmo, kako v naši glavi prilagodimo barvo. Občutek imamo, da je barva na levi polovici slike B podobna barvi na levi polovici slike A. Vendar lahko s primerjavo barv ugotovimo, da je v resnici enaka desna polovici na sliki A (glej C).

Slika 10: Prilagoditev barve glede na okolicoA) B) C)

Še bolj osupljiv primer prikazuje spodnja slike, kjer oko polje B zelo posvetli zaradi sence valja. V naši glavi se zdi polje A neprimerno temnejše kot polje B, čeprav imata polji enako barvo (sivino).

Slika 11: Prilagoditev barve II: polje B je v resnici enake barve (oziroma enako svetlo) kot polje A

2.3. Računalniška predstavitev barv

Začetki računalniške predstavitve barv segajo v petdeseta leta 20. stoletja, v čas razvoja barvne televizije. Pri razvoju barvne katodne cevi so takrat izbrali tri primarne barve na podlagi takrat komercialno dobavljivega fosforja, saj so le tako lahko pričakovali ceneno izdelavo in s tem masovno uporabo. Izbrane primarne barve so bile rdeča (ang. Red), zelena (ang. Green) in modra (ang. Blue), sistem zapisa in predstavitve pa so poimenovali na podlagi prvih začetnic primarjev kot RGB prostor. Isti sistem se je zaradi kompatibilnosti kasneje prenesel tudi v računalniške zaslone.

RGB barvni prostor je le eden od mnogih barvnih prostorov, ki jih uporabljamo za opisovanje celotnega spektra svetlobe. Več o RGB in ostalih najpomembnejših prostorih, ki se uporabljajo pri barvni segmentaciji je razloženo v naslednjih poglavjih.

Barvne prostore lahko delimo v naslednje skupine:

naravni barvni prostori, ki povzemajo človeški sistem zaznavanja svetlobe in barv. V to skupino štejemo RGB, I1I2I3, HSV, XYZ in Munsellov barvni prostor;

prostori, ki so prilagojeni določenim vhodnim ali izhodnim napravam, ti so:

o pri TV sistemih: prostori YUV, YIQ in YCbCr

o pri fotografskih sistemih: prostor YCC

o pri tiskarskih sistemih: prostor CMYK

barvna prostora CIELab, CIELuv, ki sta bila predlagana s strani mednarodne organizacije CIE. Skupne značilnosti obeh prostorov so neodvisnost od naprav, uniformnost ter linearnost pri zajemanju.

3. Izbira barvnega prostora Kakor smo videli že v opisu problema je jasno, da bo največ težav predstavljala pravilna izbira barvnega prostora in značilk, s katerimi opišemo določeno točko. Določene značilke so dobre pri segmentaciji ene barve, vendar so lahko popolnoma neuporabne pri segmentaciji druge barve.

Poglejmo si tri primere, ki nakazujejo smer izbire pravilnega barvnega prostora.

Primer 1:Poskusimo napraviti segmentacijo slike na tri barve (rdečo, črno in rumeno) z uporabo odtenka. Na prvi pogled izgleda rešitev trivialna, saj nastopajo tri različne barve, vendar lahko takoj vidimo na histogramu, da to ni res. Zelo dobro lahko segmentiramo rdeč tisk, ne moremo pa izluščiti črnega tiska. Razlog za to je v tem, da je črn tisk v našem primeru temno sivo-rjave barve in se na histogramu povsem zlije skupaj z rumeno barvo ozadja.

Slika 12: Slika, njena predstavitev odtenka in histogram odtenka

Slika 13: Na tej sliki lahko vidimo, da je črna barva v resnici temno sivo-rjava. Njen odtenek (položaj na krogu) je v oranžnem področju, torej zelo blizu odtenka rumenega ozadja.

Primer 2 [13] : Poglejmo si tudi, kako bi napravili sistem za razpoznavanje krogel. Naloga je poiskati srednjo modro žogo s pomočjo komponent HSI prostora (slika A).Slika B: Za segmentacijo uporabimo le informacijo, ki jo dobimo iz odtenka: iskane krogle ne moremo določiti, saj sistem razpozna še tri lažne rezultate,

rdeč tisk

rumena in črna skupaj

Slika C: Uporabimo dodatno še intenziteto: rezultat je malo boljši, vendar še vedno ne moremo z gotovostjo določiti iskane krogle,Slika D: Uporabimo vse tri komponente: šele sedaj lahko izločimo iskano kroglo.

Slika 14: Segmentacija krogle v HSI prostoru

Primer 3:

Za zadnji primer vzemimo analizo barvnih prostorov, ki sem jih napravil pri predmetu Nevronske mreže.

Za analizo različnih barvnih prostorov sem izbral tipko, na kateri nastopa tisk v dveh barvah, in izračunal evklidske razdalje do vseh 3 barv, ki nastopajo na naši referenčni tipki (črna, rdeča, bela). Čeprav sem poskuse izvajal v petih barvnih prostorih, se je izkazalo, da rezultati v prostorih HSV in I1I2I3 zelo malo odstopajo od rezultatov v prostoru RGB, zato jih zaradi preglednosti tudi ne bom navajal.

Na slikah je jasno videti, da je najlažja separacija izvedljiva v CIELab prostoru, saj je zaznavno uniformen. V tem prostoru se izkaže, da je razdalja "prave barve" do referenčne barve blizu nič (na sliki je to pokazano kot črno) do ostalih barv pa je precej velika (več o zaznavni uniformnosti v poglavju 3.1.2).

Na spodnji sliki vidimo testno sliko, ki sem jo uporabil, ter normirano sivinsko sliko razdalje vseh pikslov do referenčne barve in histogram razdalje.

Slika 15: Testna slika in razdalja pikslov do referenčne rdeče barve

a) b) c) d)

razdalja do referenčne barve (rdeče) je skoraj 0,

zato črna pobarvanost

ostali dve barvi (belo ozadje in črn tisk) sta zelo

različni od rdeče referenčne barve, zato svetle vrednosti

(blizu 255)

če bi napravili tu rez, bi lahko razdelili sliko na rdečo puščico in na ostali del slike

BARVNI PROSTORI PRI STROJNEM VIDU 13

RGB XYZ CIELabC

1 –

črni

tisk

C2

– be

lo o

zadj

eC

3 –

rdeč

i tis

k

Slika 16: Primerjava rezultatov razdalj v različnih barvnih prostorihSamo v CIELab prostoru je iskana barva zelo jasno in nedvoumno ločena od ostalega dela slike (prag A)

A

Iskana barva Ostalo

BARVNI PROSTORI PRI STROJNEM VIDU 14

3.1. Najbolj pogosti barvni prostori na področju strojnega vida

V nadaljevanju bomo primerjali najbolj pogoste barvne prostore, ki nastopajo pri sistemih strojnega vida. To so: RGB, HSI, CIELab in CIELuv. Predvsem prva dva se trenutno v največjem deležu uporabljata na tem področju, v zadnjem času pa se s hitrim povečevanjem računalniške moči uveljavljata tudi zadnja, saj imata kot edina lastnost zaznavne uniformnosti (glej 3.1.2). Najprej si oglejmo, kateri barvni prostori se najbolj pogosto uporabljajo pri metodah barvne segmentacije, saj mam to lahko služi kot dober orientir pri izbiri. Nato spoznajmo zaznavno uniformnost in na koncu podrobneje še glavne kandidate, skupaj s prednostmi in slabostmi.

3.1.1. Pogostost barvnih prostorov pri postopkih segmentacijeV viru [5] (W. SKARBEK in A. KOSCHAN, Colour Image Segmentation – A Survey) si lahko na enem mestu ogledamo povzetek kar 51 različnih metod barvne separacije. V spodnji tabeli si oglejmo kateri barvni prostori so najbolj pogosto uporabljeni pri posameznih tipih barvne separacije (nekateri postopki so definirani za več barvnih prostorov):

SEGMENTACIJA na osnovi … SKUPAJ

Prostor pikslov področij robljenja lastnosti površine štev. %

RGB 5 8 6 3 22 29,33%

rgb 3 5 1 10 13,33%

HSI 4 3 2 2 11 14,67%

HSV 1 1 1,33%

HLS 1 1 2 2,67%

CIELab 4 1 6 11 14,67%

CIELuv 3 1 4 5,33%

I1I2I3 3 1 4 5,33%

Drugo 6 2 2 10 13,33%

Iz tabele jasno vidimo, da se pri barvni segmentaciji najbolj uporablja navaden RGB prostor (30%), potem pa mu skoraj v enakem razmerju sledijo CIELab (15%), HSI (14%) in normirani rgb (13%).

BARVNI PROSTORI PRI STROJNEM VIDU 15

3.1.2. Izbira prostora glede na uniformnost zaznavanja barvSistem je zaznavno uniformen, kadar mala sprememba vrednosti kjerkoli v barvnem sistemu vzbudi enako zaznavno spremembo pri človeku. Kot primer zaznavno uniformnega sistema si poglejmo gumb za nastavljanje glasnosti na radiu, kjer nam vsako vrtenje gumba za 10 stopinj poveča glasnost za približno enako stopnjo.V praksi to pomeni, da je matematična razdalja med dvema barvama sorazmerna z zaznavno razdaljo med njima, torej si morata biti rdeča in temno rdeča na spodnji sliki bolj podobni kot temno rdeča in temno zelena. Kakor pa vidimo, pokaže evklidska razdalja večjo sorodnost med obema temnima barvama (2-3) kot pa med obema rjavo-rdečima (1-2).

Slika 17: RGB prostor je izrazito zaznavno neuniformen prostorBarve si sledijo: rdeča, temno rjavo-rdeča, temno zelena

Edina prostora, ki sta zaznavno uniformna sta CIELab in CIELuv, ki sta bila tudi definirana s tem namenom. Pogojno je uniformen tudi gama-korigiran R'G'B' prostor.

V spodnji tabeli lahko vidimo izračunane razdalje med barvami na zgornji sliki v različnih prostorih. Čeprav sta si obe rdeči zagotovo bolj podobni kot temno rdeča in zelena, pa je razvidno, da je le v Lab prostoru razdalja med rdečima manjša kot razdalja med dvema temnima barvama.

Prostor Temno rdeča –temno zelena

Temno rdeča – rdeča

RGB 50,52 58,47R'G'B' 0,20 0,23HSI 0,021 0,066CIELab 43,89 23,20

RGB = [114, 30, 34] RGB = [59, 17, 19] RGB = [31, 59, 17]

DRGB = 58 DRGB = 51

BARVNI PROSTORI PRI STROJNEM VIDU 16

3.1.3. Izbira na podlagi hitrosti operacijPri izbiri barvnega prostora je tudi pomembna hitrost operacij, saj je, kot bomo videli kasneje, čas transformacije v drug prostor ter izvajanja operacij zelo odvisen od izbranega prostora. Da bi dobil okvirno primerjavo hitrosti med različnimi sistemi sem napravil mali program v Matlabu, ki je bil sestavljen iz naslednjih korakov:

najprej sem pretvoril eno barvo v naš ciljni prostor,

potem sem napravi operacijo množenja (s tem sem simuliral določene operacije nad podatki – histogrami, upragovljanje, rojenje, iskanje robov),

in na koncu izračunal še evklidsko razdaljo do prej definirane referenčne barve.

Za lažje merjenje časa sem zanko ponovil stotisoč krat in dobil sem naslednjo tabelo:

Prostor čas 100000 ponovitev zanke (v s)

RGB 4,2rgb 5,6R'G'B' 5,7HSI 18,7CIELab 15,7

Rezultati pokažejo, da se zgoraj opisane operacije najhitreje izvajajo v RGB prostoru, saj ni potrebno napraviti nobene transformacije v drug prostor. Malenkost počasnejše je v normiranem rgb in nelinearnem R'G'B' prostoru.Opazno počasneje pa se je zanka izvajala v HSV in CIELab prostorih. Očitno je nelinearna pretvorba najbolj časovno potratna, saj pri transformaciji v CIELab računamo trojne korene, pri transformaciji v HSI pa celo korene in inverzne kosinuse.

BARVNI PROSTORI PRI STROJNEM VIDU 17

3.1.4. Prostor RGBV RGB prostoru opišemo vsako barvo s tremi parametri, ki predstavljajo rdečo, zeleno in modro komponento barve. Predstavimo jih lahko kot projekcije barvnega vektorja na tri primarne ravnine v koordinatnem prostoru.

RGB prostor, ki je pravokoten koordinatni sistem, si lahko ogledamo na spodnji sliki.

Slika 18: RGB barvna kocka

Oglišča kocke predstavljajo osnovne barve, in sicer:

0 = črna

B = modra

M = škrlatna barva (ang. magenta)

R = rdeča

G = zelena

C = cianova barva (ang. cyan)

W = bela

Y = rumena

RGB barvni prostor

Prednosti Slabosti

+ dobimo direktno iz kamere+ pretvorba ni potrebna+ hitre operacije+ široka uporaba v trenutnih sistemih+ za merjenje razlik med barvami ga lahko

pretvorimo v R'G'B', vendar s tem izgubimo na hitrosti

─ dobro dela če so objekti dobro ločeni od okolice

─ pogosto potrebujemo dodatne informacije─ zaznavna neuniformnost─ potrebno veliko računskih operacij za

spremembo svetlosti ali odtenka─ veliko število podatkov (24 bitov)

3.1.4.1. Gama-korigiran R'G'B' prostorPoleg klasičnega RGB prostora poznamo tudi gama-korigirane RGB prostore, označujemo jih z oznako R'G'B'. Množino uporabljam zato, ker obstajajo različni korekcijski faktorji za različne sisteme prikazovanja slike. Korekcijo uporabljamo za izničevanje vpliva prenosne funkcije zaslonov s katodno cevjo, ki ima ojačenje večinoma proporcionalno amplitudi signala. Zaradi tega se področja z visoko intenziteto razširijo, področja z nizko pa zožijo .

C

BM

W

Y

R

G

O

BARVNI PROSTORI PRI STROJNEM VIDU 18

Slika 19: Gama korekcija signala

Enačbe za gama korekcijo so naslednje (več v viru [7]):

Velika slabost RGB prostora je zaznavna neuniformnost, saj ni odvisnosti med zaznano razliko med dvema barvama in njuno računsko evklidsko razdaljo. Neprimerno boljšo karakteristiko zaznavne uniformnosti ima po zaslugi nelinearnosti gama-korigiran R'G'B' prostor, vendar le ta še vedno ni dovolj dobra za uporabo na področju industrije barv in lakov ter v tekstilni industriji.

3.1.4.2. Normiran rgb prostorČe želimo zmanjšati dimenzijo prostora za računanje normiramo RGB prostor. To napravimo tako, da vsako od treh komponent delimo s skupnim seštevkom. Zaradi normiranja velja r+g+b = 1, torej lahko za izračun uporabimo samo dve komponenti (npr. r in g), saj je tretja komponenta odvisna od prvih dveh.

karakteristika zaslona

Gama korekcija

končni signal

BARVNI PROSTORI PRI STROJNEM VIDU 19

Barvni prostor rgb

Prednosti Slabosti

+ samo dve dimenziji ─ odstranjena informacija o intenziteti─ zelo različne barve se lahko preslikajo v

podobne točke─ nestabilnost pri barvah, kjer je seštevek

R+G+B blizu 0─ pri transformaciji se izgubijo sence in

spremembe intenzitete

3.1.5. Prostori HSI, HSV, HLSGrafični programi zahtevajo čimbolj intuitivno definiranje in spreminjanje barv, zato so bili za to področje uporabe razviti barvni prostori, ki posnemajo človekovo zaznavanje in interpretiranje barv. V to skupino spadajo barvni prostori HSI, HSV in HLS, ki imajo ločeno svetlost ter kromatičnost barve.

Ti prostori imajo naslednje komponente prostora:

H (ang. Hue): barvni odtenek nam pove, katera je njena zaznana barva (ali je modra, ali rdeča, …),

S (ang. Saturation): nasičenost nam pove, kako prosojna oziroma nasičena je barva. Nenasičene barve opisujemo v vsakdanjem govoru kot blede barve, nasičene pa kot žive oz. polne barve,

zadnja komponenta vseh teh prostorov (V = Value, I = Intensity, L = Lightness) je komponenta svetlosti in prostori se ločijo po tem, kako je definirana. Pri vseh definicijah pa velja, da ima svetlejša barva tudi večjo vrednost komponente.

Slika 20: Barvna slika in njena separacija v (b) svetlost in (c) kromatičnost. Slika kromatičnosti je dobljena iz barvno separiranih slik H, S ter I = konstanta (128)

a) b) c)

BARVNI PROSTORI PRI STROJNEM VIDU 20

Slika 21: Levo: model prostora HSV (vir www.mathworks.com), desno modela prostorov HLS in HSI

Zaradi različne definicije komponente svetlost se tudi malenkostno razlikujejo prostorske predstavitve prostorov. Prostor HSV ima obliko enojnega, prostora HLS in HSI pa obliko dvojnega stožca. Spodaj vidimo enačbe za izračun HSI prostora ([4] str. 229 – 234).

Ugotovili so, da ljudje bolje zaznavamo odtenek barve, kot pa njeno nasičenja ali svetlost, zato so komponente tega prostora zapisane v različnih gostotah, najpogosteje v razmerju H:S:I = 64:32:32, kar pomeni, da potrebujemo za zapis vsake barve le 16 bitov (6+5+5). Prav tako kot RGB prostor so tudi ti prostori zaznavno neuniformni, zato jih ni priporočljivo uporabljati za računanje razdalj med barvami.

Barvni prostori HSI, HSV, HLS

Prednosti Slabosti

+ po pretvorbi imamo manj računanja+ zelo interaktiven+ hitra sprememba barve ali svetlosti+ razširjenost v sistemih strojnega vida+ manjše število podatkov (ponavadi samo

16 bitov)

─ potrebna pretvorba ─ zaznavna neuniformnost─ slabost pri desaturiranih barvah (blizu

bele ali črne)─ singularnost odtenka na točki 0/255

NASIČENJE

(S) SVETLOST

(V)

ODTENEK (H)

BARVNI PROSTORI PRI STROJNEM VIDU 21

3.1.6. Prostora CIELab in CIELuvZadnja dva prostora, ki si jih bomo ogledali bolj podrobno, sta uniformna prostora, definirana s strani Mednarodne komisije za osvetlitev CIE (fr. Commission Internationale de l'Eclairage). Poznamo ju pod imenoma CIELab in CIELuv (ponavadi se kratici izgovarjata kot angleški besedi 'see-lab' in 'see-love'). Poglavitna lastnost je njuna uniformnost, to je, da je človeško zaznavanje razlike med dvema barvama v sorazmerju z evklidsko razdaljo v tem prostoru. Zaradi te lastnosti se oba prostora uporabljata v industrijskih sistemih, kjer se ocenjuje ali kvaliteta barvanja izdelkov ali kvaliteta izvorov svetlobe.

Razlikujeta se glede na njuno prednostno področje uporabe. CIELab je bil predvidoma definiran za primerjanje odbite, oziroma reflektirane svetlobe, torej ga uporabljamo za industrijsko pregledovanje izdelkov, CIELuv, na drugi strani, pa za primerjanje emitirane svetlobe in v tem prostoru ocenjujemo vire svetlobe, npr. LED zaslone. Oba prostora sta predstavljena s skupno komponento L, ki predstavlja svetlost (ang. Luminance) ter z dvema kromatogramskima komponentama (rdeče-zeleno in rumeno-modro komponento).

Na spodnji sliki vidimo prostorsko organizacijo CIELab prostora, pod njo pa še enačbe za pretvorbo med RGB in CIELab prostorom.

Slika 22: Prostor CIELab (vir www.kodak.com)a*

b*

L*

ODTENEK

SVETLOST

BARVNI PROSTORI PRI STROJNEM VIDU 22

Pretvorba iz RGB v prostora CIELab in CIELuv prostor poteka v dveh korakih, najprej moramo pretvoriti v XYZ barvni prostor in od tam naprej v Lab. Prostor XYZ je bil prav tako definiran s strani organizacije CIE in predstavlja povprečno področje človeške zaznave barv (glej Slika 9).

kjer

Evklidska enačba za izračun razdalje med dvema barvama se glasi:

Vrednosti Yn, Xn in Zn v naših enačbah pomenijo komponente referenčne bele barve in jo uporabljamo za korekcijo uporabljene osvetlitve. Na spodnji sliki lahko primerjamo spektralne porazdelitve treh različnih osvetlitev, normalne dnevne svetlobe, žarnice z žarilno nitko (ang. tungsten) in enega od tipov neonskih luči.

Slika 23: Spektralna porazdelitev moči različnih osvetlitevzelena: normalna dnevna svetloba D65

oranžna: žarnica z žarilno nitko (oznaka A)modra: neonska svetloba TL84

A

D65

TL84valovna dolžina

Inte

nzite

ta

BARVNI PROSTORI PRI STROJNEM VIDU 23

Kot lahko vidimo iz enačb je transformacija v Lab prostor nelinearna, saj vrednosti korenimo s tretjim korenom. Ta odvisnost je vpeljana zato, ker ima človeški vid izrazito nelinearen odziv na spremembo svetlosti. Vir, ki ima svetlost le 18% osnovnega vira, zaznamo kot da sveti ne samo z 18% nazivne moči ampak kar s polovično močjo.

Barvna prostora CIELab in CIELuv

Prednosti Slabosti

+ zaznavna uniformnost+ zelo blizu človekovega zaznavanja+ uporaba povsod, kjer je potrebno določiti razmerje

oziroma odstopanje barve+ CIELab: v tekstilni industriji skoraj brez izjeme+ CIELuv: v industriji virov svetlobe (LED, luči,

zasloni)+ zelo uporaben pri klasifikaciji slik in vzorcev[5]+ zelo uporaben v sistemih tiskanja (Adobe PhotoShop)

– zaradi lastnosti neodvisnosti od naprav

─ kompleksna pretvorba ─ časovno potraten

BARVNI PROSTORI PRI STROJNEM VIDU 24

4. Uporabljeni barvni prostor pri moji magistrski nalogiSam sem pri svoji nalogi izbral CIELab, saj je to edini prostor, ki zagotavlja barvno uniformnost, kar se je izkazalo skoraj kot pogoj pri moji uporabljeni metodi separacije barv.

Metodo separacije barv lahko opišem z naslednjim diagramom (več v [18]):

Slika 24: Separacija barv z LVQ nevronsko mrežo

Na spodnji sliki lahko vidimo, kako odlično se je metoda separacije obnesla pri separaciji mojih slik. Za prikaz rezultatov uporabljam tesno sliko, na kateri so zbrane slike vseh možnih barv ozadja in barv tiska.

Slika 21: Separacija testne slike

LVQ NEVRONSKA

MREŽA

barvni piksel v CIELab prostoru

4 referenčne barve 3 ozadja (rumena, bela, modra) +

rdeč tisk na rumeni podlagi

Izra

čun

razd

alje

D =

sqr

t [(L

* -L* re

f)2

+(a* -a

* ref)2 +

(b* -b

* ref)2 ]

D1:D4

Mreža razvrsti točko v enega od 5-ih

razredov

BARVNI PROSTORI PRI STROJNEM VIDU 25

5. Zaključek - Kateri prostor torej izbrati?Cilj moje seminarske naloge je bil predvsem odgovor na to zgoraj postavljeno vprašanje, žal pa odgovor ni preprost. Izbira prostora je zelo odvisna od tehnologije izdelkov in proizvodnje, ki jo želimo preverjati, prav tako pa tudi od uporabe metode, ki jo uporabljamo za primerjavo barv.

V poglavju 3.1.1 smo spoznali najbolj pogoste prostore, ki se uporabljajo pri segmentacijah na osnovi barv. Ti so RGB, normirani rgb, HSI in CIELab, zato predlagam, da se pri izbiri barvnega prostora za potrebe strojnega pregledovanja izdelkov omejimo le na te prostore.

V primeru, da kot metodo primerjave in separacije barv uporabljamo 3D histograme, potem je verjetno najboljši prostor RGB. Prostor HSI je zelo dober pri postopkih, kjer potrebujemo ločeno komponento za svetlost, odtenek in jakost barve. Problem tega prostora pa je nesingularnosti pri odtenku, saj je odtenek pri kotu 0° enak odtenku pri kotu 360°.Prostor CIELab, ki je meni osebno najbolj všeč zaradi lastnosti zaznavne uniformnosti, se skoraj brez izjeme uporablja v tekstilstvu [16][17], saj je tam potrebno določiti pravilnost in odstopanje barv v skladu s človeškim zaznavanjem razlike. Prav to je lastnost, zaradi česar moramo ta prostor uporabljati povsod tam, kjer merimo podobnost barve oziroma odtenkov (industrija barv in lakov, avtomobilska industrija). Prav tako je prostor CIELuv skoraj brezpogojna izbira v industriji svetlobnih virov, saj je tudi ta prostor zaznavno uniformen in se zelo dobro obnaša pri visokointenzivnih barvah.

BARVNI PROSTORI PRI STROJNEM VIDU 26

6. Seznam uporabljene literature

[1] MARKO TKALČIČ, Colour spaces, FE, Univerza v Ljubljani, 2002, http://ldos.fe.uni-lj.si/docs/documents/20021113135017_markot.pdf

[2] STEPHEN J.SANGWINE, Colour in image processing, IEE. Elec. & Comm. Engineering Journal, Okt. 2000, str. 211-219

[3] WILLIAM K. PRATT, Digital Image Processing, Jon Wiley & Sons Inc., ZDA, 1991 (Druga izdaja)

[4] RAFAEL C. GONZALES, RICHARD E. WOODS, Digital Image Processing, Addison-Wesley Inc., 1992

[5] W. SKARBEK in A. KOSCHAN, Colour Image Segmentation – A Survey, Tehnischer Bericht 94-32, Tehnična univerza v Berlinu, 1994

[6] JOŽE DERGANC, Razgradnja slik na osnovi barvne informacije, mag. naloga, FE, Univerza v Ljubljani, 2001

[7] KEITH JACK, Video demystified, str. 15-34, Elsevier Science, 2001

[8] CHARLES A. POYNTON, A Guided Tour of Color Space, 1997, www.poynton.com

[9] CHARLES A. POYNTON, Frequently Asked Questions about Color, 1997, www.poynton.com

[10] PAULA M. POWELL, Colorizing High-Speed Machine Vision, v Photonics Spectra, sep. 2002, str. 115-118

[11] EVAN THOMPSON, Comparative color vision: quality space and visual ecology, v Steven Davis (ed.) Color perception: Philosophical, Psychological, Artistic and Computational Perspectives, leto 9, str. 163-186, Oxford University Press, 2000

[12] Virtual color museum, http://www.colorsystem.com/

[13] SUSAN J. KEIROUZ, Color machine vision, in Quality Digest, okt. 1998, http://www.qualitydigest.com/oct98/html/color.html

[14] BRUCE MacEVOY, Watercolors, 2003, http://www.handprint.com/HP/WCL/water.html

[15] Podjetje COLOR TEC, Color course, 1999, http://www.color-tec.com/color.htm

[16] ROLDAO, MELO, FERREIRA, MONTEIRO, Defects Detection in printing fabrics using Computer Vision, v J. Billingsley (ed.), Mechatronics and Machine Vision, str. 75-81, Research Studies Press Ltd, 2000

[17] VERA GOLOB, Barvna metrika, Fakulteta za strojništvo Maribor, 2001

[18] ANDREJ ZUPANČIČ, Barvna segmentacija slik z uporabo LVQ nevronskih mrež, Seminarska naloga pri predmetu Nevronske mreže, feb. 2003