Solutii pentru restaurea adaptativa supervizata a culorii in imaginile de patrimoniu cultural

PAUL NEMES, MIHAELA GORDAN, AUREL VLAICU, Centre for Multimedia Technologies and Distance Education,

Technical University of Cluj-Napoca15, C. Daicoviciu Street, 400020 , Cluj Napoca,

ROMANIA,{Paul.Nemes, Mihaela.Gordan, Aurel.Vlaicu}@com.utcluj.ro,

http://www.ctmed.utcluj.ro

Abstract: În acest articol am propus un punct nou de vedere asupra restaurarii de culoare folosind o funcţie de corecţie a culorii: aceasta se poate defini ca o transformare a spaţiului culorilor "deformat" într-un spaţiu "corectat", ideal. Funcţia poate fi definită scalar, în fiecare componentă, sau vectorial, dacă cele 3 componente de culoare sunt corelate. Dintre spaţiile de culoare utilizate în literatură pentru corecţia culorilor, menţionăm: HSV, YCbCr. Functia de restauare este generata folosind metodele bazate pe învăţarea supervizată a transformarii/corecţiei culorii. Maşinile cu vectori suport sunt recunoscute pentru capacitatea lor de a învăţa cu capacitate de generalizare mare dintr-un numar relativ mic de exemple, motiv pentru care utilizarea lor atât în probleme de clasificare, cât şi de regresie a luat avânt în ultima decadă. Aplicaţiile lor în restaurarea culorii sunt relativ restrânse, însă cercetările arată că pot fi o alternativă promiţătoare la alte metode de modelare, motiv pentru care am considerat interesantă aplicarea lor.

1. INTRODUCTION

Restaurarea culorii în imagini digitale este necesară atat din cauza degradării imaginii fizice, cat si din cauza imperfecţiunilor procesului de achizitie si afisare [Devlin’04]. Modalităţile de realizare a restaurării culorii presupun fie modelarea fizică a procesului de degradare (similar restaurării imaginilor afectate de zgomot sau deformări geometrice) [Knut’99], fie deducerea din exemple a funcţiei de corecţie a culorii (în cazul în care estimarea e mai greu de realizat - adesea în practică) [Devlin’02]. Cercetări sunt la ora actuală în ambele direcţii - aşa cum arată literatura de specialitate. În cazul celei de-a 2-a abordări [Devlin’04], apare avantajul unei metode mai flexibile, dacă se presupun aceleaşi condiţii de degradare, putând avea funcţii de corecţie înalt neliniare.

Pentru înţelegerea modalităţii de restaurare a culorii, este importantă cunoaşterea unor aspecte fizice despre formarea culorii şi a factorilor care o afectează - spectrul iluminantului, dar şi structura suprafeţei obiectului [Barnard’01]. În ceea ce priveşte funcţia de corecţie a culorii: aceasta se poate defini ca o transformare a spaţiului culorilor "deformat" într-un spaţiu "corectat", ideal. Funcţia poate fi definită scalar, în fiecare componentă, sau vectorial, dacă cele 3 componente de culoare sunt corelate. Dintre spaţiile de culoare utilizate în literatură pentru corecţia culorilor, menţionăm: HSV, YCbCr.

În acesta lucrare sunt abordate metodele bazate pe învăţarea supervizata a functiei de transformare/corectie a culorii. Cele mai performante reprezentante din această categorie sunt: reţelele neuronale; maşinile cu vectori suport folosite pentru regresie [Dekel’05]. În special, maşinile cu vectori suport sunt recunoscute pentru capacitatea lor de a învăţa cu capacitate de

generalizare mare dintr-un numar relativ mic de exemple, motiv pentru care utilizarea lor atât în probleme de clasificare, cât şi de regresie a luat avânt în ultima decadă. Aplicaţiile lor în restaurarea culorii sunt relativ restrânse, însă cercetările arată că pot fi o alternativă promiţătoare la alte metode de modelare, motiv pentru care am considerat interesantă aplicarea lor la problema adresată în teză.

O problemă în antrenarea SVM pentru regresie în cazul aplicaţiei particulare a transformării culorii o reprezintă faptul că implicit o maşină cu vectori suport pentru regresie are ca ieşire o funcţie scalară. Acest lucru înseamnă că o putem doar aplica pentru predicţia independentă a componentelor de culoare, motiv pentru care avem nevoie de un spaţiu al culorilor decorelat. Am examinat aici eficienţa corecţiei culorii în 2 spaţii de culoare folosite pe scară largă în prelucrarea imaginilor digitale: YCbCr şi HSV.

În principiu, în formularea propusă în această lucrare, corecţia culorii se realizează astfel. Se consideră disponibilă o imagine degradată, de preferinţă fie standardizată, fie care să conţină o varietate suficient de largă de culori încât să acopere o plajă largă a spaţiului RGB. Deasemenea există disponibilă varianta sa restaurată (fie în condiţii optime de iluminare, fie - dacă este vorba de o imagine digitală a unei picturi afectate de degradarea mediului său fizic - imaginea sa restaurată de către experţi). Atunci, pentru restaurarea oricărei alte imagini degradate în aceeaşi manieră, trebuie deduse cele 3 funcţii de transformare a componentelor de culoare (fie ele pentru exemplificare Y, Cb, Cr => fy(Y), fcb(Cb), fcr(Cr)). Aceste funcţii sunt deja specificate complet în punctele de culoare cunoscute din imaginea degradată, însă trebuie realizată o interpolare pentru celelalte puncte. Metodele de regresie pot

rezolva eficient acest deziderat. În cazul folosirii maşinilor cu vectori suport în acest scop, cele 3 funcţii fy, fcb, fcr sunt definite prin parametrii maşinilor, în urma fazelor lor de antrenare (vor fi antrenate 3 SVM, câte unul pentru fiecare componentă a spaţiului culorilor, folosind ca vectori de antrenare - setul valorilor componentei respective din imaginea degradată, iar ca şi vectori ţintă - setul valorilor componentelor respective din imaginea originală, considerînd imaginile perfect aliniate spaţial, astfel încât culorile corespondente se găsesc în exact aceeaşi poziţie spaţială.În lucrare am folosit, pentru verificarea metodei propuse, o imagine de antrenare standardizată pentru evaluarea culorilor (Macbeth colour checker). Funcţiile de transformare a culorii astfel deduse au fost folosite în restaurare atât pentru imaginea de antrenare, cât şi pentru alte imagini, cu rezultate foarte bune, în condiţiile folosirii unei imagini de antrenare mult subeşanţionate (pentru o viteză acceptabilă a algoritmului) şi a mai multor variante de maşină cu vectori suport atât cea liniară, cât şi neliniare.

Degradarea culorii in imaginea digitala

Deoarece avem în vedere în principal imagini de patrimoniu cultural digitizate luam în considerare atat degradarea fizica cât şi erorile introduse de iluminare si de sistemul de achizitie. Restaurarea unei imagini depinde foarte mult de aprecierea iluminării la achiziţie, de aberaţiile cromatice şi optice ale sistemului de achiziţie cât şi de aprecierea ochiului unui expert asupra denaturării datorate modificărilor fizice care apar în timp inevitabil şi condiţiilor fizice de păstrare, fiecare din aceste proleme necesitând o tratare separată [Kunt’99]. Corecţia imaginilor implică în primul rând identificarea şi corecţia celor existente deja indexand în acelaşi timp cunoştiinţele referitoare la restaurarea şi corecţia acestora din trecut, în special cea realizată fizic în laboratoare de restaurare şi in al doilea rând identificarea şi realizarea unui protocol de achiziţie şi stocare care să permită evitarea sau corectura ulterioară a degradărilor şi pierderilor de informatie.

Surse de iluminare

Datorită surselor de iluminare, digitizarea imaginilor şi percepţia poate varia foarte mult si se denatureaza foarte uşor. Pentru o afisare adecvata a culorilor unei opere de artă trebuie să inregistram in conditii cat mai bune şi să putem modifica parametrii achiziţiei pentru a avea control atît asupra imaginii cît şi asupra afişării digitale şi printării. Temperatura culorii ese o caracteristică a spectrului vizibil al luminii şi este dererminată prin compararea culorii ei cu culoarea unui corp negru încălzit treptat, care va radia lumină în funcţie de temperatura la care este, de la roşu-închis până la alb. Relaţia dintre temperatură şi lumina radiată defineşte temperatura culorii şi se exprimă în grade Kelvin. Lumina zilei are un spectru similar cu cel al corpului negru. În practică între 5500 şi 5800° (K), iar în zilele cu ceaţă este între 7700-8500°(K). Mai jos sunt prezentate câteva surse tipice de lumină şi temperatura în grade Kelvin corespunzatoare: flacăra

lumânării 1500(K); incandescent 3000(K); răsărit, apus de soare 3500(K); lumina soarelui la amiază, flash 5500; soare puternic, cer senin 6000(K); cer noros, umbră 7000(K); cer albastru 9000(K) .

Sisteme de achizitie

Principalele erori introduse de sistemele de achiziţie sunt legate în principal de geometria imaginii, problemă prezentă la sistemele optice ale camerelor foto, iar la scanerele bidimensionale de dimensiunea mică a suprafeţei de scanare si problemele intampinate la scanarea unei suprafeţe mari. Erorile de geometrie si de poziţionare se resfrâng direct asupra cromaticii imaginilor achiziţionate [Barnard’02] [Puech’01].Camerele foto digitale furnizează fişiere brute de imagine în format RAW care procesează imaginea direct, întrucât, în fişierul RAW, informaţia stocată este cea furnizată de senzor, valorile înregistrate pentru fiecare pixel sunt direct proporţionale cu cantitatea de lumină incidentă. Ochiul uman percepe luminanţa în mod diferit, adică este mai sensibil la variaţii mici ale luminozităţii în zonele mai intunecoase şi proportional mai putin sensibil la variaţii similare ale intensităţii în zonele luminoase. Modul în care sunt înregistrate sau percepute variatii ale luminozitatii unui subiect este definit ca "gamma"; fisierul RAW este inregistrat in mod nativ cu gamma 1, pe cand ochiul uman are gamma 2,2.Situatia in care reproducera corecta a culorilor este mai dificila, este intalnita in cazul scenelor iluminate cu multiple surse de lumina, cum ar fi, de exemplu, interioarele iluminate atat de lumina solara cat si de becuri fluorescente, sau alte combinatii de surse de lumina cu temperaturi de culoare diferite. In aceasta ultima imprejurare, determinatea balansului de alb se recomanda a fi facuta inainte de fotografie, prin etalonare pe mostre gri 18%. Deoarece fisierele RAW nu au aplicat balansul de alb, ele pot fi afisate cu orice mod al balansului de alb posibil in camera.Cele mai multe scannere din ziua de astăzi sunt variaţii ale scanner-ului desktop (sau Flatbed). Ele folosesc un senzor de imagine implementat printr-un dispozitiv CCD (CCD - Charged-Coupled Device) sau CIS (Contact Image Sensor). Pe de altă parte, un scanner cu tambur foloseşte un tub fotomultiplicator pe rol de senzor de imagine. Cea mai veche tehnologie scanner este cea cu tambur, unde tubul fotomultiplicator se mişcă inainte şi înapoi pe o singură axă. Imaginea ce urmează a fi scanată este fixată pe un tambur care se roteşte în faţa tubului fotomultiplicator. Utilizarea scannerelor cu tambur a cunoscut o cădere semnificativă de când scannerele flatbed bazate pe tehnologia CCD au scăzut ca preţ. Totuşi, scannerele cu tambur se mai folosesc în anumite aplicaţii high-end unde calitatea scanării atarna mai greu în balanţă, cum ar fi arhivarea fotografiilor în muzee şi în producţia de cărţi şi reviste.Un scanner desktop este alcătuit de obicei dintr-un panou de sticlă, sub care se afla o sursă de lumină (de obicei xenon sau lumină fluorescentă cu catod rece) care luminează panoul, şi un dispozitiv mobil CCD. Scannerele color conţin de obicei trei randuri de elemente CCD cu filtre roşii, verzi şi albastre.

Degradarea fizica

În trecut pictura era, în general, formata din mai multe straturi de culoare. Stratul cel mai de jos, cel negru sau alb, a fost încorporat în comoziţia picturală de către artist prin folosirea diferitelor grade de opacitate şi transparenţă a culorilor din straturile superioare. Din cauza distrugerilor suferite de pictură, structura straturilor de pictură poate fi observată cu uşurinţă. Termenul de îngălbenire primară este folosit pentru a descrie reacţia de înnegrire, care în acest caz a apărut din cauză că marginile picturii erau acoperite de rama care încadra tabloul.În timpul procesului de uscare, picturile în ulei îşi pierd o parte din opacitatea şi starea lor de prospeţime. Prin urmare liniile desenului iniţial devin vizibile.

Fig. 1. Indepartarea varnisului

De-a lungul secolelor unele dintre culori îşi pierd din intensitatea lor iniţială. Uneori, sub rama tablourilor se mai pot observa tonalităţiile iniţiale ale picturii Fig.2. Umezela poate duce la desaturarea culorilor din straturile de pigment şi de finisare. Această desaturare e urmarea pierderii legăturii dintre pigmentul de culoare şi liant, rezultatul fiind transformarea coloraţiei originale în tonuri de gri. O predispoziţie accentuată pentru acest fenomen o prezintă culorile smălţuite şi verdele pământiu, ceea ce înseamnă albire.În imaginea din Fig. 2. pe marginile crepăturilor, pigmeniţii au început să fie afectaţi de efectul de albire. În imagine zonele verzi, realizate cel mai porbabil prin amestecarea pigmenţilor galbeni de pământ şi ai celor smălţuiti, efectul de albire se poate observa cu uşurinţă.

Fig. 2. Tonurile initiale ale culorii

Varnişul gros a căpătat o culoare închisă (stânga) şi crepături accentuate, ceea ce sugerează că nu s-a folosit obişnuitul “resin varnis”, mai moale, ci unul bazat pe uleiuri şi/sau uleiuri sicative. Stratul pictat e acoperit cu un strat de praf, care îi conferă o aură albăstruie şi cu varnis galben. Culoarea originală a culorilor nu e obţinută decât după curăţarea tabloului. (Cornelius de Vos - 1584-1651 – “Încununarea Eroului de către Victoria” – detalii, Muzeul Brunswick)Varnişul galben poate modifica culoarea şi efectul de spaţialitate creat de stratul pictat, efectul de ansamblu fiind unul monocrom, fără accente. Doar după înlăturarea varnisului pictura îşi recapătă intensitatea culorilor şi spaţialitatea care îi conferă de fapt plasticitate şi valoare [Giakoumis’05] [Weken’07].

Fig. 3. Cornelius de Vos “Încununarea Eroului de către Victoria” - detaliu

2. MASINI CU VECTOR SUPORT PENTRU REGRESIE

Limitările metodelor statistice în dezvoltarea empirică a unui model de date pentru mai multe aplicaţii a condus la dezvoltarea unei noi teori a estimării funcţonalităţii în regresie şi clasificare sub formă de maşini cu vector suport (Support Vector Machine - SVM). Teoria este derivată din teoria învăţării statistice dezvoltată de Vapnik şi Chervonenkis [Vapnik’98]. Modelarea empirică a datelor se bazează pe principiul inducţiei în care modelul concluzionează informaţia din datele de intrare şi în final prevede setul de ieşire, model care nu este similar reţelelor neuronale. Datorită restricţiilor impuse precum set finit de date, dimensiune mare, datele vor forma doar o distribuţie rară în spaţiul de intrare [Bousquet’04]. SVM este o nouă teorie de învăţare bazată pe cadrul minimizării structurale a riscului (SRM) faţă de tradiţionalele reţele neuronale care sunt bazate pe minimizarea previzivbilă a riscului. Fundamentul matematic şi performanţa superioară ale SVM-urilor faţă de reţelele neuronale tradiţionale prezintă o alternativă excelentă la reţelele neuronale folosite pentru restaurarea culorii. SVM a fost creata initial pentru clasificare si extinsa la problema regresiei – SVR (Suport Vector or Reggresion) prin introducerea diferitelor functii pierdere [Plat’00] [Smola’98]. Presupunand un set de date de intrare reprezentat printr-un

vector x, SVM-ul invata dependenta functionala dintre intrare si iesire reprezentata prin f(x). Ecuatia urmatoare prezinta expresia simpla a unui SVM antrenat pentru regresie:

f ( x , w )=∑i=1

N

w iφ (x)

unde functia φ(x) este denumita functia caracteristica. Termenul wi corespunde ponderii atribuite fiecarei date de intrare. In regresie, sortarea erorilor de aproximare este folosita ca sa obtinem cea mai buna estimare functionala intre datele de intrare si cele de iesire. Aceasta masura a erorii este definita ca functia pierdere.

2.1. Regresia liniara

Regresia liniară implică o funcţie pierdere, având obiectivul de a o minimiza, ca să putem estima un hiperplan f(x,w):

R=12‖w‖2

+C (∑i=1

l

|y i− f ( x , w )|ε) , C1λ(1)

Pentru a minimiza ecuaţia sunt introduse variabilele pozitive, intregiξ si ξ¿, acestea sunt la o distanţă mai mare decat ε faţă de funcţie, de o parte şi alta a acesteia. Multiplicatorii Lagrange (α i ,α i

¿) sunt utilizaţi pentru

minimizarea funcţiei pierdere. Valoarea lor este zero dacă variabilele ξ si ξ¿<ε, şi diferită de zero daca ξ si ξ¿>ε, în acest caz multiplicatorii Lagrange sunt vectorii suport. Funcţia pierdere este in consecinţă modificată:

R=12‖w‖2

+C (∑i=1

l

ξ+∑i=1

l

ξ¿) ,(2)

ξ , ξ¿≥ 0 , i=1 ,…,l

y i−wT x i≤ ε+ξ

wT x i− y i≤ ε+ξ¿

Constanta C este parametrul de regularizare care controlează echilibrul dintre aproximarea erorii şi norma vectorului ‖w‖. Condiţiile din ecuaţia de mai sus impun

minimizarea variabilelor liniare ţinând cont de w i ,b ,ξ , ξ¿ şi

maximizarea lor ţinând cont de multiplicatorii pozitivi

α ,α¿ , β , β¿. Astfel funcţia pierdere are soluţii atât în spaţiul

liniar cat şi în cel n-dimensional. Variabilele Lagrange duale

Ld(α ,α ¿) sunt exprimate doar prin multiplicatorii

Lagrange. Deci sunt 2l multiplicatori pentru regresia liniară, iar matricea Hessiană are dimensiunea de (2l, 2l). Astfel sunt optimizate variabilele Lagrange duale:

Ld=−0 . 5 α2 Hα+ f T α(3)

După calculul multiplicatorilor Lagrange α i si αi¿, mărimea

optimă a vectorilor şi erorii în hiperplanul regresiei este calculată folosind expresia:

w0=∑i=1

l

( αi¿−α i ) xi(4)

b0=1l (∑

i=1

l

( y i−x iT w0 ))(5)

Cea mai buna alegere a hiperplanului este dată de ecuaţia

z=f (x ,w )=w0T x+b0(6)

2.1. Regresia neliniara

SVM în cazul neliniar lucrează într-un spaţiu al caracteristicilor n-dimensional folosind un kernel specific. Similar cu regresia liniară, funcţia pierdere este optimizată în spatiul dual; de exemplu maximizarea variabilelor Lagrange duale tinând cont de multiplicatorii Lagrange. Soluţia pentru hiperplanul de regresie f(x) care este liniar în spaţiul caracteristicilor F va crea un hiperplan de regresie neliniar în spaţiul variabilelor de intrare. Functia de regresie neliniară este dată de ecuaţia:

f ( x )=∑SVs

(α i−α i¿) K (xi , x)+b (7)

În cazul regresiei neliniare, matricea hessiană se schimbă

H=[ G −G−G G ] , G ( xk , x i )(8)

Dupa calculul multiplicatorilor Lagrange, mărimea optimă a vectorilor şi a erorii sunt calculate folosind ecuaţiile:

w0=α¿−α (9)

b0=1l (∑

i=1

l

( y i−G w0 ))(10)

Deci cea mai bună alegere a hiperplanului de regresie este dată de ecuaţia:

z=f (x ,w )=G w0+b0(11)

3. RESTAURAREA CULORII FOLOSIND MAŞINI CU VECTOR SUPORT

Formularea problemei de restaurare a culorii din imagini digitale din perspectiva matematică a regresiei cu maşini cu vector suport. O abordare posibilă este urmatoarea: dacă avem la dispoziţie un spaţiu de culoare în care componentele sunt decorelate (ideal complet decorelate) notat general C1C2C3, unde de exemplu C1=Y, C2=Cb, C3=Cr pentru spaţiul YCbCr.

În cazul general putem formula problema restaurării culorilor astfel: fie subspaţiul culorilor dintr-o imagine nedegradată (“paleta de culori a imaginii” o mulţime discretă)

Snedegradat = {y1, y2, ..., yN}, (12)

yi [3x1] – cele trei componente [yi1, yi2, yi3], unde [yi1, yi2, yi3]=[R,G,B] sau [yi1, yi2, yi3]=[H,S,V] sau [yi1, yi2, yi3]=[Y,Cb,Cr], i=1,2, ..., N

Fie subspaţiul culorilor imaginii degradate:

Sdegradat = {x1, x2, ..., xM}, (13)

în general M ≠ N, dar presupunem pentru simplitate M = N. Pentru restaurare este necesară deducerea unei

mapari Sdegradat ❑→

Snedegradat care poate fi exprimată analitic

printr-o funcţie:

f : Sdegradat❑→

Snedegradat(14)

Problema principlă este deducerea exprimării funcţiei f, dat fiind că avem la dispoziţie doar un set de exemple redus (puncte yi în care se cunosc valorile funcţiei f(yi)=xi) fiind date reprezentările în spaţiul C1C2C3 pentru punctele {yi} din

Snedegradat şi {xi} din Sdegradat , notate prin

{ yC1 , i}, {yC2 ,i }, {yC3 , i} şi respectiv

{xC1 ,i },{xC2 , i},{xC3 ,i}, trebuie găsite funcţiile f C1, f C2

, f C3

,

f Ck: {xC k ,i }❑

→{ yCk ,i } , k=1,2,3(15)

Funcţia se poate rezolva cu formule explicite de interpolare, dar este mai dificil dacă forma funcţiei este înalt neliniară şi neregulată (ca şi în cazul frecvent al degradării naturale a culorilor). O variantă preferată de interpolare o oferă regresia cu vectori suport, însă cu dezavantajul că valorile funcţiei rezultate nu pot să fie decât scalare. Astfel problema nu se poate formula direct în spatiul 3D ci trebuie găsite spaţii de culoare cu componente decorelate pentru a deduce individual cele trei funcţii de regresie. Fiecare funcţie este dată de un SVM, iar setul de antrenare a SVM pentru regresie este format de perechile ¿. Corecţia va fi independentă conform schemei bloc din Fig.4. :

Fig. 4. Schema bloc de restaurare folosind SVR

Particularizări pentru reprezentarea colorilor în spatiul YCbCr este reprezentata in Fig.5.

Fig. 5. Schema bloc de restaurare in spatiul YCbCr

pentru spaţiul HSV nu se poate folosi SVM pe componenta H deoarece aceasta are distanţa unghiulară in Fig. 6..

Fig. 6 Schema bloc de restaurare in spatiul HSV

3.1. Vectori de antrenare

Fie perechea de imagini D[HxWx3] – imaginea degradată şi C[HxWx3] – imaginea corectă.

Se aliniază spaţial pixel cu pixel cele două imagini de antrenare

Se convertesc în spaţiul de culoare ales.

{ yC1 , i}

{ yC2 , i}

{ yC3 , i}

f C1−SMV C1

f C2−SMV C2

f C3−SMV C3

Imagine degradata

{xC1 ,i }

{xC2 ,i }

{xC3 , i}

Imagine corectata

Y {yC1 ,i }

Cb { yC2 ,i }

Cr { yC3 ,i }

f C1−SMV C1

f C2−SMV C2

f C3−SMV C3

Y {xC1 ,i }

Cb {xC2 ,i }

Cr {xC3 ,i}

Imagine corectata

Imagine degradata

RGB ->

YCbCr

YCbC ->

RGB

S { yC2 ,i }

V {yC3 , i}

H

f C2−SMV C2

f C3−SMV C3

S {xC2 ,i }

V {xC3 ,i }

Imagine corectata

Imagine degradata

HSV->

RGB

RGB ->

HSV

Se scanează în aceiaşi ordine şi se reprezintă vectorial din liniile puse una sub alta, astfel reprezentarea imaginii va avea forma dY [ HWx 1 ] , dCb [ HWx 1 ] , dCr [ HWx 1 ]Se construieşte setul de antrenare al SVM-ului sub forma perechilor

{(CY [i ] ;dY [ i ]) ,i=1,2 , ... , HW }(16)

{(CCb [i ] ; dCb [i ] ) , i=1,2 ,... , HW }(17)

{(CCr [i ] ;dCr [ i ]) ,i=1,2 , ... , HW }(18)

Exemplu: am folosit imaginea verificatorului Macbeth, care este un tipar test proiectat in scopul determinării balansului culorii, pentru a genera un subset al vectorilor de antrenare în spatiul YCrCb:

IrezCor(:,:,1) = 113 113 112 188 188 186 112 112 106 91 91 87 142 142 129 128 128 117.....

IrezCor(:,:,2) = 68 68 66 148 148 143 124 123 118 97 97 90 128 128 115 199 199 180.....

IrezCor(:,:,3) = 51 51 50 127 127 123 152 154 146 45 45 43 176 176 159 171 171 154......

a) b)Fig. 7 a) Imagine de intrare, b) Imagine de ieşire

(degradată) (dorită)

c) c) Rezultatul restaurarii culorii folosind funcţiile de regresie aplicate simultan pe Y, Cb şi Cr generate de SVM-urile cu kernel liniar.

3.2. Testarea restaurarii imaginilor

Paşii sunt similari etapei de antrenare, însă avem la dispoziţie numai imaginea deradată (de corectat) şi în plus funcţiile de estimare a valorilor corectate, f Y , f Cb , f Cr date de antrenarea celor trei SVM-uri:

1. Se converteşte imaginea de test în spatiul YCbCr şi rezultă Dtest , Y , Dtest ,Cb , Dtest , Cr

2. Se scanează fiecare componentă linie cu linie şi se formează vectorul d test , Y [ H test W test x1], d test , Cb[ H test W test x 1], d test , Cr[ H test W test x1]

3. Se calculează:

c test ,Y [ i ]=f Y (d test ,Y [i ] )c test ,Cb [i ]=f Cb (d test , Cb [ i ])c test ,Cr [i ]=f Cr (d test ,Cr [i ] ) , unde i=1,2 ,…,HW

4. Se reface imaginea vectorială şi rezultă o matrice în spaţiul YCbCr.

Se coverteşte aceasta în spaţiul RGB.

4. IMPLEMENTARE SOFTWARE

Am folosit mediul de dezvoltare Matlab 7.0 cu „Image Processing” toolbox din care am utilizat funcţiile: Imread, rgb2ycbcr, reshape, im2double, im2uint8, ycbcr2rgb, şi toolbox-ul „Support Vector Machines for Classification and Regression”, Steve R Gunn [Gunn’98], din care am folosit funcţiile: svr(X,Y,ker,C,loss,e), svroutput(trnX,tstX,ker,beta,bias)

5. PROTOCOL EXPERIMENTAL

Pentru alinierea imaginilor de antrenare, pixel cu pixel, am folosit utilitarul Photoshop de la Adobe. Am scris aplicaţia care implementează paşii prezentati in capitolul 6. Imaginile au fost subesantionate pentru a nu depasi memoria disponibila.Pentru test am utilizat atat imaginea diagramei de verificare a culorilor Macbeth cat si alte imagini cu conditii de deteriorare reale. 1. Varianta standard: imaginea Macbeth degradată controlat

simulând îngălbenirea varnish-ului de pe pictură2. Varianta imaginilor de pictură restaurate scanate din The

Restoration of Paintings, Knut Nicolaus, Ed. Konemann, 1999 [Knut’99],

- Pentru antrenare am folosit imagini de antrenare de aproximativ 20x30 pixeli, peste aceasta valoare crescând foarte mult timpul de lucru

- Pentru test am folosit imagini de 300 – 400 pixeli, suficiente pentru aproximarea vizuală performantelor SVM-ului.

Parametrii SVM-ului au fost de două tipuri liniar şi neliniar, din cel de al doilea am implementat kernelul: polinomial, gausian RBF, exponential RBF

5. COMPARAREA ALGORITMILOR DE RESTAURARE A CULORII

Performanţele au fost evaluate din perspectivă:

- obiectivă: eroarea numerică medie în setul de antrenare şi a erorii numerice maxime, la restaurarea fiecarei componente de culoare (individual pe SVR)

- subiectivă – vizual, pe baza imaginilor ţintă, imagini refacute şi imagini deteriorate.

Evaluarea a fost efectuată atât pe imagini de antrenare cât şi pe imagini de test. În plus am examinat reprezentările grafice ale perechilor de date de antrenare şi funcţiile de regresie cu modulul uiregress.

Fig. 8.1 Restaurarea fizică a operei Crowning of the Hero by Victoria [detaliu], Cornelis de Vos (1584-1651) [Knut’99].

a) b) c) d)

Fig 8.2 Imagini de antrenare: a) intrare (degradată), b) ieşire (dorită) şi c) rezultatul restaurării culorii aplicata pe imaginea a) folosind funcţiile de regresie aplicate simultan pe Y, Cb si Cr generate de SVM-urile cu c) kernel polinomial şi respectiv d) exponenţial RBF.

a) b)

c) d)

Fig 8.3 a) Imaginea degradata. Imaginea rezultată în urma restaurării culorii folosind funcţiile de regresie aplicate simultan pe imaginea degradata pe canalele Y, Cb şi Cr generate de SVM-urile cu kernel liniar antrenat pe setul a) - b) cu b) kernel liniar, c) polinomial de grad 2, respectiv cu d) gausian RBF.

Fig 9.1 Restaurarea fizică, in laborator a operei. [Knut’99]

9.2 a) b) c) d)

Fig 9.2 Imagini de antrenare: a)intrare, b)ieşire şi rezultatul restaurării culorii folosind funcţiile de regresie aplicate simultan pe imaginea a) pe canalele Y, Cb şi Cr generate de SVR-urile rezultate folosind c)kernel polinomial şi respectiv d)gausian RBF.

9.3 a) b)

c)

Fig 9.3 a) Imagine degradata. Aplicarea SVR cu kernel b) polinomial de grad 2, respectiv cu c) gausian RBF.

a) b) c)

d) e)

Fig 9.4 Imagini de antrenare: a)intrare (degradată), b)ieşire (dorită) şi c)rezultatul restaurării culorii folosind funcţiile de regresie aplicate simultan pe imaginea degradata pe canalele Y, Cb şi Cr generate de SVM-urile cu kernel liniar pe imaginea a). d)Imaginea degradată e)Imaginea rezultată în urma restaurării culorii folosind funcţiile de regresie aplicate simultan pe imaginea degradata pe canalele S şi V generate de SVM-urile cu kernel liniar antrenat pe setul a) - b).

9.5. a) b) c)

d) e)

Fig. 9.5 Imagini de antrenare: a)intrare (degradată), b)ieşire (dorită) şi c)rezultatul restaurării culorii folosind funcţiile de regresie aplicate simultan pe imaginea degradata pe canalele S şi V generate de SVM-urile cu kernel liniar pe imaginea a). d)Imaginea degradată e)Imaginea rezultată în urma restaurării culorii folosind funcţiile de regresie aplicate simultan pe imaginea degradata pe canalele S şi V generate de SVM-urile cu kernel liniar antrenat pe setul a) - b).

Fig. 9.6 Restaurarea in laborator a picturii [Knut’99].

Utilizarea spatiului de culoare HSV, aplicând masini cu vector suport pentru regresie pe canalele S si V conduc la rezultate mai slabe decat in cazul spaţiului YCbCr.

Kernel Eroarea medie Eroarea maxima Liniar 5,4306 36Polinomial 2,6846 25Gausian RBF 2,8462 27Exponential RBF 2,0237 19Spline 1,9922 19B-spline 1,7308 19

Tabel 1. Evaluarea erorii pe imaginea de antrenare (degradata, dar care a fost folosita in deducerea functiilor de regresie) Macbeth folosind diverse kerneluri pentru SVR aplicate pe reprezentarea in spatiul YcbCr

5. CONCLUZII SI DEZVOLTARI ULTERIOARE

Analiza detaliată a direcţiilor iniţiale de studiu a concluzionat ca aplicarea tehnologiilor unui domeniu foarte nou cum este învăţarea supervizată bazată pe maşinile cu vector suport pentru regresie în aria restaurării de culoare a imaginilor, în special a celor de patrimoniu cultural este o zonă neexplorată şi care a generat rezultate bune de la primele teste. Am ales acest domeniu deoarece în ultimii ani studiul în domeniul maşinilor cu vectori suport este tot mai asiduu şi cu rezultate superioare algoritmilor neliniari clasici.

Rezultatele din testele efectuate până acum sunt încurajatoare pentru cautarea celor mai bune soluţii şi strategii pentru restaurarea culorilor obiectelor de patrimoniu. Am ales acest domeniu deoarece continua munca ultimiilor ani în domeniul patrimoniului cultural, al procesării de imagini şi al tehnologiilor multimedia.

Cautarea în această direcţie este axată înspre optimizare, robusteţe şi stabilitate. O altă direcţie este cea de combinare a SVM-urilor pentru regresie, utilizând un clasificator pentru marcarea zonelor cu nuante similare din imagine, deoarece am constatat că aplicarea SVM-rilor pe o nuanţă duce la aproximări mult mai bune decât în cazul aplicării pe o gamă variată de culori.

În literatura de specialitate, nu am identificat utilizarea SVM pentru regresie aplicate în restaurarea culorii, ci doar aplicarea regresiei pe invarianţa culorilor la iluminare.

Aplicarea sistemelor cu vectori suport pentru regresie pe imagini care au o paleta limitata sau caracteristici spatiale definite intr-un cadru finit pot furniza rezultate mult superioare decât aplicarea pe imagini cu o paletă de culori foarte largă.

O zonă care cred ca merită atenţie este studiul geometriei indusă de kernel in funcţie de ecuaţiile pe care acesta le implementează precum si includerea lor in sisteme complexe.

REFERENCES

[Barnard’01] K. Barnard, and B. Funt, “Camera Characterization for Color Research,” Color Research and Application, vol. 27, no. 3, pp. 153-164, 2001.

[Blais’08] Eric Blais, Ryan O’Donnell and KarlWimmer, Polynomial regression under arbitrary product distributions, Carnegie Mellon University, 2008

[Bousquet’04] Olivier Bousquet, Stephane Boucheron2, Gabor Lugosi, Introduction to Statistical Learning Theory, Advanced Lectures on Machine Learning (2004), pp. 169-207.

[Brefeld’05] Ulf Brefeld, Thomas Gärtner, Tobias Scheffer, Stefan Wrobel, Efficient Co-Regularized Least Squares Regression, Journal of Machine Learning Research 6, 2005

[Chakrabartty’07] Shantanu Chakrabartty, Gert Cauwenberghs; Gini Support Vector Machine: Quadratic Entropy Based Robust Multi-Class Probability Regression, Journal of Machine Learning Research 8(Apr):813--839, 2007

[Dekel’05] Ofer Dekel, Shai Shalev-Shwartz, Yoram Singer; Smooth ε-Insensitive Regression by Loss Symmetrization, Journal of Machine Learning Research 6 711--741, 2005

[Devlin’02] Kate Devlin, A review of tone reproduction techniques, Technical Report CSTR-02-005, Department of Computer Science, University of Bristol, 2002

[Devlin’04] Adela Katharine Devlin, Perceptual fidelity for digital image display, A thesis submitted to the University of Bristol, UK in accordance with the requirements for the degree of Doctor of Philosophy in the Faculty of Engineering, Department of Computer Science, 2004

[Ebner’03] M. Ebner, “A Parallel Algorithm for Color Constancy,” Journal of Parallel and Distributed Computing, vol. 64, no. 1, pp. 79-88, 2004.

[Finlayson’01] G. H. Finlayson, S. D. Hordley, and P. M. Hubel, Color by Correlation: A Simple, Unifying Framework for Color Constancy, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 11, pp. 1209-1221, 2001.

[Gonzalez’01] R. Gonzalez, R. Woods, Digital Image Processing – Second Edition, Prentice Hall, New Jersey, 2001

[Gordan’06] Mihaela Gordan, Sisteme de analiza a imaginilor digitale folosind clasificatoare masini cu vector suport, Casa Cartii de Stiinta, Cluj Napoca, 2006

[Gunn’98] Steve R. Gunn, Support Vector Machines For Classification And Regression, Faculty of Engineering, Science and Mathematics, School of Electronics and Computer Science, University of Southampton, 1998

[Hao’07] Pei-Yi Hao, Shrinking the Tube: A New Support Vector Regression Algorithm with Parametric Insensitive Model, 2007, pages: 1871-1874

[J Smola’98] Alex J Smola, Bernhard Scholkopf, A Tutorial on Support Vector Regression, NeuroCOLT Technical Report Series,

[Knut’99] The Restoration of Paintings, Knut Nicolaus, Ed. Konemann, 1999

[Koltchinskii’08] Vladimir Koltchinskii, Ming Yuan, Sparse Recovery in Large Ensembles of Kernel Machines, School of Mathematics, Georgia Institute of Technology, 2008

[Luxburg’04] von Luxburg, U., Bousquet, O., Scholkopf, B.: A compression approach to support vector model selection. The Journal of Machine Learning Research 5 (2004) 293-323

[Micchelli’03] Charles A. Micchelli, Massimiliano Pontil, On Learning Vector - Valued Functions, Department of Computer Science, University College London, Research Note RN/03/08, 2003

[Pitas’00] I. Pitas, Digital Image Processing: Algorithms and Applications, John Wiley & Sons, February 2000

[Platt’00] J. Platt, Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods, Advances in Large Margin Classifiers, (A. Smola, P. Bartlett, B. Scholkopf, and D. Schuurmans, Eds.), MIT Press, Cambridge, MA, 2000.

[Quoc’06] Quoc V. Le, Alex J. Smola, Thomas Gartner, Simpler Knowledge-based Support Vector Machines, 23rd International Conference on Machine Learning, 2006, Pittsburgh

[Scholkopf’00] Bernhard Scholkopf, Alexander J. Smola, Learning with Kernels, The MIT Press, Cambridge, Massachusetts, London, England, 2000

[Scholkopf’98] B. Scholkopf, P. Bartlett, A. Smola, R. Williamson, Support Vector Regression with Automatic Accuracy Control, Proceedings of ICANN'98, Perspectives in Neural Computing, pages 111 – 116, 1998

[Smola’98] Bernhard Scholkopf, Peter Bartlett, Alex Smola, Robert Williamson, Shrinking the Tube: A New Support Vector Regression Algorithm, Technical Report Series, NC2-TR-1998-031, 1998

[Vapnik’98] V.N. Vapnik, Statistical Learning Theory, J. Wiley, N.Y., 1998.

[Vivek’05] Vivek Agarwal, Ridge Regression Approach to Color Constancy, A Thesis Presented for the Master of Science Degree, The University of Tennessee, Knoxville, 2005

[Vlaicu’97] A. Vlaicu, Prelucrarea numerică a imaginilor, Editura Albastră, Cluj-Napoca, 1997

[Ying’08] Yiming Ying and Colin Campbell, Learning coordinate gradients with multi-task kernels, Department of Engineering Mathematics, University of Bristol, 2008