Defauts des lentilles : vignettage - LORIA · ! utilisation des \donne es EXIF" dans le chier RAW ou JPEG, et de modelisations des defau ts d'un grand nombre d'objectifs. Exemple

$Page 1: Defauts des lentilles : vignettage - LORIA · ! utilisation des \donne es EXIF" dans le chier RAW ou JPEG, et de modelisations des defau ts d'un grand nombre d'objectifs. Exemple$
De la photographienumerique a laphotographie

computationnelleSeance 9

F. Sur - ENSMN

Quelques exemples

Modele lineaire etconvolution

Algorithmes dedeconvolution

Deconvolution directe

Filtre de Wiener

Maximisation d’unevraisemblance

Regularisation

Deconvolution aveugle

Conclusion

De la photographie numeriquea la photographie computationnelle

Seance 9

Restauration d’images

Frederic Sur

Ecole des Mines de Nancy

Loria

https://members.loria.fr/FSur/enseignement/photo/

1/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Seance 9

1 Quelques exemples

2 Modele lineaire et convolution

3 Algorithmes de deconvolutionDeconvolution directeFiltre de WienerMaximisation d’une vraisemblanceRegularisationDeconvolution aveugle

4 Conclusion

2/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Flou de bouge

Source : Shan, Jia, Agarwala, SIGGRAPH 2008.

http://www.cse.cuhk.edu.hk/leojia/projects/motion_

deblurring/

Voir aussi :

http://www.di.ens.fr/willow/research/saturation/

3/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Defauts des lentilles : vignettage

Probleme inherent a la lentille mince / au stenope.

4/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Defauts des lentilles : distorsions geometriques

En barrillet En coussinet

Corrections : groupement de lentilles

5/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Defauts des lentilles : aberrations chromatiques

Corrections :Utilisation de fluorineDoublet achromatiqueTriplet apochromatique

Cas de la photo IR ou UV.

6/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Defauts des lentilles : et aussi. . .

– Astigmatisme / coma (defauts de non-uniformite)– Courbure de champ– Reflexions parasites diffuses (flare). . .

Finalement :

Focale fixe : 4 a 8 lentilles, eventuellement groupees.Teleobjectif : 2 a 7 groupes (jusque 15-20 lentilles).

7/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Bruit

Source : wikipedia.org8/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Correction des defauts optiques

Dependent de caracteristiques de l’optique utilisee.

Vignettage et aberrations geometriques dependent del’ouverture ;

Aberrations chromatiques dependent aussi de l’endroitde mise au point.

+ influence de la focale pour un objectif zoom.

→ utilisation des “donnees EXIF” dans le fichier RAW ouJPEG, et de modelisations des defauts d’un grand nombred’objectifs.

Exemple : DXO Lien www

Attention : necessite interpolation (si correction possible),eventuellement recadrage, et peut faire � monter � le bruit.→ il reste un interet a avoir des optiques performantes (mais

cheres !).

9/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Restauration / retouche

Restauration Retouche

But : image proche del’image ideale � avantdegradation �

But : image plaisante a l’œil

modele mathematique desdegradations

pas de modele, � a la main �

processus objectif processus subjectif

Exemples : cas precedents Exemples : enlever lesyeux rouges, augmenterle contraste, � gommemagique �. . .

10/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Seance 9

1 Quelques exemples



4 Conclusion

11/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Modele lineaire de degradation

En tout pixel (x , y) :

I (x , y) =∑

(i ,j)∈V(x,y)

kx ,y (i , j)I0(i , j) + n(x , y)

avec

V(x ,y) un voisinage de (x , y). . .

. . .sur lequel sont definis les poids kx ,y (i , j)

I0 : image ideale non degradee (inconnue).

n : bruit (processus aleatoire, inconnu)

12/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Restauration

I (x , y) =∑

(i ,j)∈V(x,y)

kx ,y (i , j)I0(i , j) + n(x , y)

→ ici, le probleme de restauration consiste a retrouver I0 apartir de l’observation I .

Vocabulaire :– kx ,y (i , j) connu : restauration non-aveugle– kx ,y (i , j) inconnu : restauration aveugle

Remarque : dans les deux cas, probleme inverse mal pose acause du bruit(plus d’inconnues que d’equations)

13/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Cas particulier : la convolution

I (x , y) =∑

(i ,j)∈V(x,y)

kx ,y (i , j)I0(i , j) + n(x , y)

Si k invariant par translation (i.e. kx ,y (i , j) = k(i , j)) :

I (x , y) =∑

(i ,j)∈Vk(i , j)I0(i , j) + n(x , y)

ou :I = k ∗ I0 + n

avec V le support du noyau k

Definition (produit de convolution discret) :

k ∗ I0(x , y) =∑

i ,j

k(i , j)I0(x − i , y − j)

=∑

i ,j

k(x − i , x − j)I0(i , j)

14/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Exemples

Vocabulaire :– k connu : deconvolution non-aveugle→ notre cas d’etude

– k inconnu : deconvolution aveugle (blind deconvolution).

15/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Point spread function (PSF)

Le noyau k est appele fonction d’etalement d’un point.

Pourquoi ?

k ∗ I0(x , y) =∑

i ,j

k(i , j)I0(x − i , y − j)

→ si I0 = 0 partout sauf en (x0, y0) ou I0(x0, y0) = 1,alors k ∗ I0(x , y) = k(x − x0, y − y0)

16/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

PSF : illustration

Source :https://www.flickr.com/photos/deano/34026482/

17/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

PSF d’un systeme optique

La PSF caracterise le systeme optique

Exemples :

hubblesite.org/newscenter/archive/releases/1994/

05/image/c/

www.stsci.edu/hst/wfpc2/analysis/wfpc2_psf_page.

html

www.stsci.edu/hst/HST_overview/documents/

RestorationofHSTImagesandSpectra.pdf

www.stsci.edu/software/tinytim/deconwfpc2.html

18/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Seance 9

1 Quelques exemples



4 Conclusion

19/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion


I = k ∗ I0 + n

Rappel : avec la transformee de Fourier

F(I ) = F(k)F(I0) + F(n)

→ sans bruit (& cas non-aveugle), la deconvolution se resoutpar :

I0 = F−1 (F(I )/F(k)) = I ∗ F−1 (1/F(k))

Probleme : avec du bruit,

F−1 (F(I )/F(k)) = I0 + F−1 (F(n)/F(k))

→ amplification du bruit dans les hautes frequences !(cf TP)

20/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Filtre de Wiener

I = k ∗ I0 + n

On cherche un filtre (lineaire) w tel que w ∗ I soit une bonneapproximation de I0

Propriete : le filtre de Wiener donne par :

w(ξ, η) =k∗(ξ, η)

|k(ξ, η)|2 + E(|n(ξ,η)|2)

|I0(ξ,η)|2

minimiseE(||I0 − w ∗ I ||2

)

Preuve : cf poly.

→ a comparer a la deconvolution directe : 1

k(ξ,η)= k∗(ξ,η)

|k(ξ,η)|2

21/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Estimation au maximum de vraisemblance

Definition : vraisemblance de la realisation x d’un vecteuraleatoire X de densite fθ (parametres θ) :

L(x ; θ) = fθ(x)

Methode du maximum de vraisemblance :estimer θ qui maximise L(x ; θ), connaissant x .(idee : plus la vraisemblance est grande, plus il est probable que la

densite fθ pour les (Xt) est la bonne)

Exemple : x1, x2, . . . , xn realisations i.i.d. gaussiennes :

L(x1, x2, . . . , xn;µ, σ) =

1

σn(2π)n/2

n∏

i=1

exp

((xi − µ)2

2σ2

)

−6 −4 −2 0 2 4 6−0.05

0

0.05

0.1

0.15

0.2

x

i

µ=1,σ=2µ=1,σ=4µ=−1,σ=2

22/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Algorithme de Richardson-LucyModele de degradation :I (x , y) est la realisation d’une variable aleatoire de Poissonde parametre λ(x , y) = (k ∗ I0)(x , y)→ realiste en imagerie astronomique.

Remarque : dans le cas du modele lineaire, I (x , y) est la

realisation d’une variable (par ex. gaussienne) de

moyenne µ(x , y) = k ∗ I0(x , y) et de

variance σ2(x , y) = Var(n)(x , y).

→ Vraisemblance de I sous I0 :

L(I ; I0) =∏

x ,y

λ(x , y)I (x ,y)

I (x , y)!e−λ(x ,y)

Propriete : I0 maximisant cette vraisemblance est estimeepar l’algorithme iteratif de Richardson-Lucy (1972-1974).Preuve : cf poly.

23/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Approches par regularisation

I = k ∗ I0 + n

Residu de l’approximation de I0 par une image J :||k ∗ J − I ||2Egalite de Parseval : ||k ∗ J − I ||2 = c ||k J − I ||2

Si on cherche argminJ ||k ∗ J − I ||2 :→ J = I/k donne une solution optimale. . .

Piste : on cherche a regulariser la solution en penalisant lesimages J peu � regulieres � :

argminJ

(||k ∗ J − I ||22 + λΨ(J)

)

avec λ > 0 reglant le compromis attache aux donnees /regularite.

24/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Approches par regularisation

argminJ

(||k ∗ J − I ||22 + λΨ(J)

)

Exemples de fonctionnelles regularisantes :

Ψ(J) = ||A · J||22→ regularisation de Tikhonov (A = Id. . .)

Ψ(J) =∑

x ,y ||∇J(x , y)||1Ψ(J) =

∑x ,y ||∇J(x , y)||2

→ regularisation TV (variation totale)

+ toute la litterature. . .

puis algorithmes dedies. . .

25/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion


Globalement, deux approches :

1 identification de la PSF, puis deconvolution non-aveugle→ possible dans les cas ou on peut caracteriser la PSF(astronomie, microscopie, Hubble Space Telescope. . .)

2 estimation conjointe :

argminJ,k

(||k ∗ J − I ||22 + λΨ(J) + µΦ(k)

)

→ information a priori– sur l’image (ex : proprietes attendues pour une image

� naturelle �)

– et/ou le noyau (type de degradation).

26/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Seance 9

1 Quelques exemples



4 Conclusion

27/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Conclusion

la deconvolution permet d’aller au dela des limitesoptiques, ou de surmonter le flou de bouge par exemple

deconvolution aveugle / non-aveugle

recherches recentes : algorithmes de restauration parregularisation, identification de la PSF. . .

28/29



F. Sur - ENSMN

Quelques exemples




Filtre de Wiener


Regularisation


Conclusion

Soutenance des mini-projets

Mardi 23 mai

Presentation de 15 minutes :

Quel est le probleme ? Motivations ? Verrous ?

Solution proposee dans l’article a lire ?

Illustration par experiences numeriques du problemetraite, et des apports et limites des (de la) methode(s)discutee(s).

Eventuellement, contribution personnelle au dela dusujet.

Puis questions.

29/29

Documents

Defauts des lentilles : vignettage - LORIA · ! utilisation des \donne es EXIF" dans le chier RAW ou JPEG, et de modelisations des defau ts d'un grand nombre d'objectifs. Exemple