36
Jean-Marc Vezien Vision par Machine 1 TRAITEMENT des IMAGES et VISION par MACHINE MASTER PRO INFO 2011/2012 Jean-Marc Vézien [email protected]

TRAITEMENT des IMAGES et VISION par MACHINE

  • Upload
    others

  • View
    9

  • Download
    1

Embed Size (px)

Citation preview

Page 1: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 1

TRAITEMENT des IMAGES

et

VISION par MACHINE

MASTER PRO INFO

2011/2012

Jean-Marc Vézien

[email protected]

Page 2: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 2

V. SYSTEME VISUEL

HUMAIN

Page 3: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 3

V. SYSTEME VISUEL HUMAIN

• Le système visuel humain fait du traitement

d'images. Etudier → simuler son action.

• Image numérique sera vue et analysée par l'oeil

humain.

Pourquoi l’étudier ?

Système optique

Photo- récepteurs

inhibition latérale

cortex

visuel

Source lumineuse

OEIL

rétine

nerf optique

Corps Grenouillé

Latéral

(CGL)

Principaux constituants:

Perception

Stéréo

Page 4: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 4

V. SYSTEME VISUEL HUMAIN

L’œil:

•une tunique sensorielle, la rétine:

- couche externe: l'épithélium pigmentaire,

- couche interne = cellules sensorielles:

Cônes + Bâtonnets.

• une tunique fibreuse = "coque" de l'oeil :

- cornée transparente,

- sclérotique opaque,

• une tunique vasculaire, l'uvée:

- la choroïde tapissant la sclérotique,

- les corps ciliaires,

- l'iris, en avant, percé de la pupille,

Page 5: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 5

V. SYSTEME VISUEL HUMAIN

La zone rétinienne = "macula".

Deux types de récepteurs:

• Les cônes = vision diurne (photopique).

≈ six millions de cônes dans la rétine.

3 types différents appelés alpha, bêta, gamma.

concentrés sur la fovéa (ou tache jaune), - de 5° !

• Les bâtonnets = perception en NB de la vision

nocturne (scotopique) ≈ cent millions

1 seul type, détecteurs les + sensibles (saturés en

lumière diurne).

Page 6: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 6

V. SYSTEME VISUEL HUMAIN

• Cornée + cristallin = lentille convergente

→ rétine

• Photons → cellules réceptrices de la rétine

(pigment rétinien).

• Réactions chimiques modifiant la polarisation de

la cellule, transmission de cette polarisation =

influx nerveux.

→ l'aire de réception corticale où le signal est

interprété.

Sensibilité: λ= 380 et 750 nm

• différentes couleurs grâce aux cônes.

3 types = l'intégration de la lumière perçue dans la

totalité du spectre sur 3 composantes.

• cônes et bâtonnets = premiers neurones

108 photorécepteurs → 800 000 terminaisons à la

sortie du nerf optique : compression de l'ordre de

100 par câblage.

Page 7: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 7

V. SYSTEME VISUEL HUMAIN

-6 -4 -2 0 2 4

log de la luminance en mL

Luminosité subjective ( nb d'impulsions émises par les photorécepteurs)

seuil scotopique

limite de clarté

réponse instantanée à adaptation

constante

relative à cette

luminance

cônes

bâtonnets

réponses statiques

adaptation à la lumière

adaptation à l'obscurité

oeil = une grande capacité d'adaptation, sensible à

une plage de 104 à 10-4 mW (cônes + bâtonnets)

• réponse logarithmique

• en réponse statique, grande sensibilité

• en dynamique, sensibilité moindre

Page 8: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 8

V. SYSTEME VISUEL HUMAIN

Lumière

LOG

LOG

LOG

LOG

LOG

-

-

-

-

+

a 2

a 1

a 0

a 1

a 2

cône

central

couche de photorécepteurs

signal disponible à la sortie des

cônes

inhibition latérale

a 2

a 1

a 0

a 1

a 2

• Inhibition latéral des cônes:

Si un cône reçoit de la lumière → réponse

positive sur sa terminaison nerveuse.

+ inhibe l'activité de ses voisins (mise en

valeur de son information).

ai

i1

n

Ei

Réponse d’un cône =

champ récepteur du cône

Page 9: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 9

V. SYSTEME VISUEL HUMAIN

Distance sur la rétine

Stimulus

Réception

Illustration:

+ + + + + + +

circulaire allongé

D’autres opérations sont effectuées =

formes de champs récepteurs non symétriques:

Câblage vers des cellules « hypercomplexes » du cortex:

Détection en parallèle de lignes particulières

(orientation + longueur)

Page 10: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 10

V. SYSTEME VISUEL HUMAIN

Psychophysique:

étude de la vision en « boîte noire »

fond : B

B + B

• Perception des contrastes absolus:

B/B ( seuil de perception)

constante

2%

B pieds lambert 10

2 10

0 10

2 10

4

Note: 1 pied-lambert = 3.37 candela / m2

Page 11: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 11

V. SYSTEME VISUEL HUMAIN

fond : B0

B B + B

• Perception des contrastes simultanés:

B/B ( seuil de perception)

B pieds lambert 10

2 10

0 10

2 10

4

Courbes à

B0 = Cste.

B/B ≠ constante: la réponse n’est plus en log.

Cause: inhibition latérale des cônes

Page 12: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 12

V. SYSTEME VISUEL HUMAIN

S(w)/E(w) = H(w) = fonction de transfert de

modélisation

Fonction de transfert du système visuel:

analyse d'un système linéaire:

signal sinusoïdal

E(w) S(w)

signal sinusoïdal ?

N cycles

w = fréquence spatiale, en cycles / degrés.

Page 13: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 13

V. SYSTEME VISUEL HUMAIN

B2/B1

Log

(en cycles par degrés) 0.6 6 60

B1 = constante

: Sensibilité relative

Expérience de Robson :

présenter sur une même image deux échantillons

de sinusoïdes verticales (en fait des exponentielles

de sinusoïdes).

LogB

)sin( 110 tBBe

)sin( 220 tBBe

2 échantillons côte à côte:

• signal de référence: amplitude

B1

• un signal d’entrée: amplitude B2

à ajuster manuellement

Système linéaire →

B2/B1=constante pour ω fixés.

Vrai sauf pour les fréquences

élevées.

Page 14: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 14

V. SYSTEME VISUEL HUMAIN

LOG système linéaire lumière perception

Modélisation: système homomorphique:

bande passante = 60 cycles par degrés.

Le maximum de sensibilité ≈ 6 cycles par degré.

Page 15: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 15

V. SYSTEME VISUEL HUMAIN

• Illusions: mise en évidence du filtrage humain

Bandes de Mach: inhibition latérale

Page 16: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 16

V. SYSTEME VISUEL HUMAIN

Contraste simultané:

Cônes très inhibés

par leur voisin

reçoivent

beaucoup

d'énergie de la

zone claire.

Faible inhibition

→ signal plus fort

en sortie

Page 17: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 17

V. SYSTEME VISUEL HUMAIN

Contraste simultané + contexte:

Page 18: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 18

V. SYSTEME VISUEL HUMAIN

• Perception des couleurs:

Sources:

spectres continus

ou discrets.

• le système visuel = trois types de cônes :

alpha, bêta, gamma.

)( )( 1

0.5

longueur d'ondes en mm

sensibilité relative

450 500 550 600

)(

Si pas de composante spectrale dans leurs spectres,

onde invisible (rayon X, I.R.)

violet bleu vert jaune rouge

Page 19: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 19

V. SYSTEME VISUEL HUMAIN

Corps genouillé latéral: trois types de

cellules: A, C1 et C2.

• cellules A : excitées par les 3 types de cônes.

Ils sont sensibles à la luminance de la couleur.

• cellules C1 : excitées par le rouge et inhibées

par le vert ou réciproquement (cônes alpha et

bêta)

• cellules C2: excitées par le jaune et inhibées

par le bleu, ou réciproquement (cônes bêta et

gamma)

Couleur = information tridimensionnelle,

obtenu par composite (excitation et

inhibition)

Page 20: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 20

V. SYSTEME VISUEL HUMAIN

• Colorimétrie: étude quantitative de la couleur

Loi de Grassman:

Toute couleur est une combinaison linéaire de

trois couleurs primaires indépendantes:

U.u = A.a + B.b + C.c

U = couleur à analyser

A,B,C = trois couleurs primaires

a,b,c,u sont des réels

a/u, b/u, c/u = coefficients de tristimulus.

Normalisation: A+B+C = blanc

Page 21: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 21

V. SYSTEME VISUEL HUMAIN

• Expérience de Grassman:

B b

C c

A a

U u

Potentiomètres

La plupart des couleurs U obtenues.

Cependant il existe des couleurs impossibles à

obtenir !

Page 22: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 22

V. SYSTEME VISUEL HUMAIN

uU + aA = bB + cC

• Expérience de Grassman (suite):

Sinon:

uU + aA + bB = cC

Enfin, pour un petit nombre de couleurs:

Enfin, Grassman a démontré que si:

U1 = a1A + b1B + c1C

U2 = a2A + b2B + c2C

Alors :

(k1U1+k2U2) =

(k1a1+k2a2)A + (k1b1+k2b2)B + (k1c1+k2c2)C

Page 23: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 23

V. SYSTEME VISUEL HUMAIN

Conceptuellement:

• chaque couleur = un vecteur de R3

• les 3 primitives = système de coordonnées

dans l'espace des couleurs.

projections dans le système de coordonnées =

les coefficients de tristimulus

≠ système orthonormé !!

Notions de:

• distance

• d'orthogonalité

pas valides !

Page 24: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 24

V. SYSTEME VISUEL HUMAIN

B=1

A=1

C=1

Bleu

Cyan

Magenta

Noir Blanc

Jaune Rouge

Vert

Représentations:

• Cube de Maxwell:

Page 25: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 25

V. SYSTEME VISUEL HUMAIN

•Diagramme de Maxwell

projection du solide des couleurs sur le 2ième

plan bissecteur du cube

•Plan de luminance constante (égale à 1/2 de

la luminance maximale).

•Passe par les couleurs des 3 primitives :

Rouge (1,0,0), Vert (0,1,0) et Bleu (0,0,1).

Page 26: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 26

V. SYSTEME VISUEL HUMAIN

Projection du triangle de Maxwell sur le plan

(0, V, R) = triangle rectangle

• Diagramme de chromaticité

cba

bet

cba

a

Composantes sur le rouge et vert:

Bleu = 1 - -

Page 27: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 27

V. SYSTEME VISUEL HUMAIN

Pb: certaines couleurs sont à l’extérieur de ce

diagramme.

C.I.E = Compagnie Internationale de

l'Eclairage

http://www.cie.co.at/cie/

→ primitives artificielles X,Y,Z pour représenter

toutes les couleurs d'une manière additive.

• Primitive Y = luminance ( R=V=B )

• X,Z : couleurs

Page 28: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 28

V. SYSTEME VISUEL HUMAIN

Couleurs bleu au rouge (bas de l'image) = droite

= la ligne des pourpres.

Page 29: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 29

V. SYSTEME VISUEL HUMAIN

Page 30: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 30

V. SYSTEME VISUEL HUMAIN

Fonctions de mise en correspondance:

= calcul des tristimuli de n'importe quelle couleur

de spectre f()

0)()(

dlfF =

0)()(

dafA

0)()(

dbfB

0)()(

dcfC

Page 31: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 31

V. SYSTEME VISUEL HUMAIN

)( )( 1

0.5

longueur d'ondes en mm

sensibilité relative

450 500 550 600

)(

Rappel: les cônes ne sont pas sensibles aux

couleurs R,V,B mais à des spectres:

les couleurs naissent de l’intégration des

réponses de chaque récepteur sur le spectre +

excitation/ inhibition dans le tissu neuronal

Page 32: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 32

V. SYSTEME VISUEL HUMAIN

• Systèmes de coordonnées couleur:

1. Système R,V,B: imagerie numérique

2. Système Y,I,Q: codage TV

(Y=luminance)

3. Système (X,Y,Z): C.I.E., 1931.

4. Système (U,V,W)

Pb: couleurs visuellement équidistantes ne

sont pas projetées à égale distance sur le

diagramme de chromaticité (X,Y,Z).

→ déformation pour créer un diagramme où

le lieu des points à égale distance d’une

couleur désirée est un cercle

Page 33: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 33

V. SYSTEME VISUEL HUMAIN

Mesures de distances perceptives sur le

diagramme (x,y):

Chaque trait: orientation et longueur du

grand axe de l’ellipse d’iso-distance à une

couleur donnée

Page 34: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 34

V. SYSTEME VISUEL HUMAIN

Projection du diagramme (U,V,W) dans

l’espace des couleurs:

5. Système (U*,V*,W*): même idée sur la

totalité du cube des couleurs:

Page 35: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 35

V. SYSTEME VISUEL HUMAIN

3

2

1

3

2

1

A

A

A

T

B

B

B

Y

I

Q

0.178 0.818 0.016

0.540 0.263 0.174

0.246 0.675 0.404

.

R

V

B

Exemple:

• Changement de système de coordonnées:

T: linéaire ... Ou pas !

B

G

R

Y

M

C

1

6. Système (C,M,J): complémentaire de RVB

(couleurs soustractives)

Page 36: TRAITEMENT des IMAGES et VISION par MACHINE

Jean-Marc

Vezien

Vision par Machine 36

V. SYSTEME VISUEL HUMAIN

dByxf )(),,(

dVyxf )(),,(

dRyxf )(),,( Log Filtre passe-bande Rouge

Log Filtre passe-bande

Log Filtre passe-bande

Vert

Bleu

C1

A

C2

+

- +

+

+ -

+

f(x,y, )

Absobtion spectrale des cônes

Réponse linéaire des cônes

Connexion des sorties

Inhibition latérale des cônes

• Rappel: modèle spatial du système visuel:

• Modèle complet du système visuel:

Log Filtre passe-bande Filtre passe-bas

Diffraction de l'oeil

Absorption Inhibition latérale des cônes

Les trois signaux A, C1 et C2 correspondent à des

signaux psychovisuels au niveau des corps

genouillés latéraux (3 types de récepteurs).

Note: CGL = stéréovision