Upload
david-boussidan
View
237
Download
0
Embed Size (px)
Citation preview
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 1/100
Segmentation d’images médicales
Hervé Delingette
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 2/100
Segmentation
1. Généralités
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 3/100
03/06/2008 3
Segmentation d’Images
2D 3D 4D (3D+T)
Rayons X IRM Gated-SPECT
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 4/100
03/06/2008 4
Approches AscendantesImages Médicales
Extraction d’Amers
Groupement d ’Amers
Région/Frontière
Extraction
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 5/100
03/06/2008 5
Nature des amers
Information d’intensitéInformation d’intensité
Information de formeInformation de forme
Information de mouvementInformation de mouvement
Information de positionInformation de position
Extrait Combine
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 6/100
03/06/2008 6
Approches Descendantes
Construction de Modèles:
Forme et Apparence
Initialisation du Modèle
Ajustement du Modèle
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 7/100
03/06/2008 7
Méthodes Région ou
Frontière
Segmentation RégionSegmentation
FrontièreImage
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 8/100
03/06/2008 8
Validation of Segmentation Algorithm
• Intrinsic Validation : comparison against
• Observation of Physical Phantoms• Difficult and expensive to build
• May not be representative of real data
• Simulated images (MNI Brain Atlas,…)• Difficult to simulate artefacts
• Segmentation of experts
• Large inter and intra variability of segmentationacross experts
• May not be representative of population variability
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 9/100
03/06/2008 9
How to judge segmentations of the peripheral zone?
0.5T MR of prostatePeripheral zone and segmentations
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 10/100
03/06/2008 10
Deux Méthodes de
Segmentation
Description de 2 méthodes de segmentation :
•Ascendante ou Basée Voxel : Seuillage /Classification
•Descendante ou Basée Modèle :Modèles déformables2D et 3D
Thresholding /Classification Deformable Models Markov Random Field
Shape Information None Important local
Intensity Information Essential Important Important
Boundary / Region Region Boundary Region
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 11/100
Segmentation
2.a Seuillage
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 12/100
03/06/2008 12
• Idée principale :
une structure est uniquement caractérisée par
ses niveaux de gris dans l’image
• Algorithme de seuillage élémentaire :• Seuillage entre deux niveaux de gris (fenêtrage)
• Opérations de morphologie mathématique
• Erosion et Dilation
• Fermeture et Ouverture
• Extraction de composantes connexes
Seuillage
Valide pour les structures fortement contrastées
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 13/100
Images Fortement Contrastées (1)
Exemple : Image scanner
du bassin
Seuillage interactif
Image Seuillée
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 14/100
Images Fortement Contrastées (2)
Image après opérations de
morphologie mathématique
Isosurface
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 15/100
Segmentation
2.b Classification
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 16/100
03/06/2008 16
Limitation of thresholding
Thresholding :
• Choice of threshold can be computed from
grey-level histogram
• Does not assume any spatial correlation of voxel intensity
• Does not take into account the effect of
partial volume effect (PVE)
Use of classification methods
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 17/100
03/06/2008 17
Segmentation - ProblemsSegmentation - Problems
Noise & Partial volume effect
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 18/100
03/06/2008 18
MR images are corrupted by a smoothintensity non-uniformity (bias).
Image withbias
artefact
Corrected
image
Segmentation - ProblemsSegmentation - Problems
Intensity bias field
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 19/100
03/06/2008 19
Méthode de Classification (1)• Il est bien souvent illusoire de considérer qu’un voxel n’appartient qu’à un seul
type de tissu
• Il est raisonnable d’estimer que chaque voxel x à une probabilité pk ( x )d ’appartenir à la classe k de tissu (1≤ k ≤ K)
1)(1
=∑=
K
k
k x p
Exemple
cas du foie
en imagerie
scanner avec 3
classes de
tissus
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 20/100
03/06/2008 20
• Various classification methods :
• Fuzzy c-means
• General classification approach
• Non parametric
• EM Algorithm• Parametric approach (mixture of Gaussians)
• Can take into account bias field
• Curve fitting• Use a hierarchical approach
• Non-linear optimization
Classification Method (2)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 21/100
03/06/2008 21
Fuzzy C-means
• Aucune hypothèse sur la nature de l’image
(approche non paramétrique)• Requiert peu d’information a priori :
• Le nombre de classes K de tissus• Des échantillons de chaque classe, c’est à dire
quelques voxels par classe.
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 22/100
03/06/2008 22
Fuzzy c-means (Concept)
• Idée de la méthode : un voxel est attribué à
la classe dont le centre de l’amas est le plus
« proche » de l ’intensité du voxel
2 centres
initiaux
Centres
des amas
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 23/100
• Input: Unlabeled data set
• Main Output
• Common Additional Output
}1 2, , , n=X x x xK
n is the number of data point in X p
k ∈ℜx p is the number of features in each vector
A c-partition of X, which is matrix Uc n×
Set of vectors
{ }1 2, , , p
c= ⊂ ℜV v v vK
iv is called “cluster center”
Input, OutputFuzzy C-Means Clustering
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 24/100
andU V
Rows of U
(Membership Functions)
4c=
X188n=
2 p=
Sample IllustrationFuzzy C-Means Clustering
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 25/100
03/06/2008 25
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 26/100
2
( , )
1 1
min ( , )c n
m
m ik ik
i k
J u D
= =
=
∑ ∑U V
U V
(FCM), Objective Function
22ik k i D = − A
x vDistance
1m ≥Degree of
Fuzzification
1
1 ,c
ik
i
u k =
= ∀∑Constraint
, T = =A A
x x x x Ax
A-norm
Fuzzy C-Means Clustering
• Optimization of an “objective function” or “performance index”
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 27/100
• Zeroing the gradient of with respect to
• Zeroing the gradient of with respect to
Minimizing Objective Function
12
1
1
, ,mc
ik ik
j j k
Du i k
D
−
−
=
= ∀
∑
m J U
m J V
1( )t t F ∂ −=U V
1( )t t G∂ −=V U1 1
,n n
m mi ik k ik
k k
u u i= =
= ∀ ∑ ∑v x
Note: It is the Center of Gravity
Fuzzy C-Means Clustering
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 28/100
• Initial Choices• Number of clusters
• Maximum number of iterations (Typ.: 100)
• Weighting exponent (Fuzziness degree)• m=1: crisp
• m=2: Typical
• Termination measure 1-norm
• Termination threshold (Typ. 0.01)
1 c n< <
T
m
0 ε <1t t t E −= −V V
Pick Fuzzy C-Means Clustering
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 29/100
• Guess Initial Cluster Centers• Alternating Optimization (AO)
•
• REPEAT
•
•
•
• UNTIL ( or )
•
0 1,0 ,0
( , ) cp
c
= ∈ℜV v vK
0t ←
1t t ← +
1( )
t t F ∂ −=U V
1( )t t G∂ −=V U
t T = 1t t ε −− ≤V V
( , ) ( , )t t ←U V U V
Guess, IterateFuzzy C-Means Clustering
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 30/100
Sample Termination Measure Plot
Final
Membership Degrees
Termination Measure Values
Fuzzy C-Means Clustering
2.0m =
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 31/100
03/06/2008 31
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 32/100
• Process could be shifted one half cycle• Initialization is done on
• Iterates become
• Termination criterion
• The convergence theory is the same in either case
• Initializing and terminating on V is advantageous
• Convenience
• Speed• Storage
0U
1t t t − → →U V U
1t t ε −− ≤U U
Fuzzy C-Means ClusteringImplementation Notes
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 33/100
Pros and ConsFuzzy C-Means Clustering
• Advantages• Unsupervised
• Always converges
• Disadvantages• Long computational time
• Sensitivity to the initial guess (speed, local minima)
• Sensitivity to noise• One expects low (or even no) membership degree for
outliers (noisy points)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 34/100
03/06/2008 34
Fuzzy C-means (Exemple)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 35/100
R. Krishnapuram and J. M. Keller, “A possibilistic approach to
clustering,” IEEE Transactions on Fuzzy Systems, Vol. 1, No. 2, pp. 98-
110, May 1993.
[KriK93]
James C. Bezdek, James Keller, Raghu Krishnapuram and Nikhil R. Pal,
Fuzzy Models and Algorithms for Pattern Recognition and Image
Processing , Kluwer Academic Publishers, TA 1650.F89, 1999.
[BezKKP99]
J. C. Bezdek, Pattern Recognition with Fuzzy Objective Function
Algorithms, Plenum, NY, 1981.
[Bez81]
N. R. Pal, K. Pal and J. C. Bezdek, “A mixed c-means clustering
model,” Proceedings of the Sixth IEEE International Conference on Fuzzy Systems, Vol. 1, pp. 11-21, Jul. 1997.
[PalPB97]
Jun Yan, Michael Ryan and James Power, Using fuzzy logic Towards
intelligent systems, Prentice Hall, 1994.
[YanRP94]
References
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 36/100
03/06/2008 36
• Various classification methods :
• Fuzzy c-means
• General classification approach
• Non parametric
• EM Algorithm
• Parametric approach (mixture of Gaussians)
• Can take into account bias field
• Curve fitting• Use a hierarchical approach
• Non-linear optimization
Classification Method (2)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 37/100
03/06/2008 37
EM - Algorithm
• We assume that for a given class of tissue k,
the probability φk (x) only• Only depends on I(x)
• Follows a Gaussian distribution
( )( )( )
−−=
2
exp2
1
k
k
k
k
I I
σ
µ
πσ φ
xx
( )( ) ( )( )k k k I G I σ φ ,;xx =
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 38/100
03/06/2008 38
EM - Algorithm
• Due to the partial volume effect, the
probability of a voxel intensity depends on amixture of the different Gaussian probabilities
:( )( ) ( )( )
k k k k k
x I GC x x I p σ µ α ,;|
∑=∈
1=∑k
k α with {αk } are the weights of each
probability function=
Mixture probabilities
distribution
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 39/100
03/06/2008 39
EM - Algorithm
• To find pk (x) we need to know :
• The parameters θ of the Gaussian distribution :
• The weights α = {αk } the mixture probabilities
{ } { }k k k σ θ θ ,==
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 40/100
03/06/2008 40
EM - Algorithm
• One can derive the probability that a voxel
belongs to a given class, knowing itsintensity, θθθθ and αααα
( )
( )
( )( )θ α
θ α
θ α ,|
,|),(
,),(| x I p
C x x I p
x I C x p
k
k
∈
=∈Definition of conditional probability
( )( )( )
( )( )∑=∈
i
iii
k k k k
x I G
x I G x I C x p
σ µ α
σ α θ α
,;
,;,),(|
( )( )
( )( )∑=
i
ii
k k
x I
x I
φ α
φ α
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 41/100
03/06/2008 41
EM - Algorithm
• First Approach :
• To find parameters θθθθ and α,α,α,α, one finds tomaximize the likelihood :
( ) ( )( )∏==Λ j
j x I p I p θ α θ α θ α ,|),|(,
( ) ( ) ( )( )∑ ∑
=Λ=
j i
ii ji x I G L σ µ α θ α θ α ,;log,log,
Or the Log-likelihood L
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 42/100
03/06/2008 42
EM - Algorithm
• Second approach : Use the EM algorithm
[Dempster77,Wells94] :• Use an alternated optimization
classification
distribution estimation
pk ( x )
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 43/100
03/06/2008 43
Brain Tissue Classification
• Typical application : use MR cerebral image
Cerebro-spinal fluid White matter Grey matter
Courtesy of D. Vandermeulen
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 44/100
03/06/2008 44
Segmentation - Algorithm
Starting estimates for
belonging probabilities
Compute Gaussianparameters from
belonging probabilities
Compute belongingprobabilities from
Gaussian parameters
Converged ?No Yes
STOP
1
2
3
1σ 2
σ 3σ
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 45/100
03/06/2008 45
Stage 1: classification
data distribution
classification
∑=k
k k
k k
k x I
x I
x p α φ
φ
))((
))((
)(
Courtesy of D. Vandermeulen
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 46/100
03/06/2008 46
Stage 2: Distribution Estimation
classification
data
distribution
∑
∑
= x
k
x
k
k x p
x I x p
)(
)()(
µ
( )
∑
∑ −
=
x
k
x
k k
k x p
x I x p
)(
)()( 2
2
µ
σ Courtesy of D. Vandermeulen
∑= x
k k x pm
)(1α
I i i li i i
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 47/100
03/06/2008 47
Initialisation issue
T1 template gray matter white matter csf
Affine registration between the image and atlas to initialize pk (x)
Use a computed digital atlas with pk (x)
Courtesy of D. Vandermeulen
R l
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 48/100
03/06/2008 48
Results
without
bias correction
with
bias correction
white matter surface gray matter surfaceCourtesy of D. Vandermeulen
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 49/100
Segmentation par modèles
déformablesGénéralités
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 50/100
03/06/2008 50
Modèles Déformables
• Idées principales:
• Approche frontière
• Minimisation de la somme de deux énergies :
• Energie interne (mesure l’adéquation avec la forme)
• Energie externe (mesure l’adéquation avec l’apparence)
• Modèle Déformable est un récipient pour stocker de
l’information a priori sur la géométrie et l'apparence de
structures anatomiques
Segmentation à l’aide de Modèles
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 51/100
03/06/2008 51
Segmentation à l aide de Modèles
Déformables
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 52/100
03/06/2008 52
Segmentation par modèle déformable
• Deux étapes principales :
1. Initialisation• Détection
Il y a t’il une structure cible dans l’image ?
• LocalisationOù se trouve cette structure dans l’image ?
2. Optimisation :
Optimisation des “paramètres” du modèle pour délinéer la structure dans l’image
Comment initialiser un modèle
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 53/100
03/06/2008 53
Comment initialiser un modèle
déformable ?
• Initialisation manuelle :
Facile à mettre en oeuvre
Utilise l’expertise de l’utilisateur
Grande variabilité inter et intra utilisateur
Comment initialiser un modèle
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 54/100
03/06/2008 54
Comment initialiser un modèle
déformable ?
• Initialisation manuelle :
• Algorithme de détection et de localisation :• Déterminer des points ou lignes caractéristiques
• Recalage avec un atlas
Complètement automatique
Répétable
Difficulté de prendre en compte la présence
de pathologies et la variabilité inter-individus
R l A l i
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 55/100
03/06/2008 55
Recalage avec un Atlas anatomique
Recalage non rigide avec un atlas du cortex
I i i li i l
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 56/100
03/06/2008 56
reference MRI with manual delineations input MRI with initial templates
Initialisation avec un atlas
O ti i ti
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 57/100
03/06/2008 57
Optimisation
• Le principe est d’optimiser les “paramètres”
du modèle déformable
• Deux façons de déformer une forme :
Déformation dans l’espace
de l’object Déformation de l’espace
Euclidien
L èt à ti i
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 58/100
03/06/2008 58
Les paramètres à optimiser
• Déformation dans l’espace de l’objet :
• Paramètres de la forme• Position de points du maillage
• Champ scalaire pour les courbes de niveau
• Coefficients de Fourier,…
• Déformation de l’espace Euclidien
• Paramètres des Transformations Géométriques
• Translation et Rotation pour les Transf. Rigides
• Translation et Matrice 3x3 pour les Transf. Affines
R é t ti Gé ét i
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 59/100
03/06/2008 59
Représentation Géométrique
Modéles Déformables
Continus Discrets
Représentation
Explicite
Représentation
ImpliciteMaillages
Discrets
Systèmes de
Particules
Level-Sets
Courbes AlgébriquesEléments Finis
Décomposition
ModaleMaillages Simplexes
Modèles
Masses-Ressorts
Différences
Finies
Transformation Géométrique
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 60/100
03/06/2008 60
Transformation Géométrique
rigide
similitude
affine
B-spline
Méthode de résolution Degrés de liberté
Directe
Descente de Gradient
Directe
Directe
6
7
12
3n
regT
ACP
Symétrie Axiale
Projection
Projection
3mN
3v
Principe de l’optimisation
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 61/100
03/06/2008 61
Principe de l optimisation
• Minimiser une fonctionnelle :
• E(θ,I,θ0) mesure l’adéquation entre la forme
courante et un modèle de la structure à segmenter dans l’image
),,(minarg 0θ θ θ θ
I E opt =Paramètres
àoptimiser
ImageParamètres
initiaux
Deux grandes classes de problèmes
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 62/100
03/06/2008 62
Deux grandes classes de problèmes
• Si {θ} est un ensemble de paramètres dans
l’espace des formes
• Si {θ} est un ensemble de paramètres dans
l’espace des transformations
Méthode de segmentation par modèle déformable
Méthode de recalage
Interprétation de E(θ I θ )
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 63/100
03/06/2008 63
Interprétation de E(θ,I,θ0)
• Interprétation mécanique
• {θ} décrit la position de points dans un maillage
),,( 0θ θ I E Est une énergie potentielle “élastique” qui
attire le contour ou la surface vers une
frontière apparente dans l’image
On qualifie aussi E(θ,I,θ0) d’énergie externe
Interprétation de E(θ I θ )
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 64/100
03/06/2008 64
Interprétation de E(θ,I,θ0)
• Interprétation statistique
• {θ} décrit la position de points dans un maillage
( )),,(exp)|( 0θ θ θ I E I p −≈Probabilité d’avoir l’image connaissant les
paramètres du contour ou de la surface
On qualifie aussi p(I|θ) de fonction de vraissemblance (Likelihood)
)|(maxarg θ θ θ
I popt = Principe du Maximum de
vraissemblance
Exemple : Cercle déformable
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 65/100
03/06/2008 65
Exemple : Cercle déformable
• Paramètres de la forme : {θ} = {x0,y0,R}
• On cherche à faire en sorte que le cercle soit positionné sur des pixels de forts gradients
• On cherche à trouver {x0,y0,R} quiminimisent cette fonction
ϕ ϕ ϕ θ
π
d R y R x I I E
22
0 0
0
sincos),( ∫
++∇−=
Exemple : Cercle déformable
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 66/100
03/06/2008 66
Exemple : Cercle déformable
Circle of lowest energy
Circle of high energies
Exemple : Contour déformable
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 67/100
03/06/2008 67
Exemple : Contour déformable
• Paramètres de la ligne polygonale : {θ} = {xi,yi},
• On cherche à faire en sorte que le cercle soit positionné sur des pixels de forts gradients
• Les points peuvent se répartir n’importe où sur les
contours!!
( )
2
1,),( ∑=
∇=
n
iii y x I I E θ
Exemple : Cercle déformable
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 68/100
03/06/2008 68
Exemple : Cercle déformable
Ligne polygonale
qui
minimise
l’énergie externe
Il faut ajouter une contrainte de régularité géométrique!!!
Régularization
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 69/100
03/06/2008 69
Régularization
• Minimiser E(θ,I,θ0) est souvent un problème
mal-posé :• Existence de plusieurs solutions
• Solution ne dépend pas continument des
conditions initiales
• Il est nécessaire d’ajouter une nouvelle
énergie qui va “régulariser” le problème
Regularization
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 70/100
03/06/2008 70
Regularization
• Minimiser une nouvelle fonctionnelle
• Eint(θ
) est en général une fonctionnelleconvexe qui ne dépend que de la forme et
qui permet d’aboutir à une seule solution
( ) ),,(minarg 0int θ θ θ θ θ
I E E ext opt +=
Interprétation statistique
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 71/100
03/06/2008 71
Interprétation statistique
• Probabilité d’avoir a priori l’ensemble de
paramétre θ :
• Loi de Bayes
( ))(exp)( int θ θ E p −≈
( )( ) I p
p I p I p θ θ θ )|()|( =
( )θ θ θ p I p I p log)|(log)|(log +≈)|(maxarg I popt θ θ
θ
=
Contours Actifs
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 72/100
03/06/2008 72
Co ou s c s
• Première approche proposée en 1987 par
Kaas, Witkin et Terzopoulos
• Caractérisation de l’approche :
• Minimisation d’une énergie
• Représentation explicite du contour • Utilise un schéma semi-implicite de
discrétisation
• Utilise des différences finies pour la
discrétisation spatiale et temporelle
Contours Actifs (2)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 73/100
03/06/2008 73
( )
• Connaissance a priori :
• La frontière de l ’objet à segmenter est lisse• La frontière correspond à des extrema du
gradient
• Exemple :
Contourer le centre del’œil (l’iris)
Définition d’un contour
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 74/100
03/06/2008 74
• Représentation explicite du contour )(uC
=
)(
)()(
u y
u xuC ua
2],[: ℜ→baC
C(u)
Energie Interne (1)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 75/100
03/06/2008 75
g ( )
• L’énergie interne est la somme de deux
termes :• Energie d’étirement Eétirement qui mesure
l’élongation totale de la courbe
• Energie de flexion Eflexion qui mesure la« courbure » le long de la courbe
• Utilisation des normes de Sobolev pour
simplifier la résolution numérique
Energie d’étirement
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 76/100
03/06/2008 76
g
• Expression :
• Lien avec la longueur de la courbe :
• Généralisation :
dudu
udC E
b
a
2
étirement
)(∫=α
dudu
udC dudu
udC L
b
a
b
a
2
)()(
∫∫ ≤=
dudu
udC uw E
b
a
2
1étirement
)()(
∫=α
Energie de Dirichlet
W1(u)=1 sauf aux points de discontinuité C0
Energie de flexion
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 77/100
03/06/2008 77
g
• Expression :
• Lien avec énergie de flexion d’une poutre :
• Généralisation :
dudu
uC d E
b
a
2
2
2
flexion
)(∫= β
duuk u I u E E
b
a∫= )()()(
2
poutre
dudu
uC d
uw E
b
a
2
2
2
2flexion
)(
)(∫= β W2(u)=1 sauf aux points de discontinuité C1
Energie externe
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 78/100
03/06/2008 78
• Idée principale : attirer le contour vers les
voxels ayant un fort gradient d’intensité• 2 formulations :
• formulation locale utilisant l’image de gradient
• formulation globale utilisant des points de
contours
globallocalext E E E +=
Energie externe locale (1)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 79/100
03/06/2008 79
• Energie locale
• Calcul du gradient en convoluant l’image avecla dérivée de la fonction Gaussienne
• La valeur σ de la Gaussienne permet de
contrôler l’échelle du lissage
),( y xGσ
∫∫ ×−−∇=∗∇=∇ dvduvu I yu xuG y x I y xG y x I ),(),(),(),(),( σ σ
Energie externe locale (2)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 80/100
03/06/2008 80
• ExempleImage
originale
Composante
rouge
Energie externe locale (3)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 81/100
03/06/2008 81
• Calcul de la norme du gradient : ),( y x I ∇−
σ faible σ élevé
Energie externe locale (4)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 82/100
03/06/2008 82
• Définition de l’énergie locale :
• Le contour est attiré vers les puits de
potentiels dont la largeur est liée à la valeur
de σ
2local ),( y x I E ∇−=
Energie externe globale (1)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 83/100
03/06/2008 83
• Idée principale :
• Sélectionner les pixels où le gradient est trèsélevé pour lesquels on est certain qu’ils
correspondent à la frontière entre 2 régions
• Définir le champ de potentiel comme une
« pseudo » carte de distance associée à ces
pixels
Energie externe globale (2)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 84/100
03/06/2008 84
• Comment définir les points de contours ?
• Algorithme d’extraction de ces points :• Calcul du gradient et de sa norme
en chaque point
• Extraction des extrema du gradient dans ladirection du gradient
• Seuillage de ces points en fonction de la norme
du gradient
• Construction du champ de potentiel Eglobal
),( y x I ∇ ),( y x I ∇
Energie externe globale (3)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 85/100
03/06/2008 85
• Exemple Extrema du
gradient
Seuillage des
Extrema du
gradient
Energie externe globale (4)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 86/100
03/06/2008 86
• Calcul du champ de potentiel Eglobal(x,y) :
• utilisation d ’une carte de chanfrein approchant
la distance Euclidienne5 4 3 2 1 2 3
4 3 2 1 0 1 2
4 3 2 1 0 1 23 2 1 0 0 0 1
3 2 1 0 0 1 2
4 3 2 1 1 2 3
5 4 3 2 2 3 4
Exempleen 4-connexité
Energie externe globale (5)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 87/100
03/06/2008 87
Carte de Distance
Résultats
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 88/100
03/06/2008 88
Segmentation d’images à l’aide de
dèl déf bl
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 89/100
03/06/2008 89
modèles déformables• Un modèle déformable est un récipient pour
stocker de l’information a priori sur la géométrie
et l'apparence de structures anatomiques
• Deux niveaux de connaissance a priori:
Forme
Apparence
Faible Connaissance a priori
Contrainte de continuité C1 ou C2
Initialisation avec formes génériques
(sphère, …)
Utilise information de gradient
et/ou intensité
Contrainte de Forme
Initialisation avec forme moyenne
Utilise profils d’intensité ou
appariement de blocs
Grande Connaissance a priori
Faible connaissance A Priori
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 90/100
03/06/2008 90
•Valide pour des structures fortement contrastées
•Peut demander une intervention de l’utilisateur
Forte connaissance A Priori
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 91/100
03/06/2008 91
•Valide pour une structure donnée et une modalité donnée
•Plus robuste à l’exception des formes « anormales »
Maillage simplexe (3)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 92/100
03/06/2008 92
• Propriété 2 : Dualité avec les triangulations
Dualité Topologique mais non géométrique
Segmentation: endocrane
I t t
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 93/100
03/06/2008 93
Image scanner, structures osseuses
Temps de convergence: 13,8 s1169 3
cmmodèle:
moulage: 1150 3cm
Segmentation: foie
I d l’IRCAD t ti d f i
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 94/100
03/06/2008 94
Image scanner de l’IRCAD, extraction du foie
Temps de convergence: 2 mn 12 s
Extraction des segments de Couinaud
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 95/100
Segmentation: ventricule gauche
Image US
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 96/100
03/06/2008 96
Image USPetites Régions en hyper-signal
Temps de Convergence: 28 s
Maillage simplexe 4D
Maillage simplexe 4D
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 97/100
03/06/2008 97
Maillage simplexe 4D unique topologie
0t 1t 2t
multiple géométries
3t
Trajectoire de chaque sommet
jti, j
p
0t 1t 2t 3t 4t 5t 6t 7t
Segmentation: IRM
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 98/100
03/06/2008 98
Intersection du modèle avec l’image
Modèle 4D
déformé
time
v o l u
m e
Perspectives (2)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 99/100
03/06/2008 99
• Applications of segmentation :
• Diagnosis
• demand for very fast and automated algorithms with
degree of confidence
• Planning - Prediction -Prevention
• demand for accurate but potentially not fully automated
algorithms combined with high quality meshing
• Clinical Research
• demand for automated and accurate algorithm for use
with large database (grid computing)
Perspectives (3)
7/31/2019 cours-Segmentation d’images médicales
http://slidepdf.com/reader/full/cours-segmentation-dimages-medicales 100/100
03/06/2008 100
• Segmentation techniques is more and more
split between :
• Registration techniques :
• registration with a anatomical/physical/physiological
model
• registration with a set of images (data fusion)
• Low-level techniques :
• anisotropic filtering, watershed, mathematical
morphology
Need to define a unifying framework