Upload
james-charrier
View
109
Download
4
Embed Size (px)
Citation preview
Modélisation d'images agronomiquesApplication à la reconnaissance d'adventices par imagerie
pour une pulvérisation localisée
Université de Bourgogne - U.F.R. Sciences et TechniquesÉcole Doctorale E2S : Environnement, Santé, STICAgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158
Soutenance de thèseprésentée en vue de l'obtention du grade de
Docteur en Instrumentation et Informatique de l'ImageGawain JONES
Le 26 novembre 2009
2
1. Contexte et motivations
2. Modélisation
3. Validation
4. Discrimination culture/adventices
5. Modélisation spectrale
6. Conclusion et perspectives
Plan
3
1. Contexte et motivations
4
• 1980-90 : variabilité intra-parcellaire
• Gestion localisée de parcelles :– Optimisation des coûts / Impact environnemental
• Récolte d’informations :– État des sols / Rendement / Répartition des intrants
• Apports des STIC à l’agriculture– Capteurs / GPS / Systèmes optiques
• Forte volonté gouvernementale :– DC sur l’eau 2000 / LEMA 2006 / Ecophyto 2018
Réduction des intrants
1. Contexte et motivations1.1. Agriculture de précision
Precision Agriculture Australia ©
5
• Localisation des adventices– Traitement localisé réduction des intrants
• Approche carte et temps réel
1. Contexte et motivations1.2. Notre laboratoire
PhD Vioix 2004 Cartographie
PhD Bossu, 2007Temps réel
6
• Développement d’algorithmes de discrimination culture/adventices
1. Contexte et motivations1.2. Notre laboratoire
2D FFT+
Filtre de Gabor
Image périodique
Image IR
Image en perspective
Transformée en ondelettesImageRGB
7 1. Contexte et motivations1.3. Objectifs
• Performances des algorithmes de discrimination ?• Méthodes actuelles :
- Comptage manuel au champ- Segmentation manuelle des images
Thèse J.W. Lu, 2002
En pratique, peu d’algorithmes sont évalués
Développement d’une méthode d’évaluation automatique
8
2. Modélisation
9
• Différents objectifs : – Croissance / Visualisation (AMAP - 1988, LIGNUM - 1996…)
– Préconisation / Simulation d’une information agronomique (APSIM - 1996, FARMSTAR - 2003…)
– Compétition (ALMANAC - 1992,
CROPSIM - 1996…)
– …
Modèles non adaptés
2. Modélisation
2.1.1. État de l’art
2.1. Introduction
10
• Algorithmes de discrimination basés sur l’information spatiale
• Pulvérisation post-levée : jeune stade de croissance
modélisation 2D
• Séparation sol/végétation (indice de végétation)
binaire
2. Modélisation
2.1.2. Cahier des charges
2.1. Introduction
11 2. Modélisation2.2. Champ
fx = largeur inter-rang (45cm)
fy = largeur intra-rang (19 cm)
Semis continu en ligne (blé, soja)
fx = largeur inter-rang (18cm)
2.2.1. Culture Variations stochastiques :
- Taille
- Position sur le rang
- Position du rang
- Présence
Semis périodique (tournesol, mais)
12 2. Modélisation
Trois distributions :– Distribution ponctuelle : Loi de Poisson
– Distribution agrégative : Processus de Neyman-Scott
Aire de propagation elliptique
– Mélange des deux distributions
( )( ) ( ) e
!
kS
k
SP S P X k
k
2.2. Champ
2.2.2. Adventices
Surface SPoisson (λS) adventices
Point pèrePoisson (n) points fils
13 2. Modélisation2.2. Champ
• Taux d’infestation contrôlé (WIR=pixels d’adventices/pixels de végétation)
• Dimensions du champ :- (m) = 4.2 x 3.7- (pix) = 512 x 472
• Plants de culture = 368• Plants d’adventices = 418• WIR = 29.21% (30% demandés)
• Dimensions du champ :- (m) = 2.4 x 3.6- (pix) = 1140 x 894
• Plants de culture = 356• Plants d’adventices = 535• WIR = 39.11% (40% demandés)
2.2.3. Culture + Adventices
14 2. Modélisation2.3. Transformation optique
2.3.1. Modèle du sténopé
• Objectif : prise de photographie adaptable à tout dispositif expérimental
• Projection du sol sur le CCD en fonction des :
– Paramètres intrinsèques :• Focale f• Taille et centre optique du CCD
– Paramètres extrinsèques :• Matrice de rotation Rx, Ry et Rz
• Vecteur de translation Tz=H (Tx=Ty=0)
• Matrice de transformation
15 2. Modélisation2.4. Résultats
2.4.1. Transformation optiqueLe champ
Drone
H = 5mRx = 0°Ry = 0°Rz = 20°WIR = 30%
Sa photographie
Tracteur
H = 1mRx = 70°Ry = 0°Rz = 0°WIR = 40%
16 2. Modélisation2.5. Conclusion
• Modèle spatial permettant la création de scènes agronomiques : – Paramètres de culture– Distribution des adventices et taux d’infestation– Prise en compte d’un système optique
• Nombreuses variations stochastiques « naturelles »
Peut-on substituer les images virtuelles aux réelles?
17
3. Validation
18 3. Validation3.2. Culture
3.2.1. Analyse de voisinage
• Caractériser information spatiale• Analyse multi-échelle Validation globale
• Comparaison image réelle / simulée
Motif n°1 Motif n°2 Motif n°3
…
19 3. Validation3.2. Culture
3.2.2. Comparaison image réelle/simulée
Motif n°1
Motif n°2
Réelle
Simulée
Une simulation
20 3. Validation3.2. Culture
• Résultats très bons : le modèle reproduit correctement la spatialisation de la culture
• Tests identiques sur images avec perspective mêmes résultats
• Validation de la modélisation spatiale de la culture
3.2.4. Résultats
2
1, 2,1
1 2
1 2
( , )
où et correspondent aux deux jeux de données à comparer
n
i ii
x xRMSE x x
nx x
21 3. Validation3.3. Adventices
3.3.1. Méthode
• Validation du semis d’adventices• 150 images traitées : pointage des adventices• Comparaison distribution réelle/simulée
22 3. Validation3.3. Adventices
3.3.2. Caractérisation de la distribution
• Fonction de Ripley (thèse F. Goreaud - 2000)
1 1
(|| || )ˆ ( )n n
ij i j
i j
x x rK r
n
i j
0 6000
10.105
r (pixels)
ˆ ( )K r
23 3. Validation3.3. Adventices
3.3.2. Caractérisation de la distribution
• Linéarisation de Besag
ˆ ( )ˆ( )K r
L r r
Intervalles de confiance à 1%
0 600-20
r (pixels)
ˆ( )L r
20
0 6000
10.105
r (pixels)
ˆ ( )K r
24 3. Validation3.3. Adventices
3.3.2. Caractérisation de la distribution
• Semis ponctuel
0 250-6
r (pixels)
ˆ( )L r
6
25 3. Validation3.3. Adventices
3.3.2. Caractérisation de la distribution
• Semis Hétérogène
300 germes 600 germes
0 1200-20
r (pixels)
ˆ( )L r
50
26 3. Validation3.3. Adventices
3.3.3. Résultats
• Hétérogénéité des semis d’adventices
0 1200-20
r (pixels)
ˆ( )L r
25
27 3. Validation3.3. Adventices
3.3.3. Résultats
• Semis ponctuel à une échelle moindre
28 3. Validation3.3. Adventices
3.3.3. Résultats
• ~500 sous-images traitées (de ~200 germes)• Les distributions réelles correspondent bien au
semis ponctuel développé
Validation du semis ponctuel
• Nécessité de trouver des adventices réparties en distributions agrégatives
• L’hétérogénéité dépend de l’échelle : à prendre en compte lors de la distribution des adventices
29 3. Validation3.4. Conclusion
• Validation du modèle :– Spatialisation des cultures– Distribution des adventices– Validité du sténopé développé
• Les images simulées peuvent remplacer les images réelles
Utilisation du modèle pour tester des algorithmes de discrimination
30
4. Discrimination culture/adventices
31 4. Discrimination culture/adventices4.1. Introduction
4.1.1. Algorithmes de discrimination
• FFT + Gabor : perspective• Ondelettes : temps de calcul
FFT + Gabor Ondelettes
PhD Bossu, 2007
Objectif : performances et adaptation
32 4. Discrimination culture/adventices4.2. Détection des rangs
4.2.1. Transformée de Hough
Espace cartésien Espace polaire : Accumulateur
Droite dans l’espace cartésien Maximum dans l’espace polaire
.cos( ) .sin( )x y
S2
S1
S3
S4
S5
4
2
2
2
2
2
θ
ρ
- 6 0 0
- 4 0 0
- 2 0 0
0
2 0 0
4 5-9 0 -4 5 0
4 0 0
9 0
6 0 0
8 0 0
θ2
θ1
ρ1
ρ2
33 4. Discrimination culture/adventices4.2. Détection des rangs
4.2.2. Différentes scènes
Sans perspective
Avec perspective 90-1000
θ (degrés)
1000
-90
ρ (pixel)
90-1000
θ (degrés)
1000
-90
ρ (pixel)
Accumulateurs de Hough
34 4. Discrimination culture/adventices4.3. Différentes méthodes
4.3.1. Introduction
• Séparation culture/adventices
• Utilisation des droites détectées
• Adventices intra-rang = culture
35 4. Discrimination culture/adventices4.3. Différentes méthodes
4.3.2. Méthode 1 : Blob-Coloring
• Intersection composante connexe / droite
Culture bien détectée
Culture mal détectée
Adventices bien détectées
Adventices mal détectées
36 4. Discrimination culture/adventices4.3. Différentes méthodes
4.3.3. Méthode 2 : Estimation de contours
• Estimation de la largeur du rang
37 4. Discrimination culture/adventices4.3. Différentes méthodes
4.3.4. Méthode 3 : Méthode probabiliste
• Probabilité / centre du rang
Fonction de probabilité
Centre du rang
Seuil
38 4. Discrimination culture/adventices4.4. Performances
4.4.1. Méthodologie
• Génération d’une banque d’images pour évaluer les performances des algorithmes face à : – des taux d’infestation variables (0 à 60%)– différentes distributions d’adventices– deux configurations de caméra
7440 images modélisées et testées
39 4. Discrimination culture/adventices4.4. Performances
4.4.1. Méthodologie
• Comparaison résultats/données initiales– Matrice et graphe ROC
Détecté
Culture Adventices
Culture Vrai positif Faux négatif
Adventices Faux positif Vrai négatif
Vrai positifTVC=
Vrai positif + Faux négatif
Vrai négatifTVA=
Vrai négatif + Faux positif
40 4. Discrimination culture/adventices4.4. Performances
4.4.2. Choix du seuil optimal
• Choix a posteriori, après test de différents seuils• Caractérisation de seuil en fonction :
– Caractéristiques de la scène– Application visée (classe prépondérante?)
• Choix « optimal » : plus proche de (0, 1)
41 4. Discrimination culture/adventices4.4. Performances
4.4.3. Sans perspective - mixte
Composante connexe
TVA 93-97%
Estimation rang Probabiliste
TVA 98-100% TVA 94-98%
TVC 86-98% TVC 80-92% TVC 94-98%
100%
80%0% 60%WIR 0% 60%WIR 0% 60%WIR
42 4. Discrimination culture/adventices4.5. Conclusion
Transformée de Hough• Très robuste – Adaptation automatique
• Optimisation : réduction de l’espace étudié
Méthodes de discrimination• Très bons résultats de classification
• Méthode probabiliste : – Très équilibrée et constante (car choix du seuil a posteriori)– Permet l’établissement d’une préférence de détection
• Erreurs de classification = bords des rangs
• Détection dans le rang impossible
L’amélioration des algorithmes de discrimination passe par la prise en compte d’une information supplémentaire
43
5. Modélisation spectrale
44 5. Modélisation spectrale5.1. Apports et mise en oeuvre
5.1.1. Motivations
45 5. Modélisation spectrale5.1. Apports et mise en oeuvre
5.1.1. Motivations
• Détection d’adventices dans le rang impossible• Utilisation de l’information spectrale pour réaliser cette
discrimination
Besoin d’un modèle simulant la réponse spectrale
46 5. Modélisation spectrale5.1. Apports et mise en oeuvre
5.1.1. Motivations
• Reproduire la réponse spectrale– Dépend des angles incidents et réfléchis,– Caractérisation pour chaque plante.
Caractérisation et utilisation de modèles de BRDF
( , , , )( , , , , , )
( , , , ) cos( )r r r
r i i r ri i i i i
dL xf x
L x d
47 5. Modélisation spectrale5.2. BRDF
5.2.1. Principe
Mesures spectrales multi angulaires
Obtention des paramètres de BRDF
Réponse spectrale pour un nouvel angle
Paramètres + modèle
Inversion du modèle
RGB NIR
Réflectance de plantes
48 5. Modélisation spectrale5.2. BRDF
• PROSPECT (S. Jacquemoud - 1990) : modèle de couches en parallèle développé pour la BRDF des plantes
• SOILSPECT (S. Jacquemoud - 1992) : modèle de transfert radiatif utilisé pour la BRDF des sols
5.2.2. Choix des modèles
49 5. Modélisation spectrale5.3. Du spectre à l’image
5.3.1. Du spectre au RGB
50 5. Modélisation spectrale5.3. Du spectre à l’image
5.3.2. Exemples
• CIE XYZ fonctions trichromatiques de la caméra• Simulation de filtres optiques• Obtention d’images PIR et hyperspectrales
Données spectrales plantes : LOPEX93 / Sol : S. Jacquemoud
51 5. Modélisation spectrale5.4. Modèle 3D
5.4.1. Nécessité d’un modèle 3D
• 2D rapidité et simplicité + orientation feuilles• Mais : orientation, hauteur feuilles Modèle 2D
inadapté
Mise en place d’un modèle 3D simple
52 5. Modélisation spectrale5.4. Modèle 3D
5.4.2. Adaptation du modèle agronomique
• Distribution de la culture et des adventives identique
• Taux d’infestation calculé avec la surface totale des plantes
• Discrétisation adaptative des facettes• Gestion de l’orientation et de l’occultation de
facettes (back-face & occlusion culling)
53 5. Modélisation spectrale5.5. Conclusion
• BRDF : modèles adaptés aux plantes et aux sols• Mais manque de données spectrales
multiangulaires• Possibilité de produire des images simulant les
caractéristiques des caméras• Modèle 3D nécessaire à l’utilisation de BRDF et
adaptation des données agronomiques
54
6. Conclusion et Perspectives
55 6. Conclusion et Perspectives6.1. Conclusion
Modèle• Modélisation paramétrable de scènes « naturelles »• Utilisation du modèle pour améliorer les algorithmes de
discrimination et accélérer leur développement
Algorithmes de discrimination• Méthodes de discrimination très robustes• Adaptation automatique à la géométrie de la scène
Modélisation spectrale• Évolution du modèle vers le spectral• Nouvelles possibilités pour l’évaluation d’algorithmes
56 6. Conclusion et Perspectives6.2. Perspectives
Modèle• Forme des plantes : modèle déformable• Prise en compte des ombres : algorithmes de prétraitement• Couplage résultats de discrimination / prédiction de
rendement suivi virtuel de parcelle• Campagne d’obtention de données multiangulaires en
partenariat avec d’autres laboratoires (LOPEX93)
Algorithmes de discrimination : vers le spectral• Apprentissage spectral temps-réel à partir de la détection
spatiale
57
Merci pour votre attention!
Modélisation d'images agronomiquesApplication à la reconnaissance d'adventices par imagerie
pour une pulvérisation localisée
Université de Bourgogne - U.F.R. Sciences et TechniquesÉcole Doctorale E2S : Environnement, Santé, STICAgroSup Dijon : UP-GAP / Le2i - UMR CNRS 5158
Soutenance de thèseprésentée en vue de l'obtention du grade de
Docteur en Instrumentation et Informatique de l'ImageGawain JONES
Le 26 novembre 2009