Introduction to the theory of belief functions: An ...xuphilip/dokuwiki/_media/en/2013_02_04... · Introduction to the theory of belief functions. An application to intelligent vehicles

Introduction to the theory of belief functions. An application to intelligent vehicles – 04/02/2013

Introduction to the theory of belief functions:

An application to intelligent vehicles

Philippe XU1,2

Franck DAVOINE2

Thierry DENOEUX1

Huijing ZHAO2

1

1UMR CNRS 7253 HEUDIASYC

Université de Technologie de Compiègne

2LIAMA, CNRS

Peking University

[email protected]


Mon parcours à l’ENS

• 2008-2011: ENS Cachan - Antenne de Bretagne Magistère Informatique et télécommunications

• 2009-2010: National Taiwan University Année d’échange (M1)

• Stage de recherches: • 2011: LIAMA, Peking University (Franck Davoine, Huijing Zhao)

Multi-sensor Based Object Detection in Driving Scenes

• 2010: LIAMA, Chinese Academy of Science (Franck Davoine)

Multi-modal Pedestrian Detection

• 2009: IRISA, VistaS (Patrick Pérez) Detection and Tracking of Moving Objets in Crowded Scenes

2


Thèse

• 2011-…: HEUDIASYC (UTC), F. Davoine, T. Denoeux

Information Fusion for Urban Scenes Understanding

• LIAMA MPR: HEUDIASYC (CNRS), KLMP (PKU)

• ANR-NSFC PRETIV: HEUDIASYC (CNRS), KLMP (PKU), eMotion (INRIA), PSA Peugeot Citroën

• ICT-ASIA PREDIMAP: HEUDIASYC (CNRS), KLMP (PKU), SJTU (Shanghai), CSIS (University of Tokyo), MATIS (IGN), eMotion (INRIA), AITGC (Thailand)

3


LIAMA

4


LIAMA

Site internet: liama.ia.ac.cn

Projets de recherche:

• Multimodal Scene Understanding: MPR, CAVSA

• Massive Computing: LSPDS, YOUHUA

• Trustworth Software: ECCA, CRYPT, FORMES

• Shapes Modeling: CCM, cPlant, CAD, TIPE

5

http://liama.ia.ac.cn/








HEUDIASYC

6


HEUDIASYC

• 9 CR CNRS + 41 Enseignants-Chercheurs + 72 Doctorants + …

• Labex MS2T: Maîtrise des Systèmes de Systèmes Technologiques

• Robotex: Equipement d’excellence

• Evaluation AERES: A+

7


Plan

1. Etat de l’art de la robotique moderne

2. Théorie des fonctions de croyance

a) Représentation de l’incertitude

b) Combinaison d’informations

3. Application aux véhicules intelligents

a) Contexte multi-capteurs et multi-classes

b) Résultats expérimentaux

8


Plan








9


Fiction et réalité

10


I, Rodney Brooks, Am a Robot

Four basic capabilities that any true AGI (Artificial General Intelligence) should possess:

• The social understanding of an 8-year-old child

• The manual dexterity of a 6-year-old child

• The language capabilities of a 4-year-old child

• The object-recognition capabilities of a 2-year-old child

http://spectrum.ieee.org/computing/hardware/i-rodney-brooks-am-a-robot/1

11



























12



























13



























14




















DARPA Grand Challenge 2004

• Defense Advanced Research Projects Agency

• Barstow (California) -> Primm (Nevada)

• 240 km/10 heures

• $1 million

15


Quinze participants

16


Résultats

• Aucun véhicule ne termine le parcours

• Meilleur score: 11,78 km (CMU)

17


DARPA Grand Challenge 2005

• $2 million

• 23 participants

• 5 terminent le parcours

• 1er: Stanley (Stanford), 6h53min

• 2ème: Sandstorm (CMU), +11min

• 3ème: H1ghlander (CMU), +10min

• 4ème: Kat-5 (+20min), TerraMax (+5h)

18


More challenges

• DARPA Urban Challenge (2007)

• DARPA Robotics Challenge (2012-2014)

• Chine: The Future Challenge (every year since 2009)

19


Google car

20


Scène routière à Pékin

21


Nos véhicules

22


Compréhension de scène

23

Scene

Tree Sky Car Pedestrian Car Road Car Traffic light Car

Composed-of


Plan








24


Raisonnement dans l’incertain

Dans de nombreux domaines des sciences appliquées, nous sommes amenés à raisonner à partir de connaissances imparfaites.

Ex: données en provenance de capteurs, d’experts, de modèles, …

25


Data-related Fusion Aspects B. Khaleghi et al.: “Multisensor data fusion: A review of the state-of-the-art”.

Information Fusion, vol. 14(1), pp. 28-44, 2013

26




27

« Je crois que Jean mesure 1,5

mètre. »




28

« Jean mesure entre 1,5 mètre

et 2 mètres. »




29

« Jean est grand. »




30

« Il est possible que Jean

mesure plus de 1,5 mètre. »


Théories et imperfections B. Khaleghi et al.: “Multisensor data fusion: A review of the state-of-the-art”.


31


Théorie des probabilités

• La théorie des probabilités peut représenter:

• Incertitude aléatoire: interprétation fréquentielle

• Incertitude épistémique: interprétation subjective

• Problème en tant que modèle de l’incertitude épistémique (modèle Bayesien):

• Impossibilité de représenter l’ignorance (totale ou partielle)

32


Représentation de l’ignorance

• Principle of Indifference: en l’absence d’information concernant une quantité X, une probabilité égale doit être mise sur toutes les valeurs possibles de X.

• Premier problème: une probabilité uniforme et l’ignorance sont représentées de la même manière.

33


L’exemple de l’eau et du vin

Soit une bouteille contenant un mélange d’eau et de vin.

La bouteille contient: • au moins autant d’eau que de vin,

• au plus deux fois plus d’eau que de vin.

Question: «Quelle est la probabilité que la bouteille contienne au plus 1.5 fois plus d’eau que de vin?»

34


L’exemple de l’eau et du vin

Avec 𝒓𝒆/𝒗 le rapport eau sur vin:

𝟏 ≤ 𝒓𝒆/𝒗 ≤ 𝟐;

loi de proba uniforme sur [𝟏, 𝟐];

𝑷 𝒓𝒆/𝒗 ≤ 𝟑/𝟐 = 𝟎. 𝟓.

Avec 𝒓𝒗/𝒆 le rapport vin sur eau:

𝟏 ≤ 𝒓𝒆/𝒗 ≤ 𝟐⟺ 𝟏/𝟐 ≤ 𝒓𝒗/𝒆 ≤ 𝟏;

loi de proba uniforme sur [𝟏/𝟐, 𝟏];

𝒓𝒆/𝒗 ≤ 𝟑/𝟐 ⟺ 𝒓𝒗/𝒆 ≥ 𝟐/𝟑

𝑷 𝒓𝒆/𝒗 ≤ 𝟑/𝟐 =

𝑷 𝒓𝒗/𝒆 ≥ 𝟐/𝟑 = 𝟐/𝟑.

Contradiction

35


Limitation de la granularité

Ce que le conducteur

perçoit: une voiture

noire à l’arrêt sur la

droite.

Ce qu’un capteur laser perçoit:

présence d’un obstacle en forme de ‘L’.

C’est peut-être une voiture, ou un bus, ou un camion, ou un bâtiment, etc…

36

-15 -10 -5 0 5 10 150

5

10

15

Voiture

Obstacle


Théorie des fonctions de croyance Theory of belief functions

• Autres dénominations: • Théorie de Dempster-Shafer (Dempster-Shafer theory)

• Théorie de l’évidence (Evidence theory)

• Modèle des croyances transférables (Transferable belief model)

• Quelques grands noms: • Dempster (1968)

• Shafer (1976)

• Smets (1980-1990)

37


Fonction de masse

• Soit X une variable à valeur dans un ensemble fini 𝛀 (cadre de discernement).

• Fonction de masse: 𝒎:𝟐𝛀 → 𝟎; 𝟏 telle que

𝒎(𝑨)

𝑨⊆𝛀

= 𝟏

• m(A) représente la croyance concernant l’appartenance de X à l’ensemble A, mais à aucun sous-ensemble strict de A.

38


Exemple d’un capteur laser

• Un capteur laser peut mesure la présence d’obstacle. 2 cas possibles: 𝛀 = {𝑶,𝑶 }.

• Le capteur n’est pas parfait, la mesure est fausse dans 20% des cas.

• Représentation de l’information quand le laser mesure la présence d’un obstacle:

𝒎 𝑶 = 𝟎. 𝟖, 𝒎 𝛀 = 𝟎. 𝟐

• La masse 0.2 n’est pas allouée à {𝑶 }, aucune information ne soutient l’absence d’obstacle!

39


Raffinement

• Un cadre de discernement peut être raffiné en partitionnant un ou plusieurs de ses éléments.

• Ex: Obstacle = {voiture, piéton}.

• Cadre de discernement: 𝛀 = {𝑽, 𝑷, 𝑶 }.

• La masse est simplement conserver sur l’ensemble des éléments raffinés.

𝒎 𝑽,𝑷 = 𝟎. 𝟖, 𝒎 𝛀 = 𝟎. 𝟐

40


Plan








41


Combinaison conjonctive

• Règle de Dempster non-normalisée:

𝒎𝟏⨅𝒎𝟐 𝑨 = 𝒎𝟏(𝑩)𝒎𝟐(𝑪)

𝑩∩𝑪=𝑨

• Règle de Dempster normalisée:

𝒎𝟏⨁𝒎𝟐 𝑨 =

(𝒎𝟏⨅𝒎𝟐)(𝑨)

𝟏 − 𝑲𝟏𝟐𝒔𝒊 𝑨 ≠ ∅

𝟎 𝒔𝒊 𝑨 = ∅

𝑲𝟏𝟐 = (𝒎𝟏⨅𝒎𝟐)(∅): degré de conflit entre les deux sources d’information.

42

Soient 𝒎𝟏 et 𝒎𝟐 deux fonctions de masse sur 𝛀 induites par deux sources d’information indépendantes.


Exemple du capteur laser

• Information issue du laser:

𝒎𝟏 𝑽, 𝑷 = 𝟎. 𝟖,𝒎𝟏 𝛀 = 𝟎. 𝟐.

• Nouvelle source d’information:

𝒎𝟐 𝑷,𝑶 = 𝟎. 𝟔,𝒎𝟐 𝛀 = 𝟎. 𝟒.

43

{𝑽𝒐𝒊𝒕𝒖𝒓𝒆, 𝑷𝒊é𝒕𝒐𝒏} 0.8

𝜴 0.2

𝑷𝒊é𝒕𝒐𝒏,𝑶𝒃𝒔𝒕𝒂𝒄𝒍𝒆

0.6

{𝑷𝒊é𝒕𝒐𝒏} 0.48


0.12

𝜴 0.4

𝑽𝒐𝒊𝒕𝒖𝒓𝒆, 𝑷𝒊é𝒕𝒐𝒏 0.32

𝜴 0.08


Belief and plausibility functions

44

• bel(A) = degree to which the evidence supports A.

• pl(A) = degree of support that could be assigned to A if more specific information became available.


Prise de décision

∅ {𝑃} {𝑉} {𝑂 } {𝑃, 𝑉} {𝑃, 𝑂 } {𝑉, 𝑂 } Ω

𝑚 0 0.48 0 0 0.32 0.12 0 0.08

𝑏𝑒𝑙 0 0.48 0 0 0.8 0.6 0 1

𝑝𝑙 0 1 0.4 0.2 1 1 0.48 1

45

{𝑽𝒐𝒊𝒕𝒖𝒓𝒆, 𝑷𝒊é𝒕𝒐𝒏} 0.8

𝜴 0.2


0.6

{𝑷𝒊é𝒕𝒐𝒏} 0.48


0.12

𝜴 0.4

𝑽𝒐𝒊𝒕𝒖𝒓𝒆, 𝑷𝒊é𝒕𝒐𝒏 0.32

𝜴 0.08


Plan








46


Contexte multi-capteurs

47


Objectifs

48

Scene

Tree Sky Car Pedestrian Car Road Car Traffic light Car

Composed-of


Perceptions différentes du monde

Données issues des capteurs:

Sorties des détecteurs d’objets:

49


Vue d’ensemble du système

• Plusieurs capteurs fournissent en données un ou plusieurs modules de traitement.

• Utilisation de blocs de traitement indépendants dans leur propre espace de raisonnement.

• Les sorties des modules (fonctions de masse) sont combinées sur un cadre de discernement unifié au niveau d’une image sursegmentée.

50


Combinaison de modules

51

Ground Ground

Vegetation Vegetation

Sky Sky



Sky


52

Ground Ground


Sky


Grass Road Tree/Bush Sky Obstacles


Sky


53

Ground Ground


Sky


Grass Road Tree/Bush Sky Obstacles


Plan








54


General mass function

• Input: • Learned model M of a class C

• Observation X of an object S

• Observation-to-model measure d(X,M)

• Two distance thresholds 𝑑− and 𝑑+

• Output: mass function of 𝛀 = {𝑪, 𝑪 } a) If 𝑑− > 𝑑(𝑋,𝑀) → 0 then 𝑚( 𝐶 ) → 1.

b) If 𝑑− ≤ 𝑑(𝑋,𝑀) ≤ 𝑑+ then 𝑚({Ω}) → 1.

c) If 𝑑+ < 𝑑 𝑋,𝑀 → +∞ then 𝑚( 𝐶 ) → 1.

55


General mass function

𝒎 𝑪 = 𝜶𝒆−𝜸

𝒅𝒅−−𝒅

𝜷

𝒊𝒇 𝒅 < 𝒅−

𝟎 𝒐𝒕𝒉𝒆𝒓𝒘𝒊𝒔𝒆

𝒎 𝑪 = 𝜶𝒆−𝜸

𝒅+

𝒅−𝒅+

𝜷

𝒊𝒇 𝒅 > 𝒅+

𝟎 𝒐𝒕𝒉𝒆𝒓𝒘𝒊𝒔𝒆

𝒎 𝛀 = 𝟏 −𝒎 𝑪 −𝒎( 𝑪 )

56


Mass function profile

57

0 5 10 150

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Mass distribution

Distance to model

Mass f

unction

m(f Cg)

m(f Cg)

m(+)

0 5 10 150

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Pignistic probability distribution

Distance to model

Pig

nis

tic p

robabili

ty

BetP(f Cg)

BetP(f Cg)


Special case: 𝑑− = 𝑑+

58

0 5 10 150

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Mass distribution

Distance to model

Mass f

unction

m(f Cg)

m(f Cg)

m(+)

0 5 10 150

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9


Distance to model

Pig

nis

tic p

robabili

ty

BetP(f Cg)

BetP(f Cg)


Special case: 𝑑− = 0

59

0 5 10 150

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Mass distribution

Distance to model

Mass f

unction

m(f Cg)

m(f Cg)

m(+)

0 5 10 150

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9


Distance to model

Pig

nis

tic p

robabili

ty

BetP(f Cg)

BetP(f Cg)


Stereo based ground detection

Road plane estimation: 𝑨𝒖 + 𝑩𝒗 + 𝑪𝒅 + 𝑫 = 𝟎

Robust estimator RANSAC.

60


Stereo ground detection

• Plane model: Π: 𝑛 ∙ 𝑃 + 𝑑 = 0

• Distance: 𝑑 𝑆, Π = mean𝑃𝑖∈𝑆

𝑑(𝑃𝑖 , Π)

• Variance: 𝛾 =1/var𝑃𝑖∈𝑆

𝑑(𝑃𝑖 , Π) , 𝛽 = 2

• 𝛼 = ratio of visible pixels in S

61


Stereo ground detection

62

0 0.2 0.4 0.6 0.8 10.92

0.93

0.94

0.95

0.96

0.97

0.98

0.99

1

Recall

Pre

cis

ion

Stereo: Ground detection

d-=0, d+=8

d-=0, d+=16

d-=0, d+=Inf

d-=8, d+=8

d-=8, d+=16

d-=8, d+=Inf

d-=16, d+=16

d-=16, d+=Inf


Stereo based method: 𝒅− = 𝟖, 𝒅+ = 𝟏𝟔

63


LIDAR based method

Multi-layered LIDAR:

• Cells cut by rays correspond to road.

• Laser impacts far away from the ground are obstacles.

64


LIDAR based method

65


Monocular base method

• Features: Walsh-Hadamard coefficient over 8x8 patches

• Learning: Distribution over visual words (500 clusters)

• Observation: Each segment is represented by a distribution of visual words

• Distance: Distribution (histogram) distance

66


Texton based road classification

𝒕− = 𝟔, 𝒕+ = 𝟔

67


Vegetation detector

𝒕− = 𝟔:

𝒕− = 𝟎:

68


Temporal propagation

Optical flow based approach

• For each segment St at time t is associated a segment St+1 at time t+1 defined as the one pointed by the mean flow of the pixels in St.

• The mass mt+1 is: 𝒎𝒕+𝟏 𝑨 = 𝜶𝒎𝒕 𝑨 , 𝒊𝒇 𝑨 ⊊ 𝛀

𝒎𝒕+𝟏 𝛀 = 𝟏 − 𝒎𝒕+𝟏(𝑨)𝑨⊊𝛀

69


Détection du sol

70


Conclusion & Future works

• Framework adapted to multi-sensors fusion • Flexible to include new classes • Fusion is done locally over an over-segmented

image

• Future works: • Improve monocular based approach • Add new sensors (GPS, maps), new classes (moving) • Find a general approach to generate mass function

from “black box” detection tools • Global understanding

71


References

• G. Shafer: “A mathematical theory of evidence”. Princeton University Press, 1976.

• P. Smets: “Belief functions: the Disjunctive rule of combination and the generalized Bayesian Theorem”. International Journal of Approximate Reasoning, vol. 9, pp.1-35, 1993.

• T. Denoeux: “A k-nearest neighbor classification rule based on Dempster-Shafer theory”. IEEE Transactions on Systems, Man and Cybernetics, vol. 25(5), pp.804-813, 1995.

• T. Denoeux: “The cautious rule of combination for belief functions and some extensions”. Proceedings of FUSION, 2006.

• T. Denoeux and P. Smets: “Classification using Belief functions: the Relationship between the case-based and model-based approaches”. IEEE Transactions on Systems, Man and Cybernetics, vol. 36(6), pp.1395-1406, 2006.

• B. Khaleghi et al.: “Multisensor data fusion: A review of the state-of-the-art”. Information Fusion, vol. 14(1), pp. 28-44, 2013.

72

Documents

Introduction to the theory of belief functions: An ...xuphilip/dokuwiki/_media/en/2013_02_04... · Introduction to the theory of belief functions. An application to intelligent vehicles