of 29/29
Vers un système de détection et caractérisation par caméra de conditions météorologiques critiques pour la sécurité routière Nicolas Hautière, Jérémie Bossu, Erwan Bigorgne, Didier Aubert Université Paris-Est, IFSTTAR, IM, LEPSIS 58 boulevard Lefebvre, F-75015 Paris {nicolas.hautiere,didier.aubert}@ifsttar.fr RÉSUMÉ. La présence d’une distance de visibilité réduite sur un réseau routier (épais brouillard, pluie forte, etc.) affecte la sécurité de celui-ci. Nous avons conçu un système de bord de voies qui vise à détecter des situations critiques telles que le brouillard dense ou les fortes chutes de pluie à l’aide d’une caméra vidéo. Les différents traitements d’image sont présentés, en particu- lier l’estimation de la distance de visibilité, la détection de brouillard, ainsi que la détection de pluie. En se fondant sur les principes sous-jacents de ces algorithmes, une caméra est ensuite spécifiée pour répondre aux besoins exprimés par la norme NF P 99-320 sur la météorologie routière. Des résultats expérimentaux sont présentés ainsi que des perspectives de validation à plus grande échelle. ABSTRACT. The presence of a reduced visibility distance on a road network (thick fog, heavy rain, etc.) affects its safety. We designed a roadside system on which aims to detect critical situations such as dense fog or heavy rain with a simple CCTV camera. Different image processing are presented, particularly the estimation of visibility distance, the detection of fog, and the detec- tion of rain. Based on the principles underlying these algorithms, a camera is specified to meet the needs expressed by the standard NF P 99-320 on highway meteorology. Experimental re- sults are presented as well as prospective validation at a bigger scale. MOTS-CLÉS : système de vision, sécurité routière, vidéosurveillance, visibilité, brouillard, pluie, caméra, calibrage, soustraction de fond. KEYWORDS: Machine vision, road safety, visual surveillance, visibility, fog, rain, camera, cali- bration, background subtraction. DOI:10.3166/TS.x.1-29 c 2011 Lavoisier, Paris Traitement du signal – n o y/2011, pages 1-29

Vers un système de détection et caractérisation par …perso.lcpc.fr/hautiere.nicolas/pdf/2011/hautiere-ts11.pdf · routiers équipent parfois leurs réseaux de capteurs optiques

  • View
    213

  • Download
    0

Embed Size (px)

Text of Vers un système de détection et caractérisation par...

  • Vers un systme de dtection etcaractrisation par camra de conditionsmtorologiques critiques pour la scuritroutire

    Nicolas Hautire, Jrmie Bossu, Erwan Bigorgne, Didier Aubert

    Universit Paris-Est, IFSTTAR, IM, LEPSIS58 boulevard Lefebvre, F-75015 Paris

    {nicolas.hautiere,didier.aubert}@ifsttar.fr

    RSUM. La prsence dune distance de visibilit rduite sur un rseau routier (pais brouillard,pluie forte, etc.) affecte la scurit de celui-ci. Nous avons conu un systme de bord de voiesqui vise dtecter des situations critiques telles que le brouillard dense ou les fortes chutes depluie laide dune camra vido. Les diffrents traitements dimage sont prsents, en particu-lier lestimation de la distance de visibilit, la dtection de brouillard, ainsi que la dtection depluie. En se fondant sur les principes sous-jacents de ces algorithmes, une camra est ensuitespcifie pour rpondre aux besoins exprims par la norme NF P 99-320 sur la mtorologieroutire. Des rsultats exprimentaux sont prsents ainsi que des perspectives de validation plus grande chelle.

    ABSTRACT. The presence of a reduced visibility distance on a road network (thick fog, heavy rain,etc.) affects its safety. We designed a roadside system on which aims to detect critical situationssuch as dense fog or heavy rain with a simple CCTV camera. Different image processing arepresented, particularly the estimation of visibility distance, the detection of fog, and the detec-tion of rain. Based on the principles underlying these algorithms, a camera is specified to meetthe needs expressed by the standard NF P 99-320 on highway meteorology. Experimental re-sults are presented as well as prospective validation at a bigger scale.

    MOTS-CLS : systme de vision, scurit routire, vidosurveillance, visibilit, brouillard, pluie,camra, calibrage, soustraction de fond.

    KEYWORDS: Machine vision, road safety, visual surveillance, visibility, fog, rain, camera, cali-bration, background subtraction.

    DOI:10.3166/TS.x.1-29 c 2011 Lavoisier, Paris

    Traitement du signal no y/2011, pages 1-29

  • 2 TS. Volume x no y/2011

    1. Extended Abstract

    The occurrence of visibility impairment weather conditions on a road network al-ters traffic safety. In such conditions, drivers are instructed to slow down. For examplein France, the speed limit is reduced to 50 km/h whenever the visibility is less than50 m. Unfortunately, weather centers are not able to accurately monitor low visibilityareas because fog is a very local phenomenon. To achieve this goal, road operatorsmay equip their networks with dedicated optical sensors. When located in areas wherefog is recurrent (MacHutchon, Ryan, 1999), these road sensors provide informationthat can be relayed to vehicles or displayed on variable message signs. Unfortunately,these sensors are expensive and are sensitive to the heterogeneity of fog because of atoo small measurement volume (Hautire, Labayrade, Aubert, 2006). To improve de-tection of fog along the roads, camera-based approaches are being developed (Bush,Debes, 1998 ; Hagiwara et al., 2006 ; Hallowell et al., 2007 ; Hautire et al., 2008 ; La-gorio et al., 2008), because the cameras are multifunctional sensors, which are alreadyheavily deployed along the roads to monitor traffic and to detect incidents.

    Based on the NF-P-99-320 standard on road weather (AFNOR, 1998), we presentin this paper a camera-based system for detecting and characterizing weather condi-tions which are critical for road safety. It determines the visibility range and alsodetects the presence of fog or rain. It only requires an accurate geometrical calibrationof the camera without prior learning phase.

    1.1. Visibility Estimation

    The meteorological visibility distance is the greatest distance at which a black ob-ject of suitable dimensions can be seen against the sky at the horizon. The InternationalCommission on Illumination adopted a value of 5% for the minimum visible contrast(CIE, 1987). Different methods to estimate the meteorological visibility distance havebeen developed in the field of transportation. One family of methods estimates thecontrast of objects in the scene and assigns a distance, usually assuming the road isflat. Bush et Debes (1998) use a wavelet transform to detect the highest edge in theimage with a contrast above 5% in a region of interest which encompasses the roadpavement. However, the presence of vertical objects, such as a truck, in their area ofinterest biases the estimation. Similarly, the accuracy of their method strongly dependson the characteristics of the camera. A system for estimating the meteorological visibi-lity distance with the same principles is proposed by Zhao-Zheng et al. (2009), exceptthat it uses the algorithm proposed by (Hautire, Aubert, Jourlin, 2006) to estimate thecontrast.

    Our approach belongs to this family of methods. Unlike Hallowell et al. (2007) ;Hagiwara et al. (2006), it takes into account the 3-D structure of the scene thanks tothe detection of the circulated area. Contrary to Bush et Debes (1998) ; Zhao-Zheng etal. (2009), moving objects in the region of interest are filtered out using a backgroundsubtraction method. The accuracy of the system is discussed with respect to the cha-

  • Visibilit routire par camra 3

    racteristics of the camera. In particular, a camera is specified to fulfill the requirementsexpressed in the NF-P-99-320 standard (AFNOR, 1998).

    1.2. Detection of Fog and Rain

    In the literature on video surveillance, detection of fog is not explicitly addressed.Generally, it is indirectly done by means of a simple threshold applied to the visibilitydistance (see previous paragraph). In the area of road weather, a threshold of 400 mis used as a standard (AFNOR, 1998). In the field of meteorological observation, athreshold of 1000 m is commonly used. These distances correspond to a reaction timein case of an unexpected obstacle respectively on the road and the runway. In orderto develop a fog detection method using fixed camera, we propose to adapt a method,which was originally dedicated to driver assistance (Hautire, Tarel et al., 2006). Thismethod is based on a daytime fog model, namely Koschmieders law whose parame-ters are dynamically instantiated. In this aim, a region within the image that displaysminimal line-to-line gradient variation when browsed from bottom to top is identifiedthanks to a region growing process. A vertical band is then selected in the detectedarea. Finally, taking the median intensity of each segment yields the vertical variationof the intensity of the image and the position of an inflection point, whose relativeposition with respect to the horizon line is proportional to the fog density.

    The detection of rain is rarely discussed in the literature as well. Existing worksfocus more on the segmentation of raindrops for image rendering applications (Hase etal., 1999 ; X. Zhang et al., 2006 ; Garg, Nayar, 2007 ; Barnum et al., 2010). These me-thods generally lead to an oversegmentation of rain pixels which cause false detectionsin the absence of rain. Therefore, they cannot be used alone to detect the presence ofrain or snow. To circumvent these limitations, we developed a method based on robustlocal descriptors. Selection rules based on photometry and size are proposed in orderto select the potential rain streaks. Then a Histogram of Orientations (HOS) of rain orsnow Streaks, estimated with the method of geometric moments, is computed, whichis assumed to follow a model of Gaussian uniform mixture. The Gaussian distribu-tion represents the orientation of the rain or the snow whereas the uniform distributionrepresents the orientation of the noise. An algorithm of expectation maximization isused to separate these two distributions. Following a goodness-of-fit test, the Gaussiandistribution is temporally smoothed and its amplitude allows deciding the presence ofrain or snow. This approach can be seen as a generalization of the median temporalfilter proposed by Hase et al. (1999), the temporal classification algorithm tested byX. Zhang et al. (2006) and the photometric constraints proposed by Garg et Nayar(2007).

  • 4 TS. Volume x no y/2011

    2. Introduction

    La prsence dune zone de visibilit rduite sur un rseau routier (pais brouillard,pluie forte, etc.) affecte la scurit de celui-ci. Dans une telle situation, le code de laroute prvoit un abaissement de la limite de vitesse autorise. Par exemple en France,une limitation de la vitesse 50 kilomtres par heure est prescrite chaque fois que ladistance de visibilit est infrieure 50 m. Malheureusement, les centres mtorolo-giques ne sont pas en mesure dobserver avec prcision les zones de visibilit rduitecar le brouillard est un phnomne trs local. Pour atteindre cet objectif, les oprateursroutiers quipent parfois leurs rseaux de capteurs optiques ddis. Si ceux-ci sont si-tus dans des endroits o le brouillard est rcurrent (MacHutchon, Ryan, 1999), cescapteurs routiers peuvent fournir des informations susceptibles dtre communiquesaux vhicules ou affiches en bord de voies laide de panneaux message variable.Malheureusement, ces capteurs sont coteux et sont sensibles lhtrognit dubrouillard cause dune trop petite taille du volume de mesure (Hautire, Labayrade,Aubert, 2006). Pour permettre une meilleure dtection du brouillard lchelle des iti-nraires routiers, des approches base de camra sont en cours se dveloppent (Bush,Debes, 1998 ; Hagiwara et al., 2006 ; Hallowell et al., 2007 ; Hautire et al., 2008 ;Lagorio et al., 2008), car les camras routires sont des capteurs multifonctions, quisont dj fortement dploys le long des routes pour surveiller le trafic et dtecter laprsence dincidents.

    En se fondant sur la norme NF-P-99-320 sur la mtorologie routire (AFNOR,1998), nous prsentons dans cet article un systme de dtection et caractrisation parcamra de conditions mtorologiques critiques pour la scurit routire. Il estime laclasse de visibilit routire et dtecte galement la prsence de brouillard ou de pluie.Il ncessite uniquement un calibrage gomtrique prcis de la camra sans phase dap-prentissage pralable. Voici quelques lments bibliographiques permettant de situerla proposition.

    2.1. Estimation de la visibilit

    La distance de visibilit mtorologique est la plus grande distance laquelle unobjet noir de dimension convenable peut tre vu sur le ciel lhorizon. La CommissionInternationale de lclairage a adopt une valeur moyenne de 5 % pour le seuil decontraste de visibilit (CIE, 1987).

    Diffrentes mthodes destimation de cette grandeur ont t dveloppes dans ledomaine des transports. Une premire famille de mthodes, que lon peut qualifierdapproche directe, estime le contraste des objets dans la scne et leur attribue une dis-tance, gnralement en supposant que la route est plane. Ainsi, Bush et Debes (1998)dtectent, laide dune transforme en ondelettes, le contour le plus lev prsentantun contraste suprieur 5 % dans une rgion dintrt comprenant la route. Toutefois,la prsence dobjets verticaux, comme un camion, dans leur rgion dintrt biaise lesmesures. De mme, la prcision de leur mthode dpend fortement des caractristiquesde la camra, ce qui est nullement voqu dans larticle. Un systme destimation de

  • Visibilit routire par camra 5

    la distance de visibilit reprenant les mmes principes que ceux proposs par Bush etDebes (1998) est propos par Zhao-Zheng et al. (2009), la diffrence quil utiliselalgorithme propos par Hautire, Aubert et Jourlin (2006) pour estimer le contraste.Kwon (2004) a effectu des tests en utilisant des cibles distance fixe. Cependant, ledploiement de telles cibles chaque emplacement de camra serait coteux.

    Une deuxime famille de mthodes, qualifie dindirecte, tablit une fonction detransfert entre la visibilit estime par un visibilimtre ou des observateurs humainset le score dun estimateur li limage courante. Ainsi, Hagiwara et al. (2006) apropos un estimateur dans le domaine frquentiel. Hallowell et al. (2007) a proposun algorithme qui dtecte les contours naturels dans limage (lhorizon, les lignesdarbres, routes, btiments) et effectue une comparaison de chaque image avec uneimage composite historique. Toutefois, Hallowell et al. (2007) ; Hagiwara et al. (2006)ne tiennent pas compte de la structure 3-D de la scne pour estimer la visibilit, ce quirend leurs mthodes sensibles la prsence dobjets verticaux dans la scne.

    En outre, les diffrentes mthodes ne dtectent pas la cause de la rduction de lavisibilit. Notre approche appartient la premire famille de mthodes. Contrairement Hallowell et al. (2007) ; Hagiwara et al. (2006), elle prend en compte la structure3-D de la scne par la dtection de lespace roulable. Contrairement Bush et Debes(1998) ; Zhao-Zheng et al. (2009), les objets en mouvement dans la rgion dintrtsont filtrs laide dune soustraction darrire-plan et la prcision du systme esttudie vis--vis des caractristiques de la camra employe.

    2.2. Dtection de la prsence de brouillard et de pluie

    Dans la littrature traitant de la vidosurveillance, la dtection de brouillard nestpas aborde explicitement. Gnralement, elle seffectue indirectement laide dunsimple seuil sur la distance de visibilit (cf. paragraphe prcdent). Dans le domainede la mtorologie routire, un seuil de 400 m est utilis de faon standard (AFNOR,1998). Dans le domaine de la mtorologie arienne, cest un seuil de 1000 m quiest utilis. Ces distances sont les traductions en termes de distance dune dure dan-ticipation en cas dapparition dun obstacle inattendu sur la chausse de la route oude la piste daviation. Afin de disposer dune mthode de dtection de brouillard rou-tier par camra fixe, nous proposons dadapter une mthode ddie initialement auxassistances la conduite (Hautire, Tarel et al., 2006).

    La dtection de pluie est galement rarement aborde dans la littrature. Les tra-vaux existants se focalisent davantage sur la segmentation de gouttes de pluie pourdes applications de rendu dimages (Hase et al., 1999 ; X. Zhang et al., 2006 ; Garg,Nayar, 2007 ; Barnum et al., 2010). A cause des critres de dtection utiliss, cesmthodes conduisent gnralement une sursegmentation des pixels de pluie, ainsiqu de nombreuses fausses dtections en labsence de pluie. Par consquent, ellesne peuvent pas tre utilises seules pour dtecter la prsence de la pluie ou de neige.Pour contourner ces limitations, nous avons dvelopp une mthode fonde sur desdescripteurs locaux robustes, un histogramme global dorientation des gouttes, ainsi

  • 6 TS. Volume x no y/2011

    quun suivi temporel des paramtres de celui-ci. En particulier, nous nous appuyonssur une mthode classique de soustraction darrire-plan pour segmenter les pixelspotentiels de pluie. Cette faon de procder peut tre vue comme une gnralisationde la mdiane temporelle propose par Hase et al. (1999), de lalgorithme temporelde classification test par X. Zhang et al. (2006) et de la contrainte photomtrique deGarg et Nayar (2007).

    2.3. Organisation du manuscript

    Larticle est organis comme suit. Dans la premire partie, nous analysons les en-jeux de scurit routire, spcifions les performances attendues du systme envisaget justifions lapproche qui en dcoule. Dans la deuxime partie, nous dtaillons notremthode destimation de la visibilit. Dans les troisime et quatrime parties, nousabordons successivement la dtection du brouillard et de la pluie. Dans la cinquimepartie, nous proposons une mthode de spcification de la camra pour rpondre auxexigences attendues, ainsi que les mthodes de calibrage idoines. Finalement, dansla dernire partie, nous illustrons les performances de notre systme par des rsultatsexprimentaux et concluons.

    3. Un capteur temps prsent fond sur une camra bord de voie

    Aujourdhui, les capteurs de brouillard et de pluie sont des capteurs quips de dis-positifs lectro-optiques ddis qui restent coteux. En outre, les capteurs de brouillardexistants ont des problmes de fiabilit en cas de brouillard dense ou htrogne. Parcomparaison, le volume de mesure des camras plus important les rend moins sen-sibles aux htrognits du brouillard. Ensuite, il est plus simple dajouter des nou-velles fonctionnalits au logiciel danalyse dimages dun systme existant de vido-surveillance du trafic routier. De cette faon, le gestionnaire routier na pas de matrielsupplmentaire installer et maintenir sur le bord de la route. Dans le cas dune ins-tallation nouvelle, multiplier les fonctions supportes par les camras permet den r-duire les cots dinstallation et de maintenance puisque les bnfices sont suprieurs.Pour ces raisons, nous avons choisi de dvelopper un capteur de visibilit routire ennous fondant sur lutilisation de camras. Il convient nanmoins de bien spcifier lacamra utilise cet effet.

    3.1. Les requis dun capteur de visibilit routire

    La visibilit offerte un usager en un point dune infrastructure routire dpend la fois de la gomtrie de celle-ci, de ses proprits photomtriques, de lclairage etdes conditions mtorologiques. Selon AFNOR (1998), la visibilit routire est dfiniecomme la visibilit horizontale dtermine 1,2 m au-dessus de la chausse. Elle peuttre rduite moins de 400 m par le brouillard ou les prcipitations. Quatre classes devisibilit sont dfinies et dtailles dans le TABLE 1. Sur la base de ces dfinitions, un

  • Visibilit routire par camra 7

    capteur de visibilit routire se doit daffecter la distance de visibilit dans lune deces quatre classes et de dtecter lorigine de la rduction de visibilit.

    Tableau 1. Classes de visibilit routire

    Index de la classe de visibilit Distance de visibilit horizontale (m)1 200 4002 100 2003 50 1004 < 50

    3.2. Principe gnral de fonctionnement

    Communment, les systmes de vidosurveillance du trafic se fondent sur des m-thodes de modlisation de larrire-plan de la scne, o chaque image est compare une rfrence pour identifier les objets en mouvement. A cause des changementsdillumination ou des changements long terme dans la scne, il est ncessairedactualiser constamment ce modle darrire-plan. Gnralement, les constantes detemps sont choisies une valeur proche du temps que ncessite un objet mobile pourtraverser la scne. Selon la nature micro-physique des conditions mtorologiques,celles-ci ont des dynamiques temporelles diffrentes. Le brouillard est gnralementconsidr comme un phnomne relativement stable (suprieur la minute), alors quela pluie ou la neige sont des phnomnes la dynamique temporelle plus leve (in-frieur la seconde). Sur la base de ces considrations, nous avons choisi de nousappuyer sur un algorithme de sparation arrire-plan et avant-plan. Larrire-plan peutainsi tre utilis pour dtecter et estimer la densit de brouillard alors que lavant-plan,en plus de servir dtecter les objets mobiles dans la scne, est utilis pour dtecter laprsence de pluie ou de neige. Dans la suite du document, nous dtaillons les diffrentsalgorithmes danalyse dimages dvelopps pour ce faire.

    4. Outils pour lestimation de la classe de visibilit routire

    4.1. Modlisation dune camra dans un environnement routier

    La FIGURE 1 montre la modlisation dune camra dans un environnement routier.Dans le plan image, la position dun pixel est donne par ses coordonnes (u, v). Lescoordonnes du centre optique de limage sont dsignes par (u0, v0). est langlede tangage de la camra, tandis que vh reprsente la position verticale de la lignedhorizon. Les paramtres intrinsques de la camra sont sa longueur focale f et lataille tp dun pixel. Nous avons galement fait usage ici de = ftp . Sur la basede (Hautire, Tarel et al., 2006), en supposant que la route est localement plane, ladistance d peut tre exprime par :

    d =

    (v vh)si v > vh (1)

  • 8 TS. Volume x no y/2011

    f

    d

    S

    X

    YZ

    C x

    y

    zv

    uvh

    H

    M

    plan

    route

    plan

    image

    D

    Figure 1. Modlisation dune camra dans un environnement routier. vh : ligne delimage correspondant la ligne dhorizon dans limage

    o = Hcos et vh = v0 tan(). La relation entre la distance d au sol et la distanceD provenant du mme point M la camera est la suivante :

    D =H2 cos2 + (dH sin )2 (2)

    4.2. Exploitation de lattnuation atmosphrique

    Pour estimer la classe de visibilit routire, nous proposons, linstar des m-thodes existantes (Bush, Debes, 1998 ; Zhao-Zheng et al., 2009), destimer la distance lobjet visible le plus loign appartenant la surface de la route. Pour estimer siun objet est visible, nous appliquons un algorithme de calcul du contraste local, fondsur la technique de segmentation de Khler et dtaill dans (Hautire, Aubert, Jourlin,2006), en lui appliquant le seuil de 5 % recommand par la Commission Internatio-nale de lclairage (CIE, 1987). La carte de contraste obtenue contient alors les objetsvisibles dans la scne routire filme par la camra. En supposant une route plane, lelong dune ligne de haut en bas de la carte des contrastes locaux, les objets rencontrsse rapprochent de la camra. Par consquent, lalgorithme consiste trouver le pointculminant de la carte de contraste ayant un contraste local de plus de 5 %. vc dsigne laligne image correspondante. La distance de ce point peut alors tre estim en utilisant(1), ce qui permet destimer la visibilit V :

    V =

    vc vh(3)

    o vh dsigne la ligne image correspondant lhorizon et dsigne un paramtrede la camra (cf. section 7). Cependant, limage peut galement contenir des objetsverticaux, qui ne respectent donc pas lhypothse monde plan et mettent en dfautla mthode. Cest le cas dans la FIGURE 4(b), o les phares du vhicule sont dtectsplus haut dans limage que les lments la mme distance appartenant la surface dela route. Une autre tape est donc ncessaire pour filtrer les objets verticaux et estimer

  • Visibilit routire par camra 9

    correctement la distance de visibilit. Cette tche peut tre ralise en utilisant unesparation avant-plan et arrire-plan. Cest lobjet du paragraphe suivant.

    4.3. Sparation avant-plan et arrire-plan

    Le systme doit disposer de la surface de la route pour fonctionner correctement.Grce aux techniques de sparation avant-plan et arrire-plan, il est possible de seg-menter les objets en mouvement. Larrire-plan est ensuite utilis pour calculer la dis-tance de visibilit et lavant-plan pour dtecter les objets mobiles et construire lespaceroulable.

    La forme la plus simple de modlisation de larrire-plan consiste effectuer unemoyenne temporelle des images. Une telle approche souffre de nombreux problmeset ncessite une priode dinitialisation en labsence dobjets mobiles. En outre, ellene peut pas faire face aux changements progressifs dillumination de la scne. En rai-son des changements dillumination et des changements long terme au sein de lascne, il est ncessaire de constamment restimer le modle darrire-plan. Un cer-tain nombre de mthodes modlisant larrire-plan ont t proposes pour estimer cessignaux lentement variables. Cheung et Kamath (2004) ont propos une comparai-son de diffrentes mthodes. Lutilisation dune mixture de Gaussiennes (MoG) parpixel sest rvle une bonne approche (Stauffer, Grimson, 2000). KaewTraKulPonget Bowden (2001) en ont propos une variante qui est plus rapide en termes dini-tialisation du modle. Cest cette dernire que nous avons retenue pour le systme.Dans celle-ci, chaque pixel de la scne est modlis par un mlange de K distribu-tions Gaussiennes. La probabilit quun pixel ait une valeur Xt au temps t peut trecrite comme :

    P (Xt) =K

    k=1

    kN (Xt|k,t, k,t) (4)

    o k est le poids de la kime composante Gaussienne note N (X|k, k) et qui sex-prime par:

    N (X|k, k) =1

    k2

    e12

    2k (Xk)

    2

    (5)

    o k est la moyenne et k est lcart-type de la kime distribution. Les K distributionssont ordonnes selon leur finesse kk et les B premires distributions sont utilisescomme modle darrire-plan de la scne. B est estim par :

    B = argminb

    ( bj=1

    j > T

    )(6)

    Le seuil T est la fraction minimale du modle de base. En dautres termes, il repr-sente la probabilit minimale a priori dobserver un pixel darrire-plan. La soustrac-tion darrire-plan est effectue par le marquage comme avant-plan de tout pixel qui

  • 10 TS. Volume x no y/2011

    est plus de 2,5 carts-types loign de lune des B distributions. Les diffrentes com-posantes Gaussiennes sont mises jour grce aux quations suivantes:

    k,t = (1 1)k,t1 + 1(Mk,t)

    k,t = (1 1)k,t1 + Xt

    2k,t = (1 1)2k,t1 + (Xt k,t

    )2 (7) = 1N (Xt|k,t, k,t)

    (Mk,t) =

    {1; si k est la premire composante correspondre0; sinon

    o k est le poids de la kime composante Gaussienne. 11 dfinit la constante de tempsqui dtermine le changement. Seuls deux paramtres, 1 et T doivent tre rgls.

    (a) (b)

    Figure 2. Illustration du calcul dun modle darrire-plan: (a) chantillon dunesquence vido de 14 secondes acquise par temps de brouillard; (b) modledarrire-plan rsultant qui inclut le voile lumineux caus par le brouillard

    Mme si des rsultats rcents (Dhome et al., 2010) tendent dmontrer que denouvelles mthodes sont parfois plus performantes que celle de KaewTraKulPong etBowden (2001) en terme de dtection dobjet mobile, ce modle darrire plan donnesatisfaction. Cependant, rien ninterdit de substituer ce modle, compte tenu de lamodularit du systme. Des exemples de ralisation sont prsents sur la FIGURE 2,ainsi que sur les FIGURE 10 et FIGURE 11.

    5. Dtection du brouillard

    5.1. Effets visuels du brouillard

    Lattnuation de la luminance dans latmosphre a t tudie par Koschmieder(Middleton, 1952) qui a propos une quation reliant la luminance apparente ou ra-diance L dun objet situ une distance d sa valeur de luminance intrinsque L0:

    L = L0ekd + Lf (1 ekd) (8)

    o k est le coefficient dextinction de latmosphre et Lf la luminance du ciel. Enprsence de brouillard, il correspond la luminance du fond sur lequel la cible peut

  • Visibilit routire par camra 11

    Eclairage

    naturel

    Diffusion

    Transmis

    sionVoil

    e

    Figure 3. La luminance du brouillard est due la diffusion de la lumire du jour. Lalumire venant du soleil est disperse par les particules atmosphriques vers lacamra. Celle-ci augmente avec la distance. La lumire manant de lobjet est

    attnue par la diffusion le long de la ligne de vue. La transmission directe quant elle dcrot avec la distance.

    tre dtecte (cf. FIGURE 3). Sur la base de cette quation, Duntley (Middleton, 1952)a mis au point une loi dattnuation du contraste, selon laquelle un objet situ proxi-mit prsentant un contraste C0 avec larrire-plan est peru une distance d avec lecontraste suivant:

    C =

    (L LfLf

    )ekd = C0e

    kd (9)

    Cette expression sert de base pour la dfinition dune dimension standard appele dis-tance de visibilit mtorologique Vmet, savoir la plus grande distance laquelleun objet noir (C0 = 1) de dimension approprie peut tre vu sur fond de ciel lhorizon, avec un contraste seuil fix 5 % (CIE, 1987). La distance de visibilit m-torologique est donc une dimension standard qui caractrise lopacit dune couchede brouillard. Cette dfinition donne lexpression suivante:

    Vmet = ln(0, 05)

    k 3

    k(10)

    En supposant la fonction de rponse de la camra linaire, on peut assimiler lesintensits des luminances. Lintensit I dun pixel peut sexprimer par :

    I = Rekd +A(1 ekd) (11)

    o R est lintensit intrinsque du pixel, cest--dire lintensit correspondant la va-leur de luminance intrinsque de lobjet correspondant dans la scne et A lintensitdu ciel lhorizon.

    5.2. Dtection et caractrisation du brouillard

    Suite un changement de variable d selon v, daprs (1), (11) devient:

    I(v) = R (RA)(1 ek

    vvh ) (12)

  • 12 TS. Volume x no y/2011

    En prenant la drive seconde de I par rapport v, on obtient ce qui suit:

    2I

    v2(v) = k(v)e

    kvvh

    (k

    v vh 2

    )(13)

    o (v) = (RA)(vvh)3 . Lquation2Iv2 = 0 a deux solutions. La solution k = 0 nest

    daucun intrt. La seule solution utile est donne dans (14):

    k =2(vi vh)

    (14)

    o vi dsigne la position du point dinflexion de I(v). De cette manire, si vh > vi,du brouillard diurne est dtect et le paramtre k est obtenu. Nous dduisons Vmet laide de (10):

    Vmet =3

    2(vi vh)(15)

    Pour mettre en uvre cette proprit mathmatique, la surface de la route qui estprsente du pied de la camra lhorizon, est approprie . Pour segmenter celle-ci, onrecherche dans limage la rgion qui possde un minimum de variation de gradient deligne ligne. Celle-ci est identifie grce un processus de croissance de rgion dontles germes sont situs en bas de limage. Une bande verticale est alors slectionnedans la zone dtecte. Enfin, en prenant lintensit mdiane de chaque ligne, on estimela variation verticale de lintensit de limage et par la suite la position du point din-flexion. Les dtails de la mthode sont donns dans (Hautire, Tarel et al., 2006) dansle cas dune camra embarque bord dun vhicule. Il a t appliqu une scneroutire. Le rsultat est illustr sur la FIGURE 4(a). Mme sil y a de nombreux vhi-cules dans limage originale, la mthode est capable de les contourner et de dtecterla prsence de brouillard, ainsi que destimer sa densit. Nanmoins, lutilisation delimage darrire-plan permet de faciliter le travail de lalgorithme et surtout permetde stabiliser ses sorties. Un exemple de ralisation est prsent sur la FIGURE 10(e)dans la section dvolue aux rsultats exprimentaux.

    6. Dtection de la prsence de pluie

    6.1. Principe

    Pour dtecter la pluie, les diffrentes composantes en mouvement dans la scnesont extraites de limage davant-plan. Nous construisons ensuite un histogrammedorientation de ces diffrentes composantes (le HOS). Celui-ci est modlis par lamixture dune loi uniforme et dune loi Gaussienne. Un algorithme de maximisationde lesprance permet ensuite den estimer les diffrents paramtres. A laide dunfiltre de Kalman, nous en effectuons un suivi temporel et cherchons la prsence dunventuel pic stable dans le temps (Bossu et al., 2009). Un exemple de ralisation estprsent sur la FIGURE 11.

  • Visibilit routire par camra 13

    (a) (b)(a) (b)

    Figure 4. Algorithmes de dtection appliqus une scne routire par temps debrouillard : (a) la courbe jaune verticale reprsente linstantiation de la loi de

    Koschmieder. la ligne rouge horizontale reprsente lestimation de la distance devisibilit. Les segments verticaux bleus reprsentent les limites de la bande verticale

    analyse; (b) carte des contrastes locaux de plus de 5 %.

    6.2. Construction et modlisation du HOS

    Sur limage davant-plan, deux traitements complmentaires sont appliqus suc-cessivement pour segmenter les composantes potentielles de pluie. Le premier traite-ment consiste slectionner les pixels plus clairs que le fond, comme propos par Garget Nayar (2007). Le deuxime, laide dun algorithme dtiquetage en composantesconnexes, consiste liminer les objets ayant une taille trop grande pour correspondre une goutte de pluie. Une mthode de dimensionnement dun tel gabarit est proposepar Brewer et Liu (2008). Ensuite, pour chaque rgion i conserve de limage davant-plan, nous calculons son orientation i laquelle nous associons un poids wi et uneincertitude di lis ses dimensions en utilisant les moments gomtriques dordre 0,1 et 2 (Safee-Rad et al., 1992). Un histogramme dorientation h() pour [0, ] estalors calcul sur lensemble des lments restant de limage de premier plan par unetechnique de type Parzen :

    h() =Pi=1

    wiNi(|i, di) (16)

    avec P le nombre de blobs de limage.

    Il arrive souvent que limage des objets en mouvement soit un mlange de seg-ments de pluie et de bruit. La distribution de lorientation des segments de pluie, parhypothse, suit une loi normale alors que la distribution dorientation du bruit suit uneloi uniforme. Un modle pour reprsenter lhistogramme h obtenu est donc la mixturedune loi normale et uniforme note comme suit :

    y() N (|, ) + (1)U[0,]() (17)

    o est un angle dans [0, ] et y()d est la probabilit dobserver [, + d]. correspond la surface de la loi Gaussienne N (|, ) de moyenne et dcart-type. U[0,] dsigne la distribution uniforme sur lintervalle [0, ].

  • 14 TS. Volume x no y/2011

    6.3. Estimation et suivi temporel des paramtres du HOS

    Afin dvaluer les paramtres de ces deux lois, nous utilisons un algorithme deMaximisation de lEsprance (EM), par exemple (Dean, Raftery, 2005). Lalgorithmeusuel suppose un chantillonnage alatoire. Ici, langle est quantifi comme (i)i=1...Net pour chaque i nous avons yi chantillons. De fait, nous avons adapt lalgorithmepour prendre en compte que est quantifi. Lalgorithme est toujours itratif. La kime

    tape desprance est donne par :

    zki =(1 k1)U[0,](i)

    k1N (i|k1, k1) + (1 k1)U[0,](i)(18)

    o i = 1, . . . , N .

    La kime tape de maximisation est donne par :

    k =

    Ni=1(1 zki )iyiNi=1(1 zki )yi

    (k)2 =

    Ni=1(1 zki )(i k)2yiN

    i=1(1 zki )yi(19)

    k =

    Ni=1(1 zki )yiN

    i=1 yi

    Pour initialiser lalgorithme, 0, 0 et 0 doivent tre approchs. Ils le sont encalculant la valeur de la mdiane horizontale de lhistogramme que lon soustrait chaque chantillon pour ne garder que la partie suprieure de la loi Gaussienne.

    Finalement, aprs convergence de lalgorithme, on vrifie si la distribution ajusteest en accord avec la distribution observe laide dun test dadquation. Le testcompare la fonction de distribution cumule de lhistogramme observe Fo(x) ladistribution cumule Fe(x) obtenue par lalgorithme EM. La distance maximale entreles fonctions observe et ajuste est calcule comme suit:

    D = supx[0,]

    |Fe(x) Fo(x)| (20)

    Si cette distance excde une distance seuil Dc, lajustement nest pas bon. Dans le cascontraire, limage est conserve pour la suite du traitement qui examine la cohrencetemporelle du modle.

    6.4. Dcision sur la prsence de pluie

    La dcision sur la prsence ou labsence de pluie est prise en se fondant sur lesimages o le modle est valide, cest--dire les images o le test dadquation est

  • Visibilit routire par camra 15

    positif. Ensuite, si la pluie est prsente dans la scne, laire de la distribution normaleestime par lalgorithme EM doit rester assez leve dans le temps. Sil ne pleut pas,laire de la distribution normale doit rester faible dans le temps.

    Pour chaque image o le test dadquation au modle est positif, un filtre de Kal-man (Kalman, Bucy, 1961), utilis pour calculer un modle temporellement liss duHOS, est mis jour. Si le test est ngatif, le filtre nest pas mis jour. En effet, enlabsence de rafales de vent, lorientation de la pluie est relativement stable dans letemps. Lobjectif du filtre de Kalman est de tirer parti de cette stabilit temporelle enlissant les paramtres du HOS et dtre robuste en prsence dimages o le nombre degouttes dtectes est faible ( cause de nombreux mobiles dans la scne par exemple).Inversement en labsence de pluie, les objets dtects ne prsentent pas une orienta-tion stable temporellement, ce qui empche le filtre de converger correctement, ce quirduit dautant le nombre de faux positifs.

    Enfin, un seuil sur laire de la distribution normale lisse est utilis pour prendre ladcision sur la prsence ou labsence de pluie. Si laire est suprieure un seuil notAN , la pluie est rpute tre prsente dans la scne. Si ce nest pas le cas, on ne dtectepas de pluie. Dans la section 8, dvolue aux rsultats exprimentaux, nous montronsleffet de chaque tape du processus de dcision grce une validation exprimentalecomplte.

    7. Spcification et calibrage de la camra

    La camra qui va alimenter les algorithmes de dtection doit maintenant tre pr-cise. Pour cela, ses paramtres intrinsques et extrinsques doivent tre choisis. Parla suite, la camra doit tre calibre et les hypothses qui ont t faites pour mettre aupoint les mthodes destimation doivent tre vrifies.

    7.1. Spcification de la camra

    Grce (1), la surface couverte par un pixel la distance d peut tre calcule :

    (d) =

    vh + d vh

    vh + d vh(21)

    o x dsigne la partie entire de x et x lentier suprieur ou gal x.

    Premirement, nous proposons que cette surface reprsente moins de 10 % dedmax :

    (dmax) < 0, 1dmax (22)

    Deuximement, le systme doit dtecter le brouillard. Sur la base de la section 5.2,la ligne dhorizon doit tre dans limage. Troisimement, le systme doit pouvoir d-tecter des visibilits infrieures dmin. Pour fonctionner correctement, lemplacementcorrespondant du point dinflexion doit se situer dans la partie suprieure de limage,

  • 16 TS. Volume x no y/2011

    cest dire vi doit tre infrieure v0. Par consquent, les contraintes supplmentairessur le capteur sont les suivantes :

    vh > 0 (23)

    vh +3

    dmin> v0 (24)

    Des contraintes (23) et (24), linquation suivante par rapport est obtenue:

    sin1(

    H

    3dmin

    )< < tan1

    (v0

    )(25)

    Les solutions admissibles de (25) peuvent alors tre utilises pour rsoudre (22). Selonles requis noncs dans le paragraphe 3.1, le systme doit pouvoir dtecter des visibi-lits comprises entre 50 m et 400 m, ce qui signifie dmin = 50 m et dmax = 400 m.Des solutions techniques sont donnes dans le TABLE 2. Pour choisir entre les diff-rentes solutions, nous avons calcul le paramtre not qui exprime le grossissementde la camra par rapport son angle de tangage. Nous avons acquis une camra cor-respondant la troisime solution du TABLE 2. Grce ces donnes techniques, noussommes en mesure de calculer (2) et de tracer la FIGURE 5 qui exprime lerreur rela-tive entre la distance au sol et la distance relle entre un point de la scne et la camra.Sur la base de cette courbe, compte tenu que les deux distances sont trs proches au-del de 50 m, nous pouvons considrer que D d. Ce rsultat est important dans lecas du brouillard car latmosphre nest pas transparente. Dans le cas o latmosphreest transparente, ce rsultat importe moins.

    Tableau 2. Solutions techniques

    D (pouce) 1/3 2/3 1/2H (m) 5-6 5-6 6f (mm) 4,2 4,8 4,5tp (m) 4,65 6,45 4,65

    dimy(pix) 1040 1024 1360 (degrs) 31-38 29-64 28-29

    = ftp cos()

    1023 851 1096

    7.2. Calibrage de la camra

    7.2.1. Calibrage gomtrique

    Dans le paragraphe prcdent, la camra a t suppose parfaite. Une premiretche consiste donc vrifier si la camra respecte les hypothses nonces prc-demment et destimer ses diffrents paramtres. Tout dabord, lobjectif dune ca-mra prsente habituellement une distorsion importante, notamment dans le cas dunecourte focale comme la notre. Dans le modle suivant, les deux premiers termes dedistorsion radiale sont considrs. Soit (u, v) les coordonnes du pixel idal (non ob-servables dans limage) et (u, v) les coordonnes relles du mme pixel dans limage

  • Visibilit routire par camra 17

    101

    100

    101

    102

    103

    0

    10

    20

    30

    40

    50

    60

    70

    80

    90

    100

    Distance au sol [m]

    Diff

    ren

    ce r

    elat

    ive

    [%]

    Figure 5. Erreur relative thorique entre la distance sur le terrain et la distancerelle entre un point de scne et la camra

    observe. Ces points sont la projection idale de points de la scne laide du modlestnop. De mme, (x, y) et (x, y) sont les coordonnes idales (sans distorsion) etrelle (dformes) en coordonnes images normalises. Nous avons :

    x = x+ x[k1(x

    2 + y2) + k2(x2 + y2)2

    ]y = y + y

    [k1(x

    2 + y2) + k2(x2 + y2)2

    ] (26)o k1 et k2 sont les coefficients de la distorsion radiale. Le centre de la distorsionradiale est le mme que le point principal (u0, v0). De u = u0+x+cy et v = v0+y,nous dduisons:

    u = u+ (u u0)[k1(x

    2 + y2) + k2(x2 + y2)2

    ]v = v + (v v0)

    [k1(x

    2 + y2) + k2(x2 + y2)2

    ] (27)La procdure classique de calibrage consiste prendre des images dun chiquier dansdes orientations et des positions diffrentes. La dtection des caractristiques (gn-ralement les coins) dans les images permet destimer les paramtres dhomographieentre le plan de lchiquier et le plan de limage, et den dduire les paramtres intrin-sques de la camra (dont les paramtres de distorsion) laide de techniques dopti-misation non-linaire (Z. Zhang, 2000). Le logiciel CalLab a t utilis pour effectuercette procdure (Strobl et al., s. d.). Des exemples de rsultats sont prsents sur laFIGURE 6.

    Ayant les paramtres intrinsques, les paramtres extrinsques doivent tre esti-mes. En plus de lestimation de la position de la ligne dhorizon vh, une simple esti-mation de la valeur du paramtre permet de calibrer la camra. Pour effectuer cettetape, connatre la distance relle d1 d2 entre deux points et leurs coordonnes v1 etv2 dans limage savre suffisant. En vertu de (1), nous sommes en mesure dobtenirce qui suit:

    =d1 d2

    1v1vh

    1v2vh

    (28)

  • 18 TS. Volume x no y/2011

    (a) (b)

    (c) (d)

    Figure 6. Correction de la distorsion radiale de la camra spcifie: (a) chiquieroriginal; (b) chiquier corrige; (c) image de la route dorigine; (d) image de la

    route corrige.

    7.2.2. Calibrage radiomtrique

    La radiomtrie de la camra doit maintenant tre calibre. La fonction de rponsede la camra a pour linstant t suppose linaire. En utilisant le logiciel RASCAL(Mitsunaga, Nayar, 1999) et diffrentes images dune mire GretagMacbeth Color-Checker DC prises avec des temps dintgration diffrents, nous avons pu estimer lafonction de rponse de la camra de notre camra. Cette fonction est linaire de sorteque nous pouvons maintenant considrer que lintensit des pixels peut tre assimile une luminance. Toutefois, cette camra est une camra CCD 8-bit, de sorte que sadynamique est assez limite. En outre, elle ne dispose ni dun connecteur pour auto-iris, ni dun algorithme dauto-exposition (AE). Par consquent, les images produitespar cette camra sont satures ou sous-exposes en permanence ds lors quelle estutilise en milieu extrieur. Pour optimiser la qualit dimage, nous avons dveloppnotre propre algorithme AE comme suit. Celui-ci est compos de deux tapes. Unepremire tape consiste calculer le temps dexposition optimal linitialisationdu capteur, ce en maximisant lintgrale de lhistogramme haute dynamique dans leslimites de la plage de fonctionnement de la camra (voir FIGURE 7) :

    = argmax

    lmaxlmin

    p(l)dl (29)

  • Visibilit routire par camra 19

    Une deuxime tape consiste contrler cette valeur au cours du temps. Lalgorithmede commande suivant est utilis:{

    0 =

    |t+1 t| = g[Im(t 1) Im(t)].(30)

    o g est un correcteur proportionnel avec les proprits suivantes:

    g(0) = 0

    g(x) = 0 (31)

    limx+

    g(x) = ax+ b

    x reprsente lcart absolu entre la moyenne de limage courante et limage prc-dente. Ce correcteur est conu de faon calculer une correction du temps de poseuniquement dans le cas o cet cart est suprieur un seuil donn. Une solution pourg ainsi que de plus amples dtails sont donns dans (Hautire et al., 2009). Le vignet-tage, quant lui, nest pas corrig car il ninflue que trs peu sur lintensit au centrede limage, qui est notre principale zone dintrt.

    dcam

    coupurecoupure

    -5 8nuit toile soleilLog (L)

    p(L)

    LmaxLmin

    Figure 7. Histogramme haute dynamique p(l) dune scne

    8. Validation exprimentale

    8.1. Estimation de la classe de visibilit routire

    8.1.1. Vrification des spcifications de la camra

    Tout dabord, une exprience a t ralise pour vrifier si nous sommes capablesdatteindre les spcifications avec la camra retenue. Dans ce but, des cnes ont tplacs sur une section plane de route suivant le dispositif exprimental schmatis surla FIGURE 8(a). En utilisant (28) et les positions des diffrents cnes, nous sommescapables de calibrer gomtriquement la camra :

    (, vh) = argminn=1..7

    ni=1

    (di

    vi vh

    )2. (32)

  • 20 TS. Volume x no y/2011

    Lerreur quadratique est trace sur la FIGURE 8(b) en fonction du nombre de pairesde points pris en compte dans le processus de calibrage. En ne prenant que trois pairesde points, soit quatre points sur le terrain, nous sommes en mesure dobtenir uneerreur quadratique qui est infrieure 2 % d = 136 m. Cette erreur est en accordavec lerreur thorique la mme distance reprsente sur la FIGURE 8(c) et permetdenvisager un protocole de calibrage simple mettre en uvre sur route ouverte.

    d=16 m

    20 m 20 m

    d=136 m

    (a)

    1 2 3 4 5 6

    123456789

    101112131415

    Nombre de paires de points

    Err

    eur

    quad

    ratiq

    ue [%

    ]

    0 100 200 300 400 500 600 700 8000

    2

    4

    6

    8

    10

    Distance [m]

    Err

    eur

    intr

    ins

    que

    rela

    tive

    [%]

    (b) (c)

    Figure 8. Vrification exprimentale des spcifications de la camra: (a) dispositifexprimental; (b) erreur quadratique du calibrage par rapport au nombre de pairesde points considrs; (c) erreur intrinsque thorique sur lestimation de la distance

    au sol en raison de la taille en pixels.

    8.1.2. Mise en uvre du systme

    Le systme complet dacquisition a t install dans une camionnette quipe dunmt pneumatique durant lhiver 2009. Grce lutilisation de ce dispositif, nous avonsacquis des squences dimages en prsence de brouillard au lever du jour. Des imagesissues dun pisode de brouillard sont prsentes sur la FIGURE 9(a). La distance devisibilit a t estime et est reprsente sur la FIGURE 9(b) en fonction du temps.La classe de visibilit routire est dduite et est reprsente sur la FIGURE 9(c) enfonction du temps. Comme on peut le voir, la distance de visibilit augmente ainsi quelillumination globale de la scne. Le comportement du systme est cohrent, saufvers 10h, lorsque la visibilit redescend en dessous de 400 m. Cela est d au fait quele temps dexposition est momentanment trop lev, ce qui a pour consquence unesurexposition des images et donc des contrastes dtriors. Lalgorithme AE parvient

  • Visibilit routire par camra 21

    rapidement proposer un nouveau rglage et la visibilit augmente nouveau jus-qu atteindre sa valeur maximale en absence de brouillard, qui est estime commesuprieure 400 m, ce que lon souhaitait.

    (a)

    09:07 09:36 10:04 10:33 11:020

    100

    200

    300

    400

    500

    600

    Temps

    Dis

    tanc

    e de

    vis

    ibili

    t [m

    ]

    09:07 09:36 10:04 10:33 11:020

    1

    2

    3

    Temps

    Cla

    sse d

    e v

    isib

    ilit

    (b) (c)

    Figure 9. Mise en uvre du systme dacquisition dimages conu: (a) exemplesdimages acquises lors dun pisode de brouillard; (b) distance de visibilit estimependant cet pisode de brouillard; (c) classe de visibilit routire correspondante

    8.2. Dtection du brouillard

    Le systme comprenant la dtection du brouillard et lestimation de la distance devisibilit a t test sur une mme intersection urbaine par diffrentes conditions m-torologiques. Nous avons utilis une heure de brouillard et une heure de diffrentesautres conditions mtorologiques de jour (nuageux, ensoleill, ombres portes). Deschantillons des squences vido sont prsentes sur la FIGURE 10, accompagnsdillustrations du processus temporel de construction de lespace roulable. De bonsrsultats ont t obtenus en terme de dtection de brouillard sur ces squences, mmesi celles-ci taient bruites (les squences ont t acquises en 1995 et numrises par-tir de cassettes VHS). Les rsultats sont rsums dans le TABLE 3. On peut voir uneprcision du systme propos gale 100 %. La distance de visibilit a galement testime. Cependant, comme les paramtres de camra ne sont pas connus, le calibrageest approximatif. Nous ne prsentons donc pas de courbe de mesure, contrairement auparagraphe prcdent.

  • 22 TS. Volume x no y/2011

    (a) (b)

    (c)

    (d) (e)

    Figure 10. Dtection du brouillard et estimation de la visibilit par traitementdimages issues dune camra de surveillance du trafic urbain: (a) intersectionurbaine par beau temps pendant la journe; (b) mme intersection par temps debrouillard; (c) espace roulable dtermin au fur et mesure par laccumulation

    temporelle de limage davant plan; (d) ligne dhorizon en rouge et estimation de ladistance de visibilit (ligne bleue); (e) dtection de brouillard (point dinflexion

    matrialis par la ligne noire).

    Tableau 3. Rsultat de lalgorithme de dtection du brouillard avec 55 000 images.

    Classe attribueBrouillard Sans brouillard

    Classe initiale Brouillard 25 000 0Sans brouillard 0 30 000

  • Visibilit routire par camra 23

    8.3. Dtection de pluie et de neige

    Pour valuer la capacit de lalgorithme dtecter correctement la prsence depluie, nous avons utilis, entre autres, deux vidos diffrentes de la mme scne avecet sans pluie. Elles ont t acquises au mme endroit et prsentent une artre urbainecontenant beaucoup dobjets en mouvement comme des voitures, tramways, pitons,etc. Chaque squence vido est constitue de 6000 images. Un chantillon de la scneen prsence de pluie est prsent sur la FIGURE 11(a). Tout dabord, une valuationqualitative de la mthode est propose. Deuximement, une valuation quantitativeest ensuite effectue. Une matrice de confusion (Kohavi, Provost, 1998) ainsi que lacourbe ROC (Swets, 1988) sont utilises pour valuer la mthode. Dans notre cas, pourun problme deux classes (prsence et absence de pluie), la matrice de confusion estexprime avec quatre termes (TABLE 4). TP est le nombre de vrais positifs. FP est lenombre de faux positifs. TN est le nombre de vrais ngatifs. FN est le nombre de fauxngatifs.

    Tableau 4. Matrice de confusion pour la dtection de prsence / absence de pluie

    Classe attribuePluie Pas pluie

    Classe initiale Pluie TP FNPas pluie FP TN

    A partir de cette matrice, deux termes sont habituellement dfinis : le taux de vraispositifs TPR = TPTP+FN et le taux de faux positifs FPR =

    FPFP+TN . Les courbes

    ROC sont obtenues en traant le TPR en fonction du FPR pour diffrentes valeurs desparamtres du dtecteur considr. Si les chantillons positifs et ngatifs possdent uneffectif du mme ordre de grandeur, la prcision (AC) du dtecteur peut sexprimerpar:

    AC =TP + TN

    TP + FP + FP + TN. (33)

    Dans nos tests, nous essayons de maximiser la prcision en faisant varier les para-mtres du processus de dcision.

    8.3.1. Rsultats qualitatifs

    Le processus de dcision a t obtenu aprs de nombreux tests. En effet, il est rela-tivement facile de dtecter la prsence de pluie dans des squences dimages. Il est, enrevanche, plus difficile de ne pas dtecter la prsence de la pluie en prsence de bonnesconditions mtorologiques. Le test dadquation est utile pour dtecter les images quine suivent pas le modle normale-uniforme. Toutefois, par temps clair, des contoursdont lorientation suit celle dune distribution normale peuvent tre dtects sur uneseule image. Ces dtections sont des vnements ponctuels et possdent gnralementdes orientations diffrentes dans les images suivantes. En prsence de pluie, lorienta-tion des gouttes de pluie est plus cohrente. Par consquent, un filtre temporel permetde distinguer les deux vnements. Enfin, une distribution uniforme est susceptibledtre assimile une distribution plane normale. Pour viter ce genre derreur, un

  • 24 TS. Volume x no y/2011

    seuil sur la taille de la distribution normale est trs utile. La combinaison de ces troiscritres donne les meilleurs rsultats comme indiqu dans les tests quantitatifs.

    (a) (b) (c)

    (d)

    Figure 11. Dtection de pluie applique une vido: (a) image originale; (b)dtection des objets en mouvement par soustraction de limage darrire-plan

    limage courante; (c) segmentation de pixels de pluie obtenue par lapplication desrgles de taille et de photomtrie; (d) histogramme dorientation des gouttes de pluie

    (HOS) par accumulation de lorientation des diffrents composantes connexescalcule par la mthode des moments gomtriques. La dcision sur la prsence de

    pluie est prise en se fondant sur la stabilit temporelle du HOS

    8.3.2. Rsultats quantitatifs

    Pour voir leffet de chacun des paramtres du processus de dcision, nous avonstrac la courbe ROC pour diffrentes configurations, de la plus simple la plus com-plexe. Tout dabord, nous nutilisons que le test dadquation, de manire dfinirla valeur du seuil critique Dc. La courbe verte (+) de la FIGURE 12 donne la courbeROC du dtecteur de pluie pour diffrentes valeurs de Dc. Le meilleur rsultat estobtenu pour Dc = 0, 06, o TPR = 73 % et FPR = 55 %, ce qui correspond uneprcision AC = 59 %. La matrice de confusion correspondante est donne dans leTABLE 5 .

  • Visibilit routire par camra 25

    Tableau 5. Rsultats obtenus laide du seul test dadquation

    Classe attribuePluie Pas pluie

    Classe initiale Pluie 4361 1638Pas pluie 3289 2709

    Deuximement, nous utilisons le test dadquation associ un seuil sur laire dela distribution normale. La courbe bleue (o) de la FIGURE 12 donne la courbe ROCdu dtecteur de pluie pour diffrentes valeurs du seuil AN . Le meilleur rsultat estobtenu pour Dc = 0, 06 et AN = 0, 4, o TPR = 74 % et FPR = 7 %, ce quicorrespond une prcision AC = 84 %. La matrice de confusion correspondante estdonne dans le TABLE 6.

    0 20 40 60 80 1000

    10

    20

    30

    40

    50

    60

    70

    80

    90

    100

    FPR

    TP

    R

    Figure 12. Courbe ROC pour diffrents niveaux de complexit du processus dedcision sur la prsence de pluie. La courbe verte (+) montre les effets du seul test

    dadquation. La courbe bleue (o) montre leffet du test dadquation coupl au seuilAN . La courbe rouge (*) montre leffet du processus complet (avec le suivi temporel)

    pour diffrentes valeurs du seuil AN .

    Tableau 6. Rsultats obtenus laide du test dadquation coupl avec le seuil AN .

    Classe attribuePluie Pas pluie

    Classe initiale Pluie 4419 1581Pas pluie 396 5603

    Troisimement, nous utilisons le processus de dcision complet. Par rapport laconfiguration prcdente, nous avons donc ajout un filtre de Kalman entre le testdadquation et le test sur AN . La courbe rouge (*) de la FIGURE 12 donne la courbeROC du dtecteur de pluie pour diffrentes valeurs du seuil AN . Le meilleur rsultatest obtenu pour Dc = 0, 06 et AN = 0, 35, o TPR = 97 % et FPR = 7 %, ce quicorrespond une prcision AC = 95 %. La matrice de confusion correspondante estdonne dans le TABLE 7. Dans ces tests, les paramtres du filtre de Kalman sont les

  • 26 TS. Volume x no y/2011

    suivants : la variance du bruit de processus est gal 0,01 et la variance du bruit demesure est gal 0,1. Le rglage de ces paramtres a t ralis de faon empirique, nouveau en maximisant la prcision du dtecteur de pluie. A la vue des diffrentstests raliss, la sensibilit ces paramtres nest pas trs importante. Les rsultatsdfinitifs sont donc tout fait satisfaisants.

    Tableau 7. Rsultats de dtection obtenus laide du processus de dcision complet

    Classe attribuePluie Pas pluie

    Classe initiale Pluie 5790 210Pas pluie 396 5603

    Malgr une prcision de 95 %, certaines erreurs subsistent et peuvent tre expli-ques. Dans plusieurs images de la squence vido, de nombreux objets en mouve-ment (pitons, voitures, tramway) sont simultanment prsents dans la scne, ce quifait apparatre de nombreuses composantes de bruit aprs le processus de filtrage. Dansle mme temps, la surface utile pour la dtection de la pluie est rduite, ce qui rend lapluie plus difficile dtecter. Cela explique le nombre de faux ngatifs. Dans dautrescas, quand il ne pleut pas, il arrive parfois que le bruit soit structur avec la mmeorientation pendant quelques images (artefacts causs par exemple par la compressionou le sous-chantillonnage des images). Cela explique le nombre de faux positifs.

    Par ailleurs, la mthode a t teste avec succs sur dautres vidos acquises pardiffrentes conditions mtorologiques : pluie, orage, neige, etc. En revanche, la m-thode nest pas capable de dtecter les pluies fines, mais cela vient principalement dufait quil est difficile de filmer les tranes de pluie quand celle-ci est peu intense. Nousavons mis un exemple de dtection de neige sur la FIGURE 13.

    Figure 13. Illustration de la dtection de neige: (a) extrait de la squence vido; (b)HOS correspondant

  • Visibilit routire par camra 27

    9. Conclusion et perspectives

    La prsence dune distance de visibilit rduite sur un rseau routier (pais brouillard,pluie forte, etc.) affecte la scurit et devrait dclencher de fait une rduction des li-mites de vitesse lgales. Dans cet article, en se fondant sur une norme de mtorologieroutire (AFNOR, 1998), nous prsentons un systme de dtection et caractrisationpar camra de conditions mtorologiques critiques pour la scurit routire. Le sys-tme propos estime la classe de visibilit routire et dtecte galement quand la r-duction de visibilit est cause par du brouillard ou de la pluie. Il ncessite uniquementun calibrage prcis de la camra sans phase dapprentissage pralable. Contrairementaux mthodes prcdentes, le systme tient compte de la structure de la scne 3-D etfiltre les objets en mouvement dans la rgion dintrt par lutilisation dune mthodede soustraction darrire-plan. Ltude de la sensibilit des mthodes sous-jacentesconduit une spcification des caractristiques de la camra requise pour le systme.Le calibrage du systme est tudi et les diffrents composants du systme sont va-lus exprimentalement laide de squences vidos acquises en prsence de diff-rentes conditions mtorologiques. Dans lavenir, nous envisageons de tester notresystme, globalement et plus grande chelle, en partenariat avec des gestionnairesroutiers, afin de complter les solutions existantes de surveillance du trafic routier.

    Bibliographie

    AFNOR. (1998, April). Road meteorology - gathering of meteorological and road data -terminology. NF P 99-320.

    Barnum P., Narasimhan S., Kanade T. (2010). Analysis of rain and snow in frequency space.International Journal of Computer Vision, vol. 86, no 2-3, p. 256-274.

    Bossu J., Hautire N., Tarel J.-P. (2009, 8-11 septembre). Utilisation dun modle probabilistedorientation de segments pour dtecter des hydromtores dans des squences vido. InXxii colloque gretsi, dijon, france.

    Brewer N., Liu N. (2008). Using the shape characteristics of rain to identify and remove rainfrom video. In Joint iapr international workshop sspr & spr, orlando, usa,, vol. 5342/2009,p. 451-458. Springer.

    Bush C., Debes E. (1998, November/December). Wavelet transform for analyzing fog visibility.IEEE Intelligent Systems, vol. 13, no 6, p. 6671.

    Cheung S.-C., Kamath C. (2004, January). Robust techniques for background subtractionin urban traffic video. In Video communications and image processing, spie electronicimaging, p. 881-892.

    CIE. (1987). International lighting vocabulary no 17.4.

    Dean N., Raftery A. (2005). Normal uniform mixture differential gene expression detection forcDNA microarrays. BMC Bioinformatics, vol. 6, no 173.

    Dhome Y., Tronson N., Vacavant A., Chateau T., Gabard C., Goyat Y. et al. (2010, 07 July). Abenchmark for Background Subtraction Algorithms in Monocular Vision : A Comparative

  • 28 TS. Volume x no y/2011

    Study. In Ieee international conference on image processing theory, tools and applications(ipta10),. France. http:/ /hal.archives-ouvertes.fr/hal-00508860/en/

    Garg K., Nayar S. (2007, October). Vision and rain. Int J Comput Vision, vol. 75, no 1, p. 3-27.

    Hagiwara T., Ota Y., Kaneda Y., Nagata Y., Araki K. (2006). A method of processing CCTVdigital images for poor visibility identification. In Proc. 85th transportation research boardannual meeting.

    Hallowell R., Matthews M., Pisano P. (2007, January). An automated visibility detection algo-rithm utilizing camera imagery. In 23rd conference on iips, 87th ams annual meeting, sanantonio, texas, usa.

    Hase H., Miyake K., Yoneda M. (1999). Real-time snowfall noise elimination. In Ieee interna-tional conference on image processing, vol. 2, p. 406-409.

    Hautire N., Aubert D., Jourlin M. (2006, Septembre). Mesure du contraste local dans lesimages, application la mesure de distance de visibilit par camra embarque. Traitementdu Signal, vol. 23, no 2, p. 145-158.

    Hautire N., Bigorgne E., Aubert D. (2008). Visibility range monitoring through use of aroadside camera. In Ieee intelligent vehicles symposium.

    Hautire N., Bossu J., Brand C. (2009). Une solution dacquisition dimages multiplesfonctions de rponse. In Xxiieme colloque gretsi, dijon, france.

    Hautire N., Labayrade R., Aubert D. (2006, July). Estimation of the visibility distance by ste-reovision: a generic approach. IEICE Transactions on Information and Systems, vol. E89-D, no 7, p. 2084-2091.

    Hautire N., Tarel J.-P., Lavenant J., Aubert D. (2006, April). Automatic fog detection andestimation of visibility distance through use of an onboard camera. Machine Vision andApplications Journal, vol. 17, no 1, p. 8-20.

    KaewTraKulPong P., Bowden R. (2001). An improved adaptive background mixture model forreal-time tracking with shadow detection. In 2nd european workshop on advanced video-based surveillance systems, kingston, uk.

    Kalman R. E., Bucy R. S. (1961). New results in linear filtering and prediction theory. Transac-tions of the ASME - Journal of Basic Engineering, vol. 83, p. 95-107.

    Kohavi R., Provost F. (1998). Glossary of terms. Machine Learning, vol. 30, p. 271-274.

    Kwon T. M. (2004, July). Atmospheric visibility measurements using video cameras: Relativevisibility. Rapport technique. University of Minnesota Duluth.

    Lagorio A., Grosso E., Tistarelli M. (2008). Automatic detection of adverse weather condi-tions in traffic scenes. In Ieee international conference on advanced video and signal basedsurveillance, p. 273-279.

    MacHutchon K., Ryan A. (1999). Fog detection and warning, a novel approach to sensorlocation. In Ieee african conference, cap town, south africa, vol. 1, p. 43-50.

    Middleton W. (1952). Vision through the atmosphere. University of Toronto Press.

    Mitsunaga T., Nayar S. (1999). Radiometric self calibration. In Ieee conference on computervision and pattern recognition.

  • Visibilit routire par camra 29

    Safee-Rad R., Smith K., Benhabib B., Tchoukanov I. (1992). Application of moment and fourierdescriptors to the accurate estimation of elliptical-shape parameters. Patt Recogn Lett,vol. 13, no 7, p. 497-508.

    Stauffer C., Grimson W. (2000, August). Learning patterns of activity using real-time tracking.IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no 8, p. 747-757.

    Strobl K., Sepp W., Fuchs S., Paredes C., Arbter K. (s. d.). Dlr callab and dlr calde, instituteof robotics and mechatronics, german aerospace center (dlr), oberpfaffenhofen, germany,.http:/ /www.robotic.dlr.de/callab/

    Swets J. (1988, 3 june). Measuring the accuracy of diagnostic system. Science, vol. 240,no 4857, p. 1285-1293.

    Zhang X., Li H., Qi Y., Leow W. K., K. N. T. (2006). Rain removal in video by combiningtemporal and chromatic properties. In Proc. ieee international conference on multimedia &expo.

    Zhang Z. (2000). A flexible new technique for camera calibration. IEEE Transactions on PatternAnalysis and Machine Intelligence, vol. 22, no 11, p. 1330-1334.

    Zhao-Zheng C., Jia L., Qi-mei C. (2009). Real-time video detection of road visibility conditions.In Wri world congress on computer science and information engineering, p. 472 - 476.

    Reu le ?Accept le ?