Ministère du travail
Note relative à l’Intelligence artificielle au regard de la directive « machines »
Cette étude a été menée dans le cadre d’un groupe de travail mandaté par la CS3 du COCT, avec la
participation des représentants désignés par les partenaires sociaux, des représentants des entreprises
de la métallurgie et de l’industrie mécanique et l’appui techniques d’experts sur le sujet (Institut
national de recherche et de sécurité INRS, laboratoire national d’essai LNE, l’association robAgri qui
travaille en partenariat avec l’institut de recherche et technique agricole (IRSTEA) dans le domaine de
la robotique, Eurogip qui est en charge de la coordination des organismes notifiés et la COPREC qui
représente les organismes d’inspection dans le domaine des machines). La liste de participants est
disponible en annexe II.
Introduction
Le ministère du travail en relation avec le ministère de l’agriculture a lancé un groupe de travail relatif
au suivi de la révision de la directive 2006/42/CE relative à la conception des machines. Cette étude
tente de répondre à une question, pointée comme prioritaire par la commission européenne (DG
croissance), dans le cadre de son projet de révision, qui porte sur l’évaluation de l’efficacité de la
directive machines à encadrer les risques liés à l’utilisation des techniques de l’intelligence artificielle
utilisées dans les machines.
En effet, bien que ces technologies émergentes soient encore peu présentes dans les entreprises, elles
font l’objet de nombreuses discussions au sein des instances nationales et européennes en charge de la
sécurité des machines. L’enjeu est important, car il s’agit d’apprécier les impacts de ces techniques de
l’intelligence artificielles sur la sécurité des utilisateurs, lorsqu’elles sont utilisées dans un
environnement de travail.
Le groupe de travail a travaillé à partir de cas pratiques proposés par l’association RobAgri et l’INRS.
Ces exemples sont présentés succinctement dans le texte sous forme d’encadrés.
A la suite d’un exposé introductif sur la robotique agricole présenté par l'Institut national de recherche
en sciences et technologies pour l'environnement et l'agriculture (Irstea) et le laboratoire national de
métrologie et d’essais (LNE), tous deux membres de l’association de développement de la robotique
agricole robAgri, deux industriels / équipementiers ont été invités à présenter leurs expériences
concrètes de mises en œuvre des techniques de l’IA dans leurs applications.
Ces différents exemples d’applications permettent d’illustrer et d’étayer la présente étude qui porte à la
fois sur des questions juridiques et techniques liées à l’utilisation de l’IA. Ils ont également permis de
conduire une analyse des principaux risques. Les risques répertoriés pour chaque exemple
d’applications sont présentés de manière synthétique sous la forme d’un tableau.
Enfin, ce travail permet de vérifier la solidité de l’annexe I de la directive machines pour encadrer de
manière efficace ces technologies.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 2 sur 18
1 Recherche d’une définition
Informations liminaires concernant la méthodologie adoptée dans la présente étude.
Cette étude cherche à définir et à caractériser l’intelligence artificielle (IA), implémentée dans les
machines, afin de mettre au jour d’éventuelles questions de prévention qui ne seraient pas traitées ou
traitées de manière imparfaite dans l’annexe I de la directive 2006-42-CE relative à la conception des
machines.
Pour être utile à notre démarche, la définition d’IA doit être précise et exempte de tout
anthropomorphisme dans le choix des termes utilisés. L’IA est avant tout une technologie basée sur
des algorithmes dont le fonctionnement est limité et dépourvu de toute intention et pensée réflexive.
Ses capacités partielles ne peuvent pas être assimilées à la complexité et à la richesse des capacités
cognitives et sensibles humaines. Les performances des machines apprenantes, basées sur des
systèmes de supervision ou des systèmes de récompense en boucle fermée, permettant à l’algorithme
de s’améliorer, peuvent parfois être meilleures que celles des humains. Pour autant, ces machines sont
entièrement limitées à la tâche particulière, pour laquelle elles ont été conçues.
La définition d’IA retenue dans le champ de notre réflexion opère une distinction entre cette
technologie basée sur l’apprentissage et d’autres algorithmes déterministes, comme ceux issus de
règles expertes.
La définition d’IA n’a pas vocation à priori à figurer dans la réglementation. En effet, celle-ci définit
des objectifs généraux de sécurité s’appliquant aux machines qui ne doivent pas être confondus avec
ceux de la normalisation :
- la réglementation fixe des règles de prévention en déclinant des exigences de sécurité applicables
à l’ensemble des machines, de façon à assurer un niveau élevé et homogène de sécurité aux
produits mis sur le marché ;
- les normes sont des outils techniques utilisables par les fabricants. Elles donnent des
recommandations techniques afin de faciliter la mise en œuvre des exigences réglementaires. Elles
peuvent viser des équipements particuliers, des parties de machine, des dispositifs techniques ou
des technologies utilisées dans la conception des machines.
Nous mettrons donc l’accent sur « l’Apprentissage machine » qui repose sur certaines capacités de
« décision » et de « prédiction » basées en particulier sur la reconnaissance, la « mémorisation » et
l’optimisation.
Dans le cadre des machines, l’intelligence artificielle est définie comme un système basé sur
l’apprentissage automatique (supervisé ou non) capable de « percevoir », « mémoriser et
s’ajuster », « traiter et agir ». Aujourd’hui, ces capacités s’appuient sur l’apprentissage
automatique, quand, dans les années 1980, elles étaient principalement issues des systèmes
experts conçus à partir de règles explicites
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 3 sur 18
2 « L‘apprentissage automatique « machine Learning »
Dans le cas des machines, l’apprentissage automatique permet au système de commande d’apprendre
par l’exemple. Il s’agit de lui donner des indications particulières, comme les caractéristiques d’une
image, afin qu’il ajuste ses paramètres pour répondre à une performance souhaitée.
2.1 La fiabilité des données
Un modèle d’apprentissage automatique est créé à l’aide de données permettant au système
d’apprendre par lui-même ; il est donc important de s’assurer que les données soient appropriées au
résultat recherché et à l’environnement de la machine. Cela pose la question de leur source, de leur
format et de leur utilisation sans risque.
Les données peuvent être de deux natures :
- Provenant d’un environnement fermé, connu et maîtrisé par le fabricant de la machine,
- Provenant de sources extérieures non maîtrisées par le fabricant de la machine.
Dans le cas d’utilisation de données provenant de sources extérieures, il devrait être attendu par le
fabricant qu’il respecte les exigences de la directive 96-9-CE du 11 mars 1996 concernant la
protection juridique des bases de données et le règlement (UE) 2016-679 du 27 avril 2016 relatif à la
protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la
libre circulation de ces données. L’opérateur devrait en être informé a minima dans le manuel
d’instruction.
Dans le cas d’utilisation de données provenant d’un environnement fermé, connu et maîtrisé par le
fabricant de la machine, il doit préciser les conditions d’usage de ces données dans le manuel
d’instructions.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 4 sur 18
2.2 L’explicabilité
L’explicabilité des algorithmes d’IA est une problématique jugée cruciale pour la vérification et la
validation de ces algorithmes. En effet, un système capable de fournir certaines informations sur son
domaine de fonctionnement ou sur l’étendue des décisions qu’il peut prendre permettrait de
s’affranchir de la problématique dite de « boîte noire », dans le contexte duquel l’inspection ne peut
être opérée qu’en aveugle. A l’heure actuelle, des solutions techniques existent pour permettre à un
système d’expliciter certains aspects de son fonctionnement. Il n’existe cependant aucun référentiel
précisant les types d’informations nécessaires à l’inspection, dans le cadre de la sécurité des machines
dirigé par l’IA.
L’inspection des algorithmes concerne deux cas :
- Tout d’abord, lorsque l’IA est implémentée dans le cadre d’une fonctionnalité motrice de la
machine (déplacer un bras articulé, sélectionner une trajectoire, etc.). Dans ce cas, « l’action de
l’IA » peut entraîner une situation dangereuse qu’il faut évaluer, supprimer ou réduire ;
- D’autre part, lorsque l’IA est implémentée dans un composant de sécurité, afin d’assurer tout ou
partie des fonctions de sécurité (par exemple, dans le cas d’un capteur intelligent) il est nécessaire
d’être en mesure d’évaluer l’algorithme afin de certifier ce composant conforme aux exigences de
sécurité.
La maîtrise des risques liés à l’IA présente à l’heure actuelle deux fortes limitations :
- L’implémentation de dispositifs permettant de limiter l’action de l’IA en cas de défaillance : qu’il
s’agisse de garde-fous techniques (bloquer l’IA si elle sélectionne certains types de sorties) ou de
sécurité par conception (l’IA ne peut en aucun cas sélectionner des sorties « à risque »). Si de
nombreuses solutions ont déjà émergé, il s’agit toujours de problématiques de recherche non
entièrement résolues.
- L’évaluation de la performance fonctionnelle des algorithmes (hors performance de sécurité) :
estimer le niveau de performance d’un algorithme d’IA peut être réalisé par essais (soumettre des
données représentatives de l’environnement de fonctionnement), ou par méthode formelle (vérifier
les comportements d’un algorithme, notamment par simulation). Il n’existe à l’heure actuelle
aucune méthode et seuils de référence pour l’estimation de la performance de l’IA, et la
problématique de la calculabilité d’un algorithme d’IA nécessite encore des avancées
scientifiques.
Pour une utilisation opérationnelle sécurisée de la machine utilisant l’IA, dans un environnement de
travail, l’obligation de prévention pour le fabricant repose sur la maîtrise des risques liés à l’ensemble
des fonctions de la machine, y compris les fonctions commandées par l’IA, en prévoyant des moyens
de prévention classiques liés aux systèmes de commandes (butées électroniques, capteurs…) et en
s’assurant que la fiabilité requise de ces lois de commande soit bien atteinte (par exemple en suivant
les prescriptions de la norme harmonisée NF EN ISO 13849-1 relative à la sécurité des commandes).
3 Complexité de la chaîne de valeurs et responsabilité juridique des opérateurs
économiques
Plusieurs cas de figure doivent être distingués dans la mise en œuvre de l’IA pour une machine :
l’IA est intégrée à la machine dès la conception :
- « l’apprentissage automatique » est réalisé et achevé lors de la mise sur le
marché de la machine ;
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 5 sur 18
- « une partie de « l’apprentissage automatique » est réalisée dans l’entreprise.
Dans ce cas la machine apprenante mise en service dans l’entreprise doit être apte à fonctionner en
sécurité et conformément à son application définie. Selon les commentaires du guide d’application
de la directive machines (voir commentaire §35 du guide d’application de la directive machines
révisé version 2.1 juillet 2017), l’application définie doit être comprise comme le fonctionnement
de base de de la machine, sans tenir compte de l’usage déterminé par le fabricant. Par exemple, il
peut s’agir d’une fonction de tri sans aucune définition des caractéristiques du tri.
- « L’apprentissage automatique » est réalisé tout au long de la vie de la
machine.
l’IA est ajoutée à une machine utilisée dans l’entreprise sur demande l’employeur : il s’agit
d’une modification de la machine qui est traitée par le fabricant de l’IA dans une relation de
prestation avec l’employeur ; elle ne modifie pas le statut de la machine en service.
3.1 Qualification juridique :
Ces différentes modalités de mise en œuvre de l’IA posent, d’une part, la question de la responsabilité
juridique des opérateurs économiques dans la chaîne de valeurs et, d’autre part, la question du statut
juridique des produits mis sur le marché et mise en service dans l’entreprise.
Plusieurs notions juridiques présentes dans la directive 2006-42-CE relative aux machines sont
mobilisables pour répondre à ces questions.
a) Le principe de la « sécurité intégrée »
Selon ce premier principe « la machine doit être conçue et construite pour être apte à assurer sa
fonction et pour qu’on puisse la faire fonctionner, la régler et l’entretenir sans exposer quiconque à
un risque lorsque ces opérations sont effectuées dans les conditions prévues par le fabricant, mais tout
en tenant également compte de tout mauvais usage raisonnablement prévisible.
Les mesures prises doivent avoir pour objectif de supprimer tout risque durant la durée d’existence
prévisible de la machine, y compris durant les phases de transport, de montage, de démontage, de
mise hors service ».
b) La notion d’usage normal et de mauvais usage prévisible
Conformément à cette notion, « la machine doit être conçue et construite de manière à éviter qu’elle
soit utilisée de façon anormale. La notice d’instructions doit attirer l’attention de l’utilisateur sur les
contre-indications d’emploi de la machine qui, d’après l’expérience, pourraient se présenter ».
Selon ce principe, le fabricant doit par conséquent, d’une part, définir l’usage normal de la machine en
donnant toute information utile dans la notice d’instructions (usage normal et contre-indications) et,
d’autre part, prendre en considération tout mauvais usage de la machine susceptible de découler d’un
comportement humain inapproprié. La notion d’usage normal permet au fabricant de décrire les
différentes phases d’utilisation de la machine, notamment la phase d’apprentissage, surtout si celle-ci
se déroule au moment de l’installation, voire en phase de production.
c) La notion de mise en service
La mise sur le marché s’entend comme la mise à disposition d’une machine en vue de sa distribution
ou de son utilisation.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 6 sur 18
La notion de mise service est définie comme la première utilisation dans l’union européenne. La
machine peut donc être mise sur le marché avant sa mise en service, notamment lorsqu’elle est vendue
à un distributeur. Ce dernier peut modifier la machine à la demande d’un futur utilisateur avant sa mise
en service. Si les modifications étaient prévues ou convenues par le fabricant et couvertes par
l’évaluation des risques, la déclaration CE du fabricant reste valable (Cf. guide d’interprétation de la
directive machines révisé version 2.1 juillet 2017 chapitre 82).
Dans le cas de la mise sur le marché d’une « machine apprenante », la notion de mise en service
permet de prendre en compte le temps nécessaire pour que la machine acquière pleinement les
capacités d’exécuter les tâches pour lesquelles elle a été conçue et construite, conformément à son
application définie. (Dans la pratique, le vendeur et l’utilisateur peuvent prévoir contractuellement une
période de réception permettant à la machine de devenir pleinement opérationnelle).
La phase d’apprentissage de la machine doit donc être considérée comme une phase de mise au point
de la machine lors de sa mise en service. Cette phase engage la responsabilité du fabricant au regard
des règles prévues à l’article 5 de la directive machines et qui sont applicables avant la mise sur le
marché et la mise en service d’une machine.
Selon le premier principe d’intégration de la sécurité, la mise sur le marché d’une machine est donc
conditionnée par son aptitude à assurer sa fonction sans occasionner de risque pour l’utilisateur. Plus
que de réelles performances, il s’agit ici d’une capacité de la machine à fonctionner correctement sans
entraîner de situations dangereuses ou induire un mauvais usage (Juridiquement ce fonctionnement
que l’on peut qualifier de basique de la machine renvoie à la notion d’application définie telle que
précisée dans le commentaire 35 du guide d’interprétation de la directive machines révisé version 2.1
juillet 2017).
S’agissant d’une « machine apprenante » :
Le fabricant s’engage donc à mettre sur le marché ou en service une machine dont le fonctionnement
ne présente pas de risque, y compris en phase d’apprentissage, cette dernière devant être considérée
comme une phase à part entière de fonctionnement de la machine.
Il s’agit d’une obligation de conception :
a) la machine est apte à accomplir pleinement sa fonction sans générer de risque dès sa mise sur
le marché (l’apprentissage est finalisé) ;
b) la machine n’est pas apte à accomplir sa fonction sans une phase d’apprentissage chez
l’utilisateur (la conception n’est pas finalisée). Cette phase de mise au point de la machine
peut être contractualisée dans la relation commerciale entre le fabricant et l’utilisateur ;
c) la machine est apte à accomplir sa fonction mais cette fonction comprend une adaptation et/
ou optimisation en continu.
Dans les deux premiers cas la responsabilité du fabricant est engagée au regard des règles prévues à
l’article 5 de la directive machines applicables à la mise sur le marché ou à la mise en service d’une
machine.
Dans le troisième cas, la responsabilité du fabricant est engagée en tant que concepteur du cadre
permettant l’auto évolution dans le temps de la fonction de la machine.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 7 sur 18
Conformément à la notion de mauvais usage prévisible, le risque causé par une mauvaise utilisation
prévisible est évaluée par le fabricant. Dans le cas où elle ne peut pas être maitrisée dès la conception,
l’auto-évolution de la machine durant l’utilisation doit être évitée.
3.2 Les cas de modification
- Cas de figure où une machine en service est modifiée par l’ajout d’IA ; dans cette situation
l’utilisateur est responsable de la modification opérée et élabore un cahier des charges avec le
prestataire de l’opération comme pour n’importe quelle modification ;
- Hypothèse dans laquelle l’utilisateur introduirait de nouvelles données sans concertation avec le
fabricant d’origine, ou modifierait l’algorithme ou l’architecture de l’IA pour son propre compte.
La Commission européenne pointe dans son document la question de l’utilisation d’un logiciel
autonome non prévu par le fabricant qui serait téléchargé après la mise sur le marché de la
machine (il s’agit d’une modification de la machine qui engage la responsabilité de l’utilisateur.
Ce cas ne doit pas être confondu avec un mauvais usage prévisible).
4 Articulation de la réglementation et des normes
La question de la performance de la réglementation concernant l’utilisation de l’IA dans les machines
doit faire l’objet d’une analyse globale, en s’appuyant sur une démarche d’évaluation des risques.
Il est sans doute utile pour répondre à cette question de rappeler également quel est le statut juridique
des normes par rapport à la réglementation. Selon le décret n°2009-697 du 1er juin 2009 relatif à la
normalisation, la norme est un document de référence établi par les parties intéressées de manière
consensuelle. Concernant les machines, ces documents qui s’adressent aux fabricants, recommandent
des solutions techniques afin notamment de faciliter et fiabiliser leur process de fabrication et
d’assurer la sécurité des produits.
Selon l’esprit des directives « nouvelle approche », dont la directive 2006 -42-CE relative aux
machines, les normes harmonisées adoptées dans le cadre d’un mandat donné par la Commission
européenne et publiées au JOUE, après validation par cette dernière, ont un rôle complémentaire avec
la réglementation mais ne se substituent pas à celle-ci : les spécifications normatives doivent veiller au
respect des exigences essentielles fixées par dans l’annexe I de la directive. D’application volontaire,
les normes harmonisées ne s’imposent pas aux fabricants pour attester de la conformité d’une machine
aux exigences essentielles de santé et de sécurité de l’annexe I. Selon l’alinéa 1 de l’article 7 de la
directive machines et le principe d’auto certification, les machines qui disposent du marquage « CE »
accompagné de la déclaration CE de conformité satisfont aux dispositions réglementaires (il s’agit
d’une présomption légale purement formelle).
Lorsque la norme est lacunaire ou en deçà de l’état de l’art, les fabricants ont la faculté de choisir des
moyens et des solutions technologies plus adaptés pour atteindre les objectifs de prévention énoncés
par l’annexe I de la directive machines.
Dans le cadre de notre analyse, il convient donc de vérifier que les exigences essentielles de santé et
de sécurité de l’annexe I de la directive machines, formant un corpus de règles (obligatoires),
permettent de couvrir l’ensemble des risques liés au fonctionnement de la machine utilisant l’IA,
indépendamment de l’utilisation des spécifications techniques issues des normes harmonisées qui ne
peuvent pas remplacer la réglementation. A l’inverse, les exigences essentielles de santé et de sécurité
(EESS) de l’annexe I de la directive doivent conserver leur caractère général et être formulées sous la
forme d’objectifs de sécurité.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 8 sur 18
Il convient par ailleurs de se demander quelles sont les modalités de supervision par le fabricant de la
phase d’apprentissage de la machine selon que celle-ci a lieu avant la mise en service ou après la mise
en service de la machine.
5 Analyse des risques
L’IA permet d’augmenter le degré d’automatisation d’une machine. Cependant, aujourd’hui, il ne
s’agit que d’une nouvelle étape dans l’automatisation, et en l’état, l’IA n’apporte aucun nouveau
phénomène dangereux.
Rappelons ici qu’un phénomène dangereux s’appuie sur une libération d’énergie (chaleur, électricité,
…) ou de substance (acide, gaz, …) mais pas sur une technologie de l’information.
5.1 IA et analyse des risques – la question de l’autonomie
Le degré d’autonomie accordé à la machine utilisant l’IA peut avoir un impact sur l’émergence de
situations à risques (perte de contrôle, mouvements erratiques, etc.) que le fabricant doit prendre en
compte lors de la conception.
L’autonomie peut être définie comme la capacité d’un système (perception - décision - action) à
décider de ses propres actions.
Aujourd’hui, la principale application de l’IA dans les machines est le traitement d’images ; ou plutôt
la classification de formes à partir d’images (plantes, objets ou situations). Ces classifications
permettent aux machines concernées d’avoir une perception plus fine et d’améliorer leur décision aux
fins de classement. Pour autant, le système n’accroit pas forcément l’autonomie d’action de la
machine. L’action reste basée sur un comportement déterministe réalisée par des programmes
conventionnels.
. Le système n’intervient pas sur la partie commande/ contrôle des mouvements de la machine.
5.2 IA et analyse des risques : la question de la prévisibilité
Cette question se pose notamment dans l’interface opérateur /machine.
Dans le cas d’un système dont l’action est dirigée par l’IA, l’opérateur aura plus de difficulté à
anticiper le fonctionnement de la machine et à interagir avec celle-ci. La possibilité de reprendre le
contrôle de la machine autonome à tout moment, notamment par l’actionnement aisé d’un arrêt
d’urgence est indispensable.
La machine doit également présenter une capacité d’adaptation à la présence de l’opérateur en auto-
modulant ses propres paramètres comme la vitesse, la mise à l’arrêt, changement de trajectoire
(robotique).
5.3 Relecture de l’annexe I de la directive machines selon quatre variables
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 9 sur 18
- l’IA augmente les performances fonctionnelles de la machine sans effet sur le système de
contrôle/commande de la machine ;
- l’IA augmente l’autonomie de fonctionnement de la machine, comme la régulation de paramètres
de production ou d’une fonction de sécurité (vitesse de fonctionnement, cycles, mise en veille,
démarrage…) ;
- l’IA entraîne une autonomie de l’action (mobilité par exemple) ;
- l’IA utilisé comme composant de sécurité (fonction de détection).
Il convient de préciser que toutes les IA présentées sont encadrées par des dispositifs de protection et
des fonctions de sécurité. A aucun moment ces IA ne se substituent à ces éléments pour gérer la
sécurité. Elles agissent principalement sur des fonctionnalités de détection d’objets à des fins
d’optimisation de process ou de gain en autonomie (déplacement dans un environnement de nature
changeante). Les fonctionnalités liées à la sécurité ne font pas intervenir l’IA et sont gérées de façon
classique. A l’heure actuelle, il n’a pas été identifié de machine ayant une IA utilisée pour assurer la
sécurité.
Remarque : L’exemple d’application n°1 n’est pas retenue dans le cadre de ce travail d’évaluation car
il s’agit d’une cellule de détection non associée à d’autres fonctionnalités.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 10 sur 18
Exemple IA pour régulation de pulvérisation de pesticide (Exemple 2 de l’annexe I)
situation dangereuse défaillance IA
Impact défaillance IA
EESS associées
Mauvaise détection : détection erronée de la plante à traiter (plante saine détectée)
pulvérisation de produit sur plante saine (impact de rendement uniquement)
non applicable
Mauvaise détection : détection erronée de la plante à traiter (humain pris pour une plante)
pulvérisation de produit sur humain (impact sécurité risque chimique). -> Nécessite supervision humaine dans conduite de l'engin -> Nécessite un mode de fonctionnement spécial IA pour éviter tout déclenchement intempestif.
EESS 1.1.7 EESS 1.2.3 EESS 1.2.5
Déclenchement intempestif de la pulvérisation
pulvérisation de produit sur humain (impact sécurité risque chimique). -> Nécessite un mode de fonctionnement spécial IA pour éviter tout déclenchement intempestif
EESS 1.2.3 EESS 1.2.5
Déclenchement intempestif de la pulvérisation (pendant exploitation)
pulvérisation de produit sur plante non nécessaire (impact uniquement le rendement)
non applicable
Mauvaise détection : problème lié à l'apprentissage avant l'exploitation
pulvérisation de produit sur plante saine (impact de rendement uniquement) pulvérisation de produit sur humain (impact sécurité risque chimique).
Non applicable Apprentissage Pas d’EESS dédiée
Mauvaise détection : problème lié à l'apprentissage pendant l'exploitation
pulvérisation de produit sur plante saine (impact de rendement uniquement) pulvérisation de produit sur humain (impact sécurité risque chimique).
Non applicable Apprentissage Pas d’EESS dédiée
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 11 sur 18
Exemple IA pour régulation de pulvérisation de pesticide (Exemple 2 de l’annexe I)
situation dangereuse défaillance IA
Impact défaillance IA
EESS associées
Mauvaise utilisation : vérification du fonctionnement de l'IA par l'opérateur (fonctionnement de la pulvérisation)
pulvérisation de produit sur humain (impact sécurité risque chimique). -> Nécessite supervision par système caméra de contrôle ou informations tableau de bord (nombre de plantes à traiter détectées) -> procédures de contrôle à fournir dans la notice d'instruction -> Nécessite de fournir les moyens de test (simulation, jeu de données de test, etc…) A RAJOUTER EN EESS
EESS 1.7.1.1 EESS 1.7.1.2 EESS 1.7.4 Test et vérifiation IA pas d’EESS dédiée
Exemple IA pour détection de corps étrangers (Exemple 3 de l’annexe I)
situation dangereuse défaillance IA
Impact défaillance IA
EESS associées
Mauvaise détection : détection erronée du corps étranger (détection intempestive)
alertes fournies à l'opérateur, mais aucun impact sur la commande de la machine qui n'est pas gérée par l'IA (impact rendement uniquement)
EESS 1.7.1.2
Mauvaise détection : détection erronée du corps étranger (non détection)
impact exploitation uniquement
Non applicable
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 12 sur 18
Exemple IA pour machine de tri des déchets sur bande transporteuse (Exemple 4 de l’annexe I)
situation dangereuse défaillance IA
impact défaillance IA
EESS associées
Mauvaise détection : détection erronée du déchet (non détection)
impact exploitation uniquement
non applicable
Erreur de coordonnées envoyées au bras de préhension par l'IA
Nécessite que la zone d'opération du robot soit encadrée par des fonctions de sécurité et paramètres de sécurité
EESS 1.4
Erreur de destination envoyée par l'IA
impact exploitation uniquement
Non applicable
Maintenance : observation comportement de la machine dans la zone dangereuse (phase réglage, vérification de la détection des types de déchets)
test de l'IA sur la partie détection -> Nécessite d'avoir un mode de fonctionnement dédié -> Nécessite de fournir les informations de décision de l'IA via interface spécifique -> Nécessite de pouvoir effectuer les observations hors zone dangereuse -> Nécessite fournir procédure dans la notice d'instruction
EESS 1.2.3 EESS 1.2.5 EESS 1.7.4
Maintenance : observation comportement de la machine (réparation anomalie de fonctionnement, mauvaises coordonnées fournies, mauvaise destination fournie)
test de l'IA sur les communications avec les actionneurs -> Nécessite d'avoir un mode de fonctionnement dédié -> Nécessite de fournir les moyens de test (simulation, jeu de données de test, etc. ...) -> Nécessite fournir procédure dans la notice d'instruction
EESS 1.7.1.1 EESS 1.7.1.2 EESS 1.7.4 Test et vérifiation IA pas d’EESS dédiéeI
Mauvaise détection : problème lié à l'apprentissage avant l'exploitation
Apprentissage Pas d’EESS dédiée
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 13 sur 18
Exemple IA pour chariot motorisé autonome (Exemple 5 de l’annexe I)
situation dangereuse défaillance IA
impact défaillance IA
EESS associées
Opérateur sur le trajet du chariot non pris en compte (pour le recalcule de la trajectoire)
Contact opérateur -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité
EESS 1.4
Opérateur sur le trajet du chariot non reconnu par l'IA
Contact opérateur -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité
EESS 1.4
Commande de déplacement manuel non pris en compte par l'IA
Contact opérateur / contact obstacle -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité
EESS 1.4
Perte de stabilité de la charge suite problème de détection des obstacles
chute sur opérateur et écrasement risques dangereux liés aux chocs subis par la charge (explosion, écoulement de matière dangereuse, etc. …)
Changement de trajectoire non prévisible / prédictible par l'opérateur
risque de contact avec opérateur. Risque de stress opérateur (crainte ou acceptation du système pour l'humain) -> Nécessite des dispositifs de protection assurant les fonctions de détection de sécurité -> Nécessite indications visuelles sur la machine permettant d'identifier les mouvements de la machine
EESS 1.4 EESS 1.6
Mauvaise détection : problème lié à l'apprentissage avant l'exploitation
Apprentissage Pas d’EESS dédiée
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 14 sur 18
Résultats de l’analyse
Pour chacun des exemples concrets présentés dans la présente note, une analyse de risque centrée sur
l’IA a été réalisée et synthétisée dans un tableau présenté ci-dessus. Dans le cadre et les limites de
cette étude et des exemples choisis, il est donc possible de conclure que la directive machines actuelle
est globalement adaptée pour encadrer les machines utilisant l’intelligence artificielle.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 15 sur 18
Annexe I Exemples d’applications
Exemple 1 : IA utilisée pour une application de diagnostic automatisé et d’aide à la décision
phytopharmaceutique dans le domaine agricole.
Les programmations classiques ont échoué dans ce domaine car elles étaient trop rigides pour intégrer
l’ensemble des caractéristiques biologiques de la plante, les variables climatiques, la luminosité etc…
L’apprentissage automatique au contraire, permet aujourd’hui, de traiter la complexité de ces données
et obtient des résultats de performance jugés satisfaisants par les professionnels de l’agriculture.
L’apprentissage est réalisé à l’aide de photographies de végétaux où sont identifiées en rouge les
plantes invasives. Ces données d’apprentissage sont préparées et corrigées par une équipe dédiée à ce
travail d’identification graphique.
La mise au point de l’algorithme d’apprentissage passe par une vérification et une validation des
performances du système, menée selon un protocole de tests défini et piloté par le concepteur de l’IA.
L’algorithme qui permet de passer de l’exemple (taches rouges sur une image) au résultat recherché
(détection d’un adventice dans un champ de culture) prend en compte de très nombreux paramètres. Il
est par conséquent difficile d’expliciter le processus de classement et de sélection opéré par
l’algorithme et de montrer comment la machine dotée de l’IA obtient ces résultats.
Exemple 2 : Opération de modification de la machine
Rampes de pulvérisation en service qui, sur la demande de l’utilisateur, sont équipées par un fabricant
d’IA d’un système de pilotage électronique de pulvérisation avec IA capable de détecter un adventice
et de réguler la pulvérisation des rampes (la pulvérisation s’arrête sur les zones du champ non
contaminées par des adventices).
Voir guide de modification des machines (https://travail-emploi.gouv.fr/demarches-ressources-
documentaires/documentation-et-publications-officielles/guides/article/guide-operations-de-
modification-des-machines).
Exemple 3 : IA évolutive en phase d’utilisation
Application d’aide à la gestion agroalimentaire dans une opération de tri pour la confection de sachets
de salade.
La machine de tri installée chez l’utilisateur est équipée d’un système d’IA permettant la détection de
corps étrangers. A la suite d’une détection la machine donne un signal sonore pour avertir l’opérateur
en charge d’effectuer le tri. Les défauts de détection constatés requièrent une action corrective de
l’opérateur sur le procédé de production, ce qui renseigne le système au fur et à mesure de la
production.
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 16 sur 18
Exemple 4 : machine de tri de déchets sur une bande transporteuse utilisant l’IA. Cas où l’IA
augmente les performances fonctionnelles de la machine en affinant la perception et l’identification
des déchets compactés.
La bande du convoyeur qui transporte les déchets est filmée par une caméra. Un système de traitement
de l’information utilisant l’IA identifie le type de déchet et fournit au robot les coordonnées de prise à
l’aide d’une ventouse et une information sur sa destination. Le programme qui agit sur la fonction
contrôle / commande de la machine n’augmente pas son autonomie au niveau de l’action (prise et
dépose).
La fonctionnalité proposée par MaxAI n’est pas réalisable sans « apprentissage automatique ». La
machine apprend à distinguer les déchets grâce aux entrainements répétés des utilisateurs. En effet, il
s’agit de déterminer, depuis une simple image, s’il s’agit de PET (recyclable), de PVC (non
recyclable). Les algorithmes conventionnels de vision utilisent des fonctions de traitement d’images
trop rigides, basées sur la détection de contour, couleur, dimension, hors, dans le cas de déchets
compactés, ces critères ne permettent pas de les trier.
Exemple 5 : chariot motorisé autonome.
Chariot capable de suivre un opérateur dans un entrepôt afin de transporter des charges. L’IA
augmente les performances fonctionnelles de la machine mobile par le calcul de chemins, basé sur des
éléments de perception à l’aide de capteurs intelligents et d’une mémorisation et actualisation des
éléments perçus. Cette « capacité de décision » donne un degré d’autonomie à l’action de déplacement
de la machine. Cette action de déplacement reste toutefois contrôlable par l’opérateur à l’aide d’un
pupitre de commandes sur lequel celui-ci peut intervenir ; mais la machine peut se déplacer sans ordre
préalable de l’opérateur ? Elle peut changer de direction, s’arrêter, redémarrer, accélérer.
Exemple 6 : un avertisseur sonore utilisant l’IA comme aide à la détection
L’IA capable de différencier un objet d’une personne. L’action consiste à prévenir le conducteur de la
survenue d’un danger potentiel par la présence d’une personne
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 17 sur 18
Annexe II : Liste des participants
NOM
Organisme
Mr AUFFRERE DAVID
DEKRA /COPREC
Mr BELINGARD Pierre
EUROGIP
Mr BERDUCAT Michel
IRSTEA
Mr BISSON Bruno CGC
Mr BONNIER Vincent Force Ouvrière
Mr BOY Stephano ETUI
Mr CHAREILLE Pascal
SOCOTEC
Mr CLEVELAND Richard
CISMA
Mme DELABORDE Agnès
Mr Madaschi David
LNE
Mr DUQUESNE Jean Pierre
CFDT
Mr FRUGIER Benjamin
FIME
Mr GAMBELLI Franck
UIMM
Mme HUBERT CORINNE Mme JAROSZ Catherine
FNTP
Mr INACIO David
Bureau Veritas
Mr JOUANNE François
Carsat Normandie CGT
Mme LE GAZIOU
CAPEB
Direction générale du travail - Bureau des équipements et des lieux de travail- 15 novembre 2019 Page 18 sur 18
Mr SARREY Michael Mr Blaise Jean Christophe
INRS
Mme Maillard Isabelle
Ministère du travail Direction générale du travail
Mme MARTIN Leila Mr DUMINY Christophe Mr GARROUSTE Laurent
Ministère de l’agriculture
Mme PANOZZO Carole
FFB
Mr. MARGOT Gilles
Mme REPELLIN Clémence OPPBTP
Mr SEVERAC Gaetan NAIO TECHNOLOGIES
Mr VERDIER Florient
CNMCCA/FNSEA
COOP de France Coopération agricole