Nicolas Sannier 1, 2 Sous la direction de Benoit Baudry 2 , Thuy Nguyen 1 , Laurence Picci 1

INCREMENT Une approche pour modliser et analyser dans le large les exigences rglementaires de sretNicolas Sannier1, 2Sous la direction de Benoit Baudry 2, Thuy Nguyen1, Laurence Picci1

1 EDF R&D - STEP P1A 2 Inria Rennes Bretagne Atlantique Triskell

[*] Sannier & Baudry - submitted to REFSQ' 2014

A propos Du contrle-commande et de ses exigencesLe contrle-commande nuclaire :Permet de mesurer et de piloter lactivit de la centraleVa des capteurs aux interfaces Homme-SystmeDoit rpondre diffrentes exigences

Les exigences fonctionnelles et de performance

*


A propos Des systmes classs de sret

Systmes importants pour la sretSystmes dont la dfaillance (erreurs, perte) entranerait la perte ou des dommages importants aux personnes, installations, lenvironnement

Exigences de sret*


A propos des exigences de sret de fonctionnementLes exigences de sret de fonctionnement au regard de la raison dtre du systmeDtermines par le matre douvrageRisques , fiabilit, disponibilit, maintenabilit,

Les exigences rglementaires de sretImposes au matre douvrage par les pouvoirs publicsPour la protection des personnes et de lenvironnementSont ambiges, non vrifiables, non atomiques, Htrognit des sources, Domaine en forte volution et complexe*


A propos Les diffrentes sources dexigences rglementairesLes textes rglementaires de haut niveau, fixent des objectifs globauxLes guides rglementairespratiques juges acceptables par une autorit rglementaireLes normes nationales et internationalesSont parfois imposes, sinon dapplication volontaireLes pratiquesPratiques acceptes sur des projets rcents

*


A propos Dimensions des volutions rcentes des exigences rglementairesUne dimension temporelleMultiplication des normes avec larrive de nouvelles technologiesAspects logiciels pour les systmes de CC en France : 1 norme appliquer en 1986 100+ en 2013

Une dimension internationalediffrentes cultures de sret*[4] Sannier, Baudry & Nguyen MODRE 2011


A propos de lorganisation du domaine et de la traabilit des exigences*[*] Sannier & Baudry RELAW' 2012Quelles sont les exigencesRelatives ?


Questions de recherche

Objectifs industrielsFormaliser et organiser dans le large et haut niveau la connaissance mtier dune faon pertinente du point de vue dun ingnieur nuclaire Acquisition, navigation, manipulation dans le modle

Verrous scientifiquesAdquation des techniques de modlisation et de traabilit de ltat de lart pour ces objectifs et ce domaine ?Comment analyser de tels modles, comment aider la traabilit de ces exigences rglementaires ?*


There are known knowns. These are things we know that we know. There are known unknowns. That is to say, there are things that we know we dont know. But there are also unknown unknowns. There are things we dont know we dont know.Donald Rumsfeld, cited in Sawyer et al., RE 2011Etat de lart*


Etat de lartUne problmatique multi-domaines3 domainesIngnierie des exigencesIngnierie dirige par les modlesRecherche dinformation

4 proccupationsLa dfinition / formalisation dexigencesLa prise en compte des exigences rglementairesLa traabilitDans le large*


Etat de lartUne problmatique multi-domaines*Ingnierie des exigencesIngnierie (des exigences) dirige par les modlesTechniques de recherche dinformation

Traabilit des exigencesSpcification des exigencesexigences lgales et rglementationTraabilit des exigences recherche dinformationKAOS, i*


Etat de lartSynthse et limites courantes*

PatronsUMLSysMLKAOSi*Concepts manipulsExigenceslts. diagrammeExigencesButs, attentes, exigencesButs, attentes, exigencesExigences rglementairesNonNonNonNonNonTraabilitNonAssociations AssociationsAssociationsAssociationsDans le large NonNonNonModulesModules

Anton et al.Amyot et al.Briand et al.Cleland et al.Travaux RIConcepts manipulsDroits et devoirsExigencesExigencesExigencesDocumentsExigences rglementairesHIPAATransportsNormes de sretNonNonTraabilitNonNonAssociationsCandidatsCandidatsDans le large NonNonNormeModulesCorpora


INCREMENT : une approche hybride pour modliser et analyser dans le large les exigences rglementaires de sret*


Contributions de la thse

Comment formaliser et organiser la connaissance mtier dune faon pertinente du point de vue dun ingnieur nuclaire ? Un mtamodle du domaine (Connexion)Une fois les concepts formaliss, comment acqurir, naviguer et manipuler des modles ?Une base outille pour lacquisition, la manipulation et la navigation (IncrementParser, IncrementGUI)Comment analyser de tels modles, comment aider la traabilit de ces exigences rglementaires ?Des outils dindexation et de recherche dinformation branchs sur les modles (IncrementTools, IncrementIndex)

*


INCREMENTUne approche hybride pour un problme hybride*Ingnierie des exigencesIngnierie (des exigences) dirige par les modlesTechniques de recherche dinformation

Traabilit des exigencesSpcification des exigencesexigences lgales et rglementationTraabilit des exigences recherche dinformationKAOS, i*INCREMENT


INCREMENTUne approche hybride pour un problme hybrideInstrumentation aNd Control REquirements Modeling environmENT

INCREMENT-MDEIDM pour formaliser et capitaliser sur le domaineINCREMENT-IRRecherche dinformation (RI) pour lanalyse des contenus textuelsINCREMENT-HybridHybridation IDM/RI dans un mme environnement

*[*] Sannier & Baudry - submitted to REFSQ' 2014


INCREMENT-MDE : une approche dIngnierie Dirige par les Modles*


INCREMENT-MDE : une approche dIDMConstruction dun mtamodle** Plus de dtails dans la thse ou sur htpp://nicolassannier.wordpress.comEtat de lart acadmiqueExperts mtierIncrementParserMtamodlesDonnes mtierIncrementToolsIncrementGUI


INCREMENT-MDE : une approche dIDMConcepts du mtamodle*


INCREMENT-MDE : une approche dIDM3- Un environnement support la modlisation : IncrementGUI*Liste des regroupementsCorpora, topics, projets, Rgles de design, interactions Liste des lments et verbatimsproprits


INCREMENT-MDE : une approche dIDMDes briques supports lacquisition, la manipulation et lanalyseUn ensemble de briques pour lacquisition et lanalyse des modlesIncrementParser : un analyseur configurable pour lacquisitionIncrementGUI : un environnement de modlisationIncrementTools : ensemble de rgles et de mthodes sur les modles

Acquisition automatique de 8 normes CEI, plus de 8000 lments+ normes IEEE, AIEAUn extracteur depuis la base de donnes CONNEXION (800 exi.)Gnration de collections gnriques ditables*


INCREMENTLimites dune approche IDM*10CFR50: RegulatoryDocumentname: 10CFR50 title: 10CFR50 - Appendix A10CFR50A.3:Sectionname: 10CFR50A.3title: III. Protection and Reactivity Control Systemsverbatim: III. Protection and Reactivity Control Systems \nCriterion 20Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable tf22:TextFragmentname: tf22id: 10CFR50 Appendix A III - Criterion 22verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ...fragmentsfragments10CFR50-A3.22:RegulatoryRequirementid: 10CFR50-A3.22name: 10CFR50-A3.22verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on classification: IEEE 1E IEEE non-1EinputAuthor: AREVAdate: 2013systemTarget: Protection system: RTS, ESFAS, DCS: TypedElementCorpuselementsfromDocumentsanalyzedAscorpuscorpus: Corpusname: corpusfragments


INCREMENTLimites dune approche IDM*10CFR50: RegulatoryDocumentname: 10CFR50 title: 10CFR50 - Appendix A10CFR50A.3: Sectionname: 10CFR50A.3title: III. Protection and Reactivity Control Systemsverbatim: III. Protection and Reactivity Control Systems \nCriterion 20Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable tf22: TextFragmentname: tf22id: 10CFR50 Appendix A III - Criterion 22verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ...fragmentsfragments10CFR50-A3.22: RegulatoryRequirementid: 10CFR50-A3.22name: 10CFR50-A3.22verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on classification: IEEE 1E IEEE non-1EinputAuthor: AREVAdate: 2013systemTarget: Protection system: RTS, ESFAS, DCS: TypedElementCorpuselementsfromDocumentsanalyzedAscorpuscorpus: Corpusname: corpusfragments


INCREMENTLimites dune approche IDM*10CFR50: RegulatoryDocumentname: 10CFR50 title: 10CFR50 - Appendix A10CFR50A.3:Sectionname: 10CFR50A.3title: III. Protection and Reactivity Control Systemsverbatim: III. Protection and Reactivity Control Systems \nCriterion 20Protection system functions. The protection system shall be designed (1) to initiate automatically the operation of appropriate systems including the reactivity control systems, to assure that specified acceptable tf22:TextFragmentname: tf22id: 10CFR50 Appendix A III - Criterion 22verbatim: Criterion 22-Protection system independence The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on redundant channels do not result in loss of the protection function ...fragmentsfragments10CFR50-A3.22:RegulatoryRequirementid: 10CFR50-A3.22name: 10CFR50-A3.22verbatim: Protection system independence. The protection system shall be designed to assure that the effects of natural phenomena, and of normal operating, maintenance, testing, and postulated accident conditions on classification: IEEE 1E IEEE non-1EinputAuthor: AREVAdate: 2013systemTarget: Protection system: RTS, ESFAS, DCS: TypedElementCorpuselementsfromDocumentsanalyzedAscorpuscorpus: Corpusname: corpusfragments


INCREMENTVers une approche de recherche dinformationUn modle dexigences :De taille importante (plusieurs milliers dlments)Contenu est essentiellement textuel, de haut niveau et ambiguLimitations du nombre doprations sur les modles

Dfinition de plusieurs types de lien de traabilitPas dlments pour calculer et mettre en uvre la traabilit

Traabilit des exigences avec la recherche dinformation*


INCREMENTIndexation et de recherche dinformation (TF-IDF)Indexation pour stocker, trier les informations dun document (unit de traitement) dans des champsUn document est un fragment de texte (taille et forme indiffrente)Un calcul de similarit entre une requte portant sur un ou plusieurs champs des documents de lindexTerm frequency (TF) : plus le ou les termes apparaissent dans le document, plus le score est hautInverse document frequency (IDF) : Plus le terme apparait dans les documents, plus il est commun, moins il est importantScore TF-IDF : plus les documents contiennent les termes de la requte plus le score est haut*


INCREMENTLimites dune approche recherche dinformationForte gnration de faux positif avec les scores TF-IDFTraabilit = favorisation du rappel au dtriment de la prcisionDautant plus forte que tout le contenu des documents est conserv

Matriser la gnration de faux-positif dans ltat de lartValeur de coupure arbitraireRegroupements entre bonnes et mauvaises exigences*


INCREMENT-Hybrid : une hybridation IDM / Recherche dinformation*


INCREMENT-HybridHybrider lIDM et la recherche dinformationUn modle dexigencesAcquis de manire semi-automatiqueRiche en informationspeu exploitable pour des analyses automatiques sur les verbatimsUn index Acquis manuellementDe taille raisonnable (> 8000 documents pour 8 normes) : plat, sans typologie, avec peu dinformations sinon les textes

Mettre disposition automatiquement et prendre en compte les informations du modle pour lindexation et la recherche dinformation*


INCREMENT-HybridQuestions de rechercheComment indexer les proprits dun modle dexigences ?Une analyse de la synchronisation modle index sur le patron CRUDUn mcanisme dindexation automatique des lments de modle

Quelle efficacit de lutilisation des proprits du modle pour la matrise des faux positifs ?Une tude sur limpact de lutilisation du typage pour amliorer la recherche dinformation

*


INCREMENT-HybridIndexer les proprits dun modle ?*[2] Sannier & Baudry MODRE 2012


INCREMENT-HybridMcanisme de synchronisationUn mcanisme de synchronisation modle - indexUn sens de synchronisation : modle indexDeux modes de synchronisation la demande (chargement/sauvegarde du modle dans loutil)Implment dans loutil la vole : chaque modification du modle*[2] Sannier & Baudry MODRE 2012


INCREMENT-HybridEfficacit de lhybridationMatriser la gnration de faux positifsMISC : Modeling - Indexing - Searching - Comparing

*Standards{documents}Standard IndexModel{related documents}automatic extraction with reading rulesconforms toConnexion MetamodelCandidate linksPlain text standardsPreprocessing documents indexingINCREMENT queryingModel-based Index{related documents}Candidate linksRelative ComparisonDetermining reading rulesDocument specific reading rulesindexingStandard queryingManual extraction[*] Sannier & Baudry - submitted to REFSQ' 2014


INCREMENT-HybridBnfices de lhybridation*[*] Sannier & Baudry - submitted to REFSQ' 2014

querycandidate links (above the cut-off value)retrieved requirements and recommendations above the thresholdretrieved links in the model-based indexstraightforward reduction of the research space (%)Loss of requirements and recommendationsconfiguration management2217210652,0434common cause failure CCF1541711525,3298specification57621621662,500independence64141478,130validation347969672,330verification44516917161,572quality assurance2598410659,0722defence in depth8181482,726integration237656572,570self supervision92252572,830modification214707067,290diversity103161684,470isolation388878,950


INCREMENT-HybridBnfices de lhybridationRduction des espaces de candidats en moyenne de 65%Sans avoir besoin dune valeur de coupureEnsembles plus petits et plus pertinents pour lanalyse

Contribution en traabilit des exigences : Recherche dinformation fort rappel, trs faible prcisionAmlioration par construction de la prcisionHypothse : Maintien du rappel (aucune exigence perdue)*[*] Sannier & Baudry - submitted to REFSQ' 2014


3. Conclusion et perspectives*


INCREMENTSynthseInstrumentation aNd Control REquirements Modeling environmENTIDM pour formaliser et capitaliser sur le domaineRecherche dinformation (RI) pour lanalyse des contenus textuelsHybridation IDM/RI dans un mme environnement



Rsum des contributions

1 contribution mthodologique La description du domaine, de ses exigences et de leur volution

3 contributions techniques dans INCREMENTUtilises par les partenaires CONNEXION dans le cadre du projetLa formalisation du domaine des exigences rglementairesUn Mtamodle et une dmarche outille laccompagnantUne analyse de diffrentes techniques de recherche dinformation pour la traabilitStatistiques, Clustering, Topic detection (LDA), Scores TF-IDF

*


Rsum des contributions

Lhybridation entre le mtamodle et les techniques dindexationIndexation automatique des modles dexigencesSystme de recherche dans Increment-GUI*


Perspectives pour INCREMENTR&DDans le cadre R&D du projet CONNEXIONMaturation du mtamodle et de ses outils chez les partenairesPrise en compte de la variabilit des exigences (thse S. Ben Nasr)Meilleures dfinitions des rgles de design, de la justification

En dehors de CONNEXIONPassage hors du monde nuclaire avec une exprimentation sur des normes de performance lectrique des btiments (collaboration avec Martin Monperrus Univ. Lille)Evaluation de la rduction de lespace de recherche en dehors du typage



Perspectives pour INCREMENTRecherche acadmiquePour le domaine de lingnierie des exigences rglementairesMtamodle Connexion = Structuration organique des exigencesPrendre en compte la nature des exigencesExigences dobjectifs, de moyens, de processus, autre ?

Dfinir des environnements pour la certificationPlus gnriques que les actuels (Connexion, Cresco, SafetyMet, etc.)Sorganisant autour des natures / contratsCollaboration avec Simula en rflexion*


Publications lies la thse

*. INCREMENT: A Mixed MDE-IR Approach for Regulatory Requirements Modeling and Analysis, Nicolas Sannier, and Benoit Baudry, submitted to (REFSQ2014), 2014Defining and Retrieving Themes in Nuclear Regulations, Nicolas Sannier, and Benoit Baudry, in (RELAW2012), pp 33-41, Chicago, Ill., USA, 25th of September 2012Toward Multilevel Textual Requirements Traceability using Model-driven Engineering and Information Retrieval, Nicolas Sannier, and Benoit Baudry, in (MoDRE2012), pp 29-38, Chicago, Ill., USA, 24th of september 2012.Ingnierie dirige par les modles pour structurer et partager un rfrentiel dexigences de sret dans la dure, Nicolas Sannier, in 4mes Journes nationales du GRD-GPL 2012, p 203, Rennes, France, 20-22 June 2012.Formalizing standards and regulations variability in longlife projects. A challenge for model-driven engineering, Nicolas Sannier, Benoit Baudry, and Thuy Nguyen, in 1st International Workshop Model-Driven Requirements Engineering (MoDRE2011), pp 64-73, Trento, Italy, 29th of august 2011.Dfis pour la variabilit et la traabilit des exigences en ingnierie systme, Nicolas Sannier, and Benoit Baudry, in INFORSID2011, Lille, France, 24-26 may 2011

*


Publications non lies la thse

Comparing or Conguring Products: Are We Getting the Right Ones? Nicolas Sannier, Guillaume Bcan, Mathieu Acher, Sana Ben Nasr, and Benoit Baudry, in (VAMOS2014), Nice, France, to appear.On Product Comparison Matrices and Variability Models from a Product Comparison/Conguration Perspective, Nicolas Sannier, Guillaume Bcan, Sana Ben Nasr, Benoit Baudry, in (JLDP2013), Paris, France, November 29, 2013.From Comparison Matrix to Variability Model: The Wikipedia Case study, Nicolas Sannier, Mathieu Acher, and Benoit Baudry, in (ASE2013),pp 580-585, Palo Alto, California, November 11 15, 2013.

*


Les diapositives Bonus*


A propos Des systmes numriques de contrle-commande (CC) des centralesLe contrle-commande : Ralisation de fonctions importantes pour la sret1985 : premier systme de protection racteur numriqueNcessit dutiliser des technologies numriquesRarfaction des systmes non numriquesUtilisation de produits de moins en moins ddis

Suspicion universelle vis--vis du logicielAriane, Ping of Death, rgulateurs de vitesse dfectueux, Louvois On ne sait pas dmontrer labsence derreur Risques de dfaillance de cause commune

*[4] In Sannier, Baudry & Nguyen - MODRE' 2011


Consquences de la complexit du domaineUn peu dhistoire rcente du CC nuclaire*Un projet EPR certifi pour la France par les autorits de sretDeux projets en Chine, accepts sur le modle franaisUn projet en Finlande, accept en Finlande aprs modificationUn projet en Grande-Bretagne et aux Etats-Unis (en cours dvaluation)

1 EPR, 5 Projets mais :4 architectures de contrle commande diffrentes, 4 processus de certifications diffrents2 checs de certification (Grande Bretagne, Etats-Unis)[*] Sannier & Baudry - submitted to REFSQ' 2014


Etat de lartExigences rglementairesTravaux et communaut essentiellement dans le secteur mdical et aux USConformit par rapport des proccupations trs particuliresExigences rglementaires in the small

Travaux autour de la certification et conformit aux normesTravaux sur les grandes normes (DO-178, CEI 61508)Travaux spcifiques une normeUne approche rcente pour de la conformit multi normes, multi domaines (OPENCOSS)Toutes des spcialisations de la CEI 61508



Etat de lartFormalisation et modlisation des exigencesFormalisation par patrons de spcificationDwyer, Konrad et Cheng, Volere shells, EARS, etc.Valable pour les exigences de plus bas niveau

Formalisation par la modlisationApproches orientes buts (KAOS, i*) : pour llucidation dexigencesUML : valable pour les exigences traditionnelles, pas normativesSysML (diagramme dexigences) : expressivit faible tel quelDSLs : spcifiques une proccupation sur les exigencesSpcification, versions de modles, proprits particulires



Etat de lartTraabilit des exigencesSmantique de la traabilitLiens simples entre n lmentsLiens plus riches (derive, satisfy, contain, reference, require, etc.)

Reprsentation de la traabilitMatrices, rfrences, liens hypertextes, associations, etc.

Moyens de mise en uvreTraabilit manuelle ou semi-automatiseAnalyse de la langue naturelleRecherche dinformation pour la traabilit des exigences*[*] Sannier & Baudry - submitted to REFSQ' 2014


Etat de lartSynthse et limites courantesDes exigences complexes, subies, en dehors de ltat de lart acadmiqueInadquation des techniques de spcification pour le problmeTravaux limits un nombre limit dexigences rglementairesModlisation (UML, SysML, KAOS, i*, Use case maps) peu adapteUtile en lucidation, pas pour brosser le paysageForte dformation de la smantique et obligation dextensionModlisations spcifiques une normeTraabilit Manuelle ou semi-automatise sur des ensembles contrlsGestion des espaces de candidats*[*] Sannier & Baudry - submitted to REFSQ' 2014


INCREMENT-MDE : une approche dIDMEvolution dun mtamodledun triptyque de base < Exigence, architecture, qualification > *


INCREMENT-MDE : une approche dIDMUn mtamodle du domainePlusieurs grands concepts :TypedElement qui regroupent les exigences, les recommandations, etc.Corpus, Document, DocumentFragment, pour les documents et la rglementation do sont issues les exigencesInteraction pour la traabilit entre exigences et les comparaisons DesignRule, pour un pont vers larchitectureJustification, pour la gestion de la justificationDes wrappers pour des regroupements personnalissTopic pour le regroupement dexigences dans les thmesProject pour avoir une vue sur les diffrents projets et les exigencesTypedElementWrapper, pour dautres regroupements

*


Dire plus souvent le mot scientifique questions de recherche et enjeux scientifiqueTableau modre like : feature x approches