Embed Size (px)
Citation preview
04 octobre 2012 / Versailles
Intégration par calcul différentiel des données du réseau d'eau
potable du Grand Lyon
Conférence SIG 2012 – ESRI France
Didier FANGEAT [email protected]
Grégory BLANC-BERNARD [email protected]
• Contexte
• Le projet : objectifs, éléments structurants
• Solutions mises en œuvre
• Retours sur expérience
Sommaire
Carte d ’identité
• Communauté urbaine : 58 communes
• Créée en 1969
• 1,3 million d’habitants
ContexteGrand Lyon - Eau potable
• La Direction de l’Eau du Grand Lyon est responsable du service public d’alimentation en eau potable
• Exploitation déléguée : Veolia Eau, Lyonnaise des Eaux et Saur (fermiers)
• Patrimoine estimé ~2,5 milliards € à neuf :– 3 900 km de canalisations– 180 000 branchements– 33 000 vannes– 12 000 poteaux incendie…
• 75% des données de ce SIG proviennent des délégataires
Réseau d’eau potable du Grand Lyon
• Système d’information obsolète (APIC3)
• Méthode d’intégration des données des fermiers perfectible :
– Méthode d’intégration = « Annule et remplace »
Conséquences :
• Un opérateur à temps plein (6 mois pour mise à jour complète)
• Fraîcheur des données
Application existante pour intégrer les donn ées
ContexteAvant le Projet
– Cycle de mise à jour long et fastidieux :
• Peu de maîtrise des données livrées
• Contrôles des données manuels
• Maintien des données internes Ancien processus de mise à
jour des données
• Cycle de mise à jour réduit �
chargement différentiel
• Durée des traitements optimisée ���� outils plus efficaces, automatisés, conviviaux
• Souplesse et évolutivité(modèles des données)
• Nouvelles fonctionnalités pour répondre aux évolutions des métiers
ObjectifsProjet
Amélioration du processus d’intégration
Réservoir de Vancia
• Contexte de fin des contrats de délégation
• SIG de la Direction de l’Eau basésur les solutions ESRI (suite ArcGIS)
• Volumétrie ~ 600 000 objets en base ( performances)
• Données d’origines diverses àintégrer (données internes + données fermiers)
Eléments structurants
ContexteProjet
Grand Lyon (extranet)
Outil de contrôle
Livraison au GRAND
LYON
Fermier
Génération
format
échange
SIG Fermier
Base fermier
Lecture des
erreurs
Grand Lyon (SI interne)
Base
d’intégration
GRAND LYON
Fonctions
d’intégration
Calcul de
différentiel
Base de
production
GRAND LYON
Fonctions de
contrôle
GML
Pas de traçabilité
des modifications
XML
différentielFiches
anom
alie
Anomalie
base complète GL
Format d’échange
Cycle global d ’intégration
PrincipeSolutions mise en œuvre
• Production d’un fichier GML par les fermiers sur leur territoire
• Module spécifique développé par chaque fermier pour exporter ses données SIGau format d’échange
• Export en masse de l’intégralité des objets (sans tenir compte des modifications entre 2 livraisons)
Choix du format GML :
- format standard, évolutif, lisible, validable, distribué
- format pivot et « neutre » (indépendant des technologies des fermiers et du GL)
Grand Lyon – Secteurs fermiers
Production des donnéesSolutions mise en œuvre
Export depuis le SI fermier
Grand Lyon (extranet)
Outil de contrôle
Livraison au GRAND
LYON
Fermier
Génération
format
échange
SIG Fermier
Base fermier
Lecture des
erreurs
Grand Lyon (SI interne)
Base
d’intégration
GRAND LYON
Fonctions
d’intégration
Calcul de
différentiel
Base de
production
GRAND LYON
Fonctions de
contrôle
GML
Pas de traçabilité
des modifications
XML
différentielFiches
anom
alie
Anomalie
base complète GL
Format d’échange
Cycle global d ’intégration
PrincipeSolutions mise en œuvre
Extranet accessible aux fermiers
Contrôle et livraison des donnéesSolutions mise en œuvre
Outil web d’autocontrôle
Rapport d’erreurs
• Besoin : effectuer des contrôles sur le respect du modèle d’échange – Géographiques � « Geometry service » ArcGisServer– Attributaires � Grammaire XML (squelette XSD des GML).
• Contrôle : webservices asynchrones
• Livraison effective après validation du fermier
Processus de contrôle
Extranet accessible aux fermiers
Contrôle et livraison des donnéesSolutions mise en œuvre
• XSD = possibilité de décrire toute la structuration des objets(champs attendus, formats, listes et plages de valeurs, relations, caractère obligatoire d’une donnée…)
• Contrôles mis en place :– Niveau 1 = Erreurs bloquantes (empêchant une livraison)– Niveau 2 = Alertes (livraison autorisée)
• Modèle d’échange décrit dans un fichier XSD « de base », transformé par un fichier XSL pour produire les XSD de N1 et N2
CO.LI. Outil de contrôle et livraison
Transformation XSL
(Librairie libre Saxon)XSD
Base
XSD
Erreurs
XSD
Alertes
XSDDomaines
XSDDomaines
WebService de
contrôle et livraison
Administrateur
Grand Lyon Génération des fichiers XSD
Format d ’échange GML
Fichiers de contrôles
ZoomSolutions mises en œuvre
Grand Lyon (extranet)
Outil de contrôle
Livraison au GRAND
LYON
Fermier
Génération
format
échange
SIG Fermier
Base fermier
Lecture des
erreurs
Grand Lyon (SI interne)
Base
d’intégration
GRAND LYON
Fonctions
d’intégration
Calcul de
différentiel
Base de
production
GRAND LYON
Fonctions de
contrôle
GML
Pas de traçabilité
des modifications
XML
différentielFiches
anom
alie
Anomalie
base complète GL
Format d’échange
Cycle global d ’intégration
PrincipeSolutions mise en œuvre
• Le système génère un fichier XML des différences
• Le différentiel est ensuite chargé dans des couches TMP
• Génération du différentiel entre la base courante du GL et la livraison
• Appel d’un WS asynchrone depuis ARCMAP
� Livraison de l’ensemble des données
� Comparaison entre la base du GL et la livraison plutôt qu’entre 2 livraisons (t ; t+1)
Outil ArcMap de suivi des WebServices asynchrones
Processus de calcul différentiel
Détecter les différences
Calcul de différentielSolutions mises en œuvre
AucuneStable-
L’objet a été scindé en deux objetsScissionS
Deux objets ont été fusionnésFusionF
L’objet a été supprimé puis recréé (ex : erreur de manipulation). Aucune différence sauf son identifiant.
Fausse modificationFM
L’objet a été suppriméSuppressionS
L’objet a été crééCréationC
Géographique et relationnelle et/ou alphanumériqueModification MixteMM
Relationnelle et optionnellement alphanumériqueModification RelationnelleMR
Uniquement géométriqueModification GéométriqueMG
Uniquement alphanumérique : un attribut au moins de l’objet a été modifié
Modification SémantiqueMS
DétailType de modificationCode
Choix du Grand Lyon :
- Non prise en compte des Fusions et Scissions
- Calcul de différentiel exclusivement basé sur des identifiants
Source : IGN + Grand Lyon
Classification du différentiel
ZoomSolutions mises en œuvre
Grand Lyon (extranet)
Outil de contrôle
Livraison au GRAND
LYON
Fermier
Génération
format
échange
SIG Fermier
Base fermier
Lecture des
erreurs
Grand Lyon (SI interne)
Base
d’intégration
GRAND LYON
Fonctions
d’intégration
Calcul de
différentiel
Base de
production
GRAND LYON
Fonctions de
contrôle
GML
Pas de traçabilité
des modifications
XML
différentielFiches
anom
alie
Anomalie
base complète GL
Format d’échange
Cycle global d ’intégration
PrincipeSolutions mise en œuvre
• Objectif : Intégrer les différences calculées, chargées en couches TMP (base DEFAULT)
• Création de version nommée + définition d’un secteur de restriction
• Transfert des données TMP vers les couches définitives
• Validations métiers
• Publication des données (réconciliation / réinjection) Succession d’étapes pour
intégrer les données
Utilisation des versions ESRI
Fonctions d’intégrationSolutions mises en œuvre
Vision m étier
Fonctions d’intégrationSolutions mises en œuvre
Etapes d’intégration des données
Grand Lyon (extranet)
Outil de contrôle
Livraison au GRAND
LYON
Fermier
Génération
format
échange
SIG Fermier
Base fermier
Lecture des
erreurs
Grand Lyon (SI interne)
Base
d’intégration
GRAND LYON
Fonctions
d’intégration
Calcul de
différentiel
Base de
production
GRAND LYON
Fonctions de
contrôle
GML
Pas de traçabilité
des modifications
XML
différentielFiches
anom
alie
Anomalie
base complète GL
Format d’échange
Cycle global d ’intégration
PrincipeSolutions mise en œuvre
• Outil interactif ajouté àARCMAP
• 15 contrôles : techniques ou métiers
• Objectif : Vérifier la qualité de l’ensemble des données avant mise à disposition aux utilisateurs.
Contrôles de la base
ValidationSolutions mises en œuvre
Fenêtre ArcMap de lancement des contrôles
Exemple : Contrôle du réseau structurant
• Performance vs Volumétrie (400 000 objets en GML)– Prise en compte continue dans le projet
• Pertinence du différentiel à étudier– Pas forcément pertinent pour tous les objets– Étudier la « volatilité » des données (ex : base des abonnés
eau potable)
• Gestion des frontières– Modèle relationnel riche � fortes liaisons entre les objets �
limite de propagation des relations à définir lors des échanges et manipulations d’objets
– Référence à définir pour les objets partagés entre plusieurs producteurs de données
• Importance de disposer de jeux d’essais pertinents– Dès le début du projet– Pour tester et optimiser les développements
• Accès concurrentiel sur les données– Traitements asynchrones = solution appréciée– MAIS conflits pouvant survenir entre les différents clients (via
contrôles, réitération, réconciliations…)
• Gestion du réseau géométrique : un système complexe à manipuler
Les points de vigilanceAnalyse critiqueRetours sur expérience
6 octobre 1976 – Lyoncasse ФФФФ 600
Grand Lyon (extranet)
Outil de contrôle
Livraison au GRAND
LYON
Fermier
Génération
format
échange
SIG Fermier
Base fermier
Lecture des
erreurs
Grand Lyon (SI interne)
Base
d’intégration
GRAND LYON
Fonctions
d’intégration
Calcul de
différentiel
Base de
production
GRAND LYON
Fonctions de
contrôle
GML
Pas de traçabilité
des modifications
XML
différentielFiches
anom
alie
Anomalie
base complète GL
Format d’échange
Temps de traitement
Exemple pour 2/3 du territoire du Grand Lyon
Production GML � 1h
Contrôles � 5h
Livraison � Instantané
Différentiel � 8h
Analyse critiqueRetours sur expérience
• Eléments de pilotage– Prestation de développement : 200 k€ HT
– Charge de 1000 j.homme (interne)
– Planning : 3 ans
• Retours des utilisateurs et administrateurs– Outils en production et appropriés par les utilisateurs mais sont en
« exploitation sous contrôle »
– Utilisateurs satisfaits de l’ergonomie et du fonctionnement
Un projet long … mais réussi
ConclusionIntégration différentielle
• Approche différentielle– Méthode pertinente, qui produit un réel gain de temps
– Le projet a permis de réfléchir au degré d’automatisation souhaité
04 octobre 2012 / Versailles
Merci de votre attention
Conférence SIG 2012 – ESRI France
Didier FANGEAT [email protected]
Grégory BLANC-BERNARD [email protected]
