Intégration par calcul différentiel des données du réseau ...€¦ · Outil de contrôle...

04 octobre 2012 / Versailles

Intégration par calcul différentiel des données du réseau d'eau

potable du Grand Lyon

Conférence SIG 2012 – ESRI France

Didier FANGEAT dfangeat@grandlyon.org

Grégory BLANC-BERNARD gblancbernard@grandlyon.org

• Contexte

• Le projet : objectifs, éléments structurants

• Solutions mises en œuvre

• Retours sur expérience

Sommaire

Carte d ’identité

• Communauté urbaine : 58 communes

• Créée en 1969

• 1,3 million d’habitants

ContexteGrand Lyon - Eau potable

• La Direction de l’Eau du Grand Lyon est responsable du service public d’alimentation en eau potable

• Exploitation déléguée : Veolia Eau, Lyonnaise des Eaux et Saur (fermiers)

• Patrimoine estimé ~2,5 milliards € à neuf :– 3 900 km de canalisations– 180 000 branchements– 33 000 vannes– 12 000 poteaux incendie…

• 75% des données de ce SIG proviennent des délégataires

Réseau d’eau potable du Grand Lyon

• Système d’information obsolète (APIC3)

• Méthode d’intégration des données des fermiers perfectible :

– Méthode d’intégration = « Annule et remplace »

Conséquences :

• Un opérateur à temps plein (6 mois pour mise à jour complète)

• Fraîcheur des données

Application existante pour intégrer les donn ées

ContexteAvant le Projet

– Cycle de mise à jour long et fastidieux :

• Peu de maîtrise des données livrées

• Contrôles des données manuels

• Maintien des données internes Ancien processus de mise à

jour des données

• Cycle de mise à jour réduit �

chargement différentiel

• Durée des traitements optimisée ���� outils plus efficaces, automatisés, conviviaux

• Souplesse et évolutivité(modèles des données)

• Nouvelles fonctionnalités pour répondre aux évolutions des métiers

ObjectifsProjet

Amélioration du processus d’intégration

Réservoir de Vancia

• Contexte de fin des contrats de délégation

• SIG de la Direction de l’Eau basésur les solutions ESRI (suite ArcGIS)

• Volumétrie ~ 600 000 objets en base ( performances)

• Données d’origines diverses àintégrer (données internes + données fermiers)

Eléments structurants

ContexteProjet

Grand Lyon (extranet)

Outil de contrôle

Livraison au GRAND

LYON

Fermier

Génération

format

échange

SIG Fermier

Base fermier

Lecture des

erreurs

Grand Lyon (SI interne)

Base

d’intégration

GRAND LYON

Fonctions

d’intégration

Calcul de

différentiel

Base de

production

GRAND LYON

Fonctions de

contrôle

GML

Pas de traçabilité

des modifications

XML

différentielFiches

anom

alie

Anomalie

base complète GL

Format d’échange

Cycle global d ’intégration

PrincipeSolutions mise en œuvre

• Production d’un fichier GML par les fermiers sur leur territoire

• Module spécifique développé par chaque fermier pour exporter ses données SIGau format d’échange

• Export en masse de l’intégralité des objets (sans tenir compte des modifications entre 2 livraisons)

Choix du format GML :

- format standard, évolutif, lisible, validable, distribué

- format pivot et « neutre » (indépendant des technologies des fermiers et du GL)

Grand Lyon – Secteurs fermiers

Production des donnéesSolutions mise en œuvre

Export depuis le SI fermier

Grand Lyon (extranet)

Outil de contrôle

Livraison au GRAND

LYON

Fermier

Génération

format

échange

SIG Fermier

Base fermier

Lecture des

erreurs

Grand Lyon (SI interne)

Base

d’intégration

GRAND LYON

Fonctions

d’intégration

Calcul de

différentiel

Base de

production

GRAND LYON

Fonctions de

contrôle

GML

Pas de traçabilité

des modifications

XML

différentielFiches

anom

alie

Anomalie

base complète GL

Format d’échange

Cycle global d ’intégration

PrincipeSolutions mise en œuvre

Extranet accessible aux fermiers

Contrôle et livraison des donnéesSolutions mise en œuvre

Outil web d’autocontrôle

Rapport d’erreurs

• Besoin : effectuer des contrôles sur le respect du modèle d’échange – Géographiques � « Geometry service » ArcGisServer– Attributaires � Grammaire XML (squelette XSD des GML).

• Contrôle : webservices asynchrones

• Livraison effective après validation du fermier

Processus de contrôle

Extranet accessible aux fermiers

Contrôle et livraison des donnéesSolutions mise en œuvre

• XSD = possibilité de décrire toute la structuration des objets(champs attendus, formats, listes et plages de valeurs, relations, caractère obligatoire d’une donnée…)

• Contrôles mis en place :– Niveau 1 = Erreurs bloquantes (empêchant une livraison)– Niveau 2 = Alertes (livraison autorisée)

• Modèle d’échange décrit dans un fichier XSD « de base », transformé par un fichier XSL pour produire les XSD de N1 et N2

CO.LI. Outil de contrôle et livraison

Transformation XSL

(Librairie libre Saxon)XSD

Base

XSD

Erreurs

XSD

Alertes

XSDDomaines

XSDDomaines

WebService de

contrôle et livraison

Administrateur

Grand Lyon Génération des fichiers XSD

Format d ’échange GML

Fichiers de contrôles

ZoomSolutions mises en œuvre

Grand Lyon (extranet)

Outil de contrôle

Livraison au GRAND

LYON

Fermier

Génération

format

échange

SIG Fermier

Base fermier

Lecture des

erreurs

Grand Lyon (SI interne)

Base

d’intégration

GRAND LYON

Fonctions

d’intégration

Calcul de

différentiel

Base de

production

GRAND LYON

Fonctions de

contrôle

GML

Pas de traçabilité

des modifications

XML

différentielFiches

anom

alie

Anomalie

base complète GL

Format d’échange

Cycle global d ’intégration

PrincipeSolutions mise en œuvre

• Le système génère un fichier XML des différences

• Le différentiel est ensuite chargé dans des couches TMP

• Génération du différentiel entre la base courante du GL et la livraison

• Appel d’un WS asynchrone depuis ARCMAP

� Livraison de l’ensemble des données

� Comparaison entre la base du GL et la livraison plutôt qu’entre 2 livraisons (t ; t+1)

Outil ArcMap de suivi des WebServices asynchrones

Processus de calcul différentiel

Détecter les différences

Calcul de différentielSolutions mises en œuvre

AucuneStable-

L’objet a été scindé en deux objetsScissionS

Deux objets ont été fusionnésFusionF

L’objet a été supprimé puis recréé (ex : erreur de manipulation). Aucune différence sauf son identifiant.

Fausse modificationFM

L’objet a été suppriméSuppressionS

L’objet a été crééCréationC

Géographique et relationnelle et/ou alphanumériqueModification MixteMM

Relationnelle et optionnellement alphanumériqueModification RelationnelleMR

Uniquement géométriqueModification GéométriqueMG

Uniquement alphanumérique : un attribut au moins de l’objet a été modifié

Modification SémantiqueMS

DétailType de modificationCode

Choix du Grand Lyon :

- Non prise en compte des Fusions et Scissions

- Calcul de différentiel exclusivement basé sur des identifiants

Source : IGN + Grand Lyon

Classification du différentiel

ZoomSolutions mises en œuvre

Grand Lyon (extranet)

Outil de contrôle

Livraison au GRAND

LYON

Fermier

Génération

format

échange

SIG Fermier

Base fermier

Lecture des

erreurs

Grand Lyon (SI interne)

Base

d’intégration

GRAND LYON

Fonctions

d’intégration

Calcul de

différentiel

Base de

production

GRAND LYON

Fonctions de

contrôle

GML

Pas de traçabilité

des modifications

XML

différentielFiches

anom

alie

Anomalie

base complète GL

Format d’échange

Cycle global d ’intégration

PrincipeSolutions mise en œuvre

• Objectif : Intégrer les différences calculées, chargées en couches TMP (base DEFAULT)

• Création de version nommée + définition d’un secteur de restriction

• Transfert des données TMP vers les couches définitives

• Validations métiers

• Publication des données (réconciliation / réinjection) Succession d’étapes pour

intégrer les données

Utilisation des versions ESRI

Fonctions d’intégrationSolutions mises en œuvre

Vision m étier

Fonctions d’intégrationSolutions mises en œuvre

Etapes d’intégration des données

Grand Lyon (extranet)

Outil de contrôle

Livraison au GRAND

LYON

Fermier

Génération

format

échange

SIG Fermier

Base fermier

Lecture des

erreurs

Grand Lyon (SI interne)

Base

d’intégration

GRAND LYON

Fonctions

d’intégration

Calcul de

différentiel

Base de

production

GRAND LYON

Fonctions de

contrôle

GML

Pas de traçabilité

des modifications

XML

différentielFiches

anom

alie

Anomalie

base complète GL

Format d’échange

Cycle global d ’intégration

PrincipeSolutions mise en œuvre

• Outil interactif ajouté àARCMAP

• 15 contrôles : techniques ou métiers

• Objectif : Vérifier la qualité de l’ensemble des données avant mise à disposition aux utilisateurs.

Contrôles de la base

ValidationSolutions mises en œuvre

Fenêtre ArcMap de lancement des contrôles

Exemple : Contrôle du réseau structurant

• Performance vs Volumétrie (400 000 objets en GML)– Prise en compte continue dans le projet

• Pertinence du différentiel à étudier– Pas forcément pertinent pour tous les objets– Étudier la « volatilité » des données (ex : base des abonnés

eau potable)

• Gestion des frontières– Modèle relationnel riche � fortes liaisons entre les objets �

limite de propagation des relations à définir lors des échanges et manipulations d’objets

– Référence à définir pour les objets partagés entre plusieurs producteurs de données

• Importance de disposer de jeux d’essais pertinents– Dès le début du projet– Pour tester et optimiser les développements

• Accès concurrentiel sur les données– Traitements asynchrones = solution appréciée– MAIS conflits pouvant survenir entre les différents clients (via

contrôles, réitération, réconciliations…)

• Gestion du réseau géométrique : un système complexe à manipuler

Les points de vigilanceAnalyse critiqueRetours sur expérience

6 octobre 1976 – Lyoncasse ФФФФ 600

Grand Lyon (extranet)

Outil de contrôle

Livraison au GRAND

LYON

Fermier

Génération

format

échange

SIG Fermier

Base fermier

Lecture des

erreurs

Grand Lyon (SI interne)

Base

d’intégration

GRAND LYON

Fonctions

d’intégration

Calcul de

différentiel

Base de

production

GRAND LYON

Fonctions de

contrôle

GML

Pas de traçabilité

des modifications

XML

différentielFiches

anom

alie

Anomalie

base complète GL

Format d’échange

Temps de traitement

Exemple pour 2/3 du territoire du Grand Lyon

Production GML � 1h

Contrôles � 5h

Livraison � Instantané

Différentiel � 8h

Analyse critiqueRetours sur expérience

• Eléments de pilotage– Prestation de développement : 200 k€ HT

– Charge de 1000 j.homme (interne)

– Planning : 3 ans

• Retours des utilisateurs et administrateurs– Outils en production et appropriés par les utilisateurs mais sont en

« exploitation sous contrôle »

– Utilisateurs satisfaits de l’ergonomie et du fonctionnement

Un projet long … mais réussi

ConclusionIntégration différentielle

• Approche différentielle– Méthode pertinente, qui produit un réel gain de temps

– Le projet a permis de réfléchir au degré d’automatisation souhaité

04 octobre 2012 / Versailles

Merci de votre attention

Conférence SIG 2012 – ESRI France

Didier FANGEAT dfangeat@grandlyon.org

Grégory BLANC-BERNARD gblancbernard@grandlyon.org