Upload
jean-lin-pacherie-phd
View
94
Download
3
Embed Size (px)
Citation preview
www.steria.com
JFTL 2014: Rôle et apports de la génération de données dans le Test
01.04.2014 – J.L. Pacherie & G. Rols
Données de test : douleurs et motivations
14-6-20 2
SOLUTION DE SERVICE INDUSTRIALISEE
SOLUTION DE SERVICE INDUSTRIALISEE
COÛTSQUALITE
DELAIS
JFTL 2014: Rôle et apports de la génération de données dans le Test
Données de test : retour d’expérience Steria
14-6-20 3
Besoins Une intégration des outils de
jeux de données (JdD) dans la chaîne des outils de test
Une approche fonctionnelle de la production des jeux de données
Un pilotage par le besoin et non par les contraintes
Une couverture du besoin de création
Savoir-faire
Echantillonner de manière cohérente des bases de différents systèmes d’un même SI
Extraire des données ciblées sur des besoins fonctionnels
Assurer la sécurité et la confidentialité des données.
JFTL 2014: Rôle et apports de la génération de données dans le Test
Préconisation : organisation d’une cellule de JdD
Les Fonctions
Support à l’usage desdonnées en hors prod
Gérer et consolider lesdemandes
Gérer le patrimoine deréférentiels et d’outils
Données statiquesExtraction de production
Données dynamiquesGénération de données
Intégrer la génération dans une solution de service
Gestion de laCapitalisation
Dynamique
Gestion des Demandes(catalogue de service)
StatiqueExtraction
Support & Traçabilité
Testeur Testeur Testeur
Gestion de laCapitalisation
Testeur
Génération
ProfilageProfilage
ModélisationModélisation
CertificationCertification
CiblageCiblage
AnonymisationAnonymisation
EchantillonnageEchantillonnage
11
22
33
44
55
414-6-20 JFTL 2014: Rôle et apports de la génération de données dans le Test
Objectifs de la génération dans la solution
14-6-20 5
COÛTS QUALITEDELAIS
Réduire les délais de mise à disposition des données de tests
S’affranchir de la dépendance aux environnements de production
Industrialiser les travaux de création de données
Réduire les délais de mise à disposition des données de tests
S’affranchir de la dépendance aux environnements de production
Industrialiser les travaux de création de données
Simuler des comportements complexes: dynamique des données
Créer les données indisponibles en production
Homogénéiser la création des jeux de données des tests manuels
Variabiliser les scripts d’automatisation
Production de données de Test vs Production des données des tests
La génération n’est en aucun cas liée au hasard
JFTL 2014: Rôle et apports de la génération de données dans le Test
Génération de données dynamiques (1/2)
14-6-20 6
• Initialiser les plateformes • Provisionner des données
qui n’existent pas en production
• Provisionner des états du système
ENJEUXENJEUX
• Plus de liberté et d’agilité• Possibilité de créer des
situations inobservées • Coût de production
minimes
GAINSGAINS
SOLUTIONSOLUTION
• Intégrer une ou plusieurs interfaces d’injection
• Modéliser dans les générateurs les contraintes
• Assurer des points de paramétrage
Maitriser le processus de modélisation de la qualité des données pour la génération Disposer d’interfaces d’injection opérationnelles sur la plateforme de test S’assurer des mécanismes de propagation de la création de données dans un système
multi-applicatif
Maitriser le processus de modélisation de la qualité des données pour la génération Disposer d’interfaces d’injection opérationnelles sur la plateforme de test S’assurer des mécanismes de propagation de la création de données dans un système
multi-applicatif!
Créer des données socles
JFTL 2014: Rôle et apports de la génération de données dans le Test
Génération de données dynamiques (2/2)
14-6-20 7
• Simuler les comportements pour disposer des séquences d’événements
ENJEUXENJEUX
• Une approche métier• Tester des cinématiques
complexes • Le coût est proportionnel à
la complexité de modélisation du profil
GAINSGAINS
SOLUTIONSOLUTION
• Modéliser les événements
• Analyser le réalisme de chaque événement
• Contrôler la séquence et les corrélations entre les événements d’une séquence
L’outillage d’injection et de génération doivent être coordonnés. La production de séquence doit se faire sur des données en base (clients connus du
système, produits au catalogue, etc.) et nécessite la constitution de référentiel de données transverses.
L’outillage d’injection et de génération doivent être coordonnés. La production de séquence doit se faire sur des données en base (clients connus du
système, produits au catalogue, etc.) et nécessite la constitution de référentiel de données transverses.!
Créer des événements sur des profils de comportements
JFTL 2014: Rôle et apports de la génération de données dans le Test
Atelier en ligne pour la génération des données
14-6-20 8
ISDN
N° INSEE
I BAN
ADRESSE
DA
TE
HEURE
Permet de concevoir et exécuter des générateurs à partir de règles prédéfinies que l’on peut assembler librement
JFTL 2014: Rôle et apports de la génération de données dans le Test
Moteur de génération de données : GEDIS Studio
Solution collaborative pour la génération de données
Espace Projet 1 Espace Projet 2 Espace Projet 3
Espace Partagé
Les utilisateurs et les administrateurs n’ontpas besoin d’être sur le même site. L’intervention d’experts / support est facilitée
Les utilisateurs et les administrateurs n’ontpas besoin d’être sur le même site. L’intervention d’experts / support est facilitée
Testeur
Chaque projet sélectionne les générateurset données de référence qui conviennent àson objectif de test ET produit ses données
Chaque projet sélectionne les générateurset données de référence qui conviennent àson objectif de test ET produit ses données
La cellule JdD publie des générateurset des données de référence dans un espace partagé qu’elle administre
La cellule JdD publie des générateurset des données de référence dans un espace partagé qu’elle administre
Générateurs
Générateurs
Générateurs
Générateurs
Générateurs
914-6-20 JFTL 2014: Rôle et apports de la génération de données dans le Test
Générateurs
Générateurs
FRANCE
POLOGNE
INDE
Génération de données : bonnes pratiques
14-6-20 10
Simuler des modèles de réalisme et non pas la réalité
Procéder par étapes
JFTL 2014: Rôle et apports de la génération de données dans le Test
Rechercher la donnée pivot (structure et qualité des données)
Configurer de manière fonctionnelle les générateurs
Cas d’usage : un opérateur Telecom leader en Europe (1/2)
14-6-20 11
Enjeux client Vérifier les règles de valorisation d’un usage multi-services (voix,
SMS, data) en fonction du contrat et des options souscrites
!Défis Variantes des options sur les contrats impactant le calcul Variantes des usages (appels surtaxés, internationaux, gratuits, etc.) Gestion des horodatages, multi-formats, clients brûlés, etc.
Rapidité de mise à disposition des données Simplification des oracles de tests Transparence des formats et valorisation technique des CDR
Rapidité de mise à disposition des données Simplification des oracles de tests Transparence des formats et valorisation technique des CDR
Vérifier les règles de valorisation …
JFTL 2014: Rôle et apports de la génération de données dans le Test
Solution Etablir des profils de comportement paramétrables par type de contrat Simuler des usages en générant les traces d’appel (CDR)
JFTL 2014: Rôle et apports de la génération de données dans le Test
Cas d’usage : un autre opérateur Telecom leader en Europe (2/2)
14-6-20 12
Enjeux client Valider des algorithmes analytiques permettant d’optimiser le
positionnement d’antennes en fonction des usages
Agilité et coûts : test d’un scenario en moins de 15 minutes Tests en taille significative, jusqu’à taille réelle Simulation prospective
Agilité et coûts : test d’un scenario en moins de 15 minutes Tests en taille significative, jusqu’à taille réelle Simulation prospective
… vers les problématiques de Big Data
!Défis Evénements « minute par minute » de plus de 2000
usagers sur 6 mois Plus de 10 types de services et 10 profils d’usage Déplacements avec des centres d’attraction mouvants
15 millions d’événements par
simulation
Solution Faire évoluer les profils d’usage pour y inclure la mobilité Retrouver les motifs de comportement utilisés par le générateur via les
algorithmes à tester
Cas d’usage : un éditeur du secteur bancaire
14-6-20 13
Enjeux client Valider un algorithme de détection de transactions SWIFT portant
sur des personnes blacklistées (OFAC SDN List)
!Défis Mise à jour fréquente des listes noires Nombreuses combinaisons de mutations à tester Qualification de chacune des règles du filtre
Qualifier les outils de lutte contre le blanchiment d‘argent
15 750 000 messages SWIFT différents générés
Disponibles en seulement quelques minutes
15 750 000 messages SWIFT différents générés
Disponibles en seulement quelques minutes
JFTL 2014: Rôle et apports de la génération de données dans le Test
Solution
Génération de données : un élément clé pour l’industrialisation de la gestion des données
14-6-20
La génération de données
Création de données absentes Simulation des comportements Couverture plus large des tests Réduction des coûts de production
La génération de données
Création de données absentes Simulation des comportements Couverture plus large des tests Réduction des coûts de production
Solution de service
Reconnaître le rôle des JdD dans les difficultés des tests
Faire face à la résistance au changement vis-à-vis de la génération
Responsabiliser l’utilisateur sur son rôle de pilote de la qualité des données
Reconnaître le rôle des JdD dans les difficultés des tests
Faire face à la résistance au changement vis-à-vis de la génération
Responsabiliser l’utilisateur sur son rôle de pilote de la qualité des données! Une intégration des processus et outils
14 JFTL 2014: Rôle et apports de la génération de données dans le Test
2 besoins : données statiques et dynamiques
2 technologies : extraction et génération
www.steria.com
JFTL 2014: Rôle et apports de la génération de données dans le Test
Q&R – Merci pour votre attention