Upload
microsoft-decideurs-it
View
874
Download
1
Embed Size (px)
DESCRIPTION
Venez faire la connaissance du nouveau-né de la suite SQL Server : DQS. Vous serez surpris de voir tout ce qu’il peut faire : - Valider ou corriger des données selon des règles prédéfinies. - Valider ou corriger des données selon des référentiels. - Calculer le pourcentage de ressemblance entre données. - Dédoublonner les données en fonction de critères de ressemblance. - … et bien encore.
Citation preview
Donnez votre avis !Depuis votre smartphone, sur : http://notes.mstechdays.fr
De nombreux lots à gagner toutes les heures !!!
Claviers, souris et jeux Microsoft…
Merci de nous aider à améliorer les TechDays
http://notes.mstechdays.fr
Qu'est-ce que la qualité des données
et comment avoir des données
de qualité ? DQS nous répond
Mounia BOURDACHEConsultante en BI
Microsoft France
Serveurs / Entreprise / Réseaux / IT
QU’EST CE QUE LA QUALITÉ DES DONNÉES?
Chapitre 1
Data Quality Services
Data Quality Services
INTRODUCTIONDonnéesInformationEntreprise Exploite Fournissent
Data Quality Services
COÛT DE LA NON QUALITÉ DES DONNÉES
Les données causant disfonctionnement et surcout restent toujours trop nombreuses (Coût moyen sur le CA des Entreprises: de 3 à 6%).
Le traitement des données et leur correction a toujours été un soucis important à gérer.
En 2011 et 2012 la qualité des données a été:
- 3e obstacle à la bonne gestion de l’information (après l’accès trop lent à des données sûres et la mauvaise intégration des données)
- 1er obstacle à l’adoption de la BI au sein des Entreprises- 1er facteur à l’origine de la mise en œuvre du MDM au sein des Entreprises.
Data Quality Services
QU’EST CE QUE DE MAUVAISES DONNÉES ?
Données erronées ou incohérentes
Données en doublon
Data Quality Services
COMMENT EST MESURÉE LA QUALITÉ DES DONNÉES?La qualité des données est mesurée en fonction de leur utilisation.
Mauvaises données et/ou Mauvaise connaissance de leur utilisation Mauvais Business
COMMENT AVOIR DES DONNÉES DE QUALITÉ?
Chapitre 2
Data Quality Services
Data Quality Services
DATA QUALITY SERVICES : DQSData Quality Services (DQS) est une solution fondée sur les connaissances.
Elle permet aux professionnels de l'informatique et aux gestionnaires de données d’améliorer facilement la qualité de leurs données
Des données de bonne qualité sont essentielles à une Business Intelligence efficace
DQS est un outil intégré à SQL Server 2012, dont les bases de connaissance peuvent non seulement être générées mais aussi récupérées via des connecteurs à des tiers fournisseurs hébergés sur Azure DataMarket.
Enrichir les bases de connaissances dans le cloud facilitera l’accès à des données de haute qualité.
Data Quality Services
CONCEPT DE LA SOLUTION DQSFondée sur la connaissance
Sémantique
Acquiert des connaissances
Basée sur une base de connaissance DQ Knowledge Base (DQKB) enrichissable et réutilisable
Les Domaines capturent la sémantique des données
Enrichit ses connaissances plus elle est utilisée
Ouverte et extensible
Facile à utiliser
Ajout de bases de connaissances générées et données référencées par des tiers fournisseurs
Interface simple d’utilisation
Data Quality Services
LE PROCESS DE DQS
Détection des doublons et statistiques des données
Data Quality Services
MODÉLISATION DQS
Création (ou import) des
Bases de connaissance
Gestion des DomainesDonnées de référenceAdministration des règles de dédoublonnage
Nettoyage des données (Sources: BDD SQL / xls / csv)
Via interface utilisateur « DQS Client » ou composant SSIS.
Standardisation et correction des données
Data Quality Services
COMPOSANTS DE LA SOLUTION DQS
Nettoyage Dédoublo-nnage
Profilage Contrôle
Modifier, supprimer, enrichir et normaliser des données inexactes ou incomplètes.
Analyser la source de données afin
d’avoir un aperçu de la qualité des
données.
Identifier, réunir ou fusionner les
entrées connexes.
Suivre et contrôlerl'état de la qualité
des données.
Data Quality Services
PROBLÈMES DE QUALITÉ DE DONNES LES PLUS FRÉQUENTS
Standardisation Dans une source de données le genre est F, H. Dans l’autre c’est Mr, Mme
Complétude Quel est le pourcentage des fiches Clients ne contenant pas d’Email?
Validité Est-ce que tous mes codes postaux français hors Corse et Outre-Mer contiennent 5 chiffres?
Cohérence Mes clients étudiants ont-ils bien moins de 26 ans? Donc peuvent bénéficier des réductions?
Unicité Ai-je bien une fiche Client par Client?
Data Quality Services
SOLUTIONS APPORTÉES PAR DQS
Civilité Nom Num Rue Nom Rue Code Postal Ville Date NaissanceMr BERNIER Laurent 15 RUE DE LA PAIX Issy les Mx 01/05/1908M. BERINER Laurent RUE DE LA PAIE 92130 Saint cloud 01/05/1980
Civilité Nom Num Rue Nom Rue Code Postal Ville Date NaissanceMonsieur BERNIER Laurent 15 RUE DE LA PAIX 92130 Issy Les MoulineauxMonsieur BERINER Laurent RUE DE LA PAIX 92130 Issy Les Moulineaux 01/05/1980
Civilité Nom Num Rue Nom Rue Code Postal Ville Date NaissanceMonsieur BERNIER Laurent 15 RUE DE LA PAIX 92130 Issy Les Moulineaux 01/05/1980
Nettoyage
Dédou-blonnage
Data Quality Services
DQS PAR LE BIAIS DE SSIS Utilisation du
moteur DQS au sein même de l’environnement SSIS
Gestion de la qualité des données en même temps que le processus d’intégration.
DÉMONSTRATION
Data Quality Services
Data Quality Services
Des Questions
?
ANNEXES
Data Quality Services
ARCHITECTURE DQS
Data Quality Services
Data Quality Services
Dédoublonnage
Référentiels
Client DQ Clients
DQS interface
DQ Server
DQ Engine
Tiers fournisseurs
MS DQ Domains Store
DQ Active Projects
Domaine MS
Domaines locaux
BDC publiées
Découverte DB
connaissance
Profilage des données
Nettoygae
Découverte et gestion
des bases de connaissanc
es
Projets DQ
Exploration base de donnée
Azure Datamarket Catégorisation des
données de références
Catégorisation des services de données de
référence
Réference Data API(Parcourir, ajouter,
mettre à jour…)
RD Services API(Parcourir,
paramétrer, Valider…)
Composant DQ SSIS
MDS Excel Add in
Composants Excel &
Dynamics
LIENS UTILES
Data Quality Services
Data Quality Services
BlOG:
Blogs.msdn.com/b/dqs
VIDEOS:
http://technet.microsoft.com/fr-fr/sqlserver/dd353197
FORUM:http://social.msdn.microsoft.com/Forums/fr-FR/sqldataqualityservices/threads?Thread%3Asqldataqualityservices=Microsoft.Forums.Data.Models.DiscussionGroup
Formez-vous en ligne
Retrouvez nos évènements
Faites-vous accompagner gratuitement
Essayer gratuitement nos solutions IT
Retrouver nos experts Microsoft
Pros de l’ITDéveloppeurs
www.microsoftvirtualacademy.com
http://aka.ms/generation-app
http://aka.ms/evenements-developpeurs
http://aka.ms/itcamps-france
Les accélérateursWindows Azure, Windows Phone,
Windows 8
http://aka.ms/telechargements
La Dev’Team sur MSDNhttp://aka.ms/devteam
L’IT Team sur TechNethttp://aka.ms/itteam