Rapport Juin 2011 du CXP : la qualité des données dans les entreprises françaises

Qualité des Données :

Organisation, Confiance et Initiatives

Focus sur la mise en œuvre de projets de qualité des données dans des

sociétés françaises et allemandes. Une enquête indépendante.

Le CXP, Paris, Juin 2011

Qualité des Données

BARC – Business Application Research Center

Les auteurs

Laurence Dubrovin

Senior [email protected]

Cette enquête indépendante a été réalisée par BARC et le CXP.

Cette étude peut-être diffusée librement avec le s

Business Application Research Center CXP – Centre d'eXpérimentation des Progiciels

Laurence Dubrovin Senior Analyst

[email protected]

Catherine Brault Directeur

[email protected]

Cette enquête indépendante a été réalisée par BARC et le CXP.

être diffusée librement avec le soutien de DATAFLUX.

Centre d'eXpérimentation des Progiciels


Sommaire

Les auteurs .............................................................................................................................................. 2

Points clés ................................................................................................................................................ 4

Contexte .................................................................................................................................................. 5

Echantillon ............................................................................................................................................... 7

Résultats de l’enquête ............................................................................................................................. 9

Organisation relative à la qualité des données .................................................................................. 9

Initiatives métier et pilotage ............................................................................................................ 19

Recommandations pour votre projet de qualité de données ............................................................... 26

4 Qualité des Données

BARC – Business Application Research Center CXP – Centre d'eXpérimentation des Progiciels

Points clés

L’enquête mesure la confiance que peuvent avoir les utilisateurs dans la qualité de leurs données.

Elle s’appuie sur les réponses de 149 participants allemands et français appartenant à des entreprises

de tailles et de secteurs d’activité variés.

Les principales conclusions :

• 20% des participants français ont déjà mené un projet de gestion de la qualité des données.

Ce chiffre montre que les données sont considérées maintenant comme étant un actif cri-

tique de l’entreprise.

• La mise en place de projets de gestion de la qualité renforce manifestement la confiance des utilisateurs dans leurs données : 71% des utilisateurs ont une confiance élevée dans leurs données quand un projet de gestion de la qualité a été mené dans leur entreprise.

• 28% seulement des utilisateurs expriment une réelle confiance dans leurs données.

• Conséquences d’une mauvaise qualité des données pour les répondants français :

‘L’augmentation des coûts ' (61%) suivie par la ‘Diminution de la satisfaction des clients’

(59%).

• Un flou existe sur ‘qui a réellement en charge la responsabilité de la qualité des données

dans les entreprises interrogées’ : 17% l’imputent à l’équipe informatique, 17% aux équipes

métier, … Il serait donc nécessaire que les responsabilités soient bien établies.

• Les profils de l’entreprise qui s’impliquent dans la qualité des données sont à 78% les acteurs

dont la fonction est dédiée à la qualité mais les utilisateurs sur le terrain s’en chargent éga-

lement au coup par coup (51%).

• Presque la moitié des personnes interrogées (46 %) a indiqué que la qualité des données est

gérée au niveau des applicatifs ou des unités de gestion. La gestion de qualité de données à

un niveau stratégique n'est pas encore prédominante (41%). Très fréquemment, la qualité

des données demeure encore un processus non systématique traité ponctuellement au cas

par cas.

• La valeur des données est néanmoins reconnue comme critique. Plus de la moitié des utilisa-

teurs finaux voient la qualité de données comme très critique (52%).

• Les données relatives aux clients sont considérées comme des données clés de l’entreprise

par 72% des répondants. Les données financières et celles relatives aux produits sont égale-

ment jugées essentielles pour 61% d’entre eux.


Contexte

Disposer de données exactes et fiables sur les clients, les produits, etc. est très important aussi bien

dans les tâches quotidiennes que pour les prises de décisions stratégiques. Les problèmes liés à la

qualité des données ne sont souvent mis en lumière que lors de l‘import de données du système

opérationnel vers les applications décisionnelles. Ces données sont souvent importées dans des en-

trepôts décisionnels sans analyse préalable de leur qualité.

Des applications pouvant traiter un point ou un autre de la gestion de la qualité des données sont

utilisées par de nombreuses entreprises. Les corrections manuelles sont néanmoins encore fré-

quentes. Peu d'entreprises ont mis en place une gestion prenant en charge le cycle complet de ges-

tion de la qualité des données. Les enjeux liés à ce domaine sont encore peu appréhendés par le

management des entreprises ce qui freine le développement d'initiatives sur la gestion globale de la

qualité des données.

L'expression 'qualité des données' fait référence à l'exactitude et à la pertinence de l'information.

Elle regroupe un ensemble de fonctionnalités et de pratiques destinées à améliorer la qualité : le

profilage des données, le nettoyage (mise en correspondance des données, dédoublonnage, valida-

tion), la résolution d’identités (personnes organisations, adresses), l’intégration des données (ETL, EII,

EAI), la gestion des données de référence (ou MDM Master Data Management), l’enrichissement, la

surveillance des données, la mesure de la qualité des données, le moteur de règles métier, les sys-

tèmes de mesure de performance ...

Cet ensemble est pris en charge par des outils dédiés ou des plates-formes plus globales qui englo-

bent entre autres la gestion de la qualité des données (comme par exemple, les outils ETL ou les so-

lutions de MDM).



Figure 1: Domaines d'engagement des outils de qualité des donnée

L’enquête permet de répondre aux questions suivantes :

• Qui est responsable de la qualité des données dans les entreprises

• Quels sont les profils qui s’impliquent sur la qualité des données ?

• Comment est gérée la qualité ?

• Quel est le niveau de criticité des données lors des prises de décisions

• Quel est le niveau de confiance

• Quelle est l’expérience des sociétés

• Combien d’entreprises ont d’ors et déjà mis en placedes données ou prévu de le faire

• Quels sont les logiciels que les sociétés utilisent

Cette seconde édition de l'enquête BARC sur la qualit

du CXP en France. Elle fait suite à l‘enquête mondiale, la BI Survey 9,

la gestion de la qualité des données comme un des principaux problèmes rencontrés dans les pr

jets de Business Intelligence.

Cette problématique est aussi traitée

• Les plates-formes décisionnelles (MAJ 4T2010)

• La gestion des données de référence (2009)

• Data intégration management et outils ETL (check liste)


: Domaines d'engagement des outils de qualité des donnée

L’enquête permet de répondre aux questions suivantes :

Qui est responsable de la qualité des données dans les entreprises ?

profils qui s’impliquent sur la qualité des données ?

Comment est gérée la qualité ?

Quel est le niveau de criticité des données lors des prises de décisions ?

Quel est le niveau de confiance dans les données ?

des sociétés en termes de non-qualité ?

Combien d’entreprises ont d’ors et déjà mis en place un projet de gouvernance de la qualité prévu de le faire ?

que les sociétés utilisent ?

'enquête BARC sur la qualité des données a été réalisée avec le concours

du CXP en France. Elle fait suite à l‘enquête mondiale, la BI Survey 9, éditée fin 2010 qui a

la gestion de la qualité des données comme un des principaux problèmes rencontrés dans les pr

aussi traitée dans plusieurs études réalisées par le CXP

formes décisionnelles (MAJ 4T2010)

La gestion des données de référence (2009)

Data intégration management et outils ETL (check liste).


: Domaines d'engagement des outils de qualité des donnée

un projet de gouvernance de la qualité

a été réalisée avec le concours

éditée fin 2010 qui a identifié

la gestion de la qualité des données comme un des principaux problèmes rencontrés dans les pro-

CXP :



Echantillon

Cette étude repose sur les résultats d’une enquête sur la qualité des données réalisée en Allemagne

et en France, conduite entre juillet et septembre 2010.

Le CXP a assuré la collecte des données sur la France, BARC a fait de même sur l’Allemagne. Le ques-

tionnaire a été mis en ligne en français et en allemand.

Les analyses ont été réalisées de façon distincte pour l’Allemagne et pour la France pour permettre

d’établir des comparaisons et mettre en évidence les principales différences sur ce domaine entre les

deux pays.

La cible des répondants visée était les Directions Générales, Métier et Système d'Information avec

une prédominance pour les entreprises moyennes et grandes (ayant un revenu annuel supérieur à

100 M€). Après nettoyage des données, nous avons validé 149 réponses soit 74 participants pour la

France et 75 pour l’Allemagne.

Plus d’un tiers des répondants français appartient au secteur de l’industrie, suivi du secteur public et

des services financiers.

Les répondants français font très majoritairement partie des Services Informatiques (89%), mais la

problématique est avant tout métier.

Bien que la qualité des données constitue un sujet pertinent aussi bien pour les services informa-

tiques que pour les directions métier, ces dernières sont finalement assez peu représentées dans

notre échantillon français.



Télécommunications

Santé et pharmacie

Informatique: matériels, logiciels et services

Energie et services

Services financiers

89%


Figure 2: Secteur (n = 74)

Figure 3: Fonction (n = 74)

%

1%

1%

3%

4%

5%

8%

11%

15%

16%

% 5% 10% 15% 20% 25% 30%

Autre

Télécommunications

Transport

Santé et pharmacie

Informatique: matériels, logiciels et services

Energie et services

Services

Distribution

Services financiers

Secteur public

Industrie

11%

89%


35%

30% 35% 40%

Équipes métier

Informatique


Résultats de l’enquête

Organisation relative à la

La première partie de l’enquête traite de l’organisation de la qualité des données

étaient invités à s’exprimer sur leurs responsabilités et leurs rôles respectifs

leur avons également demandé de

riences avec des données erronées.

Qui est responsable de la qualité des données dans votre entreprise ?

Nous avons demandé aux participants de nous indiquer qui était responsable de la qualité denées dans leur entreprise. La moitié des répondants nous a indiqué que cette responsabilité était partagée entre les équipes métier et l'informatique. Les trois autres réponses possibles se sont patagé équitablement le reste des suffrages. Dans 17% des cas, personne n’a en charge la qualité des données% n’est que de 13%).

Figure 4: Responsabi l ité de la qualité des données (n = 72)

17%

17%

17%



Résultats de l’enquête

Organisation relative à la qualité des données

La première partie de l’enquête traite de l’organisation de la qualité des données

étaient invités à s’exprimer sur leurs responsabilités et leurs rôles respectifs dans

demandé de s’exprimer sur leur confiance dans les données et leurs exp

riences avec des données erronées.

Qui est responsable de la qualité des données dans votre entreprise ?

Nous avons demandé aux participants de nous indiquer qui était responsable de la qualité denées dans leur entreprise. La moitié des répondants nous a indiqué que cette responsabilité était partagée entre les équipes métier et l'informatique. Les trois autres réponses possibles se sont pa

ment le reste des suffrages.

des cas, personne n’a en charge la qualité des données (contrairement à l’Allemagne où ce

: Responsabi l ité de la qualité des données (n = 72)

50%

Les deux: équipes métier et informatique

L’équipe informatique

Les équipes métier

Personne n’a en charge la qualité des données



La première partie de l’enquête traite de l’organisation de la qualité des données. Les participants

dans ce domaine. Nous

s’exprimer sur leur confiance dans les données et leurs expé-

Nous avons demandé aux participants de nous indiquer qui était responsable de la qualité des don-nées dans leur entreprise. La moitié des répondants nous a indiqué que cette responsabilité était partagée entre les équipes métier et l'informatique. Les trois autres réponses possibles se sont par-

(contrairement à l’Allemagne où ce

: Responsabi l ité de la qualité des données (n = 72)

Les deux: équipes métier

L’équipe informatique

Les équipes métier

Personne n’a en charge la qualité des données



Importance reconnue de la collaboration entre équipes métier et informatiques

Le fort pourcentage de répondants qui nous a indiqué que la responsabilité de la qualité des don-

nées était partagée entre les équipes métier et informatiques peut témoigner d'une prise de cons-

cience de l'importance de collaborer sur ce sujet.

La mise en place de centres de compétences BI ou d’organisations orientées solutions qui renforce

la collaboration entre la DSI et les métiers a été confortée depuis plusieurs années dans de nom-

breuses entreprises. Particulièrement, cette tendance encourage des initiatives pour améliorer la

qualité des données, parce qu’elle nécessite la collaboration fructueuse entre la DSI et les métiers

et est plutôt perçue comme une évolution positive.

Le flou en termes de responsabilité

Certes la moitié des répondants évoque une responsabilité partagée mais l’analyse des 50% res-

tants est assez révélatrice du flou qui existe sur qui a réellement en charge la responsabilité de la

qualité des données dans les entreprises interrogées : 17% l’imputent à l’équipe informatique,

17% aux équipes métier, …

En dépit des responsabilités partagées entre la DSI et les métiers, les résultats montrent claire-

ment que les métiers sont encore souvent seuls à en assumer la responsabilité dans de nombreux

cas. En effet, seuls les employés orientés « business » ou « métier » sont en mesure d’évaluer la

qualité des données, ayant une attention sur le contenu. En principe, le transfert de responsabilité

pour la qualité des données vers la DSI est critiqué. Cela ne peut marcher que si le département

métier apporte son support, ce qui est rarement réclamé par la DSI. Cependant, la DSI peut jouer

tout son rôle dans les entreprises quand elle met en œuvre de façon massive et normalisée (stan-

dardisée) des processus pour améliorer la qualité de données.


Comment est gérée la qualité ?

L’analyse suivante porte sur la gestion de la qualité des données. Estgique de l’entreprise ou bien au jour le jour par les utilisateurs traitant leurs propres donnéesLes résultats montrent des situations très contrastées. 46% des répondants voient la qualité des données gérée à un niveau applicatif ou dans chaque unité de gestionplusieurs unités métier ou gérée à un niveau stratégique (la gestion de la qualité des données doit être un projet d'entreprise en amont de tous les autres). A noter, chiffre plutôt alarmantdèrent que la qualité des données n’est pas gérée.

Figure 5: Gestion de qualité des données (n = 71)

La qualité de nos données n’est pas gérée

A un niveau stratégique de l’entreprise ou partagée par plusieurs unités de gestion

Au niveau de l’application ou dans chaque unité de gestion

Très fréquemment, la qualité des données est un processus non systématique traité au c

cas, de façon ponctuelle

Gérer la qualité des données deentreprises. Non systématique veut dire qu’il n’existe pas de processus établi qui puisse vers une stratégie globale de gestion de la qualité des données (avec une attention cessus de gestion de la qualité des données et le calcul de ratios métier). L’usage des effets de synergie induits par une stratégie coordonnée est alors impossible.

Près de la moitié des entreprises n'

données. Sans programme de gouvernance des données, seules des initiatives ponctuelles verront

le jour et ne permettront pas d'améliorer durablement la qualité des données.



L’analyse suivante porte sur la gestion de la qualité des données. Est-elle gérée à un niveau stratl’entreprise ou bien au jour le jour par les utilisateurs traitant leurs propres données

Les résultats montrent des situations très contrastées. 46% des répondants voient la qualité des données gérée à un niveau applicatif ou dans chaque unité de gestion, 41% la voient partagée entre plusieurs unités métier ou gérée à un niveau stratégique (la gestion de la qualité des données doit être un projet d'entreprise en amont de tous les autres). A noter, chiffre plutôt alarmant

es données n’est pas gérée.

: Gestion de qualité des données (n = 71)

13%

% 10% 20% 30%

La qualité de nos données n’est pas gérée

A un niveau stratégique de l’entreprise ou partagée par plusieurs unités de gestion

Au niveau de l’application ou dans chaque unité de gestion

Très fréquemment, la qualité des données est un processus non systématique traité au c

Gérer la qualité des données de manière non systématique est une pratique courante dans les on systématique veut dire qu’il n’existe pas de processus établi qui puisse

une stratégie globale de gestion de la qualité des données (avec une attention essus de gestion de la qualité des données et le calcul de ratios métier). L’usage des effets de

synergie induits par une stratégie coordonnée est alors impossible.

Près de la moitié des entreprises n'a pas mis en place une gestion systématique de la quali


le jour et ne permettront pas d'améliorer durablement la qualité des données.



elle gérée à un niveau straté-l’entreprise ou bien au jour le jour par les utilisateurs traitant leurs propres données ?

Les résultats montrent des situations très contrastées. 46% des répondants voient la qualité des , 41% la voient partagée entre

plusieurs unités métier ou gérée à un niveau stratégique (la gestion de la qualité des données doit être un projet d'entreprise en amont de tous les autres). A noter, chiffre plutôt alarmant : 13% consi-

: Gestion de qualité des données (n = 71)

41%

46%

40% 50%

Très fréquemment, la qualité des données est un processus non systématique traité au cas par

pratique courante dans les on systématique veut dire qu’il n’existe pas de processus établi qui puisse tendre

une stratégie globale de gestion de la qualité des données (avec une attention portée au pro-essus de gestion de la qualité des données et le calcul de ratios métier). L’usage des effets de

pas mis en place une gestion systématique de la qualité des




Quels sont les profils qui s’impliquent dans votre organisation sur la qualité des données ?

Nous avons interrogé les participants sur En tête des réponses obtenues arrive le groupe des acteurs dont la fonction est dédiée à la qualité des données dans l’entreprise (78% en France contre 50% en Allemagne). Un peu plus de la moitié (51%) a ensuite choisi le profil ‘Utilisateur au jour le jour’. utilisateurs qui sont confrontés dans leur travail quotidien à la question de la non qualité des donées. Ce profil devance le groupe des experts (base de donné

Figure 6: Profi ls impliqués dans la recherche de la qualité des données

Expert (Base de données, ETL, applications, etc.)

Utilisateur qui s’en charge au jour le jour

Gestionnaire des données, responsable de la qualité des données,

responsable de la gouvernance des données



Nous avons interrogé les participants sur les profils impliqués dans la qualité des données.En tête des réponses obtenues arrive le groupe des acteurs dont la fonction est dédiée à la qualité des données dans l’entreprise (78% en France contre 50% en Allemagne). Un peu plus de la moitié

uite choisi le profil ‘Utilisateur au jour le jour’. Rien d’étonnant à cela puisque ce sont les utilisateurs qui sont confrontés dans leur travail quotidien à la question de la non qualité des do

Ce profil devance le groupe des experts (base de données, ETL, MDM, …) cités à 43%.

: Profi ls impliqués dans la recherche de la qualité des données

(n = 72, choix multiple)

4%

43%

51%

0% 20% 40% 60%

Autre







profils impliqués dans la qualité des données. En tête des réponses obtenues arrive le groupe des acteurs dont la fonction est dédiée à la qualité des données dans l’entreprise (78% en France contre 50% en Allemagne). Un peu plus de la moitié

ien d’étonnant à cela puisque ce sont les utilisateurs qui sont confrontés dans leur travail quotidien à la question de la non qualité des don-

es, ETL, MDM, …) cités à 43%.

: Profi ls impliqués dans la recherche de la qualité des données

78%

80% 100%


Figure 7 : Profi ls impliqués dans la recherche de la qualité des données

comparaison Allemagne/France







Profils impliqués dans la recherche de la qualité des données

comparaison Allemagne/France (n = 144, choix multiple)

4%

78%

43%

51%

8%

50%

54%

68%

0% 20% 40% 60% 80% 100%

Autre


responsable de la gouvernance des





Profils impliqués dans la recherche de la qualité des données,


100%

Allemagne

France



Quel est le niveau de criticité des données dans votre organisat

Dans l’analyse suivante, nous nous sommes intéressés à la criticité de la qualité des données dans l’organisation dès lors qu’il s’agit de prendre des décisions de gestion.

La comparaison entre les deux pays montre que les répondants allemands sont beaucoup plus nobreux à juger ‘ très critique‘ la qualité des données dans leur entreprise : 52% en Allemagne contre 30% en France.

Figure 8: Quel est le niveau de criticité relatif à la qualité des données

Figure 9: Quel est le niveau de criticité relatif à la qualité des données,

comparaison Allemagne/France (n = 142)

59%

52%

30%

%

10%

20%

30%

40%

50%

60%

70%

Très critique


de criticité des données dans votre organisation lors des prises de décisions

Dans l’analyse suivante, nous nous sommes intéressés à la criticité de la qualité des données dans l’organisation dès lors qu’il s’agit de prendre des décisions de gestion.

comparaison entre les deux pays montre que les répondants allemands sont beaucoup plus nola qualité des données dans leur entreprise : 52% en Allemagne contre

niveau de criticité relatif à la qualité des données

: Quel est le niveau de criticité relatif à la qualité des données,

comparaison Allemagne/France (n = 142)

30%

59%

11%

Très critique

Plutôt critique

Non critique

38%

10%

59%

11%

Plutôt critique Non critique


ion lors des prises de décisions ?

Dans l’analyse suivante, nous nous sommes intéressés à la criticité de la qualité des données dans

comparaison entre les deux pays montre que les répondants allemands sont beaucoup plus nom-la qualité des données dans leur entreprise : 52% en Allemagne contre

niveau de criticité relatif à la qualité des données

: Quel est le niveau de criticité relatif à la qualité des données,

Très critique

Plutôt critique

Non critique

Allemagne

France



Figure 10 : Top 5 des problèmes rencontrés lors des projets B.

Source: The BI Survey 9

Pauvreté de la qualité des données

Performance trop faible du requêteur

Utilisation du logiciel trop complexe

Pas d'accord sur les besoins

Manque d'intérêt des utilisateurs

La pauvreté de la qualité apparaît être un des problèmes principaux rencontrés par les entreprises lorsqu'elles mènent des projets décisionnels. Tel est l’un des enseignements de la BI Survey 9 menée par BARC et le CXP.

L’importance des donnés est reconnue

Les résultats qui suivent montrent que les utilisateurs considèrent la qualité des données de plus en plus comme un sujet hautement critique.

Les résultats obtenus lors de cette enquête rejoignent ceux obtenus pour la ‘BI Survey 9‘. Le pro-blème le plus souvent rencontré par les utilisateurs dans leurs projets de mise en place de solu-tions de BI est le faible niveau de qualité des données suivi par les performances insuffisantes du requêteur et la politique de commercialisation de la société.

Parmi les défis à relever pour les organisations figurent la complexité et le volume toujours crois-

sant des données, auxquels s'ajoutent de nouveaux formats et l'arrivée des outils de BI nouvelle

génération qui doivent intégrer les données les plus récentes de l'entreprise. Un exemple est

l’intégration de données orientées « transaction » (c’est-à-dire des données opérationnelles dites

de production) dans des calculs analytiques utilisés pour la prise de décision.



Quel est le niveau de confiance sur les données ?

Nous nous intéressons maintenant au niveau de confiance affiché par les répondants vis à vis de la qualité de leurs données.

28 % des participants français affirment avoir une confiance élevée dans leurs données (contre 20%

en Allemagne). 72% la situent à un niveau ‘moyen‘ ou ‘faible’.

Figure 9: Niveau de confiance dans les données (n = 72)

Figure 10: Niveau de confiance dans les données

magne/France (n = 146)

% 10% 20%

Moyen ou faible

Elevé

% 10%

Moyen ou faible

Elevé


Quel est le niveau de confiance sur les données ?

Nous nous intéressons maintenant au niveau de confiance affiché par les répondants vis à vis de la


en Allemagne). 72% la situent à un niveau ‘moyen‘ ou ‘faible’.

: Niveau de confiance dans les données (n = 72)

: Niveau de confiance dans les données, comparaison All

72%

28%

20% 30% 40% 50% 60% 70% 80%

72%

28%

80%

20%

20% 30% 40% 50% 60% 70% 80% 90%


Nous nous intéressons maintenant au niveau de confiance affiché par les répondants vis à vis de la


: Niveau de confiance dans les données (n = 72)

comparaison Alle-

90%

Allemagne

France



Sans confiance, toute application mis en place par le service informatique peut-être remise

en question à tout moment

L’expression "niveau de confiance" utilisée pour la question portant sur le niveau de confiance

dans les données est déjà révélatrice des doutes qu’on peut avoir sur le sujet. 28% seulement

des utilisateurs expriment une réelle confiance dans leurs données.

Un manque de confiance peut avoir des effets négatifs sur les processus de travail : retards,

ressources non prévues à allouer au nettoyage des données, etc. Dans les cas extrêmes, cela

peut entraîner de graves conséquences pour l'entreprise (par exemple la publication d’une

information financière fausse peut avoir des répercussions très importantes pour l’entreprise

en termes d’image).

Le manque de confiance dans les données peut conduire les utilisateurs à se détourner des applicatifs décisionnels de l'entreprise mis en place par le service informatique et à développer en parallèle des applicatifs individuels à base de Microsoft Excel ou Access, validant de façon individuelle les données et évitant de passer par les processus de récupération des données en central.



Quelle est votre expérience de la non

Dans la question suivante, nous avons interrogé les répondants sur leur expérience de terrain reltive à une mauvaise qualité des données. Les répondants français ont mis en avant ‘L’augmentation des coûts 'suivi par la ‘Diminution de la

Figure 11: Conséquences vécues l iées à la mauvaise qualité des données


Aucune conséquence

Baisse du revenu potentiel

Diminution de la satisfaction des clients

Augmentation des coûts

Diminution de la satisfaction des employés

La qualité des données a un impact direct sur les coûts, la satisfaction des clients et des e

ployés

Ces résultats montrent que le niveau de qualité des données a un impact

non-qualité peut entraîner une augmentation des coûts et avoir des répercussions

service proposé au client.

Si par exemple on ne sait pas précisément quels sont les résultats de l’entreprise (CA, bénéfices

etc.), les produits qui se vendent bien ou mal, on peut prendre des décisions qui vont à l’encontre

des intérêts stratégiques de l’entreprise.

De même, des données erronées sur le client nuisent à la bonne connaissance du client et peuvent

avoir des répercussions graves sur la perception qu’il a de l’entreprise

annulations de commande etc.

Enfin, la mauvaise qualité des données a effet, ils ne peuvent mener à bien leurs tâches quotidiennes du fait de la nonet doivent souvent recourir à des corrections et nettoyagesresponsabilité du management et de lui seul et non pas individuellement d’un employé isolé. Le projet de gestion de la qualité des données requiert l’attention du management.


est votre expérience de la non-qualité ?

Dans la question suivante, nous avons interrogé les répondants sur leur expérience de terrain reltive à une mauvaise qualité des données. Les répondants français ont mis en avant

suivi par la ‘Diminution de la satisfaction des clients’ (59%).

: Conséquences vécues l iées à la mauvaise qualité des données


3%

16%

42%

59%

61%

46%

4%

13%

15%

47%

61%

79%

0% 10% 20% 30% 40% 50% 60% 70% 80%

Aucune conséquence

Autre

Baisse du revenu potentiel

Diminution de la satisfaction des clients

Augmentation des coûts

Diminution de la satisfaction des

un impact direct sur les coûts, la satisfaction des clients et des e

Ces résultats montrent que le niveau de qualité des données a un impact direct sur le business

qualité peut entraîner une augmentation des coûts et avoir des répercussions



stratégiques de l’entreprise.


avoir des répercussions graves sur la perception qu’il a de l’entreprise, qui se traduiront par des

annulations de commande etc.

la mauvaise qualité des données a également un impact sur la satisfaction des employés. En effet, ils ne peuvent mener à bien leurs tâches quotidiennes du fait de la non-qualité des données et doivent souvent recourir à des corrections et nettoyages manuels. Ces problèmes relèvent de la responsabilité du management et de lui seul et non pas individuellement d’un employé isolé. Le projet de gestion de la qualité des données requiert l’attention du management.


Dans la question suivante, nous avons interrogé les répondants sur leur expérience de terrain rela-tive à une mauvaise qualité des données. Les répondants français ont mis en avant à 61%

satisfaction des clients’ (59%).

: Conséquences vécues l iées à la mauvaise qualité des données,


79%

90%

Allemagne

France

un impact direct sur les coûts, la satisfaction des clients et des em-

direct sur le business : la

qualité peut entraîner une augmentation des coûts et avoir des répercussions sur le niveau de




qui se traduiront par des

un impact sur la satisfaction des employés. En qualité des données

manuels. Ces problèmes relèvent de la responsabilité du management et de lui seul et non pas individuellement d’un employé isolé. Le projet de gestion de la qualité des données requiert l’attention du management.

BARC – Business Application Rese

Initiatives métier et pilotage

Votre entreprise a-t-elle un projet de gouvernance de la

jet de ce type ? Aussi bien en France qu’en Allemagne, qualité des données sont encore peu nombreuses : 36% des répondants français et 40% des répdants allemands nous indiquent que des projets ‘ont été‘ ou ‘sont en cours de mise en place‘. Il est étonnant de constater qu’un nombre important de répondants tant en France (25%) qu’en Allmagne (22%) n’envisagent pas de projet en ce sens.

Figure 12: Projets de gestion de la qualité des données

Comparaison

19%21%20%

16%

%

5%

10%

15%

20%

25%

30%

Déjà mis en place

En cours de mise en place

Développement des projets de gestion de la qualité

On peut considérer que ces résultats sont globalement positifs. Le pourcentage de

phase de planification montre que le nombre de projets de gestion de la qualité des données va

augmenter, couvrant un spectre allant de l’amélioration ponctuelle à des initiatives plus impo

tantes.

Les pourcentages sont significativement meil

cours de mise en place) contre 36% en France ce qui pourrait indiquer un marché plus mature

outre Rhin.


arch Center CXP – Centre d'eXpérimentation des Progiciels

Initiatives métier et pilotage

elle un projet de gouvernance de la qualité des données ou prévoit

ien en France qu’en Allemagne, les initiatives pour mettre en place une véritable gestion de la qualité des données sont encore peu nombreuses : 36% des répondants français et 40% des répdants allemands nous indiquent que des projets ‘ont été‘ ou ‘sont en cours de mise en place‘. Il est étonnant de constater qu’un nombre important de répondants tant en France (25%) qu’en Allmagne (22%) n’envisagent pas de projet en ce sens.

: Projets de gestion de la qualité des données

omparaison Allemagne/France (n = 136)

18%19%

22%

16% 16%

23%25%


Envisagé dans l’année qui

vient

Envisagé à plus long terme

Non envisagé

Développement des projets de gestion de la qualité

On peut considérer que ces résultats sont globalement positifs. Le pourcentage de


augmenter, couvrant un spectre allant de l’amélioration ponctuelle à des initiatives plus impo

Les pourcentages sont significativement meilleurs côté allemand (40% déjà mis en place ou en




qualité des données ou prévoit-elle un pro-

les initiatives pour mettre en place une véritable gestion de la qualité des données sont encore peu nombreuses : 36% des répondants français et 40% des répon-dants allemands nous indiquent que des projets ‘ont été‘ ou ‘sont en cours de mise en place‘. Il est étonnant de constater qu’un nombre important de répondants tant en France (25%) qu’en Alle-

: Projets de gestion de la qualité des données

Non envisagé

Allemagne

France

On peut considérer que ces résultats sont globalement positifs. Le pourcentage de répondants en


augmenter, couvrant un spectre allant de l’amélioration ponctuelle à des initiatives plus impor-

leurs côté allemand (40% déjà mis en place ou en




Confiance dans les données analysée par

Le graphique qui suit met en évidence par les répondants dans la qualité de leurs données et l’état d’avancement de leurs initiatives sur le sujet. Les répondants qui ont déjà mis en place une gestion de la qualité des données affictaux de confiance élevé dans la qualité de ces mêmes données. Ceux qui sont en cours de mise en place (ou qui n’envisagent pas de projet) affichent un niveau de confiance moyen ou faible

Figure 13: Confiance dans les don

gestion de la qualité des données (n = 67)

Non envisagé


Envisagé dans l’année qui vient


Déjà mis en place

La confiance augmente avec les projets

Les résultats montrent que les projets de gestion de la qualité font progresser la confiance dans les données.

Si les projets sont bien menés et les outils mis en place efficaces, les utilisateurs constateront nécessairement des progrès sur la qualité des données dont ils héritent (moins de données errnées, moins de doublons, homogénéisation des fichiers d’adresses etc.). Tout ceci cconfiance croissante dans les données pour prendre les bonnes décisions.


Confiance dans les données analysée par niveau d'initiative

Le graphique qui suit met en évidence la corrélation existante entre le niveau de confiance affiché par les répondants dans la qualité de leurs données et l’état d’avancement de leurs initiatives sur le sujet. Les répondants qui ont déjà mis en place une gestion de la qualité des données affictaux de confiance élevé dans la qualité de ces mêmes données. Ceux qui sont en cours de mise en place (ou qui n’envisagent pas de projet) affichent un niveau de confiance moyen ou faible

: Confiance dans les données et mise en place de projets de

gestion de la qualité des données (n = 67)

13%

25%

18%

10%

71%

88%

75%

82%

90%

29%

0% 50% 100%

Non envisagé


Envisagé dans l’année qui vient


Déjà mis en place

Moyen ou faible confiance

Elevé confiance

La confiance augmente avec les projets

Les résultats montrent que les projets de gestion de la qualité font progresser la confiance dans

bien menés et les outils mis en place efficaces, les utilisateurs constateront nécessairement des progrès sur la qualité des données dont ils héritent (moins de données errnées, moins de doublons, homogénéisation des fichiers d’adresses etc.). Tout ceci cconfiance croissante dans les données pour prendre les bonnes décisions.


la corrélation existante entre le niveau de confiance affiché par les répondants dans la qualité de leurs données et l’état d’avancement de leurs initiatives sur le sujet. Les répondants qui ont déjà mis en place une gestion de la qualité des données affichent un taux de confiance élevé dans la qualité de ces mêmes données. Ceux qui sont en cours de mise en place (ou qui n’envisagent pas de projet) affichent un niveau de confiance moyen ou faible.

mise en place de projets de

Moyen ou faible confiance

Elevé confiance

Les résultats montrent que les projets de gestion de la qualité font progresser la confiance dans

bien menés et les outils mis en place efficaces, les utilisateurs constateront nécessairement des progrès sur la qualité des données dont ils héritent (moins de données erro-nées, moins de doublons, homogénéisation des fichiers d’adresses etc.). Tout ceci conduit à une


Quelles sont les raisons qui poussent les entreprises à investir pour améliorer la qualité des

données ?

Nous nous intéressons maintenant aux raisons qui poussent la qualité des données. Deux raisons principales sont mises en avant par les utilisateurs françaisrecherche de l’efficacité dans l’organisation’ et ‘la réduction des risques’.Si l’on compare le top 3 des raisons mises en avant par les allemands et les français, les résultats difèrent : si la recherche de l’efficacité arrive en tête dans les 2 pays, la réduction des risques est plus marquée en France alors que c’est la réduction des coûts qui prime en Allemales projets MDM semblent davantage une priorité en Francegrands comptes.

Figure 14: Motivations pour investir dans la qualité des données,

comparaison Allemagne/France

France

Recherche de l’efficacité dans l’organisation

(73%)

Réduction des risques (62%)

MDM (37%)

74%

50%

73%

25%

0%

10%

20%

30%

40%

50%

60%

70%

80%

La recherche de l’efficacité

dans votre organisation

Une questions de coûts

La réduction




Nous nous intéressons maintenant aux raisons qui poussent les entreprises à investir pour améliorer. Deux raisons principales sont mises en avant par les utilisateurs français

recherche de l’efficacité dans l’organisation’ et ‘la réduction des risques’. isons mises en avant par les allemands et les français, les résultats di

: si la recherche de l’efficacité arrive en tête dans les 2 pays, la réduction des risques est plus marquée en France alors que c’est la réduction des coûts qui prime en Allemagne. A noter aussi que les projets MDM semblent davantage une priorité en France : ceux-ci concernent naturellement les

: Motivations pour investir dans la qualité des données,

omparaison Allemagne/France (n = 143, choix multiple

Allemagne

Recherche de l’efficacité dans l’organisation Recherche de l’efficacité dans l’organisation

(74%)

Coûts (50%)

Réduction des risques (46%)

46%

36%33% 33%

31%

62%

37%

27%

37%

La réduction des risques

Le besoin de conformité

La gouvernance des données

La gestion des données de références

(MDM)

La recherche d’un avantage concurrentiel

Allemagne France




les entreprises à investir pour améliorer . Deux raisons principales sont mises en avant par les utilisateurs français : ‘la

isons mises en avant par les allemands et les français, les résultats dif-: si la recherche de l’efficacité arrive en tête dans les 2 pays, la réduction des risques est plus

gne. A noter aussi que ci concernent naturellement les

: Motivations pour investir dans la qualité des données,

143, choix multiple)

Recherche de l’efficacité dans l’organisation

31%

8%

23%

3%

La recherche d’un avantage concurrentiel

Autre



La qualité des données, facteur clé pour réduire les risques et maitriser les coûts

Une mauvaise gestion de la qualité des données peut engendrer des pertes de temps et d'efficacité dans l'organisation.

Les entreprises veulent, pour prendre des décisions, pouvoir s'appuyer sur des données fiables afin de réduire les risques et maîtriser les coûts.

La gestion de la qualité des données est le pré-requis de tout projet de MDM.

Enfin, la crise a induit pour les entreprises (notamment les banques) la nécessité d'une plus grande transparence de leurs comptes. C'est le sens des mises en conformité réglementaires (Bâle II, IFRS…).


Quels sont les logiciels de gestion de la qualité les plus utilisés dans les entreprises ?

La question suivante portait sur les familles d’outils les plus utilisées par les entreprises pour traiter la qualité des données. Près de la moitié des répondants dispose donc déjà d’un outil de qualité des données (surveillance, nettoyage et purge des données, reporoutil d’intégration des données (ETL, EII, EAI).

Figure 15: Familles d’outils

Moteur de règles

Gestion des données de référence (MDM)

Codage interne ou aucun outil

Intégration des données

Outils de la qualité des données

La qualité des données, brique

Il est à noter que les outils de profiling et de gestion de la qualité des données sont de plus en plus embarqués dans les outils ETL. Il y a eu de nombreux rachats en ce sens.

La gestion de la qualité des données reste toujours une étape importante où il convient de passer du temps pour s’assurer de la réussite des projets BI.

Les outils de BI proposent en outre le reporting sur la qualité des données, lequel permet d'établir un diagnostic et de suivre dans le temps l'évolution de la qualité des données.

Les projets MDM ont tous une composante de gestion de la qualité des données. Avant d'adminitrer les données de référence en un point unique, il faut s'assurer de leur bonne qualité.




suivante portait sur les familles d’outils les plus utilisées par les entreprises pour traiter la qualité des données. Près de la moitié des répondants dispose donc déjà d’un outil de qualité des données (surveillance, nettoyage et purge des données, reporting sur la qualité, MDM…) et 18% d’un outil d’intégration des données (ETL, EII, EAI).

utils mis en place pour gérer la qualité des données


5%

8%

12%

18%

0% 20% 40%

Moteur de règles


Codage interne ou aucun outil

Intégration des données

Outils de la qualité des données

La qualité des données, brique incontournable dans le processus d’intégration de données

Il est à noter que les outils de profiling et de gestion de la qualité des données sont de plus en plus embarqués dans les outils ETL. Il y a eu de nombreux rachats en ce sens.

ité des données reste toujours une étape importante où il convient de passer du temps pour s’assurer de la réussite des projets BI.

Les outils de BI proposent en outre le reporting sur la qualité des données, lequel permet d'établir vre dans le temps l'évolution de la qualité des données.

Les projets MDM ont tous une composante de gestion de la qualité des données. Avant d'adminitrer les données de référence en un point unique, il faut s'assurer de leur bonne qualité.




suivante portait sur les familles d’outils les plus utilisées par les entreprises pour traiter la qualité des données. Près de la moitié des répondants dispose donc déjà d’un outil de qualité des

ting sur la qualité, MDM…) et 18% d’un

la qualité des données

57%

40% 60%

incontournable dans le processus d’intégration de données

Il est à noter que les outils de profiling et de gestion de la qualité des données sont de plus en plus

ité des données reste toujours une étape importante où il convient de passer

Les outils de BI proposent en outre le reporting sur la qualité des données, lequel permet d'établir

Les projets MDM ont tous une composante de gestion de la qualité des données. Avant d'adminis-trer les données de référence en un point unique, il faut s'assurer de leur bonne qualité.



Quels sont les outils d’administration des données les plus utilisés dans les entreprises

La question suivante portait sur les familles d’outils les plus utilisées par les entreprises pour

trer les données. Les ERP sont cités en première position (50% des répondants) par les utilisateurs

français, suivi par les outils d’intégration d

Le faible pourcentage sur l'item "qualité des données" (10%) tient au fait que cette fonction est tra

tée à présent majoritairement par

Figure 16: Familles d’o

Qualité des données


Nettoyage et purge des données

Intégration des données (ETL, EII, EAI)


Quels sont les outils d’administration des données les plus utilisés dans les entreprises

La question suivante portait sur les familles d’outils les plus utilisées par les entreprises pour

les données. Les ERP sont cités en première position (50% des répondants) par les utilisateurs

français, suivi par les outils d’intégration des données (ETL, EII, EAI).

Le faible pourcentage sur l'item "qualité des données" (10%) tient au fait que cette fonction est tra

tée à présent majoritairement par les outils d'intégration ETL (47%).

Familles d’outils mis en place pour administrer les


7%

8%

10%

19%

19%

25%

0% 20% 40%

Aucun

Autre

Qualité des données


CRM

Nettoyage et purge des données

Intégration des données (ETL, EII, EAI)

ERP


Quels sont les outils d’administration des données les plus utilisés dans les entreprises ?

La question suivante portait sur les familles d’outils les plus utilisées par les entreprises pour adminis-

les données. Les ERP sont cités en première position (50% des répondants) par les utilisateurs

Le faible pourcentage sur l'item "qualité des données" (10%) tient au fait que cette fonction est trai-

s en place pour administrer les données

47%

50%

40% 60%


Quels types de données relèvent selon vous de la qualité des données dans votre entreprise ?

Les données liées à la gestion des clients ont été citées comme les données les plus pertinentes (72%), suivies des données relatives aux produits (61%).

Figure 17: Familles de données les plus pertinentes (n = 72

Données relatives au personnel

Données relatives aux fournisseurs

Données transactionnelles (par exemple: données financières)

Données financières

Données relatives aux produits

Données Clients

La qualité des données concerne tous les domaines de l’entreprise.

Il y a encore quelques années, seules les données relatives aux adresses étaient pertinentes et importantes pour les entreprises. Aujourd’hui, l’enquête correspondent aux données de référence de l'entreprise, c'esttivement stables dans l'organisation (clients, produits, finance, fournisseurs, personnel). Ce sont celles qui sont traitées par les projets duits ». Mais les outils MDM tendent à devenir de plus en plus génériques pour adresser tout type de donnée de référence.




Les données liées à la gestion des clients ont été citées comme les données les plus pertinentes (72%), suivies des données relatives aux produits (61%).

: Familles de données les plus pertinentes (n = 72, choix multipl

3%

18%

25%

35%

46%

0% 10% 20% 30% 40% 50% 60%

Autre

Données relatives au personnel

Données relatives aux fournisseurs

Données transactionnelles (par exemple:

Données financières

Données relatives aux produits

Données Clients

La qualité des données concerne tous les domaines de l’entreprise.

Il y a encore quelques années, seules les données relatives aux adresses étaient pertinentes et importantes pour les entreprises. Aujourd’hui, les données mentionnées par les l’enquête correspondent aux données de référence de l'entreprise, c'est-à-dire celles qui sont reltivement stables dans l'organisation (clients, produits, finance, fournisseurs, personnel). Ce sont celles qui sont traitées par les projets de MDM, lesquels sont à dominante «

». Mais les outils MDM tendent à devenir de plus en plus génériques pour adresser tout type




Les données liées à la gestion des clients ont été citées comme les données les plus pertinentes

, choix multiple)

61%

72%

60% 70% 80%

Il y a encore quelques années, seules les données relatives aux adresses étaient pertinentes et les données mentionnées par les répondants à

dire celles qui sont rela-tivement stables dans l'organisation (clients, produits, finance, fournisseurs, personnel). Ce sont

MDM, lesquels sont à dominante « clients » ou « pro-». Mais les outils MDM tendent à devenir de plus en plus génériques pour adresser tout type



Recommandations pour votre projet de qualité de donnée

Les recommandations sont basées sur les résultats de cette enquête, sur ceux du BI Survey 9 ainsi

que sur l'expérience des analystes de BARC et CXP dans le cadre de projets de gestion de la qualité

des données.

Recommandations générales :

1. Evitez les mesures ponctuelles et orientez-vous vers des projets de gestion de la qualité au

niveau de l’entreprise.

2. Impliquez la Direction Générale et justifiez l’allocation d’un budget pour la mise en œuvre.

3. Mettez en évidence les conséquences et les coûts liés à la mauvaise qualité de vos données.

4. Faites un état des lieux comme point de départ. Faites appel à des consultants externes si ce-

la s’avère nécessaire.

5. Appuyez-vous sur des projets pilotes réussis. Investissez dans les services qui en font une uti-

lisation intensive et pour lesquels un ROI rapide pourra être mis en évidence.

6. Définissez la répartition des responsabilités pour la gestion de la qualité des données. Créez

des centres de compétences dédiés.

7. Impliquez la DSI mais faites également participer les Directions Métier lors du choix des ou-

tils.

8. Examinez ce que vous apporte en standard l’outil et s’il s’adapte à votre contexte.

9. Veillez à ce que l’outil traite le cycle complet de gestion de la qualité des données pour ne

pas avoir à gérer certains problèmes de façon ponctuelle et manuelle.

10. Gardez à l’esprit qu’une bonne gestion de la qualité des données est un processus itératif qui

couvre l’analyse préalable (profilage des données), le nettoyage (données erronées ou ab-

sentes), la mise en correspondance des données et le dédoublonnage, la validation des don-

nées, l’enrichissement, enfin la mesure régulière de la qualité des données. Elle doit tenir

compte de l’organisation, de l’architecture technique et des besoins fonctionnels de

l’entreprise.



Copyright © BARC GmbH 2010. All rights reserved. Copyright ©Le CXP

Business Application Research Center - BARC GmbH 13 rue Le Sueur

Steinbachtal 2b 75116 Paris

97082 Wurzburg

Germany France

+49 (0)931 880651-0 +33 (0)1 53 05 05 53

Documents

Rapport Juin 2011 du CXP : la qualité des données dans les entreprises françaises