Intégration de données

Headquarters

Branches

PrimaryData Center

BackupData Center

Replication

Replication

On parle de réplication pour une solution technique qui capture en temps

réel les évènements se produisant sur une base de données source et

les applique en temps réel ou en temps différé sur une base de données,

un ETL ou une application tiers.

LES SOLUTIONS

InfoSphere Change Data Capture (IDR)InfoSphere Replication Server (IDR)

InfoSphere Classic Change Data CaptureIMS to IMS Replication

eBusinessApplication

ETL MessageQueue

Publication

Database

Target app

Publication

Le principe de la publication diffère de la réplication au sens où si la solution

capture en temps réel les évènemements se produisant sur une base de

données source, elle se contente de mettre à disposition ceux-ci sous forme

de messages à un ETL ou une application tiers.

LES SOLUTIONS

InfoSphere Change Data Capture (IDR) InfoSphere Data Event Publisher (IDR)

InfoSphere Classic Data Event Publisher

4

Roadmaps

InfoSphere Data Replication Change Data Capture V10.2.1

• InfoSphere Data Replication V10.2

Next version V11.1 planned on 2014

InfoSphere Data Replication Components & Roadmap

InfoSphere Data Replication Q & SQL Replication Server V10.2.1

6

Change Data Capture

7

Capture des changements aux données en temps réel

ou en temps différé

– Capture les données à partir des systèmes de

production sans impacter les performances

– Applique les données sur les systèmes cibles en

temps réel

Transforme les opérations de bases de données en

format XML en mode publication.

InfoSphere Change Data Capture

8

Information Server

Architecture

9

* Customized solution, limited requirements

Databases supportées

Supportées en source et en cible

DB2 z/OS

Oracle

DB2 LUW

Microsoft SQL Server

DB2 400

Sybase

Supportées en cible uniquement

Teradata

Cognos

Information Server

Netezza

MySQL *

Greenplum *

10

3 modes de réplication

Continuous mirroring

Applique les données sur la cible au fil de l’eau

Réplication permanente ou à fin contrôlée par

date, heure, timestamp, LRSN

Periodic mirroring

Application des données sur la cible à la demande

Refresh / Differential Refresh

Snapshot de la base source

Refresh d’une partie de la base source

Processus de réplication

11

Fonctions

Mappings

Filtres

Transformations

Audit

User exits

Gestion des conflits

Gestion des changements

Détection des utilitaires de chargement DB2 z/OS

Mapping et Fonctionnalités

12

One-to-one / Bi-Directionnelle

Source et cible ont la même structure

LiveAudit

La table cible contient des informations supplémentaires

pour faire de l’audit

Adaptive Apply

S’adapte à l’environnement

Summarization

Faire du calcul sur la table cible

Consolidation: One-to-One

Consolider les données de plusieurs tables sources dans

un même enregistrement

Consolidation: One-to-Many

Un changement sur une table source entraine plusieurs

changements sur la table cible

Méthodes de Mapping

13

Console java pour l’administration et le monitoring

Administration et monitorat à partir de la même interface

Wizards d’implémentation

Graphiques de performances

Ergonomie

14

Replication Server

15

• SQL Replication Capture des changements aux

données à la demande à partir des bases de données

• Capture les données à partir des systèmes de

production sans impacter les performances

• Applique les données sur les systèmes cibles selon

une périodicité determinée en mode asynchrone.

• Q Replication Capture des changements aux données

en temps réel à partir des bases de données

• Capture les données à partir des systèmes de

production sans impacter les performances

• Applique les données sur les systèmes cibles en

temps réel en mode asynchrone.

InfoSphere Replication Server Q & SQL

Log based

Trigger based

External application

DB2

Sybase

OracleSQL

ServerInformix

Any

source

Control

SQL

Capture

Control

SQL

Apply

Staging tables

CD

CD

CD

DB2

Sybase

Oracle SQL

Server

Informix

Teradata

Federation Layer

Nicknames

Admin

Architecture SQL Replication

DB2

SourceLog

ControlCapture

DB2

Target

Sybase

Target Oracle

TargetSQL

Server

TargetInformix

Target Teradata

Target

Federation Layer

Nicknames

DB2

iSeries

Target

WebSphere MQ

Source Q Manager Target Q Manager Control

Apply

Admin Utilities

Architecture Q Replication

18

3 modes de réplication

Temps Réel ( QREP )

Applique les données sur la cible au fil de l’eau

Réplication permanente ou à fin contrôlée par

Date, Heure, Timestamp, LRSN

Action de fin de réplication contrôlée ( Sent, Applied )

Périodique ( SQLREP )

Application des données sur la cible à la demande

Initial Load

Snapshot de la base source.

Refresh d’une partie de la base source

Processus de replication

19

Fonctions

Mappings

Filtres

Common Change Data ( Audit )

Transformations

Gestion des conflits

Gestion des changements

Détection des utilitaires de chargement DB2 z/OS

Mapping et fonctionnalités

20

Standard

Source et cible ont la même structure

Common Change Data

Table cible d’Audit condensée ou non, complète ou non

Adaptive Apply

Méthode automatique d’Upsert.

Consolidation

Consolider les données de plusieurs tables sources dans un

même enregistrement

Peer to Peer

Plusieurs tables se répercutent leurs propres changements

Méthodes de Mapping

SQLReplication

Q- Replication et

Event Publishing

Replication Center Interface

Dashboard Q Replication

23

Stratégie de positionnement

Change Data Capture Domaine Replication Server

TCP/IP - Synchrone Protocole de Transfert MQ embarqué – Asynchrone pour Q REPStaging tables pour SQL REP ( DRDA )

Unique par DB2 Agents / STCs 1 Capture et 1 Apply par DB2

Temps réel et Périodique relatifPlages de Réplication

Processus de replication Temps réel pour Q REPPériodique pour SQL REP

Intégrées + via SQL Transformations Via SQL pour SQL REPVia SQL et Procedures Stockées pour Q REP

Supporte volumétries conséquentes Volumétrie Supporte très fortes volumétries

Auto-détectées / Prise en compte manuelle par interface

Modifications de structure Auto détectées (Q) Non (S) Prise en compte manuelle ou automatique

Load détecté et reconductible sur cible Utilitaires DB2 z/OS Load détecté et reconductible sur cible

Données XML sous fichier VSAM Metadonnées Données sous tables DB2

Reprise automatique ou forcée sur timestamp ( bookmark )

Recovery Reprise automatique ou forcée sur timestamp

DB2 toutes plateformesBases hétérogènes distribuées

Source et Cibles DB2 toutes plateformesBases hétérogènes avec Federation Server

Comparaison globale

Les impératifs de mise à disposition des données.

Les contraintes d’exploitation.

Les sources et les cibles attendues.

L’évolution de l’applicatif et des plateformes.

L’ergonomie.

La gestion des compétences.

La mise en œuvre.

Les critères de sélection

26

CAS D’UTILISATION

27

Construire un ODS dynamique pour du Reporting Opérationnel ou pour créer une base d’Audit

Complémenter une architecture ETL existante

Alimenter au fil de l’eau une Business Intelligence Appliance

Synchroniser des évènements via un Enterprise Service Bus

Synchroniser une application E-Commerce

Synchroniser des données pour le Workload Balancing

Déport des requêtes de production et Reporting

Protéger les données critiques par la Haute Disponibilité

28

Questions – Réponses