Upload
lx6g
View
591
Download
3
Embed Size (px)
Citation preview
<Insert Picture Here>
Решения Oracle по интеграции данных
Грановский АлександрIntegration Architect, Oracle Russia
2
<Insert Picture Here>
План презентации
•Краткий обзор продуктов Oracle– Oracle Data Integrator– Oracle Data Quality and Data Profiling
– Oracle GoldenGate
•Типовая архитектура решения
•Примеры внедрений
3
MDM, НСИ системы
SOAрешения
ERP / CRM Аналитика BAMЗаказные приложения
Oracle GoldenGate
Oracle CDC
Двухсторонняя репликация
Данные реального времени
SOA Abstraction Layer
Интеграционная ШинаИнтеграционная ШинаПроцессыПроцессы СервисыСервисы
Oracle Data Integrator
ELT/ETL
Трансформации
Пакетные репликации
OLTPSystem
Flat FilesData Warehouse/Data Mart
OLAP Cube Web 2.0 Web and Event Services, SOA
Storage
Верификация “на лету”
Oracle Data Quality
Качество данных
Статистика и анализ
Обработка и очистка
Федеративные данныеФедеративные данные
Data Lineage Выверка и объединение
Комплексное интеграционное решение
Решение от Oracle – комплексный подход к интеграции данных
Интеграционная ШинаИнтеграционная ШинаПроцессыПроцессы СервисыСервисыИнтеграционная ШинаИнтеграционная ШинаПроцессыПроцессы Федеративные данныеФедеративные данныеСервисыСервисыИнтеграционная ШинаИнтеграционная ШинаПроцессыПроцессы
4
Oracle Data Integrator 11g (ODI-EE)
Консолидация данных для приложений
Хранилища данных и аналитические системы
OLTP Базы данных в
филиалах
Бизнес-приложения
Источники данных из
текущих систем
Oracle Data Integrator Enterprise Edition
Графическое проектирование процессов движения данных
Огромное количество готовых адаптеров к СУБД и приложениям
Открытая архитектура, возможность расширения
Централизация управления, контроля и аудита
5
Удобство работы с ODI
• Среда разработки на базе JDeveloper
• Графические редакторы процессов трансформации и workflow
• Автоматическая проверка на ошибки
• Непосредственный доступ к данным
6
Удобство работы с ODI: диаграммы
7
• Единая среда управления системой в Web
• Инструменты для мониторинга и отслеживания интеграционных сессий в реальном времени
• Запуск, останов, обслуживание компонентов системы
Управление
8
Синхронизация данных в реальном времени
Системы высокой надежности 24\7
Отчетность и аналитика в реальном времени
Нет дополнительной нагрузки на приложения
Message Bus
Event Driven Architecture, SOA
Oracle GoldenGate 11g
Шины данных
СУБД
Приложения
Распределенные системы
Хранилища данных
Реплики, Standby системы
Миграции на новые приложения, серверы и т.д.
Измененные данные
9
Oracle Data Quality and Data Profiling 11g
Приложения
Хранилища данных
Oracle Data Integrator
Oracle Data Profiling, Oracle Data Quality
Любые исходные системы и базы данных
Сверка метаданных источников и получателей данных
Поиск дублей, сравнение и объединение
Глобальная система выверки адресов
Настраиваемые алгоритмы проверки
10
ContentManagement
Services
BusinessIntelligence
Services
CollaborationServices
TransactionProcessing
ServicesApplication and Data Services
Industry Process Models
Oracle MDMOracle MDM
Oracle Data Integration Suite
Oracle Data Integration Suite
ETL/ELT CDC Data FederationData Replication
Product Data Quality
Customer Hub Product Hub
Customer Data Quality
EIM Infrastructure
Oracle EPM/BIOracle EPM/BI
Oracle DRM
BI Server Foundation
EP
M a
pp
lica
tio
ns
BI
app
lica
tio
ns
OLTPSystem
Files and Content Management
Data Warehouse/Data Mart
OLAP Cube
Supplier Hub
Pre
dic
tive
An
alyt
ics
Custom HubFinancial Hub
Web 2.0
Infrastructure Services
Web and Event Services, SOA
Storage
Backup, Recovery, Archiving Data Encryption, Access HA, Disaster Recovery
Identity Management Access Management ProvisioningEntitlements Directory Services
Met
adat
a M
anag
emen
t, B
usi
nes
s R
ule
s, P
oli
cies
, G
ove
rnan
ce a
nd
IL
M
Oracle SOA
Workflow
Process
Service Bus
Mediator
Registry
Oracle Data Information Management
11
FAQ и Best Practices
• Ключевые отличия ODI (ELT) от стандартных ETL систем:– Не требуется выделенных “middle tier” серверов– Обработка преобразований может происходить как на
источнике, так и на получателе данных
• ODI или GoldenGate: Если требуется «мгновенная» синхронизация данных между системами, то используйте GoldenGate. Если необходимо обеспечить регламентные загрузки и трансформации, то ODI, или ODI + GoldenGate
12
<Insert Picture Here>
Типовая архитектура
13
Типовая архитектура решения
• Продукты
- Oracle Data Integrator EE
- Oracle GoldenGate
- Oracle Data Quality for ODI
14
Процесс консолидации данных
1. Данные выгружаются из системы-источника:1. формируется набор измененных данных (запросы к БД
агентами ODI или GoldenGate)
2. Данные передаются по текущим каналам связи в буферную зону (прямое соединение между СУБД, прямая передача данных GoldenGate, архивы файлов по FTP).
2. Пакеты данных, переданные на центральный узел обрабатываются и загружаются в Буферную БД:
1. Данные загружаются в буферный слой – автоматически или регламентно с помощью агента ODI на центральном узле
2. Отрабатывают процедуры верификации и очистки
3. Отрабатывают процедуры интеграции данных
3. Готовые данные перегружаются в Хранилище
Буферная зона
Источник
БД
Агент ODI
FTP
БДАгент ODI
Файлы
15
Особенности и преимущества решения
• Единая технологическая платформа для всего комплекса задач– Поддержка множества типов источников данных –
универсальность и расширяемость решения– Единая консоль управления на центральном узле– Интегрированный набор продуктов, работающих как
«единое целое»
• Все трансформации происходят на уровне СУБД• Визуальные средства разработки• Открытая к расширению и интеграции платформа• Лицензируется только центральный узел, на
котором совершается трансформация данных
16
<Insert Picture Here>
Заказчики
17
Energy/IndustrialEnergy/Industrial Insurance / HealthInsurance / Health RetailRetail OtherOther
TransportationTransportation Fin. Serv.Fin. Serv. MediaMedia Public SectorPublic Sector
Обзор основных заказчиков в Европе
18
Решение Oracle Oracle Data Integrator и GoldenGate
обеспечивает загрузку всей информации в хранилища данных и аналитические системы.
Интеграционное решение на базе Oracle Database, Oracle Performance Analyzer, Oracle Financial Data Manager для повышения качества и эффективности управления
Возврат инвестиций Скорость обновления данных поднялась
с 1 дня до 1 часа. Период обучения для новых сотрудников
уменьшился с 6 недель до 3 дней. Сократилось время поиска источника
исходных данных в бизнес-отчетах с двух дней до секунд.
Оценка влияния изменений на исходные данные уменьшилась с недель до минут.
Задачи Реализовать автоматизированную систему насыщения хранилищ
данных, избежать ручного кодирования процессов. Обеспечить единообразие в проектировании и разработке,
минимизировать время на обучение Обеспечить лучший контроль за данными для быстрого решения
возникающих вопросов и проблем.
Finansbank
19
М.Видео
Задача • Обмен данными на единой платформе, с единым интерфейсом
разработки и мониторинга;• Высокая доступность и отказоустойчивость платформы интеграции;• Широкий спектр используемых интерфейсов для обмена данными;• Возможность заменить ПО - источник или потребителя данных, не
меняя при этом интерфейс обмена с другими системами;• Уменьшение TCO интеграционной платформы путем унификации
используемого программного обеспечения и существенного сокращения времени проведения необходимых модификаций.
Решение• Решение от Oracle включило ODI для организации процессов
движения данных, хранение в Oracle Database и выполнение приложений на операционной системе Oracle Solaris.
Преимущества• Интеграционная платформа работает на кластере, обеспечивающем
восстановление обмена данными в течение 10 минут при сбое сети или программных компонентов платформы;
• Обмен транзакционными данными между реляционными базами данных идёт со скоростью ~ 17000 строк в секунду;
• Интегрированны следующие приложения: 1С, SAP, HP OpenView, Lotus Notes, Siebel CRM, Sybase IQ, офисные форматы данных
Продукты Oracle
• Oracle Data Integrator
• Database EE
• Real Application Clusters
• Oracle Solaris
20
Quote AttributionTitle, Company
For More Information
• Oracle Fusion Middleware 11g: www.oracle.com/fusionmiddleware11g
• Oracle Data Integration 11g: www.oracle.com/goto/odi
• Oracle GoldenGate 11g: www.oracle.com/goldengate
• Data Integration Events http://www.oracle.com/events
Get Started