Embed Size (px)
Citation preview
Современные технологии интеграции данных
для принятия управленческих
решений
www.pronet.ua
Фирма ProNET
15 лет на ИТ-рынке Украины
Законченные проекты, отмеченные
наградами и дипломами
Партнерские отношения с вендорами
Сертифицированные специалисты
Индивидуальный подход к Клиенту
Гибкая ценовая политика
Автоматизированная обработка
обращений клиентов
2
Типичные проблемы
В 2012 году около 40% (из 5 тыс. крупнейших компаний мира) будут фиксировать убытки из-за отсутствия актуальных данных и ошибочных прогнозов, вызванных работой с
недостаточным объемом информации.
Сложность построения комплексной аналитики
Размытость информационного наполнения
Консолидация из различных источников
Множество информационных потоков и ИС
Лоскутная автоматизация
Задачи наших заказчиков
огромное кол-во объектов (более сотен
тысяч, десятки миллионов);
нужна высокая скорость обработки данных;
необходима сложная аналитика;
регионально-распределенная структура;
нет прогнозной аналитики и консолидации
данных;
отсутствие методологий, процедур;
высокая трудоемкость работ и понимания;
отсутствие поддержки у руководства.
4
Business Intelligence –
совокупность технологий, программного
обеспечения и практик, направленных
на достижение целей бизнеса
(связанных с принятием решений )
путём наилучшего использования
имеющихся данных.
Бизнес аналитика (BI)
Основная решаемая задача – быстрый и надежный доступ к
необходимой информации для принятия различных решений.
Подготовка данных (ETL)
Extract, Transform, Load (извлечение, преобразование, загрузка) -
один из основных процессов в создании хранилищ данных.
Традиционный подход
большие затраты, = долгая реализация
сложная поддержка
Ручное программирование
Приложения СУБД Данные партнёров
SWIFT NACHA HIPAA …
Облачные вычисленияНеструкту-
рированные данные
Хранилище данных
Миграция данных
Архивация данных и
управление средами
Управление НСИ
Синхронизацияданных
Обмен данными
B2B
Консолидацияданных
Обработкакомплексных
событий
7
Данные вне компании
Подход InformaticaЕдиная, Открытая, Экономичная платформа
Аудит и анализ влияния данных в проекте
Архивирование, создание тестовых копий, искажение данных
Data Profiling
Оценка качества
Data Quality
Очистка данных
PowerCenter
Трансформация и Интеграция
B2B Exchange
Доставка
PowerExchange
B2B Exchange
Доступ
Приложения Данные партнеров
SWIFT NACHA HIPAA …
ФайлыБазы данных
Мониторинг
Разработка + Управление
Хранилище данных
Миграция данных
Архивация данных и
управление средами
Управление НСИ
Синхронизацияданных
Обмен данными
B2B
Консолидацияданных
Обработкакомплексных
событий
8
InformaticaПроверенная технология лидерства
B2B Data Exchange
Informatica supports the requirements of cross-organizational data
exchange, so users apply familiar & trusted data integration tools and
techniques to the growing practice of B2B data integration.
Application ILM
Informatica was assessed as having the largest share, more than 33 percent, in
packaged applications for database archiving based on number of customers
for 2007 by Gartner, Inc. in a research report released October 13, 2008
Complex Events Processing
Major differentiator is that it does not just wait for events to come to it but it
can go out and get them for itself. Provides agents to gather events from front-office databases & applications
as well as receiving directly from relevant feeds
Master Data Management
Cloud Data Integration
“Informatica’s mission to integrate data from business to business… meets a
need of many companies…Others in this market (including IBM, Microsoft and
Oracle) have not yet pursued this progressive use of data integration”
Enterprise Data Integration Data QualityForrester Wave IaaS
9
Преимущества Informatica
Исключить написание программного кода в проектах
интеграции и обеспечения качества данных. Обрабатывать любые объёмы данных в любых режимах. Обеспечить визуальное представление интеграционных
процессов и процессов по обеспечению качества данных. Облегчить поддержку и передачу новым специалистам
разработанных процессов. Повысить скорость разработки на 30-50%. Получить доступ к различным источникам информации. Снизить издержки на поддержку и развитие
интеграционных процессов.
Использование решений Informatica позволяет:
10
Informatica PowerCenter – лидер рынка интеграции
данных
11
Informatica PowerCenter интерфейс разработчика
• Визуализация процесса построения правил обработки данных
• Отсутствие программирования
Informatica PowerCenter
• Уменьшение нагрузки на систему-источник за счет проведения одновременной записи
обработанных данных, в несколько таблиц-приемников • Параллелизация расчетов для увеличения производительности• Любые режимы работы процессов: по расписанию, по запросу, в реальном времени
Informatica PowerCenter
• Онлайн-мониторинг выполнения процессов обработки данных• Остановка, перезапуск, восстановление процессов • Одновременное выполнение любого числа процессов
Informatica PowerCenter
• Наглядность процессов трансформации данных
• Возможность проследить формирование каждого значения и влияние каждого
из полей на результирующее значение
Informatica PowerCenter
Несколько таблиц одной БД Несколько таблиц различных БД (Oracle, ODBC, Sybase IQ, Teradata и т.п.) Плоские файлы с таблицами БД или другими файлами Сущности приложений с таблицами БД, файлами или другими приложениями
(SAP, SAS, OEBS, PeopleSoft и т.п.)
Возможность объединения данных источников разных или одинаковых типов:
16
Универсальный доступ к данным
Корпоративные приложения
Базы данных, Хранилища
Системы обмена сообщениями
Технологические стандарты
Неструктурированные
данные
JD Edwards EnterpriseOne Adabas JMS email EDI
JD Edwards World C-ISAM MSMQ HTTP HL7
Lotus Notes Datacom TIBCO LDAP SWIFT
Oracle E-Business Suite DB2 webMethods Broker Web Services ACORD
PeopleSoft Enterprise VSAM WebSphere MQ XML HIPAA
salesforce.com IDMS EDIFACT
SAP NetWeaver IMS DB Excel
SAP NetWeaver BI Netezza PDF
SAS ODBC Word
Siebel Oracle txt
SQL Server
Sybase
Teradata
Essbase
17
Опциональные возможностиплатформы Informatica
18
Enterprise Grid –динамическая обработка в многосерверной среде
Гетерогенные сети
Определение загруженности
серверов
Динамическое распределение
процессов
Поддержка работоспо-собности
Динамическое распределение
данных
13
4
2
4
19
High Availability –обеспечение отказоустойчивости
Backup-сервисы
Сервисы репозито-
риев
Интегра-ционные сервисы
Сбой в работе
(HW/SW)Автоматическое восстановление,
перезапуск, возобновление
20
Informatica Data QualityИнструмент обеспечения качества
Sources
Runtime
DQ Dashboard
Business Applications
Designer
RealtimeSDK
IDQServer
Repository
Data Integration/
Quality Services
SAPSiebelOracle
InformaticaPowerCenter
Runtime
Обработка данных, требующих синтаксического разбора: Имена Адреса Телефоны Товарные номенклатуры Паспортные данные Налоговые номера Банковские реквизиты Любая другая информация
Стандартизация и проверка данных
Сравнение и поиск дубликатов записей вероятностными методами
Мониторинг качества данных
Визуальные средства Informatica Analyst и Developer для создания процессов обеспечения и оценки качества данных
21
Отчеты о качестве данных
Фамилия Имя Отчество
22
Informatica Identity Resolution (IIR) - эффективная идентификация данных
Процесс идентификации может приводить к серьезным ошибкам и вариациям
Сведения могут содержать многоязычные данные
Используемые техники идентификации не находят дублей либо находят их слишком много
Используемые техники идентификации чересчур сложны и ресурсоемки
Очистка данных не позволяет полностью решить проблему
Примеры
Хундай, Хенде, Хендэ, Хендай, Хуиндай, Хёндай, Hunday, Hounday, Hyundai….
Павел Лихницкий,
Лихницкий П.,
П. В. Лихнитский,
г-н Лихницкий Павел Викторович,
Mr. Likhnitsky,
P. Likhnitskiy…
Алексей, Алекс, Алеша, Алёша, Леха…
23
Преимущества решения• Повышение производительности
за счет выделения неактивных данных систем
• Снижение расходов, экономия на аппаратном обеспечении
• Легкое создание тестовых сред с измененными данными
Information Lifecycle Management -управление жизненным циклом информации
24
Преимущества наших решений
Что мы предлагаем
Методологию, практики для использования
ETL-систем;
Настройку и интеграцию систем под заказчика;
Создание единого информационного
пространство для различных прикладных
систем – для управления информации;
Повышение эффективности управления
предприятием и средства контроля.
Фирма Pronet на базе продуктов фирмы
Informatica предлагает реализацию трех типов
проектов:
Построение хранилищ данных для аналитики
и отчетности.
Обеспечение управления качеством данных.
Управление справочными данными.
27
Типы проектов
28
Эффекты от внедрения
1. Новый уровень в системе управления бизнесом.
2. Увеличение скорости работы и качества принятия решений для руководства.
3. Контроль, прогнозируемость работы предприятия.
4. Возможность обработки больших массивов информации.
5. Кардинальное сокращение затрат на сбор и обработку информации.
6. Единое информационное пространство.
7. Инструменты отвечающие на вопросы - «что будет?» и «что если?» (вместо «что было?» и «как было?»)
8. Повысить эффективность управления головной и дочерних организаций.
Автоматизированный контроль основных
показателей деятельности предприятия.
Возможность построения аналитики в
масштабах предприятия.
Выполняется анализ, мониторинг и контроль
инвестиций, сегментация клиентской базы,
модернизация маркетинговой политики.
Составление сложной отчетности (внутренней,
внешней) для руководства и контролирующих
органов
29
Результаты внедрения проектов
