Data Warehousing Disciplina: Banco de Dados II Professor: Carlos Eduardo Pires cesp@dsc.ufcg.edu.br

  • View
    110

  • Download
    2

Embed Size (px)

Text of Data Warehousing Disciplina: Banco de Dados II Professor: Carlos Eduardo Pires cesp@dsc.ufcg.edu.br

  • Slide 1
  • Data Warehousing Disciplina: Banco de Dados II Professor: Carlos Eduardo Pires cesp@dsc.ufcg.edu.br
  • Slide 2
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 2 Bibliografia KIMBALL, R., ROSS, M., THORNTHWAITE, W., MUNDY, J., BECKER, B. The Data Warehouse Lifecycle Toolkit. Wiley, 2 nd Edition, 2008. SILBERSCHATZ, A., KORTH, H., SUDARSHAN, S. Sistema de Banco de Dados. Campus, 5 Edio, 2006. INMON, W. H. Building the Data Warehouse. Wiley, 4 th Edition, 2005.
  • Slide 3
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 3 Agenda Introduo (Integrao de Dados) Data Warehousing: Conceitos e Terminologias Processo de Data Warehousing Modelagem Multidimensional Ferramentas OLAP SQL para Data Warehousing Otimizao de DW
  • Slide 4
  • Abordagens para Integrao de Dados
  • Slide 5
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 5 Integrao de Dados Objetivo de um Sistema de Integrao de Dados (SID) Fornecer uma interface uniforme para acesso a mltiplas fontes de dados Permite ao usurio especificar o que ele deseja e o sistema determina como e onde a informao ser conseguida Estudada no campo da Inteligncia Artificial e de Banco de Dados
  • Slide 6
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 6 Integrao de Dados Problemas da Integrao de Dados Fontes so compostas por dados muito especficos (granularidade) Dados so armazenados em diferentes esquemas e modelos Dados podem ser no estruturados, semi- estruturados ou estruturados Fontes de dados tm diferentes linguagens de consulta
  • Slide 7
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 7 Integrao de Dados Autonomia das Fontes de Dados Continuam a suportar aplicaes locais Alteraes podem ocorrer tanto nos dados quanto nos esquemas Um SID necessita lidar com as constantes mudanas nas fontes que esto sendo integradas
  • Slide 8
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 8 Integrao de Dados Principais Abordagens Abordagem Virtual (Mediadores) Consulta s fontes em tempo de execuo Abordagem Materializada Consulta um repositrio com dados materializados Vantagens e desvantagens Dados atuais X Tempo de resposta
  • Slide 9
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 9 Arquiteturas Clssicas Arquitetura de Mediadores Abordagem virtual Caractersticas Domnio especfico Mapeamentos Apenas consultas Fontes de dados de diferentes tipos
  • Slide 10
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 10 Arquiteturas Clssicas Arquitetura de Data Warehouse Abordagem materializada Estratgias de manuteno Rematerializao da viso integrada Manuteno incremental A Arquitetura de Data Warehouse ser abordada nesta disciplina
  • Slide 11
  • Data Warehouse
  • Slide 12
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 12 Data Warehouse Definies Coleo de dados orientada a assunto, integrada, no-voltil e variante no tempo, utilizada para tomada de decises W. H. Inmon Repositrio estruturado e corporativo de dados orientados a assunto, variantes no tempo e histricos, usados para recuperao de informaes e suporte deciso. O DW armazena dados atmicos e sumariados Oracle Corporation
  • Slide 13
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 13 Data Warehouse Definies Uma cpia de dados transacionais estruturada especificamente para consulta e anlise R. Kimball
  • Slide 14
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 14 Propriedades de um Data Warehouse Integrado Variante no Tempo No-voltil Orientado a Assunto Data Warehouse
  • Slide 15
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 15 Orientado a Assunto Os dados so divididos e armazenados por reas de negcio Aplicaes OLTP Aposentadoria Investimento Seguro Emprstimo Poupana Data Warehouse Informaes Financeiras dos Clientes
  • Slide 16
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 16 Integrado Data WarehouseAplicaes OLTP Cliente Poupana Contas Emprstimos Os dados de um determinado assunto so definidos e armazenados apenas uma vez
  • Slide 17
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 17 Variante no Tempo Os dados so armazenados como uma srie de fotografias, cada uma representando um perodo no tempo Data Warehouse
  • Slide 18
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 18 No-Voltil Dados so materializados no DW Data Warehouse Leitura Carga Operacional Insero, Atualizao, Remoo e/ou Leitura
  • Slide 19
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 19 Alterando os Dados em um Data Warehouse Bancos de Dados OperacionaisBanco de Data Warehouse Primeira Carga Atualizar Eliminar ou Arquivar
  • Slide 20
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 20 Data Mart Data Warehouse departamental Espelho parcial de um Data Warehouse Oferece melhoria no desempenho Armazena menos dados Desenvolvimento Construdo e povoado mais rapidamente Satisfao imediata do Cliente
  • Slide 21
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 21 Data Mart
  • Slide 22
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 22 Data Mart DW Corporativo Data Mart Vendas & MarketingData Mart Garantia & Suporte Clientes 1998 _ Vendas 1999_Vendas 2000 _ Vendas 1998_Garantia 1998_Suporte... 1998_Vendas 1999_Vendas 2000_Vendas... 1998_Garantia... 1998_Suporte...
  • Slide 23
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 23 Data Warehouse x Data Mart MesesMeses a anosTempo de Implementao PoucasVriasFonte de Dados Um nico assuntoVriosAssuntos DepartamentoEmpresaEscopo Data MartData WarehousePropriedade
  • Slide 24
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 24 Movendo Dados de um Data Warehouse para Data Marts Vantagens Campos compartilhados Fonte comum Processamento distribudo Mart Suporte a clientes Mart Vendas DataWarehouse Mart Finanas Fonte 1 Fonte 2 Fonte 3 Desvantagens Tempo mais longo de desenvolvimento
  • Slide 25
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 25 Movendo Dados de Data Marts para um Data Warehouse DataWarehouse Mart Vendas Mart Finanas Mart Suporte a clientes Fonte 1 Fonte 2 Fonte 3 Vantagens Mais simples e rpido Dados especficos de cada departamento Desvantagens Duplicao de dados Data Marts incompatveis
  • Slide 26
  • Processo de Data Warehousing
  • Slide 27
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 27 Componentes do Processo de Data Warehousing Fontes de Dados rea de Preparao rea de Armazenamento Ferramentas de Acesso ODS Operacional Externa Legado Repositrio de Metadados Data Marts Data Warehouse
  • Slide 28
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 28 Um Sistema de Data Warehousing Dados no Ambiente OLAP Dados no Ambiente OLAP Data Marts Data Warehouse Dados de Sistemas Operacionais Dados de Sistemas Operacionais Compras Produo Contbil Dados da Empresa OLTP Vendas
  • Slide 29
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 29 Principais Profissionais Envolvidos em um Projeto de Data Warehousing Analista de Negcios Administrador de Dados Administrador de Banco de Dados Projetista de DW Desenvolvedor de DW Desenvolvedor de Relatrios OLAP Pessoal da prpria empresa!
  • Slide 30
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 30 Coleo de Ferramentas Obteno de dados Limpeza, integrao,... Consulta, relatrio, anlise Minerao de dados Monitorao e administrao do DW Monitorao do ETL
  • Slide 31
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 31 Processo de Extrao, Transformao e Carga Extrai dados necessrios das fontes a serem integradas, transforma-os e carrega-os no DW Extraction, Transformation and Load (ETL) Limpeza de Dados Corrige e pr-processa os dados OperacionalData Warehouserea de Preparao
  • Slide 32
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 32 Transformao de Dados
  • Slide 33
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 33 Limpeza de Dados CdigoCandidatoProfissoIdade 1Jos RobertoEngenheiro44 1Maria SilvaMdico67 2Pedro AlcntaraAdvogado1001 3P. AlcntaraBancrio43 4Marta BorgesComerciante22 nullPriscila SouzaProfessor18 5Adolfo FariasDocente27... 5 erros
  • Slide 34
  • UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 34 Ferramentas de ETL: Oracle Warehouse Builder
  • Slide 35
  • Desenho Arquitetural UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 35 Diagrama de Fluxo de Dados
  • Slide 36
  • Mapeamento da Movimentao dos Dados UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 36 Fontes de Dados Transformaes Destinos
  • Slide 37
  • Refinando a Movimentao dos Dados UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires 37
  • Slide 38
  • Modelando um Data Warehouse
  • Slide 39