Data Warehousing Disciplina: Banco de Dados II Professor: Carlos Eduardo Pires cesp@dsc.ufcg.edu.br

  • View
    232

  • Download
    0

Embed Size (px)

Text of Data Warehousing Disciplina: Banco de Dados II Professor: Carlos Eduardo Pires cesp@dsc.ufcg.edu.br

  • Data WarehousingDisciplina: Banco de Dados IIProfessor: Carlos Eduardo Pirescesp@dsc.ufcg.edu.br

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • BibliografiaKIMBALL, R., ROSS, M., THORNTHWAITE, W., MUNDY, J., BECKER, B. The Data Warehouse Lifecycle Toolkit. Wiley, 2nd Edition, 2008.SILBERSCHATZ, A., KORTH, H., SUDARSHAN, S. Sistema de Banco de Dados. Campus, 5 Edio, 2006.INMON, W. H. Building the Data Warehouse. Wiley, 4th Edition, 2005.

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • AgendaIntroduo (Integrao de Dados)Data Warehousing: Conceitos e TerminologiasProcesso de Data WarehousingModelagem MultidimensionalFerramentas OLAPSQL para Data WarehousingOtimizao de DW

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Abordagens para Integrao de Dados

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Integrao de DadosObjetivo de um Sistema de Integrao de Dados (SID)Fornecer uma interface uniforme para acesso a mltiplas fontes de dadosPermite ao usurio especificar o que ele deseja e o sistema determina como e onde a informao ser conseguidaEstudada no campo da Inteligncia Artificial e de Banco de Dados

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Integrao de DadosProblemas da Integrao de DadosFontes so compostas por dados muito especficos (granularidade)Dados so armazenados em diferentes esquemas e modelosDados podem ser no estruturados, semi-estruturados ou estruturadosFontes de dados tm diferentes linguagens de consulta

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Integrao de DadosAutonomia das Fontes de DadosContinuam a suportar aplicaes locaisAlteraes podem ocorrer tanto nos dados quanto nos esquemasUm SID necessita lidar com as constantes mudanas nas fontes que esto sendo integradas

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Integrao de DadosPrincipais AbordagensAbordagem Virtual (Mediadores)Consulta as fontes em tempo de execuoAbordagem MaterializadaConsulta um repositrio com dados materializadosVantagens e desvantagensDados atuais X Tempo de resposta

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Arquiteturas ClssicasArquitetura de MediadoresAbordagem virtualCaractersticasDomnio especficoMapeamentosApenas consultasFontes de dados de diferentes tipos

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Arquiteturas ClssicasArquitetura de Data WarehouseAbordagem materializadaEstratgias de manutenoRematerializao da viso integradaManuteno incrementalA Arquitetura de Data Warehouse ser abordada nesta disciplina

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data Warehouse

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data Warehouse DefiniesColeo de dados orientada a assunto, integrada, no-voltil e variante no tempo, utilizada para tomada de decises

    W. H. InmonRepositrio estruturado e corporativo de dados orientados a assunto, variantes no tempo e histricos, usados para recuperao de informaes e suporte deciso. O DW armazena dados atmicos e sumariados

    Oracle Corporation

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data Warehouse DefiniesUma cpia de dados transacionais estruturada especificamente para consulta e anlise

    R. Kimball

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Propriedades de um Data WarehouseIntegradoVariante noTempoNo-voltilOrientado aAssunto

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Orientado a AssuntoOs dados so divididos e armazenados por reas de negcioData Warehouse

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • IntegradoOs dados de um determinado assunto so definidos e armazenados apenas uma vez

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Variante no TempoOs dados so armazenados como uma srie de fotografias, cada uma representando um perodo no tempo

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • No-VoltilDados so materializados no DW

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Alterando os Dados em um Data Warehouse

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data MartData Warehouse departamentalEspelho parcial de um Data WarehouseOferece melhoria no desempenhoArmazena menos dadosDesenvolvimentoConstrudo e povoado mais rapidamenteSatisfao imediata do Cliente

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data Mart

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data Mart1998_Garantia...1998_Suporte...

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Data Warehouse x Data Mart

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Movendo Dados de um Data Warehouse para Data MartsVantagensCampos compartilhadosFonte comumProcessamento distribudoDesvantagensTempo mais longo de desenvolvimento

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Movendo Dados de Data Marts para um Data WarehouseVantagensMais simples e rpidoDados especficos de cada departamentoDesvantagensDuplicao de dadosData Marts incompatveis

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Processo de Data Warehousing

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Componentes do Processo de Data Warehousing

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Um Sistema de Data Warehousing

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Principais Profissionais Envolvidos em um Projeto de Data Warehousing

    Analista de NegciosAdministrador de DadosAdministrador de Banco de DadosDesenvolvedor de DWDesenvolvedor de Relatrios OLAP

    Pessoal da prpria empresa!

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Coleo de FerramentasObteno de dadosLimpeza, integrao, ...Consulta, relatrio, anliseMinerao de dadosMonitorao e administrao do DWMonitorao do ETL

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Processo de Extrao, Transformao e CargaExtrai dados necessrios das fontes a serem integradas, transforma-os e carrega-os no DWExtraction, Transformation and Load (ETL)Limpeza de DadosCorrige e pr-processa os dados

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Transformao de Dados

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Limpeza de Dados

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Ferramentas de ETL: Oracle Warehouse Builder

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelando um Data Warehouse

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Comparando Ambientes de ModelagemEntidades normalizadasSegue terceira forma normal ou maiorProduz um design complexo de BDArmazena dados no nvel transacional mais baixoAumenta o nvel de JOIN de tabelas em consultasEstrutura tipicamente estticaOperacional: OLTPAnaltico: Data WarehouseEntidades desnormalizadasProduz um nico design de BD mais facilmente compreensvel pelos usuriosArmazena dadosNvel de transaoNvel de sumrioDiminui o nmero de JOINs de tabelas em consultasEstrutura dinmica

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Anlise de NegcioConjunto de atividades e tcnicas utilizadas para servir como ligao entre partes interessadas no intuito de compreender a estrutura, polticas e operaes de uma organizao e para recomendar solues que permitam que a organizao alcance suas metas BABoK (Business Analysis Body of Knowledgement) Como analisar?Ponha-se no lugar de um Gerente de VendasO que ele gostaria de analisar?

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelagem MultidimensionalDados operacionais visualizados sob diversos ngulosOs ngulos so chamados dimenses do negcioProdutoLojaTempoRegioUma das dimenses sempre o Tempo

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelagem MultidimensionalOutros Exemplos de Dimenses

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelagem MultidimensionalAtributos de DimensoSo atributos qualitativos que caracterizam os ramos do negcio envolvidos na medida de desempenho de determinado fatoExemploDimenso ProdutoDescrio, embalagem, preo, etc.

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelagem MultidimensionalGranularidadeDefine o nvel de detalhe das dimensesInfluencia o tamanho das dimensesExemploDimenso LojaPasMaior GranularidadeRegioEstadoCidadeMenor Granularidade

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelagem MultidimensionalHierarquias entre os atributos das dimensesteis para a gerao de relatriosDimenso RegioFornecedor Cidade Estado RegioDimenso TempoDia Semana Ms Trimestre Ano

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Modelagem MultidimensionalAssociados a cada dimenso existem fatos:VendasComprasSinistroFatosSo valores quantitativos referentes ao desempenho de um grupo de dimensesExemploFato Vendas (Loja, Produto e Tempo)Quantidade, lucro, valor, etc.

    UFCG/CEEI/DSC - Banco de Dados II - Prof. Carlos Eduardo Pires

  • Processamento OLAPOLAP (On-line An