Click here to load reader

Bancos de Dados Autônomos José Augusto Oliveira – Guga [email protected] Karolyne Maria Alves de Oliveira [email protected]

  • View
    216

  • Download
    0

Embed Size (px)

Text of Bancos de Dados Autônomos José Augusto Oliveira – Guga [email protected]

  • Bancos de Dados AutnomosJos Augusto Oliveira [email protected] Maria Alves de [email protected]

  • RoteiroComputao AutnomaBancos de Dados AutnomosMotivaoConceitoCaractersticasEstudo de CasoComrcio EletrnicoGerenciamento Dinmico de PerformanceQuartermaster - uma ferramenta para distribuio automtica de carga Resultados obtidosAutonomia nos SGBDs atuaisConclusesReferncias

  • Computao AutnomaMotivaoSistemas complexos, distribudos e em grande escalaDemanda de pessoal de altssima qualificaoAlto custo de gernciaAplicaes web crticas, com carga aleatria

  • Computao AutnomaO que ?Sistemas inteligentes capazes de se auto-configurar e detectar necessidade de mudanas ao longo do tempoExemplos:Gerncia autnoma de rotas em uma redeGerncia autnoma de carga em um site Gerncia autnoma de carga em um SGBD

  • Computao AutnomaCaractersticasAuto-conhecimentoAuto-configurao por demandaOtimizao contnuaAuto-correoMonitorao de seguranaDetectar e adaptar-se a coexistncia com outros sistemasDeve ser abertoTudo isso sem interveno humana

  • Bancos de Dados AutnomosCaractersticas (Sistemas Autnomos)Auto-conhecimentoAuto-configuraoOtimizao contnuaAuto-correoMonitorao de seguranaAdaptar-se a coexistnciaCompatibilidade com diversos sistemas

  • Bancos de Dados AutnomosProblemasDemanda crescente por qualidade de servio (QoS)SGBDFuncionalConectadoDisponvelHeterogneoManuteno constateVolume exponencial de dadosEra dos servios eletrnicos

  • Bancos de Dados AutnomosEstudo de CasoComrcio EletrnicoAuto-conhecimentoAuto-configuraoOtimizao contnuaAuto-correoMonitorao de seguranaAdaptar-se a coexistnciaCompatibilidade com diversos sistemas

  • Estudo de CasoComrcio EletrnicoB2CB2BAplicaes InternasComrcio Eletrnico

  • Estudo de CasoAplicaes B2CMaior volume de aplicaes eletrnicasSites de venda on-lineServiosBancosrgos PblicosOperadoras de telefoniaQoS $$$LentidoIndisponibilidadeConfiabilidade

    SoluoPriorizar acesso

  • Estudo de CasoO ProblemaSites de comrcio eletrnico movimentam transaes da ordem de $K/seg.Volume de acesso absolutamente aleatrioSuper estrutura torna servio caroEstrutura enxuta causa estrangulamento eventualMudana do volume de acesso freqente e rpida

  • Estudo de CasoAbordagemClassificar as transaes Prover o banco com um mecanismo de monitoramento e reconfigurao sensvel ao atendimento de QoSImplementar o mecanismo em um banco comercialRealizar experincias com variao de cargas de trabalho caractersticas de aplicaes de comrcio eletrnicoObservar os valores obtidos em itens determinantes de QoSMostrar que os indicadores permanecem constantes mesmo com a mudana aleatria de carga

  • Estudo de CasoGerenciando performanceComo se faz isso atualmenteControle de admissoPrioridade definida por parmetros estticosConfiguraes geralmente demandam interrupo do bancoModelo propostoGerncia de recursos orientada metas (QoS)Gerncia de recursos do SO para o bancoSistema no ar

  • Estudo de CasoQuartermasterInterfaceAnalisadorMonitorControladorMetas de performanceRecursos do BancoRegras de DescrioMetas de PerformanceLog de EventosperiodicamentePlanner

  • Estudo de CasoRealocao de MemriaAnalisadorMonitorControladorMetas de performanceRegras de DescrioMetas de PerformanceLog de EventosDB2ndiceclienteitemdepsitoTamanho configuradoSubstituio de pgina local ao BPBuffer cleanersGerentes de I/OIA < 1 !!!

  • Estudo de CasoMonitorAPI de monitorao do DB2Para cada buffer poolNmero de leituras lgicasNmero de leituras fsicas

    MonitorMetas de performanceRecursos do BancoRegras de DescrioMetas de PerformanceLog de Eventos

  • Estudo de CasoAnalisadorIA = Tempo de resposta meta Tempo de resposta realAnalisadorMonitorMetas de performanceRecursos do BancoRegras de DescrioMetas de PerformanceLog de EventosIA < 1 !!!periodicamente

  • Estudo de CasoPlannerAnalisadorMonitorRecursos do BancoPlannerARD

  • Estudo de CasoAlgoritmo de relocao - ARDAlgoritmo gulosoIterativoA cada iteraoRealoca uma quantidade de pginas entre buffersQuem recebe? Buffers onde esto os objetos de T que violou QoSQuem cede?Demais buffersA eleio dos buffers origem (cedem) busca o resultado timo para TMelhor troca possvelresultado timo em tempo de respostaLgica simples : mais acertos nos buffers => menos acesso a disco

  • Estudo de CasoEncontrando a melhor trocaPara cada par possvel origem-destinoCalcular a taxa de acerto ps troca Origem- pginas x Destino+Baseando nestes valores, encontrar o custo (tempo) de leitura de um bufferSomar todas as leituras que uma transao da classe T faz nos buffersIsso significar o tempo mdio de leitura para uma transao da classe T (representaremos por C )O par de buffers origem-destino que produzir o menor valor de C a melhor troca

  • Estudo de Caso1 taxa de acerto ps troca

    H(M) = 1 - a x Mbb = ln(1 H(M2)) ln(1-H(M1))lnM2 lnM1a = 1 H(M1)eb x ln(M1)Equao de Belady para taxa de acertoOnde :H(M) taxa de acerto para o tamanho M de buffer poolM Tamanho do buffer poola e b - constantes

  • Estudo de Caso2 Encontrar o custo de leitura

    Clique aqui para demonstrao...

    Onde :Hi taxa de acerto no buffer id proporo de pginas sujas no buffer i de tamanho Mip(Mi) Proporo de pginas sujas limpas pelos I/Ocleaners

    ri = (1 Hi) x ( 1 + (1- p(Mi)) x d )Tempo de Resposta

    Ci = Li(0) x rj

    todos os objetos de T em um buffertodos os buffers

  • Estudo de CasoExperimento 1Mudana de QoS faz comportamento de alocao de buffers mudar

    Experimento 2Mudana de carga pode ser absorvida pelo ARD, mantendo QoS constante

  • Estudo de Caso - ExperimentoO experimento utilizou trs buffer pools identificados por BP_DATA1, BP_DATA2 e BP_INDEX. BP_DATA1 WareHouse, Tabelas de Itens e de Distritos.BP_DATA2 Outras tabelasBP_INDEX Todos os ndicesExiste um total de 100000 pginas alocadas pelos buffer pools da seguinte maneira:BP_DATA1 33334 pginasBP_DATA2 33333 pginasBP_INDEX 33333 pginas

  • Estudo de Caso Experimento 1Panorama dos resultadosExperimento 1 Mdia do Tempo de Resposta (seg)Experimento 1 Detalhes da Classe EntregaMudana de QoS faz comportamento de alocao de buffers mudar

    Novos requisitos de QoS foram atendidos! As metas das outras classes permanecem melhor-esforo

    Mdia do Tempo de Resposta (Segundo)ndice de Acerto(BP_DATA1, BP_DATA2, BP_INDEX)Estado Anterior2.510.60(33334, 33333, 33333)Estado Posterior1.411.06(10334, 53333, 36333)

  • Estudo de Caso Experimento 2Experimento 2 Tempos de Resposta e Porcentagem de carga de Trabalho

  • Estudo de Caso Experimento 2Experimento 2 Detalhes

    Requisitos de QoS foram atendidos!

  • Autonomia nos SGBDs atuaisOtimizao AutomticaAjuste dinmico de consultasConfigurao automticaAssistentes de instalao e configuraoMuito pouco de automticoAuto-recuperaoParcial : recupera, mas precisa ser acionadoAuto-ProteoMecanismos de auditoriaCriptografiaControle de acesso

  • Autonomia nos SGBDs atuaisAuto-organizaoMudanas em tabelas no ar (Oracle)Reindexao no ar Auto-inspeoSe voc no consegue medir, voc no sabeFerramentas para estatsticas de performance baseados em data mining.

  • Autonomia nos SGBDs atuaisO que falta?Diminuir a dependncia de interveno humanaAdaptao dinmicaConfigurao de parmetros no arMaior capacidade analticaEstratgia de manuteno inteligenteInterface padro com outros sistemasEstratgia de segurana e privacidade mais ambiciosa

  • Concluso uma extenso proposta para responder o crescimento da complexidade e a necessidade de agilidade.O DBA um mortal

    Uma proposta foi vistaExperimentos mostraram resultados satisfatriosPara cada caracterstica de autonomia Cincia a ser produzida

  • Referncias[Martin, Powley, Li] Managing Database Server Performance to Meet QoS Requirements in Electronic Commerce Systems, 2004[Elnaffar] Towards Workload-Aware DBMSS: Identifying worload type and predicting its change, tese de doutorado submetida a universidade Kigston, Ontrio, Canad[Elnaffar, Martin]An intelligent framework to predict shifts in the workload of SGBDSs

Search related