Bancos de Dados AutnomosJos Augusto Oliveira [email protected] Maria Alves de [email protected]
RoteiroComputao AutnomaBancos de Dados AutnomosMotivaoConceitoCaractersticasEstudo de CasoComrcio EletrnicoGerenciamento Dinmico de PerformanceQuartermaster - uma ferramenta para distribuio automtica de carga Resultados obtidosAutonomia nos SGBDs atuaisConclusesReferncias
Computao AutnomaMotivaoSistemas complexos, distribudos e em grande escalaDemanda de pessoal de altssima qualificaoAlto custo de gernciaAplicaes web crticas, com carga aleatria
Computao AutnomaO que ?Sistemas inteligentes capazes de se auto-configurar e detectar necessidade de mudanas ao longo do tempoExemplos:Gerncia autnoma de rotas em uma redeGerncia autnoma de carga em um site Gerncia autnoma de carga em um SGBD
Computao AutnomaCaractersticasAuto-conhecimentoAuto-configurao por demandaOtimizao contnuaAuto-correoMonitorao de seguranaDetectar e adaptar-se a coexistncia com outros sistemasDeve ser abertoTudo isso sem interveno humana
Bancos de Dados AutnomosCaractersticas (Sistemas Autnomos)Auto-conhecimentoAuto-configuraoOtimizao contnuaAuto-correoMonitorao de seguranaAdaptar-se a coexistnciaCompatibilidade com diversos sistemas
Bancos de Dados AutnomosProblemasDemanda crescente por qualidade de servio (QoS)SGBDFuncionalConectadoDisponvelHeterogneoManuteno constateVolume exponencial de dadosEra dos servios eletrnicos
Bancos de Dados AutnomosEstudo de CasoComrcio EletrnicoAuto-conhecimentoAuto-configuraoOtimizao contnuaAuto-correoMonitorao de seguranaAdaptar-se a coexistnciaCompatibilidade com diversos sistemas
Estudo de CasoComrcio EletrnicoB2CB2BAplicaes InternasComrcio Eletrnico
Estudo de CasoAplicaes B2CMaior volume de aplicaes eletrnicasSites de venda on-lineServiosBancosrgos PblicosOperadoras de telefoniaQoS $$$LentidoIndisponibilidadeConfiabilidade
SoluoPriorizar acesso
Estudo de CasoO ProblemaSites de comrcio eletrnico movimentam transaes da ordem de $K/seg.Volume de acesso absolutamente aleatrioSuper estrutura torna servio caroEstrutura enxuta causa estrangulamento eventualMudana do volume de acesso freqente e rpida
Estudo de CasoAbordagemClassificar as transaes Prover o banco com um mecanismo de monitoramento e reconfigurao sensvel ao atendimento de QoSImplementar o mecanismo em um banco comercialRealizar experincias com variao de cargas de trabalho caractersticas de aplicaes de comrcio eletrnicoObservar os valores obtidos em itens determinantes de QoSMostrar que os indicadores permanecem constantes mesmo com a mudana aleatria de carga
Estudo de CasoGerenciando performanceComo se faz isso atualmenteControle de admissoPrioridade definida por parmetros estticosConfiguraes geralmente demandam interrupo do bancoModelo propostoGerncia de recursos orientada metas (QoS)Gerncia de recursos do SO para o bancoSistema no ar
Estudo de CasoQuartermasterInterfaceAnalisadorMonitorControladorMetas de performanceRecursos do BancoRegras de DescrioMetas de PerformanceLog de EventosperiodicamentePlanner
Estudo de CasoRealocao de MemriaAnalisadorMonitorControladorMetas de performanceRegras de DescrioMetas de PerformanceLog de EventosDB2ndiceclienteitemdepsitoTamanho configuradoSubstituio de pgina local ao BPBuffer cleanersGerentes de I/OIA < 1 !!!
Estudo de CasoMonitorAPI de monitorao do DB2Para cada buffer poolNmero de leituras lgicasNmero de leituras fsicas
MonitorMetas de performanceRecursos do BancoRegras de DescrioMetas de PerformanceLog de Eventos
Estudo de CasoAnalisadorIA = Tempo de resposta meta Tempo de resposta realAnalisadorMonitorMetas de performanceRecursos do BancoRegras de DescrioMetas de PerformanceLog de EventosIA < 1 !!!periodicamente
Estudo de CasoPlannerAnalisadorMonitorRecursos do BancoPlannerARD
Estudo de CasoAlgoritmo de relocao - ARDAlgoritmo gulosoIterativoA cada iteraoRealoca uma quantidade de pginas entre buffersQuem recebe? Buffers onde esto os objetos de T que violou QoSQuem cede?Demais buffersA eleio dos buffers origem (cedem) busca o resultado timo para TMelhor troca possvelresultado timo em tempo de respostaLgica simples : mais acertos nos buffers => menos acesso a disco
Estudo de CasoEncontrando a melhor trocaPara cada par possvel origem-destinoCalcular a taxa de acerto ps troca Origem- pginas x Destino+Baseando nestes valores, encontrar o custo (tempo) de leitura de um bufferSomar todas as leituras que uma transao da classe T faz nos buffersIsso significar o tempo mdio de leitura para uma transao da classe T (representaremos por C )O par de buffers origem-destino que produzir o menor valor de C a melhor troca
Estudo de Caso1 taxa de acerto ps troca
H(M) = 1 - a x Mbb = ln(1 H(M2)) ln(1-H(M1))lnM2 lnM1a = 1 H(M1)eb x ln(M1)Equao de Belady para taxa de acertoOnde :H(M) taxa de acerto para o tamanho M de buffer poolM Tamanho do buffer poola e b - constantes
Estudo de Caso2 Encontrar o custo de leitura
Clique aqui para demonstrao...
Onde :Hi taxa de acerto no buffer id proporo de pginas sujas no buffer i de tamanho Mip(Mi) Proporo de pginas sujas limpas pelos I/Ocleaners
ri = (1 Hi) x ( 1 + (1- p(Mi)) x d )Tempo de Resposta
Ci = Li(0) x rj
todos os objetos de T em um buffertodos os buffers
Estudo de CasoExperimento 1Mudana de QoS faz comportamento de alocao de buffers mudar
Experimento 2Mudana de carga pode ser absorvida pelo ARD, mantendo QoS constante
Estudo de Caso - ExperimentoO experimento utilizou trs buffer pools identificados por BP_DATA1, BP_DATA2 e BP_INDEX. BP_DATA1 WareHouse, Tabelas de Itens e de Distritos.BP_DATA2 Outras tabelasBP_INDEX Todos os ndicesExiste um total de 100000 pginas alocadas pelos buffer pools da seguinte maneira:BP_DATA1 33334 pginasBP_DATA2 33333 pginasBP_INDEX 33333 pginas
Estudo de Caso Experimento 1Panorama dos resultadosExperimento 1 Mdia do Tempo de Resposta (seg)Experimento 1 Detalhes da Classe EntregaMudana de QoS faz comportamento de alocao de buffers mudar
Novos requisitos de QoS foram atendidos! As metas das outras classes permanecem melhor-esforo
Mdia do Tempo de Resposta (Segundo)ndice de Acerto(BP_DATA1, BP_DATA2, BP_INDEX)Estado Anterior2.510.60(33334, 33333, 33333)Estado Posterior1.411.06(10334, 53333, 36333)
Estudo de Caso Experimento 2Experimento 2 Tempos de Resposta e Porcentagem de carga de Trabalho
Estudo de Caso Experimento 2Experimento 2 Detalhes
Requisitos de QoS foram atendidos!
Autonomia nos SGBDs atuaisOtimizao AutomticaAjuste dinmico de consultasConfigurao automticaAssistentes de instalao e configuraoMuito pouco de automticoAuto-recuperaoParcial : recupera, mas precisa ser acionadoAuto-ProteoMecanismos de auditoriaCriptografiaControle de acesso
Autonomia nos SGBDs atuaisAuto-organizaoMudanas em tabelas no ar (Oracle)Reindexao no ar Auto-inspeoSe voc no consegue medir, voc no sabeFerramentas para estatsticas de performance baseados em data mining.
Autonomia nos SGBDs atuaisO que falta?Diminuir a dependncia de interveno humanaAdaptao dinmicaConfigurao de parmetros no arMaior capacidade analticaEstratgia de manuteno inteligenteInterface padro com outros sistemasEstratgia de segurana e privacidade mais ambiciosa
Concluso uma extenso proposta para responder o crescimento da complexidade e a necessidade de agilidade.O DBA um mortal
Uma proposta foi vistaExperimentos mostraram resultados satisfatriosPara cada caracterstica de autonomia Cincia a ser produzida
Referncias[Martin, Powley, Li] Managing Database Server Performance to Meet QoS Requirements in Electronic Commerce Systems, 2004[Elnaffar] Towards Workload-Aware DBMSS: Identifying worload type and predicting its change, tese de doutorado submetida a universidade Kigston, Ontrio, Canad[Elnaffar, Martin]An intelligent framework to predict shifts in the workload of SGBDSs
