Introduo ao clculo numrico

Uso do Coeficiente de Correlao Linear de Pearson no Aprendizado via BackpropagationDiego Santiago de Meneses Carvalho

Areolino de Almeida NetoOrientadorMecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica1RoteiroObjetivoMotivaoMetodologiaAlgoritmo BackpropagationMelhorias propostasCoeficiente de Correlao de PearsonUso do coeficienteInvestigaesCronogramaQualificao Diego Santiago de Meneses Carvalho2MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica2ObjetivoEste trabalho pretende melhorar a convergncia do algoritmo Backpropagation atravs do uso da taxa de aprendizado varivel baseada no Coeficiente de Correlao de Pearson

Qualificao Diego Santiago de Meneses Carvalho3MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica3MotivaoTempo de treinamento geralmente extenso

Acurcia nem sempre suficiente

Ausncia de uma metodologia de configurao da RNA

Taxa de aprendizado constante e definida aleatoriamente

Baixo controle do projetista da rede no treinamento

Qualificao Diego Santiago de Meneses Carvalho4MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica4MetodologiaEtapas:Estudo: Algoritmo BackpropagationCoeficiente de Correlao de Pearson

Implementao: desenvolvimento de software na plataforma MATLAB

Testes e Validao: escolha de algumas aplicaesQualificao Diego Santiago de Meneses Carvalho5MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaAlgoritmo BackpropagationObjetivo: minimizar o erro quadrtico mdio da sada da RNA pelo mtodo do gradiente descendente

Fases:ForwardBackward

Caracterstica principal: retropropagao do erro de sada da rede para camadas anteriores

Qualificao Diego Santiago de Meneses Carvalho6MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaAlgoritmo BackpropagationVantagens:SimplicidadeBaixa complexidade computacionalForte paralelismo no processamento

Desvantagens:Alto tempo de convergnciaAprisionamento em mnimo local

Qualificao Diego Santiago de Meneses Carvalho7MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaMelhorias PropostasKin e Chien:Mtodo de avaliao dos neurnios da camada escondida: analisa a sada da rede sem o neurnioCongelamento dos pesos irrelevantes

Kin, Liu e Xie:Funo que relaciona a taxa de aprendizado com o erroVaria a taxa de aprendizado baseado na variao do erroQualificao Diego Santiago de Meneses Carvalho8MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaMelhorias PropostasXie et al.:Multiplicam o termo de momentum pela funo sigmoide ou tangente hiperblica para alterar a direo de ajuste dos pesosVariam a taxa de aprendizado de acordo com a variao do erro

Xinbo e Lili:Erro aumenta: cancelamento da atualizao dos pesos e reduo da taxa de aprendizadoErro diminui: aumento da taxa de aprendizado

Qualificao Diego Santiago de Meneses Carvalho9MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaMelhorias PropostasXu e Zhang:Alterao da funo de ativaoRegulagem da taxa de aprendizadoDefinio de novos valores iniciais para os pesos

Qualificao Diego Santiago de Meneses Carvalho10MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaCoeficiente de correlao de PearsonCorrelao: relao entre duas variveis, onde os dados podem ser representados por pares ordenados (x,y)X: varivel independente (ou explanatria)Y: varivel dependente (ou resposta)

Coeficiente de correlao linear: medida da fora e direo da relao linear entre duas variveisQualificao Diego Santiago de Meneses Carvalho11MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaCoeficiente de correlao de PearsonValores do coeficiente:Entre -1 e 1, inclusive ambos-1 correlao linear negativa perfeita1 correlao linear positiva perfeita

Qualificao Diego Santiago de Meneses Carvalho12MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaUso do coeficienteIranmanesh et al.:Reconhecimento de assinaturas on-lineRelao entre os pontos da assinatura e a presso exercida pela caneta nesses pontosCaractersticas marcantes da assinatura so passadas para uma RNA classificadora

Qualificao Diego Santiago de Meneses Carvalho13MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaUso do coeficienteNeto et al.:Artigos:1 Economia de energia em um sistema robtico autnomo2 Descarte de informaes redundantes em sistema robtico autnomo3 Estimao de risco de coliso em um sistema de navegao em tempo real

Em comum:Relao entre vrios frames adquiridos atravs de viso computacionalToma decises baseado na correlaoQualificao Diego Santiago de Meneses Carvalho14MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaUso do coeficienteOutros: Reduo de rudosLocalizao de dispositivos mveisLingustica

Neste trabalho: medir a relevncia de cada peso durante o treinamento de uma Rede Neural Artificial (RNA)

Qualificao Diego Santiago de Meneses Carvalho15MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaInvestigaesCongelamento ou anulao dos pesos que apresentarem correlao baixa em mdulo

Variao de uma pequena quantidade de pesos

Atualizao da correlao a cada 1, 10, 50, 100 ou 1000 iteraes, por exemplo

Variao da taxa de aprendizado baseado no mdulo da correlao ou no

Variao da taxa de aprendizado baseado na variao do erro

Qualificao Diego Santiago de Meneses Carvalho16MecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaCronogramaQualificao Diego Santiago de Meneses Carvalho17Atividades20152016janfevmarabrmaijunjulagosetoutnovdezjanfevReviso BibliogrficaXXXXXDesenvolvimento da propostaXXXXXXXPesquisar sobre eventos e revistasXXPreparar artigoXXEscrita da DissertaoXXDefesa da DissertaoXMecaNET - Ncleo de Estudos Tecnolgicos em MecatrnicaAgradecimentoQualificao Diego Santiago de Meneses Carvalho18

MecaNET - Ncleo de Estudos Tecnolgicos em Mecatrnica