Uma Análise da aplicaçãp do Modelo de Rede Neural RePART em Comitês de Classificadores Araken de Medeiros Santos Anne Magály de Paula Canuto Orientadora

Uma Análise da aplicaçãp do Uma Análise da aplicaçãp do Modelo de Rede Neural RePART Modelo de Rede Neural RePART em Comitês de Classificadoresem Comitês de Classificadores

Araken de Medeiros Santos

Anne Magály de Paula Canuto

Orientadora

ROTEIROROTEIRO

Trabalhos anteriores

Motivação

Objetivos

Redes Neurais e Comitês

Metodologia dos experimentos

Análise dos resultados experimentais

Considerações Finais

Trabalhos Futuros

TRABALHOS ANTERIORESTRABALHOS ANTERIORES

Análise comparativa do desempenho do

RePART com o FA, AIC e MLP

RePART

• Estrutura menos complexa

• Desempenho igual ou superior aos demais

modelos

MOTIVAÇÃOMOTIVAÇÃO

Qual o comportamento do RePART

em Comitês de classificadores?

OBJETIVOSOBJETIVOS

Definir o impacto, em termos de

acurácia, que a utilização do RePART

em comitês utilizando modelos ARTMAP

OBJETIVOSOBJETIVOS

Análises adicionais em termos de:

• Número de classificadores base

• Número de tipos de classificadores base

• Estratégias de aprendizado de comitês

• Relacionamento entre acurácia e

diversidade

ART ART (Adaptive Resonance Theory)(Adaptive Resonance Theory)

Dilema estabilidade-plasticidade

RNA incremental

Grau de similaridade

Aprendizagem não-supervisionada

ART x Fuzzy ARTART x Fuzzy ART

Mesma estrutura

ART => teoria dos conjuntos clássica

Fuzzy ART => teoria dos conjuntos fuzzy

Cálculo dos neurônios F2

ART => AND booleano (x*y)

Fuzzy ART => AND fuzzy [min(x, y)]

,j

j

jw

wIT

,

j

j

jw

wIT

,j

j

jw

wIT

ARTMAP/Fuzzy ARTMAPARTMAP/Fuzzy ARTMAP

Dois módulos ART/Fuzzy ART

• ARTa => padrão de entrada

• ARTb => saída desejada

Map Field

Aprendizagem supervisionada

ESTRUTURA DO ARTMAPESTRUTURA DO ARTMAP

I = (a, 1-a)

a b

Wj

J = (b, 1-b)

PROBLEMAS DO ARTMAPPROBLEMAS DO ARTMAP

Sensibilidade a ruídos

Proliferação de categoria

Má classificação (1 vencedor)

ARTMAP-ICARTMAP-IC

Mesmo processo de aprendizagem

Melhorias na fase de reconhecimento

Suavizar o problema de má classificação

Codificação distribuída (grupo de vencedores)

Parâmetro contador de instância

RePARTRePART

Suavizar problemas de proliferação de

categoria e má classificação Codificação distribuída (grupo de vencedores +

grupo de perdedores) Parâmetro contador de instância Mecanismos Adicionais:

• Vigilância variável individual (proliferação de

jhcategorias)• Recompensa/Punição (má classificação)

Vigilância VariávelVigilância Variável

Dilema bias/variância Individual Freqüência relativa de ativação (RFA)

Inversa da média relativa de ativação (RIAA)

k

k

TN

N

c

ctRFA

jkj

ii *001.1*)(

ΔRIAA ΔRFA 1)-(tVig (t)Vig ii

RECOMPENSA/PUNIÇÃORECOMPENSA/PUNIÇÃO

Vencedores => recompensa

Perdedores => punição

Má classificação

APRENDIZAGEMAPRENDIZAGEM

Semelhante ao FA e AIC

Diferença básica => cálculo das

vigilâncias de todos os neurônios

RECONHECIMENTORECONHECIMENTO

Neurônios F2 de ARTa

Ranking dos neurônios

Divisão em vencedores e perdedores

Neurônios Map Field => duas fases

NEURÔNIOS MAP FIELDNEURÔNIOS MAP FIELD

jjjk

jjj

jjjkk Rw

Tc

TcwU *

*

**

jjjk

jjj

jjjkk Pw

Tc

TcwU *

*

**

),()(1

N

kkUMaxIW

Comitês de Classificadores Comitês de Classificadores (1/4)(1/4)

M 1

M 2

M 3

M n

•

•

•

Módulo Combinador de Decisão

Padrão

Desconhecido

Decisão

Final

Comitês de Classificadores(2/4)Comitês de Classificadores(2/4)

Como combinar as saídas dos classificadores?

Como criar os classificadores membros do comitê?

Que métodos levam a comitês mais efetivos?

Comitês de Classificadores (3/4)Comitês de Classificadores (3/4)

Boosting• Processo incremental• Atribuição de pesos aos padrões de treinamento • A cada passo do boosting, a distribuição do

conjunto de treinamento é alterado• Variações:

Aggressive

Conservative

Inverse

Comitês de Classificadores Comitês de Classificadores (4/4)(4/4)

Diversidade• Diferença de generalização

• Não há vantagens em se combinar

classificadores idênticos (que generalizem

da mesma forma)

• Medidas de diversidade

Experimentos (1/5)Experimentos (1/5)

Bases de dados Breast-Cancer Database Satimage Database


Métodos de combinação • Soma• Árvore de decisão• MLP• RBF• Naive Bayesian• KNN• SVM


Boosting• Agressive Boosting• Conservative Boosting• Inverse Boosting


Validação cruzada : 10 gruposTeste de Hipótese

• T-teste de variância combinada

Comitês Homogêneos e Heterogêneos• 3, 6, 12, 24 e 48 classificadores base• Diferentes tipos de classificadores

• 0, 33, 66 e 100% RePART


Medidas de diversidade• Medida de Entropia• Q-estatístico• Medida de Desacordo• Medida de Dupla-Falha

Resultados ExperimentaisResultados Experimentais

Classificadores Individuais

• RePART apresentou uma taxa de erro estatisticamente inferior à do Artmap-IC e Fuzzy Artmap, mesmo com uma complexidade de 30% a menos.

• O aumento no número de classificadores ocasionou um aumento no erro médio

BreastCancer Satimage


Individuais vs. Comitês• Os comitês com 3, 6, 12, 24 e 48 classificadores

base apresentaram uma taxa de erro inferior aos classificadores individuais.

• Verificou-se significância estatística dos comitês com relação ao Fuzzy Artmap e Artmap-IC

• Com relação ao RePART verificou-se significância estatística apenas em alguns casos


3 Classificadores base

• Menor Taxa de Erro: Naive Bayesian

• Influência significante do RePART : • Base de Câncer: SVM e Soma

• Base SatImage: Naïve Bayesian, KNN e RBF

• Maior Impacto do RePART: Soma (Câncer) e RBF(SatImage)




• Comitê com RePART apresentaram taxa de erro estatisticamente inferior aos que não possuem RePART




• A influência do RePART na diminuição do erro médio dos comitês é estatisticamente significante

• O uso do RePART em comitês com 3 classificadores base melhorou o desempenho




• Menor Taxa de Erro: Naive Bayesian e

• Influência significante do RePART : • Base de Câncer: MLP, SVM e Soma

• Base SatImage: Naive Bayesian , SVM, RBF e Soma

• Maior Impacto do RePART: Soma (Câncer) e RBF (SatImage)













• Menor Taxa de Erro: Naive Bayesian

• Influência significante do RePART : • Base de Câncer: MLP e Soma

• Base SatImage: Naive Bayesian , MLP, e Árvore de decisão

• Maior Impacto do RePART: Soma (Câncer) e MLP(SatImage)













• Menor Taxa de Erro: Naive Bayesian(Câncer) e SVM(SatImage)

• Influência significante do RePART : • Base de Câncer: MLP, RBF, SVM e Soma

• Base SatImage: Árvore de decisão














• Menor Taxa de Erro: Naive Bayesian e RBF(Câncer) e SVM(SatImage)

• Influência significante do RePART : • Base de Câncer: MLP, SVM e Soma

• Base SatImage: Árvore de decisão e MLP













Homogêneos vs. Heterogêneos

• Em geral, comitês Heterogêneos apresentam taxa de erro inferior à taxa dos Homogêneos

• O aumento no número de tipos de classificadores base ocasionou aumento na diversidade


Resultados Experimentais Resultados Experimentais

Aggressive, Conservative e Inverse

• Menor taxa de erro:• Câncer: Conservative, Inverse e Aggressive

• SatImage: Aggressive, Conservative e Inverse

• Bases com características distintas

• Houve pouca variação no grau de diversidade apresentado pelas três variações do Boosting



Número de Classificadores base

• O aumento no número de classificadores base ocasiona diminuição na taxa de erro

• Ao aumentar demasiadamente as melhorias começão a degenerar

• Comportamento da diversidade bastante semelhante em ambas as bases de dados



Número de Classificadores base

• Entropia: aumento no grau de diversidade

• Dupla-falha: redução no grau de diversidade• O aumento no número de classificadores aumenta a probabilidade dos

classificadores apresentarem o mesmo resultado



Influência do RePART

• A inclusão do RePART ocasionou uma diminuição na taxa de erro

• Aumento no grau de diversidade: Entropia, Q-Estatístico e desacordo

• Redução no grau de diversidade: Dupla-falha


ConsideraçõesConsiderações FinaisFinais

Combinar classificadores ARTMAP melhorou os resultados em relação aos classificadores Individuais

Comitês Heterogêneos em geral apresentam desempenho e grau de diversidade superior aos Comitês Homogêneos

O aumento no número de classificadores base causou uma diminuição na taxa de erro e aumento no grau de diversidade

Ao aumentar demasiadamente o número de classificadores o desempenho é degenerado


As três variantes do boosting apresentaram resultados bastante semelhantes

Comitês com maior grau de diversidade em geral apresentam taxa de erro igual ou inferior aos comitês com menor grau de diversidade

O RePART influência positivamente o desempenho de comitês compostos por classificadores ARTMAP


As três variantes do boosting apresentaram resultados bastante semelhantes

Comitês com maior grau de diversidade em geral apresentam taxa de erro igual ou inferior aos comitês com menor grau de diversidade

O RePART influência positivamente o desempenho de comitês compostos por classificadores ARTMAP

Trabalhos FuturosTrabalhos Futuros

Realizar uma investigação interclasse, ou seja, utilizando comitês que apresentam além dos modelos baseados no ARTMAP, modelos de redes neurais de outras classes, como por exemplo o Fuzzy MLP;

Realizar uma investigação mais aprofunda acerca da relação entre a diversidade e a acurácia dos comitês, assim como buscar novos métodos de quantificar e analisar a diversidade sob a ótica da influência na acurácia de comitês

Realizar um estudo mais aprofundado para identificar qual das variantes do boosting apresentam melhorias mais significativas no desempenho de comitês

FIM

Documents

Uma Análise da aplicaçãp do Modelo de Rede Neural RePART em Comitês de Classificadores Araken de Medeiros Santos Anne Magály de Paula Canuto Orientadora