Click here to load reader

Redes Neurais Luana Bezerra Batista [email protected]

  • View
    224

  • Download
    4

Embed Size (px)

Text of Redes Neurais Luana Bezerra Batista [email protected]

  • Redes NeuraisLuana Bezerra [email protected]

  • RoteiroIntroduoNeurnio ArtificialPerceptron Perceptrons de Mltiplas CamadasAlgoritmo BackpropagationMapas Auto-Organizveis

  • IntroduoRedes Neurais so modelos computacionais inspirados no crebro humano que aprendem atravs de exemplosCompostas por vrias unidades de processamento (neurnios)Interligadas por conexes (sinapses)Cada conexo possui um peso associado (peso sinptico)

  • IntroduoArquitetura genrica de uma RN

    Camada de entradaCamada intermediriaCamada de sada

  • Neurnio ArtificialModelo de McCulloch-Pitts (1943)

  • PerceptronDesenvolvido por Rosemblat (1958)

    Forma mais simples de uma Rede Neural utilizada para classificao de padres linearmente separveis

    Utiliza o modelo de neurnio de McCulloch-Pitts

  • PerceptronProblemas linearmente separveis

  • PerceptronAlgoritmo de Treinamento (Supervisionado)

    iniciar todas as conexes com wj = 0;repita para cada padro de treinamento (x, d)faa calcular a sada o se (d o) ento ajustar pesosat o erro ser aceitvel

  • PerceptronAjuste dos pesos por correo do erro

    wji = xj (dj - oj ), se (d o)Onde (dj - oj ), representa o erro e a taxa de aprendizado

    wji = 0, se (d = o)

  • PerceptronAlgoritmo de Teste

    Para cada padro x faaapresentar x a entrada da redecalcular a sada ose (o=1) ento x classe 1 seno x classe 2

  • PerceptronPerceptrons de uma nica camada resolvem apenas problemas linearmente separveisGrande nmero de aplicaes importantes so no-linearmente separveis

  • PerceptronExemplo: problema XOR

  • PerceptronSoluo: perceptrons de mltiplas camadas

  • Perceptrons de mltiplas camadasUma rede neural MLP (Multi-Layer Perceptrons) uma extenso do Perceptron proposto por Rosenblatt, composta de vrias camadas de neurniosArquitetura de rede neural mais utilizada

  • Perceptrons de mltiplas camadasContm trs tipos de camadas:camada de entradacamada(s) intermedirias(s)camada de sada

    Qualquer neurnio de uma camada pode interligar-se com outro neurnio da camada seguinte

  • Perceptrons de mltiplas camadasCamada de entradaCamada intermediriaCamada de sada

  • Perceptrons de mltiplas camadasO treinamento de uma rede neural MLP realizado de maneira supervisionada com o algoritmo Backpropagation (ou retropropagao do erro)

    Nesse algoritmo, a determinao do sinal de erro d um processo recursivo que se inicia nos neurnios da camada de sada e vai at os neurnios da primeira camada intermediria

  • BackpropagationO algoritmo Backpropagation opera em dois passos:1) Forwardum padro apresentado camada de entrada da rede e propagado em direo camada de sadaa sada obtida comparada com a sada desejada para esse padro particular. Se esta no estiver correta, o erro calculado

  • Backpropagation2) Backwardo erro propagado a partir da camada de sada at a camada de entradaos pesos das conexes dos neurnios das camadas internas vo sendo modificados conforme o erro retropropagado

  • BackpropagationPara os neurnios das camadas intermedirias, onde no existem sadas desejadas, o sinal do erro d determinado recursivamente em termos dos sinais dos erros dos j neurnios diretamente conectadas a eles e dos pesos destas conexes

  • BackpropagationErro dos neurnios na camada de sada

    Erro dos neurnios nas camadas intermedirias

    Ajuste dos pesos

  • Backpropagation

  • BackpropagationVantagenssimples de implementar boa capacidade de generalizaoDesvantagensdificuldade de justificar as respostascusto computacional significativo baixa velocidade de aprendizado

  • Mapas Auto-OrganizveisO mapa auto-organizvel (SOM: Self-Organizing Map) um tipo especial de rede neural no-supervisionada onde realizado um processo de aprendizagem competitivaO neurnio mais prximo do padro de entrada (com a menor distncia Euclidiana) declarado vencedor

  • Mapas Auto-OrganizveisSegundo Haykin (2001), o principal objetivo do SOM transformar um padro de entrada, de dimenso arbitrria, em um mapa discreto uni- ou bi-dimensional

  • Mapas Auto-OrganizveisSOM bidimensional Camada de entradaCamada computacional

  • Mapas Auto-OrganizveisOs mapas auto-organizveis possuem duas propriedades principais:

    Quantizao vetorial (reduo do espao de entrada)

    Agrupamento de padres similares em regies geograficamente prximas

  • Mapas Auto-OrganizveisAlgoritmoInicialize os vetores de pesos com valores aleatrios wj = [wj1, wj2, , wjm], j=1,2,nOnde m a dimenso do espao de entrada e n o nmero total de neurnios do mapaRestrio: os vetores de pesos devem ser diferentes

    Para cada padro de entrada x = [x1, x2, ...xm]encontre o neurnio mais prximo desse padro (neurnio vencedor i(x)=arg min||x-wj||)atualize os pesos

    Repita o passo 2 at que no sejam observadas modificaes significativas no mapa

  • Mapas Auto-OrganizveisAjuste dos vetores de pesoswj = h(i(x))(x - wj )Onde h(i(x)) a funo de vizinhana que mede o grau de participao dos neurnios vizinhos a i(x) no processo de aprendizado

  • Mapas Auto-OrganizveisExperimento: agrupamento de 16 animais em 3 categoriasCaadoresPssarosEspcies pacficasSOM 10x102000 iteraes

  • Atributos

  • Mapa ContextualCaadoresPssarosEspcies pacficas

  • RefernciasMitchell, T., Machine Learning. McGraw-Hill, 1997Haykin, S. Redes Neurais Princpios e prtica. 2. Ed. Porto Alegre, RS: Bookman, 2001

    Uma rede neural MLP (Multi-Layer Perceptrons)Uma rede neural MLP (Multi-Layer Perceptrons)muitas pesquisas vm sendo realizadas visando a extrao de conhecimento de redes neurais artificiais, e na criao de procedimentos explicativos, onde se tenta justificar o comportamento da rede em determinadas situaes

    Os neurnios do mapa so totalmente conectados com todos os ns fontes da camada de entrada, representando uma estrutura alimentada adiante com uma nica camada computacional. Um mapa unidimensional um caso especial da arquitetura apresentada na figura, onde a camada computacional consiste de uma nica coluna ou linha de neurnios.

    Os mapas auto-organizveis possuem duas propriedades principais: Quantizao vetorial (reduo do espao de entrada). Agrupamento de padres similares em regies geograficamente prximas.Os mapas auto-organizveis possuem duas propriedades principais: Quantizao vetorial (reduo do espao de entrada). Agrupamento de padres similares em regies geograficamente prximas.Os mapas auto-organizveis possuem duas propriedades principais: Quantizao vetorial (reduo do espao de entrada). Agrupamento de padres similares em regies geograficamente prximas.Os mapas auto-organizveis possuem duas propriedades principais: Quantizao vetorial (reduo do espao de entrada). Agrupamento de padres similares em regies geograficamente prximas.Os mapas auto-organizveis possuem duas propriedades principais: Quantizao vetorial (reduo do espao de entrada). Agrupamento de padres similares em regies geograficamente prximas.Os mapas auto-organizveis possuem duas propriedades principais: Quantizao vetorial (reduo do espao de entrada). Agrupamento de padres similares em regies geograficamente prximas.

Search related