Resumo Redes Neurais

7/23/2019 Resumo Redes Neurais

1/14

Redes Neurais Artificiais tm capacidade de adquirir, armazenar e utilizar conhecimentoexperimental.

A rede aprende por experincia, no necessitando explicitar os algoritmos para executar umadeterminada tarefa. Redes Neurais so capazes de generalizar o seu conhecimento a partir deexemplos anteriores. Habilidade de lidar com rudos e distores, respondendo corretamente a novos

padres. Modelo de McCulloch & Pitts:

o

A atividade de um neurnio um processo tudo ou nada.o Um certo nmero fixo (>1) de entradas devem ser excitadas dentro de um perodo de adio

latente para excitar um neurnio.o nico atraso significativo o atraso sinptico.o A atividade de qualquer sinapse inibitria previne absolutamente a excitao do neurnio.o A estrutura das interconexes no muda com o tempo.o Tem-se o neurnio com n terminais de entrada x1, x2,... xn (dendritos) e apenas um terminal de

sada y (axnio).o O comportamento das sinapses emulado atravs de pesos w1, w2,..., wn acoplados as entradas

dos neurnios, cujo valor pode ser excitatrio ou inibitrio.o O efeito de uma sinapse i no neurnio ps-sinptico dado por xi.wi.

As entradas podem ser as sadas de outros neurnios, entradas extrenas, um bias ou qualquercombinao destes elementos.

Bias(Tendncia) um erro sistemtico diferentemente de erro aleatrio. Um ou mais componentesdo erro sistemtico podem contribuir para a tendncia. Uma grande diferena sistemtica em relaoao valor de referncia aceito reflete-se em um grande valor de tendncia.

O somatrio de todas estas entradas, multiplicadas por suas respectivas foras de conexo sinptica(os pesos), d origem ao chamado "net" de um neurnio.

Wij um nmero real que representa a conexo sinptica da entrada do j-simo neurnio. A conexosinptica conhecida como excitatriase wij>0 ou inibitriacaso wij


2/14

Funo de Sada (fs):

Essencialmente, qualquer funo contnua e monotmica crescente, tal que x E R e y(x) E [-1,1], podeser utilizada como funo de sada na modelagem neural.

Existem uma srie de funes mais comumente utilizadas como funes de sada em neurnios. Estasfunes so:

o A Funo Linear y(x) = axo A Funo Sigmoidal ou Logsticay(x) = 1 / (1 + e-kx)o

A Funo Tangente Hiperblica y(x) = tanh(kx) = (1 - e-kx

) / (1 + e-kx

)

Modelo de McCulloch e Pitts: neste modelo, os pesos sinpticos eram fixos e a sada obtida pela aplicaode uma funo de limiar.

Conjunto de sinapses (W):Ligaes entre neurnios. Cada ligao possui um valor (peso), que representaa sua fora: os estmulos de entrada so multiplicados pelos respectivos pesos de cada ligao, podendogerar um sinal tanto positivo (excitatrio) quanto negativo (inibitrio).

Combinador Linear ( ):Executa o somatrio dos sinais produzidos pelo produto entre os pesossinpticos e as entradas fornecidas ao neurnio. Em outras palavras, o integrador dos sinais que chegamao neurnio.

A sada do neurnio definida pelo seu valor de ativao:

Sj: estado de ativaoFuno de ativao: determina o novo valor do estado de ativao do processador sj= F(net j) ou yi = f(u i)

Input: recebe os dados de entrada Output: recebe os dados de sada Hidden: as suas entradas e sadas permanecem dentro do sistema


3/14

Funo Sigmide: Esta funo, ao contrrio da funo limiar, pode assumir todos os valores entre 0 e 1. Arepresentao mais utilizada para esta funo a funo logstica, definida por:

Onde a o parmetro de inclinao da funo sigmide e v o valor de ativao do neurnio.

Redes Feed-Forward: cada camada se conecta prxima camada, porm no h caminho de volta.Todas as conexes, portanto, tm a mesma direo, partindo da camada de entrada rumo a camada desada.


4/14

Redes Recorrentes: redes com conexes entre processadores da mesma camada e/ou das camadasanteriores (realimentao). Apresentam ciclos nas suas conexes, isto , a sada de neurnios de umacamada i so entradas de neurnios de uma camida i-j, com j>=0

Memrias associativas so redes nas quais os pesos so determinados de forma que a rede possaarmazenar um conjunto de associaes de padres P. A rede pode ser usada para determinar se umvetor de entrada conhecido (isto , est armazenado na rede) ou desconhecido. Recupera um

padro armazenado como resposta a apresentao de uma verso incompleta ou ruidosa deste padro. Learning: processo de atualizao dos pesos sinpticos para a aquisio do conhecimento/informao. Recall: processo de clculo da sada da rede, dado um certo padro de entrada. Recuperao de

informao. Aprendizado: processo pelo qual os parmetros livres, pesos sinpticos, de uma rede neural so

adaptados atravs de um processo contnuo de estimulao pelo ambiente.o Treinamento supervisionado: a rede treinada atravs do fornecimento dos valores de

entrada e de seus respectivos valores desejados de sada (training pair). geralmenteefetuado atravs do processo de minimizao do erro calculado na sada.

o Treinamento no-supervisionado:no requer o valor desejado de sada da rede. O sistemaextrai as caractersticas do conjunto de padres, agrupando-os em classes inerentes aosdados. Usado para classificao dos padres de entrada.

o Reinforcement learning: existe uma realimentao (sinal de reforo) que avalia a respostacomo boa ou ruim. O objetivo maximizar a quantidade de reforo positivo. O sistema deaprendizado aprende a realizar uma certa tarefa somente com base nos resultados de suaexperincia com uma interao com o ambiente.

Perceptronaprende conceitos, ele pode aprender a responder com verdadeiro (1) ou falso (0) pelas

entradas estudando repetidamente os exemplos apresentados. O perceptron uma rede neural cujospesos e inclinaes podem ser treinados para produzir um vetor alvo que deve corresponder ao vetor deentrada. Se a sada da rede estiver correta, nenhuma mudana feita. Uma passagem inteira detreinamento de entrada de um vetor chamada poca. As redes perceptron tm duas limitaes: osvalores de sada do perceptron podem assumir somente dois valores (Verdadeiro ou Falso); e

perceptrons somente podem classificar grupos de vetores linearmente separados.


5/14

Concluso: mudando-se os valores de w1, w2 e !, muda-se a inclinao e a posio da reta. Entretanto, impossvel achar uma reta que divida o plano de forma a separar os pontos A1 e A2 de um lado e A0e A3 de outro. Redes de uma nica camada s representam funes linearmente separveis!


6/14

Multi-Layer Perceptrons: Minsky & Papert provaram que este problema pode ser solucionadoadicionando-se uma outra camada intermediria de processadores.

Net1 = x1.w11 + x2.w12 + !1 = 0

x1 + x2 - 1,5 = 0x2 = - x1 + 1,5

Net2 = x1.w21 + x2.w22 + !2 = 0

x1 + x2 - 0,5 = 0x2 = - x1 + 0,5

Redes Neurais de mltiplas camadas s oferecem vantagens sobre as de uma nica camada se existir uma

funo de ativao no-linear entre as camadas!


7/14

Back Propagation: atualizao dos pesos das camadas intermedirias. Os erros dos elementosprocessadores da camada de sada (conhecidos pelo treinamento supervisionado) so retro-propagadospara as camadas intermedirias.

Deve-se minimizar o erro de todos os processadores da camada de sada, para todos os padres Usa-se o ESSE!Sum of Squared Errors


8/14

Aps o clculo da derivada, tem-se:!wji = ".si.ej

Onde:si!valor de entrada recebido pela conexo iej!valor calculado do erro do processador j


9/14

O algoritmo Back Propagationtem portanto duas fases, para cada padro apresentado:o Feed-Forward: as entradas se propagam pela rede, da camada de entrada at a camada de

sada.

o Feed-Backward: os erros se propagam na direo contrria ao fluxo de dados, indo dacamada de sada at a primeira camada escondida.


10/14

Este procedimento de aprendizado repetido diversas vezes, at que, para todos os processadores dacamada de sada e para todos os padres de treinamento, o erro seja menor do que o especificado.

A Multi-Layer Perceptron um Aproximador Universal, isto , pode representar qualquer funo. OBP o algoritmo de Redes Neurais mais utilizado em aplicaes prticas de previso, classificao ereconhecimento de padres em geral.


11/14

Convergncia: a capacidade da Rede Neural de aprender todos os padres do conjunto detreinamento. Se a rede neural for pequena, no ser capaz de armazenar todos os padres necessrios,

isto , a rede no deve ser rgida a ponto de no modelar fielmente os dados.

Problemas do Back Propagation: tamanho da rede, paralisiada rede e o fato de ficar preso em ummnimo local.

o Tamanho da Rede Neural: define o nmero de camadas escondidas e o nmero deprocessadores em cada uma dessas camadas. Compromisso entre convergncia egeneralizao. Tambm conhecido como bias and variance dilemma.

Generalizao: Responder corretamente a padres nunca vistos, ou seja, fora do conjunto detreinamento. Interpola corretamente a um padro de entrada novo. Se a rede for muito grande (muitos

parmetros = pesos), no responder corretamente aos padres nunca vistos, isto , a rede no deve ser

excessivamente flexvel a ponto de modelar tambm o rudo.


12/14

Mtricas de Generalizao:

Nout: n de PEs na camada de sada

Resumo sobre nmero de Processadores Escondidos:" Nunca escolha h > 2i" Assegure-se que se tem pelo menos 1/"vezes mais padres do que w" Desejvel: nmero de padres #10 x nmero de pesos

o Problema de Paralisia:


13/14

Como evitar paralisia da Rede?" Deve-se escolher valores de pesos e bias uniformemente distribudos dentro de um intervalo pequeno" Os neurnios devem, inicialmente, operar na sua regio linear" O nmero de processadores na(s) camada(s) escondida(s) deve ser pequeno

o Problema do Mnimo Local:

Ao chegar ao vale, qualquer mudana faz o erro aumentar, logo, no consegue sair do vale.

Com $pequeno e dependendo da inicializao dos pesos (feita de forma aleatria) no possvel calcularum %w que faa a Rede Neural sair do Mnimo Local. A Rede Neural no consegue aprender com a

preciso especificada (Erro Mnimo)!


14/14

Concluso: quando $ grande, a Rede Neural pode no conseguir chegar ao Mnimo Global, pois osvalores de %w so grandes. A Rede Neural tambm no consegue aprender com a preciso especificada(fica oscilando em torno do mnimo global)!

Solues:" Utilizar taxa de aprendizado ($) adaptativa" Utilizar o termo de Momento (&)

Documents

Resumo Redes Neurais