Upload
joella
View
30
Download
0
Embed Size (px)
DESCRIPTION
UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos. Redes Neurais Artificiais (Parte 2). Roteiro da Aula. Redes Neurais Artificiais (RNAs): Principais Modelos Conexionistas e Aplicações Referências. Principais Modelos Conexionistas e Aplicações. - PowerPoint PPT Presentation
Citation preview
04/21/23 MD - Prof. Paulemir Campos 1
UPE – Caruaru – Sistemas de InformaçãoDisciplina: Mineração de DadosProf.: Paulemir G. Campos
Redes Neurais Artificiais(Parte 2)
04/21/23 MD - Prof. Paulemir Campos 2
Roteiro da Aula Redes Neurais Artificiais (RNAs):
Principais Modelos Conexionistas e Aplicações
Referências.
04/21/23 MD - Prof. Paulemir Campos 3
Principais Modelos Conexionistas e Aplicações
04/21/23 MD - Prof. Paulemir Campos 4
Introdução Há vários tipos de Redes Neurais
Artificiais (RNAs); As principais RNAs são:
MLP (Multilayer Perceptron); RBF (Radial Basis Function); ART (Adaptive Resonance Theory); SOM (Self-Organizing Maps); Redes Recorrentes; e, Redes Fuzzy.
04/21/23 MD - Prof. Paulemir Campos 5
Redes MLP As Redes MLP (Multilayer
Perceptron) geralmente são constituídas por:
uma camada de entrada; uma ou mais camadas escondidas; e, uma camada de saída.
04/21/23 MD - Prof. Paulemir Campos 6
Redes MLP
Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas
04/21/23 MD - Prof. Paulemir Campos 7
Redes MLP Redes MLP são treinadas usando
aprendizado supervisionado;
O algoritmo back-propagation é o mais popular utilizado no treinamento de redes MLP;
04/21/23 MD - Prof. Paulemir Campos 8
Redes MLP O funcionamento do algoritmo back-
propagation consiste de duas fases: a fase para frente: os pesos das conexões
são mantidos fixos e propaga-se os valores dos nodos de entrada, camada-a-camada, para obter-se a saída da rede;
a fase para trás: os pesos das conexões são ajustados, da camada de saída para a camada de entrada, de acordo com o erro (diferença entre a saída da rede e a saída desejada) atingido pela rede.
04/21/23 MD - Prof. Paulemir Campos 9
Redes MLP Aplicações:
Redes MLP treinadas com o algoritmo back-propagation foram aplicadas na solução de vários problemas difíceis, como:
Diagnóstico médico; Detecção de falhas mecânicas; Previsão de séries temporais, etc.
04/21/23 MD - Prof. Paulemir Campos 10
Redes RBF Uma rede RBF (Radial Basis Function) é
do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas:
Camada de entrada: composta pelos atributos de entrada de um conjunto de dados;
Uma única camada escondida: formada por funções de base radial, geralmente Gaussiana, responsáveis por efetuar uma transformação não-linear do espaço de entrada para o espaço da camada escondida;
04/21/23 MD - Prof. Paulemir Campos 11
Redes RBF Uma rede RBF (Radial Basis Function) é
do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas (Cont.):
E, camada de saída: fornece a resposta da rede, resultante de uma combinação linear (somatório, por exemplo) do produto dos valores de saída dos nodos escondidos pelos seus respectivos pesos com o nodo da camada de saída.
04/21/23 MD - Prof. Paulemir Campos 12
Redes RBF
Arquitetura de uma Rede RBF
Onde:x é o vetor de entrada;i são as m funções de base radial de cada nodo escondido;e wi os pesos de cada nodo escondido com o nodo de saída.
04/21/23 MD - Prof. Paulemir Campos 13
Redes RBF Aplicações:
As redes RBF foram primeiramente utilizadas na solução de problemas de interpolação multivariado;
Atualmente, a aplicação de redes RBF em análise numérica tornou-se um significativo campo de pesquisas.
04/21/23 MD - Prof. Paulemir Campos 14
Redes ART As redes ART (Adaptive Resonance
Theory), diferentemente das redes MLP e RBF, empregam aprendizado não-supervisionado de forma competitiva para gerar clusters (agrupamentos) a partir do conjunto de dados de entrada.
04/21/23 MD - Prof. Paulemir Campos 15
Redes ART Aprendizado em redes ART:
Em função do grau de similaridade entre um padrão de entrada e os padrões contidos nos clusters da rede, um cluster é escolhido e apenas os seus pesos são ajustados;
Caso esse grau de similaridade não supere um certo limiar, de modo que nenhum cluster seja ativado, um novo cluster é criado para acomodar o padrão da entrada da rede.
04/21/23 MD - Prof. Paulemir Campos 16
Redes ART
Arquitetura Básica de uma Rede ART1
Onde:F1-a é a camada de entrada;F1-b é a camada de interface;F2 é a camada de clusters ou camada de saída;R (reset) é um nodo para controlar o grau de similaridade dos padrões localizados num mesmo cluster;G1 e G2 são nodos conectados às camadas F1 e F2 da rede para prover um controle do processo de aprendizagem
04/21/23 MD - Prof. Paulemir Campos 17
Redes ART Aplicações de Alguns Modelos:
Rede ART1: processa apenas padrões de entrada binários;
Rede ART2: capaz de processar padrões de entrada com valores contínuos;
Rede ARTMAP: uma rede mais sofisticada que permite aprendizado incremental supervisionado.
04/21/23 MD - Prof. Paulemir Campos 18
Redes SOM Uma rede SOM (Self-Organizing
Maps) ou Mapas de Kohonen é identificada pela formação de um mapa topográfico dos padrões de entrada;
As localizações espaciais dos nodos disparados neste mapa são um indicativo de características estatísticas intrínsecas contidas nos padrões de entrada.
04/21/23 MD - Prof. Paulemir Campos 19
Redes SOM Semelhante às redes ART, as redes
SOM são baseadas numa aprendizagem não-supervisionada competitiva, em que os nodos da camada de saída competem entre si resultando em apenas um nodo vencedor (winner takes all neuron).
04/21/23 MD - Prof. Paulemir Campos 20
Redes SOM O principal objetivo de uma rede
SOM é transformar os sinais de um padrão de entrada de dimensão arbitrária num mapa discreto uni ou bidimensional;
Por esta razão, as redes SOM também são denominadas mapas de características.
04/21/23 MD - Prof. Paulemir Campos 21
Redes SOM
Arquitetura de uma Rede SOM Bidimensional
04/21/23 MD - Prof. Paulemir Campos 22
Redes SOM Aplicações:
As redes SOM foram bem aplicadas na solução de problemas como:
geração de música por computador; reconhecimento de caracteres; seleção de características; e, no bem conhecido problema do
caixeiro viajante (traveling salesman problem).
04/21/23 MD - Prof. Paulemir Campos 23
Redes Recorrentes São RNAs com um ou mais
caminhos de realimentação (feedback loops);
Por exemplo, considerando-se uma rede MLP, várias arquiteturas de redes recorrentes podem ser obtidas construindo-se caminhos de realimentação dos nodos de saída e/ou dos nodos escondidos para os nodos de entrada.
04/21/23 MD - Prof. Paulemir Campos 24
Redes Recorrentes
Os caminhos de realimentação habilitam as redes recorrentes a registrarem temporariamente estados definidos pelos espaços de entrada e saída da rede.
04/21/23 MD - Prof. Paulemir Campos 25
Redes Recorrentes Redes Recorrentes são utilizadas
basicamente com duas finalidades: Memórias Associativas:
Redes de Hopfield; e, BAM (Bidirectional Associative
Memory). Redes de Mapeamento Entrada-Saída:
Redes NARX; Rede de Elman; MLP Recorrente; e, Rede Recorrente de Segunda Ordem.
04/21/23 MD - Prof. Paulemir Campos 26
Redes Recorrentes Aplicações:
Redes Recorrentes são bastante úteis em diversas aplicações, como:
modelagem e predição não-linear; equalização adaptativa de canais de
comunicação; processamento de voz; e, diagnóstico de motores automotivos.
04/21/23 MD - Prof. Paulemir Campos 27
Redes Fuzzy Compreende todas as redes
neurais que empregam conceitos da lógica fuzzy em sua concepção;
Usualmente, redes fuzzy apresentam a topologia de uma rede MLP direta com pesos, propagação e funções de ativação diferentes de redes comuns ou não-fuzzy.
04/21/23 MD - Prof. Paulemir Campos 28
Redes Fuzzy Por exemplo, a seguir é
apresentada uma rede fuzzy com três camadas onde: suas unidades usam operadores de
conjuntos fuzzy (união ou interseção) ao invés das funções de ativação normalmente utilizadas por RNAs;
os pesos são conjuntos fuzzy; e, a camada escondida representa
regras fuzzy.
04/21/23 MD - Prof. Paulemir Campos 29
Redes Fuzzy
Exemplo de Rede Fuzzy
Onde:
1(1), 2
(1) e 3(1) representam
conjuntos fuzzy definidos para a entrada x1
1(2), 2
(2) e 3(2) representam
conjuntos fuzzy definidos para a entrada x2
04/21/23 MD - Prof. Paulemir Campos 30
Redes Fuzzy
Outros modelos conexionistas também estão sendo fuzzyficados, como:
Redes SOM; e, Redes ART.
04/21/23 MD - Prof. Paulemir Campos 31
Redes Fuzzy A motivação para o crescente interesse
no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais: Servem como ferramentas de engenharia
do conhecimento e estatísticas; São relativamente resistentes ao
“esquecimento catastrófico”, isto é, tendem a não “esquecerem” o conhecimento adquirido quando necessitam treinarem com novos dados;
04/21/23 MD - Prof. Paulemir Campos 32
Redes Fuzzy A motivação para o crescente
interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais (Cont.): Interpolam e extrapolam bem em
regiões onde os dados são esparsos; E, aceitam tanto dados de entrada
reais quanto fuzzy.
04/21/23 MD - Prof. Paulemir Campos 33
Referências Braga, A. P.; Ludermir, T. B. e
Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000.
Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE.
04/21/23 MD - Prof. Paulemir Campos 34
Referências Fausett, L. V. Fundamentals of
Neural Networks: Architectures, Algorithms, and Applications. New Jersey, Prentice-Hall, 1994.
Haykin, S. Neural Networks, A Comprehensive Foundation. 2nd ed. Prentice Hall, 1999.
04/21/23 MD - Prof. Paulemir Campos 35
Referências Zurada, J. M. Introduction to
Artificial Neural Systems. St. Paul-MN, USA, West Publishing Company Inc., 1992.