RedesRedesNeuraisNeuraisDjalmaDjalma M. Falcão M. Falcão

falcao@nacad.ufrj.brhttp://www.nacad.ufrj.br/~falcao/

Redes Redes Neurais Neurais 11

● Definição

● Histórico

● Áreas de aplicação

● RNs biológicas

● Modelos de neurônios artificiais

● Arquiteturas de RNs

DefiniçãoDefinição

Redes Neurais são sistemas computacionaismassivamente paralelos, inspirados nas redesneurais biológicas, constituídas por um grandenúmero de elementos de processamento simples(neurônios) com várias conexões entre si(sinapses) os quais apresentam propensão para oarmazenamento de conhecimento experimental ede disponibilizar esse conhecimento para uso.

Simon Haykin, Neural Networks, 1994

Definição (Definição (contcont.).)

As RNs se assemelham ao cérebro em dois aspectos:

• O conhecimento é adquirido pela RN através deum processo de treinamento;

• As capacidades das conexões entre neurônios,conhecidas como ponderações sinápticas, sãousadas para armazenar o conhecimento.

Simon Haykin, Neural Networks, 1994

Características básicasCaracterísticas básicas

● Aprendizado: aprende por experiência

● Abstração: capta a essência do conjunto de dados

● Associação: associação entre padrões diferentes(p. ex., pessoa - endereço)

● Generalização: conclusão usando dados nãoutilizados no aprendizado

● Robustez: perda de elementos do conjunto dedados afeta pouco a capacidade da rede

HistóricoHistórico

● Década de 40: trabalhos pioneiros

– 1943: McCulloch e Pitts (primeiro modelomatemático de redes neurais)

● Décadas de 50 e 60: crescimento

– 1958: Rosenblatt (Perceptron )

– 1960: Widrow e Hoff ( Adaline)

– 1969: Minsky e Papert (demonstram aslimitações do perceptron)

● Década de 70: declínio temporário

Histórico (Histórico (contcont.).)

● Década de 80: ressurgimento do interesse

– 1980: Grossberg (aprendizado competitivo)

– 1982: Hopfield (redes recorrentes)

– 1982: Kohonen (mapas auto-organizáveis)

– 1986: Rumelhart, Hinton e Williams(retropropagação do erro)

AplicaçãoAplicação

● Apta a resolver grande gama de problemas

● Não necessariamente a melhor técnica pararesolver um determinado problema

● Vantagens:– Não exige conhecimento detalhado do problema

– Rapidez da resposta (exceto fase de treinamento)

● Desvantagem:– Não explica a forma de solução do problema

● Áreas de aplicação a seguir

Classificação de padrõesClassificação de padrões

● Atribuir a um padrão de entrada a uma ou mais categoriaspré-especificadas.

● Aplicações práticas em:– Reconhecimento de caracteres manuscritos

– Classificação de formas de onda de eletrocardiograma

– Classificação de curvas de demanda de consumidores

– Etc.

REDE

NEURAL

Classe A

Classe B

Classe Ch12 240

kW

Agrupamento ou Agrupamento ou clusteringclustering

● Classificação não-supervisionada

● Descobrir similaridades existentes entre os padrões deelementos de um banco de dados e colocar aqueles compadrões similares em um grupo ou cluster

● Aplicações em:– Mineração de dados (data mining)

– Identificação de classes de consumidores de energia elétrica

– Etc.

PrevisãoPrevisão

● Estimação do valor futuro de grandezas a partir doprocessamento de seqüências de valores (série temporal)ocorridos no passado

● Aplicações em previsão de:– carga

– custo marginal da energia

– índices de confiabilidade

– etc.

t1 t2 t3 tn tn+1

Outras aplicaçõesOutras aplicações

● Representação de funções

● Otimização

● Controle

RNs RNs BiológicasBiológicasCorpo ou SomaProdução de material necessário ao funcionamento do neurônio

NúcleoCaracterísticas hereditárias

DendritosReceptores de informação

AxônioTransmissor de informações

SinapseRegula a inibição ou excitação do neurônio(neurotransmissores)

Funcionamento das Funcionamento das RNsRNs

Função de ativaçãoFunção de ativação

Disparo Período de descanso

Tempo

Tensão

+ 40 mV

− 70 mV

− 50 mV

CaracteristícasCaracteristícas

● Córtex cerebral: 1011 neurônios

● Número de ligações por neurônio: 103 a 104 sinapses

● Total de ligações: 1014 a 1015

● Velocidade de processamento do neurônio é baixa

● Paralelismo em larga escala

● Capacidade de aprendizado

● Capacidade de generalização

● Tolerância a falhas

● Baixo consumo de energia

Neurônios ArtificiaisNeurônios Artificiais

● Modelos (super) simplificados dos neurôniosbiológicos

● Modelo matemático com− n terminais de entrada (dendritos)

− 1 terminal de sáida (axônio)

− Ponderações nas entradas (sinapses)

− Somatório de entradas ponderadas (corpo)

− Função de ativação (dispara ou inibe o neurônio)

Modelo GeneralizadoModelo Generalizado

Entradas: x1, x2, ..., xn

Ponderações Sinápticas: wk1, wk2, ..., wkn

Função de Ativação: ϕ (⋅ )Limiar de Ativação: θk

Saída: yk

wk1

ykΣΣΣΣ ϕϕϕϕ (⋅⋅⋅⋅ )

x1

x2

xn

wk2

wkn

uk

θθθθk

⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅ j

n

jkjk

kkk

xwu

)u(y

∑=

=

−=

1

θϕ

Modelo modificadoModelo modificado

● Inclusão do limiar de ativação como uma entrada da redede valor 1 ou –1 e com ponderação sináptica igual a θk

Σ ϕϕϕϕ (⋅⋅⋅⋅ )

x1

x2

xn

wk1

wk2

wkn

vk

yk

⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅

1 ou -1wk0 = θk

j

n

jkjk

kk

xwv

)v(y

∑=

=

=

0

ϕ

Funções de ativaçãoFunções de ativação

1

θk vk

ϕ (vk)

Threshold

1

vk

ϕ (vk)

Gaussiana

1

a vkb

ϕ (vk)

Linear por partes

1

vk

ϕ (vk)

Sigmoidal

Arquiteturas das Arquiteturas das RNsRNs

● Neurônios podem ser interconectados de váriasformas (topologias)

● Escolha da topologia é importante pois restringe otipo de aplicação

● Definição da topologia:– Número de camadas

– Número de neurônios em cada camada

– Tipo de conexão entre os neurônios

Propagação para frentePropagação para frente

● Feedforward Network: quando os neurônios de umacamada recebem informações apenas de neurônios decamadas anteriores ou da entrada

x1

x2

x3

1

2

3 y3

y2

y1x1

x2

x3

1

2

3

y2

y14

5

Camada Oculta Camada de Saída

Camada ÚnicaPerceptron: função de

ativação do tipo threshold)

Múltiplas CamadasPerceptron de Múltiplas

Camadas ou MLP (Multilayer Perceptron)

Redes recorrentesRedes recorrentes

● Feedback Networks: quando existe um laço deretroalimentação (feedback)

1

2

3

z-1 z-1 z-1

y2

y1x1

x2

x3y3

Rede de Hopfield

Lateralmente conectadasLateralmente conectadas

● Consiste de unidades de entrada do tipo feedforwarde uma camada de neurônios conectados entre si

Mapa Auto-Organizável de Kohonen

x1

x2

x3

AprendizadoAprendizado

● Consiste na atualização da topologia eponderações sinápticas de maneira tal que a RNpossa realizar uma tarefa de forma eficiente

● Normalmente, consiste apenas na determinaçãodas ponderações para uma topologia definida porcritérios heurísticos ou por tentativa

Treinamento supervisionadoTreinamento supervisionado

● O conjunto de treinamento contem pares de entrada e saídacorrespondentes; as ponderações são determinadas demaneira tal a permitir que a RN produza saídas o maispróximo possível àquelas conhecidas como verdadeiras, ouseja, minimize o erro da saída em relação aos valoresconhecidos.

Professor

RN ΣΣΣΣ++++−−−−

Treinam. não supervisionadoTreinam. não supervisionado

● Não são fornecidas as saídas verdadeiras correspondentesaos dados de entrada

● A RN explora alguma estrutura ou correlação existente nosdados.

Meio Externo RN Resposta

Estado domeio externo

OutrosOutros

● Treinamento por Reforço– Caso particular de treinamento supervisionado

– O processo de treinamento é realizado indicando se aresposta da RN, para uma dada entrada, é correta ouincorreta, sem especificar explicitamente a saídacorreta

● Treinamento por Competição– Caso particular de treinamento não supervisionado

– Várias entradas são apresentadas à rede e cadaneurônio compete com os demais para produzir umasaída o mais próximo possível da saída verdadeira

BibliografiaBibliografia

● S. Haykin, Neural Networks: A Comprehensive Foundation,Macmillan, 1994.

● A.K. Jain, J. Mao, and K.M. Mohiuddin, “Artificial NeuralNetworks: A Tutotial”, IEEE Computer, pp. 31-44, March 1996.

● M. El-Sharkawi and D. Niebur, Ed., Artificial Neural Networkswith Applications to Power Systems, IEEE Power EngineeringSociety Tutorial Course 96 TP 112-0, 1996.

● A.P. Braga, T.B. Ludemir e A.C.P.L.F. Carvalho, Redes NeuraisArtificiais: Teoria e Aplicações, Editora LTC, 2000.

● Neural Network Toolbox (MATLAB), User’s Guide, 1992.