Processadores NeuraisProcessadores Neurais““Chips neurais”Chips neurais”

Ednaldo José Ferreira

Prof. StelaProf. Stela

ConteúdoConteúdo

• HistóricoHistórico• IntroduçãoIntrodução• ModelamentoModelamento• Aprendizado em RNAAprendizado em RNA• Processador NeuralProcessador Neural• ConclusãoConclusão

HistóricoHistórico Trabalhos & Autores Trabalhos & Autores 1943 - McCulloch & Pitts1943 - McCulloch & Pitts Concentra-se em descrever um modelo artificial de um Concentra-se em descrever um modelo artificial de um neurônio e apresentar suas capacidades computacionaisneurônio e apresentar suas capacidades computacionais1949 - Donald Hebb1949 - Donald Hebb Propoe uma teoria para explicar o aprendizado em neurônios Propoe uma teoria para explicar o aprendizado em neurônios biológicos baseado no reforço das ligações sinápticasbiológicos baseado no reforço das ligações sinápticasWidrow e Hoff (60) Widrow e Hoff (60) Apresenta um regra para treinamento de um nodo (neurônio) Apresenta um regra para treinamento de um nodo (neurônio) que ficou conhecida com REGRA DELTAque ficou conhecida com REGRA DELTA1958 - Frank Rosemblatt1958 - Frank Rosemblatt Modelo Perceptron - MLP (camadas: entrada, intermediaria e Modelo Perceptron - MLP (camadas: entrada, intermediaria e saída)saída)

1969 - Minsky e Papert1969 - Minsky e Papert Demonstra as atividade que um perceptron não poderia Demonstra as atividade que um perceptron não poderia executarexecutarAnos 70Anos 70 Abordagem conexionista adormecidaAbordagem conexionista adormecida1982 - John Hopfield1982 - John HopfieldPropriedades das redes associativasPropriedades das redes associativas19861986 - Regra delta generalizada - Backpropagation - Regra delta generalizada - Backpropagation

HistóricoHistórico Trabalhos & Autores Trabalhos & Autores

IntroduçãoIntrodução Neurônio Biológico Neurônio Biológico

Dendritos:Dendritos: Ramificações que conduzem o sinal para o corpo celular Ramificações que conduzem o sinal para o corpo celularSoma:Soma: Promove a integração dos impulsos Promove a integração dos impulsosAxônio:Axônio: Conecta a célula nervosa a outras do sistema nervoso Conecta a célula nervosa a outras do sistema nervoso

IntroduçãoIntrodução A Comunicação A Comunicação

• QuímicaQuímica• ElétricaElétricaElétrico - Potencial de Ação Elétrico - Potencial de Ação

IntroduçãoIntrodução A Comunicação A Comunicação

O potencial de ação é provocado no O potencial de ação é provocado no axônio de um neurônio pelo efeito axônio de um neurônio pelo efeito combinado de todos os estímulos combinado de todos os estímulos excitatórios e inibitórios que chegam a excitatórios e inibitórios que chegam a sua árvore dentrital.sua árvore dentrital.

Modelamento Modelamento Primeiros Modelos Primeiros Modelos

Modelo de primeira ordemModelo de primeira ordem

A simplificação de McCulloch & PittsA simplificação de McCulloch & Pitts

t

ii dttxtwgft )()(

))()(( txtwgft ii

Modelamento Modelamento Primeiros Modelos Primeiros Modelos

McCulloch & PittsMcCulloch & PittsDiscriminador LinearDiscriminador Linear

X2

X1

BA

Aprendizado Aprendizado Classificação do AprendizadoClassificação do Aprendizado

Aprendizado SupervisionadoAprendizado Supervisionado Imagem e domínio conhecidos durante a fase de treinamento. Imagem e domínio conhecidos durante a fase de treinamento.

Aprendizado Não SupervisionadoAprendizado Não SupervisionadoImagem é encontrada (“agrupada”) automaticamente pela Imagem é encontrada (“agrupada”) automaticamente pela rede a partir do domíniorede a partir do domínio

Aprendizado por ReforçoAprendizado por ReforçoApenas um indicativo do erro é fornecidoApenas um indicativo do erro é fornecido

Principais Redes Principais Redes PerceptronPerceptron

Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0Para x1 = 1, x2 = 0 e x3 = 1 ==> d = 0Para x1 = 1, x2 = 1 e x3 = 0 ==> d = 1Para x1 = 1, x2 = 1 e x3 = 0 ==> d = 1

..

..Para x1 = 0, x2 = 0 e x3 = 0 ==> d = 1 Para x1 = 0, x2 = 0 e x3 = 0 ==> d = 1

Exemplo de Aprendizado Exemplo de Aprendizado supervisionado para um supervisionado para um simples perceptron simples perceptron

X1X1

X2X2

X3X3

yy

W1W1

W2W2

W3W3Função de AtivaçãoFunção de Ativação

Função de SaídaFunção de Saída

))()(( txtwgy ii

Principais Redes Principais Redes PerceptronPerceptron

A equação geral para atualização dos PesosA equação geral para atualização dos Pesos

WWii (t+1) = W (t+1) = Wii(t) + n.e.X(t) + n.e.Xii (t) (t)

onde:onde:nn Taxa de aprendizadoTaxa de aprendizadoWWii Peso entre o neurônio e a entrada XiPeso entre o neurônio e a entrada Xi

ee erro entre a saída Yk e a o valor desejado dkerro entre a saída Yk e a o valor desejado dke = (de = (dkk - Y - Ykk))

W(t)W(t)

XX

n.Xn.X

W(t+1)W(t+1)

Principais Redes Principais Redes Perceptron Perceptron

O processo de aprendizadoO processo de aprendizado

Principais Redes Principais Redes Adaline (Widrow & Hoff)Adaline (Widrow & Hoff)

Adaline - Adaline - Adaptative linear element Adaptative linear element - Adaptative linear neuron- Adaptative linear neuron

Principais Redes Principais Redes Adaline - AprendizadoAdaline - Aprendizado

Método do Gradiente DescendenteMétodo do Gradiente Descendente

E = 1/2.E = 1/2. 22

P

s

ysds1

)(

Wji

E

Derivar a função de erro - em relação as pesos da redeDerivar a função de erro - em relação as pesos da rede

Principais Redes Principais Redes Adaline - AprendizadoAdaline - Aprendizado

Método do Gradiente DescendenteMétodo do Gradiente Descendente

• Somar o vetor gradiente descendente ao vetor Somar o vetor gradiente descendente ao vetor pesopeso

Wji

E

Wji

WWii (t+1) = W (t+1) = Wii(t) + n.e.X(t) + n.e.Xii (t) (t)

n=

Principais Redes Principais Redes Redes Multicamadas - MLP Redes Multicamadas - MLP

Fase Forward Fase Forward

Fase Backward Fase Backward

j

Principais Redes Principais Redes Redes Multicamadas - MLP Redes Multicamadas - MLP

Aprendizado - Back propagation Aprendizado - Back propagation Baseado na regra delta => Baseado na regra delta => regra delta generalizadaregra delta generalizada

WWjiji (t+1) = W (t+1) = Wjiji(t) + n. .X(t) + n. .Xii (t) (t)

)(').( netjfyjdjj Camada de Saída Camada de Saída

l

Wljlnetjfj .)(' Camada Intermediária Camada Intermediária

Por que usar processadores neurais ?Por que usar processadores neurais ?

• VelocidadeVelocidade

As redes neurais já possuem um paralelismo As redes neurais já possuem um paralelismo intrínseco característico. Portanto, múltiplos intrínseco característico. Portanto, múltiplos elementos de processamento (EP’s) em um chip elementos de processamento (EP’s) em um chip neural pode garantir alta velocidade de neural pode garantir alta velocidade de processamento processamento

Quando usar chips neurais ?Quando usar chips neurais ?

• Quando a implementação em software não é Quando a implementação em software não é suficiente.suficiente.

• Quando a implementação em hardware seqüencial Quando a implementação em hardware seqüencial não é suficiente. não é suficiente.

Aplicações de processadores neuraisAplicações de processadores neurais

• OCR (Reconhecimento ótico de caracteres)OCR (Reconhecimento ótico de caracteres)

• Reconhecimento de VozReconhecimento de Voz

• HEP (High Energy Physics) HEP (High Energy Physics)

Aplicações comerciais de OCR on chip

Aplicações em Telefones Aplicações em Telefones Celulares, Brinquedos, etcCelulares, Brinquedos, etc

Especificação de Hardware Neural Especificação de Hardware Neural

Três categorias básicas:Três categorias básicas:•DigitalDigital•AnalógicaAnalógica•Híbrida Híbrida

Características Genéricas:Características Genéricas:• Aprendizado: on-chip ou off-chipAprendizado: on-chip ou off-chip• Arquitetura da redeArquitetura da rede• Número de neurônios (Elemento de Processamento)Número de neurônios (Elemento de Processamento)• Função de Transferencia: on-chip ou off-chip ou LUTFunção de Transferencia: on-chip ou off-chip ou LUT• Bits de precisão (pesos)Bits de precisão (pesos)•Tamanho do Acumulador em BitsTamanho do Acumulador em Bits• PreçoPreço

Parâmetros de comparação de PerformanceParâmetros de comparação de Performance

• CPS (Connection Per Second) CPS (Connection Per Second) Número de operações de multiplicação e Número de operações de multiplicação e armazenamento por segundo na fase de armazenamento por segundo na fase de forward forward

• CUPS (Connection Updates Per Sec) CUPS (Connection Updates Per Sec) Medida da velocidade de aprendizado da rede - Medida da velocidade de aprendizado da rede - fase backwardfase backward

Não há ainda um conjunto de parâmetros que garanta Não há ainda um conjunto de parâmetros que garanta um bom Benchmarkum bom Benchmark

Digital Digital

Projeto digital:Projeto digital:• Arquiteturas em camadasArquiteturas em camadas• SIMDSIMD• RBF (Função Base Radial) RBF (Função Base Radial)

Vantagens da tecnologia digitalVantagens da tecnologia digital• Técnicas de fabricação bastante precisaTécnicas de fabricação bastante precisa• O pesos são armazenados em RAMO pesos são armazenados em RAM• Operações aritméticas exatas para número de bits dos Operações aritméticas exatas para número de bits dos acumuladores e operandosacumuladores e operandos• Fácil integração para maioria das aplicaçõesFácil integração para maioria das aplicações

Digital Digital

Desvantagens da tecnologia digitalDesvantagens da tecnologia digital

• Operações digitais mais “lentas” que os sistemas Operações digitais mais “lentas” que os sistemas analógicos - (Wji * Xi )analógicos - (Wji * Xi )

• O mundo real é analógico - um sensor necessita de O mundo real é analógico - um sensor necessita de conversão D.A. para se adaptar a tecnologia conversão D.A. para se adaptar a tecnologia

Digital - Projeto digitalDigital - Projeto digital

•Arquiteturas em camada Arquiteturas em camada

Micro Devices MD1220Micro Devices MD1220

• SIMDSIMD

Adaptive Solutions N64000Adaptive Solutions N64000

• RBF (Função Base Radial) RBF (Função Base Radial) Nestor Ni1000Nestor Ni1000

AnalógicaAnalógica

VantagensVantagens • Explora as propriedades físicas para as operações da Explora as propriedades físicas para as operações da rede .: Alta velocidade rede .: Alta velocidade

DesvantagensDesvantagens• Projeto pode ser difícil (considerações de Projeto pode ser difícil (considerações de temperatura, manufatura, etc)temperatura, manufatura, etc)

• Armazenamento dos pesosArmazenamento dos pesos

• Pesos x Entrada deve ser linear em toda escalaPesos x Entrada deve ser linear em toda escala

Chip:Chip:Intel Electrically Trainable Neural Network (ETANN)

HíbridaHíbrida

• Combina o melhor das duas tecnologiasCombina o melhor das duas tecnologias

• Processamento interno é analógico, garantindo Processamento interno é analógico, garantindo velocidade. Porém os pesos são armazenados na velocidade. Porém os pesos são armazenados na forma digitalforma digital

• Redes de Pulso: Usa largura de pulso para emular Redes de Pulso: Usa largura de pulso para emular amplitude dos pesos, das entradas e das saídas da amplitude dos pesos, das entradas e das saídas da rede rede

Chip:Chip:Neuroclassificador do Instituto Mesa - Univ. Twente

(20 ns - forward)(20 ns - forward)

Cartões Aceleradores e NeurocomputadoresCartões Aceleradores e Neurocomputadores

Neurocomputadores:Neurocomputadores: sistemas dedicados com hardware e sistemas dedicados com hardware e software elaborados para aplicações neuraissoftware elaborados para aplicações neurais

Objetivo: Aplicações em alta escala: OCRObjetivo: Aplicações em alta escala: OCR

Adaptive Solutions CNAPServer VME System

Cartões Aceleradores:Cartões Aceleradores: Uma alternativa, mais barata que Uma alternativa, mais barata que os Neurocomputadores. Permite acoplar um sistema os Neurocomputadores. Permite acoplar um sistema neural a um PC (por exemplo) através de um cartãoneural a um PC (por exemplo) através de um cartão

IBMIBM ZISC ISA

Cartões Aceleradores - TOTEMCartões Aceleradores - TOTEM

TOTEM NeuroChipsTOTEM NeuroChips

NC3002NC3002 NC3003 NC3003

Algoritmo de aprendizado Reactive Tabu Search (RTS)

TOTEM - Aspectos AvançadosTOTEM - Aspectos Avançados

Multiplicação sem módulos multiplicadoresMultiplicação sem módulos multiplicadores

ConclusõesConclusões

O custo dos chips neurais é ainda relativamente alto e por isso ainda O custo dos chips neurais é ainda relativamente alto e por isso ainda não emplacaram comercialmente como os chips Fuzzy. A não emplacaram comercialmente como os chips Fuzzy. A comercialização dos chips neurais ainda depende de um outro fator comercialização dos chips neurais ainda depende de um outro fator que está ligado ao número de adeptos a tecnologia neural. Por se tratar que está ligado ao número de adeptos a tecnologia neural. Por se tratar de uma ciência relativamente recente temos poucos profissionais de uma ciência relativamente recente temos poucos profissionais realmente conhecedores dessa técnica, mas acredito que com o tempo realmente conhecedores dessa técnica, mas acredito que com o tempo teremos mais profissionais usando chips neurais e aplicando-o na teremos mais profissionais usando chips neurais e aplicando-o na industria. Isso deve reduzir o custo e incentivar a produção e o industria. Isso deve reduzir o custo e incentivar a produção e o comércio.comércio.

BibliografiaBibliografia

1. R. De Mori, R. Cardim, "A new design approach to binary logarithm 1. R. De Mori, R. Cardim, "A new design approach to binary logarithm computation", Signal processing, 13 (2), Sept. 1987, pp. 177-195.computation", Signal processing, 13 (2), Sept. 1987, pp. 177-195.2. B. Hoefflinger "Efficient VLSI digital logarithmic codecs", Electronics Letters, 2. B. Hoefflinger "Efficient VLSI digital logarithmic codecs", Electronics Letters, 27(13), June 1991, pp. 1132-1134.27(13), June 1991, pp. 1132-1134.3. E. E. Swartzlander, A .G. Alexopoulos, "The sign logarithm number system", 3. E. E. Swartzlander, A .G. Alexopoulos, "The sign logarithm number system", IEEE Trans. on Computers, C-24(12),Dec. 1975, pp. 1238-1242.IEEE Trans. on Computers, C-24(12),Dec. 1975, pp. 1238-1242.4. P. Lee, L. A .Zorat, A . Sartori, G. Tecchiolli "Advances in The Design of The 4. P. Lee, L. A .Zorat, A . Sartori, G. Tecchiolli "Advances in The Design of The Totem Neurochip", World Scientific Publishing Company,Totem Neurochip", World Scientific Publishing Company,5. Z. L. Kovács, "Redes Neurais Artificiais Fundamentos e Aplicações", Edição 5. Z. L. Kovács, "Redes Neurais Artificiais Fundamentos e Aplicações", Edição Acadêmica São Paulo, 1996.Acadêmica São Paulo, 1996.6. R. Battiti, G. Tecchiolli, "Training neural nets with the Reactive Tabu Search". 6. R. Battiti, G. Tecchiolli, "Training neural nets with the Reactive Tabu Search". IEEE Transactions on Neural Networks, 6(5) 1995, pp. 1185-1200.IEEE Transactions on Neural Networks, 6(5) 1995, pp. 1185-1200.

SitesSites1. www.neuricam.com1. www.neuricam.com2. uhavax.hatford.edu2. uhavax.hatford.edu3. neuralnets.web.cern.ch3. neuralnets.web.cern.ch4. msia02.msi.se4. msia02.msi.se5. lionhrtpub.com5. lionhrtpub.com

FIMFIM

Ednaldo José FerreiraEdnaldo José Ferreira