REDES NEURONALES Aprendizaje Competitivo Cooperativo

FEBRERO 2003 M en C. José Luis Calderón O. 1



Antecedentes HistóricosAntecedentes Históricos

1973 Christopher Von der Malsburg introdujo el aprendizaje autorganizativo. Red para la clasificación de entradas; las neuronas vecinas responden a entradas similares. Red inspirada en la corteza visual de los gatos (David Hubel and Turten Wiesel)

Finales 60´s y principios de los 70´s Stephen Grossberg introdujo las redes competitivas con conexiones laterales.


Aprendizaje Aprendizaje CompetitivoCompetitivo

Una forma de aprendizaje Autosupervisado.

Las neuronas “compiten” basadas en la proximidad a un patrón de entrada.

La neurona mas próxima al patrón (La “ganadora”) ajusta su peso para hacerse mas próxima.


Las Redes Las Redes CompetitivasCompetitivas

Esta clase de redes se han usado para explicar la formación de mapas topológicos que ocurren en muchos sistemas sensoriales humanos, incluidos la visión, audición, tacto y olfato.


Arquitecturas Arquitecturas SimplesSimples

Red para el calculo de la distancia de Hamming.

MAXNET: Red competitiva simple


Red CompetitivaRed Competitiva

Capa de entrada

Salida:

1 si es el nodo ganador.

0 de otra forma

Capa de salida con conexiones inhibitorias


La Red competitivaLa Red competitiva

Es similar a la red feedforward de una capa, excepto que posee conexiones negativas entre los nodos de salida.

Debido a la conexiones anteriores, los nodos de salida tienden a competir para representar el patrón de entrada actual.


Aprendizaje CompetitivoAprendizaje CompetitivoComo su nombre indica, las neuronas

de salida de una red neuronal compiten entre ellas para activarse.

A diferencia del aprendizaje asociativo en el que varias neuronas de salida pueden estar activas simultáneamente.

En el aprendizaje competitivo solo una neurona permanecerá activa a la vez.


Redes Competitivas Redes Competitivas y Cooperativasy Cooperativas..

Red de HammingLVQ: Learning Vector

Quantization (Kohonen).SOM (Kohonen).ART (Carpenter y Grossberg)Cognitrón y Neocognitrón

(Fukushima).


““Clustering”Clustering”

Tres formas distintas de agrupar el mismo conjunto de puntos de entrada.


Clustering & CuantificanClustering & Cuantifican de Vectores de Vectores

3 clases en un espacio de 2 dimensiones

Diagrama de Voronoi


Elementos del Elementos del Aprendizaje CompetitivoAprendizaje Competitivo

Un conjunto de neuronas que son todas iguales excepto por una distribución aleatoria de pesos sinápticos, que por lo tanto responden de forma distinta dado un conjunto de patrones de entrada.

Se establece un limite en la ponderación de de cada neurona.


Elementos del Elementos del Aprendizaje CompetitivoAprendizaje Competitivo

Un mecanismo que permita a las neuronas competir para una respuesta correcta dado un subconjunto de entradas, tal que una neurona de salida o únicamente una neurona de un grupo sea activa a la vez. A la neurona que gana la competencia se le llama: “Winner Take all” “neurona, ganadora toma todo”


2 formas de 2 formas de competenciacompetencia

0 10

0 10

La “ganadora”

Patrón de entrada

presentado

Neuronas

Input presentation carries the assumption that the network is supposed to “learn” the input.


2 formas de 2 formas de competenciacompetencia

La ganadora se parece mas a la entrada

Patron de entrada

presentado

Neuronas

Input presentation carries the assumption that the network is supposed to “learn” the input.

La perdedora se queda como esta .


¿Porque no hacer a la ¿Porque no hacer a la ganadora exactamente como ganadora exactamente como

la entrada?la entrada?

Pudiera haber muchos mas patrones de entrada distintos que neuronas.

Por el promedio de su comportamiento, una neurona puede poner un gran numero distinto de entradas, pero similares entre si, en una misma categoría.


Medición de Medición de similaridades o similaridades o

proximidad proximidad (opposite: distance)(opposite: distance)

Supongase que x es un vector de entrada y wi el vector de pesos de la ith neurona.

Una medida de la distancia es la Distancia Euclideana :

i

ijji wxwx 2)(


Ejemplo: Distancia Ejemplo: Distancia EuclideaEuclidea

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

la Distancia Euclidiana =

sqrt (02 + 22 + 02 + 22 ) = 2.83...

21

)( xxx T2

22

21 n

xxxx


Distancia Distancia ““ManhattanManhattan

Otra medida de la distancia, usada cunado los valores son enteros, es la Distancia “Manhattan” o “city-block” :

i

ijji wxwx


Ejemplo: Ejemplo: “Manhattan” o “Manhattan” o “city-block”“city-block”

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

Distance Manhattan = 0 + 2 + 0 + 2 = 4


Distancia de Distancia de HammingHamming

Otra medida de la distancia, usada cuando los valores son binarios (2-valores), es la “Distancia de Hamming”:

0 cuando los valores son iguales.

1 de otra forma

i

ijj wx


Ejemplo: Ejemplo: Distancia de Distancia de HammingHamming

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

Distance de Hamming =

0 + 1 + 0 + 1 = 2


El producto puntoEl producto punto

(medida de similaridad) (medida de similaridad) El producto punto (inner) x wi

es mas grande cuando x esta mas proximo a wi.

Usualmente esto es mejor si x y wi estan normalizados antes de usar esta medida, esto es

1 iwx

Tixw


El producto punto El producto punto como Cosenocomo Coseno

El producto punto (inner) normalizado es el coseno del angulo entre los vectores x y wi.

x

wi


Ejemplo: Producto PuntoEjemplo: Producto Punto

Suponga x = [1 1 -1 1], w = [1 -1 -1 -1]

Producto punto =

[1 1 -1 1] [1 -1 -1 -1]T = 0


Determinación del Determinación del GanadorGanador

La ganadora es la neurona con el peso ya sea– Con la mas pequeña distancia a la entrada– El producto punto mas grande con la entrada.

Si se utiliza el producto punto, es mejor normalizar los pesos y la entrada primero o usar valores normalizados únicamente.


Dudas ???Dudas ???


Hasta la próxima !!!


Richard Hamming Richard Hamming (1915-1998)(1915-1998)

Education

REDES NEURONALES Aprendizaje Competitivo Cooperativo