Embed Size (px)
Citation preview
Inteligencia Artificial
(W0I9)
Sesión: 8
MSc. Ing. José C. Benítez P.
Redes auto organizadas
2
Sesión 9. Redes Auto organizadas
� Mapas auto organizados(MAO) (SOFM-Self
Organization Feature Maps)
� Ubicación de los SOFM en la clasificación de las RNA.
� Concepto de los SOFM.
� Objetivo y diferencia de los SOFM.
� Características de los SOFM.
� Arquitectura del SOFM.
� Algoritmo de aprendizaje de los SOFM.
� Conclusiones.
� Aplicaciones.
3
Mapas auto organizados (SOFM)
• Desarrollado en su forma actual por el finlandés Teuvo Kohonen
en el año 1982.
• La vida nos proporciona abundantes ejemplos de lo que
conocemos con el nombre de auto organización:
– Cuando los alumnos asisten a un curso, el primer día se
sientan en las sillas de forma aleatoria. Conforme pasan los
días se recolocan en el aula, de forma que paulatinamente se
sientan juntos según sus afinidades:
• Hay grupos exclusivamente formados por chicas o chicos,
• El típico grupo que se sientan en las últimas filas,
• Los de los primeros bancos,
• Las "parejitas",
• etc.
4
Mapas auto organizados (SOFM)
En determinadas zonas del cerebro se
ha encontrado experimentalmente
que las neuronas detectoras de
sensaciones se encuentran
topológicamente ordenadas.
¿Qué tiene que ver con el cerebro?
5
Mapas auto organizados (SOFM)
• Ante un estímulo proveniente de
sensores de la piel próximos entre sí, se
estimulan neuronas del cerebro
pertenecientes a una misma zona.
• Hay un modelo neuronal que se inspira
en estas zonas del cerebro donde la
información proveniente de los sentidos
se representa topológicamente
ordenada: son los mapas auto
organizados (MAO – SOFM).
¿Qué tiene que ver con el cerebro?
El MAO (SOFM) es un modelo neuronal indudablemente más
inspirado en el cerebro que el anterior perceptron multicapa.
6
Mapas auto organizados (SOFM)
¿Para qué sirve?
• Algunos problemas reales en los que ha demostrado su
eficacia incluyen:
– tareas de clasificación,
– reducción de dimensiones y
– extracción de rasgos.
• Su utilidad más importante se relaciona con la clasificación
de información o el agrupamiento de patrones por tipos o
clases.
7
Mapas auto organizados (SOFM)
Aprendizaje no supervisado
• El MAO, además de estar inspirado en determinadas zonas
del cerebro, utiliza una estrategia de aprendizaje que los
humanos utilizamos frecuentemente, el llamado
aprendizaje no supervisado.
• El aprendizaje supervisado se asemeja al profesor que
enseña y corrige al alumno, el aprendizaje no supervisado
o auto organizado es semejante al alumno que aprende
por sí mismo, sin la ayuda de un profesor, pero
disponiendo de un material docente, libros, etc.
8
Mapas auto organizados (SOFM)
¿Qué hace esta red neuronal?
• La idea básica del MAO es crear
una imagen de un espacio
multidimensional de entrada en
un espacio de salida de menor
dimensionalidad.
• Se trata de un modelo con dos
capas de neuronas:
– una de entrada y
– otra de procesamiento.
9
Mapas auto organizados (SOFM)
¿Qué hace esta red neuronal?
• Las neuronas de la primera capa se limitan a
recoger y canalizar la información.
• La segunda capa está conectada a la primera a
través de los pesos sinápticos y realiza la tarea
importante: una proyección no lineal del espacio
multidimensional de entrada, preservando las
características esenciales de estos datos en forma
de relaciones de vecindad.
• El resultado final es la creación del llamado mapa
auto organizado donde se representan los rasgos
más sobresalientes del espacio de entrada.
10
Mapas auto organizados (SOFM)
¿Qué hace esta red neuronal?
• Una cámara fotográfica es capaz de representar en dos
dimensiones (una fotografía) un espacio de tres
dimensiones. Realiza una proyección lineal de las tres
dimensiones en un plano. Gracias a ello, al contemplar
una fotografía tenemos una idea de lo que hay en una
habitación, en un paisaje, etc.
• El modelo de Kohonen realiza una fotografía de un espacio
n dimensional, de tal forma que se conserva la topología:
los objetos que están cercanos en el espacio de n
dimensiones aparecerán próximos en el mapa auto
organizado. Así, al contemplar este mapa, podemos
darnos una idea de cómo están situados en el espacio de
n dimensiones.
11
Mapas auto organizados (SOM)
¿Qué hace esta red neuronal?
• Otras técnicas estadísticas tienen un objetivo
similar de reducción de la dimensionalidad de un
problema:
� el análisis de componentes principales,
� las escalas multidimensionales,
� etc.
12
Mapas auto organizados (SOFM)
Estructura del SOFM
• El MAO está formado por una matriz rectangular de
neuronas, de modo que las relaciones entre los patrones
de entrada son mucho más fácilmente visibles en forma de
relaciones de vecindad.
• Cada neurona sintoniza o aprende por sí misma a
reconocer un determinado tipo de patrón de entrada.
• En el espacio de salida la topología esencial del de entrada
queda preservada, de manera que neuronas próximas en
el mapa aprenden a reconocer patrones de entrada
similares, cuyas imágenes, por lo tanto, aparecerán
cercanas en el mapa creado.
13
Mapas auto organizados (SOFM)
Estructura del SOFM
• Este espacio de salida se representa por una capa discreta de
neuronas artificiales o procesadores elementales,
generalmente ordenados formando una matriz rectangular.
• En el ejemplo con el que se empieza esta presentación, los
alumnos sentados en las sillas son como las neuronas
alojadas en la estructura reticular.
• También podemos comparar esta estructura neuronal con
una hoja de cálculo. Cada neurona es una celda de la hoja de
cálculo, que a su vez se encuentra vinculada a otras hojas.
14
Ubicación de los SOFM
Supervisados:
- SLP / MLP
- Adaline/Madaline
- Backpropagation
- etc.
No supervisados
(Auto organizados):
- SOFM - Kohonen
- Hopfield
- ART
- etc.
RNA según
su tipo de
aprendizaje
15
Concepto de los SOFM
• No tienen autoridad central.
• Las neuronas se auto organizan según la similitud
entre ellas.
• Las neuronas aprenden mediante la auto
organización.
• Durante el proceso de aprendizaje al ingresar un
dato de entrada solo una neurona que tenga una
actividad positiva dentro de la vecindad, será
activada en la capa de salida.
16
Características de los SOFM
• 1982, Teuvo Kohonen
• Simulación de estructuras nerviosas.
• Posee un aprendizaje no supervisado
competitivo.
• Organizan la información de entrada.
• No se presentan las salidas objetivo.
• La red descubre por si misma rasgos comunes.
• Las neuronas se auto organizan en función de
estímulos externos.
17
Arquitectura de los SOM
18
Algoritmo de aprendizaje de los SOM
1. Inicialización de los pesos sinápticos Wkij y el contador
de épocas (iteraciones) t=1.
2. Elección de un patrón de entre el conjunto de patrones
de entrenamiento.
3. Para cada neurona del mapa, calcular la distancia
euclídea entre el patrón de entrada y el vector de pesos
sinápticos:
Distancia Euclídea entre el vector sináptico y la entrada:entrada
vector sináptico
19
Algoritmo de aprendizaje de los SOM
4. Evaluar la neurona ganadora (aquella cuya distancia es la
menor de todas).
5. Actualizar los pesos sinápticos de la neurona ganadora y de
sus vecinas según la regla de actualización de los pesos:
Wkij(t+1)=Wkij(t) + α(t) h(|i-g|,t) (Xk(t) - Wkij(t))
Donde:
α(t) es la función (Ritmo) de Aprendizaje.
h(|i-g|,t) es la función de vecindad.
Xk(t) es el patrón de entrada k de m dimensiones.
Wkij(t) es el peso del patrón de entrada k asociado a la
neurona (i,j).
20
Algoritmo de aprendizaje de los SOM
Función (Ritmo) de Aprendizaje (α(t))
• Determina la variación en los pesos de las neuronas.
• Depende del numero de iteración y el numero total de
iteraciones.
α(t) = α0
+ (αf - α0) t/t
α
Donde:
α0
es el ritmo de aprendizaje inicial (< 1,0)
αf es el ritmo de aprendizaje final
t es el número de iteración.
tα
es el numero máximo de iteraciones.
21
Algoritmo de aprendizaje de los SOM
Función de vecindad
h(|i-g|,t) es la función de vecindad que depende del
numero de iteración y la distancia de una neurona a
la neurona ganadora.
22
Algoritmo de aprendizaje de los SOM
Función de vecindad
La función de vecindad mas simple es del tipo escalón:
Donde R(t) es el radio de vecindad, que depende del numero de
iteración. En la ultima iteración esté será igual a 1 (radio de la
neurona ganadora).
Una neurona pertenece a la vecindad de la ganadora, si d < R(t).
Donde:
d = |i - g|
23
Algoritmo de aprendizaje de los SOM
6. Si se llegó al numero de iteraciones establecido
(¿t=tα?), el proceso de aprendizaje finaliza, caso
contrario regresar al paso 2.
24
Resumen
SOFM:
• Por lo general es un espacio bidimensional
(puede ser unidimensional, o tridimensional o n
dimensional).
• El criterio de similitud usado es la distancia
euclídea.
• Los pesos se modifican según un factor (ritmo) de
aprendizaje y una función de vecindad.
• Las neuronas vecinas se modifican según la
función de vecindad..
• La topología determina como se conectan las
neuronas.
25
Conclusiones:
Los mapas auto organizado de rasgos (SOFM) :
• Tienen entrenamiento no supervisado.
• Existe una competición entre neuronas.
• Se definen las vecindades que permiten la
ordenación topológica.
• Aplicaciones:
� Reconocimiento de patrones:
Reconocimiento de voz.
� Robótica
� Clasificación
• Inconveniente: Lentitud del entrenamiento.
26
Aplicaciones:
En el siguiente mapa se han coloreado los países que tienen
características similares con el mismo color, y los próximos con
colores cercanos a un color.
27
Aplicaciones:Países con características económicas similares
Preguntas
El resumen con mapas conceptuales solicitado de la Sesión al
menos debe responder las siguientes preguntas:
1. ¿Qué es un SOFM?.
2. ¿Cuáles son las características de un SOFM?.
3. ¿Cuál es el objetivo de un SOFM?.
4. Describir las fases de operación de un SOFM.
5. Explicar el funcionamiento de los SOFM.
6. Describir el algoritmo de entrenamiento de un SOFM.
7. Describir las limitaciones de los SOFM.
8. Listar cinco aplicaciones de las SOFM.
28
Resumen
Las Tareas que no cumplan las
indicaciones no serán considerados
por el profesor.29
� Realizar un resumen mediante mapas conceptuales (CMapTools)
de esta diapositiva.
� Serán mejor consideradas los resúmenes que tengan información
extra a esta diapositiva.
� Las fuentes adicionales utilizadas en el resumen se presentarán
en su carpeta personal del Dropbox y deben conservar el nombre
original y agregar al final _S9.
� Las fuentes y los archivos *.cmap deben colocarse dentro de su
carpeta personal del Dropbox, dentro de una carpeta de nombre:
IA_PaternoM_S9
Preguntas
30
El resumen con mapas conceptuales solicitado de la Sesión al
menos debe responder las siguientes preguntas:
1. ¿Qué es un SOFM?.
2. ¿Cuáles son las características de un SOFM?.
3. ¿Cuál es el objetivo de un SOFM?.
4. Describir las fases de operación de un SOFM.
5. Explicar el funcionamiento de los SOFM.
6. Describir el algoritmo de entrenamiento de un SOFM.
7. Describir las limitaciones de los SOFM.
8. Listar cinco aplicaciones de las SOFM.
31
Sesión 9. Redes auto organizadas
Inteligencia Artificial
http://utpiayse.blogspot.com
