Inteligencia Artificial

(W0I9)

Sesión: 5

MSc. Ing. José C. Benítez P.

Red Adaline

2

Adaline

� Características.

� Regla de Aprendizaje (LMS). Regla Delta.

� Aplicaciones.

� Clasificación de vectores.

� Tratamiento de Señales.

� Madaline.

3

Adaline Características

� En 1960, en la Universidad de Stanford, Bernard

Widrow y Marcian Hoff, introdujeron la red ADALINE

(ADAptive LInear Neuron – ADAptive LINear Element) y

una regla de aprendizaje que llamaron LMS (Least

mean square).

� La adaline es similar al perceptron, sólo que su función

de transferencia es lineal, en lugar del escalón.

� Igual que el perceptrón, sólo puede resolver

problemas linealmente separables.

� ADALINE: ADAptive LINear Element.

� ADALINE: Una única neurona de salida

� MADALINE: Multiple ADALINE

4

Adaline Características

Objetivo:� Aplicar los principios de aprendizaje del rendimiento a redes

lineales de una sola capa.

� El aprendizaje Widrow-Hoff es una aproximación del

algoritmo del Descenso por gradiente, en el cual el índice de

rendimiento es el error cuadrático medio.

Importancia del algoritmo:� Se usa ampliamente en aplicaciones de procesamiento de

señales.

� Es el precursor del algoritmo Backpropagation para redes

multicapas.

5

Adaline Características

Algoritmo LMS:� Es más poderoso que la regla de aprendizaje del perceptron.

� La regla de aprendizaje del perceptron garantiza convergencia a una

solución que clasifica correctamente los patrones de entrenamiento. Esa

red es sensible al ruido, debido a que los patrones con frecuencia están

muy cerca de las fronteras de decisión.

� El algoritmo LMS minimiza el error cuadrático medio, desplaza las fronteras

de decisión lejos de los patrones de entrenamiento.

� El algoritmo LMS tiene más aplicaciones prácticas que la regla de

aprendizaje del perceptron, especialmente en el procesamiento digital de

señales, como por ejemplo, para cancelar echo en líneas telefónicas de

larga distancia.

� La aplicación de este algoritmo a redes multicapas no prosperó por lo que

Widrow se dedicó a trabajar en el campo del procesamiento digital

adaptativo, y en 1980 comenzó su investigación con la aplicación de las

Redes al control adaptativo, usando backpropagation temporal,

descendiente del LMS.

6

Adaline Características

• Tipo de aprendizaje: Supervisado (OFF Line).

• Tipo de aprendizaje: por corrección de error.

• Algoritmo de aprendizaje: Regla del Mínimo Error

Cuadrático Medio (LMS), o regla Delta, o regla de

Widrow-Hoff

• Función de transferencia: lineal (purelin).

• Procesamiento de información analógica, tanto de

entrada como de salida, utilizando una función de

Activación Lineal o Sigmoidal.

• También puede resolver problemas LS.

7

Adaline

� Es aplicada a estructuras Lineales:

Idea:

Modificación de Pesos para tratar de reducir la diferencia entre la

salida deseada y la actual (para cada patrón).

� Se denomina LMS (Least mean squares): Minimo Error

Cuadrático Medio sobre todos los patrones de entrenamiento.

8

AdalineCálculo de Pesos ÓptimosSea el conjunto de entrenamiento:

(X,D): Patrones de entrada y salidas deseadas.

X : Conjunto de L vectores de dimensión n.

D: Salida Deseada.

Conjunto de L vectores de dimensión m (en este caso m=1).

Y: Salida Obtenida

Conjunto de L vectores de dimensión m ( en este caso m=1).

Se trata de minimizar: Sea Yk la salida obtenida para el patrón k.

9

Adaline

10

Adaline

11

Adaline

Cálculo de W*: Método de Gradiente Descendente.

Diferentes Métodos:

� Buscar por todo el espacio de pesos hasta

encontrar los que hiciesen el error mínimo.

� Realizar una búsqueda aleatoria.

� Realizar una búsqueda Dirigida.

Método:

� Se inicializan los pesos aleatoriamente (pto. de

partida).

� Se determina, la dirección de la pendiente más

pronunciada en dirección hacia abajo.

� Se modifican los pesos para encontrarnos un

poco más abajo en la superficie.

12

Adaline

13

Adaline

14

Adaline

Algoritmo:

1. Inicialización de pesos.

2. Se aplica un patrón de entrada (entradas y salida deseada).

3. Se computa la salida lineal que se obtiene de la red.

4. Se calcula el error cometido para dicho patrón.

5. Se actualizan las conexiones mediante la ecuación obtenida anteriormente.

6. Se repiten los pasos del 2 al 5 para todos los patrones de entrenamiento.

7. Si el error cuadrático medio es un valor reducido aceptable, termina el proceso. Sino se vuelve al paso 2.

15

Adaline

Aplicaciones:

� La principal aplicación de las redes tipo Adaline se encuentra

en el campo de procesamiento de señales. Concretamente

en el diseño de filtros capaces de eliminar ruido en señales

portadoras de información.

� Otra aplicación es la de los filtros adaptativos: Predecir el

valor futuro de una señal a partir de su valor actual.

16

Adaline

CONCLUSIONES

� Una simple capa de PE lineales pueden realizar

aproximaciones a funciones lineales o asociación de

patrones.

� Una simple capa de PE lineales puede ser entrenada

con algoritmo LMS.

� Relaciones No Lineales entre entradas y salidas no

pueden ser representadas exactamente por redes

lineales. Dichas redes harán aproximaciones lineales.

Otro tipo de redes abordarán la resolución de

problemas no lineales.

17

Regla del Perceptron (Rosenblatt)

� Supongamos un PE con una función de transferencia del tipo Hardlimiter y en donde las entradas son binarias o bipolares (mismo que Adaline pero con esas restricciones).

� La regla que rige el cambio de pesos es:

� Wi(t+1) = Wi(t) Si la salida es correcta.

� Wi(t+1) = Wi(t) + Xi(t) Si la salida = -1 y debería de ser 1.

� Wi(t+1) = Wi(t) - Xi(t) Si la salida = 1 y debería de ser -1.

� Sobre la regla anterior se han realizado diferentes modificaciones:

18

Regla del Perceptron (Rosenblatt)

� A)

� Wi(t+1) = Wi(t) Si la salida es correcta.

� Wi(t+1) = Wi(t) + µXi(t) Si la salida = -1 y debería de ser 1.

� Wi(t+1) = Wi(t) - µXi(t) Si la salida = 1 y debería de ser -1.

Con µ [0,1], término de control de ganancia y velocidad de aprendizaje.

� B) Otra de las modificaciones propuestas fue sugerida por Widrow and Hoff. Ellos propusieron una regla basada en la regla Delta. (Es la más utilizada).

Tomando las entradas y salidas como bipolares tenemos que el cambio en los pesos se produce de la manera siguiente:

19

Regla del Perceptron (Rosenblatt)

20

Regla del Perceptron (Rosenblatt)

Resumen

Las Tareas que no cumplan las

indicaciones no serán consideradospor el profesor.

21

� Realizar un resumen mediante mapas conceptuales (CMapTools)

de esta diapositiva.

� Serán mejor consideradas los resúmenes que tengan información

extra a esta diapositiva.

� Las fuentes adicionales utilizadas en el resumen se presentarán

en su carpeta personal del Dropbox y deben conservar el nombre

original y agregar al final _S5.

� Las fuentes y los archivos *.cmap deben colocarse dentro de su

carpeta personal del Dropbox, dentro de una carpeta de nombre:

IA_PaternoM_S5

Preguntas

El resumen con mapas conceptuales solicitado de la Sesión al

menos debe responder las siguientes preguntas:

1. ¿Cuáles son las características de la red Adaline?

2. Describir el algoritmo de aprendizaje de la red Adaline.

3. Comparar las características del Perceptron y de Adaline.

4. Comparar la regla de aprendizaje del Perceptron y de Adaline.

5. Listar cinco aplicaciones de las redes Adaline/Madaline.

22

23

Sesión 5. Redes Adaline

Inteligencia Artificial

http://utpiayse.blogspot.com