Machine Learning&

Neural Networks

Eric Postma

IKAT

Contenido

Perceptron y perceptrón multicapa

Learning Vector Quantisation

Kohonen Self-Organising Feature Map

Multidimensional Scaling (optional)

Perceptrón

Deducción de la regla delta de aprendizaje

Target output

Actual output

h = i

Perceptrón Multicapa

Función sigmoidal

Puede ser también tanh (<-1,+1> ipv <0,1>) Obteniendo f’(x) = f(x) [1 – f(x)]

Deducción de la regla delta generalizada

Función de error (LMS)

Ajuste del vector de pesos (capa oculta – salida)

Ajuste del vector de pesos (capa de entrada – capa oculta)

Propagación hacia adelante y retropropagación

El problema de muestras dispersas

Los puntos (muestras) dispersos tienen la mayor contribución en el error total

outlier

Solución al problema de los puntos dispersos

Error Minkowsky (R < 2)

Para R = 1 es el mínimo de la función de error de mediana de los datos

( Número de puntos < mediana = Número de puntos > mediana )

El problema de inversión

x

t

x

t

Functional mappingNon-functional inverse mapping

Ejemplo: análisis espectral

Alternativa: modelos mixtos

Entrada de la red: vector de parámetros Una combinación lineal de funciones

kernel parametrizadas (p.e. Funciones Gaussianas) dada como salida

El vector de parámetros determina la forma de las funciones kernel

Solución m.b.v. Modelo mixto

x

t

Non-functional inverse mapping

Weight decay

Conjunción del valor absoluto de los pesos Resulta en un modelo simple El parametro Lambda determina el peso relativo

Regla delta generalizada con Weight Decay

Deducción de la regla delta generalizada para una red con

LMS error + weight decay

Regla de aprendizaje con weight decay

Cushings Dataset

Algunos resultados… Perceptrón multicapa (2-2-3) 1 capa oculta Conexión directa entrada-salida Salida Soft-max Total 21 pesos

2 hidden (perfect fit)

2 hidden (perfect fit)

2 hidden, lambda = 0.001(smoother)

= Lokaal minimum

2 hidden, lambda = 0.01

= Lokaal minimum

5 hidden, lambda = 0.01

20 hidden, lambda = 0.01

Learning Vector Quantisation(LVQ)

Self-organizing Feature Maps

Teuvo Kohonen

Inspiración biológica Imágenes

topográficas en la corteza

Corteza visual Corteza

somatosensorial Corteza motora Corteza

inferotemporal

La diferencia más importante con LVQ

La vecindad

SOM toegepast op tijdreeksen

Matlab SOM toolbox

Los datos (3D)

Unified Distance Matrix

Sammon mapping

Hit histogram 1 (numeric)

Hit histogram 2 (size)