SEPTIEMBRE DE 2001 ESCOM I P N 1

El Perceptrón El Perceptrón MulticapaMulticapa

SEPTIEMBRE DE 2001 ESCOM I P N 2

El Perceptrón MultinivelEl Perceptrón Multinivel

❂ Red FeeforwardRed Feeforward❂ Red MulticapaRed Multicapa❂ Clasificación de patrones Clasificación de patrones

no linealmente no linealmente separablesseparables

❂ Aprendizaje supervisadoAprendizaje supervisado❂ Aprendizaje offlineAprendizaje offline

SEPTIEMBRE DE 2001 ESCOM I P N 3

Problemas Problemas linealmente Separableslinealmente Separables

SEPTIEMBRE DE 2001 ESCOM I P N 4

Resuelve Problemas No Resuelve Problemas No linealmente separableslinealmente separables

SEPTIEMBRE DE 2001 ESCOM I P N 5

El Perceptrón MulticapaEl Perceptrón Multicapa

SEPTIEMBRE DE 2001 ESCOM I P N 6

Multilayer Neural NetworkMultilayer Neural Network

❚Required to deal with more complex problems❚Multilayer, Feed Forward, Back Propagation

.

.

.

.

.

.

Input Layer Output Layer

Hidden Layer(s)

SEPTIEMBRE DE 2001 ESCOM I P N 7

❂ El Perceptrón básico de dos El Perceptrón básico de dos capas (entrada con neuronas capas (entrada con neuronas lineales, analógicas, y la de lineales, analógicas, y la de salida con función de activación salida con función de activación de tipo escalón, digital) solo de tipo escalón, digital) solo pude establecer dos regiones pude establecer dos regiones separadas por una frontera lineal separadas por una frontera lineal en el espacio de patrones de en el espacio de patrones de entrada, donde se tendría un entrada, donde se tendría un hiperplanohiperplano. .

SEPTIEMBRE DE 2001 ESCOM I P N 8

HiperplanosHiperplanosEn el espacio 3D , un plano es un objeto de 2 dimensiones, un único plano puede descomponer el espacio tridimensional en 2 regiones distintas; 2 planos pueden dar lugar a 3 o 4 regiones distintas, dependiendo de sus orientaciones relativas, y asi sucesivamente, por extensión en un espacio n-dimensional, los hiperplanos son objetos de (n-1) dimensiones.

SEPTIEMBRE DE 2001 ESCOM I P N 9

Los espacios n-dimensionales suelen recibir el nombre de hiperespacio. Una colocación adecuada de hiperplanos permite descomponer los espacios n-dimensionales en varias regiones diferentes.

SEPTIEMBRE DE 2001 ESCOM I P N 10

❂ Un Perceptrón con tres niveles Un Perceptrón con tres niveles de neuronas puede formar de neuronas puede formar cualquier región convexa en cualquier región convexa en este espacio. Las regiones este espacio. Las regiones convexas se forman mediante convexas se forman mediante la intelección entre las la intelección entre las regiones formadas por cada regiones formadas por cada neurona de la segunda capa, neurona de la segunda capa, cada uno de estos elementos cada uno de estos elementos se comporta como un se comporta como un Perceptrón simple, activándose Perceptrón simple, activándose su salida para los patrones de su salida para los patrones de un lado del hiperplano. un lado del hiperplano.

SEPTIEMBRE DE 2001 ESCOM I P N 11

❂ Un Perceptrón con cuatro capas Un Perceptrón con cuatro capas puede generar regiones de decisión puede generar regiones de decisión arbitrariamente complejas. El arbitrariamente complejas. El proceso de separación en clases proceso de separación en clases que se lleva a cabo consiste en la que se lleva a cabo consiste en la partición de la región deseada en partición de la región deseada en pequeños hipercubos. pequeños hipercubos.

❂ Cada hipercubo requiere 2n Cada hipercubo requiere 2n neuronas en la segunda capa neuronas en la segunda capa (siendo n el numero de entradas a (siendo n el numero de entradas a la red), una por cada lado del la red), una por cada lado del hipercubo, y otra en la tercera capa, hipercubo, y otra en la tercera capa, que lleva a cabo el and lógico de la que lleva a cabo el and lógico de la salida de los nodos del nivel salida de los nodos del nivel anterior.anterior.

SEPTIEMBRE DE 2001 ESCOM I P N 12

❂ La salida de los nodos de este tercer La salida de los nodos de este tercer nivel se activaran solo para las entradas nivel se activaran solo para las entradas de cada hipercubo. Los hipercubos se de cada hipercubo. Los hipercubos se asignan a la región de decisión asignan a la región de decisión adecuada mediante la conexión de la adecuada mediante la conexión de la salida de cada nodo del tercer nivel solo salida de cada nodo del tercer nivel solo con la neurona de salida (cuarta capa) con la neurona de salida (cuarta capa) correspondiente a la región de decisión correspondiente a la región de decisión en la que este comprendido el en la que este comprendido el hipercubo llevándose a cabo una hipercubo llevándose a cabo una operación lógica Or en cada nodo de operación lógica Or en cada nodo de salida. Este procedimiento se pude salida. Este procedimiento se pude generalizar de manera que la forma de generalizar de manera que la forma de las regiones convexas sea arbitraria, en las regiones convexas sea arbitraria, en lugar de hipercubos. lugar de hipercubos.

SEPTIEMBRE DE 2001 ESCOM I P N 13

❂ En teoría, el Perceptrón de 4 capas En teoría, el Perceptrón de 4 capas puede resuelve una gran variedad de puede resuelve una gran variedad de problemas cuyas entradas sean problemas cuyas entradas sean analógicas, la salida sea digital y sea analógicas, la salida sea digital y sea linealmente separable. El problema linealmente separable. El problema práctico radica en el numero de práctico radica en el numero de neuronas, en el numero idóneo de capas neuronas, en el numero idóneo de capas ocultas, la extensión de la función de ocultas, la extensión de la función de activación, el tiempo de entrenamiento activación, el tiempo de entrenamiento de la red, las implicaciones en la de la red, las implicaciones en la generación de ruido (al tener un numero generación de ruido (al tener un numero excesivo de neuronas) en contraparte excesivo de neuronas) en contraparte con la ventaja de tener un sistema con la ventaja de tener un sistema tolerante a fallas al tener un numero de tolerante a fallas al tener un numero de neuronas redundante. neuronas redundante.

SEPTIEMBRE DE 2001 ESCOM I P N 14

El Perceptrón de 3 capasEl Perceptrón de 3 capas(una oculta)(una oculta)

❂ Formación de regiones convexas en el Formación de regiones convexas en el espacioespacio

❂ El número de neuronas ocultas, lo El número de neuronas ocultas, lo suficientemente grande para formar una suficientemente grande para formar una región compleja que solucione el región compleja que solucione el problema.problema.

❂ El numero de nodos no debe ser tan grande El numero de nodos no debe ser tan grande que el valor de los pesos no resulte fiableque el valor de los pesos no resulte fiable

SEPTIEMBRE DE 2001 ESCOM I P N 15

El Perceptrón 4 capasEl Perceptrón 4 capas(2 capas ocultas)(2 capas ocultas)

❂ Regiones de decisión arbitrariamente Regiones de decisión arbitrariamente complejas. Partición de la región en complejas. Partición de la región en pequeños hipercubospequeños hipercubos

❂ Cada hipercubo 2N neuronas en la segunda Cada hipercubo 2N neuronas en la segunda capa.capa.

❂ La tercera capa es una AND lógica de las La tercera capa es una AND lógica de las capascapas

❂ Nivel 3 mayor a1 ; N2 mayor que 3N3Nivel 3 mayor a1 ; N2 mayor que 3N3

SEPTIEMBRE DE 2001 ESCOM I P N 16

Regiones de Clasificación Regiones de Clasificación con el Perceptrón Multicapacon el Perceptrón Multicapa

SEPTIEMBRE DE 2001 ESCOM I P N 17

Ejercicios del Ejercicios del perceptrón perceptrón MulticapaMulticapa

SEPTIEMBRE DE 2001 ESCOM I P N 18

Ejemplo 1: Solucion de la Or-Ejemplo 1: Solucion de la Or-ExclusivaExclusiva

SEPTIEMBRE DE 2001 ESCOM I P N 19

Dudas ???Dudas ???

SEPTIEMBRE DE 2001 ESCOM I P N 20

Hasta la próxima !!!Hasta la próxima !!!

SEPTIEMBRE DE 2001 ESCOM I P N 21

HipercuboHipercubo

SEPTIEMBRE DE 2001 ESCOM I P N 22

El PerceptrónEl Perceptrón

SEPTIEMBRE DE 2001 ESCOM I P N 23

El PerceptrónEl Perceptrón

SEPTIEMBRE DE 2001 ESCOM I P N 24

El PerceptronEl Perceptron