40
¿Que son las redes neuronales? Una introducci ´ on informal Julio Waissman Vilanova Licenciatura en Ciencias de la Computaci ´ on Departamento de Matem ´ aticas Universidad de Sonora Waissman (UNISON/LCC) Redes neuronales 1 / 40

¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

¿Que son las redes neuronales?Una introduccion informal

Julio Waissman Vilanova

Licenciatura en Ciencias de la ComputacionDepartamento de Matematicas

Universidad de Sonora

Waissman (UNISON/LCC) Redes neuronales 1 / 40

Page 2: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Plan de la presentacion

1 Motivacion

2 Modelos simples de una neurona

3 Arquitecturas principales

4 El perceptron

5 Un ejemplo simple de aprendizaje del perceptron

Waissman (UNISON/LCC) Redes neuronales 2 / 40

Page 3: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

¿Para que estudiar las redes neuronales?

Para entender como funciona el cerebro .El cerebro es una cosa bastante complicada, con partes,que si uno las empieza a manipular, el propietario mueregeneralmente. Por eso los metdos de simulacioncomputacional son muy importantes.

Para entender un tipo de computo paralelo .Computo paralelo basado en la aplicacion masiva deoperaciones simples.

Para resolver problemas practicos usando aprendizaje .A pesar que las redes neuronales no son un modelopreciso del cerebro, se pueden utilizar para resolver unagran cantidad de problemas practicos.

Waissman (UNISON/LCC) Redes neuronales 3 / 40

Page 4: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Estructura de una neurona

Waissman (UNISON/LCC) Redes neuronales 4 / 40

Page 5: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Sinapsis

Cuando un impulso electrico viaja a traves de un axon a unasinapsis, se transmite a traves de un lıquido neurotransmisor.El impulso se transmite por difusion a las neuronas receptoras.La efectividad de las sinapsis puede ser cambiada (pesosinaptico).La sinapsis es lenta, pero usa muy poca energıa, y se adapta apartir de senales disponibles localmente.

Waissman (UNISON/LCC) Redes neuronales 5 / 40

Page 6: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

¿Como funciona el cerebro?

Solo unas pocas neuronas se conectan con receptores oactuadores.Cada neurona recibe estimulos de otras neuronas.El efecto de cada entrada de otra neurona es controlado por unpeso sinaptico.El peso sinaptico se adapta de forma que la red en forma globalaprende a realizar operaciones utiles.Tenemos aproximadamente 1011 neuronas, cada una con 104

pesos sinapticos.

Waissman (UNISON/LCC) Redes neuronales 6 / 40

Page 7: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Modularidad del cerebro

Waissman (UNISON/LCC) Redes neuronales 7 / 40

Page 8: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Modularidad del cerebro

Waissman (UNISON/LCC) Redes neuronales 8 / 40

Page 9: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Modelos simples de una neurona

Para modelar cosas hay que idealizarlas.Eliminar detalles complicados no esenciales para la comprensiondel fenomeno.Vale la pena realizar modelos comprensibles de cosas quesabemos son incorrectas (sin olvidar que son incorrectas).Asumamos que las neuronas transmiten valores reales y noimpulsos.

Waissman (UNISON/LCC) Redes neuronales 9 / 40

Page 10: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Neuronas lineales

y = b +∑

i

ωixi

Si hacemos aprender a esta neurona, podemos probar conneuronas mas complicadas.y es la salida, b es el sesgo, xi la i–esima entrada y ωi el peso enla i–esima entrada.

Waissman (UNISON/LCC) Redes neuronales 10 / 40

Page 11: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Neuronas binarias

z =∑

i

ωixi

y =

{1 si z ≥ θ0 en otro caso

Propuestas por McCulloch y Pitts en 1943.Se asume que cada impulso es como el valor de verdad de unaproposicion logica.El parametro θ es un umbral.

Waissman (UNISON/LCC) Redes neuronales 11 / 40

Page 12: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Neuronas binarias

Representacion alternativa

z = b +∑

i

ωixi

y =

{1 si z ≥ 00 en otro caso

La neurona binaria es equivalente a aplicar una funcion no lineala la neurona lineal.A esta funcion no lineal se le conoce como funcion de activacion

Waissman (UNISON/LCC) Redes neuronales 12 / 40

Page 13: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Neuronas lineales rectificadas

ReLU

z = b +∑

i

ωixi

y =

{z si z ≥ 00 en otro caso

Relativamente reciente, muy rapido de calcular.Muy eficiente en problemas de aprendizaje profundo.

Waissman (UNISON/LCC) Redes neuronales 13 / 40

Page 14: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Neuronas sigmoidales

Logıstica

z = b +∑

i

ωixi

y =1

1 + e−z

Devuelve un valor real acotado, imitando una neurona binaria.Facil de derivar (lo que es util para el aprendizaje).Las mas usadas en modelos de pequena y mediana escala.

Waissman (UNISON/LCC) Redes neuronales 14 / 40

Page 15: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Neuronas estocasticas

Estocastica

z = b +∑

i

ωixi

P[s = 1] =1

1 + e−z

Mismas ecuaciones que la logıstica, pero diferente significado.Probabilidad de tener un impulso en un intervalo de tiempo corto.La salida es una V.A. con una distribucion de Poisson.

Waissman (UNISON/LCC) Redes neuronales 15 / 40

Page 16: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Arquitecturas principales de redes neuronales

Por arquitectura, consideramos la forma en que se conectan lasneuronas entre si. Tambien se le conoce como topologıa de la redneuronal.Dos arquitecturas generales basicas: alimentacion haciaadelante, y recursivas.Para este curso nos centraremos en las de alimentacion haciaadelante.

Waissman (UNISON/LCC) Redes neuronales 16 / 40

Page 17: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Redes con alimentacion hacia adelante

Redes mas comunes en aplicaciones practicasLa primer capa es la entrada y la ultima la salidaSi tienen mas de una capa oculta se les conoce como redesneuronales profundas (Deep neural network).Calculan una serie de transformaciones de los datos de entrada.La funcion de activacion de cada neurona es no lineal.

Waissman (UNISON/LCC) Redes neuronales 17 / 40

Page 18: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Redes con alimentacion hacia adelante

Waissman (UNISON/LCC) Redes neuronales 18 / 40

Page 19: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Redes recurrentes

Existen ciclos en sus conexionesSolo se pueden analizar en funcion del tiempoDinamicas complicadas y dificultad en el aprendizajeBiologicamente son un poco mas realistas

Waissman (UNISON/LCC) Redes neuronales 19 / 40

Page 20: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Redes recurrentes

Waissman (UNISON/LCC) Redes neuronales 20 / 40

Page 21: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aplicacion de la redes recurrentes

Metodo natural para modelar informacion en forma secuencialHabilidad para recordar informacion

Ejemplo (Fernando Alexis Martınez Valenzuela, 2017)senores de la vida como razon de la plaza de sangrese favor de laintegridad en el servicio publico y el combate a la corrupcion. se queoel gobierno ha querido subrayar hoy la armonıa constitucional en quelas inicias nuestra democracia, de la globalidad y del conocimiento.tenemos todo. tenemos el gran potencial para que cada mexicanoescriba su propia historia de exito. la correalidad de la falta de empleo,que no se otraın someterla afirarse para el desgreno, ausente deseriemos de corrupcion.

Waissman (UNISON/LCC) Redes neuronales 21 / 40

Page 22: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Redes recurrentes simetricas

Redes recurrentes, donde todas las conexiones son en ambasdirecciones y con el mismo peso en ambas direcciones.Un caso simple de analizar de redes recurrentes.Si no hay unidades ocultas se conocen como redes de Hopfield.Si tiene unidades ocultas se conocen como maquinas deBoltzmann.

Waissman (UNISON/LCC) Redes neuronales 22 / 40

Page 23: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

El perceptron

Y ahora regresemos a la mas simple de las redes neuronales haciaadelante: El perceptron

Red neuronal hacia adelante, con solo dos capas (no hay capaoculta)Las neuronas se modelan como neuronas binarias

Waissman (UNISON/LCC) Redes neuronales 23 / 40

Page 24: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

El Perceptron

Popularizado por Rosenblatt a principios de los 60.Parecıan tener gran poder de aprendizaje en la epoca.En 1969, Minsky y Papert hacen pedazos al perceptron.Actualmente es usado en problemas con varios millones deentradas.

Waissman (UNISON/LCC) Redes neuronales 24 / 40

Page 25: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Ejemplo simple de un perceptron

Red simple para reconocer formas escritas a mano.Dos capas de neuronas:

Neuronas en la primer capa representan intensidad de pixeles.Neuronas en la segunda capa representan formas conocidas.

Un pixel vota por una forma solo si tiene tinta.Cada pixel puede vota por cada forma.La forma mas votada es seleccionada.

Waissman (UNISON/LCC) Redes neuronales 25 / 40

Page 26: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Ilustracion del problema

A very simple way to recognize handwritten shapes

•  Consider a neural network with two layers of neurons. –  neurons in the top layer represent

known shapes. –  neurons in the bottom layer

represent pixel intensities. •  A pixel gets to vote if it has ink on it.

–  Each inked pixel can vote for several different shapes.

•  The shape that gets the most votes wins.

0 1 2 3 4 5 6 7 8 9

Waissman (UNISON/LCC) Redes neuronales 26 / 40

Page 27: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Representacion de pesos

How to display the weights

Give each output unit its own “map” of the input image and display the weight coming from each pixel in the location of that pixel in the map.

Use a black or white blob with the area representing the magnitude of the weight and the color representing the sign.

The input image

1 2 3 4 5 6 7 8 9 0

El color (blanco o negro) representa el signo del voto.El area representa la intensidad (peso) del voto.

Waissman (UNISON/LCC) Redes neuronales 27 / 40

Page 28: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

How to learn the weights

Show the network an image and increment the weights from active pixels to the correct class.

Then decrement the weights from active pixels to whatever class the network guesses.

The image

1 2 3 4 5 6 7 8 9 0

Muestra un ejemplo conocido a la red, e incrementa el peso delos pixeles activos para la forma correcta.Decrementa el peso de los pixeles activos para la formaseleccionada por la red neuronal.

Waissman (UNISON/LCC) Redes neuronales 28 / 40

Page 29: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

The image

1 2 3 4 5 6 7 8 9 0

Waissman (UNISON/LCC) Redes neuronales 29 / 40

Page 30: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

The image

1 2 3 4 5 6 7 8 9 0

Waissman (UNISON/LCC) Redes neuronales 30 / 40

Page 31: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

The image

1 2 3 4 5 6 7 8 9 0

Waissman (UNISON/LCC) Redes neuronales 31 / 40

Page 32: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

The image

1 2 3 4 5 6 7 8 9 0

Waissman (UNISON/LCC) Redes neuronales 32 / 40

Page 33: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

The image

1 2 3 4 5 6 7 8 9 0

Waissman (UNISON/LCC) Redes neuronales 33 / 40

Page 34: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje

The learned weights

The image

1 2 3 4 5 6 7 8 9 0

The details of the learning algorithm will be explained in future lectures.

Waissman (UNISON/LCC) Redes neuronales 34 / 40

Page 35: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Problemas con el aprendizaje

Una red con solo dos capas es equivalente a un patron rıgido porcada forma.El ganador es el patron con mas traslape.Los dıgitos escritos a mano son mucho mas complejos.Es necesario capturar otras caracterısticas.

Waissman (UNISON/LCC) Redes neuronales 35 / 40

Page 36: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Ejemplo de dıgitos escritos a manoExamples of handwritten digits that can be recognized correctly the first time they are seen

Waissman (UNISON/LCC) Redes neuronales 36 / 40

Page 37: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Limitaciones del perceptron

El perceptron no puede resolver ni siquiera los problemas maselementales no linealmente separables.A geometric view of what binary threshold neurons cannot do

•  Imagine “data-space” in which the axes correspond to components of an input vector. –  Each input vector is a point in this

space. –  A weight vector defines a plane in

data-space. –  The weight plane is perpendicular

to the weight vector and misses the origin by a distance equal to the threshold.

0,1

0,0 1,0

1,1

weight plane output =1 output =0

The positive and negative cases cannot be separated by a plane

Waissman (UNISON/LCC) Redes neuronales 37 / 40

Page 38: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Limitaciones del perceptron

El perceptron no puede resolver patrones simples con translacion.

Discriminating simple patterns under translation with wrap-around

•  Suppose we just use pixels as the features.

•  Can a binary threshold unit discriminate between different patterns that have the same number of on pixels? –  Not if the patterns can

translate with wrap-around!

pattern A

pattern A

pattern A

pattern B

pattern B

pattern B

Waissman (UNISON/LCC) Redes neuronales 38 / 40

Page 39: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Una catastrofe para las redes neuronales

El objetivo del reconocimiento de patrones es reconocer patrones,a pesar de transformaciones como la translacion.Para resolver estos problemas, es necesario extraer otro tipo decaracterısticas para reconocer translaciones, u otro subpatroninformativo.La parte sabrosa entonces hay que programarla a mano, y ledejamos el problema facil al algoritmo de aprendizaje.

Waissman (UNISON/LCC) Redes neuronales 39 / 40

Page 40: ¿Que son las redes neuronales? Una introducción informal · Waissman (UNISON/LCC) Redes neuronales 38 / 40. Una catastrofe para las redes neuronales El objetivo del reconocimiento

Aprendizaje con neuronas ocultas

Redes sin neuronas ocultas solo pueden hacer funciones muysimples entre las entradas y las salidas.

Neuronas ocultas lineales no ayudan, el resultado sigue siendo unacombinacion lineal de las entradas.No linealidades fijas a la salida tampoco son suficientes.

Es necesario agregar capas de neuronas adaptables y nolineales.

Para que esto sea posible es necesario ajustar todos los pesos almismo tiempo, y no solo los de la capa de salida.Aprender pesos en las capas ocultas es equivalente a aprendernuevas caracterısticas.Problema difıcil, ya que nadie da indicaciones de como deben seresas nuevas caracterısticas.

Waissman (UNISON/LCC) Redes neuronales 40 / 40