RedesNeuronales

Redes Neuronales Artificiales

Objetivo:

• Conocer los diferentes tipos Redes Neuronales Artificiales sus aplicaciones.

Introducción

Aunque todavía se ignora mucho sobre la forma en que el cerebro aprende a procesar la información, se han desarrollado modelos que tratan de mimetizar tales habilidades; denominados redes neuronales artificiales ó modelos de computación conexionista. La elaboración de estos modelos supone en primer lugar la deducción de los rasgos o características esenciales de las neuronas y sus conexiones, y en segundo lugar, la implementación del modelo en una computadora de forma que se pueda simular.

Introducción

Se trata te entender la forma de funcionamiento del cerebro humano, que es completamente distinta al funcionamiento de un computador digital convencional. El cerebro humano corresponde al de un sistema altamente complejo, no-lineal y paralelo.

Marco Histórico de las Redes Neuronales

1943 W. Mc Culloch y W. Pitts. N. Digitales.

1949 Donald Hebb “La organización de comportamiento”.

1950 Karl Lashley, información almacenada de forma distribuida.


1957 F. Rosemblatt “El Perceptron”.

1959 B. Widrow y T. Hoff “Adaline & Madaline”.

1967 S. Grossberg “Red Avalancha”.


1969 M. Minsky y S. Papert “Perceptrons”.

1977 Stephen Grossberg "Teoría de Resonancia Adaptada (TRA), Adaptative Resonanci Theory (ART)”.

1978 Teuvo Kohonen “Mapas Autoorganizativos (SOM)”.


1980 K. Fukushima “Cognitron y Neocognitron”.

1985 John Hopfield “Red Hopfield”.

1986 Rumelhart, Hinton y William, “Algoritmo de retropropagación”.

Inspiración Biológica

El cerebro consiste de un gran número de elementos altamente conectados llamadas neuronas.

dendritas

sinápsis

axónCuerpo celular


Color

Sabor

Olor

Sonido

Movimiento

Conexionesinformación

acciones

Neuronas


Cuerpo

DendritasAxon

Señal

Sinapsis

(Información)


Dendritas: ramificaciones nerviosas que trasmiten señales electroquímicas hacia el cuerpo de la célula.

Cuerpo de la célula: suma esas señales de entrada.

Axón: filamento que lleva la señal desde el cuerpo de la célula hacia otras neuronas.

Sinápsis: punto de contacto entre un axón de una célula y una dendrita de otra célula.

El arreglo (conexión) de neuronas establece la función de toda la red neural.


Se nace con alguna estructura neural

Se crean nuevas conexiones y otras se gastan; se desarrollan a través del aprendizaje propio de la etapa de crecimiento.

La estructura neural cambia a través de la vida. Esos cambios consisten en reforzamiento o debilitamiento de las junturas sinápticas.

Se forman nuevas memorias al modificar o reforzar algunas sinapsis.

Por ejemplo, memorizar la cara de una persona que nos presentan, consiste en alterar varias sinápsis.


Las ANN no copian la complejidad del cerebro. Aunque las neuronas biológicas son muy lentas

comparadas a los circuitos eléctricos, el cerebro biológico es capaz de realizar muchas tareas más rápido que cualquier computador convencional, debido en parte a su estructura masivamente paralela, donde sus neuronas están operando simultáneamente.

Muchas ANN se implementan en computadores digitales convencionales, sin embargo, su estructura se puede implementar con procesadores paralelos.

Reacciones en el Cerebro

Las reacciones químicas se generan fuera de la neurona gracias a los neurotransmisores (glutamato, dopamina, adrenalina, endomorfina).

Los impulsos eléctricos son procesos internos en la soma debido al desbalance de los iones (pasivo a -60 mV)

Na+ (dentro y fuera del soma)

K+ (fuera del soma)

Ca2+ (fuera del soma)

P2- (proteinas, dentro …)

El desbalance entre Na+ y K+, precipita los Na+ al interior del soma y lleva al modo activo a +50 mV. Este potencial dispara los neurotransmisores

Cerebro

• Estudios dividen la corteza cerebral en 51 áreas (comportamiento, movimiento, Homeostasis, emociones, memoria, aprendizaje, etc), las más importantes:

– lóbulo temporal: cualidades sonoras, comprensión de lenguaje, memoria y aprendizaje.

– lóbulo frontal: motora primaria, neuronas que controlan los músculos del cuerpo.

– lóbulo parietal: neuronas relacionadas con el tacto.

– lóbulo occipital: corteza visual primaria, localizada en la parte posterior.

Cerebro

• La respuesta se conduce a través de la médula espinal a los músculos

• El cerebro ha crecido desde el hipotálamo que es el asiento de las funciones más básicas

Cerebro vs Computador

Almacenamiento: Más neuronas que bits aunque la evolución computacional es vertiginosa (mucho mayor que la evolución de cerebro).

Velocidad: Computador orden de los seg Cerebro del orden de los mseg, pero el cerebro es masivamente paralelo yen definitiva el cerebro es 1010 veces más rápido.

Cerebro vs Computador

Tolerancia a fallas:Una neurona natural dañada afecta de manera marginal el comportamiento del cerebro. Cualquier mínimo error altera todo el procesamiento a nivel del computador.

Complejidad de ejecución: El cerebro realiza tareas muy complejas que son sencillas al humano pero difíciles para cualquier computador.

Procesamiento: Centralizado vs DistribuidoComputador Cerebro

Red Neuronal Artificial

¿Qué es una Red Neuronal Artificial?

Algunas redes neuronales son modelos biológicos y otros no, gran parte del origen de las redes neuronales proviene del deseo de producir sistemas artificiales capaces de efectuar procesos sofisticados, quizás inteligentes, similares a los que realiza el cerebro humano comúnmente.

Definiciones de una RNA

Es un arreglo masivo de elementos de procesamiento simple llamados neuronas, los cuales poseen un alto grado de interconectividad entre sus elementos, en los que la información puede fluir en cascada o en retroceso. Estos arreglos están inspirados en la naturaleza biológica de las neuronas.

Definiciones de una RNA

Las redes neuronales Artificiales son redes interconectadas masivamente en paralelo de elementos simples y con organización jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico.

Teuvo Kohonen

Redes Neurales Artificiales

Unidades enlazadas a través de conexiones cargadas por pesos numéricos

o El aprendizaje se basa en la actualización de esos pesos que se inicializan en la fase de entrenamiento de la red.

o Está formada por unidades de entrada y unidades de salida (neuronas de entrada y neuronas de salida).

o El nivel de activación de la neurona artificial (equivalente al impulso excitatorio) es un cálculo individual en cada neurona, sin control global.



ini = Wj,iaj

Suma Ponderada

fpw

b

an a=ƒ(wp+b)

La entrada escalar p se multiplica por el peso escalar w para formar wp, un término que entra al sumador.

Otra entrada 1, que se multiplica por un sesgo (offset) b, también va al sumador.

La salida del sumador n, que se conoce como entrada de red va a la función de transferencia f (función de activación), la cual produce la salida escalar a de la neurona.


Neurona de múltiples entradasTípicamente una neurona tiene más de una entrada.

n = w11p1 + w12p2 + ... + w1RpR + b

n = Wp+b

El número de entradas a la red depende de las especificaciones del problema.

Por ejemplo, si se desea predecir las condiciones de vuelo de un cometa y las entradas sean la temperatura del aire, la velocidad del viento y la humedad, la red necesitará tres entradas.

W

b

+an

p

1

1xR

1x1

1x1 1x1

Rx1

f

Información sobre el Sesgo

Se pueden escoger las neuronas con o sin sesgo. El sesgo es una variable extra.

Las redes con sesgo son más poderosas que las que no lo tienen.

Por ejemplo, una neurona sin sesgo siempre tendrá una entrada de red n cero, cuando las entradas P son cero. En algunos casos esto es no deseable y se puede evitar por el uso del sesgo.

Funciones de Activación (ƒ)

Función común a todas las neuronas artificiales quedetermina su activación dado los estímulos de entrada

Arquitecturas de RNAs

Perceptrones de un solo nivel


Perceptrones de varios niveles


Redes Recurrentes


Tipos de Aprendizaje

• Supervisado:

Se presenta a la red un conjunto de patrones junto con la salida deseada. Iterativamente se ajustan los pesos para lograr la salida deseada.

• Requiere propagar información hacia atrás.

• Requiere de instructor.

Pasos:

• Fijar pesos aleatorios las conexiones

• Seleccionar par de entrenamiento

• Presentar patrón de entrada y calcular salida

• Calcular error o discrepancia con la salida deseada

• Aplicar regla de aprendizaje


• No Supervisado o Autoorganizado:

Se presentan sólo patrones de entrada

Basado en la redundancia en las entradas

La red reconoce la irregularidades del conjunto de entrada, extrae rasgos y los agrupa por similitud (cluster).

Grandes plausibilidades biológicas


• Híbrido:

Coexistencia de supervisado y autoorganizado.

• Reforzado:

Se tiene información del error más no de la salida. Con la información del buen o mal comportamiento se ajusta la red.

Ventajas de la Redes Neuronales

Aprendizaje Adaptativo:

Es una de las características más atractivas de las redes neuronales es la capacidad de aprender a realizar tareas basadas en un entrenamiento o una experiencia inicial.

Autoorganización:

Las redes neuronales usan su capacidad de aprendizaje adaptativo para organizar la información que reciben durante el aprendizaje y/o la operación. Una RNA puede crear su propia organización o representación de la información que recibe mediante una etapa de aprendizaje. Esta autoorganización provoca la facultad de las redes neuronales de responder apropiadamente cuando se les presentan datos o situaciones a los que no habían sido expuestas anteriormente.


Tolerancia a Fallos:

Comparados con los sistemas computacionales tradicionales, los cuales pierden su funcionalidad en cuanto sufren un pequeño error de memoria, en las redes neuronales, si se produce un fallo en un pequeño número de neuronas, aunque el comportamiento del sistema se ve influenciado, sin embargo no sufre una caída repentina.

Hay dos aspectos distintos respecto a la tolerancia a fallos: primero, las redes pueden aprender a reconocer patrones con ruido, distorsionados, o incompleta. Segundo pueden seguir realizando su función (con cierta degradación) aunque se destruya parte de la red.


Operación en Tiempo Real:

Los computadores neuronales pueden ser realizados en paralelo, y se diseñan y fabrican máquinas con hardware especial para obtener esta capacidad.

Fácil inserción dentro de la tecnología existente:

Debido a que una red puede ser rápidamente entrenada, comprobada, verificada y trasladada a una implementación hardware de bajo costo, es fácil insertar RNA para aplicaciones específicas dentro de sistemas existentes (chips, por ejemplo). De esta manera, las redes neuronales se pueden utilizar para mejorar sistemas de forma incremental, y cada paso puede ser evaluado antes de acometer un desarrollo más amplio.

Consideraciones en una Red Neural Artificial

¿ Cuantas unidades o neuronas artificiales ?Tanteo ...

¿ Tipo de neurona ?Por problemas similares

¿ Topología de la red ?Tanteo ...

¿ Inicialización de los pesos ?Aleatorio

¿ Número de ejemplos para el entrenamiento ?Depende del problema planteado

¿ Cómo codificar los datos de entrada y salida ?Binario es lo común ...

Algunos Tipos de Redes Artificiales

Perceptron

Reconocimiento de caracteres impresos.

Adalaine y Madalaine

Filtrado de señales.

Backpropagation

Sintesis de Voz, Control de Robots, Patrones.

Neocognitron

Reconocimiento de caracteres Manuscritos.

Algunos Tipos de Redes Artificiales

Hopfield

Reconstrucción de Patrones.

SOM

Reconocimiento de patrones codificados de datos.

ART

Reconocimiento de patrones (radar, sonar).

Campos de aplicación Finanzas

Predicción de índices.Detección de fraudes.Riesgo crediticio, clasificación.Predicción de la rentabilidad de acciones.

NegociosMarketing.Venta cruzada.Campanas de venta.

Tratamiento de textos y proceso de formasReconocimiento de caracteres impresos mecánicamente.Reconocimiento de gráficos.Reconocimiento de caracteres escritos a mano.Reconocimiento de escritura manual cursiva.

Campos de aplicación Alimentación

Análisis de olor y aroma.Perfilamiento de clientes en función de la compra.Desarrollo de productos.Control de Calidad–Predicción consumo de gas ciudad.

Industria manufactureraControl de procesos.Control de calidad.Control de robots.

Medicina y saludAyuda al diagnostico.Análisis de Imágenes.Desarrollo de medicamentos.Distribución de recursos.

Campos de aplicación Ciencia e Ingeniería

Análisis de datos y clasificación.Ingeniería Química.Ingeniería Eléctrica.Climatología.

Transportes y ComunicacionesOptimización de rutas.Optimización en la distribución de recursos.

Aplicaciones Reales

Pronunciación: NETtalk (87), aprende a pronunciaer texto escrito. 29 unidades de entrada (26 letras, más espacios, puntos, comas, ...). 80 unidades ocultas. 1024-palabras de entrenamiento y 95% de éxito en el entrenamiento, pero 78% en la prueba.

Aplicaciones Reales

Reconocimiento de caracteres: una de las aplicaciones más grandes de redes neuronales actuales (Le Cun et al. 89). Una red que lee códigos postales en cartas escritas a mano. El sistema tiene un prepocesador para localizar los números, y la red los descifra. 3 capas ocultas (768, 192 y 30 unidades cada una). No se conectaron todas las unidades contra todas, si no que se dió un efecto de detectores de atributos, dividiendo las unidades ocultas en grupos (un total de 9,760 conexiones). Logra un 99% de éxito, adecuado para un sistema de correo automático y se ha implementado en un chip.

Aplicaciones Reales

Manejar: ALVINN (Autonomous Land Vehicle In a Neural Network) (Pomerleau 93) es una red neuronal que aprende a manejar un vehículo viendo como maneja un humano. Maneja dos vehículos equipados especialmente. Se utiliza una camara que alimenta una rejilla de entradas a la red. La salida (30 unidades) controla la dirección del volante.

La red tiene 5 capas ocultas totalmente conectadas. Después de que gente maneja el vehículo y se entrena al sistema (con retro-propagación, por cerca de 10 min.) el sistema está listo para manejar. Puede manejar hasta a 70 mph por distancias de hasta 90 millas. Extensiones: MANIAC.

Instituciones y Centros de Investigación

MIT

UCLA

Universidad de Helsinky

Universidad Politécnica de Madrid

Texas A&M, etc.

UNI Facultad de Ciencias

Asociaciones de RNA

1987 International Neural Network

Society (INNS).

1988 International Joint Conference on

Neural Networks (IJNN).

1991 International Conference on

Artificial Neural Networks

(ICANN).

Documents

RedesNeuronales