Agente de Estimulo y Respuesta

1

Antonio Reynoso Lobato 1

Módulo 1

Sistemas Reactivosreaccionar a lo que ves


Objetivo del Módulo

Analizar, en sus fundamentos físicos, los métodos de control que posee el agente asícomo el procesamiento de señales del entorno del mismo; por medio de la aproximación subsimbólica evolutiva

2


Secciones

•Agentes de estímulo-respuesta•Redes neuronales•Sistemas evolutivos•Sistemas con estados•Visión artificial


Módulo 1, Sección 1

Agentes de

estímulo-respuesta

3


Objetivo de la Sección

Analizar sistemas que no tienen estados internos y que sólo reaccionan a los estímulos generados por los entornos donde operan.


Temas

•Percepción y acción.

•Representación e implementación de las funciones para la selección de acciones.

•Consideraciones adicionales.

4


Percepción y acción.

•Robots: capaces de responder a estímulos que reciben sus sensores.

– Machina Speculatrix (53): se movía hacia una luz de intensidad moderada y evitaba luces brillantes

– Agentes de estímulo-respuesta (Agentes E-R)


Ejemplo ilustrativo

• Mundo:– Limites:

No existen pasillos estrechos ( el espacio entre los objetos y la frontera deberá ser, de al menos, dos celdas de longitud)

• Robot:– Comportamiento:

Ir a una celda fronteriza, o que limite con un objeto, y seguir su perímetro indefinidamente.

5


Robot en un Mundo cuadriculado

X = (0,0,0,0,0,0,1,0)


Comportamiento

• Percibir: si una celda esta libre para ser ocupada ó no– Ocho entradas sensoriales S = [s(1),s(2),....,s(8)]

S(i) = 0: si puede ser ocupadaS(i) = 1: si no.

• Acción:– Acciones primitivas que correspondan a las percepciones:

Puede moverse a una celda libre adyacente que este en su misma fila o columna (si la celda no esta libre la acción no tendría efecto):

– 1: Norte (1 celda hacia arriba)– 2: Este (1 celda a la derecha)– 3: Sur (1 celda hacia abajo)– 4: Oeste (1 celda a la izquierda)

6


Diseñar

1.Dadas las propiedades del mundo a habitar.

2.Concretada la tarea que tiene que desarrollar.

Diseñar: especificar una función definida sobre las entradas sensoriales que seleccione la acción apropiada en cada momento para lograr el objetivo encomendado al robot


Cálculo

• Vector de características: que se correlacionan con las propiedades del entorno que son relevantes– Numéricas (números reales)– Categorizadas (nombres o propiedades: [color = (rojo, verde,...)] )– Binarias (1 y 0´s ó F y V)

• Cálculo de la acción: se selecciona una acción a partir del vector de características

7


Proceso

•Proceso:– Desplazado hacia la percepción:

El mundo se percibe como un estado en que la acción X ( norte por ejemplo) es posible

– Desplazado hacia la acción:Se obtiene la acción X realizando el cálculo directamente sobre las entradas sensoriales

– Dividido entre percepción y acción.


¿Cómo realizar la División?

• De modo que las mismas características puedan ser usadas en otras tareas que el robot tenga que realizar (se asemeja al uso de las funciones de una librería)

– 1° Resolver como realizar la división.– 2° Resolver:

Conversión de los datos primitivos del vector de características.Especificar la función para el cálculo de la acción.

8


Percepción:

• Entradas sensoriales:– (S1, S2,....,S8) => 2^8 = 256 combinaciones posibles.

La condición que prohíbe pasillos estrechos descarta combinaciones.

– Definir:» Características: X1, X2, X3, X4 (variables sensoriales)

• El procesamiento perceptual puede producir ocasionalmente información errónea, incompleta ó ambigua que lleve a una selección inadecuada de la acción a tomar.


Características:

• X1 = 1 si y solo si S2 = 1 ó S3 = 1.

• Combinaciones booleanas de las entradas sensoriales

9


Acción:• Definir la función:

– Reglas:Si ninguna característica toma el valor de 1, moverse en cualquier dirección (norte por defecto) hasta encontrar un borde.Si X1=1 y X2=0, moverse al EsteSi X2=1 y X3=0, moverse al Sur.Si X3=1 y X4=0, moverse al OesteSi X4=1 y X1=0, moverse al Norte

– Combinaciones booleanas de las características


Álgebra Booleana• Representación de la función booleana:

– F(X1, X2,...,Xn) : le hace corresponder a este arreglo de 1´s y 0´s o bien 1 o bien 0

• Conectivas: ( * , + , ¬ )– Conjunción:

= : tiene el valorX1X2 = 1 si y solo si X1 = 1 y X2 = 1;X1X2 = 0 en cualquier otro caso

– Disyunción inclusiva:X1+X2 = 0 si y solo si X1 = 0 y X2 = 0;X1+X2 = 1 en cualquier otro caso

– Complemento o Negación:¬X = 1 si y solo si X = 0¬X = 0 si y solo si X = 1

PROPIEDAD DE DUALIDAD

10


Álgebra Booleana

• Reglas:– 1+1 = 1; 1+0 = 1; 0+0 = 0– 1*1 = 1; 1*0 = 0; 0*0 = 0– ¬1 = 0; ¬0 = 1

• Robot:– F = ¬X1*¬X2*¬X3*¬X4 + X4*¬X1 (moverse al norte)– X4 = S1 + S8 (característica)

• Átomo: Formula booleana de una variable X1

• Literal: Función booleana de una variable o su complemento ¬X1


Leyes de las conectivas• Conmutativa:

– X1X2 = X2X1; X1+X2 = X2+X1• Asociativa:

– (X1X2)X3 = X1(X2X3)– (X1+X2)+X3 = X1+(X2+X3)– Estas dos leyes permiten eliminar los paréntesis

• De Morgan:– ¬(F1F2) = ¬F1 + ¬F2– ¬(F1+F2) = ¬F1*¬F2

• Distributiva:– F1(F2+F3) = F1F2 + F1F3– F1+(F2F3) = (F1+F2)(F1+F3)

11


Formas y Clases•Monomio ó término: conjunción de literales

– L1L2....Ln es un término de la función– Tamaño del término: número de literales– 3^n monomios distintos de n variables

(límite inferior)

•Cláusula: disyunción de literales– (L1+L2+....+Ln) es una cláusula de la función– Tamaño de la cláusula: número de literales– 3^n cláusulas distintas de n variables

(límite superior)• Si F es un término aplicando la leyes de De Morgan

¬F es una cláusula y viceversa


Formas y Clases• FND: Forma Normal Disyuntiva, si puede escribirse como una

disyunción de términos– F = X1X2 + X2X3X4– FND de k términos: si consiste en una disyunción de k

términos.– Pertenece a la Clase k-FND: si el tamaño del mayor término

es k

• FNC: Forma Normal Conjuntiva, si puede expresarse como una conjunción de cláusulas

– F = (X1+X2)(X2+X3+X4)– FNC de k cláusulas: si consiste en una conjunción de k

cláusulas.– Pertenece a la Clase k-FNC: si el tamaño de la mayor cláusula

es k

• Cualquier expresión FNC se convierte a FND aplicando las leyes de De Morgan y viceversa (reciprocas)

12


Representación e Implementación

•Selección de Acciones:– Una generalización de las funciones booleanas:

Función definida sobre el vector de características, que tenga R valores de salida distintos:

– R posibles acciones a seguir


Representación• Funciones de selección de acciones:

– Sistemas de Producción:Reglas de Producción:

– c(i) a(i) : c(i) condición; a(i) acciónConjunto de Producciones: (Tablas de decisión )

c(1) a(1)c(2) a(2)

.

.c(n) a(n)

13


Funciones de selección de acciones:

– Reglas de Producción:c(i) a(i) :

– c(i) condición: cualquier función booleana definida sobre el vector de características

» (normalmente es un monomio).– a(i) acción:

» Acción primitiva» Llamadas a otro sistema de producción» Conjunto de acciones a ser ejecutadas

simultáneamente


Funciones de selección de acciones:

Conjunto de Producciones:Se busca, siguiendo el orden establecido en el conjunto de reglas, la que la evaluación de su condición sea igual a 1

c(1) a(1)c(2) a(2)

.

.c(n) a(n)

14


Ejecución por defecto• Por lo general la última regla tiene el valor de 1

(Regla por defecto)

• A medida que se van ejecutando las acciones las condiciones de las reglas deben ser comprobadas continuamente:

– Se modifican las entradas sensoriales constantemente

• Sistema de Producción:– X4¬X1 norte– X3¬X4 oeste– X2¬X3 sur– X1¬X2 este– 1 norte

• Proceso sin Fin.


Sistemas Dirigidos por Objetivos

• Las acciones se ejecutan hasta que se alcanza algún objetivo

– Objetivo: condición booleana de las característicasC:alcanzo la esquina cóncava

– C nil: acción nula (sin efectos)– 1 sb: seguimiento de bordes

• Programas Teleo-Reactivos (T-R)– Teleo: fin ó propósito

15


Programas T-R

• La primera regla define el objetivo general( ciclo WHILE)

• El objetivo debe de estar bien definido:– expresado como una función booleana de las

características

• Las acciones conducen al agente, inexorablemente, hacia el objetivo general (Robustez)


Programas T-R

• El sistema de percepción debe de ser preciso ( se puede recuperar de):

– Percepciones erróneas (contratiempos)– Acciones ejecutadas incorrectamente– Procesos externos del entorno

• Pueden contener Parámetros: fijados en el momento en que los programas son llamados

• Pueden llamar a otros programas T-R

• Pueden llamarse ellos mismos (Recursividad)

16


Redes Lógicas

•Puertas Lógicas:– AND, NAND, OR,etc...

•Unidad Lógica con Umbral (ULU)– Aplica una función no lineal sobre una suma

ponderada de sus entradas.


Unidad Lógica con Umbral (ULU)• ULU: Modelo simplificado de una neurona biológica:

– Cuyo disparo depende de la suma de intensidades de las sinapsis:

• Que atenúan o amplifican la intensidad de las entradas

17


Implementación mediante ULU´s

•Separa el espacio de los vectores de entrada en dos regiones mediante una superficie lineal:

– Hiperplano de n dimensiones•Funciones linealmente separables:

– Monomios: conjunción de literales– Cláusulas: disyunción de literales

•Funciones no-separables:– Ó exclusivo:

f = X1¬X2 + ¬X1X2


Implementación de un monomio

• Los pesos en las líneas de entrada

• Umbral dentro del circulo

18


Función para el seguimiento de bordes

f = X1¬X2 = (S2 + S3)¬(S4 + S5)

= (S2 + S3)¬S4¬S5

(Moverse al Este)


Redes Neuronales

• Selección de acciones:– 2 acciones posibles:

• Implementación con una sola ULU:– siempre y cuando tengamos como entrada

una representación codificada del vector de características

– Mas de 2 acciones posibles:• Implementación con una red de ULU´s

(red neuronal)

19


Implementación de Programas T-R

• Sugerencia de Kats: combinaciones repetidas de inversores y puertas AND– implementadas por medio de ULU´s

• Entradas: valores binarios de c(i)• Salidas: activan a las acciones a(i)

– Implementación por medio de CIPA:Comprobación, Inhibición, Propagación, Acción

• 2 entradas• 2 salidas• 2 ULU´s


Unidades CIPA

• CIPA: Comprobación, Inhibición, Propagación, Acción• 2 entradas:

• Inhibición• Comprobación

• 2 salidas:• Propagación• Acción

• 2 ULU´s• Conjunción: de una entrada con el

complemento de la otra• Disyunción: de las dos entradas

20


Red de Unidades CIPA• La entrada de inhibición será igual a 0, cuando

en ninguna de las reglas precedentes la condición sea cierta

• La entrada de comprobación toma el valor de 1, cuando la condición correspondiente a la regla representada es cierta

Conjunción

Disyunción


Red de Unidades CIPA• Si la entrada de comprobación es igual a 1 y la

de inhibición es igual a 0, la salida de accióntoma el valor de 1

• Si las dos entradas toman el valor de 1, la salida de propagación toma el valor de 1 inhibiendo a todas las unidades que siguen

Conjunción

Disyunción

21


Unidades CIPA

• Si implementamos un CIPA por medio de unamatriz de puertas programables – ( o de cualquier forma dinámica de construir

circuitos)– cada vez que se llama al programa T- R – se construye dinámicamente el circuito que

implementamos


Arquitectura de Subsunción

• Otro formalismo para especificar el proceso queasocia las entradas sensoriales con las acciones correspondientes.

• La idea general es que el comportamiento global del agente descansa sobre un conjunto demódulos de comportamiento

22


Módulos de comportamiento• Cada módulo recibe información de las entradas sensoriales:

– Si las entradas satisfacen una precondición específica, se ejecuta el programa específico para cada módulo

• Un módulo puede ser subsumido en otro (inmediato inferior)

prioridad


Sistemas E-R• Arquitectura horizontal

– Cuando un modulo j se subsume en un modulo i;• El modulo i tiene prioridad sobre el módulo j

• Arquitectura vertical– Procesamiento perceptual: calcular el

• Vector de características, a partir de– Señales sensoriales

– Selección de acciones: calcular la• Acción, a partir del

– Vector de características

23


Sistemas E-R• Arquitectura horizontal

– Permite al diseñador considerar de forma simultánea aquellos aspectos relacionados con la percepción y la acción que sirven de base para presentar pautas de comportamiento especificas

Se benefician con la división vertical entre percepción y acción

– El vector de características lo pueden dividir en diferentes campos y procesarlos concurrentemente

• Arquitectura vertical– La relación inherente entre extracción de información y la

generación de pautas de comportamiento hace mas atractiva la optimización de la programación

La interacción entre sistemas reactivos relativamente simples en entornos complejos pueden producir comportamientos verdaderamente complejosTiene una pequeña cantidad de estados internos


Consideraciones Adicionales• Agentes E-R: no son verdaderamente inteligentes

– Teoría de controlTermostatoControladoresLas partes de un sistema operativo

• Sistemas E-R:– Sistemas T-R:

Modelos etológicos. Comportamiento animal– El resultado de una acción actúa de estimulo para la

activación de la siguiente acción de la secuenciaAgentes tropistas:– Buscan o se mueven hacia los estímulos:

» fototropismo

Documents

Agente de Estimulo y Respuesta