60
Visión de Robots Gonzalo Gismero Tutores: Gonzalo Tejera, Facundo Benavides, Serrana Casella

Visión de Robots - fing.edu.uy

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Visión de Robots - fing.edu.uy

Visión de Robots

Gonzalo Gismero

Tutores:

Gonzalo Tejera, Facundo Benavides, Serrana Casella

Page 2: Visión de Robots - fing.edu.uy

Agenda

• Objetivos del proyecto

• Motivaciones

• Características del problema

• Visión por computador

• Proceso de visión

• Clasificación de módulos de visión en fútbol de robots

• Características de la solución

• Experimentos y Resultados

• Conclusiones

Page 3: Visión de Robots - fing.edu.uy

Objetivos

• Estado del arte sobre Visión por

Computador, Reconstrucción espacial y

Visión cooperativa.

• Estudio e implementación de algoritmos de

Visión para Fútbol de Robots.

• Estudio e implementación de algoritmos de

Cooperación en Visión para Fútbol de

Robots.

Page 4: Visión de Robots - fing.edu.uy

Construcción de un equipo de fútbol de robots

que pueda competir en la liga humanoide de

RoboCup Soccer.

Generar antecedentes de visión local

cooperativa.

Motivaciones

Page 5: Visión de Robots - fing.edu.uy

Características del

problema

Page 6: Visión de Robots - fing.edu.uy

Características del

problema Visión por computador

Page 7: Visión de Robots - fing.edu.uy

Visión por computador

Busca dotar a las máquinas del sentido de la

vista.

Objetivos:

- Reconocimiento de objetos en imágenes

- Seguimiento de regiones de imágenes en

una secuencia (tracking)

- Reconstrucción de una escena en un modelo

interno (3D)

Page 8: Visión de Robots - fing.edu.uy

Usos de Visión:

Sistemas de vigilancia

Page 9: Visión de Robots - fing.edu.uy

Usos de Visión:

Vehículos no tripulados

ULTra Personal Pod

Sky warrior

Page 10: Visión de Robots - fing.edu.uy

Usos de Visión:

Fútbol de Robots

Aldebaran NAO

Sony AIBO

Page 11: Visión de Robots - fing.edu.uy

Características del

problema Proceso de visión

Page 12: Visión de Robots - fing.edu.uy

Proceso de visión

Etapas del proceso de visión:

Page 13: Visión de Robots - fing.edu.uy

Obtención de imagen

Tarea de hardware.

Imágenes convencionales, video, imágenes

termográficas, entre otras.

Considerar resolución de imágen y fps.

Page 14: Visión de Robots - fing.edu.uy

Segmentación

Identificación de regiones de interés.

Regiones definidas a partir de:

• Algoritmos de detección de contorno

• Técnicas de agrupación en blobs

Page 15: Visión de Robots - fing.edu.uy

Segmentación:

Detección de contorno

Se busca variaciones de color en la imagen.

Regiones de interés definidas a partir de

histogramas de orientación

Page 16: Visión de Robots - fing.edu.uy

Segmentación:

Detección de contorno

Histogramas de orientación permiten definir

contornos dividiendo la vista del objeto en

ventanas

Page 17: Visión de Robots - fing.edu.uy

Segmentación:

Agrupación en blobs

Agrupación de píxeles contiguos con colores

similares.

Region growing Gridding

Page 18: Visión de Robots - fing.edu.uy

Reconocimiento de objetos

Clasificación de objetos que componen la

escena y sus características.

Técnicas de clasificación:

• Clasificadores basados en redes neuronales

Creación de una red neuronal capaz de realizar

la clasificación

Page 19: Visión de Robots - fing.edu.uy

Reconocimiento de objetos

• Template matching

Comparación de uno o varios patrones de un

objeto en cuestión, contra el objeto que se

intenta clasificar.

• Clasificadores bayesianos

Utilizan la probabilidad de reconocer un objeto

X, dado que se senzó Z

Page 20: Visión de Robots - fing.edu.uy

Características del

problema Módulos de visión en fútbol de

robots

Page 21: Visión de Robots - fing.edu.uy

Módulos de Visión Global

Visión Global

Utiliza imágenes que contemplan la totalidad

de la cancha y sus elementos desde un punto

de vista estático.

Se caracterizan comúnmente por utilizar

parches de colores sobre los objetos a

identificar.

Page 22: Visión de Robots - fing.edu.uy

Módulos de Visión Global

Page 23: Visión de Robots - fing.edu.uy

Módulos de Visión Local

Visión Local

Cuentan únicamente con una cámara alojada

en los agentes robóticos dentro del campo.

Sin interacción con computadores externos.

Page 24: Visión de Robots - fing.edu.uy

Visión Global vs

Visión Local

Limitaciones de la Visión Local:

• Rango de visión

• Objetos ocultos

• Interferencia de fondo

• Cámara móvil

• Recursos compartidos

Page 25: Visión de Robots - fing.edu.uy

Visión Local Mutiagente

El enfoque de Visión Local Multiagente permite

mitigar algunas limitaciones de la visión local,

aumentando la cantidad de puntos de vista del

campo.

• Mayor rango de visión.

• Información de interés aunque un robot se

caiga.

Page 26: Visión de Robots - fing.edu.uy

Problemas a resolver

Desarrollo de un módulo de visión local

multiagente

• Comunicación con hardware de cámara

• Implementación de proceso de visión

• Comunicación entre agentes

o Autoría de mensajes

o Transparencia entre componentes

Page 27: Visión de Robots - fing.edu.uy

Características de la

solución desarrollada

Page 28: Visión de Robots - fing.edu.uy

Bioloid

Page 29: Visión de Robots - fing.edu.uy

HaViMo 1.5

HaViMo

Page 30: Visión de Robots - fing.edu.uy

HaViMo 1.5

Agrupación en blobs, a partir de Region

growing

Page 31: Visión de Robots - fing.edu.uy

Objetos reconocidos

Pelota

Robot aliado

Robot rival Landmark

Landmark

Arco aliado

Arco rival

Poste rival

Poste rival

Poste aliado

Poste aliado

Page 32: Visión de Robots - fing.edu.uy

Implementación en capas

• Dividiendo las principales funcionalidades: o Acceso a cámara

o Proceso de Visión

o Comunicación de Visión

Permite modularización, facilitando el

mantenimiento. Permite paralelizar la

implementación y reutilizar componentes.

Page 33: Visión de Robots - fing.edu.uy

Reconocimiento genérico

de robots

Clasificador bayesiano, aplicado para casos de

robots humanoides.

Page 34: Visión de Robots - fing.edu.uy

Extracción de distancia y

ángulo

A partir del uso de un modelo vectorial, se

obtienen las coordenadas polares de los

objetos, con origen el robot.

Es necesario conocer la altura de la cámara,

así como su orientación respecto al plano del

piso y al frente del robot.

Page 35: Visión de Robots - fing.edu.uy

Modelo vectorial

E = posición de

la cámara

T = pto. en

plano de la

imagen

Q = proyección

de T en el plano

del suelo

Page 36: Visión de Robots - fing.edu.uy

Nivel de Semejanza

Se asigna un nivel de semejanza a los objetos

reconocidos.

Permite que módulos superiores accedan al

estimativo de la variación entre el modelo

interno del objeto y la disposición de las

regiones de interés que lo componen.

Page 37: Visión de Robots - fing.edu.uy

Cooperación en Visión

CDPS: Cooperative distributed problem solving

Task Sharing propone la distribución de tareas

que solucionan partes del problema.

Result Sharing propone la distribución de

información entre los distintos agentes.

Page 38: Visión de Robots - fing.edu.uy

Cooperación en Visión

Result Sharing, comunicando los resultados de

visión local a los demás aliados.

Componentes superiores pueden acceder a la

visión procesada por aliados

Page 39: Visión de Robots - fing.edu.uy

Comunicación

transparente

Comunicación transparente a otros módulos, a

partir de un componente que regula el acceso

al hardware de comunicación.

Permite identificar mensajes de visión sin

alterar mensajes de otros componentes.

Page 40: Visión de Robots - fing.edu.uy

Protocolo de comunicación

La información recabada localmente es

transmitida en broadcast a los demás robots.

Broadcast, frente comunicación punto a punto

permite no desaprovechar mensajes

específicos para agentes.

Page 41: Visión de Robots - fing.edu.uy

Protocolo de comunicación

Mensaje de control RESET, seguido de

mensajes BROADCAST.

Mensaje RESET

Mensaje BROADCAST

Page 42: Visión de Robots - fing.edu.uy

Propiedades deseables

• Configurable

La solución puede ser configurada para otras

disposiciones de elementos, cancha y

hardware de cámara.

• Extensible

La implementación es fácilmente extensible.

Protocolo de comunicación contempla objetos

y parámetros extra.

Page 43: Visión de Robots - fing.edu.uy

Experimentos y

Resultados

Page 44: Visión de Robots - fing.edu.uy

Verificación del modelo

vectorial

• Cubo a 116cm, -4 grados.

• Pruebas: o 1) pan 0 grados, tilt 0 grados

o 2) pan 0 grados, tilt 6 grados

o 3) pan 0 grados, tilt -10 grados

o 4) pan 0 grados, tilt 3 grados

o 5) pan 30 grados, tilt 0 grados

o 6) pan 16 grados, tilt 0 grados

o 7) pan 25 grados, tilt 36 grados

o 8) pan 25 grados, tilt -36 grados

Page 45: Visión de Robots - fing.edu.uy

Verificación del modelo

vectorial

El cálculo del ángulo es robusto.

Resulta sensato no utilizar valores unitarios, sino el

promedio de varias iteraciones mitigando posibles

situaciones de ruido.

Page 46: Visión de Robots - fing.edu.uy

Verificación del modelo

vectorial

Identificación de la cantidad ideal de iteraciones a

agrupar.

Agrupar únicamente cuando es de interés conocer la

distancia con mayor exactitud.

Promedio de error según agrupaciones para las distintas pruebas

Page 47: Visión de Robots - fing.edu.uy

Identificación de objetos

estáticos

• 1 rival a 126 cm, 7.4 grados izquierda

• 1 pelota a 89 cm, 18.3 grados derecha

• 1 landmark a 134.5 cm, 11 grados izquierda

Page 48: Visión de Robots - fing.edu.uy

Identificación de objetos

estáticos

• 1 arco a 224 cm, 5 grados izquierda

• 1 poste a 92 cm, 0 grados

Page 49: Visión de Robots - fing.edu.uy

Pelota en movimiento

Prueba realizada con el agente estático,

observando una pelota durante su trayectoria.

Distancia a pelota Ángulo a pelota

Page 50: Visión de Robots - fing.edu.uy

Umbral de reconocimiento

• Pelota: cota máxima 3 metros

• Landmark: cota máxima 2.5 metros

• Robot: cota máxima 2.5 metros

• Arco: o cota máxima 4.3 metros

o cota mínima 1.8 arco completo, 1.2 travesaño y

poste

• Poste: cota máxima 2.5 metros

Page 51: Visión de Robots - fing.edu.uy

Conclusiones

Page 52: Visión de Robots - fing.edu.uy

Conclusiones

• Visión local en desventaja respecto a Visión

global.

Limitaciones de rango de visión, mayor ruido

de fondo, mayor consumo de recursos.

Page 53: Visión de Robots - fing.edu.uy

Conclusiones

• Segmentación por hardware de HaViMo

condiciona al módulo de visión.

Alivina carga algorítmica.

Baja calidad de representación de objetos.

No se tiene acceso a la imagen.

Page 54: Visión de Robots - fing.edu.uy

Conclusiones

• Modelo vectorial preciso, si las entradas son

correctas

Cálculo de ángulo robusto. Error de distancia y

ángulo aumentan a mayor distancia.

Aumenta el error en la caminata, si se

considera constante la orientación de la

cámara.

Page 55: Visión de Robots - fing.edu.uy

Conclusiones

• Nivel de identificación mayor a 70% para la

mayoría de los objetos.

Pelota y poste con deteccíón mayor a 80%.

Deteccion de arco menor a 40%

Page 56: Visión de Robots - fing.edu.uy

Conclusiones

• Solución no depende de la forma del robot

Únicamente requiere:

- Hardware de cámara compatible

- Hardware de comunicación compatible

- Poder obtener orientación y altura de cámara

Page 57: Visión de Robots - fing.edu.uy

Conclusiones

• Objetivos del proyecto

Se cumplieron los objetivos del proyecto.

Bajo nivel de cooperación.

Page 58: Visión de Robots - fing.edu.uy

Trabajo a futuro

• Mejora de hardware de cámara

- HaViMo 2.0 realiza agrupación en blobs,

definidiendo regiones por region growing y por

gridding.

• Mejorar identificación de arco

- Clasificador bayesiano para identificar el arco

Page 59: Visión de Robots - fing.edu.uy

Trabajo a futuro

• Desarrollo de componente de Localización:

- Localización por Monte Carlo.

• Aumentar nivel de cooperación:

- Interpolación de objetos no identificados a

partir de mensajes recibidos.

Page 60: Visión de Robots - fing.edu.uy

¿Preguntas?