DanceNet: Entorno Colaborativo para la Enseñanza de Coreografías empleando un Kinect

DanceNet: Entorno Colaborativo para la Enseñanzade Coreografías empleando un Kinect

Andrés MayoEscuela de Informática

Universidad Católica Andrés BelloCaracas, Venezuela

[email protected]

Esmitt RamírezCentro de Computación Gráfica

Universidad Central de VenezuelaCaracas, Venezuela

[email protected]

Resumen—El baile es una actividad artística donde el cuerpose expresa a través de movimientos rítmicos. Es posible escribirun baile o danza mediante una composición, en un procesollamado coreografía. Durante los últimos años la forma pre-dominante para aprender una coreografía ha sido asistiendo aclases en alguna academia de baile, centro cultural o gimnasiocon instructores profesionales. No obstante, estas formas estánasociadas a factores sociales como disponibilidad del aprendizy horario de las clases, vergüenza o temor del aprendiz anteotras personas, inversión económica, entre otras. Así, se proponeuna solución basada en la creación de un entorno colaborativovirtual llamado DanceNet, donde las personas puedan aprender yenseñar coreografías mediante el uso del Kinect como dispositivode captura de movimientos. La solución se basa en la enseñanzamediante repetición de diversos pasos, y consta de una apli-cación para grabar y comparar posiciones de una coreografía.Además, contiene un sitio web para compartir coreografías yconectar a usuarios de distintas partes del mundo interesados enbailar. Nuestras pruebas demostraron la efectividad de DanceNetpara comparar movimientos en una coreografía entre diferentesusuarios, así como integrar a personas dentro de un entornocolaborativo con interés en el baile.

Palabras Clave - Kinect; coreografía; entorno colaborativo;

procesamiento de imágenes; baile

I. INTRODUCCIÓN

El baile se considera como una actividad totalmente crea-tiva y libre, donde es posible ejecutar movimientos diferentespara expresar los ritmos y tonalidades de una música o canción.Para aprender a bailar, se cuentan con diferentes fuentes deaprendizaje tales como clases de baile, coreógrafos, entre otros.Por otra parte, la mayoría de las clases solo cubren un estilode baile en particular, el material musical es seleccionado porel instructor, los alumnos se limitan a los pasos dados por elinstructor, entre otros factores asociados a dicha experiencia.

Específicamente, para aprender una coreografía se debedominar las posturas y pasos esenciales de dicha coreografía.Inicialmente, esto se obtiene a través de la imitación, es decir,reproduciendo cada uno de estos movimientos basados enuna demostración hasta completar toda la coreografía que sedesea aprender. Esto puede resultar un proceso complejo en suejecución, tal como se muestra en la Fig. 1 donde se observa undibujo planimétrico de una coreografía hecha por la reconocidacoreógrafa Trisha Brown.

En la mayoría de los casos, el proceso de aprenderuna coreografía requiere de una inversión de tiempo, dinero,

Figura 1. Ejemplo de dibujo planimétrico de una coreografía hechomanualmente. Tomado de www.trishabrowncompany.org

traslado al lugar de aprendizaje, enfrentar la timidez anteotras personas, entre otras. Por ello, han surgido alternativastales como bailoterapias, zumba, programas de tv, videos enInternet, y videojuegos. Estas alternativas siguen las mismasdinámicas de las clases aunque algunas no están enfocadas alaprendizaje sin posibilidad de recibir algún tipo de retroali-mentación de su ejecución.

Actualmente muchas de estas fuentes no hacen uso delas tecnologías actuales y de su expansión a nivel mundialpara apoyar a las personas en el aprendizaje del baile ocoreografías. Por ello, proponemos una alternativa novedosaque cubre muchas de las desventajas antes mencionadas einvolucra tecnologías actuales de alcance masivo.

En este trabajo se propone DanceNet: un entorno colabo-rativo virtual donde las personas puedan aprender y enseñarcoreografías mediante el uso de un dispositivo de captura demovimientos de bajo costo. Este entorno está integrado poruna aplicación donde se utiliza un Microsoft Kinect R© comoun dispositivo de captura de movimientos y un sitio web quefunciona como red social de interacción entre los usuarios.

Este artículo se organiza de la siguiente forma: la secciónII muestra una breve introducción del baile en la era modernaasí como lo trabajos asociados en esta dirección que emplean

Sesión de Investigación: Artículos Largos

119

dispositivos de bajo costo para el aprendizaje de un bailey coreografía. La descripción completa de nuestra propuestallamada DanceNet, se detalla en la sección III. La secciónVI muestra la experimentación realizada para corroborar laeficacia de nuestra propuesta. Finalmente, en la sección VIIse presentan las conclusiones y trabajos futuros sugeridos denuestro trabajo.

II. EL BAILE EN LA ERA MODERNA

Cohen y Matheson [1] definen la danza como un arte, ylo explican desde la época del ballet de la corte hasta lo quedenominan los límites de la ruptura en los años 90. Del mismomodo, aclaran que no se conoce a ciencia cierta desde cuandoel hombre comenzó a expresarse con su cuerpo utilizandomovimientos, pero asegura que su primer registro fue en losfestivales de primavera hechos por Dionisio.

De este modo, se puede definir a la danza o el baile comouna forma de arte que emplea los movimientos del cuerpo(usualmente con música) como una forma de expresión, deinteracción social, con fines de entretenimiento, artísticos oreligiosos. Dicho movimiento se realiza en un espacio (e.g.escenario) con una parte o todo el cuerpo del ejecutante,bajo cierto compás o ritmo. El baile es considerado unaforma de comunicación por su uso de un lenguaje no verbalentre los seres humanos, donde el bailarín o bailarina expresasentimientos y emociones a través de sus movimientos ygestos.

Existen diversos estilos de baile, desde el ballet, hasta elbreakdance y pasando por el krumping. Estos estilos mayor-mente dependen de factores sociales, culturales, estéticos, artís-ticos y morales, así como también del rango de movimientofuncional hasta las técnicas virtuosas. Independientemente delestilo, en cada baile se requiere tener flexibilidad y movimientodel cuerpo, así como un cierto grado de condición física.

Dentro del baile existe el concepto de coreografía, que esel arte de diseñar una secuencia de movimientos y formascon el cuerpo o con parte de éste [2]. La persona que creacoreografía, se le conoce como coreógrafo. Una coreografíase puede realizar con un número variado de bailarines, que vadesde un ejecutante, en pareja o grupos.

La danza se compone de diversos elementos básicos quese interrelacionan, logrando transmitir emociones al públicoy para el mismo bailarín. Estos elementos son: movimiento,ritmo, expresión corporal, espacio y el estilo [3]. El usopredominante de uno u otro elemento no es siempre parejo. Enciertos bailes predomina el ritmo, en otros el uso del espacio,en otros el estilo, etc. De acuerdo al tipo y género de baile,se acentuará el uso de uno u otro elemento. Dentro del bailese van creando nuevos géneros y variantes al crear nuevascoreografías y de esta forma se van diversificando.

Los elementos (movimientos) y características específicasde una danza, se utilizan para elaborar una coreografía ya partir de ellos inventar nuevos movimientos para crearnuevas coreografías. La coreografía también es empleada ensituaciones especiales, como en la cinematografía, el teatro,musicales, conciertos, performances, eventos y presentacionesartísticas.

A. El uso de la tecnología en la danza

Según Ryden [4], el Kinect como dispositivo de adquisi-ción de imágenes, ha ampliado gran parte de las investiga-ciones a nivel mundial en diversos centros de investigacióndebido a la creación de nuevos algoritmos de interacciónháptica. Dichos algoritmos son empleados en diversas áreasdonde se emplea la tecnología como parte de las actividadesdiarias, áreas como Medicina, Psicología, Ingeniería, Artes,entre otras.

Un algoritmo de reconocimiento de gestos para danzasclásicas de la India empleando un Kinect es presentado porSaha et al. [5], donde pueden extraer las emociones expre-sadas basados en la postura dentro del baile hecho por losbailarines. De hecho, para bailes de la India existen diversasinvestigaciones que buscan estudiar los movimientos de susdanzas generalmente para e-learning [6], [7], [8]. Otra casorelevante es el reconocimiento de gestos en la danza tradicionalde la etnia Kazajo ubicada en la zona norte de Asia central[9], donde se presentan movimientos muy particulares querepresentan estados de ánimo.

Recientemente, Ozcimder [10] presenta un trabajo dondeexpone la comunicación empleando el movimiento del cuerpoen términos de control cooperativo. Dicho estudio, se basa enextender el trabajo previo de Baillieul y Ozcimder [11] basadoen la enseñanza de la salsa a través de un instructor/guía aun grupo de personas. Así, se busca extender un análisis alas interacciones de un líder en el baile de salsa siguiendouna serie de reglas para las transiciones de sus movimientos.Dichas reglas son planteadas como una topología de la teoríade nudos (knot theory) [12].

En el caso de la danza clásica o ballet donde los movimien-tos requieren de un control preciso del cuerpo, existen inves-tigaciones donde se estudia las posturas del cuerpo humano[6], [13], se crean estructuras para ser replicadas en robotshumanoides [14], y se emplea visión estéreo para capturaradecuadamente posturas propias del ballet [15].

Del mismo modo, además de realizar la captura y re-conocimiento de ciertas posturas o gestos, se añaden otrastecnologías como la realidad virtual. En el 2010, Chang et al.[16] proponen un sistema de entrenamiento basado en la cap-tura de movimientos y realidad virtual en el esquema profesor-alumnos. En dicha investigación, los alumnos deben seguir aun profesor virtual que al final ofrece una retroalimentacióna cada estudiante por los movimientos realizados (capturadospor cámaras web). Basado en esta idea, en el 2012 Yang etal. [17] presentaron un generador automático de lecciones dedanza.

Como se mencionó anteriormente, la captura de los gestosy posturas de baile puede ser capturado por un dispositivo deadquisición de imágenes, por ejemplo un Kinect. En el 2011,el robot Asimo creado por Honda [18] pudo reproducir entiempo real los movimientos de una persona capturada con unKinect [19]. Esta tarea fue empleada para demostrar su uso enla danza y en ejercicios más precisos como teleoperaciones através de cinemática inversa. De hecho, el estudio de la danzaen robots en un amplio campo de estudio en la robótica [20].

Alexiadis et al. [21] presentan un sistema automático deevaluación de la calidad de un bailarín empleando un Kinect.

Tercera Conferencia Nacional de Computación, Informática y Sistemas / CoNCISa 2015 / ISBN: 978-980-7683-01-2

Universidad de Carabobo, Valencia, Venezuela - 28 al 30 de octubre de 2015

120

Posteriormente en el 2012, Essid et al. [22] presentan unamejora a dicho trabajo presentando una versión online sobreel mismo ambiente virtual transmitido a diferentes alumnosconectados vía web a un profesor de baile. Igualmente, exis-ten otras investigaciones recientes que buscan evaluar dichosmovimientos que fueron capturados por un Kinect [23], [24],[25].

Desde el punto de vista del entretenimiento la empresa Mi-crosoft, empleando su consola de juego Xbox, tiene disponibleuna gran cantidad de videojuegos donde su punto central es elbaile capturado con el Kinect [26]. Entre los más destacadosse encuentran Dance Central (con múltiples versiones), JustDance (con múltiples versiones), Michael Jackson: The Experi-ence, The Black Eyed Peas Experience, Dance Paradise, DanceMaster, entre muchos otros. En la Fig. 2 se puede observar uninstante del juego Dance Central [27] donde se observan lospasos que debe seguir un jugador para obtener puntos dentrodel juego.

Figura 2. Un instante del juego Dance Central creado por Harmonix MusicSystem

En el baile, la utilización de dispositivos de captura comoel Kinect, es un amplio campo de estudio debido a su im-portancia en el aprendizaje (virtual o presencial) que facilitanla retroalimentación entre un instructor o profesor, y alumnoso bailarines. A continuación, explicamos en detalle nuestrapropuesta DanceNet como un cúmulo de funciones para elaprendizaje de coreografías (gestos y posturas) empleando unKinect.

III. DANCENET

Empleando el Kinect como dispositivo de captura, undispositivo de despliegue/salida (e.g. una tv, un monitor) yun computador convencional, es posible ejecutar la propuestaaquí planteada. DanceNet es el nombre de nuestra solución queconsiste en un entorno virtual para el aprendizaje y enseñanzade coreografías con dispositivos de bajo costo. La Fig. 3muestra una fotografía de nuestra propuesta en acción.

Nuestra solución contiene un método de aprendizaje yenseñanza de coreografías donde se especificarán las partesdel cuerpo humano que serán capturadas con el uso del Kinect.Así, se tendrá una interacción entre el usuario aprendiz, soft-ware y usuario coreógrafo. También se detalla una evaluación

Figura 3. Un instante de DanceNet, jugado por Natasha Villamizar de 22años de edad

de las ejecuciones, es decir, el sistema de puntuaciones yescalas así como los márgenes de errores que maneja elsoftware.

Desde un punto de vista general, DanceNet está formadopor el sistema de captura y procesamiento de los movimientos,y de un portal web para la difusión/socialización de lascoreografías creadas.

El sistema de captura y procesamiento de movimientosse encarga de la creación, reproducción y comparación decoreografías. Es aquí donde se requiere el Kinect como dispo-sitivo de captura de movimientos. En este sistema los usuariospueden tanto grabar una coreografía y definir las posturaso pasos para aprenderla, como ejecutarla y comparar dichaejecución con respecto a la original, además de practicar lasposturas o pasos definidos por un coreógrafo.

El portal se encarga de la publicación y distribución delas coreografías, así como ser el punto de reunión para losdistintos usuarios que quieran aprender, enseñar coreografíaso simplemente bailar. En este los usuarios pueden subir,descargar y calificar coreografías, participar en comunidadesy realizar comentarios.

De forma general, es posible esquematizar nuestra solu-ción como se muestra en la Fig. 4. Se puede observar queexiste una aplicación que controla al dispositivo de captura demovimiento (i.e. Kinect) para obtener los pasos y movimientosde una coreografía. Por otro lado, está un sitio web compuestopor un servidor web y almacenamiento permanente (i.e. basede datos) para el manejo y control de comunidades de usuarios.

A continuación se explica de forma detallada las funcio-nalidades de DanceNet. Para ello, se separa de acuerdo a suárea de acción en subsistema de movimientos y subsistema dedistribución.

IV. SUBSISTEMA DE MOVIMIENTOS

En el subsistema de movimientos es posible definir dostareas principales:


121

Figura 4. Esquema general de los componentes principales de nuestrapropuesta DanceNet

1) Compartir o enseñar una coreografía.2) Aprender o bailar una coreografía.

Desde el punto de vista técnico denominamos a la personaque utilizará DanceNet como usuario, independientemente sies coreográfo o no. Entonces, en el caso 1) el usuario utilizala aplicación para poder grabarse bailando alguna cancióno pieza musical, y después puede colocar las posturas opasos necesarios para aprender la coreografía. Por último,debe guardar la coreografía como un archivo en disco. Dichoarchivo, puede alojarse en el portal web donde también puedecompartirla a través de las comunidades.

En el caso 2), el usuario debe primero buscar en el portalweb una coreografía que desee bailar o aprender y descargarel archivo correspondiente. Este archivo debe ser leído porla aplicación lo que permite que el usuario pueda practicarlas posturas o pasos definidos antes de ejecutar la coreografíay conocer su calificación. Finalmente podrá compartir suexperiencia en las comunidades.

Para ello, se tiene una aplicación que consta de un mó-dulo de detección y registro de movimientos, un módulode comparación y análisis de movimientos, y un módulo deaprendizaje y enseñanza de coreografías.

El módulo de detección y registro de movimientos permitedetectar las partes del cuerpo humano, las cuales forman distin-tas posiciones a lo largo del tiempo mientras se reproduzca unaudio seleccionado por el usuario. Estas posiciones detectadasson reproducidas en un modelo humano que es observado porel usuario mientras ejecuta la coreografía. El registro de lasposiciones produce la coreografía digitalmente.

El módulo de comparación y análisis de movimientosse encarga de comparar en tiempo real la ejecución de unacoreografía realizada por un usuario en base a la realizada porel usuario autor de la coreografía. El módulo permite indicara través del modelo humano cuando una parte del cuerpo y/oposición en el espacio coincide o no coincide según se defina.

Una vez grabada la coreografía, el módulo de aprendizajey enseñanza permite al usuario autor de la coreografía indicaraquellos elementos como posturas, pasos y comentarios nece-sarios para su aprendizaje. Para indicar una postura, se selec-ciona en una coreografía el instante de tiempo que representela postura. Para indicar un paso se debe seleccionar el intervalode tiempo en la coreografía que represente el paso. Una core-ografía podrá ser exportada por el usuario autor e importadapor otros usuarios en donde podrán seleccionar y aprenderestos elementos previamente definidos individualmente.

Adicionalmente, es posible ejecutar una coreografía paraposteriormente ser evaluada, es decir, realizar un análisisgeneral indicando a través de una escala qué tanta semejanzatuvo la ejecución con respecto a la original, así como cuálesposturas y pasos fueron no fueron dominados.

A. Módulo de Detección y Registro

La primera tarea a realizar es separar la imagen del usuariocon respecto al fondo donde se encuentra. DanceNet obtienesolamente la imagen que representa la silueta de la personaque se encuentre frente a Kinect, eliminando cualquier otrodetalle de fondo. La silueta se dibuja en color verde (solo paracolocar un color uniforme que haga contraste). El fondo sedibuja en color negro, es decir, el valor de RGB (0,0,0).

La Fig. 5 muestra un ejemplo de una imagen capturada(parte (a)) y su procesamiento para extraer solo la silueta delusuario, marcado en color verde con fondo en color blanco(parte (b) y el fondo es blanco solo para fines demostrativosen este trabajo).

Para que la representación sea lo más fiel posible seregistran las posiciones de todos los puntos soportados porKinect (i.e. 25 puntos) . Sin embargo, no es obligatorio que los25 puntos sean detectados todo el tiempo durante la grabación,es decir, para una posición específica se registran solo lospuntos que son detectados en el instante de tiempo en queocurre dicha posición. En caso de no ser detectados, sonignorados, tomando un % mínimo de captura.

Una vez capturada las posiciones, se requiere comparar lasposiciones obtenidas con una previamente almacenada para suanálisis. A continuación se explica dicho módulo.

B. Módulo de Comparación y Análisis

En la comparación entre ejecuciones de una coreografía ennecesario conocer:

1) Si una parte del cuerpo coincide.2) El grado de precisión de la posición realizada.3) El grado de precisión general de la ejecución reali-

zada.

Para saber si una parte del cuerpo coincide, se compara laposición de la parte capturada en los ejes cartesianos X , Y yZ con respecto a la posición original. Así, se define un rangoen metros que establece los límites de los valores donde sepuede encontrar la parte capturada para cada eje. En la tablaI se presenta un ejemplo para la posición de la mano derecha.

Según estos valores, en cualquier otra ejecución si elusuario coloca su mano derecha entre -0.5 m y 1.5 m en el



122

(a) Ejemplo de imagen capturada

(b) Extracción realizada por DanceNet

Figura 5. Proceso inicial de adquisición de una imagen con el Kinect y suprocesamiento en DanceNet

eje X , la parte coincide con la posición original en el eje X .De esta forma, una parte detectada se considera que coincidesi su posición para cada eje se encuentra dentro del rangoestablecido, en caso contrario, se considera que no coincide.

TABLA I. VALORES EMPLEADOS EN LA COMPARACIÓN DE UNA PARTE

DEL CUERPO CAPTURADA

Parte del cuerpo Mano derecha

Posición en X 0.5 m

Rango 1 m

Valores admitidos en X [-0.5, 1.5] m

Desde el punto de vista gráfico, la Fig. 6 muestra unejemplo para un punto detectado por Kinect en la coreografíagrabada. El rango definido se muestra a través del cuadroverde, por lo que esa misma parte en cualquier otra ejecucióndeberá colocarse dentro de ese cuadro para considerarse unacierto.

El grado de precisión de la posición realizada se obtieneaplicando la comparación anterior a todas las partes que fuerondetectadas por la ejecución original y almacenando el númerode partes que coincidieron. Luego se calcula un porcentajede precisión cuyo resultado puede ir desde 0% si ninguna

Figura 6. Rango para comparar partes en ejes X y Y

parte coincidió o 100% si todas las partes coincidieron. Esteporcentaje se obtiene a través de la ecuación 1.

Pr(p) =Co

Gr× 100 (1)

donde Pr representa al valor de la precisión en la posiciónp, Co indica el número de coincidencias, y Gr el númerode posiciones grabadas. Dependiendo del resultado obtenido,se califica la posición de la persona que esté ejecutando lacoreografía en un rango de 0 a 2 donde: 0 marcado en colorrojo indica el estado Malo; 1 marcado de color naranja indicael estado Regular y; 2 marcado en color verde indica el estadoBueno.

Para cada valor, la silueta de la persona cambiará según elcolor representado. En la Fig. 7 se puede observar el rangodefinido aplicado a una posición. Nótese que a medida que elmovimiento se aleje de la esperada el resultado será marcadoen color rojo.

Figura 7. Muestra visual del rango aplicado a una posición

Estos valores son registrados por el sistema para cada unade las posiciones. Con dichos valores se calcula el porcentajede precisión de la ejecución e con respecto a la coreografía


123

Figura 8. Imagen capturada donde se muestra un ejemplo de la lista de posturas (positions) y pasos (moves)

grabada, como se muestra en la ecuación 2.

Pr(e) =

∑n

i=1Ca

2n× 100 (2)

donde n representa el número total de posiciones, y Ca lacalificación obtenida en el rango [0, 2]. Así, mientras sea mayorel porcentaje obtenido, mayor es el dominio de la coreografíaque tenga el usuario.

Finalmente, de acuerdo a nuestras pruebas, definimos laasociación precisión-calificación de Malo a un rango de pre-cisión de [0, 49]%, de Regular a un rango de precisión de[50, 74]%, y de Bueno a un rango de precisión de [75, 100]%.

C. Módulo de Aprendizaje y Enseñanza

La idea principal del módulo de aprendizaje y enseñanza espermitir a DanceNet añadir posturas, pasos y comentarios parael aprendizaje de la coreografía. Esta funcionalidad ocurre unavez que el usuario ha finalizado la grabación de la coreografíay se ha generado tanto el video como las posiciones capturadas.Cabe destacar que las posiciones capturadas consisten en unaserie de valores (x, y) para una distancia depth del usuariofrente al Kinect.

Para ello, se construyó un formulario que permite añadir,modificar o eliminar posturas y movimientos de un listado.Una postura se define como una posición del cuerpo en uninstante de tiempo dado dentro de una coreografía. Por suparte, un movimiento consiste en una secuencia de posturasen un período de tiempo menor a la duración total de lacoreografía.

En el formulario el usuario debe escribir el nombre, tiempoy comentarios relacionados a la postura o pasos. Dicho for-mulario emplea un reproductor de video para que el usuario

pueda observar la ejecución que realizó. Así, se puede ubicarla posición del video en el tiempo definido del elementoseleccionado de la lista, además de añadir o editar un elemento,y obtener los tiempos a través de la posición del video (verFig. 8). Para esto, fue necesaria la construcción de estructurasde datos eficientes para el almacenamiento y obtención de lasposturas y pasos.

Gracias al uso de las estructuras de datos (basados encolas de prioridad), es posible comprimir el video capturado,los comentarios, las posturas, y los pasos junto con todas lasposiciones en un formato propio (archivo de extensión .cho).Dicho formato va a permitir exportar/importar toda una sesióncoreográfica para su posterior comparación.

En la comparación, se consideran nuevamente los métodosexplicados con la ecuación 2 y el indicador visual de color paracada rango. La Fig. 9 muestra un ejemplo de ejecución dondedel lado derecho (color verde) es la coreografía almacenada enformato .cho en DanceNet. Del lado izquierdo (color naranja),se muestra al usuario repitiendo los pasos. Para dicho ejemplo,el usuario obtuvo un 53.51% de precisión para una canción de1:46 m de duración.

Cabe destacar que DanceNet es una herramienta paraaprendizaje de ciertas coreografías hechas previamente por unusuario. Al mismo tiempo, al solo permitir el uso de siluetas sepreserva la identidad tanto del coreógrafo (quien grabó) y delbailarín (quién la ejecuta posteriormente). Ahora, debe existiralgún mecanismo de intercambio, distribución, y generaciónde coreografías para poder tener una amplia variedad para laenseñanza y aprendizaje. Por ello, nuestra propuesta incluyeun sistema de distribución constituido por un sitio web.



124

Figura 9. Un ejemplo de la ejecución realizada por un usuario (lado derecho) con una coreografía previa (lado izquierdo)

V. SUBSISTEMA DE DISTRIBUCIÓN

El subsistema de distribución pretende simular un entornocolaborativo para las coreografías en una comunidad.

A. Entorno Colaborativo

El término entorno colaborativo, generalmente hace re-ferencia a una red virtual que facilita la colaboración einteracción entre los miembros de una comunidad online. Eneste sentido, se está potenciando al máximo la característicacomunicativa de la informática; su capacidad para desarrollarde forma espontánea todo un sistema de información y proyec-tos, núcleos socioculturales, servicios informativos, etc. Estoresulta posible a través de la web 2.0, un término que en líneasgenerales se refiere a un conjunto de plataformas que facilitany favorecen esa interacción online.

Estos entornos colaborativos abarcan desde los editoresde documentos compartidos como Google Docs, sitios webabiertos y editables como los wikis, foros y blogs comoMySpace o Blogger, o incluso las notorias redes sociales comoTwitter o Facebook, que incluyen perfiles y herramientas deconexión para aportan un enfoque colaborativo dentro de lacomunidad.

Un entorno colaborativo permite a un grupo de personasacceder a un determinado espacio virtual donde pueden com-partir cualquier tipo de documentos, pudiendo cada uno delos miembros del grupo de trabajo revisar los documentos,versionarlos, calificarlos o modificarlos, quedando registrada lafecha de la última modificación y pudiendo acceder también alhistorial de las diferentes versiones realizadas. Además, estosentornos disponen de herramientas de comunicación en tiemporeal (chat o conferencia) como en diferido (correo electrónico)[28].

B. Portal Web

En DanceNet se cuenta con un portal web conformado porun módulo de carga y descarga de coreografías, un módulode perfiles, un módulo de comunidades y un módulo deestadísticas.

El módulo de carga y descarga permite que una personapueda ver, buscar, subir coreografías exportadas y descargarcoreografías publicadas para ser usadas en la aplicación. Elmódulo de perfiles permite a los usuarios tener su propioperfil con información básica sobre el usuario. Un perfilpuede ser calificado por otros usuarios de forma positiva onegativa, también puede ser indicado como favorito. En elperfil se puede observar aquellas coreografías que el usuario seencuentra aprendiendo, coreografías dominadas, coreografíasfavoritas, usuarios favoritos (bailarines/coreógrafos) y core-ografías creadas.

El módulo de comunidades permite crear espacios dondedistintos usuarios podrán discutir acerca de una temáticadefinida. Un usuario podrá crear una comunidad, unirse yescribir comentarios en ella. Igualmente, en el perfil de cadausuario, se podrá observar aquellas comunidades a las quepertenece. Las coreografías contarán con un híbrido entre unperfil y una comunidad, es decir, su propia página dondese podrá observar la información básica de la coreografía,calificarla, así como realizar comentarios. En esta páginalos usuarios podrán indicar si se encuentran aprendiendo lacoreografía o si ya la dominan.

Por último, el módulo de estadística que consiste en dis-tintas clasificaciones (ranking) que podrán ser observados porlos usuarios como comunidades más activas, coreografías másdescargadas, coreografías con mayor cantidad de calificacionespositivas y coreógrafos más activos.


125

C. Módulo de carga y descarga

Un usuario puede exportar (descargar) una coreografíacreada desde la PC conectada al Kinect en formato .cho.Posteriormente, es posible importar (cargar) dicho archivo alsitio web. En el sitio web, una vez importada la imagen elservidor extrae el video del archivo y toma el primer cuadrode éste para usarlo como imagen referencial (thumbnail). Elproceso completo para importar una coreografía se muestra enla Fig. 10.

Figura 10. Esquema del proceso para importar una coreografía

Se puede observar en la Fig. 10, donde desde el lado cliente(color verde) se ingresan las características de la coreografía yse selecciona el archivo de coreografía (formato .cho). Luego,se envía la petición que la recibe el lado servidor (colorrojo). En el servidor, el archivo .cho extrae/descomprime elvideo para generar una vista previa o imagen referencial. Paramanejar una estructura interna, se renombran la coreografíarecibida y se almacena en una base de datos.

D. Módulo de perfiles

La información básica de los usuarios se encuentra en elmódulo de perfiles. Cada usuario en el sitio web es tratadotanto bailarín como coreógrafo, de esta forma es posible cono-cer las coreografías que se encuentra aprendiendo, aquellasque ya ha aprendido, sus coreografías favoritas así como lascoreografías que ha realizado. Esta información también esaccesible desde la página de una coreografía, la cual funcionacomo el perfil de una coreografía. Se puede conocer losusuarios que se encuentran aprendiendo la coreografía comolos usuarios que la han aprendido. El perfil de la coreografíatambién muestra la información básica de la coreografía,permite ver el video, descargar el archivo .cho, realizar co-mentarios y calificar la coreografía.

La Fig. 11 muestra un ejemplo de perfil de una coreografíasubida al portal web. En esta se puede observar el video,la información básica, calificar la coreografía y descargar elarchivo .cho.

E. Módulo de comunidades

Las comunidades son espacios creativos para la discusiónde una temática definida. Así como los usuarios son autoresde las coreografías, también lo serán de las comunidades.Un usuario puede crear una comunidad para discutir sobreun tema a través de un formulario en el que deberá ingresarel nombre de la comunidad, una descripción y una imagende referencia. Otros usuarios podrán unirse a la comunidadpara poder realizar comentarios y conocer a otros usuarios quetengan intereses en común.

Figura 11. Ejemplo de un perfil de usuario que permite ser calificado porotros usuario del portal

En la Fig. 12 se muestra un ejemplo de una comunidad.En este caso, el nombre es Michael Jackson, donde se puedeobservar quién lo creo, qué miembros lo forman y los espaciosde discusión (comentarios) dentro del portal.

Figura 12. Ejemplo de una comunidad, llamada Michael Jackson, dentro delportal de DanceNet

F. Módulo de estadísticas

Las estadísticas consisten en diferentes listados en los quelos usuarios consumidores podrán conocer lo mejor del portal



126

web como aquellos usuarios creadores podrán esforzarse porobtener mejores puestos dentro de estos listados. Coreografíasmás descargadas, coreografías mejor calificadas, coreógrafosmás activos y comunidades más activas son los listados quefomentarán la participación dentro del usuario web.

Una vez estudiados todos los aspectos de nuestra propuesta,se realizaron unas pruebas para demostrar la efectividad deDanceNet como un entorno colaborativo interactivo y virtualpara el aprendizaje y enseñanza de coreografías mediante eluso de un Kinect.

VI. EXPERIMENTACIÓN

El subsistema de movimientos de DanceNet fue desar-rollado bajo el sistema operativo Windows 8.1 empleandoel IDE Visual Studio 2013. El lenguaje base fue C# coninterfaces gráficas WPF (Windows Presentation Foundation),empleando el SDK de Kinect en su versión 2.0. Por otro lado,la generación de los videos fue con la biblioteca AForge.NET(versión 2.2.5) y su procesamiento con FFmpeg (versión 2.6.3).

Por su lado, el subsistema de distribución requirió comolenguajes base a PHP, HTML, CCS y JavaScript. Del mismomodo, se emplearon las bibliotecas/frameworks Laravel, Boot-strap, y JQuery. Todo sobre un servidor Apache (versión2.4.12) y un manejador de base de datos MySQL en su versión5.6.24.

Como parte de los experimentos realizados, se definióciertas propiedades específicas del video las cuales se muestranen la tabla II.

TABLA II. VALORES POR DEFECTO DEFINIDOS PARA EL VIDEO DE UNA

COREOGRAFÍA

Característica Valor

Ancho de la imagen 512 píxelesAlto de la imagen 424 píxelesCuadros por segundo 30Códec MPEG4 (.mp4)Tasa de bits 1.000.000 bits

Una vez definido los parámetros iniciales, se realizaron 3pruebas distintas: de precisión, de aprendizaje y de enseñanza.Por último, se realizó una encuesta para conocer la opinión deusuarios comunes ante DanceNet. A continuación cada una deéstas.

A. Pruebas de precisión

Estas pruebas consisten en evaluar la precisión con laque se comparan los movimientos en distintos niveles. Paraello se necesitaron 2 bailarines. El primer bailarín se encargóde grabar una coreografía de 2 minutos, mientras que elsegundo se encarga de bailarla 5 veces indicadas por los nivelesde precisión de la aplicación. La coreografía grabada eraconocida por ambos bailarines, sin embargo, no se revelaronlos resultados hasta terminar la última ejecución.

Se ajustó la comparación de posiciones de acuerdo a losniveles de precisión presentados en la tabla III.

Luego de precisar los parámetros para las pruebas conlos bailarines, se capturaron los datos resultados de las eje-cuciones. En la tabla IV se muestran dichos valores.

TABLA III. AJUSTES DE PRECISIÓN DE DANCENET

Nivel de precisión Rango Bueno Medio Alto

Muy baja 0.30 m 0% - 29% 30% - 49% 50% - 100%Baja 0.25 m 0% - 39% 40% - 59% 60% - 100%

Regular 0.20 m 0% - 49% 50% - 69% 70% - 100%Alta 0.15 m 0% - 59% 60% - 79% 80% - 100%

Muy alta 0.10 m 0% - 69% 70% - 89% 90% - 100%

Se pudo observar que a medida que aumenta el nivelel bailarín (desde la ejecución #1 hasta la ejecución #5)debía ser mucho más preciso (segunda columna) para alcanzarun porcentaje de precisión alto (última columna). Con estosresultados se comprobó que la comparación de movimientosy las calificaciones obtenidas son válidas.

TABLA IV. EJECUCIONES DE PRUEBAS DE PRECISIÓN

Nro. de Ejecución Nivel de precisión % de precisión de la coreografía

1 Muy baja 94.13%2 Baja 76.55%3 Regular 59.93%4 Alta 43.48%5 Muy alta 20.75%

B. Pruebas de aprendizaje

Estas pruebas permitieron medir el aprendizaje de losbailarines a través de diferentes ejecuciones de una coreografíay su revisión. Se utilizó un grupo de 6 personas: 1 coreógrafoque grabará una coreografía de 2 minutos y 5 personas deberánrepetirla 4 veces intentando lograr el mejor porcentaje deprecisión. Al final de cada ejecución los bailarines pudieronver una repetición en video de ejecución para que pudieranrevisarla.

Los resultados de las ejecuciones realizadas se presentanen la tabla V.

TABLA V. EJECUCIONES DE PRUEBAS DE APRENDIZAJE

Bailarines Ejecución 1 Ejecución 2 Ejecución 3 Ejecución 4

A 22.62% 37.14% 66.56% 82.98%B 44.33% 55.02% 61.94% 67.28%C 39.00% 47.86% 53.27% 62.20%D 23.61% 44.02% 56.62% 66.74%E 42.57% 63.06% 69.71% 78.28%

Se pueden observar en los resultados que a medida que losbailarines realizaban las coreografías, eran capaces de mejorarsus porcentajes de precisión en cada nuevo intento, donde esteaumento en promedio resultó ser de 12.36% entre ejecuciones.

C. Pruebas de enseñanza

Permitieron comprobar la utilidad de las herramientas deenseñanza incluidas en la aplicación. Para estas pruebas seutilizó un coreógrafo y dos bailarines. El coreógrafo grabó unacoreografía de 2 minutos que se descomponía principalmenteen 4 pasos de 10 segundos. Se indicaron tanto estos 4 pasoscomo las posturas necesarias para el aprendizaje de la core-ografía. Los bailarines se encargarían de realizar la coreografía2 veces, solo que a uno de ellos se le permitió practicar los 4pasos definidos previamente.

Los resultados de las ejecuciones de prueba se presentanen la tabla VI.


127

TABLA VI. EJECUCIONES DE PRUEBAS DE ENSEÑANZA

Bailarines Ejecución 1 Ejecución 2

Con práctica de pasos y posturas 48.71% 74.33%Sin práctica de pasos y posturas 25.49% 42.20%

Con estos resultados se pudo observar que la prácticapermite obtener un porcentaje de precisión mucho más elevadoincluso desde la primera vez que se realiza la coreografía. Deesta forma el bailarín podría obtener un porcentaje cercano al100% realizando menos ejecuciones.

D. Encuesta

Con el fin de conocer la reacción de usuarios promedio (enedades entre 20 y 35 años) ante el uso de DanceNet, se realizóuna encuesta a 15 personas con las siguientes preguntas:

1) ¿Considera que DanceNet ofrece herramientas paraaprender y enseñar coreografías?

2) ¿Los movimientos grabados son fáciles de reconocer?3) Durante la comparación, ¿los movimientos se califi-

can (bueno, regular, malo) de forma adecuada?.4) ¿Considera que practicar las posturas y pasos de una

coreografía facilita su aprendizaje?5) Según su opinión, ¿la aplicación es fácil de manejar?

Esta encuesta de evaluación se basa en la escala original-mente propuesta por Likert empleando 5 niveles: totalmentede acuerdo, de acuerdo, regular, desacuerdo y totalmente endesacuerdo. La Fig. 13 muestra el resultado del promedio dela encuesta realizada, donde item-i representa la pregunta i-ésima.

Figura 13. Resultados de una encuesta de 5 preguntas ante 15 usuarios sobreDanceNet

Según los usuarios DanceNet es una aplicación con la quepueden tanto aprender y enseñar coreografías de forma fácil,donde la interfaz gráfica propuesta entre teclado y ratón yademás con controles por movimientos no representa obstácu-los para el aprendizaje. Aunque solo se captura la silueta de lapersona, los movimientos son fáciles de reconocer y se puedenejecutar sin dificultad. En la comparación de movimientos,los usuarios aceptan las calificaciones obtenidas con las quepueden observar los momentos en los cuales se equivocaron ymejorar la precisión de la ejecución, precisión que puede sermejorada rápidamente con la práctica de posturas y pasos.

VII. CONCLUSIONES

En este trabajo se presentó DanceNet, un entorno colabora-tivo basado en herramientas modernas que facilitan el apren-dizaje y la enseñanza de coreografías, empleando el Kinectpara la captura de movimiento de bailarines. De este modo,se presentan dos entes principales: una aplicación conectadaal Kinect para la captura y manejo de coreografías y unportal web que permite una distribución, difusión, aprendizajey enseñanza de las coreografías realizadas con la aplicación.

El uso de colores en las siluetas para la comparación delas diversas posiciones entre coreografías, logra una formarápida y original de que los usuarios reconozcan cuando susposiciones coinciden o no. El uso de porcentajes permiteestablecer correctamente la precisión de las ejecuciones yayuda a ajustar los movimientos de los usuarios practicantes.Igualmente, la definición de posturas y pasos en la coreografíarepresenta una herramienta sencilla para que los usuariospuedan facilitar el aprendizaje de sus coreografías en pocospasos. Así, se ahorra tiempo al momento de realizar prácticasrepetitivas.

Con los perfiles de usuario, se da una importante opción dedifusión, distribución y socialización dentro de una comunidad.Las calificaciones de los perfiles ayudan a que los usuariospuedan conocer si deben mejorar sus coreografías. Estas comu-nidades representan espacios libres donde los usuarios puedendiscutir sobre alguna temática en particular como estilos debaile, géneros de música, eventos, artistas, e incluso utilizar sucreatividad para aprovecharlas y transformarlas aulas virtuales.

En un futuro, se propone como aspecto principal incluircoreografías en parejas o grupos. Actualmente, DanceNet estádiseñado para la ejecución coreográfica de una sola persona.Igualmente, se propone añadir la opción de definir las partes aser detectadas por la aplicación para personas con discapaci-dades visuales media (i.e. configuración de colores). Desde elpunto de vista del portal web, una opción importante a serañadida en un futuro es la creación de tutoriales o ayudascreadas por la misma comunidad.

Del mismo modo, a pesar de tener unas mecánicas dejuego (i.e. porcentaje de acierto, votaciones en el portal),sería ideal contar con otras que ofrezcan niveles de bailarines(fácil, medio, avanzado) y algunas recompensas a medida delprogreso del juego para agregar incrementar las estrategias degamificación en DanceNet y motivar a una mayor cantidad deusuarios.

AGRADECIMIENTOS

Los autores de este trabajo quieren expresar su agradec-imiento público a la Escuela de Ingeniería Informática de laUniversidad Católica Andrés Bello, sede Caracas, por habersido la institución origen en el desarrollo de esta investigación.Del mismo modo, a los jugadores de DanceNet por su valiosofeedback en la dinámica del juego.

REFERENCIAS

[1] S. Cohen and K. Matheson, Dance As a Theatre Art: Source Readings

in Dance History from 1581 to the Present, 2nd ed. Princeton BookCompany, December 1992.

[2] J. Winearls, Choreography: The Art of the Body, 2nd ed. Dance BooksLtd, 2011.



128

[3] F. Yarel Yara, “Elementos de la Danza,” 2013. [Online]. Available:http://danza102.blogspot.com/2013/05/elementos-de-la-danza.html

[4] F. Ryden, “Tech to the future: Making a "kinection" with hapticinteraction,” IEEE Potentials, vol. 31, no. 3, pp. 34–36, May 2012.

[5] S. Saha, S. Ghosh, A. Konar, and A. Nagar, “Gesture recognitionfrom indian classical dance using kinect sensor,” in Computational

Intelligence, Communication Systems and Networks (CICSyN), 2013

Fifth International Conference on, June 2013, pp. 3–8.

[6] S. Saha, A. Banerjee, S. Basu, A. Konar, and A. Nagar, “Fuzzy imagematching for posture recognition in ballet dance,” in Fuzzy Systems

(FUZZ), 2013 IEEE International Conference on, July 2013, pp. 1–8.

[7] S. Saha, S. Ghosh, A. Konar, and R. Janarthanan, “A study on legposture recognition from indian classical dance using kinect sensor,” inHuman Computer Interactions (ICHCI), 2013 International Conference

on, Aug 2013, pp. 1–6.

[8] S. Gupta and S. Goel, “Pogest: A vision based tool for facilitatingkathak learning,” in Contemporary Computing (IC3), 2014 Seventh

International Conference on, Aug 2014, pp. 24–29.

[9] A. Nussipbekov, E. Amirgaliyev, and M. Hahn, “Kazakh TraditionalDance Gesture Recognition ,” Journal of Physics: Conference Series,vol. 495, no. 012036, 2014.

[10] K. Ozcimder, “Communication through motion in dance with topolog-ical constraints,” in American Control Conference (ACC), 2014, June2014, pp. 178–183.

[11] J. Baillieul and K. Ozcimder, “The control theory of motion-basedcommunication: Problems in teaching robots to dance,” in American

Control Conference (ACC), 2012, June 2012, pp. 4319–4326.

[12] C. Livingston, Knot Theory, 1st ed., ser. Mathematical Association ofAmerica Textbooks. The Mathematical Association of America, 1993.

[13] A. LaViers and M. Egerstedt, “The ballet automaton: A formal modelfor human motion,” in American Control Conference (ACC), 2011, June2011, pp. 3837–3842.

[14] A. LaViers, Y. Chen, C. Belta, and M. Egerstedt, “Automatic sequencingof ballet poses,” Robotics Automation Magazine, IEEE, vol. 18, no. 3,pp. 87–95, Sept 2011.

[15] F. Guo and G. Qian, “Dance posture recognition using wide-baselineorthogonal stereo cameras,” in Automatic Face and Gesture Recognition,

2006. FGR 2006. 7th International Conference on, April 2006, pp. 481–486.

[16] J. Chan, H. Leung, J. Tang, and T. Komura, “A virtual reality dance

training system using motion capture technology,” Learning Technolo-

gies, IEEE Transactions on, vol. 4, no. 2, pp. 187–195, April 2011.

[17] Y. Yang, H. Leung, L. Yue, and L. Deng, “Automatic dance lessongeneration,” Learning Technologies, IEEE Transactions on, vol. 5, no. 3,pp. 191–198, July 2012.

[18] American Honda Motor Co. Inc., “Asimo,” 2000. [Online]. Available:http://asimo.honda.com/

[19] E. Guizzo, “Asimo Can Copy Your Dance Moves,”2011. [Online]. Available: http://spectrum.ieee.org/automaton/robotics/humanoids/asimo-can-copy-your-dance-moves

[20] H. Peng, C. Zhou, H. Hu, F. Chao, and J. Li, “Robotic dance in socialrobotics –a taxonomy,” Human-Machine Systems, IEEE Transactions

on, vol. 45, no. 3, pp. 281–293, June 2015.

[21] D. S. Alexiadis, P. Kelly, P. Daras, N. E. O’Connor, T. Boubekeur,and M. B. Moussa, “Evaluating a dancer’s performance using kinect-based skeleton tracking,” in Proceedings of the 19th ACM International

Conference on Multimedia, ser. MM ’11. ACM, 2011, pp. 659–662.

[22] S. Essid, D. Alexiadis, R. Tournemenne, M. Gowing, P. Kelly, D. Mon-aghan, P. Daras, A. Dremeau, and N. O’Connor, “An advanced virtualdance performance evaluator,” in Acoustics, Speech and Signal Process-

ing (ICASSP), 2012 IEEE International Conference on, March 2012, pp.2269–2272.

[23] A. Liutkus, A. Dremeau, D. Alexiadis, S. Essid, and P. Daras, “Analysisof dance movements using gaussian processes: Extended abstract,” inProceedings of the 20th ACM International Conference on Multimedia,ser. MM ’12, 2012, pp. 1375–1376.

[24] A. Dremeau and S. Essid, “Probabilistic dance performance alignmentby fusion of multimodal features,” in Acoustics, Speech and SignalProcessing (ICASSP), 2013 IEEE International Conference on, May2013, pp. 3642–3646.

[25] M. Kyan, G. Sun, H. Li, L. Zhong, P. Muneesawang, N. Dong, B. Elder,and L. Guan, “An approach to ballet dance training through ms kinectand visualization in a cave virtual reality environment,” ACM Trans.

Intell. Syst. Technol., vol. 6, no. 2, pp. 23:1–23:37, Mar. 2015.

[26] Microsoft Corporation, “Xbox 360 + Kinect,” 2015. [Online].Available: http://www.xbox.com/en-SG/Kinect/Games

[27] Harmonix Music Systems, Inc., “Dance Central,” 2014. [Online].Available: http://www.xbox.com/en-US/games/dance-central

[28] E. Barkley, C. Howell, and P. Cross, Collaborative Learning Techniques,2nd ed., ser. A Handbook for College Faculty. Jossey-Bass, 2014.


129

Documents

DanceNet: Entorno Colaborativo para la Enseñanza de Coreografías empleando un Kinect