• Estudio de técnicas aplicadas al reconocimiento de actividades físicas cotidianas

• Monitorización supervisada y no supervisada

• Diferentes campos de

aplicación (teleasistencia, e-salud, deportes, etc.)

• Definir una metodología propia para el reconocimiento de actividades

• Mejorar los resultados en el marco supervisado y seminaturalístico

Analizar la información extraída de la monitorización de ejercicios habituales

Definir modelos de caracterización a partir de las señales asociadas a cada actividad

Establecer metodologías para la selección de las variables más adecuadas

Comparar diversas metodologías de extracción de conocimiento

Para ello

FASE I: Análisis de las señales y valoración de qué pre-procesado es necesario

FASE II: Identificación, definición y aplicación de las técnicas

para extracción de características

FASE III: Selección de

características

FASE IV: Clasificación

FASE V: Test, análisis de los

resultados y selección del modelo de clasificador

• Cinco acelerómetros • Cuatro actividades

• Dos metodologías de • Veinte usuarios monitorización

Andar Sentarse y relajarse Permanecer de pie Correr

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 4005

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 4003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 4004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 4000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 4004

4.5

5

5.5

6

6.5

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 200 400 6000

2

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 200 400 6000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 200 400 6002

4

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

0 100 200 3004

6

8

10

Tiempo (seg)

Acele

ració

n (

G)

Cadera

0 100 200 3003

4

5

6

7

8

Tiempo (seg)

Acele

ració

n (

G)

Muñeca

0 100 200 3004

5

6

7

Tiempo (seg)

Acele

ració

n (

G)

Brazo

0 100 200 3000

5

10

15

Tiempo (seg)

Acele

ració

n (

G)

Tobillo

0 100 200 3002

4

6

8

10

12

Tiempo (seg)

Acele

ració

n (

G)

Muslo

An

dar

Sen

tars

e y

rela

jars

e

Pe

rman

ece

r d

e p

ie

Co

rre

r

• Acelerómetro del tobillo

28 30 32 34 36

3

4

5

6

7

Tiempo (seg)

Ace

lera

ció

n (

G)

Andar

82 84 86 88 90 92

5

5.5

6

Tiempo (seg)

Ace

lera

ció

n (

G)

Sentarse y relajarse

420 430 440 450

5

5.2

5.4

5.6

5.8

6

6.2

6.4

Tiempo (seg)

Ace

lera

ció

n (

G)

Permanecer de pie

76 77 78 79 80

1

2

3

4

5

6

7

8

Tiempo (seg)

Ace

lera

ció

n (

G)

Correr

• Offset

• Saltos de discontinuidad (descalibración)

• Anomalías (movimientos irregulares, cambios de orientación, caídas, etc.)

• Ruido de alta frecuencia

NECESIDAD DE PREPROCESAMIENTO

• Filtrado de media modificado – Permite eliminar el offset – Elimina las descalibraciones

• Filtrado paso bajo + paso alto – Elimina ruido de alta frecuencia – Elimina offset – Elimina picos de baja frecuencia

• Otras opciones valoradas – Filtro de mediana – Wavelets

Original Filtrado media

LPF + HPF

Magnitudes

Amplitud Autocorrelación Cepstrum Densidad espectral de energía Espectro en amplitud Espectro en fase Histograma Reconstrucción de mínima fase Valor de los históricos Wavelet

Correlación cruzada Coherencia espectral Índice de desfase

Operaciones matemático-estadísticas

Coeficiente de asimetría Cruces por cero Curtosis Desviación estándar Distorsión armónica total Energía total Entropía Máximo Media aritmética, armónica, geométrica, truncada Mediana Mínimo Moda Momento de orden 4 y 5 Posición del máximo/mínimo Rango Varianza

• Método de la señal completa

• Método de la subseñal más característica – Basado en correlación

– Basado en coherencia

• Método de la ventana – Fija

– Deslizante

LABORATORIO

SEMINATURALÍSTICOS

Filtrados Originales Sin Offset

Señal completa Subseñal (correlación) Subseñal (coherencia) Ventana (fijo) Ventana (deslizante)

Filosofía de monitorización

Preprocesado Técnica de extracción

• Conjunto de características muy amplio (861 variables)

• Influye en el proceso de clasificación

POSICIÓN ÓPTIMA Pocas Características Buena Clasificación

0 200 400 600 800-1

-0.5

0

0.5

1x 10

4 Acel. TOBILLO, Act. CORRER

Características

Va

lor

de

la

ca

racte

rística

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2x 10

4

Nivel de solapamiento

Núm

ero

de c

ara

cte

rísticas d

iscrim

inante

s

ACELERÓMETRO DEL TOBILLO

Andar

Sentarse y relajarse

Permanecer de pie

Correr

Act. conjuntas

Act. y acel. conjuntas

0 200 400 600 800-1

-0.5

0

0.5

1x 10

4 Acel. TOBILLO, Act. CORRER

Características

Va

lor

de

la

ca

racte

rística

Criterio de solapamiento

0

10

20

30

40

Acel. MUSLO, Act.CORRER

Carac. media geom. de los coef. wavelets a5V

alo

r d

e la

ca

racte

rística

Criterio de calidad discriminante

Actividades discriminadas

Acelerómetros donde lo permite

Grado de Calidad

4 5 1

4 4 2

4 3 3

4 2 4

4 1 5

3 5 6

3 4 7

3 3 8

3 2 9

3 1 10

2 5 11

2 4 12

2 3 13

2 2 14

2 1 15

1 5 16

1 4 17

1 3 18

1 2 19

1 1 20

0 5 21

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

100

200

300

400

500

600

700

800

900

Nivel de solapamiento

Núm

ero

de c

ara

cte

rísticas d

iscrim

inante

s

ACELERÓMETRO DEL MUSLO

Andar

Sentarse y relajarse

Permanecer de pie

Correr

Act. conjuntas

Act. y acel. conjuntas

• Nº de características discriminantes en función del umbral de solapamiento

0 0.2 0.4 0.6 0.8 1

0

200

400

600

800

1000

Nivel de solapamiento

Nú

me

ro d

e c

ara

cte

rística

s d

iscrim

ina

nte

s ACELERÓMETRO DEL BRAZO

• Modelo utilizado: criterio de restricción máximo (usolap, ÓPTIMO = 0)

– Categorías basadas en el método de extracción de la subseñal más característica no superan la condición

0 0.2 0.4 0.6 0.8 10

100

200

300

400

500

600

700

800

900

Nivel de solapamientoNúm

ero

de c

ara

cte

rísticas d

iscrim

inante

s

ACELERÓMETRO DE LA MUÑECA

Andar

Sentarse y relajarse

Permanecer de pie

Correr

Act. conjuntas

Act. y acel. conjuntas

0 0.2 0.4 0.6 0.8 10

100

200

300

400

500

600

700

800

900

Nivel de solapamientoNú

me

ro d

e c

ara

cte

rística

s d

iscrim

ina

nte

s ACELERÓMETRO DE LA MUÑECA

Andar

Sentarse y relajarse

Permanecer de pie

Correr

Act. conjuntas

Act. y acel. conjuntas

• Pueden ser

Supervisados / No supervisados Binarios / Multientrada Binarios / Multiobjetivo Paramétricos / No paramétricos Etc.

• Principales

opciones

Lógica Difusa Redes Neuronales Máquinas de Soporte Vectorial (SVM) Árboles de Decisión Redes Bayesianas Modelos Ocultos de Markov

• Rápidos • Solución simple • Buenos precedentes • Multiclase basado en

modelos binarios • Diferentes tipos de

kernels (lineal, cuadrático, RBF, MPL, etc.).

0 50 100 150 2000

20

40

60

80

100

120

Media geométrica de los coeficientes wavelets a3, señal del eje XMe

dia

ge

om

étr

ica

de

lo

s c

oe

ficie

nte

s w

ave

lets

a3

, se

ña

l d

el e

je Y Hiperplano separador para kernel RBF

Resto de actividades (entrenamiento)

Resto de actividades (clasificado)

Andar (entrenamiento)

Andar (clasificado)

Vectores de soporte

0 20 40 60 80 100 120 1400

5

10

15

20

25

30

35

40

45

50

Media geométrica de los coeficientes wavelets d3

Me

dia

ge

om

étr

ica

de

lo

s c

oe

ficie

nte

s w

ave

lets

d4

Hiperplano separador para kernel de tipo lineal

Resto de actividades (entrenamiento)

Resto de actividades (clasificado)

Correr (entrenamiento)

Correr (clasificado)

Vectores de soporte

• Muy rápido

• Fácil interpretación

• Relación con el selector basado en solapamiento

• Modelo multiclase directo

• Modo binario y modo multivariable

• Validación cruzada – Un sujeto se aísla en el entrenamiento para el test

– La mitad se utilizan para entrenar y el resto para test

SVM: - RBF más regular - Mejores tasas de acierto para las actividades “correr” y “sentarse y relajarse” - Resultados muy buenos para datos de tipo laboratorio y puntualmente aceptables para seminaturalísticos

ÁRBOLES DE DECISIÓN: - Profundidad inferior a nivel 5 - Excelentes resultados para las categorías de

laboratorio, con resultados muy buenos para la aproximación seminaturalística

SVM FILTRADOS ORIGINALES SIN OFFSET

LAB 96.37 ± 4.58 84.43 ± 5.94 86.90 ± 6.99

SEM 75.81 ± 0.90 75.73 ± 3.02 78.20 ± 2.14

ÁRBOLES FILTRADOS ORIGINALES SIN OFFSET

LAB 98.92 ± 1.08 98.48 ± 1.19 98.87 ± 0.66

SEM 95.05 ± 1.20 92.8 ± 4.01 93.00 ± 4.20 Mej

ore

s re

sult

ado

s p

ara

cad

a ca

tego

ría

Media (%) ± desviación estándar (%)

• Comparativa con otros trabajos

TRABAJO Porcentajes de acierto

S.W. Lee and K. Mase. Activity and location recognition using wearable sensors. 92.85% a 95.91%

J. Mantyjarvi, J. Himberg, and T. Seppanen. Recognizing human motion with multiple acceleration sensors.

83% a 90%

K. Aminian, P. Robert, E. E. Buchser, B. Rutschmann, D. Hayoz, and M. Depairon. Physical activity monitoring based on accelerometry: validation and comparison with video observation.

89.30%

L. Bao and S.S. Intille. Physical Activity Recognition from Acceleration Data under Semi-Naturalistic Conditions 89%

ESTE ESTUDIO 95.05% (SEM), 98.92(LAB)

Fuente: L. Bao and S.S. Intille. Physical Activity Recognition from Acceleration Data under Semi-Naturalistic Conditions

• El preprocesado, modelo de extracción y selección de características, y clasificador determinan de forma directa la eficiencia del sistema

• Los mejores resultados (≈ 100%) para datos de laboratorio se obtienen con:

• Para datos seminaturalísticos hay que valorar otras posibilidades (resultados dependientes de la metodología seguida que pueden llegar a dar ≈ 95%)

• Cada acelerómetro ofrece por sí mismo un ratio de acierto alto, luego a priori no sería necesario utilizar combinaciones (si bien se pueden emplear en modo redundante)

Filtrado Extracción sobre la

señal completa

Variables como media geom. de los coef.

wavelets, autocorrelación o

amplitud

Clasificación basada en árboles de decisión

• Estudiar otras alternativas a la metodología propuesta, trabajando también en la mejora de las técnicas ideadas

• Analizar otras actividades, acelerómetros y proponer un sistema propio de monitorización

• Integrar el diseño junto a otros sistemas de reconocimiento para aplicaciones específicas