Studying the control of non-invasive prosthetic hands over large time spans

Relatore: Barbara Caputo

Correlatore: Umberto Nanni

Candidato: Mara Graziani

129/10/15

Studying the control of non invasive prosthetic hands over large time spans

Amputati: realtà e problematiche

Popolazione mondiale: circa 7,3 miliardi

# Amputati >11 milioni 3 milioni agli arti superiori

2Mara Graziani

Amputati: realtà e problematiche

2000 amputati Haiti

5% soldati Vietnam War

4% Iraq Operation Freedom

Studying the control of non invasive prosthetic hands over large time spans 3Mara Graziani

Ricostruzione del movimento

invasive

non invasive

cosmetiche e uncini

Protesi

Mara GrazianiStudying the control of non invasive prosthetic hands over large time spans 4

Protesi invasive

Studying the control of non invasive prosthetic hands over large time spans

operazione chirurgica

Impianto di sensori sulla fibra muscolare tramite

5Mara Graziani

Protesi non invasive

Si indossa come un guanto

sensori di superficie

(sEMG)

Studying the control of non invasive prosthetic hands over large time spans 6Mara Graziani

Protesi cosmetiche e uncini

La maggioranza degli 11 milioni di amputati

adotta questa soluzione...

Perchè?

Studying the control of non invasive prosthetic hands over large time spans 7Mara Graziani

Controindicazioni

Obiettivo Possibilità di rigetto

Non sempre attuabile

£ 6.000.000 o più

Pochi movimenti

Allenamenti

faticosi

lunghi0 DoF

nessun movimento

Studying the control of non invasive prosthetic hands over large time spans

e molto

£ 500

8Mara Graziani

Machine Learning

si possono incrementare le performance

La protesi si può addestrare

a riconoscere l'intenzione di un movimento

Studying the control of non invasive prosthetic hands over large time spans 9Mara Graziani

Si potrebbe arrivare persino a

Studying the control of non invasive prosthetic hands over large time spans

ShadowHand

10Mara Graziani

Conceptual Question - Domanda concettuale

Il giorno dopo, indossa nuovamente la protesi.

Il paziente indossa la protesi ed effettua la calibrazione per la prima volta.

Studying the control of non invasive prosthetic hands over large time spans 11Mara Graziani

Conceptual Question - Domanda concettuale

Cosa succede se non rieffettua la calibrazione?

Studying the control of non invasive prosthetic hands over large time spans 12Mara Graziani

lungo periodo

Calibrazione della protesi

Protesi ancora funzionante?

• disconnessione notturna • sfasamento elettrodi • conduttività degli elettrodi • cambiamenti fisiologici

Studying the control of non invasive prosthetic hands over large time spans

Ci aspettiamo un calo delle performance…

13Mara Graziani

Fasi dello studio

Acquisizione

Processamento

Classificazione

Test

Studying the control of non invasive prosthetic hands over large time spans

Ogni passaggio è stato eseguito attraverso MATLAB con Statistics and Machine Learning Toolbox e la libreria libSVM

14Mara Graziani

Fasi dello studio - Acquisizione

Acquisizione

Processamento

Classificazione

Test

Acquisizione di 17 movimenti e posture della mano

17 movimenti x 10 ripetizioni x 3 volte al giorno x 4 giorni

Studying the control of non invasive prosthetic hands over large time spans

soggetto intatto10 sensori sEMG Ottobock

15Mara Graziani

Fasi dello studio - Processamento

Acquisizione

Processamento

Classificazione

Test

Sincronizzazione Eliminazione delle transizioni dal riposo alla postura (algoritmo di rietichettamento)

Filtraggio Segmentazione (finestre 100 ms) Estrazione features

Studying the control of non invasive prosthetic hands over large time spans

Segnale grezzo

16Mara Graziani

Fasi dello studio - Processamento

Acquisizione

Processamento

Classificazione

Test

PATTERN

Studying the control of non invasive prosthetic hands over large time spans 17

finestra

pote

nzia

le

Waveform Length Features filtrate e segmentate

Segnale grezzo

Sincronizzazione Eliminazione delle transizioni dal riposo alla postura (algoritmo di rietichettamento)

Filtraggio Segmentazione (finestre 100 ms) Estrazione features

17Mara Graziani

Fasi dello studio - Classificazione

Acquisizione

Processamento

Classificazione

Test

17 movimenti x 10 ripetizioni x 3 volte al giorno x 4 giorni = 2040

Durante la fase di training sono stati divisi in 17+1 classi

Studying the control of non invasive prosthetic hands over large time spans 18

training set, validation set, testing setGaussian RBF SVM

splitting

18Mara Graziani

Acquisizione

Processamento

Classificazione

Test

I dati del Giorno 1 sono stati usati per l'addestramento dell'algoritmo.

E ripetuti in tre momenti della giornata.

I test sono stati svolti a distanza di:

1 giorno 2 giorni 3 giorni

Fasi dello studio - Test

Studying the control of non invasive prosthetic hands over large time spans 19 19Mara Graziani

20

Risultati

Cosa succede se non rieffettua la calibrazione?

migliorein mediapeggiore90%

67%

Studying the control of non invasive prosthetic hands over large time spans

60%

20Mara Graziani

21

Risultati

Considerando ogni movimento equiprobabile, la probabilità di scegliere correttamente in modo randomico la postura scelta è di:

117

cioè del 6%…

Studying the control of non invasive prosthetic hands over large time spans 21Mara Graziani

22

Conclusioni

Si ha un calo del 20% subito dopo il primo giorno, che tende a fermarsi nei giorni successivi.

Complessivamente vengono persi al massimo 5 movimenti, ovvero il 30% del set completo.

Studying the control of non invasive prosthetic hands over large time spans

Come studio futuro bisognerebbe estendere il numero di soggetti

22Mara Graziani

23

emgrepeatability.wordpress.com

Studying the control of non invasive prosthetic hands over large time spans

archive.org/details/prostheticHandsOverTime

23Mara Graziani

24

sEMG

KERNEL SVM

repeatability

WL

STFT

datasets

windowing

splitting

smoothing confmatric

Studying the control of non invasive prosthetic hands over large time spans 24Mara Graziani

25

Grazieper il prezioso tempo e l’attenzione

26

1. Dougherty, Paul J., et al. "Bilateral transfemoral/transtibial amputations due to battle injuries: a comparison of Vietnam veterans with Iraq and Afghanistan servicemembers." Clinical Orthopaedics and Related Research® 472.10 (2014): 3010-3016.

2. http://nationalamputation.org 3. http://www.drtessier.com/ilac.aspx 4. http://www.amputee-coalition.org/ 5. The Limb Loss Research and Statistics Program Johns Hopkins Bloomberg School of Public Health: People

with amputations speak out with the Amputee Coalition of America from amputee-coalition.org 6. Maurice LeBlanc, MSME, CP "Give Hope - Give a Hand" - The LN-4 Prosthetic Hand from https://

web.stanford.edu/class/engr110/2011/LeBlanc-03a.pdf 7. http://www.handicap-international.us/haiti_estimates_over_2_000_amputees 8. http://www.bbc.com/news/technology-34044453 9. http://www.theloop.com.au/DMartinez/portfolio/hand-cracking-an-egg-image/82385 10.http://www.discovery-zone.com/wp-content/uploads/2014/02/Amputee-Feels-with-Bionic-Hand.jpg 11.http://www.dailymail.co.uk/sciencetech/article-2313507/i-limb-ultra-revolution-The-16-year-old-boy-Britains-

app-controlled-bionic-hand.html 12.http://www.discovery-zone.com/technology-amputee-feels-real-time-bionic-hand/ 13.http://sciencenordic.com/implanted-muscular-electrodes-improve-prosthetic-flexibility 14.http://www.theloop.com.au/DMartinez/portfolio/hand-cracking-an-egg-image/82385 15.http://www.nottecriminale.it/contents/2012/11/sicurezza-pin-300x201.jpg 16.http://sr.photos2.fotosearch.com/bthumb/UNY/UNY052/u28704454.jpg 17.http://www.rehab.research.va.gov/jour/2012/494/images/smit494f02lb.jpg 18.http://www.google.it/url?

sa=i&source=imgres&cd=&ved=0CAYQjBwwAGoVChMIpYeastq6yAIVSjgUCh3o4gaQ&url=http%3A%2F%2Fimg.medicalexpo.com%2Fimages_me%2Fphoto-m%2Fbody-powered-hand-prosthesis-hook-clamp-adult-74842-170709.jpg&psig=AFQjCNF7kS3Vnt4PreYaiZLz7QfeU_c9cw&ust=1444662785061896

19.http://www-3.unipv.it/scienzemotorie/public/901sEMG.pdf 20.flickr.com per tutte le immagini

Fonti

Studying the control of non invasive prosthetic hands over large time spans

29/10/15 Mara Graziani

27

sEMG - surface ElectroMyoGraphy

Elettromiografia di superficie (sEMG):

• misura potenziale elettrico nel muscolo

• indicazioni su • momento • durata • entità dell’attivazione

back

28

Gaussian RBF kernel SVM

back

Se i dati non sono linearmente separabili si può utilizzare una funzione non lineare, chiamata kernel, per mappare i dati in uno spazio differente (aggiunta di una dimensione).

Tramite un iperparametro, gamma, si può controllare la capacità del sistema.

29

Repeatability

Misura della variazione compiuta effettuando un’operazione ripetutamente sotto specifiche condizioni.

Può aiutare i ricercatori a scoprire eventuali malfunzionamenti e ad indagarne le cause.

back

30

WL - Waveform Length

Rappresenta la lunghezza cumulativa della forma d’onda nel periodo T. Si usa come misura dell’ampiezza del segnale.

Segnale Grezzo Waveform Length

Feature nel dominio del tempo.

back

31

STFT - Short Time Fourier Transform

STFT è molto più dettagliata delle altre features nel dominio del tempo. Tuttavia richiede un costo computazionale più elevato.

Feature nel dominio tempo-frequenza.

• M è il numero di intervalli di frequenza considerati

• g è una funzione di lunghezza R, che funge da finestra

back

32

Set sperimentali

back

Sono state adottate due configurazioni: • PARTE 1: il training set includeva “suggerimenti dai dati futuri” • PARTE 2: nessun suggerimento

TRAINING TESTING

DATASET 1 GIORNO 1 prima mattina

GIORNI 1,2,3,4 prima mattina

DATASET 2 GIORNO 1 tarda mattina

GIORNI 1,2,3,4 tarda mattina

DATASET 3 GIORNO 1 primo pomeriggio

GIORNI 1,2,3,4 primo pomeriggio

33

Segmentazione

back

Il dato istantaneo riguardante l’attività muscolare del muscolo non è sufficiente per la corretta classificazione dei movimenti.

Sono state considerate quindi delle finestre lunghe N con sovrapposizione N-10ms.

N=100ms

34

Smoothing

Tecnica utilizzata per incrementare le performances del classificatore. Lo scopo è di tracciare un’idea generale dei cambiamenti relativamente lenti delle assegnazioni delle labels. Per ottenere questo scopo è stata implementata una finestra scorrevole, di ampiezza arbitraria, che cercasse, con una metodologia di majority voting, la label più frequente.

back

35

Misclassification

back