Tecniche di tracking markerless per sistemi di manutenzione ed

assemblaggio in Realtà Aumentata

Candidato

Gino Farisano Matr. 0522500248

Relatori

Ch.mo Prof. Andrea Francesco AbateDott. Fabio Narducci

Dott. Stefano Ricciardi

OutlineL’AR nel settore

della manutenzione

Sistemi di tracking marker-less

Implementazione

Risultati

Conclusioni e

sviluppi futuri

“

Ronald Azuma

An AR system supplements the real world with virtual

(computer-generated) objects that appear to coexist in the same space as the real world

L’AR nel settore dell’assemblaggio e della manutenzione: riflessioni

◈ Alcune attività di assemblaggio richiedono ancora manodopera umana. La manutenzione è svolta in modo manuale

◈ Il mercato ha introdotto nuove necessità: elevata varietà dei prodotti, customizzazione, costi bassi

◈ Produzione agile I sistemi di produzione dovrebbero essere in grado di fornire capacità produttiva on demand

◈ La formazione di operai esperti richiede molto tempo e denaro

La realtà aumentata: produzione agile al minor costo

◈ La realtà aumentata è complementare ai processi cognitivi umani

◈ Progetto ARVIKA e ARTESAS: applicabilità della realtà aumentata nel settore industriale

◈ Numerosi studi confermano che l’AR può apportare dei benefici significativi nell’espletamento di procedure di manutenzione

Outline

Sistemi di tracking marker-

less

Implementazione

Risultati

Conclusioni e

sviluppi futuri

L’AR nel settore della

manutenzione

Sistemi di tracking marker

based

Sistemi di tracking marker-less

◈ Utilizzano le caratteristiche naturali degli oggetti come features◈ Non c’è bisogno di preparare la scena con marker intrusivi◈ Peggiore qualità di tracciamento e maggiore potenza di calcolo

richiestaMassima distanza

riconoscimento (cm)

Massima distanza

tracking (cm)Massima

occlusioneMinimo angolo

(gradi)Qualità

tracking (0-6)Falsi negativi

(0-6)Falsi positivi (0-

6)Tempo per il

riconoscimento (sec)

WikitudeSLAM 30 40 1/2 70 1 5 5 0

KudanSLAM 100 300 1 0 4 6 6 0

PTAM 55 110 1/2 60 3 1 2 2

Vuforia ObjectTarget 65 280 3/4 10 4 0 0 1

◈ Massima distanza tracking (cm): una volta che il target è stato riconosciuto quanto ci si può allontanare prima che il tracking fallisca?◈ Qualità del tracking: 0 – cattivo, 6 eccellente◈ Falsi negativi e falsi positivi: 0 - eccellente, 6 cattivo

Outline

Sistemi di tracking marker-less

Implementazione

Risultati

Conclusioni e

sviluppi futuri

L’AR nel settore della

manutenzione

Selezione delle componenti

VGA2 e RAM2 sono stati introdotti per confondere gli utenti

Ram2

Ram1 Scheda

madre

CPU

Giravite

VGA2

VGA1

Modem 56K PCI

Scansione della scheda madre da più punti di vista con Vuforia Scanner

Gli altri oggetti sono stati scansionati da un solo lato

Creazione di un motore AR con Unity3D e Vuforia Object Target

◈ Avvia tutti i trackers: ogni lato della scheda madre è osservato da un tracker differente.

◈ Acquisisci gli oggetti virtuali: preleva gli oggetti virtuali da Augmentations e gli assegna la componente Transform contenuta in AugmentationsPositions. Non consente agli altri trackers di accedere all’aumentazione corrente

◈ Rendi accessibile il controllo delle aumentazione: riporta gli oggetti virtuali nel contenitore Augmentations così che gli altri trackers possano accedervi

Inizio

Avvia tutti i trackers

FineL’utente

vuole abbandonare il programma?

Il target è stato

riconosciuto da un tracker?

Acquisisci gli oggetti virtuali

Mostra aumentazione

Il target è ancora

tracciato?

Rendi accessibile il controllo delle aumentazione

Si

No

No Si

SiNo

Analisi comparativa algoritmo con con cinque scansioni VS algoritmo con una sola scansione

Nulla è tracciat

o

Nulla è tracciat

o

Ad entrambi gli algoritmi è stato dato in pasto un video di 15 minuti in cui il target è osservato da tutte

le angolazioni

23%

21%

10%

15%

13%

18%

49%

51%

Creazione di modelli 3D con Blender

Nexus 5 - Nexus 5 + VR BoxFOV 70°, risoluzione (1920x1080)/2, 15-30 FPS

Outline

Sistemi di tracking marker-less

Implementazione

Risultati

Conclusioni e

sviluppi futuri

L’AR nel settore della

manutenzione

Sperimentazione: manuale tradizionale VS sistemi AR

◈ I test sono stati condotti in un quasi-experimet su campione di 18 persone

◈ Variabili indipendenti: tratment con manuale tradizionale, sistema AR hand held display e sistema AR utilizzante un Head Mounted Display

◈ Variabili dipendenti: tempo impiegato per eseguire i task di manutenzione richiesti, numero di errori commessi, workload soggettivo misurato con il NASA-TLX

◈ I task da eseguire sulla scheda madre sono 20. I primi due non sono stati oggetto di analisi

◈ Design principles: blocking e balancing

Sperimentazione: strumenti statistici utilizzati

◈ Analysis of variance (ANOVA): verifica della normalità dei dati con il test di Shapiro e Wilk; l’ipotesi di omoschedasticità è stata verificata con il test di Barlet

◈ Metodo di Kruskal-Wallis: corrispondente non parametrico dell’ANOVA. Consigliato quando il campione a disposizione è relativamente piccolo

◈ Alpha level fissato a 0.05

◈ Post hoc comparison: test delle differenze oneste di Tukey

Ipotesi nulla H0: Time(PaperManual)=Time(ARHHD)=Time(ARHMD)

Task 6, 11, 18, 21: localizzazione di componenti o operazioni molto sempliciTask 7 e 16: avvita e svita le vitiTask 9 e 14: operazioni complesseTask 20: operazione di precisione

35%Ipotesi nulla H0: accolta!

Ipotesi nulla H1: Error(PaperManual)=Error(ARHHD)=Error(ARHMD)

Task 3, 6, 11, 18, 21: localizzazione di componenti o operazioni molto sempliciTask 7 e 16: ordine prestabilitoTask 9 e 14: operazioni complesseTask 12: componente poco visibileTask 20: operazione di precisione

21%Ipotesi nulla H1: accolta!

NASA Task Load Index

Mental DemandQuanta attività mentale e percettiva era richiesta (es., pensare, decidere, calcolare, ricordare, osservare, cercare, ecc.)? Il compito era facile o difficile, semplice o complesso, impegnativo o leggero?

Physical DemandQuanta attività fisica era richiesta (es. spingere, tirare, girare, controllare, attivare, ecc,)? Il compito era facile o impegnativo, lento o rapido,leggero o pesante, riposante o faticoso?

Temporal DemandQuanta pressione temporale hai avvertito a causa della frequenza o del ritmo con cui i compiti, o le fasi del compito, si susseguivano? Il ritmo era lento e tranquillo o rapido e frenetico?

PerformanceQuanto pensi di aver raggiunto gli obiettivi del compito stabiliti dallo sperimentatore (o da te stesso)? Quanto sei soddisfatto della tua prestazione nel raggiungere questi obiettivi?

EffortQuanto hai dovuto impegnarti (mentalmente e fisicamente) per raggiungere il tuo livello di prestazione?

FrutrationDurante il compito, quanto ti sei sentito incerto, scoraggiato, irritato, stressato e infastidito rispetto a sicuro, gratificato, appagato, rilassato e soddisfatto?

Ipotesi nulla H2: WorkLoad(PaperManual)=WorkLoad(ARHHD)=WorkLoad(ARHMD)

0,3%Ipotesi nulla H2: respinta!

54%Post-hoc manuale tradizionale VS sistema AR HHD

2%Post-hoc manuale tradizionale VS sistema AR HMD

Post-hoc sistema AR HMD VS sistema AR HHD

Conclusioni

◈ Gli utenti hanno valutato positivamente la soluzione AR hand held display

◈ Alcuni task, difficili da comprendere con il manuale cartaceo, sono eseguiti in tempi più brevi e con meno errori se si utilizza la realtà aumentata

◈ Sono necessarie ulteriori analisi per comprendere se HMD di qualità superiore siano maggiormente accettati dagli utenti

◈ Al crescere della potenza di calcolo dei dispositivi mobile soluzioni marker-less dense (DTAM e LSD-SLAM) potranno essere impiegate efficientemente in applicazioni di realtà aumentata in real-time.

Thanks!