Upload
zainab-pirani
View
217
Download
0
Embed Size (px)
Citation preview
8/2/2019 A Virtual d Blackboard
1/8
A V i r t u a l 3 D B l a c k b o a r d : 3 D F i n g e r T r a c k i n g u s i n g a S i n g l e C a m e r a
A n d r e w W u M u b a r a k S h a h a n d N . d a V i t o r i a L o b o
D e p a r t m e n t o f C o m p u t e r S c i e n c e S c h o o l o f C o m p u t e r S c i e n c e
U n i v e r s i t y o f I l l i n o i s a t U r b a n a - C h a m p a i g n U n i v e r s i t y o f C e n t r a l F l o r i d a
U r b a n a , I L 6 1 8 0 1 O r l a n d o , F L 3 2 8 1 6
a w u @ u i u c . e d u s h a h , n i e l s @ c s . u c f . e d u
A b s t r a c t
W e p r e s e n t a m e t h o d f o r t r a c k i n g t h e 3 D p o s i t i o n
o f a n g e r , u s i n g a s i n g l e c a m e r a p l a c e d s e v e r a l m e -
t e r s a w a y f r o m t h e u s e r . A f t e r s k i n d e t e c t i o n , w e u s e
m o t i o n t o i d e n t i f y t h e g e s t i c u l a t i n g a r m . T h e n g e r
p o i n t i s f o u n d b y a n a l y z i n g t h e a r m ' s o u t l i n e . T o d e -
r i v e a 3 D t r a j e c t o r y , w e r s t t r a c k 2 D p o s i t i o n s o f
t h e u s e r ' s e l b o w a n d s h o u l d e r . G i v e n t h a t a h u m a n ' s
u p p e r a r m a n d l o w e r a r m h a v e c o n s i s t e n t l e n g t h , w e
o b s e r v e t h a t t h e p o s s i b l e l o c a t i o n s o f a n g e r a n d e l b o w
f o r m t w o s p h e r e s w i t h c o n s t a n t r a d i i . F r o m t h e p r e -
v i o u s l y t r a c k e d b o d y p o i n t s , w e c a n r e c o n s t r u c t t h e s e
s p h e r e s , c o m p u t i n g t h e 3 D p o s i t i o n o f t h e e l b o w a n d
n g e r . T h e s e s t e p s a r e f u l l y a u t o m a t e d a n d d o n o t r e -
q u i r e h u m a n i n t e r v e n t i o n . T h e s y s t e m p r e s e n t e d c a n
b e u s e d a s a v i s u a l i z a t i o n t o o l , o r a s a u s e r i n p u t i n -
t e r f a c e , i n c a s e s w h e n t h e u s e r w o u l d r a t h e r n o t b e
c o n s t r a i n e d b y t h e c a m e r a s y s t e m .
1 I n t r o d u c t i o n
T h e e x p r e s s i o n o f 3 D c o n c e p t s i n a c l a s s r o o m e n v i -
r o n m e n t h a s t r a d i t i o n a l l y b e e n l i m i t e d t o a 2 D m e d i a ,
t h e b l a c k b o a r d . A p r o f e s s o r w h o w i s h e s t o c o m m u n i -
c a t e t h e i d e a o f a \ s a d d l e p o i n t " i n C a l c u l u s m u s t
e i t h e r a t t e m p t a 2 D c h a l k r e n d e r i n g o r n d s o m e
p h y s i c a l a n a l o g u e t o d i s p l a y . A s i m i l a r d i c u l t y i s
e n c o u n t e r e d i n h u m a n - c o m p u t e r i n t e r a c t i o n s , w h e r e
u s e r s o f t e n m a n i p u l a t e n o n - i n t u i t i v e c o n t r o l d e v i c e s .
I n b o t h e n v i r o n m e n t s , s t a n d a r d m e a n s o f e x p r e s s i o n
b e c o m e u n w i e l d y w h e n u s e r s t r y e x p r e s s i n g h i g h e r d i -
m e n s i o n a l c o n c e p t s .
T h i s p a p e r d e s c r i b e s a s y s t e m t h a t c a n i n f e r t h e 3 D
l o c a t i o n o f a n g e r , l e t t i n g u s e r s d e s c r i b e a g e o m e t r i -
c a l o b j e c t i n 3 D t h r o u g h t h e i r g e s t u r e s . B e s i d e s t r a c k -
i n g t h e n g e r , t h e s y s t e m p r o v i d e s , a s a b y - p r o d u c t , a
p a r t i a l m o d e l o f t h e p o s e o f c e r t a i n p a r t s o f t h e u s e r ' s
T h e r e s e a r c h r e p o r t e d h e r e w a s s u p p o r t e d b y t h e N a t i o n a l
S c i e n c e F o u n d a t i o n g r a n t E I A - 9 7 3 2 5 2 2 .
b o d y . I n p a r t i c u l a r , w e a r e a b l e t o r e c o r d t h e r e l a t i v e
3 D p o s i t i o n s o f a u s e r ' s n g e r , e l b o w , s h o u l d e r a n d
h e a d . A f t e r i n i t i a l t r a i n i n g f o r s k i n d e t e c t i o n , t h e s y s -
t e m i s f u l l y a u t o m a t e d a n d d o e s n o t r e q u i r e h u m a n
i n t e r v e n t i o n .
R e s e a r c h e r s h a v e b e e n w o r k i n g o n t h e p r o b l e m
o f a g e s t u r e - b a s e d i n t e r f a c e f o r s e v e r a l y e a r s n o w
1 , 2 , 4 , 6 , 7 ] . S o m e o f t h e s y s t e m s i m p l e m e n t e d
h a v e b e e n a b l e t o t r a c k 3 D h a n d p o s i t i o n r a t h e r a c -
c u r a t e l y . G l o v e - b a s e d s y s t e m s , s u c h a s \ C h a r a d e " b y
B a u d e l a n d B e a u d o u i n - L a f o n 1 ] , r e q u i r e t h e u s e r t o
w e a r a t e t h e r e d g l o v e . V i s i o n r e s e a r c h e r s h a v e h a d
s i m i l a r s u c c e s s w i t h o u t t h e u s e o f s p e c i a l h a r d w a r e
a t t a c h e d t o t h e u s e r ' s h a n d . I n G e s t u r e V R 6 ] , S e g e n
a n d K u m a r u s e a s t e r e o p a i r o f c a l i b r a t e d c a m e r a s .
F o r d e p t h i n f o r m a t i o n , M a g g i o n i 4 ] a s w e l l a s K j e l d -
s e n a n d K e n d e r 2 ] a n a l y z e t h e s i z e o f t h e p r o j e c t i o n
o f t h e u s e r ' s h a n d . R e h g a n d K a n a d e 5 ] d e s c r i b e D i g -
i t E y e s , a m o d e l - b a s e d h a n d t r a c k i n g s y s t e m t h a t u s e s
t w o c a m e r a s t o r e c o v e r t h e s t a t e o f h a n d .
O u r s y s t e m u s e s s e v e r a l t e c h n i q u e s p r e v i o u s l y d e -
v e l o p e d f o r h a n d t r a c k i n g , b u t e x t e n d s c e r t a i n m e t h -
o d s t o h a n d l e a l a r g e r v i e w w i n d o w a n d t o o v e r c o m e
l i m i t a t i o n s o f a s i n g l e c a m e r a . T h e s y s t e m w a s s p e c i f -
i c a l l y d e s i g n e d t o a v o i d t h e n e e d t o c a l i b r a t e t h e c a m -
e r a , t o e m p l o y m u l t i p l e c a m e r a s , o r t o r e s t r a i n t h e
u s e r ' s h a n d t o a l i m i t e d a r e a .
T h e s y s t e m r s t a u t o m a t i c a l l y i d e n t i e s t w o a r m s
a n d t h e f a c e u s i n g s k i n d e t e c t i o n m e t h o d s o n e a c h
f r a m e . T h e n t h e n g e r t i p o f t h e g e s t i c u l a t i n g h a n d
i s d e t e r m i n e d b y i d e n t i f y i n g t h e p i x e l o n t h e a r m c o n -
t o u r a t w h i c h t h e d o t p r o d u c t o f t w o v e c t o r s a l o n g
t h e c o n t o u r i s m a x i m u m . T h e h e a d , s h o u l d e r , a n d e l -
b o w p o s i t i o n s a r e d e t e r m i n e d i n o r d e r t o m e a s u r e t h e
l e n g t h o f t h e p r o j e c t i o n s o f a u s e r ' s u p p e r a n d l o w e r
a r m .
P r e v i o u s a p p r o a c h e s t y p i c a l l y o n l y c o n s i d e r i m a g e s
w h e r e o n l y o n e h a n d a n d a s m a l l p o r t i o n o f t h e f o r e -
8/2/2019 A Virtual d Blackboard
2/8
F i g u r e 1 : E x a m p l e s k i n i m a g e a n d t r a i n i n g m a s k p a i r
a r m a r e v i s i b l e , r e d u c i n g c o m p l e x i t y . B y u s i n g a l a r g e r
v i e w w i n d o w , w e a r e a b l e t o u s e i n f o r m a t i o n a b o u t t h e
r e s t o f t h e b o d y i n o u r 3 D n g e r t r a c k i n g m e t h o d s .
S i n c e b o n e s h a v e c o n s t a n t l e n g t h , i f o n e e n d i s h e l d
m o t i o n l e s s , t h e p o s s i b l e l o c a t i o n s o f t h e o t h e r e n d c a n
b e d e s c r i b e d b y a s p h e r e w h o s e r a d i u s i s e q u a l t o t h e
l e n g t h o f t h e b o n e . F r o m a s e q u e n c e o f i m a g e s , i f w e
c a n n d c e r t a i n b o d y p a r t s w e c a n r e c o n s t r u c t t h e s e
s p h e r e s a n d t h u s t h e 3 D r e p r e s e n t a t i o n o f a u s e r ' s a r m .
T h e o r g a n i z a t i o n o f t h e r e s t o f t h e p a p e r i s a s f o l -
l o w s . I n t h e n e x t s e c t i o n , w e w i l l d e v e l o p m e t h o d s
f o r a r m s e g m e n t a t i o n t h r o u g h s k i n d e t e c t i o n , a n d a r m
n d i n g t h r o u g h c e n t r o i d t r a c k i n g . W e w i l l d i s c u s s
t e c h n i q u e s f o r h a n d l i n g o c c l u s i o n a n d u s e o f t h e c o n -
t o u r o f t h e a r m t o d e t e r m i n e t h e l o c a t i o n o f t h e n g e r .
S e c t i o n 3 w i l l d e a l w i t h b o d y t r a c k i n g . I n s e c t i o n 4 ,
w e w i l l s h o w h o w w e c a n c o m b i n e t h e s e d a t a t o a c -
c u r a t e l y t r a c k t h e 3 D p o s i t i o n o f a u s e r ' s n g e r . T o
i m p r o v e n g e r t r a c k i n g , w e a p p l y s m o o t h i n g t o t h e 3 D
t r a j e c t o r i e s , w h i c h i s d i s c u s s e d i n s e c t i o n 5 . R e s u l t s
w i l l b e p r e s e n t e d i n s e c t i o n 6 , f o l l o w e d b y d i s c u s s i o n
i n s e c t i o n 7 .
2 A r m S e g m e n t a t i o n
2 . 1 S k i n D e t e c t i o n
F o r t h e d e t e c t i o n o f s k i n r e g i o n s , o u r p r o g r a m u s e s
a p r e c a l c u l a t e d h i s t o g r a m - l i k e s t r u c t u r e c a l l e d a C o l o r
P r e d i c a t e ( C P ) . W e u s e t h e m e t h o d d e v e l o p e d b y
K j e l d s e n a n d K e n d e r 3 ] , w h o a l s o a p p l i e d t h e C P t o -
w a r d n d i n g s k i n . W e t r a i n e d o u r C o l o r P r e d i c a t e
w i t h s e v e r a l c o l o r i m a g e s a n d c o r r e s p o n d i n g h a n d -
d r a w n b i n a r y m a s k s ( F i g u r e 1 ) . A f t e r t r a i n i n g , t h e
C P d a t a w a s s t o r e d a n d u s e d r e p e a t e d l y f o r d i e r e n t
i m a g e s e t s .
T h e a p p l i c a t i o n o f t h e C o l o r P r e d i c a t e t o a n o v e l
c o l o r f r a m e p r o d u c e d a b i n a r y s k i n i m a g e . W e u s e d
a m e d i a n - l t e r o n t h e b i n a r y s k i n i m a g e t o r e d u c e
n o i s e . T h e r e s u l t i n g s k i n i m a g e w a s c l e a r , w i t h f e w
g a p s . S o m e t i m e s p a c k e t s o f n o i s e w o u l d a p p e a r , w h e r e
b a c k g r o u n d p i x e l s w e r e m i s t a k e n l y i d e n t i e d a s s k i n .
T h e s e p i x e l s , h o w e v e r , w e r e r e m o v e d u s i n g a s i z e l t e r
i n l a t e r p r o c e s s i n g b e c a u s e t h e y a l w a y s f o r m e d s m a l l
F i g u r e 2 : S k i n o u t p u t a n d a d i e r e n c e o f t w o c o n s e c -
u t i v e s k i n p i c t u r e s
r e g i o n s t h a t c o u l d s a f e l y b e i g n o r e d .
2 . 2 I d e n t i f y i n g t h e A r m
I n t h e b i n a r y s k i n i m a g e , w e e x p e c t t h r e e r e g i o n s {
t h e h e a d a n d t w o a r m s . S e g m e n t a t i o n o f t h e s k i n i m -
a g e u s e s c o n n e c t e d c o m p o n e n t s t o i d e n t i f y l a r g e c o n -
t i g u o u s r e g i o n s . T h e t h r e e l a r g e s t r e g i o n s o f a t l e a s t
a c e r t a i n p i x e l s i z e a r e c u l l e d , a n d t h e i r c e n t r o i d s a r e
c a l c u l a t e d .
T h e s e l a r g e s t s k i n r e g i o n s a r e i d e n t i e d i n e a c h
f r a m e o f a s e q u e n c e . N e x t , w e m a t c h c e n t r o i d s f r o m
o n e f r a m e t o n e a r b y c e n t r o i d s i n t h e n e x t , i n s u r i n g
c o n t i n u i t y . A s s u m e t h e r e a r e i c e n t r o i d s i n o n e f r a m e ,
r e p r e s e n t e d b y c
1
: : : c
i
, a n d j c e n t r o i d s i n t h e n e x t
f r a m e , r e p r e s e n t e d b y d
1
: : : d
j
. W e t r y t o m a t c h c e n -
t r o i d s b y r e - o r d e r i n g d
1
: : : d
j
s o t h a t w e m i n i m i z e
P
m i n ( i j )
n = 1
j c
n
; d
n
j , w h e r e j c
n
; d
n
j i s t h e E u c l i d e a n
d i s t a n c e b e t w e e n c
n
a n d d
n
. L a t e r o n w e w i l l d i s -
c u s s h o w t h e s y s t e m h a n d l e s o c c l u s i o n , w h i c h c h a n g e s
t h e n u m b e r o f c e n t r o i d s f o u n d f r o m f r a m e t o f r a m e
( i 6= j ) .
T o n d t h e a r m , w e a s s u m e t h a t t h e f a s t e s t m o v i n g
c e n t r o i d b e l o n g s t o t h e g e s t i c u l a t i n g a r m . T o c a l c u l a t e
m o t i o n , w e c o m p u t e t h e d i s t a n c e e a c h c e n t r o i d m o v e s
f r o m o n e f r a m e t o t h e n e x t . I f t h e l a r g e s t c e n t r o i d
d e l t a i s l o w e r t h a n a c e r t a i n t h r e s h o l d , w e n o t e t h a t
t h e r e i s i n s u c i e n t m o t i o n t o d i s t i n g u i s h t h e a r m , s o
w e u s e i n f o r m a t i o n a b o u t w h i c h c e n t r o i d w a s a c c u -
r a t e l y t r a c k e d a s t h e a r m i n p r e v i o u s f r a m e s . H o w -
e v e r , i n m o s t c a s e s t h e r e i s e n o u g h m o t i o n t o b e a b l e
t o i d e n t i f y a m o v i n g a r m . F i g u r e 2 s h o w s t h e m o -
t i o n o f c e n t r o i d s b y w a y o f a d i e r e n c e p i c t u r e . T h e
d i e r e n c e o f t w o c o n s e c u t i v e s k i n f r a m e s s h o w s a s i g -
n i c a n t m o t i o n o f t h e g e s t i c u l a t i n g a r m , a n d s m a l l
m o t i o n a r o u n d t h e h e a d a n d r i g h t a r m .
2 . 3 F i n d i n g t h e F i n g e r
U s i n g t h e s e g m e n t e d a r m r e g i o n , w e c a n n d t h e
m o s t l i k e l y p o s i t i o n o f t h e n g e r i n t h e r e g i o n . W e
r s t c a l c u l a t e a n e d g e c o n t o u r o f t h e a r m b y n o t -
i n g t h a t a n y p i x e l o n t h e a r m r e g i o n t h a t h a s 4 -
c o n n e c t i v i t y w i t h a n o n - a r m r e g i o n b e l o n g s t o t h e
2
8/2/2019 A Virtual d Blackboard
3/8
b o u n d a r y . T r a v e r s i n g t h i s p i x e l o u t l i n e i n a n a r b i -
t r a r y d i r e c t i o n , w e d e t e r m i n e a l i s t o f c o n n e c t e d c o n -
t o u r p i x e l s .
W e u s e a n a p p r o x i m a t i o n t o k - c u r v a t u r e , t h e d o t
p r o d u c t . S e g e n a n d K u m a r 6 ] c o m p u t e k - c u r v a t u r e ,
w h o s e m e a s u r e i s d e n e d b y t h e a n g l e b e t w e e n t w o
v e c t o r s P ( i ; k ) P ( i ) ] a n d P ( i ) P ( i + k ) ] , w h e r e k
i s a c o n s t a n t a n d P ( i ) = ( x ( i ) y ( i ) ) , t h e l i s t o f c o n -
t o u r p o i n t s . S e g e n a n d K u m a r u s e d l o c a l c u r v a t u r e
e x t r e m a , b u t w e n e e d o n l y o n e s i n g l e n g e r p o i n t . I n -
s t e a d , w e c a l c u l a t e t h e d o t p r o d u c t f o r e a c h p o i n t o n
t h e o u t l i n e .
F o r a p p r o p r i a t e v a l u e s o f k , t h e v a l u e o f t h e d o t
p r o d u c t c a n b e u s e d t o n d t h e n g e r t i p . I f w e t a k e
a p i x e l n e a r t h e n g e r a n d e x t e n d t w o v e c t o r s k p i x e l s
a w a y a l o n g t h e o u t l i n e , t h e v e c t o r s w i l l p o i n t i n s i m i l a r
d i r e c t i o n s a n d t h u s w i l l h a v e a h i g h v a l u e o f a d o t
p r o d u c t . T h e v e c t o r s f o r m e d a t a p i x e l o n t h e a r m
w i l l h a v e a l a r g e b u t n e g a t i v e d o t p r o d u c t . T h u s , w e
c o m p u t e t h e d o t p r o d u c t f o r a l l o u t l i n e p i x e l s a n d n d
t h e h i g h e s t v a l u e s . T y p i c a l l y , t h e r e i s a u n i q u e h i g h e s t
v a l u e , w h i c h i s t h e n g e r t i p . W h e n m u l t i p l e p i x e l s
h a v e e q u a l l y h i g h d o t p r o d u c t s , w e c h o o s e t h e p i x e l
t h a t i s c l o s e s t t o t h e p r e v i o u s n g e r p o s i t i o n .
F i g u r e 3 s h o w s a n e x a m p l e f o r d o t p r o d u c t c a l c u l a -
t i o n s . B o t h v e c t o r s c a n d b e x t e n d o u t w a r d f r o m t h e
d a r k e r p i x e l . F o r t h e e x a m p l e w h e r e c b > 0 ( l e f t ) ,
k = 3 . F o r t h e o t h e r e x a m p l e s ( c e n t e r a n d r i g h t ) ,
k = 2 .
I n a l l i m a g e s w h e r e t h e n g e r w a s v i s i b l e i n t h e
s k i n i m a g e , t h e a p p r o a c h w o r k e d w e l l . W h e n t h e n -
g e r o c c l u d e s p o r t i o n s o f t h e h a n d , t h e m e t h o d n d s
r e a s o n a b l e e s t i m a t e s , b e c a u s e a h a n d g e n e r a l l y h a s a
h i g h e r c u r v a t u r e t h a n o t h e r p a r t s o f t h e a r m . F i g u r e s
4 a n d 5 s h o w s o m e e x a m p l e r e s u l t s .
W e c a n a l s o u s e t h e v a l u e o f t h e d o t p r o d u c t c b
t o j u d g e t h e a c c u r a c y o f o u r t r a c k e r . I f c b > 0 , w e
r e c o r d a h i g h l e v e l o f \ c o n d e n c e " . I f c b = 0 , w e
r e c o r d a l e s s e r c o n d e n c e l e v e l , a n d i f c b 0 .
F i g u r e 3 : E x a m p l e d o t p r o d u c t c a l c u l a t i o n s
F i g u r e 4 : C o n t o u r o f a r m , h i g h e s t d o t p r o d u c t m a r k e d
F i g u r e 5 : C o n t o u r o f a r m / h e a d r e g i o n , h i g h e s t d o t
p r o d u c t m a r k e d
2 . 4 O c c l u s i o n
P r e v i o u s s e c t i o n s a s s u m e d t h a t t h e r e w e r e e q u a l
n u m b e r o f c e n t r o i d s f o u n d i n a l l f r a m e s . T h i s i s n o t
a l w a y s t r u e , b e c a u s e a t t i m e s a m o v i n g a r m c a n o c -
c l u d e t h e h e a d o r t h e o t h e r a r m . W h e n t h i s h a p p e n s ,
a c e n t r o i d i s a p p a r e n t l y l o s t , t h r o w i n g o c a l c u l a t i o n s
t h a t t r y t o m a t c h c e n t r o i d s b e t w e e n t w o f r a m e s o r
t h a t n d t h e c e n t r o i d w h i c h m o v e d t h e m o s t .
O u r a p p r o a c h i s t o p l a c e t h e m i s s i n g \ g h o s t " c e n -
t r o i d o n t o p o f t h e c e n t r o i d o f t h e l a r g e s t r e g i o n .
I g n o r i n g t h e m i s s i n g c e n t r o i d w o u l d c a u s e p r o b l e m s
w h e n t r y i n g t o n d t h e m o v i n g h a n d . I n g u r e 6 , f o r
e x a m p l e , t h e a r m r e g i o n i n t e r s e c t s w i t h t h e f a c e r e -
g i o n i n t h e m i d d l e p a i r o f i m a g e s , c a u s i n g p r o b l e m s i n
t h e n e x t f r a m e ( b o t t o m p a i r ) .
W h e n a t t e m p t i n g t o c o r r e l a t e c e n t r o i d s b e t w e e n
f r a m e s , i f t h e n u m b e r o f c e n t r o i d s a r e n o t e q u a l , w e
c a n n o t c a l c u l a t e t h e d i s t a n c e m o v e d f o r e a c h p a i r o f
c e n t r o i d s s i n c e t h e r e i s a l a c k o f p a r i t y . T h u s , w e
e m p l o y a \ g h o s t " c e n t r o i d . T h i s \ g h o s t " c e n t r o i d i s
i g n o r e d f o r a n y m a t h e m a t i c a l c a l c u l a t i o n s , b u t w h e n
t w o c e n t r o i d s a p p e a r t o b e c o m e t h r e e { l e t ' s s a y i f t h e
h a n d t h a t o c c l u d e d t h e f a c e m o v e s a w a y { t h e m a t c h -
i n g a l g o r i t h m m e n t i o n e d b e f o r e w o u l d w o r k p r o p e r l y .
A p p l i e d t o a s e q u e n c e o f t w e n t y i m a g e s , s p a n n i n g
s e v e r a l s e c o n d s , t h e p r o g r a m w a s a b l e t o o u t p u t a
t r a j e c t o r y o f t h e r e c o r d e d n g e r p o s i t i o n s . E v e n i n
t h e p r e s e n c e o f o c c l u s i o n , t h e r e s u l t s w e r e q u i t e g o o d .
3
8/2/2019 A Virtual d Blackboard
4/8
F i g u r e 6 : E x a m p l e o f o c c l u s i o n
F i g u r e 7 : C i r c u l a r t r a j e c t o r y o f n g e r p o s i t i o n s
t h r o u g h o u t a p a r t i a l c i r c l e m o t i o n
F i g u r e 7 s h o w s t h e t r a j e c t o r y p r o d u c e d w h e n a u s e r
m o v e d h i s h a n d i n a l a r g e c i r c l e ( r a d i u s 1 m ) . T h e
r s t d i s c o n t i n u i t y , a t a b o u t t h e f o u r t h p o i n t f r o m t h e
u p p e r - l e f t , w a s c a u s e d w h e n t h e t r a c k e r l o s e s t h e n -
g e r a s i t o c c l u d e s t h e f a c e . T o s m o o t h t h e r e s u l t s , w e
c a n a p p l y a n a v e r a g i n g c o m p u t a t i o n . F o r e v e r y p o i n t ,
e x c l u d i n g t h e r s t a n d l a s t , w e c a l c u l a t e t h e m i d p o i n t
o f t h e p r e v i o u s a n d n e x t p o i n t . T h e s m o o t h e d p o i n t
i s t h e a v e r a g e o f t h e m i d p o i n t a n d t h e r e c o r d e d p o i n t .
T h e r e s u l t i n g t r a j e c t o r y ( F i g u r e 8 ) i s m o r e e a s i l y i d e n -
t i e d a s a c i r c u l a r s h a p e . L a t e r i n t h i s p a p e r w e w i l l
d e s c r i b e h o w w e u s e a m o d e l o f e r r o r t o d e t e r m i n e
w h e n s m o o t h i n g i s n e c e s s a r y .
F i g u r e 8 : C i r c u l a r t r a j e c t o r y s m o o t h e d w i t h a v e r a g e
l t e r
3 F i n d i n g O t h e r P a r t s o f t h e B o d y
W e t r a c k o t h e r p a r t s o f t h e b o d y : h e a d , s h o u l d e r s
a n d e l b o w , f o r t w o r e a s o n s . F i r s t , w e n e e d m o r e d a t a
t o d e r i v e t h e 3 D p o s i t i o n o f t h e n g e r . S e c o n d , w e c a n
u s e t h i s b o d y d a t a t o i m p r o v e n g e r t r a c k i n g w h e n w e
e n c o u n t e r a l o w c o n d e n c e l e v e l i n t r a c k i n g .
3 . 1 H e a d a n d S h o u l d e r s
T h e l o c a t i o n o f t h e h e a d i s o n l y i n d i r e c t l y u s e d .
T h u s , w e d o n o t n e e d a s o p h i s t i c a t e d h e a d t r a c k e r . W e
s i m p l y n d t h e h i g h e s t c e n t r o i d ( l o w e s t Y c o o r d i n a t e )
t h a t i s n o t t h e m o v i n g a r m . W h e n t h e r e i s o c c l u s i o n ,
w e d o n o t t r a c k t h e h e a d . R a t h e r w e u s e p r e v i o u s
i n f o r m a t i o n a b o u t t h e h e a d ' s p o s i t i o n .
N o w t h a t w e h a v e t h e c e n t r o i d o f t h e h e a d r e -
g i o n , w e c a n a p p r o x i m a t e t h e l o c a t i o n o f t h e s h o u l -
d e r . W h a t m a t t e r s f o r o u r s y s t e m i s t h a t t h e r e l a t i v e
p o s i t i o n o f t h e s h o u l d e r , c o m p a r e d t o t h e r e s t o f t h e
b o d y , r e m a i n s c o n s t a n t . T o a c c o m p l i s h t h i s , w e n o t i c e
t h a t i f t h e u s e r f a c e s f o r w a r d , t h e s h o u l d e r m a i n t a i n s
a x e d d i s t a n c e f r o m t h e c e n t e r o f t h e h e a d . W e r s t
n d t h e \ r a d i u s " r , o f t h e h e a d . E v e n t h o u g h t h e
h e a d r e g i o n i s n o t p e r f e c t l y c i r c u l a r , w e c a n m e a s u r e
i t s a r e a , a
h e a d
. T h u s , a n a p p r o x i m a t i o n t o t h e r a d i u s
o f t h e h e a d i s r =
p
a
h e a d
.
T h e l o c a t i o n o f t h e s h o u l d e r i s a p p r o x i m a t e d b y
a s s u m i n g t h a t i f t h e c e n t r o i d o f t h e h e a d i s a t ( x y ) ,
t h e n t h e l o c a t i o n o f t h e s h o u l d e r i s a t ( x ; r y + r ) ,
w h e r e =
1 +
p
5
2
, t h e g o l d e n r a t i o . T h e s h o u l d e r ' s x
p o s i t i o n i s x + r , i f t h e u s e r i s l e f t - h a n d e d . T h i s
a p p r o x i m a t i o n i s f a i r l y a c c u r a t e w h e n t h e u s e r i s f a c -
i n g t h e c a m e r a . I f w e n d t h a t t h e a p p r o x i m a t i o n i s
i n a c c u r a t e b e c a u s e t h e s h o u l d e r p o i n t i s i n t h e b a c k -
g r o u n d o f t h e i m a g e , w e m o v e t h e s h o u l d e r p o i n t t o
t h e n e a r e s t n o n - b a c k g r o u n d p i x e l .
3 . 2 T h e E l b o w
N e x t , w e n d t h e e l b o w . S i n c e w e k n o w t h e p o -
s i t i o n o f t h e n g e r a n d w e h a v e a s k i n i m a g e o f t h e
a r m , i f w e a s s u m e t h e s k i n o f t h e e l b o w i s v i s i b l e w e
4
8/2/2019 A Virtual d Blackboard
5/8
F i g u r e 9 : S k e l e t o n , s u p e r i m p o s e d
c a n n d t h e e l b o w ' s p o s i t i o n . W e e r o d e t h e a r m s k i n
i m a g e s e v e r a l t i m e s , a p p r o x i m a t i n g a s k e l e t o n i z a t i o n
a l g o r i t h m . T h e n , w e n d a p o i n t o n t h e s k i n i m a g e
t h a t m a x i m i z e s t h e E u c l i d e a n d i s t a n c e b e t w e e n t h a t
p o i n t a n d t h e n g e r . T h i s i s m o s t l i k e l y t h e e l b o w
p o i n t .
C o m b i n i n g t h e b o d y p o i n t s t r a c k e d a n d e s t i m a t e d ,
w e c a n f o r m a s k e l e t o n o f t h e u s e r ' s u p p e r b o d y p o s e .
F i g u r e 9 s h o w s a n e x a m p l e i m a g e . T h e n g e r a n d
b o d y t r a c k i n g i s r o b u s t e n o u g h f o r o u r p u r p o s e s , a n d
h a s w o r k e d f o r v a r y i n g s e t s o f i m a g e i n p u t s . W h e n
t h e n g e r i s p o i n t i n g t o w a r d s t h e c a m e r a , t h e s y s t e m
o c c a s i o n a l l y m i s t r a c k s t h e e l b o w a s t h e n g e r . T o h a n -
d l e s u c h w o r s t - c a s e s c e n a r i o s , w e a p p l y a s i m p l e r u l e ,
c h e c k i n g i f d i s t a n c e f r o m t h e s h o u l d e r t o t h e e l b o w
e x c e e d s t h e d i s t a n c e f r o m t h e e l b o w t o t h e n g e r , a n d
i f t h e n g e r i s c l o s e r t o t h e s h o u l d e r t h a n t h e e l b o w .
I f t h e r u l e i s s a t i s e d , w e s w a p t h e c o o r d i n a t e s o f t h e
n g e r a n d t h e e l b o w . I n t e s t r u n s o n r e a l d a t a , t h e
a b o v e c o n d i t i o n w a s r a r e l y s a t i s e d .
4 D e r i v i n g 3 D I n f o r m a t i o n
A r m e d w i t h b o d y d a t a , a n d w i t h t h e a c c u r a t e
t r a c k i n g r e s u l t s o b t a i n e d a s d e s c r i b e d a b o v e , w e c a n
b e g i n t o d e r i v e 3 D i n f o r m a t i o n . W e r s t a s s u m e t h a t
i n e a c h f r a m e , t h e u s e r w i l l b e m o r e o r l e s s f a c i n g t h e
c a m e r a d i r e c t l y . T h i s a s s u m p t i o n i s v a l i d i f t h e u s e r
k n o w s a b o u t t h e c a m e r a a n d f a c e s i t . T h e a s s u m p -
t i o n a l s o h o l d s f o r n o r m a l u s a g e , a s t h e u s e r w i l l m o s t
l i k e l y b e c o m m u n i c a t i n g t o w a r d a n a u d i e n c e . I n t h a t
c a s e , w e c a n i d e n t i f y t h e v e c t o r o f c o m m u n i c a t i o n a n d
p l a c e t h e c a m e r a s y s t e m n e a r t h e a u d i e n c e s o t h a t t h e
c a m e r a s e e s t h e f r o n t o f t h e u s e r ' s b o d y .
W e a l s o a s s u m e a n o r t h o g r a p h i c p r o j e c t i o n . F o r
p e r s p e c t i v e p r o j e c t i o n , t h e l o c a t i o n o f a p o i n t ( x y z )
i n t h e i m a g e p l a n e i s ( x
0
y
0
) , w h e r e x
0
=
f
z
x , y
0
=
f
z
y ,
a n d f ( f o c a l l e n g t h ) i s a c o n s t a n t . F o r t w o p o i n t s
( x y z ) a n d ( x + x y + y z + z ) , w h e n z i s
l a r g e a n d z i s s m a l l , x c x
0
a n d y c y
0
b e c a u s e
x
z z
x
z
. c i s a n o t h e r c o n s t a n t . F o r o u r s y s t e m ,
z , t h e d i s t a n c e b e t w e e n t h e c a m e r a a n d u s e r , i s m u c h
l a r g e r t h a n z , t h e l e n g t h o f t h e u s e r ' s a r m , s o a n o r -
t h o g r a p h i c p r o j e c t i o n m o d e l r e m a i n s f a i r l y j u s t i a b l e .
B e f o r e w e c a n i n t e r p r e t t h e p o s e o f t h e b o d y , w e
n e e d t o k n o w t h e t r u e p i x e l l e n g t h o f t h e a r m . A c a l -
i b r a t i o n i m a g e i s n o t r e q u i r e d i f w e a s s u m e t h a t i n a t
l e a s t o n e i m a g e o f o u r s e q u e n c e , t h e a r m i s f u l l y e x -
t e n d e d ( F i g u r e 1 0 ) . W e s t o r e t h e l o n g e s t p i x e l l e n g t h s
o f t h e H u m e r u s ( u p p e r a r m ) a n d R a d i u s ( l o w e r a r m ) ,
a s t r u e p i x e l l e n g t h o f t h e a r m .
4 . 1 S p h e r i c a l K i n e m a t i c s
H u m a n b o n e s h a v e c o n s i s t e n t l e n g t h . S i n c e t h e d i s -
t a n c e f r o m t h e e l b o w t o t h e s h o u l d e r i s x e d , t h e e l -
b o w c a n o n l y m o v e t a n g e n t t o a c e r t a i n s p h e r e . T h e
c e n t e r o f t h i s s p h e r e i s t h e s h o u l d e r , a n d i t s r a d i u s i s
t h e l e n g t h o f t h e u p p e r a r m . I g n o r i n g t h e h a l f - s p a c e
b e h i n d t h e p l a n e o f t h e b o d y , w e a r e l e f t w i t h t h e s u r -
f a c e o f o n e h e m i s p h e r e . I f w e l o o k a t t h e h e m i s p h e r e
a l o n g t h e p o l a r a x i s , w e c a n s e e t h e e n t i r e s u r f a c e o f
t h e h e m i s p h e r e . T h a t i s , a l o n g t h e p o l a r a x i s , w e c a n
c o l l a p s e t h e h e m i s p h e r e f r o m 3 D t o 2 D w i t h o u t a l o s s
o f i n f o r m a t i o n , a s w e l l a s r e c o v e r t h e h e m i s p h e r e f r o m
i t s 2 D p r o j e c t i o n .
I n a l g e b r a i c t e r m s , w e c a n d e s c r i b e a l l p o s s i b l e l o -
c a t i o n s ( x y z ) o f t h e e l b o w i f w e k n o w r , t h e l e n g t h
o f t h e u p p e r a r m . T h e s h o u l d e r i s p l a c e d a t t h e o r i g i n .
l i s t h e m e a s u r e d l e n g t h o f t h e 2 D p r o j e c t i o n o f t h e
u p p e r a r m i n t h e c u r r e n t i m a g e .
x
2
+ y
2
+ z
2
= r
2
( 1 )
z
2
= r
2
; ( x
2
+ y
2
) ( 2 )
z =
p
r
2
; l
2
( 3 )
F i g u r e 1 0 : F u l l y e x t e n d e d a r m
5
8/2/2019 A Virtual d Blackboard
6/8
I g n o r i n g t h e h a l f - s p a c e b e h i n d t h e b o d y p l a n e ,
z = +
p
r
2
; l
2
( 4 )
S i n c e w e c a n d i r e c t l y m e a s u r e l a n d h a v e a r e a s o n -
a b l e e s t i m a t e f o r r , w e c a n e a s i l y c a l c u l a t e z . T h i s z i s
a r e l a t i v e Z . I f w e s e t z
s h o u l d e r
= 0 , t h e n z
e l b o w
= 0 + z .
U s i n g a s i m i l a r l i n e o f r e a s o n i n g , w e s e e t h a t t h e n g e r
c a n o n l y m o v e i n a c e r t a i n s p h e r e a r o u n d t h e e l b o w .
W e c a l c u l a t e r e l a t i v e Z a s a b o v e , u s i n g t h e l e n g t h
o f t h e f o r e a r m a n d t h e l e n g t h o f i t s 2 D p r o j e c t i o n .
T h e r e f o r e z
f i n g e r
= z
e l b o w
+ z
r e l a t i v e
, w h e r e z
r e l a t i v e
i s s o l v e d f r o m e q u a t i o n 4 . A p p l y i n g t h e s e e q u a t i o n s
t o o n e f r a m e o f a s e q u e n c e , w e d e r i v e 3 D i n f o r m a t i o n
a b o u t t h e u s e r ' s a r m ( S e e F i g u r e 1 1 ) .
W h e n w e i g n o r e t h e n e g a t i v e s o l u t i o n f o r e q u a t i o n
4 , w e i m p l y t h a t t h e n g e r w i l l a l w a y s b e i n f r o n t
o f t h e e l b o w , a n d t h a t t h e e l b o w w i l l a l w a y s b e i n
f r o n t o f t h e s h o u l d e r ( f r o m t h e u s e r ' s p o i n t o f v i e w ) .
T h e l a t t e r i s a l m o s t a l w a y s t r u e f o r a l l g e s t u r e s , w h i l e
t h e f o r m e r m a y n o t b e t r u e . I n m o s t g e s t u r e s , t h e
n g e r p o i n t s a w a y f r o m t h e b o d y , b u t t h e r e a r e a f e w
g e s t u r e s w h e r e t h i s i s n o t t h e c a s e . T h e a s s u m p t i o n
o f a n o r t h o g r a p h i c p r o j e c t i o n a l s o h a s a n e e c t , b u t
s i n c e w e a r e c o n c e r n e d w i t h t h e r e l a t i v e 3 D p o s i t i o n s
o f t h e n g e r , a s l i g h t w a r p i n g i s u n i m p o r t a n t a n d c a n
b e i g n o r e d .
5 S m o o t h i n g
T o i m p r o v e t h e r e s u l t s o f o u r n g e r t r a c k i n g , w e
c a n a p p l y s m o o t h i n g t o t h e 3 D t r a j e c t o r i e s t o r e d u c e
t h e e e c t o f n o i s e . I f w e c a n e s t i m a t e e r r o r , w e c a n
a d j u s t t h e l e v e l o f s m o o t h i n g b a s e d o n t h i s e s t i m a t e d
e r r o r . T h e m o d e l o f e r r o r w e u s e d w a s b a s e d o n t h e
F i g u r e 1 1 : V a r i o u s v i e w s o f a u s e r ' s 3 D p o s e
F i g u r e 1 2 : F r a m e s f r o m s e m i - c i r c l e m o t i o n
F i g u r e 1 3 : 3 D T r a j e c t o r y o u t p u t f r o m s e m i - c i r c l e m o -
t i o n
l i n e a r c o m b i n a t i o n o f f o u r p a r a m e t e r s . W e r e c o r d c o n -
d e n c e , w h i c h i s i n v e r s e l y p r o p o r t i o n a l t o e r r o r .
T h e r s t p a r a m e t e r w a s t h e v a l u e o f t h e d o t p r o d -
u c t . L a r g e r d o t p r o d u c t s s i g n i f y a l a r g e r v a l u e o f c o n -
d e n c e , a s h i g h d o t p r o d u c t s a r e f o u n d w h e n a n g e r
i s v i s i b l e .
T h e n e x t p a r a m e t e r w e l o o k a t i s t h e p r o b a b l e o c -
c l u s i o n f a c t o r . T h a t i s , w e c a n u s e i n f o r m a t i o n a b o u t
h o w a 3 D p o s e m a k e s n g e r t r a c k i n g d i c u l t t o i m -
p r o v e t h e 2 D t r a c k i n g . W h e n t h e n g e r p o i n t s t o w a r d s
t h e c a m e r a , i t b e c o m e s h a r d e r t o n d t h e n g e r b a s e d
o n t h e c o n t o u r o f t h e a r m ' s s k i n i m a g e . W h e n t h e
n g e r i s p o i n t i n g i n a d i r e c t i o n o r t h o g o n a l t o t h e e y e
v e c t o r o f t h e c a m e r a , n g e r t r a c k i n g i s e a s i e r a s l e s s
o f t h e n g e r i s a p p a r e n t l y o c c l u d e d b y t h e r e s t o f t h e
a r m . T h u s , t h e c o n d e n c e w e r e c o r d w i l l b e p r o p o r -
t i o n a l t o t h e m e a s u r e d l e n g t h o f t h e u s e r ' s f o r e a r m .
N e x t , w e m e a s u r e o c c l u s i o n a n o t h e r w a y b y l o o k i n g
a t t h e n u m b e r o f s k i n r e g i o n s w e n d . D u r i n g o c c l u -
s i o n , t h e n u m b e r o f s k i n r e g i o n s d e c r e a s e s a n d o u r
e s t i m a t e d c o n d e n c e a l s o d e c r e a s e s . S o , c o n d e n c e
6
8/2/2019 A Virtual d Blackboard
7/8
8/2/2019 A Virtual d Blackboard
8/8
F i g u r e 1 7 : S a d d l e p o i n t m o t i o n t r a j e c t o r y ( f r o n t )
F i g u r e 1 8 : A n i m a t i o n o f t r a j e c t o r y i n 3 D
c e r t a i n a m o u n t o f e r r o r t o t h e t r a c k i n g . A s s u c h , t h e
t r a c k i n g i s n o t a s p r e c i s e a s o t h e r s y s t e m s t h a t e m p l o y
m o r e c a m e r a s a n d u s e a s m a l l e r e l d o f v i e w . O n t h e
o t h e r h a n d , o u r s y s t e m n e e d n o t b e p r e - c a l i b r a t e d a n d
c a n b e s e t u p q u i c k l y .
T h e s y s t e m r e p o r t e d s o f a r c o u l d b e a p p l i e d t o w a r d
m a n y d i e r e n t p o s s i b l e a p p l i c a t i o n s . A l t h o u g h i t w a s
g e n e r a l l y t e s t e d o n s i m p l e 3 D g e o m e t r i c m o t i o n s , t h e
s y s t e m c o u l d j u s t a s e a s i l y b e a p p l i e d t o w a r d r e c o r d -
i n g o t h e r t y p e s o f g e s t u r e s w h e r e r e l a t i v e p o s i t i o n i s
i m p o r t a n t .
A n o t h e r p o s s i b l e u s e f o r t h e s y s t e m w o u l d b e a s
a v i r t u a l m o u s e f o r a v e r y l a r g e s c r e e n . W i t h s o m e
k n o w l e d g e o f t h e e n v i r o n m e n t , t h e s y s t e m w o u l d b e
a b l e t o d e t e r m i n e w h a t t h e u s e r i s p o i n t i n g a t . I n
a s i m i l a r w a y , t h e s y s t e m c o u l d b e u s e d a s a g a m e
c o n t r o l l e r f o r c e r t a i n t y p e s o f g h t i n g a n d s h o o t i n g
a r c a d e g a m e s .
T h e o r i g i n a l i n t e n t o f t h e s y s t e m w a s t o g i v e p r o f e s -
s o r s t h e a b i l i t y t o g e s t u r e a 3 D g e o m e t r i c a l o b j e c t . W e
h a v e s h o w n t h a t t h e s y s t e m h a s t h i s c a p a b i l i t y . A l -
t h o u g h t h e s y s t e m d o e s n o t a u t o m a t i c a l l y c l a s s i f y t h e
g e s t u r e , t h e r e c o r d e d t r a j e c t o r i e s a n d t h e i r g r a p h i c a l
r e p r e s e n t a t i o n s s e e m u s e f u l e n o u g h b y t h e m s e l v e s .
8 C o n c l u s i o n
W e h a v e p r e s e n t e d a s y s t e m t h a t a c c u r a t e l y t r a c k s
a u s e r ' s n g e r i n 3 D , u s i n g o n l y a s i n g l e c a m e r a . W i t h -
o u t r e q u i r i n g t h e u s e r t o w e a r a g l o v e o r s t a n d n e a r
t h e c a m e r a s y s t e m , o u r a p p r o a c h l e t s t h e u s e r c o m -
m u n i c a t e a 3 D g e o m e t r i c a l m o t i o n t o a c a m e r a s e v -
e r a l m e t e r s a w a y . T h i s s y s t e m c o u l d e a s i l y b e u s e d
i n a t e a c h i n g e n v i r o n m e n t , o r a s a n i n t u i t i v e g e s t u r e
i n t e r f a c e a t a d i s t a n c e .
R e f e r e n c e s
1 ] T . B a u d e l a n d M . B e a u d o u i n - L a f o n , \ C h a r a d e : R e -
m o t e c o n t r o l o f o b j e c t s u s i n g f r e e - h a n d g e s t u r e s , "
C A C M , v o l . 3 6 , n o . 7 , p p . 2 8 - 3 5 , 1 9 9 3 .
2 ] R . K j e l d s e n a n d J . K e n d e r , \ T o w a r d s t h e u s e o f
G e s t u r e i n T r a d i t i o n a l U s e r I n t e r f a c e s , " P r o c . I n t e r -
n a t i o n a l C o n f e r e n c e o n A u t o m a t i c F a c e a n d G e s t u r e
R e c o g n i t i o n , p p . 1 5 1 - 1 5 6 . O c t o b e r 1 9 9 6 .
3 ] R . K j e l d s e n a n d J . K e n d e r , \ ` F i n d i n g S k i n i n C o l o r I m -
a g e s , " P r o c . I n t l . C o n f . o n A u t o m a t i c F a c e a n d G e s t u r e
R e c o g n i t i o n , p p . 3 1 2 - 3 1 7 . O c t 1 9 9 6 .
4 ] C . M a g g i o n i , \ G e s t u r e C o m p u t e r - N e w W a y s o f O p e r -
a t i n g a C o m p u t e r , " P r o c . I n t e r n a t i o n a l C o n f e r e n c e o n
A u t o m a t i c F a c e a n d G e s t u r e R e c o g n i t i o n , p p . 1 6 6 - 1 7 1 .
J u n e 1 9 9 5 .
5 ] J . R e h g a n d T . K a n a d e , \ V i s u a l T r a c k i n g o f H i g h
T r a c k i n g o f H i g h D O F A r t i c u l a t e d S t r u c t u r e s : A n A p -
p l a t i o n t o H u m a n H a n d T r a c k i n g , " P r o c . E u r o p e a n
C o n f . o n C o m p . V i s . , p p . 3 5 - 4 6 , M a y 1 9 9 4 .
6 ] J . S e g e n a n d S . K u m a r , \ H u m a n - C o m p u t e r I n t e r a c t i o n
u s i n g G e s t u r e R e c o g n i t i o n a n d 3 D H a n d T r a c k i n g , "
P r o c . I C I P , C h i c a g o , p p . 1 8 8 - 1 9 2 , 1 9 9 8 .
7 ] M . K r u e g e r , A r t i c i a l R e a l i t y I I , A d d i s o n - W e s l e y P u b -
l i s h i n g , 1 9 9 1 .
8