A Virtual d Blackboard

Embed Size (px)

Citation preview

  • 8/2/2019 A Virtual d Blackboard

    1/8

    A V i r t u a l 3 D B l a c k b o a r d : 3 D F i n g e r T r a c k i n g u s i n g a S i n g l e C a m e r a

    A n d r e w W u M u b a r a k S h a h a n d N . d a V i t o r i a L o b o

    D e p a r t m e n t o f C o m p u t e r S c i e n c e S c h o o l o f C o m p u t e r S c i e n c e

    U n i v e r s i t y o f I l l i n o i s a t U r b a n a - C h a m p a i g n U n i v e r s i t y o f C e n t r a l F l o r i d a

    U r b a n a , I L 6 1 8 0 1 O r l a n d o , F L 3 2 8 1 6

    a w u @ u i u c . e d u s h a h , n i e l s @ c s . u c f . e d u

    A b s t r a c t

    W e p r e s e n t a m e t h o d f o r t r a c k i n g t h e 3 D p o s i t i o n

    o f a n g e r , u s i n g a s i n g l e c a m e r a p l a c e d s e v e r a l m e -

    t e r s a w a y f r o m t h e u s e r . A f t e r s k i n d e t e c t i o n , w e u s e

    m o t i o n t o i d e n t i f y t h e g e s t i c u l a t i n g a r m . T h e n g e r

    p o i n t i s f o u n d b y a n a l y z i n g t h e a r m ' s o u t l i n e . T o d e -

    r i v e a 3 D t r a j e c t o r y , w e r s t t r a c k 2 D p o s i t i o n s o f

    t h e u s e r ' s e l b o w a n d s h o u l d e r . G i v e n t h a t a h u m a n ' s

    u p p e r a r m a n d l o w e r a r m h a v e c o n s i s t e n t l e n g t h , w e

    o b s e r v e t h a t t h e p o s s i b l e l o c a t i o n s o f a n g e r a n d e l b o w

    f o r m t w o s p h e r e s w i t h c o n s t a n t r a d i i . F r o m t h e p r e -

    v i o u s l y t r a c k e d b o d y p o i n t s , w e c a n r e c o n s t r u c t t h e s e

    s p h e r e s , c o m p u t i n g t h e 3 D p o s i t i o n o f t h e e l b o w a n d

    n g e r . T h e s e s t e p s a r e f u l l y a u t o m a t e d a n d d o n o t r e -

    q u i r e h u m a n i n t e r v e n t i o n . T h e s y s t e m p r e s e n t e d c a n

    b e u s e d a s a v i s u a l i z a t i o n t o o l , o r a s a u s e r i n p u t i n -

    t e r f a c e , i n c a s e s w h e n t h e u s e r w o u l d r a t h e r n o t b e

    c o n s t r a i n e d b y t h e c a m e r a s y s t e m .

    1 I n t r o d u c t i o n

    T h e e x p r e s s i o n o f 3 D c o n c e p t s i n a c l a s s r o o m e n v i -

    r o n m e n t h a s t r a d i t i o n a l l y b e e n l i m i t e d t o a 2 D m e d i a ,

    t h e b l a c k b o a r d . A p r o f e s s o r w h o w i s h e s t o c o m m u n i -

    c a t e t h e i d e a o f a \ s a d d l e p o i n t " i n C a l c u l u s m u s t

    e i t h e r a t t e m p t a 2 D c h a l k r e n d e r i n g o r n d s o m e

    p h y s i c a l a n a l o g u e t o d i s p l a y . A s i m i l a r d i c u l t y i s

    e n c o u n t e r e d i n h u m a n - c o m p u t e r i n t e r a c t i o n s , w h e r e

    u s e r s o f t e n m a n i p u l a t e n o n - i n t u i t i v e c o n t r o l d e v i c e s .

    I n b o t h e n v i r o n m e n t s , s t a n d a r d m e a n s o f e x p r e s s i o n

    b e c o m e u n w i e l d y w h e n u s e r s t r y e x p r e s s i n g h i g h e r d i -

    m e n s i o n a l c o n c e p t s .

    T h i s p a p e r d e s c r i b e s a s y s t e m t h a t c a n i n f e r t h e 3 D

    l o c a t i o n o f a n g e r , l e t t i n g u s e r s d e s c r i b e a g e o m e t r i -

    c a l o b j e c t i n 3 D t h r o u g h t h e i r g e s t u r e s . B e s i d e s t r a c k -

    i n g t h e n g e r , t h e s y s t e m p r o v i d e s , a s a b y - p r o d u c t , a

    p a r t i a l m o d e l o f t h e p o s e o f c e r t a i n p a r t s o f t h e u s e r ' s

    T h e r e s e a r c h r e p o r t e d h e r e w a s s u p p o r t e d b y t h e N a t i o n a l

    S c i e n c e F o u n d a t i o n g r a n t E I A - 9 7 3 2 5 2 2 .

    b o d y . I n p a r t i c u l a r , w e a r e a b l e t o r e c o r d t h e r e l a t i v e

    3 D p o s i t i o n s o f a u s e r ' s n g e r , e l b o w , s h o u l d e r a n d

    h e a d . A f t e r i n i t i a l t r a i n i n g f o r s k i n d e t e c t i o n , t h e s y s -

    t e m i s f u l l y a u t o m a t e d a n d d o e s n o t r e q u i r e h u m a n

    i n t e r v e n t i o n .

    R e s e a r c h e r s h a v e b e e n w o r k i n g o n t h e p r o b l e m

    o f a g e s t u r e - b a s e d i n t e r f a c e f o r s e v e r a l y e a r s n o w

    1 , 2 , 4 , 6 , 7 ] . S o m e o f t h e s y s t e m s i m p l e m e n t e d

    h a v e b e e n a b l e t o t r a c k 3 D h a n d p o s i t i o n r a t h e r a c -

    c u r a t e l y . G l o v e - b a s e d s y s t e m s , s u c h a s \ C h a r a d e " b y

    B a u d e l a n d B e a u d o u i n - L a f o n 1 ] , r e q u i r e t h e u s e r t o

    w e a r a t e t h e r e d g l o v e . V i s i o n r e s e a r c h e r s h a v e h a d

    s i m i l a r s u c c e s s w i t h o u t t h e u s e o f s p e c i a l h a r d w a r e

    a t t a c h e d t o t h e u s e r ' s h a n d . I n G e s t u r e V R 6 ] , S e g e n

    a n d K u m a r u s e a s t e r e o p a i r o f c a l i b r a t e d c a m e r a s .

    F o r d e p t h i n f o r m a t i o n , M a g g i o n i 4 ] a s w e l l a s K j e l d -

    s e n a n d K e n d e r 2 ] a n a l y z e t h e s i z e o f t h e p r o j e c t i o n

    o f t h e u s e r ' s h a n d . R e h g a n d K a n a d e 5 ] d e s c r i b e D i g -

    i t E y e s , a m o d e l - b a s e d h a n d t r a c k i n g s y s t e m t h a t u s e s

    t w o c a m e r a s t o r e c o v e r t h e s t a t e o f h a n d .

    O u r s y s t e m u s e s s e v e r a l t e c h n i q u e s p r e v i o u s l y d e -

    v e l o p e d f o r h a n d t r a c k i n g , b u t e x t e n d s c e r t a i n m e t h -

    o d s t o h a n d l e a l a r g e r v i e w w i n d o w a n d t o o v e r c o m e

    l i m i t a t i o n s o f a s i n g l e c a m e r a . T h e s y s t e m w a s s p e c i f -

    i c a l l y d e s i g n e d t o a v o i d t h e n e e d t o c a l i b r a t e t h e c a m -

    e r a , t o e m p l o y m u l t i p l e c a m e r a s , o r t o r e s t r a i n t h e

    u s e r ' s h a n d t o a l i m i t e d a r e a .

    T h e s y s t e m r s t a u t o m a t i c a l l y i d e n t i e s t w o a r m s

    a n d t h e f a c e u s i n g s k i n d e t e c t i o n m e t h o d s o n e a c h

    f r a m e . T h e n t h e n g e r t i p o f t h e g e s t i c u l a t i n g h a n d

    i s d e t e r m i n e d b y i d e n t i f y i n g t h e p i x e l o n t h e a r m c o n -

    t o u r a t w h i c h t h e d o t p r o d u c t o f t w o v e c t o r s a l o n g

    t h e c o n t o u r i s m a x i m u m . T h e h e a d , s h o u l d e r , a n d e l -

    b o w p o s i t i o n s a r e d e t e r m i n e d i n o r d e r t o m e a s u r e t h e

    l e n g t h o f t h e p r o j e c t i o n s o f a u s e r ' s u p p e r a n d l o w e r

    a r m .

    P r e v i o u s a p p r o a c h e s t y p i c a l l y o n l y c o n s i d e r i m a g e s

    w h e r e o n l y o n e h a n d a n d a s m a l l p o r t i o n o f t h e f o r e -

  • 8/2/2019 A Virtual d Blackboard

    2/8

    F i g u r e 1 : E x a m p l e s k i n i m a g e a n d t r a i n i n g m a s k p a i r

    a r m a r e v i s i b l e , r e d u c i n g c o m p l e x i t y . B y u s i n g a l a r g e r

    v i e w w i n d o w , w e a r e a b l e t o u s e i n f o r m a t i o n a b o u t t h e

    r e s t o f t h e b o d y i n o u r 3 D n g e r t r a c k i n g m e t h o d s .

    S i n c e b o n e s h a v e c o n s t a n t l e n g t h , i f o n e e n d i s h e l d

    m o t i o n l e s s , t h e p o s s i b l e l o c a t i o n s o f t h e o t h e r e n d c a n

    b e d e s c r i b e d b y a s p h e r e w h o s e r a d i u s i s e q u a l t o t h e

    l e n g t h o f t h e b o n e . F r o m a s e q u e n c e o f i m a g e s , i f w e

    c a n n d c e r t a i n b o d y p a r t s w e c a n r e c o n s t r u c t t h e s e

    s p h e r e s a n d t h u s t h e 3 D r e p r e s e n t a t i o n o f a u s e r ' s a r m .

    T h e o r g a n i z a t i o n o f t h e r e s t o f t h e p a p e r i s a s f o l -

    l o w s . I n t h e n e x t s e c t i o n , w e w i l l d e v e l o p m e t h o d s

    f o r a r m s e g m e n t a t i o n t h r o u g h s k i n d e t e c t i o n , a n d a r m

    n d i n g t h r o u g h c e n t r o i d t r a c k i n g . W e w i l l d i s c u s s

    t e c h n i q u e s f o r h a n d l i n g o c c l u s i o n a n d u s e o f t h e c o n -

    t o u r o f t h e a r m t o d e t e r m i n e t h e l o c a t i o n o f t h e n g e r .

    S e c t i o n 3 w i l l d e a l w i t h b o d y t r a c k i n g . I n s e c t i o n 4 ,

    w e w i l l s h o w h o w w e c a n c o m b i n e t h e s e d a t a t o a c -

    c u r a t e l y t r a c k t h e 3 D p o s i t i o n o f a u s e r ' s n g e r . T o

    i m p r o v e n g e r t r a c k i n g , w e a p p l y s m o o t h i n g t o t h e 3 D

    t r a j e c t o r i e s , w h i c h i s d i s c u s s e d i n s e c t i o n 5 . R e s u l t s

    w i l l b e p r e s e n t e d i n s e c t i o n 6 , f o l l o w e d b y d i s c u s s i o n

    i n s e c t i o n 7 .

    2 A r m S e g m e n t a t i o n

    2 . 1 S k i n D e t e c t i o n

    F o r t h e d e t e c t i o n o f s k i n r e g i o n s , o u r p r o g r a m u s e s

    a p r e c a l c u l a t e d h i s t o g r a m - l i k e s t r u c t u r e c a l l e d a C o l o r

    P r e d i c a t e ( C P ) . W e u s e t h e m e t h o d d e v e l o p e d b y

    K j e l d s e n a n d K e n d e r 3 ] , w h o a l s o a p p l i e d t h e C P t o -

    w a r d n d i n g s k i n . W e t r a i n e d o u r C o l o r P r e d i c a t e

    w i t h s e v e r a l c o l o r i m a g e s a n d c o r r e s p o n d i n g h a n d -

    d r a w n b i n a r y m a s k s ( F i g u r e 1 ) . A f t e r t r a i n i n g , t h e

    C P d a t a w a s s t o r e d a n d u s e d r e p e a t e d l y f o r d i e r e n t

    i m a g e s e t s .

    T h e a p p l i c a t i o n o f t h e C o l o r P r e d i c a t e t o a n o v e l

    c o l o r f r a m e p r o d u c e d a b i n a r y s k i n i m a g e . W e u s e d

    a m e d i a n - l t e r o n t h e b i n a r y s k i n i m a g e t o r e d u c e

    n o i s e . T h e r e s u l t i n g s k i n i m a g e w a s c l e a r , w i t h f e w

    g a p s . S o m e t i m e s p a c k e t s o f n o i s e w o u l d a p p e a r , w h e r e

    b a c k g r o u n d p i x e l s w e r e m i s t a k e n l y i d e n t i e d a s s k i n .

    T h e s e p i x e l s , h o w e v e r , w e r e r e m o v e d u s i n g a s i z e l t e r

    i n l a t e r p r o c e s s i n g b e c a u s e t h e y a l w a y s f o r m e d s m a l l

    F i g u r e 2 : S k i n o u t p u t a n d a d i e r e n c e o f t w o c o n s e c -

    u t i v e s k i n p i c t u r e s

    r e g i o n s t h a t c o u l d s a f e l y b e i g n o r e d .

    2 . 2 I d e n t i f y i n g t h e A r m

    I n t h e b i n a r y s k i n i m a g e , w e e x p e c t t h r e e r e g i o n s {

    t h e h e a d a n d t w o a r m s . S e g m e n t a t i o n o f t h e s k i n i m -

    a g e u s e s c o n n e c t e d c o m p o n e n t s t o i d e n t i f y l a r g e c o n -

    t i g u o u s r e g i o n s . T h e t h r e e l a r g e s t r e g i o n s o f a t l e a s t

    a c e r t a i n p i x e l s i z e a r e c u l l e d , a n d t h e i r c e n t r o i d s a r e

    c a l c u l a t e d .

    T h e s e l a r g e s t s k i n r e g i o n s a r e i d e n t i e d i n e a c h

    f r a m e o f a s e q u e n c e . N e x t , w e m a t c h c e n t r o i d s f r o m

    o n e f r a m e t o n e a r b y c e n t r o i d s i n t h e n e x t , i n s u r i n g

    c o n t i n u i t y . A s s u m e t h e r e a r e i c e n t r o i d s i n o n e f r a m e ,

    r e p r e s e n t e d b y c

    1

    : : : c

    i

    , a n d j c e n t r o i d s i n t h e n e x t

    f r a m e , r e p r e s e n t e d b y d

    1

    : : : d

    j

    . W e t r y t o m a t c h c e n -

    t r o i d s b y r e - o r d e r i n g d

    1

    : : : d

    j

    s o t h a t w e m i n i m i z e

    P

    m i n ( i j )

    n = 1

    j c

    n

    ; d

    n

    j , w h e r e j c

    n

    ; d

    n

    j i s t h e E u c l i d e a n

    d i s t a n c e b e t w e e n c

    n

    a n d d

    n

    . L a t e r o n w e w i l l d i s -

    c u s s h o w t h e s y s t e m h a n d l e s o c c l u s i o n , w h i c h c h a n g e s

    t h e n u m b e r o f c e n t r o i d s f o u n d f r o m f r a m e t o f r a m e

    ( i 6= j ) .

    T o n d t h e a r m , w e a s s u m e t h a t t h e f a s t e s t m o v i n g

    c e n t r o i d b e l o n g s t o t h e g e s t i c u l a t i n g a r m . T o c a l c u l a t e

    m o t i o n , w e c o m p u t e t h e d i s t a n c e e a c h c e n t r o i d m o v e s

    f r o m o n e f r a m e t o t h e n e x t . I f t h e l a r g e s t c e n t r o i d

    d e l t a i s l o w e r t h a n a c e r t a i n t h r e s h o l d , w e n o t e t h a t

    t h e r e i s i n s u c i e n t m o t i o n t o d i s t i n g u i s h t h e a r m , s o

    w e u s e i n f o r m a t i o n a b o u t w h i c h c e n t r o i d w a s a c c u -

    r a t e l y t r a c k e d a s t h e a r m i n p r e v i o u s f r a m e s . H o w -

    e v e r , i n m o s t c a s e s t h e r e i s e n o u g h m o t i o n t o b e a b l e

    t o i d e n t i f y a m o v i n g a r m . F i g u r e 2 s h o w s t h e m o -

    t i o n o f c e n t r o i d s b y w a y o f a d i e r e n c e p i c t u r e . T h e

    d i e r e n c e o f t w o c o n s e c u t i v e s k i n f r a m e s s h o w s a s i g -

    n i c a n t m o t i o n o f t h e g e s t i c u l a t i n g a r m , a n d s m a l l

    m o t i o n a r o u n d t h e h e a d a n d r i g h t a r m .

    2 . 3 F i n d i n g t h e F i n g e r

    U s i n g t h e s e g m e n t e d a r m r e g i o n , w e c a n n d t h e

    m o s t l i k e l y p o s i t i o n o f t h e n g e r i n t h e r e g i o n . W e

    r s t c a l c u l a t e a n e d g e c o n t o u r o f t h e a r m b y n o t -

    i n g t h a t a n y p i x e l o n t h e a r m r e g i o n t h a t h a s 4 -

    c o n n e c t i v i t y w i t h a n o n - a r m r e g i o n b e l o n g s t o t h e

    2

  • 8/2/2019 A Virtual d Blackboard

    3/8

    b o u n d a r y . T r a v e r s i n g t h i s p i x e l o u t l i n e i n a n a r b i -

    t r a r y d i r e c t i o n , w e d e t e r m i n e a l i s t o f c o n n e c t e d c o n -

    t o u r p i x e l s .

    W e u s e a n a p p r o x i m a t i o n t o k - c u r v a t u r e , t h e d o t

    p r o d u c t . S e g e n a n d K u m a r 6 ] c o m p u t e k - c u r v a t u r e ,

    w h o s e m e a s u r e i s d e n e d b y t h e a n g l e b e t w e e n t w o

    v e c t o r s P ( i ; k ) P ( i ) ] a n d P ( i ) P ( i + k ) ] , w h e r e k

    i s a c o n s t a n t a n d P ( i ) = ( x ( i ) y ( i ) ) , t h e l i s t o f c o n -

    t o u r p o i n t s . S e g e n a n d K u m a r u s e d l o c a l c u r v a t u r e

    e x t r e m a , b u t w e n e e d o n l y o n e s i n g l e n g e r p o i n t . I n -

    s t e a d , w e c a l c u l a t e t h e d o t p r o d u c t f o r e a c h p o i n t o n

    t h e o u t l i n e .

    F o r a p p r o p r i a t e v a l u e s o f k , t h e v a l u e o f t h e d o t

    p r o d u c t c a n b e u s e d t o n d t h e n g e r t i p . I f w e t a k e

    a p i x e l n e a r t h e n g e r a n d e x t e n d t w o v e c t o r s k p i x e l s

    a w a y a l o n g t h e o u t l i n e , t h e v e c t o r s w i l l p o i n t i n s i m i l a r

    d i r e c t i o n s a n d t h u s w i l l h a v e a h i g h v a l u e o f a d o t

    p r o d u c t . T h e v e c t o r s f o r m e d a t a p i x e l o n t h e a r m

    w i l l h a v e a l a r g e b u t n e g a t i v e d o t p r o d u c t . T h u s , w e

    c o m p u t e t h e d o t p r o d u c t f o r a l l o u t l i n e p i x e l s a n d n d

    t h e h i g h e s t v a l u e s . T y p i c a l l y , t h e r e i s a u n i q u e h i g h e s t

    v a l u e , w h i c h i s t h e n g e r t i p . W h e n m u l t i p l e p i x e l s

    h a v e e q u a l l y h i g h d o t p r o d u c t s , w e c h o o s e t h e p i x e l

    t h a t i s c l o s e s t t o t h e p r e v i o u s n g e r p o s i t i o n .

    F i g u r e 3 s h o w s a n e x a m p l e f o r d o t p r o d u c t c a l c u l a -

    t i o n s . B o t h v e c t o r s c a n d b e x t e n d o u t w a r d f r o m t h e

    d a r k e r p i x e l . F o r t h e e x a m p l e w h e r e c b > 0 ( l e f t ) ,

    k = 3 . F o r t h e o t h e r e x a m p l e s ( c e n t e r a n d r i g h t ) ,

    k = 2 .

    I n a l l i m a g e s w h e r e t h e n g e r w a s v i s i b l e i n t h e

    s k i n i m a g e , t h e a p p r o a c h w o r k e d w e l l . W h e n t h e n -

    g e r o c c l u d e s p o r t i o n s o f t h e h a n d , t h e m e t h o d n d s

    r e a s o n a b l e e s t i m a t e s , b e c a u s e a h a n d g e n e r a l l y h a s a

    h i g h e r c u r v a t u r e t h a n o t h e r p a r t s o f t h e a r m . F i g u r e s

    4 a n d 5 s h o w s o m e e x a m p l e r e s u l t s .

    W e c a n a l s o u s e t h e v a l u e o f t h e d o t p r o d u c t c b

    t o j u d g e t h e a c c u r a c y o f o u r t r a c k e r . I f c b > 0 , w e

    r e c o r d a h i g h l e v e l o f \ c o n d e n c e " . I f c b = 0 , w e

    r e c o r d a l e s s e r c o n d e n c e l e v e l , a n d i f c b 0 .

    F i g u r e 3 : E x a m p l e d o t p r o d u c t c a l c u l a t i o n s

    F i g u r e 4 : C o n t o u r o f a r m , h i g h e s t d o t p r o d u c t m a r k e d

    F i g u r e 5 : C o n t o u r o f a r m / h e a d r e g i o n , h i g h e s t d o t

    p r o d u c t m a r k e d

    2 . 4 O c c l u s i o n

    P r e v i o u s s e c t i o n s a s s u m e d t h a t t h e r e w e r e e q u a l

    n u m b e r o f c e n t r o i d s f o u n d i n a l l f r a m e s . T h i s i s n o t

    a l w a y s t r u e , b e c a u s e a t t i m e s a m o v i n g a r m c a n o c -

    c l u d e t h e h e a d o r t h e o t h e r a r m . W h e n t h i s h a p p e n s ,

    a c e n t r o i d i s a p p a r e n t l y l o s t , t h r o w i n g o c a l c u l a t i o n s

    t h a t t r y t o m a t c h c e n t r o i d s b e t w e e n t w o f r a m e s o r

    t h a t n d t h e c e n t r o i d w h i c h m o v e d t h e m o s t .

    O u r a p p r o a c h i s t o p l a c e t h e m i s s i n g \ g h o s t " c e n -

    t r o i d o n t o p o f t h e c e n t r o i d o f t h e l a r g e s t r e g i o n .

    I g n o r i n g t h e m i s s i n g c e n t r o i d w o u l d c a u s e p r o b l e m s

    w h e n t r y i n g t o n d t h e m o v i n g h a n d . I n g u r e 6 , f o r

    e x a m p l e , t h e a r m r e g i o n i n t e r s e c t s w i t h t h e f a c e r e -

    g i o n i n t h e m i d d l e p a i r o f i m a g e s , c a u s i n g p r o b l e m s i n

    t h e n e x t f r a m e ( b o t t o m p a i r ) .

    W h e n a t t e m p t i n g t o c o r r e l a t e c e n t r o i d s b e t w e e n

    f r a m e s , i f t h e n u m b e r o f c e n t r o i d s a r e n o t e q u a l , w e

    c a n n o t c a l c u l a t e t h e d i s t a n c e m o v e d f o r e a c h p a i r o f

    c e n t r o i d s s i n c e t h e r e i s a l a c k o f p a r i t y . T h u s , w e

    e m p l o y a \ g h o s t " c e n t r o i d . T h i s \ g h o s t " c e n t r o i d i s

    i g n o r e d f o r a n y m a t h e m a t i c a l c a l c u l a t i o n s , b u t w h e n

    t w o c e n t r o i d s a p p e a r t o b e c o m e t h r e e { l e t ' s s a y i f t h e

    h a n d t h a t o c c l u d e d t h e f a c e m o v e s a w a y { t h e m a t c h -

    i n g a l g o r i t h m m e n t i o n e d b e f o r e w o u l d w o r k p r o p e r l y .

    A p p l i e d t o a s e q u e n c e o f t w e n t y i m a g e s , s p a n n i n g

    s e v e r a l s e c o n d s , t h e p r o g r a m w a s a b l e t o o u t p u t a

    t r a j e c t o r y o f t h e r e c o r d e d n g e r p o s i t i o n s . E v e n i n

    t h e p r e s e n c e o f o c c l u s i o n , t h e r e s u l t s w e r e q u i t e g o o d .

    3

  • 8/2/2019 A Virtual d Blackboard

    4/8

    F i g u r e 6 : E x a m p l e o f o c c l u s i o n

    F i g u r e 7 : C i r c u l a r t r a j e c t o r y o f n g e r p o s i t i o n s

    t h r o u g h o u t a p a r t i a l c i r c l e m o t i o n

    F i g u r e 7 s h o w s t h e t r a j e c t o r y p r o d u c e d w h e n a u s e r

    m o v e d h i s h a n d i n a l a r g e c i r c l e ( r a d i u s 1 m ) . T h e

    r s t d i s c o n t i n u i t y , a t a b o u t t h e f o u r t h p o i n t f r o m t h e

    u p p e r - l e f t , w a s c a u s e d w h e n t h e t r a c k e r l o s e s t h e n -

    g e r a s i t o c c l u d e s t h e f a c e . T o s m o o t h t h e r e s u l t s , w e

    c a n a p p l y a n a v e r a g i n g c o m p u t a t i o n . F o r e v e r y p o i n t ,

    e x c l u d i n g t h e r s t a n d l a s t , w e c a l c u l a t e t h e m i d p o i n t

    o f t h e p r e v i o u s a n d n e x t p o i n t . T h e s m o o t h e d p o i n t

    i s t h e a v e r a g e o f t h e m i d p o i n t a n d t h e r e c o r d e d p o i n t .

    T h e r e s u l t i n g t r a j e c t o r y ( F i g u r e 8 ) i s m o r e e a s i l y i d e n -

    t i e d a s a c i r c u l a r s h a p e . L a t e r i n t h i s p a p e r w e w i l l

    d e s c r i b e h o w w e u s e a m o d e l o f e r r o r t o d e t e r m i n e

    w h e n s m o o t h i n g i s n e c e s s a r y .

    F i g u r e 8 : C i r c u l a r t r a j e c t o r y s m o o t h e d w i t h a v e r a g e

    l t e r

    3 F i n d i n g O t h e r P a r t s o f t h e B o d y

    W e t r a c k o t h e r p a r t s o f t h e b o d y : h e a d , s h o u l d e r s

    a n d e l b o w , f o r t w o r e a s o n s . F i r s t , w e n e e d m o r e d a t a

    t o d e r i v e t h e 3 D p o s i t i o n o f t h e n g e r . S e c o n d , w e c a n

    u s e t h i s b o d y d a t a t o i m p r o v e n g e r t r a c k i n g w h e n w e

    e n c o u n t e r a l o w c o n d e n c e l e v e l i n t r a c k i n g .

    3 . 1 H e a d a n d S h o u l d e r s

    T h e l o c a t i o n o f t h e h e a d i s o n l y i n d i r e c t l y u s e d .

    T h u s , w e d o n o t n e e d a s o p h i s t i c a t e d h e a d t r a c k e r . W e

    s i m p l y n d t h e h i g h e s t c e n t r o i d ( l o w e s t Y c o o r d i n a t e )

    t h a t i s n o t t h e m o v i n g a r m . W h e n t h e r e i s o c c l u s i o n ,

    w e d o n o t t r a c k t h e h e a d . R a t h e r w e u s e p r e v i o u s

    i n f o r m a t i o n a b o u t t h e h e a d ' s p o s i t i o n .

    N o w t h a t w e h a v e t h e c e n t r o i d o f t h e h e a d r e -

    g i o n , w e c a n a p p r o x i m a t e t h e l o c a t i o n o f t h e s h o u l -

    d e r . W h a t m a t t e r s f o r o u r s y s t e m i s t h a t t h e r e l a t i v e

    p o s i t i o n o f t h e s h o u l d e r , c o m p a r e d t o t h e r e s t o f t h e

    b o d y , r e m a i n s c o n s t a n t . T o a c c o m p l i s h t h i s , w e n o t i c e

    t h a t i f t h e u s e r f a c e s f o r w a r d , t h e s h o u l d e r m a i n t a i n s

    a x e d d i s t a n c e f r o m t h e c e n t e r o f t h e h e a d . W e r s t

    n d t h e \ r a d i u s " r , o f t h e h e a d . E v e n t h o u g h t h e

    h e a d r e g i o n i s n o t p e r f e c t l y c i r c u l a r , w e c a n m e a s u r e

    i t s a r e a , a

    h e a d

    . T h u s , a n a p p r o x i m a t i o n t o t h e r a d i u s

    o f t h e h e a d i s r =

    p

    a

    h e a d

    .

    T h e l o c a t i o n o f t h e s h o u l d e r i s a p p r o x i m a t e d b y

    a s s u m i n g t h a t i f t h e c e n t r o i d o f t h e h e a d i s a t ( x y ) ,

    t h e n t h e l o c a t i o n o f t h e s h o u l d e r i s a t ( x ; r y + r ) ,

    w h e r e =

    1 +

    p

    5

    2

    , t h e g o l d e n r a t i o . T h e s h o u l d e r ' s x

    p o s i t i o n i s x + r , i f t h e u s e r i s l e f t - h a n d e d . T h i s

    a p p r o x i m a t i o n i s f a i r l y a c c u r a t e w h e n t h e u s e r i s f a c -

    i n g t h e c a m e r a . I f w e n d t h a t t h e a p p r o x i m a t i o n i s

    i n a c c u r a t e b e c a u s e t h e s h o u l d e r p o i n t i s i n t h e b a c k -

    g r o u n d o f t h e i m a g e , w e m o v e t h e s h o u l d e r p o i n t t o

    t h e n e a r e s t n o n - b a c k g r o u n d p i x e l .

    3 . 2 T h e E l b o w

    N e x t , w e n d t h e e l b o w . S i n c e w e k n o w t h e p o -

    s i t i o n o f t h e n g e r a n d w e h a v e a s k i n i m a g e o f t h e

    a r m , i f w e a s s u m e t h e s k i n o f t h e e l b o w i s v i s i b l e w e

    4

  • 8/2/2019 A Virtual d Blackboard

    5/8

    F i g u r e 9 : S k e l e t o n , s u p e r i m p o s e d

    c a n n d t h e e l b o w ' s p o s i t i o n . W e e r o d e t h e a r m s k i n

    i m a g e s e v e r a l t i m e s , a p p r o x i m a t i n g a s k e l e t o n i z a t i o n

    a l g o r i t h m . T h e n , w e n d a p o i n t o n t h e s k i n i m a g e

    t h a t m a x i m i z e s t h e E u c l i d e a n d i s t a n c e b e t w e e n t h a t

    p o i n t a n d t h e n g e r . T h i s i s m o s t l i k e l y t h e e l b o w

    p o i n t .

    C o m b i n i n g t h e b o d y p o i n t s t r a c k e d a n d e s t i m a t e d ,

    w e c a n f o r m a s k e l e t o n o f t h e u s e r ' s u p p e r b o d y p o s e .

    F i g u r e 9 s h o w s a n e x a m p l e i m a g e . T h e n g e r a n d

    b o d y t r a c k i n g i s r o b u s t e n o u g h f o r o u r p u r p o s e s , a n d

    h a s w o r k e d f o r v a r y i n g s e t s o f i m a g e i n p u t s . W h e n

    t h e n g e r i s p o i n t i n g t o w a r d s t h e c a m e r a , t h e s y s t e m

    o c c a s i o n a l l y m i s t r a c k s t h e e l b o w a s t h e n g e r . T o h a n -

    d l e s u c h w o r s t - c a s e s c e n a r i o s , w e a p p l y a s i m p l e r u l e ,

    c h e c k i n g i f d i s t a n c e f r o m t h e s h o u l d e r t o t h e e l b o w

    e x c e e d s t h e d i s t a n c e f r o m t h e e l b o w t o t h e n g e r , a n d

    i f t h e n g e r i s c l o s e r t o t h e s h o u l d e r t h a n t h e e l b o w .

    I f t h e r u l e i s s a t i s e d , w e s w a p t h e c o o r d i n a t e s o f t h e

    n g e r a n d t h e e l b o w . I n t e s t r u n s o n r e a l d a t a , t h e

    a b o v e c o n d i t i o n w a s r a r e l y s a t i s e d .

    4 D e r i v i n g 3 D I n f o r m a t i o n

    A r m e d w i t h b o d y d a t a , a n d w i t h t h e a c c u r a t e

    t r a c k i n g r e s u l t s o b t a i n e d a s d e s c r i b e d a b o v e , w e c a n

    b e g i n t o d e r i v e 3 D i n f o r m a t i o n . W e r s t a s s u m e t h a t

    i n e a c h f r a m e , t h e u s e r w i l l b e m o r e o r l e s s f a c i n g t h e

    c a m e r a d i r e c t l y . T h i s a s s u m p t i o n i s v a l i d i f t h e u s e r

    k n o w s a b o u t t h e c a m e r a a n d f a c e s i t . T h e a s s u m p -

    t i o n a l s o h o l d s f o r n o r m a l u s a g e , a s t h e u s e r w i l l m o s t

    l i k e l y b e c o m m u n i c a t i n g t o w a r d a n a u d i e n c e . I n t h a t

    c a s e , w e c a n i d e n t i f y t h e v e c t o r o f c o m m u n i c a t i o n a n d

    p l a c e t h e c a m e r a s y s t e m n e a r t h e a u d i e n c e s o t h a t t h e

    c a m e r a s e e s t h e f r o n t o f t h e u s e r ' s b o d y .

    W e a l s o a s s u m e a n o r t h o g r a p h i c p r o j e c t i o n . F o r

    p e r s p e c t i v e p r o j e c t i o n , t h e l o c a t i o n o f a p o i n t ( x y z )

    i n t h e i m a g e p l a n e i s ( x

    0

    y

    0

    ) , w h e r e x

    0

    =

    f

    z

    x , y

    0

    =

    f

    z

    y ,

    a n d f ( f o c a l l e n g t h ) i s a c o n s t a n t . F o r t w o p o i n t s

    ( x y z ) a n d ( x + x y + y z + z ) , w h e n z i s

    l a r g e a n d z i s s m a l l , x c x

    0

    a n d y c y

    0

    b e c a u s e

    x

    z z

    x

    z

    . c i s a n o t h e r c o n s t a n t . F o r o u r s y s t e m ,

    z , t h e d i s t a n c e b e t w e e n t h e c a m e r a a n d u s e r , i s m u c h

    l a r g e r t h a n z , t h e l e n g t h o f t h e u s e r ' s a r m , s o a n o r -

    t h o g r a p h i c p r o j e c t i o n m o d e l r e m a i n s f a i r l y j u s t i a b l e .

    B e f o r e w e c a n i n t e r p r e t t h e p o s e o f t h e b o d y , w e

    n e e d t o k n o w t h e t r u e p i x e l l e n g t h o f t h e a r m . A c a l -

    i b r a t i o n i m a g e i s n o t r e q u i r e d i f w e a s s u m e t h a t i n a t

    l e a s t o n e i m a g e o f o u r s e q u e n c e , t h e a r m i s f u l l y e x -

    t e n d e d ( F i g u r e 1 0 ) . W e s t o r e t h e l o n g e s t p i x e l l e n g t h s

    o f t h e H u m e r u s ( u p p e r a r m ) a n d R a d i u s ( l o w e r a r m ) ,

    a s t r u e p i x e l l e n g t h o f t h e a r m .

    4 . 1 S p h e r i c a l K i n e m a t i c s

    H u m a n b o n e s h a v e c o n s i s t e n t l e n g t h . S i n c e t h e d i s -

    t a n c e f r o m t h e e l b o w t o t h e s h o u l d e r i s x e d , t h e e l -

    b o w c a n o n l y m o v e t a n g e n t t o a c e r t a i n s p h e r e . T h e

    c e n t e r o f t h i s s p h e r e i s t h e s h o u l d e r , a n d i t s r a d i u s i s

    t h e l e n g t h o f t h e u p p e r a r m . I g n o r i n g t h e h a l f - s p a c e

    b e h i n d t h e p l a n e o f t h e b o d y , w e a r e l e f t w i t h t h e s u r -

    f a c e o f o n e h e m i s p h e r e . I f w e l o o k a t t h e h e m i s p h e r e

    a l o n g t h e p o l a r a x i s , w e c a n s e e t h e e n t i r e s u r f a c e o f

    t h e h e m i s p h e r e . T h a t i s , a l o n g t h e p o l a r a x i s , w e c a n

    c o l l a p s e t h e h e m i s p h e r e f r o m 3 D t o 2 D w i t h o u t a l o s s

    o f i n f o r m a t i o n , a s w e l l a s r e c o v e r t h e h e m i s p h e r e f r o m

    i t s 2 D p r o j e c t i o n .

    I n a l g e b r a i c t e r m s , w e c a n d e s c r i b e a l l p o s s i b l e l o -

    c a t i o n s ( x y z ) o f t h e e l b o w i f w e k n o w r , t h e l e n g t h

    o f t h e u p p e r a r m . T h e s h o u l d e r i s p l a c e d a t t h e o r i g i n .

    l i s t h e m e a s u r e d l e n g t h o f t h e 2 D p r o j e c t i o n o f t h e

    u p p e r a r m i n t h e c u r r e n t i m a g e .

    x

    2

    + y

    2

    + z

    2

    = r

    2

    ( 1 )

    z

    2

    = r

    2

    ; ( x

    2

    + y

    2

    ) ( 2 )

    z =

    p

    r

    2

    ; l

    2

    ( 3 )

    F i g u r e 1 0 : F u l l y e x t e n d e d a r m

    5

  • 8/2/2019 A Virtual d Blackboard

    6/8

    I g n o r i n g t h e h a l f - s p a c e b e h i n d t h e b o d y p l a n e ,

    z = +

    p

    r

    2

    ; l

    2

    ( 4 )

    S i n c e w e c a n d i r e c t l y m e a s u r e l a n d h a v e a r e a s o n -

    a b l e e s t i m a t e f o r r , w e c a n e a s i l y c a l c u l a t e z . T h i s z i s

    a r e l a t i v e Z . I f w e s e t z

    s h o u l d e r

    = 0 , t h e n z

    e l b o w

    = 0 + z .

    U s i n g a s i m i l a r l i n e o f r e a s o n i n g , w e s e e t h a t t h e n g e r

    c a n o n l y m o v e i n a c e r t a i n s p h e r e a r o u n d t h e e l b o w .

    W e c a l c u l a t e r e l a t i v e Z a s a b o v e , u s i n g t h e l e n g t h

    o f t h e f o r e a r m a n d t h e l e n g t h o f i t s 2 D p r o j e c t i o n .

    T h e r e f o r e z

    f i n g e r

    = z

    e l b o w

    + z

    r e l a t i v e

    , w h e r e z

    r e l a t i v e

    i s s o l v e d f r o m e q u a t i o n 4 . A p p l y i n g t h e s e e q u a t i o n s

    t o o n e f r a m e o f a s e q u e n c e , w e d e r i v e 3 D i n f o r m a t i o n

    a b o u t t h e u s e r ' s a r m ( S e e F i g u r e 1 1 ) .

    W h e n w e i g n o r e t h e n e g a t i v e s o l u t i o n f o r e q u a t i o n

    4 , w e i m p l y t h a t t h e n g e r w i l l a l w a y s b e i n f r o n t

    o f t h e e l b o w , a n d t h a t t h e e l b o w w i l l a l w a y s b e i n

    f r o n t o f t h e s h o u l d e r ( f r o m t h e u s e r ' s p o i n t o f v i e w ) .

    T h e l a t t e r i s a l m o s t a l w a y s t r u e f o r a l l g e s t u r e s , w h i l e

    t h e f o r m e r m a y n o t b e t r u e . I n m o s t g e s t u r e s , t h e

    n g e r p o i n t s a w a y f r o m t h e b o d y , b u t t h e r e a r e a f e w

    g e s t u r e s w h e r e t h i s i s n o t t h e c a s e . T h e a s s u m p t i o n

    o f a n o r t h o g r a p h i c p r o j e c t i o n a l s o h a s a n e e c t , b u t

    s i n c e w e a r e c o n c e r n e d w i t h t h e r e l a t i v e 3 D p o s i t i o n s

    o f t h e n g e r , a s l i g h t w a r p i n g i s u n i m p o r t a n t a n d c a n

    b e i g n o r e d .

    5 S m o o t h i n g

    T o i m p r o v e t h e r e s u l t s o f o u r n g e r t r a c k i n g , w e

    c a n a p p l y s m o o t h i n g t o t h e 3 D t r a j e c t o r i e s t o r e d u c e

    t h e e e c t o f n o i s e . I f w e c a n e s t i m a t e e r r o r , w e c a n

    a d j u s t t h e l e v e l o f s m o o t h i n g b a s e d o n t h i s e s t i m a t e d

    e r r o r . T h e m o d e l o f e r r o r w e u s e d w a s b a s e d o n t h e

    F i g u r e 1 1 : V a r i o u s v i e w s o f a u s e r ' s 3 D p o s e

    F i g u r e 1 2 : F r a m e s f r o m s e m i - c i r c l e m o t i o n

    F i g u r e 1 3 : 3 D T r a j e c t o r y o u t p u t f r o m s e m i - c i r c l e m o -

    t i o n

    l i n e a r c o m b i n a t i o n o f f o u r p a r a m e t e r s . W e r e c o r d c o n -

    d e n c e , w h i c h i s i n v e r s e l y p r o p o r t i o n a l t o e r r o r .

    T h e r s t p a r a m e t e r w a s t h e v a l u e o f t h e d o t p r o d -

    u c t . L a r g e r d o t p r o d u c t s s i g n i f y a l a r g e r v a l u e o f c o n -

    d e n c e , a s h i g h d o t p r o d u c t s a r e f o u n d w h e n a n g e r

    i s v i s i b l e .

    T h e n e x t p a r a m e t e r w e l o o k a t i s t h e p r o b a b l e o c -

    c l u s i o n f a c t o r . T h a t i s , w e c a n u s e i n f o r m a t i o n a b o u t

    h o w a 3 D p o s e m a k e s n g e r t r a c k i n g d i c u l t t o i m -

    p r o v e t h e 2 D t r a c k i n g . W h e n t h e n g e r p o i n t s t o w a r d s

    t h e c a m e r a , i t b e c o m e s h a r d e r t o n d t h e n g e r b a s e d

    o n t h e c o n t o u r o f t h e a r m ' s s k i n i m a g e . W h e n t h e

    n g e r i s p o i n t i n g i n a d i r e c t i o n o r t h o g o n a l t o t h e e y e

    v e c t o r o f t h e c a m e r a , n g e r t r a c k i n g i s e a s i e r a s l e s s

    o f t h e n g e r i s a p p a r e n t l y o c c l u d e d b y t h e r e s t o f t h e

    a r m . T h u s , t h e c o n d e n c e w e r e c o r d w i l l b e p r o p o r -

    t i o n a l t o t h e m e a s u r e d l e n g t h o f t h e u s e r ' s f o r e a r m .

    N e x t , w e m e a s u r e o c c l u s i o n a n o t h e r w a y b y l o o k i n g

    a t t h e n u m b e r o f s k i n r e g i o n s w e n d . D u r i n g o c c l u -

    s i o n , t h e n u m b e r o f s k i n r e g i o n s d e c r e a s e s a n d o u r

    e s t i m a t e d c o n d e n c e a l s o d e c r e a s e s . S o , c o n d e n c e

    6

  • 8/2/2019 A Virtual d Blackboard

    7/8

  • 8/2/2019 A Virtual d Blackboard

    8/8

    F i g u r e 1 7 : S a d d l e p o i n t m o t i o n t r a j e c t o r y ( f r o n t )

    F i g u r e 1 8 : A n i m a t i o n o f t r a j e c t o r y i n 3 D

    c e r t a i n a m o u n t o f e r r o r t o t h e t r a c k i n g . A s s u c h , t h e

    t r a c k i n g i s n o t a s p r e c i s e a s o t h e r s y s t e m s t h a t e m p l o y

    m o r e c a m e r a s a n d u s e a s m a l l e r e l d o f v i e w . O n t h e

    o t h e r h a n d , o u r s y s t e m n e e d n o t b e p r e - c a l i b r a t e d a n d

    c a n b e s e t u p q u i c k l y .

    T h e s y s t e m r e p o r t e d s o f a r c o u l d b e a p p l i e d t o w a r d

    m a n y d i e r e n t p o s s i b l e a p p l i c a t i o n s . A l t h o u g h i t w a s

    g e n e r a l l y t e s t e d o n s i m p l e 3 D g e o m e t r i c m o t i o n s , t h e

    s y s t e m c o u l d j u s t a s e a s i l y b e a p p l i e d t o w a r d r e c o r d -

    i n g o t h e r t y p e s o f g e s t u r e s w h e r e r e l a t i v e p o s i t i o n i s

    i m p o r t a n t .

    A n o t h e r p o s s i b l e u s e f o r t h e s y s t e m w o u l d b e a s

    a v i r t u a l m o u s e f o r a v e r y l a r g e s c r e e n . W i t h s o m e

    k n o w l e d g e o f t h e e n v i r o n m e n t , t h e s y s t e m w o u l d b e

    a b l e t o d e t e r m i n e w h a t t h e u s e r i s p o i n t i n g a t . I n

    a s i m i l a r w a y , t h e s y s t e m c o u l d b e u s e d a s a g a m e

    c o n t r o l l e r f o r c e r t a i n t y p e s o f g h t i n g a n d s h o o t i n g

    a r c a d e g a m e s .

    T h e o r i g i n a l i n t e n t o f t h e s y s t e m w a s t o g i v e p r o f e s -

    s o r s t h e a b i l i t y t o g e s t u r e a 3 D g e o m e t r i c a l o b j e c t . W e

    h a v e s h o w n t h a t t h e s y s t e m h a s t h i s c a p a b i l i t y . A l -

    t h o u g h t h e s y s t e m d o e s n o t a u t o m a t i c a l l y c l a s s i f y t h e

    g e s t u r e , t h e r e c o r d e d t r a j e c t o r i e s a n d t h e i r g r a p h i c a l

    r e p r e s e n t a t i o n s s e e m u s e f u l e n o u g h b y t h e m s e l v e s .

    8 C o n c l u s i o n

    W e h a v e p r e s e n t e d a s y s t e m t h a t a c c u r a t e l y t r a c k s

    a u s e r ' s n g e r i n 3 D , u s i n g o n l y a s i n g l e c a m e r a . W i t h -

    o u t r e q u i r i n g t h e u s e r t o w e a r a g l o v e o r s t a n d n e a r

    t h e c a m e r a s y s t e m , o u r a p p r o a c h l e t s t h e u s e r c o m -

    m u n i c a t e a 3 D g e o m e t r i c a l m o t i o n t o a c a m e r a s e v -

    e r a l m e t e r s a w a y . T h i s s y s t e m c o u l d e a s i l y b e u s e d

    i n a t e a c h i n g e n v i r o n m e n t , o r a s a n i n t u i t i v e g e s t u r e

    i n t e r f a c e a t a d i s t a n c e .

    R e f e r e n c e s

    1 ] T . B a u d e l a n d M . B e a u d o u i n - L a f o n , \ C h a r a d e : R e -

    m o t e c o n t r o l o f o b j e c t s u s i n g f r e e - h a n d g e s t u r e s , "

    C A C M , v o l . 3 6 , n o . 7 , p p . 2 8 - 3 5 , 1 9 9 3 .

    2 ] R . K j e l d s e n a n d J . K e n d e r , \ T o w a r d s t h e u s e o f

    G e s t u r e i n T r a d i t i o n a l U s e r I n t e r f a c e s , " P r o c . I n t e r -

    n a t i o n a l C o n f e r e n c e o n A u t o m a t i c F a c e a n d G e s t u r e

    R e c o g n i t i o n , p p . 1 5 1 - 1 5 6 . O c t o b e r 1 9 9 6 .

    3 ] R . K j e l d s e n a n d J . K e n d e r , \ ` F i n d i n g S k i n i n C o l o r I m -

    a g e s , " P r o c . I n t l . C o n f . o n A u t o m a t i c F a c e a n d G e s t u r e

    R e c o g n i t i o n , p p . 3 1 2 - 3 1 7 . O c t 1 9 9 6 .

    4 ] C . M a g g i o n i , \ G e s t u r e C o m p u t e r - N e w W a y s o f O p e r -

    a t i n g a C o m p u t e r , " P r o c . I n t e r n a t i o n a l C o n f e r e n c e o n

    A u t o m a t i c F a c e a n d G e s t u r e R e c o g n i t i o n , p p . 1 6 6 - 1 7 1 .

    J u n e 1 9 9 5 .

    5 ] J . R e h g a n d T . K a n a d e , \ V i s u a l T r a c k i n g o f H i g h

    T r a c k i n g o f H i g h D O F A r t i c u l a t e d S t r u c t u r e s : A n A p -

    p l a t i o n t o H u m a n H a n d T r a c k i n g , " P r o c . E u r o p e a n

    C o n f . o n C o m p . V i s . , p p . 3 5 - 4 6 , M a y 1 9 9 4 .

    6 ] J . S e g e n a n d S . K u m a r , \ H u m a n - C o m p u t e r I n t e r a c t i o n

    u s i n g G e s t u r e R e c o g n i t i o n a n d 3 D H a n d T r a c k i n g , "

    P r o c . I C I P , C h i c a g o , p p . 1 8 8 - 1 9 2 , 1 9 9 8 .

    7 ] M . K r u e g e r , A r t i c i a l R e a l i t y I I , A d d i s o n - W e s l e y P u b -

    l i s h i n g , 1 9 9 1 .

    8