-
8/12/2019 Unified Mtd
1/21
A U n i e d A p p r o a c h t o M o v i n g O b j e c t D e t e
c t i o n
i n 2 D a n d 3 D S c e n e s
1
M i c h a l I r a n i P . A n a n d a n
D a v i d S a r n o R e s e a r c h C e n t e r
C N 5 3 0 0 , P r i n c e t o n , N J 0 8 5 4 3 - 5 3 0 0 , U .
S . A .
E m a i l : f m i c h a l , a n a n d a n g @ s a r n o . c o
m
A b s t r a c t
T h e d e t e c t i o n o f m o v i n g o b j e c t s i n i m p
o r t a n t i n m a n y t a s k s . P r e v i o u s a p p r o a c h
e s
t o t h i s p r o b l e m c a n b e b r o a d l y d i v i d e d
i n t o t w o c l a s s e s : 2 D a l g o r i t h m s w h i c h a p
p l y
w h e n t h e s c e n e c a n b e a p p r o x i m a t e d b y a
a t s u r f a c e a n d / o r w h e n t h e c a m e r a i s o n l
y
u n d e r g o i n g r o t a t i o n s a n d z o o m s , a n d 3
D a l g o r i t h m s w h i c h w o r k w e l l o n l y w h e n s i
g n i f -
i c a n t d e p t h v a r i a t i o n s a r e p r e s e n t i n
t h e s c e n e a n d t h e c a m e r a i s t r a n s l a t i n g .
I n t h i s
p a p e r , w e d e s c r i b e a u n i e d a p p r o a c h t o
h a n d l i n g m o v i n g o b j e c t d e t e c t i o n i n b o t
h 2 D
a n d 3 D s c e n e s , w i t h a s t r a t e g y t o g r a c e
f u l l y b r i d g e t h e g a p b e t w e e n t h o s e t w o e x
t r e m e s .
O u r a p p r o a c h i s b a s e d o n a s t r a t i c a t i o
n o f t h e m o v i n g o b j e c t d e t e c t i o n p r o b l e m
i n t o
s c e n a r i o s w h i c h g r a d u a l l y i n c r e a s e i
n t h e i r c o m p l e x i t y . W e p r e s e n t a s e t o f t e
c h n i q u e s
t h a t m a t c h t h e a b o v e s t r a t i c a t i o n . T h
e s e t e c h n i q u e s p r o g r e s s i v e l y i n c r e a s e
i n t h e i r
c o m p l e x i t y , r a n g i n g f r o m 2 D t e c h n i q u
e s t o m o r e c o m p l e x 3 D t e c h n i q u e s . M o r e o v
e r , t h e
c o m p u t a t i o n s r e q u i r e d f o r t h e s o l u t i
o n t o t h e p r o b l e m a t o n e c o m p l e x i t y l e v e l
b e c o m e
t h e i n i t i a l p r o c e s s i n g s t e p f o r t h e s o
l u t i o n a t t h e n e x t c o m p l e x i t y l e v e l . W e i
l l u s t r a t e
t h e s e t e c h n i q u e s u s i n g e x a m p l e s f r o m
r e a l i m a g e s e q u e n c e s .
1 I n t r o d u c t i o n
M o v i n g o b j e c t d e t e c t i o n i s a n i m p o r t a
n t p r o b l e m i n i m a g e s e q u e n c e a n a l y s i s . I
t i s n e c e s -
s a r y f o r s u r v e i l l a n c e a p p l i c a t i o n s ,
f o r g u i d a n c e o f a u t o n o m o u s v e h i c l e s , f o
r e c i e n t v i d e o
c o m p r e s s i o n , f o r s m a r t t r a c k i n g o f m o
v i n g o b j e c t s , a n d m a n y o t h e r a p p l i c a t i o
n s .
1
T h i s w o r k w a s s u p p o r t e d b y A R P A u n d e r c
o n t r a c t D A A A 1 5 - 9 3 - C - 0 0 6 1
-
8/12/2019 Unified Mtd
2/21
T h e 2 D m o t i o n o b s e r v e d i n a n i m a g e s e q u
e n c e i s c a u s e d b y 3 D c a m e r a m o t i o n ( t h e e g
o -
m o t i o n ) a n d b y 3 D m o t i o n s o f i n d e p e n d e
n t l y m o v i n g o b j e c t s . T h e k e y s t e p i n m o v i
n g o b j e c t
d e t e c t i o n i s a c c o u n t i n g f o r ( o r c o m p e
n s a t i n g f o r ) t h e c a m e r a - i n d u c e d i m a g e m
o t i o n . A f t e r
c o m p e n s a t i o n f o r c a m e r a - i n d u c e d i m a
g e m o t i o n , t h e r e m a i n i n g r e s i d u a l m o t i o
n s m u s t b e
d u e t o m o v i n g o b j e c t s .
T h e c a m e r a i n d u c e d i m a g e m o t i o n d e p e n
d s b o t h o n t h e e g o - m o t i o n p a r a m e t e r s a n d
t h e
d e p t h o f e a c h p o i n t i n t h e s c e n e . E s t i m
a t i n g a l l o f t h e s e p h y s i c a l p a r a m e t e r s (
n a m e l y e g o -
m o t i o n a n d d e p t h ) t o a c c o u n t f o r t h e c a
m e r a - i n d u c e d m o t i o n i s , i n g e n e r a l , a n i
n h e r e n t l y
a m b i g u o u s p r o b l e m 2 ] . W h e n t h e s c e n e c
o n t a i n s l a r g e d e p t h v a r i a t i o n s , t h e s e p
a r a m e t e r s
m a y b e r e c o v e r e d . W e r e f e r t o t h e s e s c e
n e s a s 3 D s c e n e s . H o w e v e r , i n 2 D s c e n e s , n
a m e l y
w h e n t h e d e p t h v a r i a t i o n s a r e n o t s i g n
i c a n t , t h e r e c o v e r y o f t h e c a m e r a a n d s c e
n e p a r a m -
e t e r s i s u s u a l l y n o t r o b u s t o r r e l i a b l
e 2 ] . S a m p l e p u b l i c a t i o n s t h a t t r e a t t h e
p r o b l e m o f
m o v i n g o b j e c t s i n 3 D s c e n e s a r e 3 , 1 7 , 2
5 , 2 6 , 8 ] . A c a r e f u l t r e a t m e n t o f t h e i s s u
e s a n d
p r o b l e m s a s s o c i a t e d w i t h m o v i n g o b j e
c t d e t e c t i o n i n 3 D s c e n e s i s g i v e n i n 2 4 ]
.
A n e e c t i v e a p p r o a c h t o a c c o u n t i n g f o r
c a m e r a i n d u c e d m o t i o n i n 2 D s c e n e s i s t o m
o d e l
t h e i m a g e m o t i o n i n t e r m s o f a g l o b a l 2 D
p a r a m e t r i c t r a n s f o r m a t i o n . T h i s a p p r o
a c h i s
r o b u s t a n d r e l i a b l e w h e n a p p l i e d t o a t
( p l a n a r ) s c e n e s , d i s t a n t s c e n e s , o r w h e
n t h e c a m e r a
i s u n d e r g o i n g o n l y r o t a t i o n s a n d z o o m
s . H o w e v e r , t h e 2 D a p p r o a c h c a n n o t b e a p p
l i e d t o
t h e 3 D s c e n e s . E x a m p l e s o f m e t h o d s t h a
t h a n d l e m o v i n g o b j e c t s i n 2 D s c e n e s a r e 1
1 , 6 , 7 ,
9 , 2 3 , 1 9 , 2 7 , 4 ] .
T h e r e f o r e , 2 D a l g o r i t h m s a n d 3 D a l g o r
i t h m s a d d r e s s t h e m o v i n g o b j e c t d e t e c t i
o n p r o b l e m
i n v e r y d i e r e n t t y p e s o f s c e n a r i o s . T h
e s e a r e t w o e x t r e m e s i n a c o n t i n u u m o f s c e
n a r i o s :
a t 2 D s c e n e s ( i . e . , n o 3 D p a r a l l a x ) v s .
3 D s c e n e s w i t h d e n s e d e p t h v a r i a t i o n s ( i
. e . , d e n s e
3 D p a r a l l a x ) . B o t h c l a s s e s f a i l o n t h e
o t h e r e x t r e m e c a s e o r e v e n o n t h e i n t e r m e
d i a t e c a s e
( w h e n 3 D p a r a l l a x i s s p a r s e r e l a t i v e t
o a m o u n t o f i n d e p e n d e n t m o t i o n ) .
I n r e a l i m a g e s e q u e n c e s i t i s n o t a l w a y
s p o s s i b l e t o p r e d i c t i n a d v a n c e w h i c h s i
t u a t i o n ( 2 D
o r 3 D ) w i l l o c c u r . M o r e o v e r , b o t h t y p e
s o f s c e n a r i o s c a n o c c u r w i t h i n t h e s a m e s
e q u e n c e ,
w i t h g r a d u a l t r a n s i t i o n s b e t w e e n t h e
m . U n f o r t u n a t e l y , n o s i n g l e c l a s s o f a l g
o r i t h m s ( 2 D
o r 3 D ) c a n a d d r e s s t h e g e n e r a l m o v i n g o
b j e c t d e t e c t i o n p r o b l e m . I t i s n o t p r a c t
i c a l t o
2
-
8/12/2019 Unified Mtd
3/21
c o n s t a n t l y s w i t c h f r o m o n e s e t o f a l g o
r i t h m s t o a n o t h e r , e s p e c i a l l y s i n c e n e i
t h e r c l a s s t r e a t s
w e l l t h e i n t e r m e d i a t e c a s e .
I n t h i s p a p e r , w e p r e s e n t a u n i e d a p p r o
a c h t o h a n d l i n g m o v i n g o b j e c t d e t e c t i o n
i n
b o t h 2 D a n d 3 D s c e n e s , w i t h a s t r a t e g y t
o g r a c e f u l l y b r i d g e t h e g a p b e t w e e n t h o s
e t w o
e x t r e m e s . O u r a p p r o a c h i s b a s e d o n a s t
r a t i c a t i o n o f t h e m o v i n g o b j e c t d e t e c t i
o n p r o b l e m
i n t o s c e n a r i o s w h i c h g r a d u a l l y i n c r e
a s e i n t h e i r c o m p l e x i t y : ( i ) s c e n a r i o s i
n w h i c h t h e c a m e r a
i n d u c e d m o t i o n c a n b e m o d e l e d b y a s i n g
l e 2 D p a r a m e t r i c t r a n s f o r m a t i o n , ( i i ) t
h o s e i n
w h i c h t h e c a m e r a i n d u c e d m o t i o n c a n b e
m o d e l e d i n t e r m s o f a s m a l l n u m b e r o f l a y e
r s o f
p a r a m e t r i c t r a n s f o r m a t i o n s , a n d ( i i
i ) g e n e r a l 3 D s c e n e s , i n w h i c h a m o r e c o m p
l e t e p a r a l l a x
m o t i o n a n a l y s i s i s r e q u i r e d .
W e p r e s e n t a s e t o f t e c h n i q u e s t h a t m a t
c h t h e a b o v e s t r a t i c a t i o n . T h e s e t e c h n i
q u e s
p r o g r e s s i v e l y i n c r e a s e i n t h e i r c o m p
l e x i t y , r a n g i n g f r o m 2 D t e c h n i q u e s t o m o
r e c o m p l e x 3 D
t e c h n i q u e s . M o r e o v e r , t h e c o m p u t a t i
o n s r e q u i r e d f o r t h e s o l u t i o n t o t h e p r o b
l e m a t o n e
c o m p l e x i t y l e v e l b e c o m e t h e i n i t i a l p
r o c e s s i n g s t e p f o r t h e s o l u t i o n a t t h e n e
x t c o m p l e x i t y
l e v e l . I n p a r t i c u l a r , t h e 2 D p a r a m e t r
i c m o t i o n c o m p e n s a t i o n f o r m s t h e b a s i s t
o t h e s o l u t i o n
o f t h e m u l t i p l e l a y e r s i t u a t i o n , a n d t
h e s i n g l e 2 D o r m u l t i p l e - l a y e r m o t i o n c o
m p e n s a t i o n
f o r m s t h e b a s i s t o t h e s o l u t i o n o f t h e m
o r e g e n e r a l 3 D c a s e . C a r e f u l t r e a t m e n t i
s g i v e n t o
t h e i n t e r m e d i a t e c a s e , w h e n 3 D p a r a l l
a x m o t i o n i s s p a r s e r e l a t i v e t o a m o u n t o f
i n d e p e n d e n t
m o t i o n .
T h e g o a l i n t a k i n g t h i s a p p r o a c h i s t o d
e v e l o p a s t r a t e g y f o r m o v i n g o b j e c t d e t e
c t i o n ,
s o t h a t t h e a n a l y s i s p e r f o r m e d i s t u n e
d t o m a t c h t h e c o m p l e x i t y o f t h e p r o b l e m a
n d t h e
a v a i l a b i l i t y o f i n f o r m a t i o n a t a n y t i
m e . T h i s p a p e r d e s c r i b e s t h e c o r e e l e m e n
t s o f s u c h a
s t r a t e g y . T h e i n t e g r a t i o n o f t h e s e e l
e m e n t s i n t o a s i n g l e a l g o r i t h m r e m a i n s a
t a s k f o r o u r
f u t u r e r e s e a r c h .
2 2 D S c e n e s
W h e n t h e s c e n e v i e w e d f r o m a m o v i n g c a m
e r a i s a t s u c h a d i s t a n c e t h a t i t c a n b e a p p
r o x -
i m a t e d b y a a t 2 D s u r f a c e , t h e n t h e c a m e
r a i n d u c e d m o t i o n c a n b e m o d e l e d b y a s i n g
l e
3
-
8/12/2019 Unified Mtd
4/21
g l o b a l 2 D p a r a m e t r i c t r a n s f o r m a t i o n
b e t w e e n a p a i r o f s u c c e s s i v e i m a g e f r a m e
s :
"
u ( x y )
v ( x y )
#
=
"
p
1
x + p
2
y + p
5
+ p
7
x
2
+ p
8
x y
p
3
x + p
4
y + p
6
+ p
7
x y + p
8
y
2
#
( 1 )
w h e r e ( u ( x y ) v ( x y ) ) d e n o t e s t h e i m a g e
v e l o c i t y a t t h e p o i n t ( x y ) . T h e a b o v e e q u
a t i o n
i s a n e x a c t d e s c r i p t i o n o f t h e i n s t a n t
a n e o u s i m a g e m o t i o n e l d i n d u c e d b y a p l a n
a r s u r f a c e
v i e w e d f r o m a m o v i n g c a m e r a . I n a d d i t i
o n , t h i s t r a n s f o r m a t i o n a l s o d e s c r i b e s
w e l l t h e 2 D
i m a g e m o t i o n o f a n a r b i t r a r y 3 D s c e n e u
n d e r g o i n g c a m e r a r o t a t i o n s , z o o m s , a n d
s m a l l c a m e r a
t r a n s l a t i o n s . M o r e i m p o r t a n t l y , w h e
n t h e o v e r a l l 3 D r a n g e ( Z ) t o t h e s c e n e f r o
m t h e c a m e r a
i s m u c h g r e a t e r t h a n t h e v a r i a t i o n o f t
h e r a n g e w i t h i n t h e s c e n e ( Z ) , t h e a b o v e d
e s c r i b e s
t h e i m a g e m o t i o n e l d t o s u b - p i x e l a c c u
r a c y .
W e r e f e r t o s c e n e s t h a t s a t i s f y o n e o r m
o r e o f t h e a b o v e m e n t i o n e d c o n d i t i o n s ( a
n d h e n c e
E q u a t i o n ( 1 ) i s a p p l i c a b l e ) , a s 2 D s c e
n e s . I n p r a c t i c e , t h e s e c o n d i t i o n s a r e o
f t e n s a t i s e d i n
r e m o t e s u r v e i l l a n c e a p p l i c a t i o n s , w
h e n n a r r o w e l d - o f - v i e w ( F O V ) c a m e r a s ( t
y p i c a l l y 5
o r
l e s s ) a r e u s e d t o d e t e c t m o v i n g o b j e c t
s i n a d i s t a n t s c e n e ( t y p i c a l l y a t l e a s t 1
k m a w a y ) .
U n d e r t h e s e c o n d i t i o n s , w e c a n u s e a p r
e v i o u s l y d e v e l o p e d m e t h o d 5 , 1 1 ] i n o r d e
r t o
c o m p u t e t h e 2 D p a r a m e t r i c m o t i o n . T h i
s t e c h n i q u e \ l o c k s " o n t o a \ d o m i n a n t " p a
r a m e t r i c
m o t i o n b e t w e e n a n i m a g e p a i r , e v e n i n t
h e p r e s e n c e o f i n d e p e n d e n t l y m o v i n g o b j
e c t s . I t
d o e s n o t r e q u i r e p r i o r k n o w l e d g e o f t h
e i r r e g i o n s o f s u p p o r t i n t h e i m a g e p l a n e
1 1 ] . T h i s
c o m p u t a t i o n p r o v i d e s o n l y t h e 2 D m o t i
o n p a r a m e t e r s o f t h e c a m e r a - i n d u c e d m o t
i o n , b u t n o
e x p l i c i t 3 D s h a p e o r m o t i o n i n f o r m a t i
o n .
O n c e t h e d o m i n a n t 2 D p a r a m e t r i c m o t i o
n h a s b e e n e s t i m a t e d , i t i s u s e d f o r w a r p i
n g
o n e i m a g e t o w a r d s t h e o t h e r . W h e n t h e d
o m i n a n t m o t i o n i s t h a t o f t h e c a m e r a , a l l
r e g i o n s
c o r r e s p o n d i n g t o s t a t i c p o r t i o n s o f t
h e s c e n e a r e i n c o m p l e t e l y a l i g n e d a s a r e
s u l t o f t h e
2 D r e g i s t r a t i o n ( e x c e p t f o r n o n - o v e r
l a p p i n g i m a g e b o u n d a r i e s ) , w h i l e i n d e p
e n d e n t l y m o v i n g
o b j e c t s a r e n o t . D e t e c t i o n o f m o v i n g o
b j e c t s i s t h e r e f o r e p e r f o r m e d b y d e t e r m
i n i n g l o c a l
m i s a l i g n m e n t s 1 1 ] a f t e r t h e g l o b a l 2 D
p a r a m e t r i c r e g i s t r a t i o n .
F i g u r e 1 s h o w s a n e x a m p l e o f m o v i n g o b j
e c t d e t e c t i o n i n a \ 2 D s c e n e " . T h i s s e q u e
n c e w a s
o b t a i n e d b y a v i d e o c a m e r a w i t h a F O V o f
4 d e g r e e s . T h e c a m e r a w a s m o u n t e d o n a v e h
i c l e
m o v i n g o n a b u m p y d i r t r o a d a t a b o u t 1 5 k
m / h r a n d w a s l o o k i n g s i d e w a y s . T h e r e f o r
e ,
4
-
8/12/2019 Unified Mtd
5/21
a ) b ) c )
d ) e )
F i g u r e 1 : 2 D m o v i n g o b j e c t d e t e c t i o n
.
( a - b ) T w o f r a m e s i n a s e q u e n c e o b t a i n e
d b y a t r a n s l a t i n g a n d r o t a t i n g c a m e r a . T
h e s c e n e i t s e l f
w a s n o t p l a n a r , b u t w a s d i s t a n t e n o u g h
( a b o u t 1 k m a w a y f r o m t h e c a m e r a ) s o t h a t e
e c t s o f 3 D
p a r a l l a x w e r e n e g l i g i b l e . T h e s c e n e c
o n t a i n e d a c a r d r i v i n g o n a r o a d . ( c ) I n t e
n s i t y d i e r e n c e s b e f o r e
d o m i n a n t ( b a c k g r o u n d ) 2 D a l i g n m e n t .
( d ) I n t e n s i t y d i e r e n c e s a f t e r d o m i n a n t
( b a c k g r o u n d ) 2 D
a l i g n m e n t . N o n - o v e r l a p p i n g i m a g e b o
u n d a r i e s w e r e n o t p r o c e s s e d . T h e 2 D a l i g
n m e n t c o m p e n s a t e s
f o r t h e c a m e r a - i n d u c e d m o t i o n , b u t n o
t f o r t h e c a r ' s i n d e p e n d e n t m o t i o n . ( e ) T
h e d e t e c t e d m o v i n g
o b j e c t b a s e d o n l o c a l m i s a l i g n m e n t a n
a l y s i s . T h e w h i t e r e g i o n s i g n i e s t h e d e t
e c t e d m o v i n g o b j e c t .
t h e c a m e r a w a s b o t h t r a n s l a t i n g a n d r o
t a t i n g ( c a m e r a j i t t e r ) . T h e s c e n e i t s e l
f w a s n o t
p l a n a r , b u t w a s d i s t a n t e n o u g h ( a b o u t
1 k m a w a y f r o m t h e c a m e r a ) , s o t h a t 2 D p a r a
m e t r i c
t r a n s f o r m a t i o n s w e r e s u c i e n t t o a c c o
u n t f o r t h e c a m e r a - i n d u c e d m o t i o n b e t w e
e n s u c c e s s i v e
f r a m e s . T h e s c e n e c o n t a i n e d a c a r m o v i
n g i n d e p e n d e n t l y o n a r o a d . F i g u r e 1 . a a n
d F i g u r e 1 . b
s h o w t w o f r a m e s o u t o f t h e s e q u e n c e . F i
g u r e 1 . c a n d F i g u r e 1 . d s h o w i n t e n s i t y d i
e r e n c e s
b e f o r e a n d a f t e r d o m i n a n t ( b a c k g r o u n
d ) 2 D a l i g n m e n t , r e s p e c t i v e l y . F i g u r e 1
. e s h o w s t h e
d e t e c t e d m o v i n g o b j e c t b a s e d o n l o c a l
m i s a l i g n m e n t a n a l y s i s 1 1 ] .
T h e f r a m e - t o - f r a m e m o t i o n o f t h e b a c k
g r o u n d i n r e m o t e s u r v e i l l a n c e a p p l i c a t
i o n s c a n
t y p i c a l l y b e m o d e l e d b y a 2 D p a r a m e t r i
c t r a n s f o r m a t i o n . H o w e v e r , w h e n a f r o n t
a l p o r t i o n
o f t h e s c e n e e n t e r s t h e F O V , e e c t s o f 3 D
p a r a l l a x m o t i o n a r e e n c o u n t e r e d . T h e s i
m p l e 2 D
a l g o r i t h m c a n n o t a c c o u n t f o r c a m e r a -
i n d u c e d m o t i o n i n s c e n e s w i t h 3 D p a r a l l a
x . I n t h e n e x t
t w o s e c t i o n s w e a d d r e s s t h e p r o b l e m o f
m o v i n g o b j e c t d e t e c t i o n i n 3 D s c e n e s w i t
h p a r a l l a x .
3 M u l t i - P l a n a r S c e n e s
W h e n t h e c a m e r a i s t r a n s l a t i n g , a n d t h
e s c e n e i s n o t p l a n a r o r i s n o t s u c i e n t l y d
i s t a n t , t h e n
a s i n g l e 2 D p a r a m e t r i c m o t i o n ( S e c t i o
n 2 ) i s i n s u c i e n t f o r m o d e l i n g t h e c a m e r a
- i n d u c e d
5
-
8/12/2019 Unified Mtd
6/21
m o t i o n . A l i g n i n g t w o i m a g e s w i t h r e s p
e c t t o a d o m i n a n t 2 D p a r a m e t r i c t r a n s f o r
m a t i o n
m a y b r i n g i n t o a l i g n m e n t a l a r g e p o r t i
o n o f t h e s c e n e , w h i c h c o r r e s p o n d s t o a p l
a n a r ( o r a
r e m o t e ) p a r t o f t h e s c e n e . H o w e v e r , a n
y o t h e r ( e . g . , n e a r ) p o r t i o n s o f t h e s c e n
e t h a t e n t e r
t h e e l d - o f - v i e w c a n n o t b e a l i g n e d b y t
h e d o m i n a n t 2 D p a r a m e t r i c t r a n s f o r m a t i
o n . T h e s e
o u t - o f - p l a n e s c e n e p o i n t s , a l t h o u g h
t h e y h a v e t h e s a m e 3 D m o t i o n a s t h e p l a n a r
p o i n t s , h a v e
s u b s t a n t i a l l y d i e r e n t i n d u c e d 2 D m o t
i o n s . T h e d i e r e n c e s i n 2 D m o t i o n s a r e c a l
l e d 3 D
p a r a l l a x m o t i o n 1 8 , 2 0 ] . E e c t s o f p a r a
l l a x a r e o n l y d u e t o c a m e r a t r a n s l a t i o n a
n d 3 D s c e n e
v a r i a t i o n s . C a m e r a r o t a t i o n o r z o o m d
o n o t c a u s e p a r a l l a x ( s e e S e c t i o n 4 . 1 )
.
F i g u r e 2 s h o w s a n e x a m p l e o f a s e q u e n c e
w h e r e t h e e e c t s o f 3 D p a r a l l a x a r e e v i d e n
t .
F i g u r e 2 . a a n d 2 . b s h o w t w o f r a m e s f r o m
a s e q u e n c e w i t h t h e s a m e s e t t i n g a n d s c e n
a r i o
d e s c r i b e d i n F i g u r e 1 , o n l y i n t h i s c a s
e a f r o n t a l h i l l w i t h b u s h e s ( w h i c h w a s m u
c h c l o s e r t o
t h e c a m e r a t h a n t h e b a c k g r o u n d s c e n e )
e n t e r e d t h e e l d o f v i e w ( F O V ) .
F i g u r e 2 . c d i s p l a y s i m a g e r e g i o n s w h i
c h w e r e f o u n d t o b e a l i g n e d a f t e r d o m i n a n
t 2 D
p a r a m e t r i c r e g i s t r a t i o n ( s e e S e c t i o
n 2 ) . C l e a r l y t h e g l o b a l 2 D a l i g n m e n t a c c
o u n t s f o r t h e
c a m e r a - i n d u c e d m o t i o n o f t h e d i s t a n t
p o r t i o n o f t h e s c e n e , b u t d o e s n o t a c c o u n
t f o r t h e
c a m e r a - i n d u c e d m o t i o n o f t h e c l o s e r p
o r t i o n o f t h e s c e n e ( t h e b u s h e s ) .
T h u s , s i m p l e 2 D t e c h n i q u e s , w h e n a p p l
i e d t o t h e s e t y p e s o f s c e n a r i o s , w i l l n o t
b e a b l e
t o d i s t i n g u i s h b e t w e e n t h e i n d e p e n d e
n t c a r m o t i o n a n d t h e 3 D p a r a l l a x m o t i o n o
f t h e b u s h .
T h e r e i s t h e r e f o r e a n e e d t o m o d e l 3 D p a
r a l l a x a s w e l l . I n t h i s s e c t i o n w e d e s c r i
b e o n e
a p p r o a c h t o m o d e l i n g p a r a l l a x m o t i o n
, w h i c h b u i l d s o n t o p o f t h e 2 D a p p r o a c h t o
m o d e l i n g
c a m e r a - i n d u c e d m o t i o n . T h i s a p p r o a c
h i s b a s e d o n t t i n g m u l t i p l e p l a n a r s u r f a
c e s ( i . e . ,
m u l t i p l e 2 D \ l a y e r s " 1 , 2 7 ] t o t h e s c e n
e . I n S e c t i o n 4 a p p r o a c h e s t o h a n d l i n g m o
r e c o m p l e x
t y p e s o f s c e n e s w i t h ( s p a r s e a n d d e n s e
) 3 D p a r a l l a x w i l l b e d e s c r i b e d . T h e y t o o
b u i l d o n
t o p o f t h e 2 D ( o r l a y e r e d ) a p p r o a c h .
W h e n t h e s c e n e i s p i e c e w i s e p l a n a r , o r
i s c o n s t r u c t e d o f a f e w d i s t i n c t p o r t i o n
s a t d i e r e n t
d e p t h s , t h e n t h e c a m e r a - i n d u c e d m o t i
o n c a n b e a c c o u n t e d f o r b y a f e w l a y e r s o f 2
D p a r a -
m e t r i c t r a n s f o r m a t i o n s . T h i s c a s e i s
v e r y t y p i c a l o f o u t d o o r s u r v e i l l a n c e s c
e n a r i o s , e s p e c i a l l y
w h e n t h e c a m e r a F O V i s n a r r o w . T h e m u l t
i - l a y e r e d a p p r o a c h i s a n e x t e n s i o n o f t h
e s i m p l e
2 D a p p r o a c h , a n d i s i m p l e m e n t e d u s i n g
a m e t h o d s i m i l a r t o t h e s e q u e n t i a l m e t h o
d p r e s e n t e d
6
-
8/12/2019 Unified Mtd
7/21
a ) b ) c )
d ) e )
F i g u r e 2 : L a y e r e d m o v i n g o b j e c t d e t e c
t i o n .
( a , b ) T w o f r a m e s i n a s e q u e n c e o b t a i n e
d b y a t r a n s l a t i n g a n d r o t a t i n g c a m e r a . T
h e F O V c a p t u r e s a
d i s t a n t p o r t i o n o f t h e s c e n e ( h i l l s a n
d r o a d ) a s w e l l a s a f r o n t a l p o r t i o n o f t h e
s c e n e ( b u s h e s ) . T h e
s c e n e c o n t a i n s a c a r d r i v i n g o n a r o a d .
( c ) T h e i m a g e r e g i o n w h i c h c o r r e s p o n d s t
o t h e d o m i n a n t 2 D
p a r a m e t r i c t r a n s f o r m a t i o n . T h i s r e g
i o n c o r r e s p o n d s t o t h e r e m o t e p a r t o f t h e
s c e n e . W h i t e r e g i o n s
s i g n i f y i m a g e r e g i o n s w h i c h w e r e m i s a
l i g n e d a f t e r p e r f o r m i n g g l o b a l i m a g e r e
g i s t r a t i o n a c c o r d i n g t o
t h e c o m p u t e d d o m i n a n t 2 D p a r a m e t r i c t
r a n s f o r m a t i o n . T h e s e r e g i o n s c o r r e s p o
n d t o t h e c a r a n d t h e
f r o n t a l p a r t o f t h e s c e n e ( t h e b u s h e s )
. ( d ) T h e i m a g e r e g i o n w h i c h c o r r e s p o n d s
t o t h e n e x t d e t e c t e d
d o m i n a n t 2 D p a r a m e t r i c t r a n s f o r m a t i
o n . T h i s r e g i o n c o r r e s p o n d s t o t h e f r o n t
a l b u s h e s . T h e 2 D
t r a n s f o r m a t i o n w a s c o m p u t e d b y a p p l y
i n g t h e 2 D e s t i m a t i o n a l g o r i t h m a g a i n , b
u t t h i s t i m e o n l y t o
t h e i m a g e r e g i o n s h i g h l i g h t e d i n w h i t
e i n F i g . 2 . c ( i . e . , o n l y t o i m a g e r e g i o n s
i n c o n s i s t e n t i n t h e i r
i m a g e m o t i o n w i t h t h e r s t d o m i n a n t 2 D p
a r a m e t r i c t r a n s f o r m a t i o n ) . W h i t e r e g i
o n s i n t h i s g u r e
s i g n i f y r e g i o n s i n c o n s i s t e n t w i t h t h
e b u s h e s ' 2 D t r a n s f o r m a t i o n . T h e s e c o r r
e s p o n d t o t h e c a r a n d
t o t h e r e m o t e p a r t s o f t h e s c e n e . ( e ) T h
e d e t e c t e d m o v i n g o b j e c t ( t h e c a r ) h i g h l
i g h t e d i n w h i t e .
i n 1 1 ] : F i r s t , t h e d o m i n a n t 2 D p a r a m e t
r i c t r a n s f o r m a t i o n b e t w e e n t w o f r a m e s i
s d e t e c t e d
( S e c t i o n 2 ) . T h e t w o i m a g e s a r e a l i g n e
d a c c o r d i n g l y , a n d t h e m i s a l i g n e d i m a g e
r e g i o n s a r e
d e t e c t e d a n d s e g m e n t e d o u t ( F i g u r e 2 .
c ) . N e x t , t h e s a m e 2 D m o t i o n e s t i m a t i o n t
e c h n i q u e i s
r e - a p p l i e d , b u t t h i s t i m e o n l y t o t h e s
e g m e n t e d ( m i s a l i g n e d ) r e g i o n s o f t h e i m
a g e , t o d e t e c t
t h e n e x t d o m i n a n t 2 D t r a n s f o r m a t i o n a
n d i t s r e g i o n o f s u p p o r t w i t h i n t h e i m a g e
, a n d s o
o n . F o r e a c h a d d i t i o n a l l a y e r , t h e t w o
i m a g e s a r e a l i g n e d a c c o r d i n g t o t h e 2 D p a
r a m e t r i c
t r a n s f o r m a t i o n o f t h a t l a y e r , a n d t h e
m i s a l i g n e d i m a g e r e g i o n s a r e d e t e c t e d a
n d s e g m e n t e d
o u t ( F i g u r e 2 . d ) .
E a c h \ 2 D l a y e r " i s c o n t i n u o u s l y t r a c k
e d i n t i m e b y u s i n g t h e o b t a i n e d s e g m e n t a
t i o n
m a s k s . M o v i n g o b j e c t s a r e d e t e c t e d a s
i m a g e r e g i o n s t h a t a r e i n c o n s i s t e n t w i t
h t h e i m a g e
m o t i o n o f a n y o f t h e 2 D l a y e r s . S u c h a n e
x a m p l e i s s h o w n i n F i g u r e 2 . e .
A m o v i n g o b j e c t i s n o t d e t e c t e d a s a l a y
e r b y t h i s a l g o r i t h m i f i t i s s m a l l . H o w e v
e r , i f t h e
o b j e c t i s l a r g e , i t m a y i t s e l f b e d e t e c
t e d a s a 2 D l a y e r . A f e w c u e s c a n b e u s e d t o d
i s t i n g u i s h
7
-
8/12/2019 Unified Mtd
8/21
b e t w e e n m o v i n g o b j e c t s a n d s t a t i c s c e
n e l a y e r s :
1 . M o v i n g o b j e c t s p r o d u c e d i s c o n t i n u
i t i e s i n 2 D m o t i o n e v e r y w h e r e o n t h e i r b o
u n d a r y , a s
o p p o s e d t o s t a t i c 2 D l a y e r s . T h e r e f o r
e , i f a m o v i n g o b j e c t i s d e t e c t e d a s a l a y e
r , i t c a n b e
d i s t i n g u i s h e d f r o m r e a l s c e n e l a y e r s
d u e t o t h e f a c t t h a t i t a p p e a r s \ o a t i n g " i
n t h e a i r ( i . e . ,
h a s d e p t h d i s c o n t i n u i t i e s a l l a r o u n d
i t ) . A r e a l s c e n e l a y e r , o n t h e o t h e r h a n d
, i s a l w a y s
c o n n e c t e d t o a n o t h e r p a r t o f t h e s c e n e
( l a y e r ) . O n t h e c o n n e c t i n g b o u n d a r y , t h
e 2 D m o t i o n
i s c o n t i n u o u s . I f t h e c o n n e c t i o n t o o t
h e r s c e n e p o r t i o n s i s o u t s i d e t h e F O V , t h
e n t h a t l a y e r
i s a d j a c e n t t o t h e i m a g e b o u n d a r y . T h e
r e f o r e , a 2 D l a y e r w h i c h i s f u l l y c o n t a i n
e d i n t h e
F O V , a n d e x h i b i t s 2 D m o t i o n d i s c o n t i n
u i t i e s a l l a r o u n d i t , i s n e c e s s a r i l y a m o
v i n g o b j e c t .
2 . 3 D - c o n s i s t e n c y o v e r t i m e o f t w o 2 D l
a y e r s c a n b e c h e c k e d . I n S e c t i o n 4 . 2 w e p r
e s e n t a
m e t h o d f o r c h e c k i n g 3 D - c o n s i s t e n c y o
f t w o s c e n e p o i n t s o v e r t i m e b a s e d o n t h e i
r p a r a l l a x
d i s p l a c e m e n t s a l o n e . I f t w o l a y e r s b e
l o n g t o a s i n g l e r i g i d s c e n e , t h e p a r a l l a
x d i s p l a c e m e n t
o f o n e l a y e r w i t h r e s p e c t t o t h e o t h e r i
s y e t a n o t h e r 2 D p a r a m e t r i c t r a n s f o r m a t
i o n ( w h i c h
i s o b t a i n e d b y t a k i n g t h e d i e r e n c e b e t
w e e n t h e t w o 2 D p a r a m e t r i c l a y e r t r a n s f o
r m a t i o n s ) .
T h e r e f o r e , f o r e x a m p l e , c o n s i s t e n c y
o f t w o l a y e r s c a n b e v e r i e d o v e r t i m e b y a p
p l y i n g t h e
3 D - c o n s i s t e n c y c h e c k t o p a r a l l a x d i s
p l a c e m e n t s o f o n e l a y e r w i t h r e s p e c t t o t
h e o t h e r ( s e e
S e c t i o n 4 . 2 ) .
3 . O t h e r c u e s , s u c h d e t e c t i n g n e g a t i v
e d e p t h , e t c . c a n a l s o b e u s e d .
I n t h e s e q u e n c e s h o w n i n F i g u r e s 1 a n d 2
, w e u s e d t h e r s t c u e ( i . e . , e l i m i n a t e d \ o
a t i n g "
l a y e r s ) t o e n s u r e m o v i n g o b j e c t s w e r e
n o t i n t e r p r e t e d a s s c e n e l a y e r s . T h e m o v
i n g c a r w a s
s u c c e s s f u l l y a n d c o n t i n u o u s l y d e t e c
t e d o v e r t h e e n t i r e t w o - m i n u t e v i d e o s e q
u e n c e , w h i c h
a l t e r n a t e d b e t w e e n t h e s i n g l e - l a y e r
e d c a s e ( i . e . , n o 3 D p a r a l l a x f r o n t a l s c e
n e p a r t w a s n o t
v i s i b l e i n t h e F O V ) a n d t h e t w o - l a y e r e
d c a s e ( i . e . , e x i s t e n c e o f 3 D p a r a l l a x )
.
4 S c e n e s W i t h G e n e r a l 3 D P a r a l l a x
W h i l e t h e s i n g l e a n d m u l t i - l a y e r e d p a
r a m e t r i c r e g i s t r a t i o n m e t h o d s a r e a d e q
u a t e t o h a n d l e
a l a r g e n u m b e r o f s i t u a t i o n s , t h e r e a r
e c a s e s w h e n t h e p a r a l l a x c a n n o t b e m o d e l
e d i n t e r m s
o f l a y e r s . A n e x a m p l e o f s u c h a s i t u a t i
o n i s a c l u t t e r e d s c e n e w h i c h c o n t a i n s m a
n y s m a l l
o b j e c t s a t m u l t i p l e d e p t h s ( t h e s e c o u
l d b e u r b a n s c e n e s o r i n d o o r s c e n e s ) . I n t
h i s s e c t i o n
8
-
8/12/2019 Unified Mtd
9/21
( a )
2nd Image
P
Pw
p
O
e
Planar Surface
ReferenceImage
pw
H
Z
O'
P'
p'
T
1TZ
d'
( b )
p pw(p)
q
qw
(q)epipole
(foe)e
F i g u r e 3 : T h e p l a n e + p a r a l l a x d e c o m p o
s i t i o n .
( a ) T h e g e o m e t r i c i n t e r p r e t a t i o n . ( b
) T h e e p i p o l a r e l d o f t h e r e s i d u a l p a r a l l
a x d i s p l a c e m e n t s .
w e d e v e l o p a n a p p r o a c h t o h a n d l i n g t h e
s e m o r e c o m p l e x 3 D s c e n e s .
4 . 1 3 D S c e n e s w i t h D e n s e P a r a l l a x
T h e k e y o b s e r v a t i o n t h a t e n a b l e s u s t o
e x t e n d t h e 2 D p a r a m e t r i c r e g i s t r a t i o n a
p p r o a c h t o
g e n e r a l 3 D s c e n e s i s t h e f o l l o w i n g : t h
e p l a n e r e g i s t r a t i o n p r o c e s s ( u s i n g t h e
d o m i n a n t 2 D
p a r a m e t r i c t r a n s f o r m a t i o n ) r e m o v e s
a l l e e c t s o f c a m e r a r o t a t i o n , z o o m , a n d c
a l i b r a t i o n ,
w i t h o u t e x p l i c i t l y c o m p u t i n g t h e m 1 2
, 1 4 , 2 1 , 2 2 ] . T h e r e s i d u a l i m a g e m o t i o n a
f t e r t h e p l a n e
r e g i s t r a t i o n i s d u e o n l y t o t h e t r a n s l
a t i o n a l m o t i o n o f t h e c a m e r a a n d t o t h e d e
v i a t i o n s o f t h e
s c e n e s t r u c t u r e f r o m t h e p l a n a r s u r f a
c e . H e n c e , t h e r e s i d u a l m o t i o n i s a n e p i p
o l a r o w e l d .
T h i s o b s e r v a t i o n h a s l e d t o t h e s o - c a l
l e d \ p l a n e + p a r a l l a x " a p p r o a c h t o 3 D s c e
n e a n a l y s i s
1 3 , 1 2 , 1 4 , 2 1 , 2 2 ] .
T h e P l a n e + P a r a l l a x D e c o m p o s i t i o n
:
F i g u r e 3 p r o v i d e s a g e o m e t r i c i n t e r p r
e t a t i o n o f t h e p l a n a r p a r a l l a x . L e t
~
P = ( X Y Z )
T
a n d
~
P
0
= ( X
0
Y
0
Z
0
)
T
d e n o t e t h e C a r t e s i a n c o o r d i n a t e s o f a
s c e n e p o i n t w i t h r e s p e c t t o t w o d i f -
f e r e n t c a m e r a v i e w s , r e s p e c t i v e l y . L
e t
~
p = ( x y )
T
a n d
~
p
0
= ( x
0
y
0
)
T
r e s p e c t i v e l y d e n o t e t h e
c o r r e s p o n d i n g c o o r d i n a t e s o f t h e c o r
r e s p o n d i n g i m a g e p o i n t s i n t h e t w o i m a g e
f r a m e s . L e t
~
T = ( T
x
T
y
T
z
) d e n o t e t h e c a m e r a t r a n s l a t i o n b e t w e
e n t h e t w o v i e w s . L e t d e n o t e a ( r e a l
o r v i r t u a l ) p l a n a r s u r f a c e i n t h e s c e n
e w h i c h i s r e g i s t e r e d b y t h e 2 D p a r a m e t r i
c r e g i s t r a t i o n
p r o c e s s m e n t i o n e d i n S e c t i o n 2 . I t c a n
b e s h o w n ( s e e 1 5 , 1 2 , 2 1 , 2 2 ] ) t h a t t h e 2 D i
m a g e
9
-
8/12/2019 Unified Mtd
10/21
d i s p l a c e m e n t o f t h e p o i n t
~
P c a n b e w r i t t e n a s
~
u = (
~
p
0
;
~
p ) =
~
u
+ ~ ( 2 )
w h e r e ~u
d e n o t e s t h e p l a n a r p a r t o f t h e 2 D i m a g e
m o t i o n ( t h e h o m o g r a p h y d u e t o ) , a n d
~ d e n o t e s t h e r e s i d u a l p l a n a r p a r a l l a
x 2 D m o t i o n . T h e h o m o g r a p h y d u e t o r e s u l t
s i n a n
i m a g e m o t i o n e l d t h a t c a n b e m o d e l e d a s
a 2 D p a r a m e t r i c t r a n s f o r m a t i o n . I n g e n e
r a l , t h i s
t r a n s f o r m a t i o n i s a p r o j e c t i v e t r a n s
f o r m a t i o n , h o w e v e r , i n t h e c a s e o f i n s t a
n t a n e o u s c a m e r a
m o t i o n , i t c a n b e w e l l a p p r o x i m a t e d b y
t h e q u a d r a t i c t r a n s f o r m a t i o n s h o w n i n E
q u a t i o n ( 1 ) .
W h e n T
z
6= 0 :
~
u
= (
~
p
0
;
~
p
w
) ~ =
T
z
d
0
(
~
e ;
~
p
w
) ( 3 )
w h e r e
~
p
w
d e n o t e s t h e i m a g e p o i n t i n t h e r s t f r a m
e w h i c h r e s u l t s f r o m w a r p i n g t h e c o r r e
-
s p o n d i n g p o i n t
~
p
0
i n t h e s e c o n d i m a g e , b y t h e 2 D p a r a m e t r
i c t r a n s f o r m a t i o n o f t h e p l a n e .
T h e 2 D i m a g e c o o r d i n a t e s o f t h e e p i p o l
e ( o r t h e f o c u s - o f - e x p a n s i o n , F O E ) i n t h
e r s t f r a m e
a r e d e n o t e d b y
~
e , a n d d
0
i s t h e p e r p e n d i c u l a r d i s t a n c e f r o m t h
e s e c o n d c a m e r a c e n t e r t o t h e
r e f e r e n c e p l a n e ( s e e F i g u r e 3 ) . i s a m e
a s u r e o f t h e 3 D s h a p e o f t h e p o i n t
~
P . I n p a r t i c u l a r ,
=
H
Z
w h e r e H i s t h e p e r p e n d i c u l a r d i s t a n c e
f r o m t h e
~
P t o t h e r e f e r e n c e p l a n e , a n d Z i s
t h e \ r a n g e " ( o r \ d e p t h " ) o f t h e p o i n
t
~
P w i t h r e s p e c t t o t h e r s t c a m e r a . W e r e f
e r t o a s
t h e p r o j e c t i v e 3 D s t r u c t u r e o f p o i n
t
~
P . I n t h e c a s e w h e n T
z
= 0 , t h e p a r a l l a x m o t i o n h a s
a s l i g h t l y d i e r e n t f o r m : =
d
0
~
t w h e r e t = ( T
x
T
y
)
T
.
T h e u s e o f t h e p l a n e + p a r a l l a x d e c o m p o
s i t i o n f o r e g o m o t i o n e s t i m a t i o n i s d e s c
r i b e d i n
1 2 ] , a n d f o r 3 D s h a p e r e c o v e r y i s d e s c r
i b e d i n 1 4 , 2 1 ] . T h e p l a n e + p a r a l l a x d e c o
m p o s i t i o n i s
m o r e g e n e r a l t h a n t h e m o r e t r a d i t i o n a
l d e c o m p o s i t i o n i n t e r m s o f r o t a t i o n a l a
n d t r a n s l a t i o n a l
m o t i o n ( a n d i n c l u d e s t h e t r a d i t i o n a l
d e c o m p o s i t i o n a s a s p e c i a l c a s e ) . I n a d d
i t i o n , ( i ) t h e
p l a n a r h o m o g r a p h y ( i . e . , t h e 2 D p a r a m
e t r i c p l a n a r t r a n s f o r m a t i o n ) c o m p e n s a
t e s f o r c a m e r a
r o t a t i o n , z o o m a n d o t h e r c h a n g e s i n t h
e i n t e r n a l p a r a m e t e r s o f t h e c a m e r a , ( i i
) t h i s a p p r o a c h
d o e s n o t r e q u i r e a n y p r i o r k n o w l e d g e o
f t h e c a m e r a i n t e r n a l p a r a m e t e r s ( i n o t h
e r w o r d s , n o
p r i o r c a m e r a c a l i b r a t i o n i s n e e d e d ) ,
a n d ( i i i ) t h e p l a n a r h o m o g r a p h y b e i n g a 2
D p a r a m e t r i c
1 0
-
8/12/2019 Unified Mtd
11/21
t r a n s f o r m a t i o n c a n b e e s t i m a t e d i n a m
o r e s t a b l e f a s h i o n t h a n t h e r o t a t i o n a n d
t r a n s l a t i o n
p a r a m e t e r s . I n p a r t i c u l a r , i t c a n b e e
s t i m a t e d e v e n w h e n t h e c a m e r a e l d - o f - v i
e w i s l i m i t e d ,
t h e d e p t h v a r i a t i o n s i n t h e s c e n e a r e s
m a l l , a n d i n t h e p r e s e n c e o f i n d e p e n d e n t
l y m o v i n g
o b j e c t s ( s e e S e c t i o n 2 ) .
A n a l g o r i t h m f o r d e t e c t i n g m o v i n g o b j
e c t s b a s e d o n t h e p l a n e + p a r a l l a x d e c o m p
o s i t i o n
i s d e s c r i b e d i n 1 6 ] . H o w e v e r , i t s h o u l
d b e n o t e d t h a t i n g e n e r a l , t h e d e t e c t i o n
o f m o v i n g
o b j e c t s d o e s n o t r e q u i r e t h e e s t i m a t i
o n o f t h e 3 D s h a p e . S i n c e t h e r e s i d u a l p a r
a l l a x d i s -
p l a c e m e n t s a r e d u e t o t h e c a m e r a t r a n s
l a t i o n a l c o m p o n e n t a l o n e , t h e y f o r m a r a
d i a l e l d
c e n t e r e d a t t h e e p i p o l e / F O E ( s e e F i g u
r e 3 . b ) . I f t h e e p i p o l e i s r e c o v e r e d , a l l
t h a t i s r e q u i r e d
f o r d e t e c t i n g m o v i n g o b j e c t s i s t h e v e
r i c a t i o n w h e t h e r t h e r e s i d u a l 2 D d i s p l a
c e m e n t a s s o -
c i a t e d w i t h a g i v e n p o i n t i s d i r e c t e d t
o w a r d s / a w a y f r o m t h e e p i p o l e . T h i s i s k n
o w n a s t h e
e p i p o l a r c o n s t r a i n t 2 4 ] . R e s i d u a l 2 D
m o t i o n t h a t v i o l a t e s t h i s r e q u i r e m e n t c
a n o n l y b e d u e
t o a n i n d e p e n d e n t l y m o v i n g o b j e c t . F i
g u r e 4 . a g r a p h i c a l l y i l l u s t r a t e s t h i s s
i t u a t i o n .
a )
epipole(foe)
b )
falseepipole
(foe)
trueepipole
(foe)
F i g u r e 4 : ( a ) M o v i n g o b j e c t d e t e c t i o n
b a s e d o n i n c o n s i s t e n c y o f p a r a l l a x m o t i
o n w i t h r a d i a l e p i p o -
l a r m o t i o n e l d . ( b ) F a l s e e p i p o l e e s t i
m a t i o n w h e n 3 D p a r a l l a x i s s p a r s e r e l a t i
v e t o i n d e p e n d e n t
m o t i o n .
D i c u l t y o f E p i p o l e R e c o v e r y :
W h i l e t h e p l a n e + p a r a l l a x s t r a t e g y w o
r k s g e n e r a l l y w e l l w h e n t h e e p i p o l e ( F O E
) r e c o v e r y i s
p o s s i b l e , i t s p e r f o r m a n c e d e p e n d s c r
i t i c a l l y o n t h e a b i l i t y t o a c c u r a t e l y e s
t i m a t e t h e e p i p o l e .
S i n c e t h e e p i p o l e r e c o v e r y i s b a s e d o n
t h e r e s i d u a l m o t i o n v e c t o r s , t h o s e v e c t
o r s t h a t a r e
d u e t o t h e m o v i n g o b j e c t a r e l i k e l y t o b
i a s t h e e s t i m a t e d e p i p o l e a w a y f r o m t h e t
r u e e p i p o l e .
( N o t e t h a t t h i s i s t r u e e v e n o f t h e \ d i r
e c t " m e t h o d s t h a t d o n o t e x p l i c i t l y r e c o
v e r t h e r e s i d u a l
m o t i o n v e c t o r s , b u t i n s t e a d r e l y o n s p
a t i o t e m p o r a l i m a g e g r a d i e n t s 1 4 ] , s i n c
e t h e i n f o r m a -
1 1
-
8/12/2019 Unified Mtd
12/21
t i o n p r o v i d e d b y t h e p o i n t s o n m o v i n g o
b j e c t s w i l l i n u e n c e t h e e s t i m a t e . )
T h e p r o b l e m o f e s t i m a t i n g t h e e p i p o l e
i s a c u t e w h e n t h e s c e n e c o n t a i n s s p a r s e p
a r a l l a x
i n f o r m a t i o n a n d t h e r e s i d u a l m o t i o n v
e c t o r s d u e t o i n d e p e n d e n t l y m o v i n g o b j e
c t a r e s i g -
n i c a n t ( e i t h e r i n m a g n i t u d e o r i n n u m b
e r ) . A g r a p h i c i l l u s t r a t i o n o f s u c h a s i t
u a t i o n i s
p r o v i d e d i n F i g u r e 4 . b . I n t h e s i t u a t i
o n d e p i c t e d i n t h i s g u r e , t h e m a g n i t u d e a
n d t h e n u m -
b e r o f p a r a l l a x v e c t o r s o n t h e t r e e i s c
o n s i d e r a b l y s m a l l e r t h a n t h e r e s i d u a l m
o t i o n v e c t o r s
o n t h e i n d e p e n d e n t l y m o v i n g c a r . A s a r
e s u l t , t h e e s t i m a t e d e p i p o l e i s l i k e l y t
o b e c o n s i s t e n t
w i t h t h e m o t i o n o f t h e c a r ( i n t h e g u r e t
h i s w o u l d b e s o m e w h e r e o u t s i d e t h e e l d - o
f - v i e w o n
t h e l e f t s i d e o f t h e i m a g e ) a n d t h e t r e e
w i l l b e d e t e c t e d a s a n i n d e p e n d e n t l y m o v
i n g o b j e c t .
T h e r e a r e t w o o b v i o u s w a y s t o o v e r c o m e
t h e d i c u l t i e s i n e s t i m a t i n g t h e e p i p o l e
. T h e
r s t i s t o u s e p r i o r k n o w l e d g e r e g a r d i n
g t h e c a m e r a / v e h i c l e m o t i o n t o r e j e c t p o
t e n t i a l o u t -
l i e r s ( n a m e l y t h e m o v i n g o b j e c t s ) d u r
i n g t h e e s t i m a t i o n . H o w e v e r , i f o n l y l i m
i t e d p a r a l l a x
i n f o r m a t i o n i s a v a i l a b l e , a n y a t t e m p
t t o r e n e t h i s p r i o r i n f o r m a t i o n w i l l b e u
n s t a b l e . A
m o r e g e n e r a l a p p r o a c h w o u l d b e t o d e f e
r , o r e v e n c o m p l e t e l y e l i m i n a t e , t h e c o m
p u t a t i o n
o f t h e e p i p o l e . I n t h e n e x t s e c t i o n , w e
d e v e l o p a n a p p r o a c h t o m o v i n g o b j e c t d e t
e c t i o n b y
d i r e c t l y c o m p a r i n g t h e p a r a l l a x m o t i
o n o f p a i r s o f p o i n t s w i t h o u t e s t i m a t i n g
t h e e p i p o l e .
4 . 2 3 D S c e n e s W i t h S p a r s e P a r a l l a x
I n t h i s s e c t i o n w e p r e s e n t a m e t h o d w e h
a v e d e v e l o p e d f o r m o v i n g o b j e c t d e t e c t i
o n i n t h e
d i c u l t \ i n t e r m e d i a t e " c a s e s , w h e n 3 D
p a r a l l a x i n f o r m a t i o n i s s p a r s e r e l a t i v
e t o i n d e p e n d e n t
m o t i o n i n f o r m a t i o n . T h i s a p p r o a c h c a
n b e u s e d t o b r i d g e t h e g a p b e t w e e n t h e 2 D c
a s e s a n d
t h e d e n s e 3 D c a s e s .
T h e p a r a l l a x b a s e d s h a p e c o n s t r a i n t
:
T h e o r e m 1 : G i v e n t h e p l a n a r - p a r a l l a x
d i s p l a c e m e n t v e c t o r s ~
1
a n d ~
2
o f t w o p o i n t s t h a t
b e l o n g t o t h e s t a t i c b a c k g r o u n d s c e n e
, t h e i r r e l a t i v e 3 D p r o j e c t i v e s t r u c t u r
e
2
1
i s g i v e n b y :
2
1
=
~
2
T
(
~
p
w
)
?
~
1
T
(
~
p
w
)
?
: ( 4 )
1 2
-
8/12/2019 Unified Mtd
13/21
w h e r e , a s s h o w n i n F i g u r e 5 ,
~
p
1
a n d
~
p
2
a r e t h e i m a g e l o c a t i o n s ( i n t h e r e f e r e
n c e f r a m e ) o f
t w o p o i n t s t h a t a r e p a r t o f t h e s t a t i c s
c e n e ,
~
p
w
=
~
p
w
2
;
~
p
w
1
, t h e v e c t o r c o n n e c t i n g t h e
\ w a r p e d " l o c a t i o n s o f t h e c o r r e s p o n d
i n g s e c o n d f r a m e p o i n t s ( a s i n E q u a t i o n (
3 ) ) , a n d ~v
?
s i g n i e s a v e c t o r p e r p e n d i c u l a r t o ~v
.
P r o o f : S e e A p p e n d i x ( a l s o s e e 1 0 ] ) .
p1
p2
pw1
pw2
1
2
C
A
B
pw
epipole(FOE)
F i g u r e 5 : T h e p a i r w i s e p a r a l l a x -
b a s e d
s h a p e c o n s t r a i n t . T h i s g u r e g e -
o m e t r i c a l l y i l l u s t r a t e s t h e r e l a t i v
e
s t r u c t u r e c o n s t r a i n t ( E q . 4 ) :
2
1
=
~
2
T
(
~
p
w
)
?
~
1
T
(
~
p
w
)
?
=
A B
A C
:
N o t e t h a t t h i s c o n s t r a i n t d i r e c t l y r e
l a t e s t h e r e l a t i v e p r o j e c t i v e s t r u c t u r
e o f t w o p o i n t s t o
t h e i r p a r a l l a x d i s p l a c e m e n t s a l o n e :
n o c a m e r a p a r a m e t e r s , i n p a r t i c u l a r t h e
e p i p o l e ( F O E ) ,
a r e i n v o l v e d . N e i t h e r i s a n y a d d i t i o n
a l p a r a l l a x i n f o r m a t i o n r e q u i r e d a t o t h
e r i m a g e p o i n t s .
A p p l i c a t i o n o f t h i s c o n s t r a i n t t o t h e
r e c o v e r y o f 3 D s t r u c t u r e o f t h e s c e n e i s d
e s c r i b e d i n
1 0 ] . H e r e w e f o c u s o n i t s a p p l i c a t i o n t
o m o v i n g o b j e c t d e t e c t i o n .
T h e p a r a l l a x b a s e d r i g i d i t y c o n s t r a i
n t :
T h e o r e m 2 : G i v e n t h e p l a n a r - p a r a l l a x
d i s p l a c e m e n t v e c t o r s o f t w o p o i n t s t h a t
b e l o n g t o
t h e b a c k g r o u n d s t a t i c s c e n e o v e r t h r e
e f r a m e s , t h e f o l l o w i n g c o n s t r a i n t m u s t
b e s a t i s e d :
~
2
j
T
(
~
p
w
)
j
?
~
1
j
T
(
~
p
w
)
j
?
;
~
2
k
T
(
~
p
w
)
k
?
~
1
k
T
(
~
p
w
)
k
?
= 0 : ( 5 )
w h e r e
~
j
1
~
j
2
a r e t h e p a r a l l a x d i s p l a c e m e n t v e c t o r
s o f t h e t w o p o i n t s b e t w e e n t h e r e f e r e n c
e
f r a m e a n d t h e j t h f r a m e ,
~
k
1
~
k
2
a r e t h e p a r a l l a x v e c t o r s b e t w e e n t h e r
e f e r e n c e f r a m e a n d t h e
k t h f r a m e , a n d (
~
p
w
)
j
(
~
p
w
)
k
a r e t h e c o r r e s p o n d i n g d i s t a n c e s b e t w
e e n t h e w a r p e d p o i n t s
1 3
-
8/12/2019 Unified Mtd
14/21
a s i n E q u a t i o n ( 4 ) a n d F i g u r e 5 .
P r o o f : T h e r e l a t i v e p r o j e c t i v e s t r u c
t u r e
2
1
i s i n v a r i a n t t o c a m e r a m o t i o n . T h e r e f
o r e ,
u s i n g E q u a t i o n ( 4 ) , f o r a n y t w o f r a m e s
j a n d k w e g e t :
2
1
=
~
2
j
T
(
~
p
w
)
j
?
~
1
j
T
(
~
p
w
)
j
?
=
~
2
k
T
(
~
p
w
)
k
?
~
1
k
T
(
~
p
w
)
k
?
:
A s i n t h e c a s e o f t h e p a r a l l a x b a s e d s h a
p e c o n s t r a i n t ( E q u a t i o n ( 4 ) ) , t h e p a r a l
l a x b a s e d
r i g i d i t y c o n s t r a i n t ( E q u a t i o n ( 5 ) ) r
e l a t e s t h e p a r a l l a x v e c t o r s o f p a i r s o f p
o i n t s o v e r t h r e e
f r a m e s w i t h o u t r e f e r r i n g t o t h e c a m e r
a g e o m e t r y ( e s p e c i a l l y t h e e p i p o l e / F O E
) . F u r t h e r m o r e ,
t h i s c o n s t r a i n t d o e s n o t e v e n e x p l i c i
t l y r e f e r t o t h e s t r u c t u r e p a r a m e t e r s o f
t h e p o i n t s i n
c o n s i d e r a t i o n . T h e r i g i d i t y c o n s t r a
i n t ( 5 ) c a n t h e r e f o r e b e a p p l i e d t o d e t e c
t i n c o n s i s t e n c i e s i n
t h e 3 D m o t i o n o f t w o i m a g e p o i n t s ( i . e .
, s a y w h e t h e r t h e t w o i m a g e p o i n t s a r e p r o
j e c t i o n s o f
3 D p o i n t s b e l o n g i n g t o a s a m e o r d i e r e n
t 3 D m o v i n g o b j e c t s ) b a s e d o n t h e i r p a r a l
l a x m o t i o n
a m o n g t h r e e ( o r m o r e ) f r a m e s a l o n e , w i
t h o u t t h e n e e d t o e s t i m a t e e i t h e r c a m e r a
g e o m e t r y ,
c a m e r a m o t i o n , o r s t r u c t u r e p a r a m e t e
r s , a n d w i t h o u t r e l y i n g o n p a r a l l a x i n f o
r m a t i o n a t
o t h e r i m a g e p o i n t s . A c o n s i s t e n c y m e a
s u r e i s d e n e d a s t h e l e f t - h a n d s i d e o f E q u
a t i o n ( 5 ) ,
a f t e r m u l t i p l y i n g b y t h e d e n o m i n a t o r
s ( t o e l i m i n a t e s i n g u l a r i t i e s ) . T h e f a r
t h e r t h i s q u a n t i t y
i s f r o m 0 , t h e h i g h e r i s t h e 3 D - i n c o n s i
s t e n c y o f t h e t w o p o i n t s .
4 . 3 A p p l y i n g t h e P a r a l l a x R i g i d i t y C o
n s t r a i n t t o M o v i n g O b j e c t
D e t e c t i o n
F i g . 6 . a g r a p h i c a l l y d i s p l a y s a n e x a m
p l e o f a c o n g u r a t i o n i n w h i c h e s t i m a t i n g
t h e e p i p o l e
i n p r e s e n c e o f m u l t i p l e m o v i n g o b j e c t
s c a n b e v e r y e r r o n e o u s , e v e n w h e n u s i n g c
l u s t e r i n g
t e c h n i q u e s i n t h e e p i p o l e d o m a i n a s s u
g g e s t e d b y 1 7 , 2 5 ] . R e l y i n g o n t h e e p i p o l
e c o m p u t a t i o n
t o d e t e c t i n c o n s i s t e n c i e s i n 3 D m o t i o
n f a i l s i n d e t e c t i n g m o v i n g o b j e c t s i n s u
c h c a s e s .
T h e p a r a l l a x r i g i d i t y c o n s t r a i n t ( E q
u a t i o n ( 5 ) ) c a n b e a p p l i e d t o d e t e c t i n c o
n s i s t e n c i e s i n
t h e 3 D m o t i o n o f o n e i m a g e p o i n t r e l a t i
v e t o a n o t h e r d i r e c t l y f r o m t h e i r \ p a r a l
l a x " v e c t o r s
o v e r m u l t i p l e ( t h r e e o r m o r e ) f r a m e s ,
w i t h o u t t h e n e e d t o e s t i m a t e e i t h e r c a m e
r a g e o m e t r y ,
1 4
-
8/12/2019 Unified Mtd
15/21
( a )
Ball
Tree
TT1
B
B1
efalse epipole
(foe)( b )
Ball
Tree
TT2 T1
B
B1
B2
AB
AT
CB
CT
F i g u r e 6 : R e l i a b l e d e t e c t i o n o f 3 D m o t
i o n i n c o n s i s t e n c y w i t h s p a r s e p a r a l l a x
i n f o r m a t i o n .
( a ) C a m e r a i s t r a n s l a t i n g t o t h e r i g h t
. T h e o n l y s t a t i c o b j e c t w i t h p u r e p a r a l l
a x m o t i o n i s t h a t
o f t h e t r e e . B a l l i s f a l l i n g i n d e p e n d e
n t l y . T h e e p i p o l e m a y b e i n c o r r e c t l y b e c
o m p u t e d a s e . T h e
f a l s e e p i p o l e e i s c o n s i s t e n t w i t h b o t
h m o t i o n s . ( b ) T h e r i g i d i t y c o n s t r a i n t a
p p l i e d t o t h i s s c e n a r i o
d e t e c t s 3 D i n c o n s i s t e n c y o v e r t h r e e f
r a m e s , s i n c e
T
1
A
B
T
1
A
T
6=
T
2
C
B
; T
2
C
T
. I n t h i s c a s e , e v e n t h e s i g n s d o
n o t m a t c h .
c a m e r a m o t i o n , o r s h a p e p a r a m e t e r s . T
h i s p r o v i d e s a u s e f u l m e c h a n i s m f o r c l u s
t e r i n g ( o r
s e g m e n t i n g ) t h e \ p a r a l l a x " v e c t o r s (
i . e . , t h e r e s i d u a l m o t i o n a f t e r p l a n a r r
e g i s t r a t i o n ) i n t o
c o n s i s t e n t g r o u p s b e l o n g i n g t o c o n s i
s t e n t l y 3 D m o v i n g o b j e c t s , e v e n i n c a s e s
s u c h a s i n
F i g . 6 . a , w h e r e t h e p a r a l l a x i n f o r m a t
i o n i s m i n i m a l , a n d t h e i n d e p e n d e n t m o t i
o n i s n o t
n e g l i g i b l e . F i g . 6 . b g r a p h i c a l l y e x p
l a i n s h o w t h e r i g i d i t y c o n s t r a i n t ( 5 ) d e
t e c t s t h e 3 D
i n c o n s i s t e n c y o f F i g . 6 . a o v e r t h r e e f
r a m e s .
F i g . 7 s h o w s a n e x a m p l e o f u s i n g t h e r i g
i d i t y - b a s e d i n c o n s i s t e n c y m e a s u r e d e s
c r i b e d
e a r l i e r t o d e t e c t 3 D i n c o n s i s t e n c i e s
. I n t h i s s e q u e n c e t h e c a m e r a i s i n m o t i o n
( t r a n s l a t i n g
f r o m l e f t t o r i g h t ) , i n d u c i n g p a r a l l a
x m o t i o n o f d i e r e n t m a g n i t u d e s o n t h e h o u
s e , r o a d , a n d
r o a d - s i g n . T h e c a r m o v e s i n d e p e n d e n t
l y f r o m l e f t t o r i g h t . T h e d e t e c t e d 2 D p l a
n a r m o t i o n
w a s t h a t o f t h e h o u s e . T h e p l a n a r p a r a l
l a x m o t i o n w a s c o m p u t e d a f t e r 2 D r e g i s t r
a t i o n
o f t h e t h r e e i m a g e s w i t h r e s p e c t t o t h e
h o u s e ( s e e F i g . 7 . d ) . A s i n g l e p o i n t o n t h
e r o a d -
s i g n w a s s e l e c t e d a s a p o i n t o f r e f e r e n
c e ( s e e F i g . 7 . e ) . F i g . 7 . f d i s p l a y s t h e m
e a s u r e o f
i n c o n s i s t e n c y o f e a c h p o i n t i n t h e i m a
g e w i t h r e s p e c t t o t h e s e l e c t e d r o a d - s i g
n p o i n t . B r i g h t
r e g i o n s i n d i c a t e l a r g e v a l u e s w h e n a p
p l y i n g t h e i n c o n s i s t e n c y m e a s u r e , i . e .
, v i o l a t i o n s i n 3 D
r i g i d i t y d e t e c t e d o v e r t h r e e f r a m e s w
i t h r e s p e c t t o t h e r o a d - s i g n p o i n t . T h e r
e g i o n w h i c h
w a s d e t e c t e d a s m o v i n g 3 D - i n c o n s i s t e
n t l y w i t h r e s p e c t t o t h e r o a d - s i g n p o i n t
c o r r e s p o n d s t o
t h e c a r . R e g i o n s c l o s e t o t h e i m a g e b o u
n d a r y w e r e i g n o r e d . A l l o t h e r r e g i o n s o f
t h e i m a g e
1 5
-
8/12/2019 Unified Mtd
16/21
w e r e d e t e c t e d a s m o v i n g 3 D - c o n s i s t e n
t l y w i t h t h e r o a d - s i g n p o i n t . T h e r e f o r e
, a s s u m i n g a n
u n c a l i b r a t e d c a m e r a , t h i s m e t h o d p r o
v i d e s a m e c h a n i s m f o r s e g m e n t i n g a l l n o n
- z e r o r e s i d u a l
m o t i o n v e c t o r s ( a f t e r 2 D p l a n a r s t a b i
l i z a t i o n ) i n t o g r o u p s m o v i n g c o n s i s t e n
t l y ( i n t h e 3 D
s e n s e ) .
F i g . 8 s h o w s a n o t h e r e x a m p l e o f u s i n g t
h e r i g i d i t y c o n s t r a i n t ( 5 ) t o d e t e c t 3 D i
n c o n s i s -
t e n c i e s . I n t h i s s e q u e n c e t h e c a m e r a i
s m o u n t e d o n a h e l i c o p t e r y i n g f r o m l e f t t
o r i g h t ,
i n d u c i n g s o m e p a r a l l a x m o t i o n ( o f d i e
r e n t m a g n i t u d e s ) o n t h e h o u s e - r o o f a n d t
r e e s ( b o t t o m
o f t h e i m a g e ) , a n d o n t h e e l e c t r i c i t y p
o l e s ( b y t h e r o a d ) . T h r e e c a r s m o v e i n d e p
e n d e n t l y o n
t h e r o a d . T h e d e t e c t e d 2 D p l a n a r m o t i o
n w a s t h a t o f t h e g r o u n d s u r f a c e ( s e e F i g .
8 . d ) . A
s i n g l e p o i n t w a s s e l e c t e d o n a t r e e a s a
p o i n t o f r e f e r e n c e ( s e e F i g . 8 . e ) . F i g . 8
. f d i s p l a y s t h e
m e a s u r e o f i n c o n s i s t e n c y o f e a c h p o i n
t i n t h e i m a g e w i t h r e s p e c t t o t h e s e l e c t e
d r e f e r e n c e
p o i n t . B r i g h t r e g i o n s i n d i c a t e 3 D - i n
c o n s i s t e n c y d e t e c t e d o v e r t h r e e f r a m e s
. T h e t h r e e c a r s
w e r e d e t e c t e d a s m o v i n g i n c o n s i s t e n t
l y w i t h t h e s e l e c t e d t r e e p o i n t . R e g i o n s
c l o s e t o t h e
i m a g e b o u n d a r y w e r e i g n o r e d . A l l o t h e
r i m a g e r e g i o n s w e r e d e t e c t e d a s m o v i n g c
o n s i s t e n t l y
w i t h t h e s e l e c t e d t r e e p o i n t .
T h e a b i l i t y o f t h e p a r a l l a x r i g i d i t y c
o n s t r a i n t ( E q u a t i o n ( 5 ) ) t o d e t e c t 3 D - i
n c o n s i s t e n c y
w i t h r e s p e c t t o a s i n g l e p o i n t , p r o v i d
e s a n a t u r a l w a y t o b r i d g e b e t w e e n 2 D a l g o
r i t h m s
( w h i c h a s s u m e t h a t a n y 2 D m o t i o n d i e r e
n t t h a n t h e p l a n a r m o t i o n i s a n i n d e p e n d e
n t l y
m o v i n g o b j e c t ) , a n d 3 D a l g o r i t h m s ( w h
i c h r e l y o n h a v i n g p r i o r k n o w l e d g e o f a c o
n s i s t e n t
s e t o f p o i n t s , o r a l t e r n a t i v e l y , d e n s
e p a r a l l a x d a t a ) .
5 C o n c l u s i o n
P r e v i o u s a p p r o a c h e s t o t h e p r o b l e m o f
m o v i n g o b j e c t d e t e c t i o n c a n b e b r o a d l y d
i v i d e d i n t o
t w o c l a s s e s : 2 D a l g o r i t h m s w h i c h a p p l
y w h e n t h e s c e n e c a n b e a p p r o x i m a t e d b y a a
t s u r f a c e
a n d / o r w h e n t h e c a m e r a i s o n l y u n d e r g o
i n g r o t a t i o n s a n d z o o m s , a n d 3 D a l g o r i t h
m s w h i c h
w o r k w e l l o n l y w h e n s i g n i c a n t d e p t h v a
r i a t i o n s a r e p r e s e n t i n t h e s c e n e a n d t h e
c a m e r a i s
t r a n s l a t i n g . T h e s e t w o c l a s s e s o f a l g
o r i t h m s t r e a t t w o e x t r e m e s i n a c o n t i n u u
m o f s c e n a r i o s :
n o 3 D p a r a l l a x ( 2 D a l g o r i t h m s ) v s . d e n
s e 3 D p a r a l l a x ( 3 D a l g o r i t h m s ) . B o t h c l a
s s e s f a i l o n
t h e o t h e r e x t r e m e c a s e o r e v e n o n t h e i n
t e r m e d i a t e c a s e ( w h e n 3 D p a r a l l a x i s s p a
r s e r e l a t i v e
1 6
-
8/12/2019 Unified Mtd
17/21
a ) b ) c )
d ) e ) f )
F i g u r e 7 : M o v i n g o b j e c t d e t e c t i o n r e l
y i n g o n a s i n g l e p a r a l l a x v e c t o r .
( a , b , c ) T h r e e i m a g e f r a m e s f r o m a s e q u
e n c e o b t a i n e d b y a c a m e r a t r a n s l a t i n g f r
o m l e f t t o r i g h t ,
i n d u c i n g p a r a l l a x m o t i o n o f d i e r e n t m
a g n i t u d e s o n t h e h o u s e , r o a d , a n d r o a d - s
i g n . T h e c a r m o v e s
i n d e p e n d e n t l y f r o m l e f t t o r i g h t . T h e
m i d d l e f r a m e ( F i g . 7 . b ) w a s c h o s e n a s t h e
f r a m e o f r e f e r e n c e .
( d ) D i e r e n c e s t a k e n a f t e r 2 D i m a g e r e g
i s t r a t i o n . T h e d e t e c t e d 2 D p l a n a r m o t i o
n w a s t h a t o f t h e
h o u s e , a n d i s c a n c e l e d b y t h e 2 D r e g i s t
r a t i o n . A l l o t h e r s c e n e p a r t s t h a t h a v e d
i e r e n t 2 D m o t i o n s
( i . e . , p a r a l l a x m o t i o n o r i n d e p e n d e n
t m o t i o n ) a r e m i s r e g i s t e r e d . ( e ) T h e s e l
e c t e d p o i n t o f r e f e r e n c e
( a p o i n t o n t h e r o a d - s i g n ) h i g h l i g h t e
d b y a w h i t e c i r c l e . ( f ) T h e m e a s u r e o f 3 D -
i n c o n s i s t e n c y o f
a l l p o i n t s i n t h e i m a g e w i t h r e s p e c t t o
t h e r o a d - s i g n p o i n t . B r i g h t r e g i o n s i n d
i c a t e v i o l a t i o n s i n
3 D r i g i d i t y d e t e c t e d o v e r t h r e e f r a m e
s w i t h r e s p e c t t o t h e s e l e c t e d r o a d - s i g n
p o i n t . T h e s e r e g i o n s
c o r r e s p o n d t o t h e c a r . R e g i o n s c l o s e t
o t h e i m a g e b o u n d a r y w e r e i g n o r e d . A l l o t
h e r r e g i o n s o f t h e
i m a g e a p p e a r t o m o v e 3 D - c o n s i s t e n t l y
w i t h t h e r o a d - s i g n p o i n t .
t o a m o u n t o f i n d e p e n d e n t m o t i o n ) .
I n t h i s p a p e r , w e h a v e d e s c r i b e d a u n i e
d a p p r o a c h t o h a n d l i n g m o v i n g o b j e c t d e t
e c t i o n
i n b o t h 2 D a n d 3 D s c e n e s , w i t h a s t r a t e g
y t o g r a c e f u l l y b r i d g e t h e g a p b e t w e e n t h
o s e
t w o e x t r e m e s . O u r a p p r o a c h i s b a s e d o n
a s t r a t i c a t i o n o f t h e m o v i n g o b j e c t d e t e
c t i o n
p r o b l e m i n t o s c e n a r i o s w h i c h g r a d u a l
l y i n c r e a s e i n t h e i r c o m p l e x i t y : W e p r e s
e n t e d a s e t o f
t e c h n i q u e s t h a t m a t c h t h e a b o v e s t r a t
i c a t i o n . T h e s e t e c h n i q u e s p r o g r e s s i v e
l y i n c r e a s e i n
t h e i r c o m p l e x i t y , r a n g i n g f r o m 2 D t e c
h n i q u e s t o m o r e c o m p l e x 3 D t e c h n i q u e s . M
o r e o v e r ,
t h e c o m p u t a t i o n s r e q u i r e d f o r t h e s o l
u t i o n t o t h e p r o b l e m a t o n e c o m p l e x i t y l e
v e l b e c o m e
t h e i n i t i a l p r o c e s s i n g s t e p f o r t h e s o
l u t i o n a t t h e n e x t c o m p l e x i t y l e v e l .
T h e g o a l i n t a k i n g t h i s a p p r o a c h i s t o d
e v e l o p a s t r a t e g y f o r m o v i n g o b j e c t d e t e
c t i o n ,
s o t h a t t h e a n a l y s i s p e r f o r m e d i s t u n e
d t o m a t c h t h e c o m p l e x i t y o f t h e p r o b l e m a
n d t h e
a v a i l a b i l i t y o f i n f o r m a t i o n a t a n y t i
m e . T h i s p a p e r d e s c r i b e s t h e c o r e e l e m e n
t s o f s u c h a
s t r a t e g y . T h e i n t e g r a t i o n o f t h e s e e l
e m e n t s i n t o a s i n g l e a l g o r i t h m r e m a i n s a
t a s k f o r o u r
f u t u r e r e s e a r c h .
1 7
-
8/12/2019 Unified Mtd
18/21
a ) b ) c )
d ) e ) f )
F i g u r e 8 : M o v i n g o b j e c t d e t e c t i o n r e l
y i n g o n a s i n g l e p a r a l l a x v e c t o r .
( a , b , c ) T h r e e i m a g e f r a m e s f r o m a s e q u
e n c e o b t a i n e d b y a c a m e r a m o u n t e d o n a h e l
i c o p t e r ( y i n g
f r o m l e f t t o r i g h t w h i l e t u r n i n g ) , i n d
u c i n g s o m e p a r a l l a x m o t i o n ( o f d i e r e n t m
a g n i t u d e s ) o n t h e
h o u s e - r o o f a n d t r e e s ( b o t t o m o f t h e i m
a g e ) , a n d o n t h e e l e c t r i c i t y p o l e s ( b y t h
e r o a d ) . T h r e e c a r s
m o v e i n d e p e n d e n t l y o n t h e r o a d . T h e m i
d d l e f r a m e ( F i g . 8 . b ) w a s c h o s e n a s t h e f r
a m e o f r e f e r e n c e .
( d ) D i e r e n c e s t a k e n a f t e r 2 D i m a g e r e g
i s t r a t i o n . T h e d e t e c t e d 2 D p l a n a r m o t i o
n w a s t h a t o f t h e
g r o u n d s u r f a c e , a n d i s c a n c e l e d b y t h e
2 D r e g i s t r a t i o n . A l l o t h e r s c e n e p a r t s t
h a t h a v e d i e r e n t 2 D
m o t i o n s ( i . e . , p a r a l l a x m o t i o n o r i n d
e p e n d e n t m o t i o n ) a r e m i s r e g i s t e r e d . ( e
) T h e s e l e c t e d p o i n t o f
r e f e r e n c e ( a p o i n t o n a t r e e a t t h e b o t t
o m l e f t o f t h e i m a g e ) h i g h l i g h t e d b y a w h i
t e c i r c l e . ( f ) T h e
m e a s u r e o f 3 D - i n c o n s i s t e n c y o f e a c h p
o i n t i n t h e i m a g e w i t h t h e t r e e p o i n t . B r i
g h t r e g i o n s i n d i c a t e
v i o l a t i o n s i n 3 D r i g i d i t y d e t e c t e d o v
e r t h r e e f r a m e s w i t h r e s p e c t t o t h e s e l e c
t e d t r e e p o i n t . T h e s e
r e g i o n s c o r r e s p o n d t o t h e t h r e e c a r s (
i n t h e r e f e r e n c e i m a g e ) . R e g i o n s c l o s e t
o t h e i m a g e b o u n d a r y
w e r e i g n o r e d . A l l o t h e r r e g i o n s o f t h e
i m a g e a p p e a r t o m o v e 3 D - c o n s i s t e n t l y w i
t h t h e t r e e p o i n t .
R e f e r e n c e s
1 ] E . H . A d e l s o n . L a y e r e d r e p r e s e n t a t
i o n s f o r i m a g e c o d i n g . T e c h n i c a l R e p o r t
1 8 1 , M I T
M e d i a L a b . V i s i o n a n d M o d e l i n g G r o u p ,
D e c e m b e r 1 9 9 1 .
2 ] G . A d i v . I n h e r e n t a m b i g u i t i e s i n r e
c o v e r i n g 3 D m o t i o n a n d s t r u c t u r e f r o m a n
o i s y o w
e l d . I E E E T r a n s . o n P a t t e r n A n a l y s i s a
n d M a c h i n e I n t e l l i g e n c e , 1 1 : 4 7 7 { 4 8 9 , M
a y
1 9 8 9 .
3 ] Y . A l o i m o n o s , e d i t o r . A c t i v e P e r c e
p t i o n . E r l b a u m , 1 9 9 3 .
4 ] S . A y e r a n d H . S a w h n e y . L a y e r e d r e p r
e s e n t a t i o n o f m o t i o n v i d e o u s i n g r o b u s t
m a x i m u m -
l i k l i h o o d e s t i m a t i o n o f m i t u r e m o d e l
s a n d m d l e n c o d i n g . I n I n t e r n a t i o n a l C o n
f e r e n c e
o n C o m p u t e r V i s i o n , p a g e s 7 7 7 { 7 8 4 , C a
m b r i d g e , M A , J u n e 1 9 9 5 .
1 8
-
8/12/2019 Unified Mtd
19/21
5 ] J . R . B e r g e n , P . A n a n d a n , K . J . H a n n a
, a n d R . H i n g o r a n i . H i e r a r c h i c a l m o d e l -
b a s e d
m o t i o n e s t i m a t i o n . I n E u r o p e a n C o n f e
r e n c e o n C o m p u t e r V i s i o n , p a g e s 2 3 7 { 2 5 2
, S a n t a
M a r g a r i t a L i g u r e , M a y 1 9 9 2 .
6 ] J . R . B e r g e n , P . J . B u r t , R . H i n g o r a n
i , a n d S . P e l e g . A t h r e e - f r a m e a l g o r i t h m
f o r e s t i -
m a t i n g t w o - c o m p o n e n t i m a g e m o t i o n . I
E E E T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i
n e
I n t e l l i g e n c e , 1 4 : 8 8 6 { 8 9 5 , S e p t e m b e
r 1 9 9 2 .
7 ] P . J . B u r t , R . H i n g o r a n i , a n d R . J . K o
l c z y n s k i . M e c h a n i s m s f o r i s o l a t i n g c o m
p o n e n t
p a t t e r n s i n t h e s e q u e n t i a l a n a l y s i s o
f m u l t i p l e m o t i o n . I n I E E E W o r k s h o p o n V i
s u a l
M o t i o n , p a g e s 1 8 7 { 1 9 3 , P r i n c e t o n , N e
w J e r s e y , O c t o b e r 1 9 9 1 .
8 ] J . C o s t e i r a a n d T . K a n a d e . A m u l t i - b
o d y f a c t o r i z a t i o n m e t h o d f o r m o t i o n a n a
l y s i s . I n
I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e
r V i s i o n , p a g e s 1 0 7 1 { 1 0 7 6 , C a m b r i d g e , M
A , J u n e
1 9 9 5 .
9 ] T . D a r r e l l a n d A . P e n t l a n d . R o b u s t e
s t i m a t i o n o f a m u l t i - l a y e r e d m o t i o n r e p
r e s e n t a t i o n .
I n I E E E W o r k s h o p o n V i s u a l M o t i o n , p a g
e s 1 7 3 { 1 7 8 , P r i n c e t o n , N e w J e r s e y , O c t o
b e r
1 9 9 1 .
1 0 ] M . I r a n i a n d P . A n a n d a n . P a r a l l a x g
e o m e t r y o f p a i r s o f p o i n t s f o r 3 d s c e n e a n
a l y s i s . I n
E u r o p e a n C o n f e r e n c e o n C o m p u t e r V i s i
o n , C a m b r i d g e , U K , A p r i l 1 9 9 6 .
1 1 ] M . I r a n i , B . R o u s s o , a n d S . P e l e g . C
o m p u t i n g o c c l u d i n g a n d t r a n s p a r e n t m o t
i o n s .
I n t e r n a t i o n a l J o u r n a l o f C o m p u t e r V i
s i o n , 1 2 : 5 { 1 6 , F e b r u a r y 1 9 9 4 .
1 2 ] M . I r a n i , B . R o u s s o , a n d S . P e l e g . R
e c o v e r y o f e g o - m o t i o n u s i n g i m a g e s t a b i
l i z a t i o n . I n
I E E E C o n f e r e n c e o n C o m p u t e r V i s i o n a n
d P a t t e r n R e c o g n i t i o n , p a g e s 4 5 4 { 4 6 0 , S
e a t t l e ,
W a . , J u n e 1 9 9 4 .
1 3 ] J . J . K o e n d e r i n k a n d A . J . v a n D o o r n
. R e p r e s e n t a t i o n o f l o c a l g e o m e t r y i n t h
e v i s u a l
s y s t e m . B i o l . C y b e r n . , 5 5 : 3 6 7 { 3 7 5 , 1
9 8 7 .
1 4 ] R . K u m a r , P . A n a n d a n , a n d K . H a n n a .
D i r e c t r e c o v e r y o f s h a p e f r o m m u l t i p l e v
i e w s :
a p a r a l l a x b a s e d a p p r o a c h . I n P r o c 1 2 t
h I C P R , 1 9 9 4 .
1 9
-
8/12/2019 Unified Mtd
20/21
1 5 ] R a k e s h K u m a r , P . A n a n d a n , a n d K . H a
n n a . S h a p e r e c o v e r y f r o m m u l t i p l e v i e w s
: a
p a r a l l a x b a s e d a p p r o a c h . I n D A R P A I U W
o r k s h o p , M o n t e r e y , C A , N o v e m b e r 1 9 9 4
.
1 6 ] R a k e s h K u m a r , P . A n a n d a n , M . I r a n i
, J . R . B e r g e n , a n d K . J . H a n n a . R e p r e s e n t
a t i o n
o f s c e n e s f r o m c o l l e c t i o n s o f i m a g e s .
I n W o r k s h o p o n R e p r e s e n t a t i o n s o f V i s u a
l S c e n e s ,
1 9 9 5 .
1 7 ] J . M . L a w n a n d R . C i p o l l a . R o b u s t e g
o m o t i o n e s t i m a t i o n f r o m a n e m o t i o n p a r a
l l a x .
I n E u r o p e a n C o n f e r e n c e o n C o m p u t e r V i
s i o n , p a g e s 2 0 5 { 2 1 0 , M a y 1 9 9 4 .
1 8 ] H . C . L o n g u e t - H i g g i n s a n d K . P r a z d
n y . T h e i n t e r p r e t a t i o n o f a m o v i n g r e t i n
a l i m a g e .
P r o c e e d i n g s o f T h e R o y a l S o c i e t y o f L o
n d o n B , 2 0 8 : 3 8 5 { 3 9 7 , 1 9 8 0 .
1 9 ] F . M e y e r a n d P . B o u t h e m y . R e g i o n - b
a s e d t r a c k i n g i n i m a g e s e q u e n c e s . I n E u r
o p e a n
C o n f e r e n c e o n C o m p u t e r V i s i o n , p a g e s
4 7 6 { 4 8 4 , S a n t a M a r g a r i t a L i g u r e , M a y 1 9
9 2 .
2 0 ] J . H . R i e g e r a n d D . T . L a w t o n . P r o c e
s s i n g d i e r e n t i a l i m a g e m o t i o n . J . O p t . S
o c . A m .
A , A 2 ( 2 ) : 3 5 4 { 3 5 9 , 1 9 8 5 .
2 1 ] H a r p r e e t S a w h n e y . 3 d g e o m e t r y f r o
m p l a n a r p a r a l l a x . I n I E E E C o n f e r e n c e o n
C o m p u t e r
V i s i o n a n d P a t t e r n R e c o g n i t i o n , J u n e
1 9 9 4 .
2 2 ] A . S h a s h u a a n d N . N a v a b . R e l a t i v e a
n e s t r u c t u r e : T h e o r y a n d a p p l i c a t i o n t o
3 d
r e c o n s t r u c t i o n f r o m p e r s p e c t i v e v i e
w s . I n I E E E C o n f e r e n c e o n C o m p u t e r V i s i o
n a n d
P a t t e r n R e c o g n i t i o n , p a g e s 4 8 3 { 4 8 9 ,
S e a t t l e , W a . , J u n e 1 9 9 4 .
2 3 ] M . S h i z a w a a n d K . M a s e . P r i n c i p l e o
f s u p e r p o s i t i o n : A c o m m o n c o m p u t a t i o n a
l f r a m e -
w o r k f o r a n a l y s i s o f m u l t i p l e m o t i o n .
I n I E E E W o r k s h o p o n V i s u a l M o t i o n , p a g e
s
1 6 4 { 1 7 2 , P r i n c e t o n , N e w J e r s e y , O c t o
b e r 1 9 9 1 .
2 4 ] W . B . T h o m p s o n a n d T . C . P o n g . D e t e c
t i n g m o v i n g o b j e c t s . I n t e r n a t i o n a l J o u
r n a l o f
C o m p u t e r V i s i o n , 4 : 2 9 { 5 7 , 1 9 9 0 .
2 5 ] P . H . S . T o r r a n d D . W . M u r r a y . S t o c h
a s t i c m o t i o n c l u s t e r i n g . I n E u r o p e a n C o
n f e r e n c e
o n C o m p u t e r V i s i o n , p a g e s 3 2 8 { 3 3 7 , M a
y 1 9 9 4 .
2 0
-
8/12/2019 Unified Mtd
21/21
2 6 ] P . H . S . T o r r , A . Z i s s e r m a n , a n d S . J
. M a y b a n k . R o b u s t d e t e c t i o n o f d e g e n e r a
t e c o n g u -
r a t i o n s f o r t h e f u n d a m e n t a l m a t r i x . I
n I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r
V i s i o n ,
p a g e s 1 0 3 7 { 1 0 4 2 , C a m b r i d g e , M A , J u n e
1 9 9 5 .
2 7 ] J . W a n g a n d E . A d e l s o n . L a y e r e d r e p
r e s e n t a t i o n f o r m o t i o n a n a l y s i s . I n I E E
E C o n -
f e r e n c e o n C o m p u t e r V i s i o n a n d P a t t e r
n R e c o g n i t i o n , p a g e s 3 6 1 { 3 6 6 , N e w Y o r k ,
J u n e
1 9 9 3 .
A p p e n d i x
I n t h i s a p p e n d i x , w e p r o v e t h e o r e m 1 , i
. e . , w e d e r i v e E q u a t i o n ( 4 ) .
L e t ~
1
a n d ~
2
b e t h e p l a n a r - p a r a l l a x d i s p l a c e m e n t
v e c t o r s o f t w o p o i n t s t h a t b e l o n g t o
t h e s t a t i c b a c k g r o u n d . F r o m E q u a t i o n
( 3 ) , w e k n o w t h a t
~
1
=
1
T
z
d
0
( ~ e ; ~p
w
1
) ~
2
=
2
T
z
d
0
( ~ e ; ~p
w
2
) : ( 6 )
T h e r e f o r e ,
~
1
2
; ~
2
1
=
1
2
T
Z
d
0
( ~p
w
2
; ~p
w
1
) ( 7 )
T h i s l a s t s t e p e l i m i n a t e d t h e e p i p o l
e
~
e . E q . ( 7 ) e n t a i l s t h a t t h e v e c t o r s o n b
o t h s i d e s o f
t h e e q u a t i o n a r e p a r a l l e l . S i n c e
1
2
T
Z
d
0
i s a s c a l a r , w e g e t : ( ~
1
2
; ~
2
1
) k
~
p
w
w h e r e
~
p
w
= ( ~p
w
2
; ~p
w
1
) : T h i s l e a d s t o t h e p a i r w i s e p a r a l l a x
c o n s t r a i n t
( ~
1
2
; ~
2
1
)
T
(
~
p
w
)
?
= 0 ( 8 )
w h e r e ~v
?
s i g n i e s a v e c t o r p e r p e n d i c u l a r t o ~v . W
h e n T
Z
= 0 , a c o n s t r a i n t s t r o n g e r t h a n
E q . ( 8 ) c a n b e d e r i v e d : ( ~
1
2
1
; ~
2
) = 0 h o w e v e r , E q . ( 8 ) , s t i l l h o l d s . T h i
s i s i m p o r t a n t , a s
w e d o n o t h a v e a - p r i o r i k n o w l e d g e o f
T
Z
t o d i s t i n g u i s h b e t w e e n t h e t w o c a s e s
.
F r o m E q . ( 8 ) , w e c a n e a s i l y d e r i v e :
2
1
=
~
2
T
(
~
p
w
)
?
~
1
T
(
~
p
w
)
?
w h i c h i s t h e s a m e a s E q u a t i o n ( 4 )
o f T h e o r e m 1 .
2 1
