8/3/2019 Face Detection by Neural Networks

1/4

8 t h Seminar on N e u r a l Network A p p l i c a t i o n s i n E l e c t r i c a l E n g i n e e r i n g , NEUREL-2006/m MHH1^ ~ ~ ~ F a c u l t y o f E l e c t r i c a l E n g i n e e r i n g , U n i v e r s i t y o f B e l g r a d e , S e r b i a , S e p t e m b e r 2 5 - 2 7 , 2 0 0 6 /E2,* ~ ~ ~ ~ h t t p : / / n e u r e l . e t f ` . 1 b . a c . v y u , h t t p : / / w w w . e w h . i e e e . o r g / r e g / 8 / c o n f e r e n c e s . h t m I +IE0 6

FACE DETECTION APPROACH I N N E U R A L NETWORKBASED METHOD FOR VIDEO SURVEILLANCEZ o r a n B o j k o v i c , S e n i o r Member I E E E , A n d r e j a S a m c o v i cU n i v e r s i t y o f B e l g r a d e , F a c u l t y f o r T r a f f i c a n d T r a n s p o r t E n g i n e e r i n g , S e r b i ae - m a i l : z s b o j k o v i c g y a h o o . c o m T

A b s t r a c t : N e u ra l n e t w o r k s a r e a d a p t i v e i n f o r m a t i o np r o c e s s i n g s y s t e m s t h a t o f f e r a t t r a c t i v e s o l u t i o n s f o r v i d e os u r v e i l l a n c e . T h i s a p p l i c a t i o n a i m s a t i d e n t i f y i n gp a r t i c u l a r p a t t e r n s . A l s o , MPEG-4 s t a n d a r d p r o f i l i n gs t r a t e g y i n f a c i a l a n i m a t i o n g u a r a n t e e s t h a t t h e s t a n d a r dc a n p r o v i d e a d e q u a t e s o l u t i o n s f o r v i d e o s u r v e i l l a n c e . T h em a i n g o a l o f t h i s p r e s e n t a t i o n i s t o p r o v i d e f a c e d e t e c t i o nf o r v i d e o s u r v e i l l a n c e u s i n g n e u r a l n e t w o r k b a s e dm e t h o d . A f t e r p r o v i d i n g t h e c o r r e s p o n d i n g a r c h i t e c t u r ef o r f a c e d e t e c t i o n , t h e e m p h a s i z e i s o n t h e d e t e c t o r w h i c hi s t r a i n e d w i t h m u l t i l a y e r b a c k p r o p a g a t i o n n e u r a ln e t w o r k s . T h r e e d i f f e r e n t f a c e r e p r e s e n t a t i o n s a r e t a k e ni n t o a c c o u n t , i . e . p i x e l r e p r e s e n t a t i o n , p a r t i a l p r o f i l er e p r e s e n t a t i o n a n d e i g e n f a c e r e p r e s e n t a t i o n . B a s e d o nt h i s , t h r e e i n d e p e n d e n t s u b - d e t e c t o r s a r e g e n e r a t e d . T h ed e t e c t i o n r a t e s a r e m e a s u r e d . T h e c i r c l e a t a b o ut 9 4 0 0i n d i c a t e s t h e p o s i t i o n w h e r e t h e n e u r a l n e t w o r k a c h i e v e st h e o p t i m a l p e r f o r m a n c e .K e y w o r d ss u r v e i l l a n c e F a c e d e t e c t i o n , f a c i a l s t r u c t u r e , v i d e o

I . INTRODUCTIONT h e r e a r e t w o p o s s i b l e a p p r o a c h e s t oc o m m u n i c a t i o n o f t a l k i n g - h e a d v i d e o . T h e p i x e l - b a s e da p p r o a c h r e n d e r s t h e f a c i a l i m a g e s a n d t r a n s m i t s t h er e s u l t i n g i m a g e s a s a r r a y o f p i x e l s , w h e r e t h e m o d e l -b a s e d a p p r o a c h t r a n s m i t s t h e f a c i a l a n i m a t i o n p a r a m e t e r s( F A P s ) t h a t d e s c r i b e t h e f a c i a l m o t i o n s a n d r e n d e r s t h ei m a g e s a t t h e r e c e i v e r . T h e m o d e l - b a s e d a p p r o a c h d i v i d e st h e t a s k i n t o g e o m e t r i c a n d a r t i c u l a t i o n m o d e l i n g . T h e ya r e d e s c r i b e d b y t h e MPEG-4 S y n t h e t i c a n d N a t u r a lH y b r i d C o d i n g ( S N H C ) g r o u p a s t h e f a c i a l d e f i n i t i o n

p a r a m e t e r s ( F D P s ) a n d F A P s , r e s p e c t i v e l y . T h e g e o m e t r i cm o d e l d e f i n e s t h e p o l y g o n a l m e s h o f f a c e a n d t h ea s s o c i a t e d s k i n t e x t u r e f r o m w h i c h v i s u a l l y r e a l i s t i c f a c i a li m a g e s f r o m d i f f e r e n t v i e w a n g l e s c a n b e s y n t h e s i z e d [ 1 ] .T h e a r t i c u l a t i o n m o d e l ( d e a l s w i t h t h e d e f i n i t i o n o f s t a t i cg e o m e t r i c m o d e l s t o g e n e r a t e v a r i o u s d y n a m i c e f f e c t s f o ri n t e l l i g i b l e r e p r o d u c t i o n o f f a c i a l e x p r e s s i o n s [ 2 ] . FAPsa r e r e s p o n s i b l e f o r d e s c r i b i n g t h e m o v e m e n t s o f t h e f a c e ,e i t h e r a t l o w l e v e l o r a t h i g h l e v e l . H e r e , l o w l e v e l m e a n sd i s p l a c e m e n t o f a s p e c i f i c s i n g l e p o i n t o f t h e f a c e , a n dh i g h l e v e l r e p r e s e n t s r e p r o d u c t i o n o f a f a c i a l e x p r e s s i o n .I n o t h e r w o r d s , FAP r e p r e s e n t s t h e p r o p e r a n i m a t i o np a r a m e t e r s t r e a m . T h e FDPs a r e r e s p o n s i b l e f o r d e f i n i n gt h e a p p e a r a n c e o f t h e f a c e .

I n t h e p a s t y e a r s , t h e r e i s a c o n t i n u o u s i n c r e a s ei n t h e f i e l d o f h u m a n f a c e p r o c e s s i n g [ 3 ] , [ 4 ] , [ 5 ] . T h er e s e a r c h a r e a a r e : ( a ) v i d e o s u r v e i l l a n c e w h i c h i s b a s e d o nt h e f a c t t h a t f a c e s p r o v i d e a n i m p o r t a n t f a c t f o r p e o p l e ' si d e n t i t y , ( b ) f a c i a l e x p r e s s i o n a n a l y s i s w h i c h p r o v i d e s an a t u r a l a n d i n t e l l i g e n t c o m p u t e r i n t e r a c t i o n i n t e r f a c e , ( c )h u m a n f a c e s i n s e m a n t i c s - b a s e d v i d e o c o m p r e s s i o n a n dc o d i n g . T h e f i r s t p a r t o f t h i s w o r k d e a l s w i t h s t a t e o f t h ea r t i n t h e a r e a o f f a c e d e t e c t i o n a l g o r i t h m . A f t e r t h a t ,n e u r a l n e t w o r k b a s e d f a c e d e t e c t i o n a p p r o a c h , t o g e t h e rw i t h t h e c o r r e s p o n d i n g a r c h i t e c t u r e i s a n a l y z e d . T r a i n i n gp r o c e s s m e t h o d a n d r e s u l t w i l l c o n c l u d e t h e p r e s e n t a t i o n .

I I . FACE DETECTION ALGORITHMS:S T AT E O F THE AR TI n t h e p a s t d e c a d e , s o m e e f f o r t s h a v e b e e n s p e n to n d e s i g n i n g f a c e d e t e c t i o n m e t h o d s . T h e s e m e t h o d s

r a n g e f r o m s i m p l e e d g e - b a s e d a l g o r i t h m s t o c o m p l e xh i g h - l e v e l a p p r o a c h e s u s i n g p a t t e r n r e c o g n i t i o nt e c h n i q u e s . G e n e r a l l y s p e a k i n g , t h e y c a n b e c l a s s i f i e d a sk n o w l e d g e - b a s e d c l a s s i f i e r s a n d s t a t i s t i c a l l e a r n i n g - b a s e dc l a s s i f i e r s . K n o w l e d g e - b a s e d c l a s s i f i e r s u s e t h e l o w - l e v e li m a g e f e a t u r e l i k e s k i n - c o l o r f a c e g e o m e t r y a n d o r g a n i cf e a t u r e d i s t r i b u t i o n . T h e s e d e t e c t i o n m e t h o d s u s es e m a n t i c k n o w l e d g e o f h u m a n f a c e s a n a t t h e s a m e t i m ea r e r e l a t i v e l y s i m p l e t o i m p l e m e n t . T h e s e a l g o r i t h m s a r en o t r o b u s t f o r l a r g e f a c e v a r i a t i o n s . A m u l t i l a y e r e dn e t w o r k t o l e a r n t h e f a c e / n o n - f a c e p a t t e r n s f r o mn u m e r o u s t r a i n i n g s a m p l e s i s r e p o r t e d i n [ 6 ] . T h ep r e s e n t e d d e t e c t i o n s u f f e r s f r o m t h e f a c t t h a t t h ee x e c u t i o n s p e e d o f t h e a l g o r i t h m i s t o o l o w f o r r e a l - t i m es u r v e i l l a n c e a p p l i c a t i o n s . T h e s y s t e m h a s n o p r e -k n o w l e d g e a b o u t t h e m o s t p r o b a b l e l o c a t i o n s o f f a c e s . I tm u s t s c a n w i n d o w s a t a l l p i x e l p o s i t i o n s a n d u s e a r b i t r a r yw i n d o w s i z e s e x t r a c t e d f r o m t h e i n p u t i m a g e . T h e m o s ti m p o r t a n t f a c t o r i n t h e e x e c u t i o n t i m e o f t h e s y s t e m i s t h en u m b e r o f s m a l l w i n d o w s t h a t t h e n e u r a l n e t w o r k h a s t op r o c e s s . T o i m p r o v e t h e e f f i c i e n c y o f t h e n e u r a l n e t w o r kb a s e d m e t h o d , a f a c e d e t e c t i o n a p p r o a c h t h a t u s e ss u c c e s s i v e f a c e d e t e c t o r s t o p r o g r e s s i v e l y r e s t r i c t t h ep o s s i b l e c a n d i d a t e f a c e r e g i o n s t o s m a l l e r a r e a s c a n b eu s e d . S u c c e s s i v e f a c e d e t e c t o r s a p p r o a c h i s p r e s e n t e d i nF i g u r e 1 . I t c a n b e s e e n t h a t t h r e e d e t e c t o r s ( c o l o r - b a s e d ,s t r u c t u r e - b a s e d , l e a r n i n g - b a s e d ) a r e c a s c a d e d . I n t h a tw a y , t h e o u t p u t s o f a p r e v i o u s d e t e c t o r ( p o t e n t i a l f a c i a lr e g i o n s ) a c t a s t h e i n p u t s o f t h e s u b s e q u e n t d e t e c t o r . T h e

1 - 4 2 4 4 - 0 4 3 3 - 9 / 0 6 / $ 2 0 . 0 0 C 2 0 0 6 I E E E . 4 4

8/3/2019 Face Detection by Neural Networks

2/4

i n i t i a l p r u n i n g o f l a r g e n o n - f a c e a r e a s b y t h e f i r s td e t e c t o r s , s i g n i f i c a n t l y d e c r e a s e s t h e i n p u t w i n d o w s f o r t h e f i n a l n e u r a l n e t w o r k b a s e d d e t e c t o r a n d i n c r e a s e s t h ep r o c e s s i n g s p e e d o f t h e d e t e c t o r p r o c e s s .

F i g . 1 . B l o c k - s c h e m e f o r t h e s u c c e s s i v e f a c e d e t e c t o r s a p p r o a c h i n t h e w h o l e c h a i nA b i o l o g i c a l l y - m o t i v a t e d f a c e d e t e c t i o n s y s t e md e v e l o p e d i n [ 7 ] i s u s e d t o s e g m e n t t h e f a c e f r o m t h e r e s to f t h e i m a g e s . T h e i m p l e m e n t a t i o n o f t h e s y s t e me m p h a s i z e s t h e c r i t e r i a d e s c r i b e d i n d e v e l o p i n g t h e f a c ed e t e c t o r . T h e y a r e a s f o l l o w s :* T h e a l g o r i t h m m u s t b e r o b u s t e n o u g h t o c o p ew i t h t h e i n t r i n s i c v a r i a b i l i t y i n i m a g e s* I t m u s t p e r f o r m w e l l i n a n u n s t r u c t u r e de n v i r o n m e n t* I t s h o u l d b e a m e n a b l e t o r e a l - t i m ei m p l e m e n t a t i o n a n d p r o d u c e l o w o r n o f a l s ea l a r mA s u c c e s s f u l i m p l e m e n t a t i o n o f t h e f a c ed e t e c t i o n w a s p e r f o r m e d u s i n g a r e t i n a l c o n n e c t e d n e u r a ln e t w o r k a r c h i t e c t u r e a n d w a s r e f i n e d l a t e r t o m a k e i ts u i t a b l e f o r r e a l - t i m e a p p l i c a t i o n s . T h e a v e r a g ep e r f o r m a n c e o f t h e s y s t e m i s a b o v e 9 5 0 0 o n f a c e i m a g e s ,h a v i n g 3 0 - 3 5 0 0 d e v i a t i o n f r o m t h e f r o n t a l f a c e i m a g e .S e a r c h i n g f o r b e t t e r a n d s u i t a b l e d a t a p r o j e c t i o nm e t h o d s h a s a l w a y s b e e n a n i n t e g r a l o b j e c t i v e o f p a t t e r nr e c o g n i t i o n . S u c h a m e t h o d e n a b l e s o n e t o o b s e r v e a n dd e t e c t u n d e r l y i n g d a t a d i s t r i b u t i o n , p a t t e r n s a n ds t r u c t u r e s . I n a d d i t i o n , h i g h d i m e n s i o n a l i t y o f d a t a p o s e sv a r i o u s c h a l l e n g e s f o r l e a r n i n g a l g o r i t h m [ 7 ] . F o re x a m p l e , t h e p r e s e n c e o f i r r e l e v a n t a n d n o i s y i n f o r m a t i o n

c a n m i s l a i d t h e l e a r n i n g a l g o r i t h m . I n h i g h e r d i m e n s i o n s ,d a t a m ay b e s p a r s e , m a k i n g i t d i f f i c u l t f o r a n a l g o r i t h m t of i n d a n y s t r u c t u r e i n t h e d a t a . T h e t w o m a i n r e a s o n s f o rr e d u c i n g t h e d i m e n s i o n a l i t y o f a d a t a a r e : ( a ) t o a l l o w t h ed i s t r i b u t i o n o f t h e d a t a t o b e v i s u a l i z e d , a n d ( b ) t o r e d u c et h e s i z e o f t h e i n p u t s p a c e a n d f i n d t h e i n t r i n s i c d i m e n s i o no f a s i g n a l . N o t e t h a t t h e d a t a p r o j e c t i o n m e t h o d s a t t e m p tt o t a k e d a t a f r o m a h i g h d i m e n s i o n a l s p a c e a n d map i ti n t o a l o w d i m e n s i o n a l s p a c e w i t h t h e m i n i m u m o f e r r o r .A g r e a t d e a l o f e f f o r t h a s b e e n d e v o t e d t o t h i s s u b j e c t .I I I . N E U R A L NETWORK BASED FACEDETECTION APPROACH

I n o r d e r t o i m p r o v e t h e e f f i c i e n c y o f t h e f a c ed e t e c t i o n f o r v i d e o s u r v e i l l a n c e , t h e n e u r a l n e t w o r k

a p p r o a c h c a n b e r e c o m m e n d e d . T h e d e t e c t o r i s t r a i n e dw i t h m u l t i l a y e r e d b a c k p r o p a g a t i o n n e u r a l n e t w o r k sw h i c h t a k e d i f f e r e n t f a c e r e p r e s e n t a t i o n s a s a n i n p u t .D i f f e r e n t i n p u t s t a k e i n t o a c c o u n t d i f f e r e n t i n f o r m a t i o np a t t e r n s g i v i n g t h e t r a i n e d n e u r a l n e t w o r k s a b r o a d e rs e n s i t i v i t y t o c e r t a i n i m a g e p a t t e r n s . T h e w e i g h t e d sum o ft h e r e s u l t s f r o m t h e n e t w o r k s s h o u l d g i v e a r e l i a b l ej u d g m e n t o n t h e e x i s t e n c e o f f a c e p a t t e r n s .F o r r o u g h l y l o c a t i n g f a c i a l r e g i o n s , c o l o ri n f o r m a t i o n i s a n e f f e c t i v e i m a g e f e a t u r e [ 8 ] . T h ec h r o m i n a n c e c o m p o n e n t s ( C b , C r ) i n t h e Y C b C r c o l o rs p a c e f o r m a c o n d e n s e d c l u s t e r . An e l l i p t i c a l m o d e l i ss h o w n i n F i g u r e 2 . I t i s g e n e r a t e d b y f i t t i n g a n e l l i p s eo v e r t h e c l u s t e r . D e p e n d i n g o n w h e t h e r t h e i n p u t p i x e lf a l l s i n s i d e o r o u t s i d e o f t h e e l l i p t i c a l r e g i o n , w e c a ne l i m i n a t e l a r g e b a c k g r o u n d a r e a s t h a t c o n t a i n n os i g n i f i c a n t s k i n - l i k e c o l o r s . T h e f i r s t d e t e c t o r i n a c a s c a d eo f f a c e d e t e c t o r s e m p h a s i z e s m o r e s p e e d t h e n a c c u r a c y ,w h i l e t h e o v e r a l l d e t e c t i o n p e r f o r m a n c e c a n b e r e i n f o r c e db y t h e n e x t d e t e c t o r s . V i s u a l i z a t i o n o f t h e p r i n c i p l e s t e p si n t h e s k i n - c o l o r d e t e c t o r u n d e r s t a n d s p i x e l b y p i x e l c o l o rv e r i f i c a t i o n , s k i n - c o l o r s e g m e n t a t i o n a n d a b i n a r y f i l t e r a sa p o s t - p r o c e s s o r t o s m o o t h t h e s e g m e n t a t i o n r e s u l t s .

C r2 5 02 0 01 5 01 0 0

5 0

00 5 0 1 0 0 1 5 0 2 0 0 2 5 0 C bF i g . 2 . E l l i p t i c a l m o d e l i n s k i n - c o l o r d i s t r i b u t i o n

4 5

b. -

k

8/3/2019 Face Detection by Neural Networks

3/4

T h e s t r u c t u r e - b a s e d d e t e c t o r f o c u s e s o n t h ef e a t u r e s t r u c t u r e o f t h e f a c e , b e c a u s e f a c i a l f e a t u r e s h a v eb e e n p r o v e n v a l u a b l e f o r c l a s s i f y i n g h u m a n f a c e s . On t h eo t h e r h a n d , f a c i a l f e a t u r e a p p e a r a n c e a n d d i s t r i b u t i o n v a r yc o n s i d e r a b l y a m o n g d i f f e r e n t p e o p l e a n d u n d e r d i f f e r e n ti m a g i n g c o n d i t i o n s . I n o r d e r t o s e l e c t f a c e a r e a s p r e s e n t i nt h e s k i n b l o b s a c q u i r e d i n t h e f i r s t d e t e c t o r , we c a ne n u m e r a t e a l l s m a l l w i n d o w s ( f o r e x a m p l e , 2 5 b y 2 5p i x e l s ) , e x t r a c t e d f r o m e a c h s k i n b l o b a t e v e r y p o s i t i o na n d s c a l e . F o r e a c h w i n d o w , we u s e a p r o b a b i l i t y - b a s e df a c e s t r u c t u r e d e t e c t o r w h i c h r a n k s t h e i n p u t w i n d o w a s ap o s i t i v e o r n e g a t i v e f a c e c a n d i d a t e . T h e p o s i t i v ec a n d i d a t e a r e t h e n s u p p l i e d t o a n e u r a l n e t w o r k b a s e dd e t e c t o r t o f u r t h e r e v a l u a t e t h e h u m a n f a c e r e s e m b l a n c e .P r o f i l e a n a l y s i s a c t s a s a f i r s t - s t e p p r u n e i n t h es t r u c t u r e d e t e c t o r a n d a l s o a s a f e a t u r e c a n d i d a t e s e l e c t o r .T h e a l g o r i t h m s t a r t s w i t h a g r a y - s c a l e i n p u t w i n d o w . T h ef a c i a l p r o f i l e i n t h e v e r t i c a l d i r e c t i o n i s t h e n g e n e r a t e df r o m t h e w i n d o w , f r o m w h i c h t h e s e c o n d - o r d e rd e r i v a t i v e s o f l o c a l m a x i m a a r e l o c a t e d a s r e f e r e n c e l i n e s .T h e r e f e r e n c e l i n e s c o r r e s p o n d t o s o m e c o m p a r a t i v e l y" f l a t " a n d " l i g h t " a r e a s i n t h e f a c e . A f t e r t h e v e r t i c a lp r o f i l e p o s i t i o n o f e a c h c a n d i d a t e f e a t u r e i s l o c a t e d , wec a n a p p l y a p r o b a b i l i t y - b a s e d e v a l u a t i o n p r o c e s s t of u r t h e r v e r i f y t h e e x i s t e n c e o f p r o m i n e n t f a c i a l f e a t u r e s .

I V . NETWORK ARCHITECTURE FOR FACEDETECTIONT h e n e u r a l n e t w o r k g r a d u a l l y l e a r n s f a c ec h a r a c t e r i s t i c s b y l e a r n i n g f r o m s a m p l e s . T h e g o a l i s t od e t e r m i n e w h i c h f a c e r e p r e s e n t a t i o n m e t h o d d e s c r i b e s af a c e o p t i m a l l y . A l s o , i t i s i m p o r t a n t t o d i f f e r e n t i a t e f a c e s

f r o m o t h e r n o n - f a c e o b j e c t s . We w i l l s u p p o s e t h r e e f a c er e p r e s e n t a t i o n : p i x e l r e p r e s e n t a t i o n , p a r t i a l p r o f i l er e p r e s e n t a t i o n a n d e i g e n f a c e r e p r e s e n t a t i o n .S t a r t i n g f r o m t h e p i x e l r e p r e s e n t a t i o n , i t s h o u l db e n o t e d t h a t t h i s i s p r o b a b l y t h e m o s t c o m m o n l y u s e di n p u t f o r m a t f o r n e u r a l n e t w o r k b a s e d o b j e c t d e t e c t o r s . I tc o n t a i n s t h e c o m p l e t e i n f o r m a t i o n a b o u t t h e i n p u tw i n d o w a n d c a n b e s e e n a s a l o s s l e s s r e p r e s e n t a t i o nm e t h o d . A l s o , i t c a p t u r e s a l l t h e v a r i a b i l i t y a m o n g t h ef a c e s a m p l e s , b u t i t i s c o m p u t a t i o n a l l y e x p e n s i v e . P a r t i a lp r o f i l e r e p r e s e n t a t i o n l o o k s a t t h e p r o f i l e s o f t h r e e b l o c k s ,e a c h f e a t u r i n g a s a l i e n t f a c i a l f e a t u r e r e g i o n i n t h e f a c e .P a r t i a l p r o f i l e b l o c k r e p r e s e n t a t i o n i s g i v e n i n F i g u r e 3 .T h e p r o f i l e i n f o r m a t i o n c o n t a i n s t h e i n t e g r a l i n f o r m a t i o na b o u t t h e p i x e l d i s t r i b u t i o n . T h i s i n f o r m a t i o n r e t a i n sc e r t a i n i n v a r i a b i l i t y a m o n g f a c e s . E i g e n f a c er e p r e s e n t a t i o n i s v e r y e f f e c t i v e i n f a c i a l c o d i n g a n dc o m p r e s s i o n . I t i s b a s e d o n t h e p r i n c i p l e c o m p o n e n td e c o m p o s i t i o n a n d p r o v i d e s a c o m p a c t way o fr e p r e s e n t i n g a n a r b i t r a r y f a c e u s i n g o n l y a f e wp a r a m e t e r s . We s e l e c t c o e f f i c i e n t s ( f o r e x a m p l e f i r s t 8 0 )i n t h e e i g e n f a c e s p a c e f o r t h e r e p r e s e n t a t i o n o f f a c e s .T h r e e i n d e p e n d e n t s u b - d e t e c t o r s a r e g e n e r a t e d b a s e d o nt h r e e f a c e r e p r e s e n t a t i o n s .T h e n e t w o r k a r c h i t e c t u r e f o r f a c e d e t e c t i o n i ss h o w n i n F i g u r e 4 . I t c a n b e s e e n t h a t t h e n e t w o r ka r c h i t e c t u r e i s c o m p o s e d o f t h r e e p a r t s w h i c h l o o k a t t h et h r e e d e s c r i b e d f a c e r e p r e s e n t a t i o n s . T h e w e i g h t e d s um o ft h e s u b - n e t w o r k o u t p u t s g i v e s a n i n d i c a t i o n b e t w e e n 0

a n d 1 a b o u t t h e i n p u t w i n d o w . An o u t p u t o f 1 i n d i c a t e st h a t t h e i n p u t w i n d o w c o n t a i n s a f a c e , w h i l e a n o u t p u t o f0 i n d i c a t e s t h a t t h e i n p u t w i n d o w c o n t a i n s n or e c o g n i z a b l e f a c e p a t t e r n . E a c h s u b - n e t w o r k i s ac o n n e c t e d t h r e e - l a y e r b a c k p r o p a g a t i o n n e t w o r k w i t h af i x e d n u m b e r o f m i d d l e l a y e r h i d d e n u n i t s .

X-PROFILE OF A X-PROFILE OF B

y-PROFILEOF ABLOCK A BLOCK B

BLOCK C

y-PROFILEOF B

y-PROFILEOF C

X-PROFILE OF CF i g . 3 . P a r t i a l p r o f i l e b l o c k r e p r e s e n t a t i o nV . TRAINING PROCESSA s f o r t h e n e t w o r k t r a i n i n g , w e p r o p o s e t h e n o n -f a c e t r a i n i n g s a m p l e s t o b e a d d e d t o t h e t r a i n i n g s e td y n a m i c a l l y . I n t h a t way t h e n e t w o r k i s t r a i n e d t o h a n d l ee x p l i c i t l y n o n - f a c e d a t a , i . e . f a l s e a c c e p t a n c e s , a t a g i v e nt i m e d u r i n g a t r a i n i n g p e r i o d . I n [ 6 ] , f a c e t r a i n i n g s e tc o n t a i n s 1 2 0 0 0 f a c e i m a g e s c o l l e c t e d f r o m v a r i o u s f a c ed a t a b a s e s a n d w e b p h o t o g a l l e r i e s . T h e s e s a m p l e s a l s oi n c l u d e t h e s c a l e d v e r s i o n s a t t h e s a m e f a c e w i t h a s c a l i n gf a c t o r b e t w e e n 0 . 8 a n d 1 . 1 2 . T h e w h o l e t r a i n i n g p r o c e s sc a n b e d i v i d e d i n t o p a r t s . E a c h p a r t c o n t a i n s a v a r i a b l en u m b e r o f i t e r a t i o n s . T h i s n u m b e r i s d e t e r m i n e d b y t h es i z e o f t h e n o n - f a c e t r a i n i n g s e t a t t h a t t i m e . D u r i n g e a c hi t e r a t i o n , t h e n e t w o r k i s t r a i n e d w i t h f o r e x a m p l er a n d o m l y s e l e c t e d 1 0 0 f a c e s a m p l e s a n d 1 0 0 n o n - f a c es a m p l e s f r o m e a c h t r a i n i n g s e t . A t t h e e n d o f e a c h p a r t ,t h e n e t w o r k u n d e r g o e s a t e s t s t a g e , i n w h i c h i t i s s u p p l i e dw i t h r a n d o m n e w n o n - f a c e s a m p l e s c l i p p e d f r o m t h e n o n -f a c e r e p o s i t o r y . T h e s a m p l e s a r e g e n e r a t e d f r o m t h er e p o s i t o r y i n a r a n d o m way s o t h a t t h e c o r r e l a t i o n e f f e c t

w i t h i n o n e i m a g e c a n b e m a x i m a l l y r e d u c e d . When u p t o2 5 0 f a l s e d e t e c t i o n s a r e c o l l e c t e d , t h e t e s t p r o c e s s p a u s e s .T h e s e i m a g e s a r e a d d e d t o t h e n o n - f a c e t r a i n i n g s e t a n dt h e n e x t p a r t i s s t a r t e d a l l o v e r a g a i n . A s a n e x a m p l e ,F i g u r e 5 s h o w s t h e t r a i n i n g p r o c e s s f o r t h e f a c e d e t e c t i o nr a t e i n t h e c a s e o f t h e e i g e n f a c e r e p r e s e n t a t i o n . T h e t e s ts a m p l e s a r e s e l e c t e d i n s u c h a way t h a t t h e c o r r e l a t i o nb e t w e e n s a m p l e s i s k e p t a s l o w a s p o s s i b l e . T h e d e t e c t i o nr a t e s a r e m e a s u r e d a g a i n s t a s e p a r a t e t e s t s e t o f 5 0 0 f a c e sa n d 4 0 0 0 n o n - f a c e s . T h e n e t w o r k a c h i e v e s t h e o p t i m a lp e r f o r m a n c e a t a b o u t 9 4 0 0 . T h i s i s i n d i c a t e d b y c i r c l er e p r e s e n t a t i o n . S o m e t i m e s , f a c e s w e r e n o t d e t e c t e d d u e t os u b s t a n t i a l i n - d e p t h o r i n - p l a n e d e t e c t i o n . A l s o , a t o ob r i g h t o r t o o d a r k e n v i r o n m e n t o c c u r s , w h i c h o f t e nd e g r a d e s t h e p e r f o r m a n c e o f t h e d e t e c t o r , l e a d i n g t o af i n a l d e t e c t i o n f a i l u r e .

4 6

8/3/2019 Face Detection by Neural Networks

4/4

INPUT UNITS

OUTPUTUNITSF A C E : 1\ NON FACE:

woFINALDECISION

F i g . 4 . N e t w o r k a r c h i t e c t u r e f o r f a c e d e t e c t i o n

.2

10 , 9 5

0 , 90 , 8 5

0 , 80 , 7 5

0 0 , 1 0 , 2 0 , 3 0 , 4 0 , 5 0 , 6 0 , 7 0 , 8 0 , 9 1F a l s e d e t ec t i o n r a t e

F i g . 5 . T r a i n i n g p r o c e s s o f t h e n e u r a l n e t w o r k e i g e n s p a c er e p r e s e n t a t i o nV . CONCLUSIONWe h a v e a n a l y z e d f a c e d e t e c t i o n a p p r o a c h i nn e u r a l n e t w o r k b a s e d m e t h o d . I t i s d e m o n s t r a t e d how t h en e u r a l n e t w o r k t e c h n o l o g y c a n g i v e a s o l u t i o n f o r t h e f a s th u m a n f a c e d e t e c t i o n u s i n g a c a s c a d e o f d e t e c t o r s : c o l o r -b a s e d , s t r u c t u r e - b a s e d a n d l e a r n i n g - b a s e d . A n e u r a ln e t w o r k b a s e d f a c e d e t e c t o r i s t r a i n e d w i t h t h r e em u l t i l a y e r e d b a c k p r o p a g a t i o n n e u r a l n e t w o r k s w h i c ht a k e t h r e e d i f f e r e n t f a c e r e p r e s e n t a t i o n s a s a n i n p u t . T h e

w e i g h t e d sum o f t h e r e s u l t s f r o m t h e t h r e e n e t w o r k ss h o u l d g i v e a r e l i a b l e j u d g m e n t o n t h e e x i s t e n c e o f t h ef a c e p a t t e r n s . T h e MPEG-4 s t a n d a r d p r o v i d e s a c o n s t a n ta n d c o m p l e t e a r c h i t e c t u r e f o r t h e c o d e d r e p r e s e n t a t i o n o ft h e d e s i r e d c o m b i n a t i o n o f s t r e a m e d e l e m e n t a r ya u d i o v i s u a l i n f o r m a t i o n . W i t h i n M P E G - 4 , a b i n a r y f o r m a tf o r s c e n e d e s c r i p t i o n f r a m e w o r k o f f e r s a p a r a m e t r i cm e t h o d o l o g y f o r s c e n e s t r u c t u r e r e p r e s e n t a t i o n , a s w e l l a sa d e q u a t e s o l u t i o n s f o r a p p l i c a t i o n s i n f a c e d e t e c t i o n f o rv i d e o s u r v e i l l a n c e .ACKNOWLEDGMENTS

T h i s r e s e a r c h h a s b e e n s u p p o r t e d b y t h e M i n i s t r y f o rs c i e n c e a n d e n v i r o n m e n t a l p r o t e c t i o n o f t h e R e p u b l i c o fS e r b i a .REFERENCES[ 1 ] Z . S . B o j k o v i c , D . A . M i l o v a n o v i c : " A u d i o v i s u a li n t e g r a t i o n i n m u l t i m e d i a c o m m u n i c a t i o n s b a s e d o nMPEG-4 f a c i a l a n i m a t i o n " , C i r c u i t s , S y s t e m s a n d S i g n a lP r o c e s s i n g C S S P , B i r k h a e u s e r , V o l . 2 0 , N o . 3 / 4 , p p 3 1 1 -3 3 9 , M a y / A u g u s t 2 0 0 1 .[ 2 ] P . D o e n g e s e t a l : "MPEG-4 a u d i o / v i d e o s y n t h e t i cg r a p h i c s / a u d i o f o r m i x e d m e d i a " , S i g n a l P r o c e s s i n g ,I m a g e C o m m u n i c a t i o n , V o l . 9 , p p 4 3 3 - 4 6 4 , M a y 1 9 9 7 .[ 3 ] A . S o u n a l , P . A . J y e n g e r : " A u t o m a t i c r e c o g n i t i o n a n da n a l y s i s o f h u m a n f a c e s a n d f a c i a l e x p r e s s i o n s : a s u r v e y " ,P a t t e r n R e c o g n i t i o n , V o l . 2 5 , N o . 1 , p p 6 5 - 7 7 , J a n u a r y1 9 9 2 .[ 4 ] R . C h e l l a p a , C . L . W i l s o n , S . S i r h e y : "Human a n dm a c h i n e r e c o g n i t i o n o f f a c e s : a s u r v e y " , P r o c e e d i n g sI E E E , V o l . 8 3 , N o . 5 , p p 7 0 5 - 7 4 0 , M a y 1 9 9 5 .[ 5 ] W . E . V i e u x , K . S c h w e r d t , J . L . C r o w l e y : " F a c e - t r a c k i n ga n d c o d i n g f o r v i d e o c o m p r e s s i o n " , P r o c . Of t h e I s t C o n f .o n C o m p u t e r V i s i o n S y s t e m s , LN CS 1 5 4 2 , p p 1 5 1 - 1 6 1 ,1 9 9 9 .[ 6 ] H . R o w l e y , S . B a l k j a , T . K a n a d a : " N e u r a l n e t w o r k -b a s e d f a c e d e t e c t i o n " , IEEE T r a n s . o n P a t t e r n A n a l y s i sa n d M a c h i n e I n t e l l i g e n c e , V o l . 2 0 , N o . 1 , p p 2 3 - 2 8 ,J a n u a r y 1 9 9 8 .[ 7 ] M . Y e a s i n , B . B u l l o t , R . S h a r i m a : " R e c o g n i t i o n o ff a c i a l e x p r e s s i o n s a n d m e a s u r e m e n t o f l e v e l s o f i n t e r e s tf r o m v i d e o " , IEEE T r a n s . o n M u l t i m e d i a , V o l . 8 , N o . 1 , p p5 0 0 - 5 0 8 , J u n e 2 00 6.[ 8 ] R . L . H s u , A . K . J a i n : " F a c e d e t e c t i o n i n c o l o r i m a g e s " ,IEEE T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n eI n t e l l i g e n c e , V o l . 2 4 , N o . 5 , p p 6 9 6 - 7 0 6 , M a y 2 0 0 2 .[ 9 ] M . T u r k , A . P e n t l a n d : " E i g e n f a c e f o r r e c o g n i t i o n " ,J o u r n a l o f C o g n i t i v e N e u r o - s c i e n c e " , V o l . 3 , N o . 1 , p p 7 0 -8 6 , J a n u a r y 1 9 9 1 .

4 7