Image Classic at Ion and Querying Using Composite

8/3/2019 Image Classic at Ion and Querying Using Composite

1/36

I m a g e C l a s s i c a t i o n a n d Q u e r y i n g u s i n g C o m p o s i t e

R e g i o n T e m p l a t e s

J o h n R . S m i t h a n d C h u n g - S h e n g L i

I B M T . J . W a t s o n R e s e a r c h C e n t e r

3 0 S a w M i l l R i v e r R o a d

H a w t h o r n e , N Y 1 0 5 3 2

f j r s m i t h , c s l i g @ w a t s o n . i b m . c o m

T e l : 9 1 4 7 8 4 - 7 3 2 0

F a x : 9 1 4 7 8 4 - 6 0 7 9

T o a p p e a r i n J o u r n a l o f C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g s p e c i a l i s s u e o n C o n t e n t -

B a s e d A c c e s s o f I m a g e a n d V i d e o L i b r a r i e s


2/36

A b s t r a c t

T h e t r e m e n d o u s g r o w t h i n d i g i t a l i m a g e r y i s d r i v i n g t h e n e e d f o r m o r e s o -

p h i s t i c a t e d m e t h o d s f o r a u t o m a t i c i m a g e a n a l y s i s , c a t a l o g i n g , a n d s e a r c h i n g .

W e p r e s e n t a m e t h o d f o r c l a s s i f y i n g a n d q u e r y i n g i m a g e s b a s e d o n t h e s p a t i a l

o r d e r i n g s o f r e g i o n s o r o b j e c t s u s i n g c o m p o s i t e r e g i o n t e m p l a t e s C R T s . T h e

C R T s c a p t u r e t h e s p a t i a l i n f o r m a t i o n s t a t i s t i c a l l y a n d p r o v i d e a r o b u s t w a y t o

m e a s u r e s i m i l a r i t y i n t h e p r e s e n c e o f r e g i o n i n s e r t i o n s , d e l e t i o n s , s u b s t i t u t i o n s ,

r e p l i c a t i o n s a n d r e l o c a t i o n s . T h e C R T s c a n b e u s e d f o r c l a s s i f y i n g a n d a n n o -

t a t i n g i m a g e s b y a s s i g n i n g s y m b o l s t o t h e r e g i o n s o r o b j e c t s a n d b y e x t r a c t i n g

s y m b o l s t r i n g s f r o m s p a t i a l s c a n s o f t h e i m a g e s . T h e s y m b o l s t r i n g s c a n b e

d e c o d e d u s i n g a l i b r a r y o f a n n o t a t e d C R T s t o a u t o m a t i c a l l y l a b e l a n d c l a s s i f y

t h e i m a g e s . T h e C R T s c a n a l s o b e u s e d f o r s e a r c h i n g b y s k e t c h o r e x a m p l e b y

m e a s u r i n g i m a g e s i m i l a r i t y b a s e d o n r e l a t i v e c o u n t s o f t h e C R T s .

2


3/36

1 I n t r o d u c t i o n

T h e g r o w i n g p r o l i f e r a t i o n o f d i g i t a l p h o t o g r a p h s a n d v i d e o i s i n c r e a s i n g t h e n e e d f o r

m o r e s o p h i s t i c a t e d m e t h o d s f o r a u t o m a t i c a l l y a n a l y z i n g , c a t a l o g i n g , a n d s e a r c h i n g

f o r d i g i t a l i m a g e r y . E x a m p l e a p p l i c a t i o n s i n c l u d e s e a r c h i n g f o r v i s u a l i n f o r m a t i o n o n

t h e W o r l d - W i d e W e b 1 , 2 , 3 , d i g i t a l l i b r a r i e s 4 , 5 , 6 , a n d c o n t e n t a d a p t a t i o n 7 , 8 .

M a n y r e c e n t c o n t e n t - b a s e d q u e r y p r o j e c t s h a v e a d v a n c e d t h e c a p a b i l i t i e s f o r s e a r c h i n g

f o r i m a g e s a n d v i d e o b y c o l o r , t e x t u r e , s h a p e , m o t i o n a n d o t h e r f e a t u r e s s e e 9 , 1 0 ,

1 1 , 1 2 , 1 3 . T h e s e s y s t e m s a r e e e c t i v e i n a l l o w i n g s e a r c h i n g b y t h e s i m i l a r i t y o f

v i s u a l f e a t u r e s b u t a r e o f t e n l i m i t e d i n c a p a b i l i t y o f a u t o m a t i c a l l y d e r i v i n g h i g h e r

s e m a n t i c l e v e l u n d e r s t a n d i n g o f t h e i m a g e s . S e v e r a l p r o j e c t s h a v e s h o w n t h a t c o n t e n t -

b a s e d s y s t e m s c a n i m p r o v e s e a r c h i n g a n d a t t a i n b e t t e r u n d e r s t a n d i n g t h e c o n t e n t b y

c a p t u r i n g s p a t i a l i n f o r m a t i o n i n a d d i t i o n t o l o w - l e v e l f e a t u r e s 1 4 , 1 5 , 1 6 . H o w e v e r ,

e e c t i v e m e t h o d s a r e n e e d e d f o r e c i e n t l y d e s c r i b i n g a n d c o m p a r i n g s c e n e i n f o r m a t i o n

r e p r e s e n t e d b y t h e s p a t i a l c o m p o s i t i o n o f r e g i o n s , o b j e c t s a n d f e a t u r e s .

S i n c e h u m a n s p e r c e i v e i m a g e s b y b r e a k i n g t h e s c e n e s i n t o s u r f a c e s , r e g i o n s , a n d

o b j e c t s , t h e s p a t i a l , t e m p o r a l a n d f e a t u r e a t t r i b u t e s o f t h e o b j e c t s , a n d t h e i r r e l a t i o n -

s h i p s t o e a c h o t h e r , a r e i m p o r t a n t c h a r a c t e r i s t i c s o f v i s u a l i n f o r m a t i o n 1 7 . C o n t e n t -

b a s e d r e t r i e v a l s y s t e m s t h a t u s e g l o b a l d e s c r i p t o r s , s u c h a s c o l o r h i s t o g r a m s 1 1 , 9 ,

d o n o t s u c i e n t l y d e s c r i b e t h e i m p o r t a n t s p a t i a l i n f o r m a t i o n . I n l a r g e c o l l e c t i o n s o f

3


4/36

p h o t o g r a p h s , m a n y r e g i o n s r e c u r , s u c h a s t h o s e t h a t c o r r e s p o n d t o b l u e s k i e s , o c e a n s ,

g r a s s y r e g i o n s , o r a n g e h o r i z o n s , m o u n t a i n s , b u i l d i n g f a c a d e s , a n d s o f o r t h . F o r i m -

a g e s , t h e d e t e c t i o n a n d d e s c r i p t i o n o f t h e s e r e g i o n s a n d t h e i r s p a t i a l r e l a t i o n s h i p s i s

e s s e n t i a l i n t r u l y c h a r a c t e r i z i n g t h e i m a g e s f o r s e a r c h i n g , c l a s s i c a t i o n a n d l t e r i n g

p u r p o s e s 1 8 , 1 9 .

1 . 1 R e l a t e d W o r k

T h e r e a r e m a n y w a y s t o c a p t u r e t h e s p a t i a l a n d r e g i o n i n f o r m a t i o n i n i m a g e s . S o m e

r e c e n t a p p r o a c h e s i n c l u d e 2 - D s t r i n g s 2 0 , 2 1 , , R r e p r e s e n t a t i o n s 2 2 , l o c a l h i s -

t o g r a m s 2 3 , 2 4 , 2 5 , c o - o c c u r r e n c e m a t r i c e s , c o l o r c o r r e l o g r a m s 1 5 a n d r e g i o n t a b -

u l a t i o n s 9 , 1 6 . C o m p o s i t i o n d e s c r i p t o r s s u c h a s t h e 2 - D s t r i n g a n d i t s v a r i a n t s a r e

b r i t t l e i n t h e s e n s e t h a t m i n o r c h a n g e s i n r e g i o n l o c a t i o n s c a n g r e a t l y a e c t t h e c o m -

p a r i s o n o f t w o i m a g e s . D e s c r i p t o r s s u c h a s , R a n d c o - o c c u r r e n c e m a t r i c e s a r e n o t

w i d e l y a p p l i c a b l e d u e t o s e n s i t i v i t y t o s c a l e . T h i s c a n b e e x t r e m e l y p r o b l e m a t i c w h e n

c o m p a r i n g i m a g e s o f d i e r e n t r e s o l u t i o n s . S m i t h a n d C h a n g d e v e l o p e d a m e t h o d f o r

c o m p u t i n g i n t e g r a t e d s p a t i a l a n d f e a t u r e q u e r i e s b y d e c o m p o s i n g t h e s e t o f r e g i o n

q u e r i e s i n t o s e p a r a t e s u b - g o a l s 1 4 . H o w e v e r , t h e m e t h o d d o e s n o t p r o v i d e a g e n e r a l

w a y t o m e a s u r e t h e s i m i l a r i t y o f t w o i m a g e s u s i n g s p a t i a l a n d f e a t u r e i n f o r m a t i o n .

O t h e r r e c e n t m e t h o d s h a v e b e e n d e v e l o p e d f o r c l a s s i f y i n g i m a g e s f r o m l o w - l e v e l

4


5/36

f e a t u r e s s u c h a s c o l o r , t e x t u r e , a n d s h a p e . S z u m m e r a n d P i c a r d d e v e l o p e d a m e t h o d

f o r i n f e r r i n g h i g h - l e v e l s c e n e p r o p e r t i e s s u c h a s i n d o o r v s o u t d o o r b y c l a s s i f y i n g l o w -

l e v e l f e a t u r e s s u c h a s c o l o r a n d t e x t u r e 2 6 . H u a n g , e t a l . d e v e l o p e d a h i e r a r c h i c a l

i m a g e c l a s s i e r w h i c h u s e s b a n d e d c o l o r c o r r e l o g r a m s t o a s s i g n i m a g e s t o s e m a n t i c

c a t e g o r i e s . C a e l l i a n d R e y e d e v e l o p e d a s i n g l e s p a t i o - c h r o m a t i c f e a t u r e s p a c e f o r

c l a s s i f y i n g i m a g e s b a s e d o n c o l o r , t e x t u r e a n d s h a p e 2 7 . C a r s o n , e t a l , d e v e l o p e d a

c o l o r a n d t e x t u r e b l o b r e p r e s e n t a t i o n o f i m a g e s w h i c h i s u s e d t o c l a s s i f y i m a g e s u s i n g

a d e c i s i o n - t r e e 2 8 . F o r s y t h , e t a l , d e v e l o p e d a b o d y p l a n s a p p r o a c h f o r a n a l y z i n g a n d

c l a s s i f y i n g p h o t o g r a p h s b a s e d o n t h e s p a t i a l c o n g u r a t i o n o f r e g i o n s b e l o n g i n g t o t h e

m a i n o b j e c t 2 9 .

1 . 2 O v e r v i e w

I n t h i s p a p e r , w e d e s c r i b e a m e t h o d f o r c l a s s i f y i n g a n d q u e r y i n g i m a g e s b y s p a t i a l

o r d e r i n g s o f r e g i o n s . T h e c o m p o s i t e r e g i o n t e m p l a t e s C R T s d e s c r i p t o r f r a m e w o r k

p r o v i d e s s e v e r a l r e p r e s e n t a t i o n s f o r c h a r a c t e r i z i n g i m a g e s :

1 . a r e g i o n s t r i n g r e p r e s e n t a t i o n S f o r d e s c r i b i n g s p a t i a l o r d e r i n g s o f r e g i o n s ,

2 . a C R T d e s c r i p t o r T t h a t i n d i c a t e s t h e i n s t a n c e s o f r e g i o n p r e c e d e n c e i n s p a t i a l

s c a n s , a n d

5


6/36

3 . a C R T d e s c r i p t o r m a t r i x M t h a t e n a b l e s r o b u s t s e a r c h i n g a n d c l a s s i c a t i o n

b a s e d o n s p a t i a l i n f o r m a t i o n .

F o r o n e , t h e C R T d e s c r i p t o r s a l l o w i m a g e s t o b e s e a r c h e d b y c o m p a r i n g t h e c o u n t s

o f r e g i o n s w i t h d i e r e n t a t t r i b u t e s p r e c e d i n g e a c h o t h e r i n s c a n s o f t h e i m a g e s . T h e

C R T s a l l o w i m a g e s t o b e g r a p h i c a l l y q u e r i e d b y s k e t c h o r b y p r o v i d i n g a n e x a m p l e

i m a g e . T h e C R T s c a n a l s o b e u s e d t o d e s c r i b e t h e p r o t o t y p a l s p a t i a l o r d e r s o f r e g i o n s

t h a t r e c u r t h r o u g h o u t a d a t a b a s e . T h i s a l l o w s u n k n o w n i m a g e s t o b e a n n o t a t e d b y

m a t c h i n g s e q u e n c e s o f r e g i o n s t o t h e e n t r i e s i n a l i b r a r y o f p r o t o t y p a l C R T s .

1 . 3 O u t l i n e

T h e p a p e r i s o r g a n i z e d a s f o l l o w s : i n S e c t i o n 2 , w e d e s c r i b e t h e e x t r a c t i o n p r o c e s s e s

f o r g e n e r a t i n g t h e C R T d e s c r i p t o r s f r o m c o l o r p h o t o g r a p h s . I n S e c t i o n 3 , w e d e s c r i b e

t h e p r o c e s s e s f o r s e a r c h i n g f o r i m a g e s a n d c l a s s i f y i n g u n k n o w n i m a g e s b y d e c o d i n g

t h e r e g i o n s t r i n g s u s i n g t h e C R T l i b r a r y . I n S e c t i o n 4 , w e e v a l u a t e t h e p e r f o r m a n c e o f

t h e s y s t e m i n c l a s s i f y i n g i m a g e s f r o m t e n s e m a n t i c s c l a s s e s : b e a c h e s , b u i l d i n g s , c r a b s ,

d i v e r s , f a c e s , h o r s e s , n a t u r e , s i l h o u e t t e s , s u n s e t s , a n d t i g e r s . W e a l s o c o m p a r e t h e

r e t r i e v a l e e c t i v e n e s s o f t h e C R T m e t h o d t o m e t h o d s b a s e d o n c o l o r h i s t o g r a m s a n d

t e x t u r e i n r e t r i e v i n g i m a g e s f r o m a d a t a b a s e o f 8 9 3 c o l o r p h o t o g r a p h s .

6


7/36

2 C o m p o s i t e r e g i o n t e m p l a t e s

T h e C R T s a r e g e n e r a t e d b y c o u n t i n g t h e i n s t a n c e s o f r e l a t i v e r e g i o n p r e c e d e n c e

i n t h e r e g i o n s t r i n g s . I n g e n e r a l , m a n y f e a t u r e s o f t h e r e g i o n s s u c h a s s h a p e , t e x t u r e ,

e d g e s , a n d m o t i o n a r e i m p o r t a n t i n c h a r a c t e r i z i n g t h e r e g i o n s . T h e C R T s a r e g e n e r a l

i n t h a t t h e y h o l d s y m b o l s t h a t c a n r e p r e s e n t a n y t y p e o f m e t a - d a t a , a n n o t a t i o n s ,

d e s c r i p t o r o r f e a t u r e p r o t o t y p e s , o r t h e i n d e x v a l u e s o f e n t r i e s i n a v i s u a l f e a t u r e

l i b r a r y . I n p r a c t i c a l a p p l i c a t i o n s , t h e v i s u a l f e a t u r e s m a y b e d e r i v e d m a n u a l l y , o r

a u t o m a t i c a l l y , s u c h a s b y s a m p l i n g t h e i m a g e s a n d c l u s t e r i n g t h e e x t r a c t e d f e a t u r e s ,

a s i n 2 8 .

2 . 1 S p a t i a l a n d f e a t u r e s i m i l a r i t y

W e p r o p o s e a r e g i o n s t r i n g r e p r e s e n t a t i o n f o r d e s c r i b i n g t h e s p a t i a l o r d e r o f r e g i o n s

o b t a i n e d b y s c a n n i n g t h e i m a g e . C o n s i d e r a s e r i e s o f r e g i o n s , w h e r e e a c h r e g i o n i s

a s s i g n e d a s y m b o l v a l u e . E a c h s y m b o l v a l u e r e p r e s e n t s a n a t t r i b u t e o r d e s c r i p t o r o r

f e a t u r e o f t h e r e g i o n . I n o r d e r t o c o m p a r e t h e s p a t i a l i n f o r m a t i o n i n t h e i m a g e s , t h e

s y m b o l s t r i n g s n e e d t o b e c o m p a r e d . S e v e r a l p r o b l e m s e m e r g e , s u c h a s h o w t o d e a l

w i t h :

7


8/36

1 . i n s e r t i o n s , d e l e t i o n s , s u b s t i t u t i o n s , r e p l i c a t i o n s a n d r e l o c a t i o n s o f s y m b o l s

2 . c o m p a r i n g r e g i o n s t r i n g s o f d i e r e n t l e n g t h s ,

3 . p e r f o r m i n g p a r t i a l o r s u b s t r i n g m a t c h i n g , a n d

4 . r e p r e s e n t i n g a n d c o m p a r i n g c l a s s e s o f i m a g e s u s i n g r e g i o n s t r i n g s .

T h e C R T d e s c r i p t o r s p r o v i d e a w a y t o c o m p a r e t h e s y m b o l s e q u e n c e s i n a s t a t i s t i c a l

f a s h i o n . T h e C R T d e s c r i p t o r s a r e g e n e r a t e d b y m a p p i n g t h e r e g i o n s t r i n g s i n t o a C R T

d e s c r i p t o r m a t r i x , w h e r e e n t r y i ; j i n t h e C R T d e s c r i p t o r m a t r i x i n d i c a t e s t h e c o u n t

M i ; j o f t h e i n s t a n c e s i n w h i c h s y m b o l i p r e c e d e d s y m b o l j i n t h e s y m b o l s t r i n g .

2 . 2 I m a g e a n a l y s i s

W e d e v e l o p a m e t h o d f o r e x t r a c t i n g t h e C R T d e s c r i p t o r s f r o m t h e i m a g e s b y s e g m e n t -

i n g a n d s c a n n i n g t h e c o l o r r e g i o n s i n a s e t o f s p a t i a l s c a n s . T h e o v e r a l l i m a g e a n a l y s i s

a n d C R T g e n e r a t i o n p r o c e s s i s s u m m a r i z e d i n F i g u r e 1 . T h e s y s t e m s e g m e n t s t h e i m -

a g e s i n t o c o l o r r e g i o n s u s i n g c o l o r b a c k - p r o j e c t i o n . T h e n , t h e s y s t e m e x t r a c t s r e g i o n

s t r i n g s b y s c a n n i n g t h e s e g m e n t e d i m a g e s u s i n g a s e t o f s c a n s . F i n a l l y , t h e s y s t e m

c o n s o l i d a t e s t h e r e g i o n s t r i n g s i n t o t h e s e t o f c o m p o s i t e r e g i o n t e m p l a t e s C R T s . I n

o r d e r t o c l a s s i f y t h e i m a g e s , t h e s y s t e m p o o l s t o g e t h e r t h e C R T s f r o m t h e t r a i n i n g

i m a g e s f r o m e a c h s e m a n t i c c l a s s t o c o n s t r u c t a C R T l i b r a r y . T h e s y s t e m c l a s s i e s

8


9/36

u n k n o w n i m a g e s b y d e c o d i n g t h e i r r e g i o n s t r i n g s u s i n g t h e e n t r i e s i n t h e C R T l i b r a r y .

2 . 3 C o l o r r e g i o n s e g m e n t a t i o n

T h e s y s t e m s e g m e n t s t h e i m a g e s i n t o h o m o g e n e o u s c o l o r r e g i o n s u s i n g t h e m e t h o d o f

c o l o r b a c k - p r o j e c t i o n , a s i l l u s t r a t e d i n F i g u r e 2 . T h e p r o c e s s e x t r a c t s t h e p r o m i n e n t

c o l o r r e g i o n s a n d r e - c o m p o s i t e s t h e m t o g e n e r a t e a s e g m e n t e d i m a g e . S i n c e , u l t i m a t e l y ,

w e a s s i g n a c o l o r s y m b o l t o e a c h o f t h e r e g i o n s , w e a v o i d t h e c l u s t e r i n g o f c o l o r s , a s

i n 3 0 , a n d i n s t e a d u s e a q u a n t i z e d c o l o r s p a c e . T h e s e g m e n t a t i o n p r o c e s s g e n e r a t e s

a c o l o r b l o b - l i k e r e p r e s e n t a t i o n o f t h e i m a g e s , a s i l l u s t r a t e d i n F i g u r e 3 .

T h e s e g m e n t a t i o n p r o c e s s i n i t i a l l y p a l e t t i z e s e a c h i m a g e I

r g b

x ; y u s i n g a 1 6 6 - c o l o r

q u a n t i z e d H S V c o l o r s p a c e , g i v i n g I

v

x ; y , a n d c o m p u t e s a 1 6 6 - b i n c o l o r h i s t o g r a m

h n , a s d e s c r i b e d i n 9 . T h e c o l o r s k t h a t a r e r e p r e s e n t e d w i t h h k

c

, w h e r e

w e c h o o s e

c

= 0 0 2 5 , a r e s e l e c t e d f r o m t h e h i s t o g r a m i n o r d e r o f p r o m i n e n c e . E a c h

s e l e c t e d c o l o r k i s t h e n b a c k - p r o j e c t e d t o c r e a t e a b a c k - p r o j e c t e d i m a g e I

k

d

x ; y t h a t

i n d i c a t e s t h e p i x e l s i n t h e i m a g e t h a t h a v e t h e s e l e c t e d c o l o r k , a s f o l l o w s :

I

k

d

x ; y =

X

x 2 X

X

y 2 Y

8

:

1 i f I

v

x ; y = k

0 o t h e r w i s e .

1

E a c h b a c k - p r o j e c t e d i m a g e I

k

d

x ; y i s t h e n l t e r e d t o r e d u c e n o i s e a n d c o n n e c t n e a r b y

r e g i o n s . T h e r e s u l t i n g i m a g e i s t h e n i n t e n s i t y t h r e s h o l d e d u s i n g a t h r e s h o l d

s

= 0 9 t o

g e n e r a t e a b i n a r y i m a g e . T h e s u r v i v i n g r e g i o n s a r e t h e n l a b e l e d a n d s i z e t h r e s h o l d e d

9


10/36


11/36

A l t h o u g h w e c o n s i d e r o n l y c o l o r i n f o r m a t i o n h e r e , i n g e n e r a l , w e r e p r e s e n t t h e

a t t r i b u t e o f i n t e r e s t o f e a c h r e g i o n b y i t s e n t r y i n t h e v i s u a l f e a t u r e l i b r a r y , a s f o l l o w s :

w e d e n o t e b y a s y m b o l s

k

e a c h e n t r y k i n t h e v i s u a l f e a t u r e l i b r a r y . F o r e x a m p l e ,

c o n s i d e r i n g t h e v i s u a l f e a t u r e l i b r a r y : D = f r e d , b l u e , g r e e n , b l a c k , w h i t e g , w e h a v e

s

0

= r e d , s

1

= b l u e , s

2

= g r e e n , a n d s o f o r t h . W e d e n e t h e r e g i o n s t r i n g s , w h i c h

c o r r e s p o n d t o a s e r i e s o f t h e s y m b o l s , a s f o l l o w s :

D e n i t i o n 1 R e g i o n S t r i n g . A r e g i o n s t r i n g S d e n e s a s e r i e s o f N s y m b o l s S =

s 0 s 1 s 2 : : : s N , 1 t h a t g i v e s t h e o r d e r o f r e g i o n s i n a s c a n o f a n i m a g e , w h e r e s n

i s t h e s y m b o l v a l u e i . e . , c o l o r i n d e x v a l u e o f t h e n

h

s u c c e s s i v e r e g i o n i n t h e s p a t i a l

s c a n .

I n e a c h s c a n , t h e s y m b o l v a l u e o f e a c h s u c c e s s i v e r e g i o n i s c o n c a t e n a t e d o n t o t h e

s c a n ' s r e g i o n s t r i n g . F i g u r e 4 i l l u s t r a t e s t h e r e g i o n s t r i n g g e n e r a t i o n p r o c e s s f o r t w o

e x a m p l e n a t u r e i m a g e s . I n t h e s e e x a m p l e s , e a c h s y m b o l v a l u e i . e . , s y m b o l ` A ' i n

F i g u r e 4 b r e p r e s e n t s t h e c o l o r i n d e x v a l u e , k 2 f 0 1 6 5 g , o f t h e r e g i o n ' s c o l o r i n

t h e 1 6 6 - c o l o r H S V c o l o r s p a c e . T h e t o p - t o - b o t t o m s c a n s c a p t u r e t h e v e r t i c a l p o s i t i o n s

o f t h e r e g i o n s , a s i l l u s t r a t e d i n F i g u r e 4 c .

N o t i c e t h a t i n t h e i m a g e s i n F i g u r e 4 a , t h e r e g i o n s c o r r e s p o n d i n g t o s k i e s a n d

c l o u d s a p p e a r a b o v e t h e r e g i o n s c o r r e s p o n d i n g t o g r a s s a n d t r e e s . T h e s e o r d e r i n g s a r e

r e e c t e d i n t h e r e g i o n s t r i n g s i n F i g u r e 4 c : t h e s y m b o l s ` B , ' ` C , ' a n d ` D ' s k i e s a n d

1 1


12/36

c l o u d s p r e c e e d t h e s y m b o l s ` F , ' a n d ` G ' g r a s s a n d t r e e s i n t h e t o p - t o - b o t t o m s c a n s .

H o w e v e r , t h e r e g i o n s t r i n g s t h e m s e l v e s a r e d i c u l t t o u s e d i r e c t l y t o c o m p a r e i m a g e s

b e c a u s e o f t h e n e e d t o d e a l w i t h i n s e r t i o n s , s u b s t i t u t i o n s a n d d e l e t i o n s o f s y m b o l s .

2 . 5 C o m p o s i t e r e g i o n t e m p l a t e s C R T s

W e s i m p l i f y t h e p r o c e s s o f c o m p a r i n g t h e i m a g e s b y u s i n g c o m p o s i t e r e g i o n t e m p l a t e s

C R T s . T h e s y s t e m g e n e r a t e s t h e C R T s b y c o n s o l i d a t i n g t h e r e g i o n s t r i n g s , a s i l -

l u s t r a t e d i n F i g u r e 4 d . W h e r e a s t h e r e g i o n s t r i n g s d e s c r i b e a s e r i e s o f s u c c e s s i v e

s y m b o l s , t h e C R T s d e s c r i b e o n l y t h e r e l a t i v e o r d e r i n g o f s y m b o l s , a s f o l l o w s :

D e n i t i o n 2 C o m p o s i t e r e g i o n t e m p l a t e C R T . A c o m p o s i t e r e g i o n t e m p l a t e

C R T , T , d e n e s a r e l a t i v e o r d e r i n g o f L s y m b o l s , T = t 0 t 1 : : : t L , 1 , w h e r e T i

p r e c e d e s T i + j i n a s y m b o l s t r i n g S f o r j 0

T h e C R T s r e p r e s e n t i n s t a n c e s o f s y m b o l s p r e c e d i n g e a c h o t h e r i n a r e g i o n s t r i n g

o r s e t o f r e g i o n s t r i n g s . F o r e x a m p l e , t h e C R T , T = s

0

s

3

s

5

, i n d i c a t e s t h a t t h e r e i s a n

i n s t a n c e o f s

0

p r e c e d i n g s

3

p r e c e d i n g s

5

, s u c h a s i n s y m b o l s t r i n g S = s

0

s

2

s

1

s

3

s

6

s

5

T h e C R T s c a n b e u s e d t o d e s c r i b e t h e o v e r a l l c o l o r - s p a t i a l c o n t e n t o f t h e i m a g e s

s t a t i s t i c a l l y b y c o u n t i n g t h e f r e q u e n c i e s o f t h e C R T s i n t h e s e t o f r e g i o n s t r i n g s . F o r

e x a m p l e , g i v e n t h e v i s u a l f e a t u r e l i b r a r y D = f r e d , b l u e , g r e e n , b l a c k , w h i t e , y e l l o w g ,

1 2


13/36

t h e n T = s

2

s

1

c o r r e s p o n d s t o t h e t e m p l a t e f o r g r e e n p r e c e d i n g b l u e . W e c a n c o u n t

t h e i n s t a n c e I S ; T o f e a c h C R T , T , i n e a c h s y m b o l s t r i n g S . F o r e x a m p l e i n t h e

s y m b o l s t r i n g S = s

2

s

2

s

1

s

3

s

1

, w e h a v e I S ; T = 4 , w h i c h i n d i c a t e s t h a t t h e r e a r e

f o u r i n s t a n c e s o f s

2

p r e c e d i n g s

1

g r e e n p r e c e d i n g b l u e

I n t h e c a s e t h a t L = 2 , t h e t e s t f o r T = t

0

t

1

i n a l e n g t h N r e g i o n s t r i n g S i s g i v e n

b y t h e i n d i c a t o r f u n c t i o n I T ; S , w h e r e

I T ; S =

N , 1

X

n = 0

N , 1

X

m = n + 1

8

:

1 i f s n = t 0 a n d s m = t 1


2

I n g e n e r a l , t h e C R T s c a n h a v e L 2 d i m e n s i o n s , i n w h i c h c a s e t h e t e s t f o r a n

L - d i m e n s i o n a l C R T , T , i n a l e n g t h N s y m b o l s t r i n g S i s g i v e n b y

I T ; S =

N , 1

X

m

0

= 0

N , 1

X

m

1

= m

0

+ 1

N , 1

X

m

N 1

= L

L 2

+ 1

8

:

1 i f s l

0

= t 0 ; s l

1

= t 1 ; : : : ;

s l

N , 1

= t L , 1


3

2 . 6 C R T d e s c r i p t o r m a t r i c e s

T h e C R T t e s t f o r m s t h e b a s i s f o r g e n e r a t i n g a C R T d e s c r i p t o r m a t r i x w h i c h s u m m a -

r i z e s a l l o f t h e c o u n t s o f t h e C R T s T

i

i n t h e s y m b o l s t r i n g s S o r f S

k

g

D e n i t i o n 3 C o m p o s i t e r e g i o n t e m p l a t e C R T d e s c r i p t o r m a t r i x . A c o m -

p o s i t e r e g i o n t e m p l a t e C R T d e s c r i p t o r m a t r i x , M i ; j o f a s y m b o l s t r i n g S g i v e s t h e

c o u n t I S ; s

i

s

j

, o f e a c h L = 2 d i m e n s i o n a l C R T , T = s

i

s

j

i n S

1 3


14/36


15/36

2 . 8 C o m p o s i t e r e g i o n t e m p l a t e C R T l i b r a r y

G i v e n a s e t o f s e m a n t i c c l a s s e s o f i m a g e s , t h e s y s t e m c o n s t r u c t s a C R T l i b r a r y b y

p o o l i n g t o g e t h e r t h e C R T s i n e a c h s e m a n t i c c l a s s , w h e r e f o r e a c h c l a s s , t h e C R T

l i b r a r y g i v e s t h e l i k e l i h o o d t h a t e a c h C R T i s f o u n d i n t h a t c l a s s . T h e p o o l i n g p r o c e s s

i s c a r r i e d o u t b y c o m p u t i n g t h e f r e q u e n c y P T

i

o f e a c h C R T , T

i

, i n a s e t o f r e g i o n

s t r i n g s f S

j

g a s f o l l o w s :

P T

i

=

X

j

I T

i

; S

j

4

T h e f r e q u e n c y o f e a c h C R T , T

i

, i n t h e s e t o f r e g i o n s t r i n g s f S

j

g

k

f r o m s e m a n t i c c l a s s

C

k

i s g i v e n b y P T

i

C

k

, w h e r e

P T

i

C

k

=

X

8

j

S

j

2 C

k

I T

i

; S

j

5

T h e p o o l e d C R T s f o r m a C R T l i b r a r y t h a t h o l d s t h e P T

i

C

k

v a l u e s f o r e a c h c l a s s

k , a s f o l l o w s :

D e n i t i o n 4 C R T l i b r a r y . A c o m p o s i t e r e g i o n t e m p l a t e C R T l i b r a r y i s g i v e n b y

t h e s e t o f t u p l e s :

T

i

; P T

i

; P T

i

C

0

; P T

i

C

1

; : : : ; P T

i

C

K , 1

;

w h e r e K i s t h e n u m b e r o f s e m a n t i c c l a s s e s .

T h e P T

i

' s r e e c t t h e f r e q u e n c i e s o f t h e C R T s i n a l l c l a s s e s E q . 4 , P T

i

C

k

' s r e e c t

t h e f r e q u e n c i e s w i t h i n e a c h c l a s s k E q . 5 .

1 5


16/36

3 I m a g e c l a s s i c a t i o n a n d q u e r y

T h e s y s t e m u s e s t h e r e g i o n s t r i n g s a n d t h e C R T l i b r a r y f o r c l a s s i f y i n g a n d r e t r i e v i n g

t h e i m a g e s . I n a p p l i c a t i o n s i n v o l v i n g c l a s s i c a t i o n , t h e s y s t e m a s s i g n s e a c h i m a g e t o

t h e c l o s e s t s e m a n t i c c l a s s i n t h e C R T l i b r a r y , a s d e s c r i b e d b e l o w . I n i m a g e r e t r i e v a l

a p p l i c a t i o n s , t h e s y s t e m r e t r i e v e s t h e m o s t s i m i l a r i m a g e s t o t h e q u e r y i m a g e .

3 . 1 I m a g e c l a s s i c a t i o n

T h e s y s t e m a s s i g n s a n i m a g e t o c l a s s l b a s e d o n i t s f T

0

i

g ' s a s f o l l o w s :

1 . F o r e a c h T

0

i

f r o m t h e i m a g e , P C

k

T

0

i

i s c o m p u t e d f r o m t h e e n t r i e s i n t h e C R T

l i b r a r y f r o m :

P C

k

T

0

i

=

P T

0

i

C

k

P T

0

i

6

2 . T h e s y s t e m c l a s s i e s t h e i m a g e i n t o c l a s s l w h e n

8

l 6= k

;

X

i

P C

l

T

0

i

X

i

P C

k

T

0

i

7

T h a t i s , c l a s s C

l

b e s t e x p l a i n s t h e C R T s r e p r e s e n t e d i n t h e s p a t i a l o r d e r o f

r e g i o n s i n t h e u n k n o w n i m a g e .

1 6


17/36

3 . 2 I m a g e q u e r y

I n i m a g e s e a r c h a p p l i c a t i o n s , t h e i m a g e s a r e q u e r i e d b a s e d o n s p a t i a l s e q u e n c e s o f

c o l o r r e g i o n s . T h e s y s t e m r e t u r n s t h e t o p - r a n k e d i m a g e s t h a t a r e m o s t s i m i l a r t o

t h e q u e r y i m a g e . W e c o n s i d e r t h a t e a c h t a r g e t i m a g e h a s a r e g i o n s t r i n g S

t

, o r C R T

d e s c r i p t o r m a t r i x M

t

. T h e q u e r y c a n b e f o r m e d f r o m t h e q u e r y i m a g e b y e x t r a c t i n g

i t s s e t o f r e g i o n s t r i n g s f S

j

g

q

a n d c o m p u t i n g t h e d e s c r i p t o r m a t r i x M

q

, a s d e s c r i b e d

a b o v e . A l t e r n a t i v e l y , t h e u s e r c a n s k e t c h a q u e r y i m a g e b y p o s i t i o n i n g c o l o r r e g i o n s

o n a g r i d 9 . T h e s y s t e m c a n t h e n c o m p u t e M

q

b a s e d o n t h e r e g i o n l a y o u t .

I n o r d e r t o c o m p a r e t h e i m a g e s b a s e d o n s p a t i a l i n f o r m a t i o n , t h e s y s t e m c o m p u t e s

t h e s i m i l a r i t y o f M

q

t o t h o s e o f t h e t a r g e t i m a g e s M

t

a s f o l l o w s :

q t

=

X

i

1

M

q

i ; i M

t

i ; i

X

j

M

q

i ; j M

t

i ; j 8

T h e q u e r y s y s t e m r e t r i e v e s t h e i m a g e s w i t h h i g h e s t

q t

4 E v a l u a t i o n

W e e v a l u a t e t h e C R T m e t h o d b y e v a l u a t i n g i t s p e r f o r m a n c e i n c l a s s i f y i n g 2 6 6 u n k n o w n

i m a g e s f r o m t e n s e m a n t i c c l a s s e s a n d i n r e t r i e v i n g i m a g e s f r o m a c o l l e c t i o n o f 8 9 3

c o l o r p h o t o g r a p h s . W e a l s o d e m o n s t r a t e t h e C R T m e t h o d i n r e t r i e v i n g i m a g e s u s i n g

g r a p h i c a l q u e r y i n g .

1 7


18/36


19/36

t h e s i l h o u e t t e i m a g e s , t h e C R T s p e r f o r m e d w o r s e t h a n t h e c o l o r h i s t o g r a m s . I n t h i s

c a s e t h e d o m i n a n t p r o p e r t y o f t h e s i l h o u e t t e i m a g e s , a l a r g e b l a c k b a c k g r o u n d , w a s

n o t c a p t u r e d w e l l b y t h e C R T s .

T h e c o n f u s i o n m a t r i x f o r t h e s e m a n t i c s c l a s s i c a t i o n s y s t e m i s g i v e n i n T a b l e 2 . W e

c a n s e e t h a t w i t h t h e e x c e p t i o n o f t h e f a c e s a n d n a t u r e i m a g e s , f e w m i s c l a s s i c a t i o n s

r e s u l t e d . T h e f a c e s i m a g e s w e r e c l a s s i e d c o r r e c t l y o n l y 4 2 . 2 o f t h e t i m e a n d w e r e

m i s c l a s s i e d a s h o r s e s 2 4 . 4 o f t h e t i m e . T h e f a c e s c l a s s w a s t h e m o s t c h a l l e n g i n g

b e c a u s e t h e f a c e r e g i o n s w e r e o f t e n o n l y a s m a l l p a r t o f t h e i m a g e a n d o v e r a l l , t h e

i m a g e s h a d a l a r g e v a r i e t y o f b a c k g r o u n d s . T h e n a t u r e i m a g e s w e r e c o n f u s e d w i t h

b e a c h e s 1 9 . 4 o f t h e t i m e b e c a u s e o f t h e h i g h s i m i l a r i t y o f t h e s c e n e s .

4 . 3 R e t r i e v a l e e c t i v e n e s s r e s u l t s

W e u s e d t h e f u l l s e t o f 8 9 3 i m a g e s t o e v a l u a t e t h e r e t r i e v a l e e c t i v e n e s s o f t h e C R T

m e t h o d . W e a n a l y z e d t h r e e i m a g e q u e r i e s : s u n s e t i m a g e s , n a t u r e i m a g e s a n d d i v e r

i m a g e s . F o r e a c h b e n c h m a r k q u e r y , w e p r e - a s s i g n e d e a c h t a r g e t i m a g e n a s u b j e c t i v e

r e l e v a n c e V

n

2 f 0 ; 1 g t o t h e q u e r y a s f o l l o w s : t h e i m a g e s i n t h e s a m e c l a s s a s t h e q u e r y

i m a g e w e r e a s s i g n e d a r e l e v a n c e V

n

= 1 , a n d t h e r e m a i n i n g i m a g e s w e r e a s s i g n e d a

r e l e v a n c e V

n

= 0 . E a c h o f t h e r e l e v a n t i m a g e s w a s u s e d i n t u r n t o q u e r y t h e d a t a b a s e

o f N = 8 9 3 i m a g e s . E a c h q u e r y r e t r i e v e d t h e t a r g e t i m a g e s i n r a n k o r d e r t o t a l

1 9


20/36


21/36


22/36

n a t u r e q u e r i e s . O n a v e r a g e , a f t e r t h e r s t t w o r e t u r n e d i m a g e s , t h e C R T - m e t h o d g a v e

h i g h e r p r e c i s i o n t h a n c o l o r h i s t o g r a m a n d t e x t u r e - b a s e d m e t h o d s f o r t h e s a m e v a l u e

o f r e c a l l .

4 . 4 G r a p h i c a l q u e r y

T h e C R T m e t h o d a l l o w s f a s t m a t c h i n g o f i m a g e s i n g r a p h i c a l q u e r y i n g , a s i l l u s -

t r a t e d i n F i g u r e 6 . T h e u s e r p l a c e s t h e c o l o r r e g i o n s o n a g r i d t o c o n s t r u c t a c o a r s e

d e p i c t i o n o f t h e s c e n e s o f i n t e r e s t . T h e s e t o f q u e r y C R T s a r e o b t a i n e d b y s c a n n i n g

t h e q u e r y g r i d a n d g e n e r a t i n g a n d c o n s o l i d a t i n g t h e r e g i o n s t r i n g s f o r t h e q u e r y . T h e

m a t c h i n g i s t h e n p e r f o r m e d d i r e c t l y b e t w e e n t h e q u e r y C R T s a n d t h o s e f o r t h e t a r g e t

i m a g e s u s i n g E q . 8 .

F o r e x a m p l e , i n t h e r s t q u e r y i n F i g u r e 6 , t h e u s e r p l a c e s t w o r e g i o n s , o n e f o r

b l u e s k y , a n d a n o t h e r f o r g r e e n e l d o n t h e q u e r y g r i d . T h e r e t r i e v e d i m a g e s h a v e t h e

b e s t m a t c h t o t h e q u e r y i n t e r m s o f t h e c o m p o s i t i o n o f t h e c o l o r r e g i o n s . T h e b e s t s i x

m a t c h e s a r e i l l u s t r a t e d o n t h e r i g h t i n F i g u r e 6 . I n t h e n e x t e x a m p l e q u e r y , t h e u s e r

p l a c e s a p a l e b l u e r e g i o n a b o v e a b r o w n r e g i o n . T h e s c e n e s i n t h e r e t r i e v e d i m a g e s

m a t c h t h e q u e r y i n t e r m s o f c o l o r a n d l o c a t i o n o f t h e r e g i o n s . I n t h e l a s t e x a m p l e

q u e r y , t h e u s e r p l a c e s a b l u e r e g i o n a b o v e a t a n r e g i o n . T h e r s t v e r e t r i e v e d i m a g e s

2 2


23/36


24/36

3 V . A t h i t s o s , M . J . S w a i n , a n d C . F r a n k e l . D i s t i n g u i s h i n g p h o t o g r a p h s a n d g r a p h -

i c s o n t h e W o r l d - W i d e W e b . I n P r o c . I E E E W o r k s h o p o n C o n t e n t - b a s e d A c c e s s

o f I m a g e a n d V i d e o L i b r a r i e s , J u n e 1 9 9 7 .

4 S . - S . C h e n . C o n t e n t - b a s e d i n d e x i n g o f s p a t i a l o b j e c t s i n d i g i t a l l i b r a r i e s . J o u r n .

V i s u a l C o m m . a n d I m a g e R e p . , 7 1 : 1 6 2 7 , M a r c h 1 9 9 6 .

5 W . W o l f , Y . L i a n g , M . K o z u c h , H . Y u , M . P h i l l i p s , M . W e e k e s , a n d A . D e b r u y n e .

A d i g i t a l v i d e o l i b r a r y o n t h e W o r l d W i d e W e b . I n P r o c . A C M I n t e r n . C o n f .

M u l t i m e d i a A C M M M , p a g e s 4 3 3 4 3 4 , N o v e m b e r 1 9 9 6 .

6 J . R . S m i t h . D i g i t a l v i d e o l i b r a r i e s a n d t h e I n t e r n e t . I E E E C o m m u n i c a t i o n s M a g . ,

3 7 1 : 9 2 9 9 , J a n u a r y 1 9 9 9 . S p e c i a l i s s u e o n t h e N e x t G e n e r a t i o n I n t e r n e t .

7 J . R . S m i t h , R . M o h a n , a n d C . - S . L i . C o n t e n t - b a s e d t r a n s c o d i n g o f i m a g e s i n t h e

I n t e r n e t . I n I E E E P r o c . I n t . C o n f . I m a g e P r o c e s s i n g I C I P , C h i c a g o , I l , O c t o b e r

1 9 9 8 .

8 J . R . S m i t h , R . M o h a n , a n d C . - S . L i . T r a n s c o d i n g I n t e r n e t c o n t e n t f o r h e t e r o g e -

n o u s c l i e n t d e v i c e s . I n P r o c . I E E E I n t e r . S y m p . o n C i r c u i t s a n d S y s t . I S C A S ,

J u n e 1 9 9 8 . S p e c i a l s e s s i o n o n N e x t G e n e r a t i o n I n t e r n e t .

2 4


25/36

9 J . R . S m i t h a n d S . - F . C h a n g . V i s u a l S E E k : a f u l l y a u t o m a t e d c o n t e n t - b a s e d

i m a g e q u e r y s y s t e m . I n P r o c . A C M I n t e r n . C o n f . M u l t i m e d i a A C M M M , p a g e s

8 7 9 8 , B o s t o n , M A , N o v e m b e r 1 9 9 6 .

1 0 J . R . B a c h , C . F u l l e r , A . G u p t a , A . H a m p a p u r , B . H o r o w i t z , R . H u m p h r e y , R . C .

J a i n , a n d C . S h u . V i r a g e i m a g e s e a r c h e n g i n e : a n o p e n f r a m e w o r k f o r i m a g e

m a n a g e m e n t . I n S y m p o s i u m o n E l e c t r o n i c I m a g i n g : S c i e n c e a n d T e c h n o l o g y

S t o r a g e & R e t r i e v a l f o r I m a g e a n d V i d e o D a t a b a s e s I V , v o l u m e 2 6 7 0 , p a g e s 7 6

8 7 . I S & T S P I E , J a n u a r y 1 9 9 6 .

1 1 M . F l i c k n e r , H . S a w h n e y , W . N i b l a c k , J . A s h l e y , Q . H u a n g , B . D o m , M . G o r k a n i ,

J . H a f n e r , D . L e e , D . P e t k o v i c , D . S t e e l e , a n d P . Y a n k e r . Q u e r y b y i m a g e a n d

v i d e o c o n t e n t : T h e Q B I C s y s t e m . I E E E C o m p u t e r , 2 8 9 : 2 3 3 2 , S e p t e m b e r

1 9 9 5 .

1 2 V . E . O g l e a n d M . S t o n e b r a k e r . C h a b o t : R e t r i e v a l f r o m a r e l a t i o n a l d a t a b a s e o f

i m a g e s . I E E E C o m p u t e r , 2 8 9 : 4 0 4 8 , S e p t e m b e r 1 9 9 5 .

1 3 A . P e n t l a n d , R . W . P i c a r d , a n d S . S c l a r o . P h o t o b o o k : T o o l s f o r c o n t e n t - b a s e d

m a n i p u l a t i o n o f i m a g e d a t a b a s e s . I n I n S t o r a g e a n d R e t r i e v a l S t o r a g e & R e t r i e v a l

f o r S t i l l I m a g e a n d V i d e o D a t a b a s e s I I , v o l u m e P r o c . S P I E 2 1 8 5 . I S & T S P I E ,

F e b r u a r y 1 9 9 4 . A l s o M I T T R 2 5 5 .

2 5


26/36

1 4 J . R . S m i t h a n d S . - F . C h a n g . I n t e g r a t e d s p a t i a l a n d f e a t u r e i m a g e q u e r y . M u l t i -

m e d i a S y s t e m s , 7 2 : 1 2 9 1 4 0 , 1 9 9 9 .

1 5 J . H u a n g a n d R . Z a b i h . C o m b i n i n g c o l o r a n d s p a t i a l i n f o r m a t i o n f o r c o n t e n t -

b a s e d i m a g e r e t r i e v a l . I n E u r o p e a n C o n f . o n D i g i t a l L i b r a r i e s , S e p t e m b e r 1 9 9 8 .

1 6 A . D e l B i m b o a n d E . V i c a r i o . U s i n g w e i g h t e d s p a t i a l r e l a t i o n s h i p s i n r e t r i e v a l b y

v i s u a l c o n t e n t . I n P r o c . I E E E W o r k s h o p o n C o n t e n t - b a s e d A c c e s s o f I m a g e a n d

V i d e o L i b r a r i e s , J u n e 1 9 9 8 .

1 7 R . O . D u d a a n d P . E . H a r t . P a t t e r n c l a s s i c a t i o n a n d s c e n e a n a l y s i s . J o h n W i l e y

& S o n s , I n c . , 1 9 7 3 .

1 8 J . R . S m i t h a n d S . - F . C h a n g . L o c a l c o l o r a n d t e x t u r e e x t r a c t i o n a n d s p a t i a l

q u e r y . I n I E E E P r o c . I n t . C o n f . I m a g e P r o c e s s i n g I C I P , L a u s a n n e , S w i t z e r l a n d ,

S e p t e m b e r 1 9 9 6 .

1 9 J . R . S m i t h a n d C h u n g - S h e n g L i . D e c o d i n g i m a g e s e m a n t i c s u s i n g c o m p o s i t e

r e g i o n t e m p l a t e s . I n I E E E C V P R - 9 8 W o r k s h o p o n C o n t e n t - b a s e d A c c e s s t o I m a g e

a n d V i d e o D a t a b a s e s , J u n e 1 9 9 8 .

2 0 S . - K . C h a n g , Q . Y . S h i , a n d C . Y . Y a n . I c o n i c i n d e x i n g b y 2 - D s t r i n g s . I E E E

T r a n s . P a t t e r n A n a l . M a c h i n e I n t e l l . , 9 3 : 4 1 3 4 2 8 , M a y 1 9 8 7 .

2 6


27/36


28/36


29/36

o

v

e

r

a

l

l

b

e

a

c

h

b

u

i

l

d

i

n

g

s

c

r

a

b

s

d

i

v

e

r

s

f

a

c

e

s

h

o

r

s

e

s

n

a

t

u

r

e

s

i

l

h

o

u

e

t

t

e

s

s

u

n

s

e

t

s

t

i

g

e

r

s

t o t a l i m a g e s 3 5 7 1 4 5 6 9 3 3 5 5 2 6 4 6 4 1 4 6 3 1

t r a i n i n g i m a g e s 9 1 7 1 0 4 1 0 1 0 1 0 1 0 1 0 1 0 1 0

t e s t i m a g e s 2 6 6 7 4 6 5 2 3 4 5 1 6 3 6 3 1 3 6 2 1

c o r r e c t l y c l a s s i e d C R T s 1 8 8 6 3 0 5 2 3 1 9 1 4 2 0 2 0 3 1 2 1

c o r r e c t l y c l a s s i e d c o l o r h i s t 1 7 9 5 1 9 5 2 3 1 6 1 3 2 4 3 1 2 4 1 9

c o r r e c t l y c l a s s i e d C R T s 7 0 . 7 8 5 . 7 6 5 . 2 1 0 0 1 0 0 4 2 . 2 8 7 . 5 5 5 . 6 6 4 . 5 8 6 . 1 1 0 0

c o r r e c t l y c l a s s i e d c o l o r h i s t 6 7 . 3 7 1 . 4 4 1 . 3 1 0 0 1 0 0 3 5 . 5 8 1 . 3 6 6 . 7 1 0 0 6 6 . 7 9 0 . 5

T a b l e 1 : R e s u l t s o f t h e i m a g e s e m a n t i c s c l a s s i c a t i o n e x p e r i m e n t w i t h t e n s e m a n t i c

c l a s s e s u s i n g t h e C R T m e t h o d c o m p a r e d t o c o l o r h i s t o g r a m - b a s e d c l a s s i c a t i o n .

2 9


30/36


31/36

COLORREGION

SEGMENTATION

IMAGEREGION

SCANS

REGIONSTRING

CONSOLIDATAION

IMAGE CRTs

BA

C

ED E E E

A B BB

DDDD D

A

C

C C

C

C

C

C

C C

C

A B C D E

A

B

C

DE

0

0

3

00

2

3

10

00

0

0

2

00

2

1

6

30

2

3

5

00

F i g u r e 1 : O v e r v i e w o f t h e p r o c e s s f o r g e n e r a t i n g c o m p o s i t e r e g i o n t e m p l a t e s C R T s

f r o m t h e i m a g e s b y 1 e x t r a c t i n g c o l o r r e g i o n s , 2 s c a n n i n g t h e i m a g e r e g i o n s t o

g e n e r a t e r e g i o n s t r i n g s , a n d 3 c o n s o l i d a t i n g t h e r e g i o n s t r i n g s .

3 1


32/36


33/36

sunsets

beaches

horses

nature

faces

tigers

houses

crabs

divers

silhouettes

F i g u r e 3 : E x a m p l e s o f c o l o r r e g i o n s e g m e n t e d i m a g e s f r o m t e n s e m a n t i c c l a s s e s : s u n -

s e t s , b e a c h e s , h o r s e s , n a t u r e , f a c e s , t i g e r s , h o u s e s , c r a b s , d i v e r s a n d s i l h o u e t t e s .

3 3


34/36

(c)

ABC

D

FG

A

BC

D

F

G

H

BC

D

F

G

G

C

D

FG

G

C

D

F

G

B

B

FD

G

A

B

F

G

HHC

G

F

D

CB

DC

G

B

CDG

B

C

GD

F

BC

HG

I

F

F

II

GF

FI

G

A B C D E

A

B

C

DE

1

1

3

00

1

6

8

00

0

2

0

00

0

0

0

00

0

3

1

00

F G H I

F

G

H

I

2

9

10

90

2

10

13

100

0

3

1

10

0

4

5

50

0

0

0

0

0

0

0

0

0

0

2

0

0

1

2

0

0

0

0

0

1

8

4

2

8

4

5

2

0

0

0

0

3

4

3

0

I(a) (b)

(d)

t0t1

F i g u r e 4 : E x a m p l e o f r e g i o n s t r i n g e x t r a c t i o n a n d C R T c o n s o l i d a t i o n : a t w o n a t u r e

i m a g e s , b c o l o r s e g m e n t e d r e g i o n s , c r e g i o n s c a n s a n d e x t r a c t e d r e g i o n s t r i n g s f S

k

g ,

a n d d C R T d e s c r i p t o r m a t r i x M t h a t g i v e s t h e c o u n t o f e a c h C R T , T = t

0

t

1

, i n t h e

r e g i o n s t r i n g s .

3 4


35/36

0 0.05 0.1 0.15 0.2 0.250

0.2

0.4

0.6

0.8

1

Recall

Precision

Retrieval Effectiveness (Precision vs. Recall)

CRT

histograms

texture

F i g u r e 5 : A v e r a g e r e t r i e v a l e e c t i v e n e s s o f 4 6 q u e r i e s f o r n a t u r e i m a g e s u s i n g t h r e e

m e t h o d s C R T s , c o l o r h i s t o g r a m s a n d t e x t u r e . T h e p o i n t s m a r k e d b y o " g i v e t h e

a v e r a g e p r e c i s i o n P

k

a n d r e c a l l R

k

f o r t h e k

t h

m a t c h , w h e r e k = 2 0 .

3 5


36/36

QUERY RETRIEVED IMAGES

BLUE

DK GRN

PALE

BROWN

BLUE

TAN

1 2 3 4 5 6

1 2 3 4 5 6

1 2 3 4 5 6

F i g u r e 6 : E x a m p l e g r a p h i c a l i m a g e q u e r i e s i n w h i c h t h e C R T d e s c r i p t o r s a r e g e n e r a t e d

f r o m t h e c o l o r r e g i o n l a y o u t o b t a i n e d f r o m t h e c o l o r r e g i o n s p l a c e d o n a q u e r y g r i d .

Documents

Image Classic at Ion and Querying Using Composite