Doc Man Methodology

8/6/2019 Doc Man Methodology

1/24

A D o c u m e n t M a n a g e m e n t M e t h o d o l o g y B a s e d

o n S i m i l a r i t y C o n t e n t s

F a r i d M e z i a n e

S c h o o l o f C o m p u t i n g , S c i e n c e a n d E n g i n e e r i n g , S a l f o r d U n i v e r s i t y , S a l f o r d M 5

4 W T , U K

Y a c i n e R e z g u i

I n f o r m a t i o n S y s t e m s I n s t i t u t e , S a l f o r d U n i v e r s i t y , S a l f o r d M 5 4 W T , U K

A b s t r a c t

T h e a d v e n t o f t h e W W W a n d d i s t r i b u t e d i n f o r m a t i o n s y s t e m s h a v e m a d e i t p o s -

s i b l e t o s h a r e d o c u m e n t s b e t w e e n d i e r e n t u s e r s a n d o r g a n i s a t i o n s . H o w e v e r , t h i s

h a s c r e a t e d m a n y p r o b l e m s r e l a t e d t o t h e s e c u r i t y , a c c e s s i b i l i t y , r i g h t a n d m o s t i m -

p o r t a n t l y t h e c o n s i s t e n c y o f d o c u m e n t s . I t i s i m p o r t a n t t h a t t h e p e o p l e i n v o l v e d i n

t h e d o c u m e n t s m a n a g e m e n t p r o c e s s h a v e a c c e s s t o t h e m o s t u p - t o - d a t e v e r s i o n o f

d o c u m e n t s , r e t r i e v e t h e c o r r e c t d o c u m e n t s a n d s h o u l d b e a b l e t o u p d a t e t h e d o c u -

m e n t s r e p o s i t o r y i n s u c h a w a y t h a t h i s o r h e r d o c u m e n t a r e k n o w n t o o t h e r s . I n t h i s

p a p e r w e p r o p o s e a m e t h o d f o r o r g a n i s i n g , s t o r i n g a n d r e t r i e v i n g d o c u m e n t s b a s e d

o n s i m i l a r i t y c o n t e n t s . T h e m e t h o d u s e s t e c h n i q u e s b a s e d o n i n f o r m a t i o n r e t r i e v a l ,

d o c u m e n t i n d e x a t i o n a n d t e r m e x t r a c t i o n a n d i n d e x i n g . T h i s m e t h o d o l o g y i s d e v e l -

o p e d f o r t h e E - C o g n o s p r o j e c t w h i c h a i m s a t d e v e l o p i n g t o o l s f o r t h e m a n a g e m e n t

a n d s h a r i n g o f d o c u m e n t s i n t h e c o n s t r u c t i o n d o m a i n .

K e y w o r d s :

D o c u m e n t c o n s i s t e n c y , o n t o l o g y , s i m i l a r i t y c o n t e n t

P r e p r i n t s u b m i t t e d t o E l s e v i e r S c i e n c e 2 2 J u l y 2 0 0 3


2/24


3/24

m a n a g e m e n t s y s t e m w h i c h s u p p o r t s c o o p e r a t i v e p r e p a r a t i o n , e x c h a n g e a n d

d i s t r i b u t i o n o f d o c u m e n t s . T h e s y s t e m p a r t i c u l a r l y s t r e s s e d o n t h e l o s s o f

w o r k d o n e s i m u l t a n e o u s l y o n a d o c u m e n t a n d a c c e s s r e s t r i c t i o n s . D o c M a n i n -

t r o d u c e s t h e r e v i s i o n c o n c e p t t h a t p r e v e n t s a n y l o s s o f i n f o r m a t i o n c a u s e d b y

c o n c u r r e n t m o d i c a t i o n s b y f o r b i d d i n g d o c u m e n t s ' r e v i s i o n t o b e o v e r w r i t t e n .

T h i s i s a c h i e v e d b y t h e c r e a t i o n o f a n e w r e v i s i o n o r v e r s i o n w h e n t h e u s e r

m o d i e s t h e d o c u m e n t . U s e r s a r e t h e n i n f o r m e d a b o u t t h e d i e r e n t r e v i s i o n

o f t h e d o c u m e n t . T h e Z e l i g S y s t e m [ 4 ] w a s d e v e l o p e d f o r m a n a g i n g m u l t i p l e

r e p r e s e n t a t i o n d o c u m e n t s . I t w a s c l a i m e d t h a t d i e r e n t g r o u p s o f u s e r s w i l l

f a v o u r d i e r e n t r e p r e s e n t a t i o n s o f d o c u m e n t s . I n t h e d e s i g n o f t h e Z e l i g s y s -

t e m , a c l e a r d i s t i n c t i o n b e t w e e n t h e c o n c e p t u a l l e v e l a n d p r e s e n t a t i o n l e v e l

w a s m a d e . T h e c o n c e p t u a l l e v e l o f t h e d o c u m e n t i s w h e r e t h e s e m a n t i c o f t h e

d o c u m e n t a n d i t s l o g i c a l s t r u c t u r e a r e r e p r e s e n t e d . T h e p r e s e n t a t i o n l e v e l i s

t h e w a y t h e d o c u m e n t ' s s e m a n t i c i s c o n v e y e d t o t h e u s e r .

I n t h i s p a p e r w e p r e s e n t a m e t h o d o l o g y f o r m a n a g i n g a n d m a i n t a i n i n g d o c u -

m e n t s c o n s i s t e n c y u s i n g s i m i l a r i t y c o n t e n t . T h i s m e t h o d o l o g y i s d e v e l o p e d f o r

t h e E - C o g n o s p r o j e c t w h i c h a i m s a t d e v e l o p i n g t o o l s f o r t h e m a n a g e m e n t a n d

s h a r i n g o f d o c u m e n t s i n t h e c o n s t r u c t i o n d o m a i n . T h e a p p r o a c h i s b a s e d o n

g e n e r i c p r i n c i p l e s r e l a t e d t o i n f o r m a t i o n r e t r i e v a l a n d k n o w l e d g e m a n a g e m e n t .

T h e a i m o f t h i s p r o j e c t i s t o e x p l o i t t h e s e p r i n c i p l e s t o d e v e l o p a n a p p r o a c h

t h a t w i l l s u p p o r t c o n s i s t e n c y a c r o s s l a r g e k n o w l e d g e r e p o s i t o r i e s m a i n t a i n e d

i n a h e t e r o g e n e o u s a n d d i s t r i b u t e d c o l l a b o r a t i v e b u s i n e s s e n v i r o n m e n t . T h e

m e t h o d o l o g y a i m s a l s o a t a d d r e s s i n g m o s t o f t h e i s s u e s d i s c u s s e d i n t h e p r e -

v i o u s p a r a g r a p h . I t m a i n l y a i m s t o :

I d e n t i f y a d o c u m e n t t h r o u g h a s e t o f d o c u m e n t c h a r a c t e r i s t i c s t h a t a r e n o t

d e n e d b y t h e d o c u m e n t ' s p r o d u c e r b u t b y a p r e d e n e d s e t o f p r o p e r t i e s

a n d t e r m s d e n e d b y t h e s y s t e m ' s o n t o l o g y . T h i s w i l l f o r m t h e b a s i s f o r

b o t h t h e c l a s s i c a t i o n ( b y t h e p r o d u c e r ) a n d t h e r e t r i e v a l o f d o c u m e n t s ( b y

t h e u s e r ) .

M a n a g e t h e u p d a t i n g p r o c e s s o f d o c u m e n t s b y n o t o n l y k e e p i n g t r a c k o f a l l t h e c h a n g e s b u t a l s o b y n o t i f y i n g u s e r s w h e n n e w v e r s i o n o f t h e d o c u m e n t s

a r e p r o d u c e d .

d e a l w i t h a n h e t e r o g e n o u s a n d l a r g e d a t a b a s e o f d o c u m e n t s v i t a l t o t h e c o n s t r u c t i o n d o m a i n .

I t i s t h e a i m o f t h i s m e t h o d o l o g y t o a u t o m a t e a l l i t s s t e p s a n d m a k e t h e

p r o c e s s t r a n s p a r e n t t o t h e u s e r . T h e a p p r o a c h i s b a s e d o n a s o l i d t h e o r e t i c a l

f o u n d a t i o n , a n d w i l l b e d e p l o y e d i n a r e a l b u s i n e s s e n v i r o n m e n t . T h e r e m a i n i n g

o f t h e p a p e r i s o r g a n i s e d a s f o l l o w s : i n s e c t i o n 2 w e p r e s e n t t h e m o t i v a t i o n a n d

t h e b a c k g r o u n d b e h i n d t h e p r o j e c t . I n s e c t i o n 3 w e d e n e t h e d o c u m e n t l o g i c a l

r e p r e s e n t a t i o n a n d i n s e c t i o n 4 w e p r e s e n t t h e d i e r e n t t y p e s o f d o c u m e n t

h a n d l e d i n t h i s p r o j e c t . T h i s i s f o l l o w e d b y s e c t i o n 5 w h e r e d i m o d e l s u s e d f o r

d o c u m e n t s s e m a n t i c c h a r a c t e r i z a t i o n a r e p r e s e n t e d . I n s e c t i o n 6 w e p r e s e n t

3


4/24

t h e g e n e r i c m o d e l o f t h e m e t h o d o l o g y u s e d f o r p o o r l y s t r u c t u r e d d o c u m e n t s .

S e c t i o n s 7 a n d 8 p r e s e n t s v a r i a n t s o f t h e m e t h o d o l o g y f o r d o c u m e n t s w i t h t e x t

f o r m a t t i n g s t r u c t u r e a n d h i g h l y s t r u c t u r e d d o c u m e n t s .

2 B a c k g r o u n d a n d M o t i v a t i o n

T h e c o n s t r u c t i o n i n d u s t r i a l p r o c e s s e s a r e c h a r a c t e r i z e d n o w a d a y s b y a n i n -

t e n s i v e u s e o f i n f o r m a t i o n t e c h n o l o g y . D e c i s i o n s w i t h t h e g r e a t e r d e s i g n a n d

e c o n o m i c c o n s e q u e n c e s a r e m a d e i n t h e e a r l y s t a g e s o f a p r o d u c t ' s l i f e c y c l e .

H o w e v e r , t h e i n t e g r a t i o n o f c o n s t r u c t i o n i n d u s t r y p r o c e s s e s i s b e c o m i n g d i -

c u l t d u e t o n e w d e s i g n c o n s i d e r a t i o n s ( n e w s t a n d a r d s a n d r e g u l a t i o n s , e n e r g y

c o n s u m p t i o n a n d m a t e r i a l r e c y c l i n g r e q u i r e m e n t s , e t c . ) a n d t h e c o n t i n u o u s

i n t r o d u c t i o n o f n e w t e c h n i q u e s , m a t e r i a l s a n d b u i l d i n g e l e m e n t s , w h i c h r e s u l t

i n t h e n e e d o f a n i n c r e a s i n g n u m b e r o f s p e c i a l i s t s i n v a r i o u s d o m a i n s . N u -

m e r o u s d o c u m e n t s o f d i v e r s e n a t u r e a r e i n v o l v e d i n t h e c o n s t r u c t i o n d o m a i n .

T h e s e d o c u m e n t s a r e o f t w o t y p e s : d r a w i n g s a n d w r i t t e n d o c u m e n t s . D r a w i n g s

a r e t h e s t r a i g h t f o r w a r d m e d i a t o c o n v e y m o s t o f t h e i n f o r m a t i o n n e e d e d b y

c o n s t r u c t i o n c o m p a n i e s a n d i n c l u d e a l o t o f i n f o r m a t i o n t h a t c a n b e h a r d t o

p u t i n t o w o r d s . T h e y a r e u s u a l l y m o r e f o r m a l a n d c o m p r e h e n s i v e t h a n t e x t

i n f o r m a t i o n . M o r e o v e r , w r i t t e n d o c u m e n t s a r e c o m p l e m e n t a r y t o d r a w i n g s ,

t h e y a r e t h e t r a d i t i o n a l s u p p o r t o f a n e n g i n e e r i n g p r o j e c t d e s c r i p t i o n . S o m e

o f t h e m s u c h a s b u i l d i n g c o d e s , e x a m p l e s o f t e c h n i c a l s o l u t i o n s , c o m p u t a t i o n

r u l e s d e n e t h e l e g a l c o n t e x t o f a p r o j e c t . O t h e r s l i k e t e c h n i c a l s p e c i c a t i o n s

d o c u m e n t s o r b i l l o f q u a n t i t i e s a r e g e n e r a t e d b y t h e e n g i n e e r i n g a c t i v i t i e s a n d

o f t e n h a v e a c o n t r a c t u a l i m p o r t a n c e .

T h e d o c u m e n t s g e n e r a t e d w i t h i n t h e e n t i r e l i f e c y c l e o f a c o n s t r u c t i o n p r o j e c t ,

a n d e s p e c i a l l y d u r i n g t h e d e s i g n s t a g e , n e e d t o b e o f q u a l i t y i n o r d e r t o p r o -

v i d e a r e l i a b l e b a s i s f o r c o n t r a c t o r s t o p e r f o r m t h e i r c o n s t r u c t i o n a c t i v i t i e s .

D o c u m e n t s o f q u a l i t y a r e o b t a i n e d b y e n s u r i n g , d u r i n g t h e i r p r o d u c t i o n , a c o -

h e r e n t a n d c o n s i s t e n t s t r u c t u r i n g b o t h o n t h e l o g i c a l a n d p h y s i c a l s i d e . T h i s

s t r u c t u r i n g i s r e l e v a n t i n t h e s e n s e t h a t t h e s e m a n t i c s o f a d o c u m e n t c a n b e

e c i e n t l y m a s t e r e d a n d t h u s c o r r e c t l y d e s c r i b e d ( a b s e n c e o f r e d u n d a n c i e s a n d

i n c o n s i s t e n c i e s ) .

M o r e o v e r , a d o c u m e n t h a s n o t o n l y t o b e s e l f c o n s i s t e n t b u t n e e d s a l s o t o

b e c o n s i s t e n t w i t h t h e e n t i r e p r o j e c t d o c u m e n t a r y b a s e a s w e l l a s t h e c o n -

s t r u c t i o n s t a n d a r d a n d r e g u l a t i o n b a s e . F u r t h e r m o r e , m a n y p r a c t i t i o n e r s a n d

r e s e a r c h e r s i n t h e c o n s t r u c t i o n d o m a i n h a v e r e c o g n i s e d t h e l i m i t a t i o n s o f c u r -

r e n t a p p r o a c h e s t o m a n a g i n g t h e k n o w l e d g e r e l a t i n g t o a n d a r i s i n g f r o m a

p r o j e c t i n a d i s t r i b u t i v e c o l l a b o r a t i v e e n v i r o n m e n t . A m o n g t h e r e a s o n s f o r

t h e s e l i m i t a t i o n s a r e :

4


5/24

M u c h k n o w l e d g e , o f n e c e s s i t y , r e s i d e s i n t h e m i n d s o f t h e i n d i v i d u a l s w o r k i n g w i t h i n t h e d o m a i n .

T h e i n t e n t b e h i n d d e c i s i o n s i s o f t e n n o t r e c o r d e d o r d o c u m e n t e d . I t r e q u i r e s c o m p l e x p r o c e s s e s t o t r a c k a n d r e c o r d t h e t h o u s a n d s o f a d - h o c m e s s a g e s ,

p h o n e c a l l s , m e m o s , a n d c o n v e r s a t i o n s t h a t c o m p r i s e m u c h p r o j e c t - r e l a t e d

i n f o r m a t i o n .

D a t a i s c a p t u r e d d u r i n g a p r o j e c t a n d a r c h i v e d a t t h e e n d o f a p r o j e c t ; t h i s i s n e c e s s a r y b u t n o t s u c i e n t f o r k n o w l e d g e s y s t e m s . K n o w l e d g e i s c r e a t e d

b y p e o p l e a c t i v e l y r e e c t i n g o n t h e e v e n t s r e p r e s e n t e d b y t h e p r o j e c t d a t a .

T h e k n o w l e d g e g a i n e d i s o f t e n p o o r l y o r g a n i s e d a n d b u r i e d i n d e t a i l s . H e n c e ,

i t b e c o m e s d i c u l t t o c o m p i l e a n d d i s s e m i n a t e u s e f u l k n o w l e d g e t o o t h e r

p r o j e c t s .

P e o p l e f r e q u e n t l y m o v e f r o m o n e p r o j e c t t o a n o t h e r , s o i t i s d i c u l t t o t r a c k t h e p e o p l e w h o w e r e i n v o l v e d i n a r e c o r d e d d e c i s i o n a n d w h o u n d e r s t a n d

t h e c o n t e x t o f t h e d e c i s i o n m a k i n g a n d i t s i m p l e m e n t a t i o n .

K n o w l e d g e i n t h e c o n s t r u c t i o n d o m a i n c a n b e c l a s s i e d i n t o t h e f o l l o w i n g

t h r e e c a t e g o r i e s :

D o m a i n k n o w l e d g e : t h i s f o r m s t h e o v e r a l l i n f o r m a t i o n c o n t e x t . I t i n c l u d e s a d m i n i s t r a t i v e i n f o r m a t i o n s u c h a s z o n i n g r e g u l a t i o n s a n d p l a n n i n g p e r m i s -

s i o n , s t a n d a r d s , t e c h n i c a l r u l e s a n d p r o d u c t d a t a b a s e s . T h i s i n f o r m a t i o n i s ,

i n p r i n c i p l e , a v a i l a b l e t o a l l c o m p a n i e s , a n d i s p a r t l y s t o r e d i n e l e c t r o n i c

d a t a b a s e s .

C o r p o r a t e k n o w l e d g e : t h i s i s c o m p a n y s p e c i c , a n d i s t h e i n t e l l e c t u a l c a p - i t a l o f t h e r m . I t r e s i d e s b o t h f o r m a l l y i n c o m p a n y r e c o r d s a n d i n f o r -

m a l l y t h r o u g h t h e s k i l l e d p r o c e s s e s o f t h e r m . I t a l s o c o m p r i s e s k n o w l e d g e

a b o u t t h e p e r s o n a l s k i l l s , a n d p r o j e c t e x p e r i e n c e o f t h e e m p l o y e e s a n d c r o s s -

o r g a n i s a t i o n a l k n o w l e d g e . T h e l a t t e r c o v e r s k n o w l e d g e i n v o l v e d i n b u s i n e s s

r e l a t i o n s h i p s w i t h o t h e r p a r t n e r s , i n c l u d i n g c l i e n t s , a r c h i t e c t s , e n g i n e e r i n g

c o m p a n i e s , a n d c o n t r a c t o r s .

P r o j e c t k n o w l e d g e : t h i s i s t h e p o t e n t i a l f o r u s a b l e k n o w l e d g e a n d i s t h e s o u r c e o f m u c h o f t h e k n o w l e d g e i d e n t i e d a b o v e . I t c o m p r i s e s b o t h k n o w l -

e d g e e a c h c o m p a n y h a s a b o u t t h e p r o j e c t a n d t h e k n o w l e d g e t h a t i s c r e a t e d

b y t h e i n t e r a c t i o n b e t w e e n r m s . I t i s n o t h e l d i n a f o r m t h a t p r o m o t e s r e -

u s e ( e . g . s o l u t i o n s t o t e c h n i c a l p r o b l e m s , o r i n a v o i d i n g r e p e a t e d m i s t a k e s ) ,

t h u s c o m p a n i e s a n d p a r t n e r s h i p s a r e g e n e r a l l y u n a b l e t o c a p i t a l i s e o n t h i s

p o t e n t i a l f o r c r e a t i n g k n o w l e d g e .

T h i s o v e r a l l c o n t e x t h a s o f t e n r e s u l t e d i n k n o w l e d g e r e d u n d a n c y a n d i n c o n -

s i s t e n c i e s , b u s i n e s s p r o c e s s i n e c i e n c i e s , a n d c h a n g e c o n t r o l a n d r e g u l a t o r y

c o m p l i a n c e p r o b l e m s . M o r e o v e r , t h e i n t r o d u c t i o n o f n e w n a t i o n a l r e g u l a t i o n s ,

o r a m e n d m e n t s m a d e t o e x i s t i n g o n e s , a r e o f t e n n o t h a n d l e d e e c t i v e l y w i t h i n

o r g a n i s a t i o n s a n d p r o j e c t s .

5


6/24

3 D o c u m e n t s a n d T h e i r L o g i c a l R e p r e s e n t a t i o n

A d o c u m e n t i s a t r a n s i t i o n a l a n d c h a n g i n g o b j e c t d e n e d w i t h i n a p r e c i s e

s t a g e o f t h e p r o j e c t l i f e c y c l e . G e n e r a l l y , a d o c u m e n t i s r e l a t e d t o m a n y e l a b o -

r a t e d d o c u m e n t s o f t h e p r o j e c t d o c u m e n t a r y d a t a b a s e . A d o c u m e n t h a s o n e o r

m a n y a u t h o r s . I t i s d e s c r i b e d b y g e n e r a l a t t r i b u t e s s u c h a s a C o d e , a n I n d e x ,

a D e s i g n a t i o n , a D a t e o f c r e a t i o n a n d a l i s t o f i t s A u t h o r s . I d e a l l y , a l i s t o f

d o c u m e n t v e r s i o n s a l s o k e e p s t r a c k o f a n y a m e n d m e n t s m a d e t o t h e d o c u m e n t

d u r i n g i t s l i f e c y c l e . A n i n d e x i n g s y s t e m m a y b e a s s o c i a t e d t o t h e d o c u m e n t .

A d o c u m e n t i s s u b m i t t e d f o r a p p r o v a l a c c o r d i n g t o a d e n e d c i r c u i t o f e x -

a m i n e r s r e p r e s e n t i n g d i v e r s e t e c h n i c a l o r l e g a l e n t i t i e s . E a c h e x a m i n e r i s s u e s

a s t a t e m e n t t h a t e n a b l e s t h e d o c u m e n t t o b e a p p r o v e d , r e j e c t e d o r a p p r o v e d

u n d e r r e s e r v a t i o n .

A l s o , d o c u m e n t s h a v e b e e n t r a d i t i o n a l l y r e p r e s e n t e d u s i n g a s e t o f k e y w o r d s .

T h e s e k e y w o r d s o r i n d i c e s c a n e i t h e r b e m a n u a l l y d e n e d b y a u s e r w i t h a

g o o d k n o w l e d g e o f t h e s e m a n t i c s o f t h e d o c u m e n t , o r e x t r a c t e d a u t o m a t i c a l l y

f r o m t h e t e x t o f t h e d o c u m e n t u s i n g p r o v e n I n f o r m a t i o n R e t r i e v a l ( I R ) t e c h -

n i q u e s . A d o c u m e n t h a s a l o g i c a l a n d a p h y s i c a l s t r u c t u r e , w h i c h a r e b o t h u s e d

t o c o n v e y i n t h e b e s t p o s s i b l e w a y i t s i n t e r n a l s e m a n t i c s . T h e p h y s i c a l s t r u c -

t u r e o f a d o c u m e n t i s d e s c r i b e d u s i n g a p r o p e r l y d e n e d s y n t a x s u p p o r t e d b y

o n e o r s e v e r a l s o f t w a r e t o o l s .

E a c h d o c u m e n t s h o u l d h a v e i d e a l l y m e t a d a t a a t t a c h e d t o i t . A p o s s i b l e s o l u -

t i o n f o r d e s c r i b i n g m e t a d a t a i s t h r o u g h R D F ( R e s o u r c e D e s c r i p t i o n F r a m e -

w o r k - a d e v e l o p m e n t b a s e d o n X M L ) t h a t p r o v i d e s w i t h a s i m p l e c o m m o n

m o d e l f o r d e s c r i b i n g m e t a d a t a o n t h e W e b . I t c o n s i s t s o f a d e s c r i p t i o n o f

n o d e s a n d a t t a c h e d a t t r i b u t e / v a l u e p a i r s . N o d e s r e p r e s e n t a n y w e b r e s o u r c e ,

i . e . U n i f o r m R e s o u r c e I d e n t i e r ( U R I ) , w h i c h i n c l u d e s U R L ( U n i f o r m R e s o u r c e

L o c a t o r ) . A t t r i b u t e s a r e p r o p e r t i e s o f n o d e s a n d t h e i r v a l u e s a r e t e x t s t r i n g s

o r o t h e r n o d e s .

4 A D o c u m e n t T y p e T a x o n o m y

F o l l o w i n g t h e d e s c r i p t i o n o f w h a t a d o c u m e n t i s , a s w e l l a s t h e l e a d i n g m e t a -

l a n g u a g e a n d l a n g u a g e s t a n d a r d s i n t h i s a r e a , a n a t t e m p t i s m a d e t o c l a s s i f y

d o c u m e n t s b a s e d o n t h e i r i n h e r e n t n a t u r e a n d t h e s t r u c t u r e t h e y e x h i b i t , t a k -

i n g i n t o a c c o u n t t h e s p e c i c i t i e s o f t h e c o n s t r u c t i o n s e c t o r . T h r e e c l a s s e s o f

d o c u m e n t s h a v e b e e n i d e n t i e d , n a m e l y : p o o r l y s t r u c t u r e d d o c u m e n t s , d o c u -

m e n t s w i t h a c l e a r p h y s i c a l s t r u c t u r e , a n d h i g h l y s t r u c t u r e d d o c u m e n t s .

6


7/24

4 . 1 P o o r l y S t r u c t u r e d D o c u m e n t s

T h e s e a r e d o c u m e n t s t h a t a r e c o m p o s e d o f t e x t w i t h n o f o r m a l s t r u c t u r e .

T h e s e c o n s t i t u t e t h e v a s t m a j o r i t y o f t h e c o n s t r u c t i o n d o c u m e n t a t i o n . D o c u -

m e n t s a r e t r e a t e d h e r e s i m p l y a s b l a c k - b o x e s . T h e s e t o f o p e r a t i o n s a s s o c i a t e d

w i t h t h i s c a t e g o r y o f d o c u m e n t s i n c l u d e :

M o d i f y i n g t h e c o n t e n t o f t h e d o c u m e n t D e l e t i n g t h e d o c u m e n t

4 . 2 D o c u m e n t s W i t h a T e x t F o r m a t t i n g S t r u c t u r e

T h e s e a r e d o c u m e n t s t h a t a r e t a g g e d u s i n g t h e H T M L l a n g u a g e , o r a t b e s t

t h e X M L l a n g u a g e b u t w i t h o u t r e f e r e n c e t o a D o c u m e n t T y p e D e n i t i o n

( D T D )

1. A p h y s i c a l s t r u c t u r e i n t h e f o r m o f a h i e r a r c h i c a l t r e e , o r h y p e r t e x t

l i n k o f n o d e s c a n b e e a s i l y g e n e r a t e d f r o m t h i s r e p r e s e n t a t i o n . T h i s s t r u c t u r e

o e r s a v a r i e t y o f p o s s i b i l i t i e s i n t e r m s o f t e x t r e t r i e v a l . T h e s e d o c u m e n t s

i n c l u d e d i r e c t r e f e r e n c e s t o o t h e r d o c u m e n t s / d o c u m e n t s e c t i o n s . T h e s e t o f

o p e r a t i o n s a s s o c i a t e d w i t h t h i s c a t e g o r y o f d o c u m e n t s i n c l u d e :

I n s e r t a n e w d o c u m e n t e l e m e n t s u c h a s h e a d i n g , p a r a g r a p h a n d s e c t i o n i n a d o c u m e n t .

D e l e t i n g a n e x i s t i n g h e a d i n g i n a d o c u m e n t . M o d i f y t h e c o n t e n t s o f a n e x i s t i n g h e a d i n g

4 . 3 H i g h l y S t r u c t u r e d D o c u m e n t s

T h i s c a t e g o r i z e s d o c u m e n t s t h a t a r e i n s t a n c e s o f a n X M L - b a s e d m e t a - l a n g u a g e .

T h e s e d o c u m e n t s h a v e a s e m a n t i c s t r u c t u r e t h a t c a n e a s i l y b e u s e d a s a b a s i s

f o r t e x t q u e r i e s a n d r e t r i e v a l . I d e a l l y , w e c a n e n v i s a g e t h a t a l l t h e d o c u m e n -

t a t i o n t h a t i s u s e d a n d p r o d u c e d i n t h e c o n s t r u c t i o n i n d u s t r y b e a n i n s t a n c e

o f a s p e c i c X M L D T D o v e r w h i c h u s e r s c a n e x e r c i s e c o n t r o l o v e r i t s i n t e r n a l

s e m a n t i c s . T h e s e d o c u m e n t s i n c l u d e n a t u r a l l y d i r e c t r e f e r e n c e s t o o t h e r d o c u -

m e n t s / d o c u m e n t s e c t i o n s . T h e s e t o f o p e r a t i o n s a s s o c i a t e d w i t h t h i s c a t e g o r y

o f d o c u m e n t s i n c l u d e :

A d d i n g a n e w D T D e l e m e n t t o t h e D T D l a n g u a g e .

1A D T D i s a f o r m a l d e s c r i p t i o n i n X M L D e c l a r a t i o n S y n t a x o f a p a r t i c u l a r t y p e o f

d o c u m e n t . I t s e t s o u t w h a t n a m e s a r e t o b e u s e d f o r t h e d i e r e n t t y p e s o f e l e m e n t ,

w h e r e t h e y m a y o c c u r , a n d h o w t h e y a l l t t o g e t h e r [ 7 ]

7


8/24

I n s t a n t i a t i n g a n e w D T D e l e m e n t w i t h i n a d o c u m e n t . D e l e t i n g t h e i n s t a n c e o f a D T D e l e m e n t w i t h i n a d o c u m e n t . M o d i f y i n g o r e x t e n d i n g t h e c o n t e n t o f a D T D e l e m e n t i n s t a n c e .

5 M o d e l s f o r D o c u m e n t s ' S e m a n t i c s C h a r a c t e r i z a t i o n

I n d e x t e r m s a r e t r a d i t i o n a l l y u s e d t o c h a r a c t e r i z e a n d d e s c r i b e t h e s e m a n t i c s

o f a d o c u m e n t . T h i s a p p r o a c h a t t e m p t s t o s u m m a r i z e a w h o l e d o c u m e n t w i t h

a s e t o f t e r m s t h a t a r e r e l e v a n t i n t h e c o n t e x t o f t h e d o c u m e n t . W h i l e t h i s

a p p r o a c h h a s g i v e n s o m e s a t i s f a c t o r y r e s u l t s i n t h e a r e a o f I n f o r m a t i o n R e -

t r i e v a l ( I R ) , i t s t i l l h a s s o m e l i m i t a t i o n s a s i t p r o c e e d s b y o v e r s i m p l i f y i n g t h e

s u m m a r i z a t i o n p r o c e s s b y r e l y i n g o n a s u b s e t o f r e l e v a n t t e r m s t h a t o c c u r i n a

d o c u m e n t , a n d u s e s t h e s e a s a m e a n t o c o n v e y t h e s e m a n t i c s o f t h e d o c u m e n t .

T h i s s e c t i o n w i l l d e s c r i b e t h e e x i s t i n g I R m o d e l s t h a t e x i s t , a t a x o n o m y o f

w h i c h i s g i v e n i n [ 1 ] . T h e r e a r e t h r e e m a i n c l a s s i c a l m o d e l s o f I R : B o o l e a n ,

V e c t o r a n d P r o b a b i l i s t i c . I n t h e B o o l e a n m o d e l d o c u m e n t s a r e r e p r e s e n t e d

a s a s e t o f i n d e x t e r m s . T h i s m o d e l i s s a i d t o b e s e t t h e o r e t i c [ 9 ] . I n t h e

V e c t o r m o d e l d o c u m e n t s a r e r e p r e s e n t e d a s v e c t o r s i n a t - d i m e n s i o n a l s p a c e .

T h e m o d e l i s t h e r e f o r e s a i d t o b e a l g e b r a i c . I n t h e p r o b a b i l i s t i c m o d e l , t h e

m o d e l l i n g o f d o c u m e n t s i s b a s e d o n p r o b a b i l i t y t h e o r y . T h e m o d e l i s t h e r e -

f o r e s a i d t o b e p r o b a b i l i s t i c . A l t e r n a t i v e m o d e l s t h a t e x t e n d s o m e o f t h e s e

c l a s s i c a l m o d e l s h a v e b e e n d e v e l o p e d r e c e n t l y . T h e F u z z y a n d t h e E x t e n d e d

B o o l e a n M o d e l h a v e b e e n p r o p o s e d a s a l t e r n a t i v e s t o t h e s e t t h e o r e t i c m o d e l .

T h e G e n e r a l i z e d V e c t o r , t h e L a t e n t S e m a n t i c I n d e x i n g , a n d t h e N e u r a l N e t -

w o r k m o d e l s h a v e b e e n p r o p o s e d a s a l t e r n a t i v e s t o t h e A l g e b r a i c M o d e l . T h e

I n f e r e n c e N e t w o r k , a n d t h e B e l i e f N e t w o r k m o d e l s h a v e b e e n p r o p o s e d a s a n

a l t e r n a t i v e t o t h e P r o b a b i l i s t i c M o d e l . I t i s a l s o w o r t h m e n t i o n i n g t h a t m o d e l s

t h a t r e f e r e n c e t h e s t r u c t u r e , a s o p p o s e d t o t h e t e x t , o f a d o c u m e n t d o e x i s t .

T w o m o d e l s h a v e e m e r g e d i n t h i s a r e a : t h e N o n - O v e r l a p p i n g L i s t s m o d e l a n d

t h e P r o x i m a l N o d e m o d e l .

5 . 1 T h e B o o l e a n M o d e l

T h e B o o l e a n m o d e l i s b a s e d o n t h e s e t t h e o r y a n d B o o l e a n a l g e b r a . Q u e r y

e x p r e s s i o n s a r e e x p r e s s e d a s a c o m b i n a t i o n o f B o o l e a n e x p r e s s i o n s , i n c l u d i n g

B o o l e a n o p e r a t o r s w h i c h h a v e a c l e a r s e m a n t i c s . I t w a s a d o p t e d a n d h a d g r e a t

s u c c e s s i n b i b l i o g r a p h i c a n d l i b r a r y i n f o r m a t i o n s y s t e m s . T h e m a i n c r i t i c i s m

o f t h e B o o l e a n m o d e l [ 1 9 ] l i e s i n i t s b i n a r y e v a l u a t i o n s y s t e m . A d o c u m e n t c a n

b e e i t h e r r e l e v a n t o r n o t t o a g i v e n q u e r y . T h e r e i s n o i n h e r e n t a b i l i t y t o r a n k

t h e d o c u m e n t i n r e l a t i o n t o i t s r e l e v a n c e t o a g i v e n q u e r y . I n o t h e r w o r d s ,

t h e r e i s n o n o t i o n o f p a r t i a l m a t c h t o t h e q u e r y c o n d i t i o n s . I t i s c o m m o n l y

8


9/24

a c k n o w l e d g e d t o d a y t h a t i n d e x t e r m w e i g h t i n g p r o v i d e s m o r e s a t i s f a c t o r y r e -

s u l t s i n r e t r i e v a l p e r f o r m a n c e . M o r e i n f o r m a t i o n o n t h e B o o l e a n m o d e l c a n b e

f o u n d i n [ 1 , 2 0 , 1 9 ] .

5 . 2 T h e V e c t o r M o d e l

T h e V e c t o r m o d e l a d d r e s s e s t h e l i m i t a t i o n s o f t h e B o o l e a n m o d e l b y p r o v i d i n g

a n a p p r o a c h t h a t s u p p o r t s d o c u m e n t p a r t i a l m a t c h i n g t o a g i v e n q u e r y . T h i s

i s a c h i e v e d b y a s s i g n i n g n o n - b i n a r y w e i g h t s t o i n d e x t e r m s i n d o c u m e n t s a n d

q u e r i e s . T h e s e t e r m k e y w o r d w e i g h t s a r e t h e n u s e d i n a s e c o n d s t a g e t o

s o r t d o c u m e n t s b y t h e i r l e v e l o f r e l e v a n c e t o t h e i n i t i a l q u e r y . M o r e d e t a i l s

a n d f u r t h e r d e s c r i p t i o n o f t h e V e c t o r m o d e l , w h i c h i s t o d a y c o n s i d e r e d a s t h e

m o s t p o p u l a r I R m o d e l , c a n b e f o u n d i n [ 1 , 1 5 , 1 6 ] .

5 . 3 T h e P r o b a b i l i s t i c M o d e l

T h i s w a s i n t r o d u c e d i n i t i a l l y b y R o b e r t s o n a n d S p a r c k J o n e s [ 1 3 ] a s a m e a n

t o a d d r e s s t h e I n f o r m a t i o n R e t r i e v a l p r o b l e m w i t h i n a p r o b a b i l i s t i c c o n t e x t .

I t p r o c e e d s b y r e n i n g r e c u r s i v e l y a g u e s s e d i n i t i a l s e t o f d o c u m e n t s m a t c h i n g

a u s e r q u e r y b y i n v o l v i n g t h e u s e r f e e d b a c k t o e v a l u a t e t h e r e l e v a n c e o f t h e

r e t a i n e d s e t . F o r e a c h i t e r a t i o n , t h e u s e r r e t a i n s t h e d o c u m e n t s t h a t b e s t m a t c h

t h e q u e r y . T h e s y s t e m u s e s t h e n t h i s i n f o r m a t i o n t o r e n e t h e d e s c r i p t i o n

o f t h e i d e a l r e s p o n s e s e t . A s h i g h l i g h t e d i n [ 1 ] , t h e m a i n a d v a n t a g e o f t h e

p r o b a b i l i s t i c m o d e l i s t h a t d o c u m e n t s a r e r a n k e d i n d e c r e a s i n g o r d e r o f t h e i r

p r o b a b i l i t y o f b e i n g r e l e v a n t . T h e d i s a d v a n t a g e s i n c l u d e :

( 1 ) t o g u e s s t h e i n i t i a l s e p a r a t i o n o f d o c u m e n t s i n t o r e l e v a n t a n d n o n r e l e v a n t

s e t s

( 2 ) t h e m e t h o d d o e s n o t t a k e i n t o a c c o u n t t h e f r e q u e n c y i n w h i c h a n i n d e x

t e r m a p p e a r s w i t h i n a d o c u m e n t

A t h o r o u g h d e s c r i p t i o n o f t h e P r o b a b i l i s t i c m o d e l c a n b e f o u n d i n [ 1 2 ] .

5 . 4 A l t e r n a t i v e S e t T h e o r e t i c M o d e l s

A l t e r n a t i v e s e t t h e o r e t i c a l m o d e l s i n c l u d e t h e f u z z y s e t m o d e l a n d t h e e x -

t e n d e d s e t m o d e l .

9


10/24

5 . 4 . 1 F u z z y S e t M o d e l

S e v e r a l m o d e l s t h a t m a k e u s e o f t h e F u z z y S e t t h e o r y h a v e b e e n p r o p o s e d . T h e

m o d e l f r o m O g a w a , M o r i t a a n d K o b a y a s h i [ 1 1 ] d e s e r v e s a p a r t i c u l a r a t t e n t i o n

i n t h a t a t h e s a u r u s i s b e i n g u s e d i n c o n j u n c t i o n w i t h t h e F u z z y S e t t h e o r y t o

e x p a n d t h e s e t o f i n d e x t e r m s i n a q u e r y a n d e x t e n d t h e r e t r i e v e d d o c u m e n t

s e t .

5 . 4 . 2 E x t e n d e d B o o l e a n M o d e l

T h e p r i n c i p l e b e h i n d t h e e x t e n d e d B o o l e a n m o d e l i s t o o v e r c o m e t h e b i n a r y

l i m i t a t i o n s o f t h e B o o l e a n m o d e l b y e x t e n d i n g t h e l a t t e r a n d e n h a n c i n g i t

w i t h p a r t i a l m a t c h i n g a n d t e r m w e i g h t i n g f r o m t h e v e c t o r m o d e l . T h i s m o d e l

h a s b e e n i n t r o d u c e d b y S a l t o n , F o x a n d W u [ 1 4 ] . M o r e t h o r o u g h d e s c r i p t i o n

c a n b e f o u n d i n [ 1 4 , 1 ] .

5 . 5 A l t e r n a t i v e A l g e b r a i c M o d e l s

A l t e r n a t i v e A l g e b r a i c m o d e l s i n c l u d e t h e G e n e r a l i z e d V e c t o r S p a c e M o d e l , t h e

L a t e n t S e m a n t i c I n d e x i n g M o d e l , a n d t h e N e u r a l N e t w o r k M o d e l .

5 . 5 . 1 G e n e r a l i z e d V e c t o r S p a c e M o d e l

T h e G e n e r a l i z e d V e c t o r S p a c e m o d e l a s s u m e s t h a t t w o i n d e x t e r m v e c t o r s

m i g h t b e n o n - o r t h o g o n a l w h i c h m e a n s t h a t t h e r e i s a p o s s i b i l i t y f o r t w o i n d e x

t e r m s t o b e c o r r e l a t e d . T h i s t e r m c o r r e l a t i o n i s u s e d a s a b a s i s f o r i m p r o v i n g

r e t r i e v a l p e r f o r m a n c e [ 2 2 ] .

5 . 5 . 2 L a t e n t S e m a n t i c I n d e x i n g M o d e l

T h e p r i n c i p l e b e h i n d t h e l a t e n t s e m a n t i c i n d e x i n g m o d e l i s t h a t i d e a s i n a

t e x t a r e m o r e r e l a t e d t o t h e c o n c e p t s t h a t a r e c o n v e y e d w i t h i n i t a s o p p o s e d

t o i n d e x t e r m s . B y u s i n g t h i s a p p r o a c h , a d o c u m e n t m a y b e r e t r i e v e d o n l y b y

t h e v i r t u e t h a t i t s h a r e s c o n c e p t s w i t h a n o t h e r d o c u m e n t t h a t i s r e l e v a n t t o a

g i v e n q u e r y . A s i n d i c a t e d i n [ 8 ] , t h e i n t e n t b e h i n d t h e l a t e n t s e m a n t i c i n d e x i n g

m o d e l i s t o m a p e a c h d o c u m e n t a n d q u e r y v e c t o r i n t o a l o w e r d i m e n s i o n a l

s p a c e w h i c h i s a s s o c i a t e d w i t h c o n c e p t s . T h i s i s a c h i e v e d b y m a p p i n g t h e

i n d e x t e r m v e c t o r i n t o t h e l o w e r d i m e n s i o n a l s p a c e [ 1 ] .

1 0


11/24

5 . 5 . 3 N e u r a l N e t w o r k M o d e l

T h e N e u r a l N e t w o r k m o d e l i s b a s e d o n r e s e a r c h c a r r i e d o u t i n t h e a r e a o f

N e u r a l N e t w o r k s . T h e p r i n c i p l e b e h i n d r a n k i n g d o c u m e n t s t h a t a r e r e t r i e v e d

a g a i n s t a g i v e n q u e r y i s t o m a t c h t h e q u e r y i n d e x t e r m s a g a i n s t t h e D o c u m e n t

i n d e x t e r m s . S i n c e N e u r a l N e t w o r k s h a v e b e e n e x t e n s i v e l y u s e d f o r p a t t e r n

m a t c h i n g p u r p o s e s , t h e y h a v e b e e n u s e d n a t u r a l l y a s a n a l t e r n a t i v e m o d e l f o r

i n f o r m a t i o n r e t r i e v a l [ 1 ] . D e t a i l e d d e s c r i p t i o n o f t h i s m o d e l c a n b e f o u n d i n

[ 2 1 ] .

5 . 6 A l t e r n a t i v e P r o b a b i l i s t i c M o d e l s

T h e u s e o f p r o b a b i l i t y t h e o r y f o r q u a n t i f y i n g d o c u m e n t r e l e v a n c e h a s a l w a y s

b e e n a e l d o f r e s e a r c h i n I n f o r m a t i o n R e t r i e v a l s c i e n c e s . T w o e x a m p l e s o f

I R m o d e l s b a s e d o n p r o b a b i l i t y t h e o r y a r e t h e I n f e r e n c e N e t w o r k m o d e l a n d

t h e B e l i e f N e t w o r k . B o t h m o d e l s a r e b a s e d o n t h e B a y e s i a n B e l i e f N e t w o r k s

t h a t p r o v i d e s a f o r m a l i s m c o m b i n i n g d i s t i n c t s o u r c e s o f e v i d e n c e , i n c l u d i n g

p a s t q u e r i e s a n d p a s t f e e d b a c k c y c l e s . T h i s c o m b i n a t i o n i s u s e d t o i m p r o v e

r e t r i e v a l p e r f o r m a n c e o f d o c u m e n t s [ 1 8 ] .

5 . 6 . 1 I n f e r e n c e N e t w o r k M o d e l

T h e I n f e r e n c e N e t w o r k m o d e l t a k e s a n e p i s t e m o l o g i c a l a s o p p o s e d t o f r e q u e n -

t i s t v i e w o f t h e i n f o r m a t i o n r e t r i e v a l p r o b l e m [ 1 7 ] . I t p r o c e e d s , a s d e s c r i b e d i n

[ 1 ] b y a s s o c i a t i n g r a n d o m v a r i a b l e s w i t h t h e i n d e x t e r m s , t h e d o c u m e n t s , a n d

t h e u s e r q u e r i e s . A r a n d o m v a r i a b l e a s s o c i a t e d w i t h a u s e r d o c u m e n t d e n o t e s

t h e e v e n t o f o b s e r v i n g t h a t d o c u m e n t . T h i s d o c u m e n t o b s e r v a t i o n a s s e r t s a

b e l i e f u p o n t h e r a n d o m v a r i a b l e s a s s o c i a t e d w i t h i t s i n d e x t e r m s . B o t h i n -

d e x t e r m s a n d d o c u m e n t s a r e r e p r e s e n t e d a s n o d e s i n t h e n e t w o r k . E d g e s a r e

d r a w n f r o m a n o d e d e s c r i b i n g a d o c u m e n t t o i t s t e r m n o d e s t o i n d i c a t e t h a t

t h e o b s e r v a t i o n o f t h e d o c u m e n t y i e l d s i m p r o v e d b e l i e f o n i t s t e r m n o d e s . T h e

r a n d o m n u m b e r a s s o c i a t e d w i t h t h e u s e r q u e r y m o d e l s t h e f a c t t h a t t h e i n -

f o r m a t i o n r e q u e s t s p e c i e d i n t h e q u e r y h a s b e e n m e t . T h i s r a n d o m n u m b e r

i s a l s o r e p r e s e n t e d b y a n o d e i n t h e n e t w o r k . T h e b e l i e f i n t h e q u e r y n o d e i s

t h e n e x p r e s s e d a s a f u n c t i o n o f t h e b e l i e f s o f t h e n o d e s a s s o c i a t e d w i t h t h e

q u e r y t e r m s . A m o r e d e s c r i p t i o n o f t h i s m o d e l c a n b e f o u n d i n [ 1 7 , 1 8 ] .

5 . 6 . 2 B e l i e f N e t w o r k M o d e l

T h e b e l i e f n e t w o r k g e n e r a l i z e s t h e i n f e r e n c e n e t w o r k m o d e l . I t w a s i n t r o d u c e d

b y B e r t h i e e t a l . [ 3 ] . I t i s a l s o b a s e d o n a n e p i s t e m o l o g i c a l i n t e r p r e t a t i o n o f

p r o b a b i l i t i e s . I t d i e r s f r o m t h e i n f e r e n c e n e t w o r k m o d e l i n t h a t i t a d o p t s

1 1


12/24

a c l e a r l y d e n e d s a m p l e s p a c e . I t t h e r e f o r e p r o v i d e s a s e p a r a t i o n b e t w e e n

t h e d o c u m e n t a n d q u e r y p o r t i o n s o f t h e n e t w o r k . T h i s h a s t h e a d v a n t a g e

o f f a c i l i t a t i n g t h e m o d e l l i n g o f a d d i t i o n a l e v i d e n t i a l s o u r c e s , i n c l u d i n g p a s t

q u e r i e s a n d p a s t r e l e v a n c e i n f o r m a t i o n .

5 . 7 S t r u c t u r e d M o d e l s

T h e s e r e f e r t o m o d e l s t h a t c o m b i n e i n f o r m a t i o n o n t e x t c o n t e n t w i t h i n f o r -

m a t i o n o n t h e p h y s i c a l s t r u c t u r e o f t h e d o c u m e n t . A c o m p r e h e n s i v e s u r v e y o f

s t r u c t u r e d m o d e l s c a n b e f o u n d i n [ 1 ] .

B a s e d o n t h i s s u r v e y o n d o c u m e n t c h a r a c t e r i z a t i o n m o d e l s a n d t h e n a t u r e o f

t h e d o c u m e n t s t o b e u s e d i n o u r s y s t e m , w e h a v e c h o s e n t h e v e c t o r m o d e l .

6 S y s t e m D e s c r i p t i o n

T h e g e n e r a l f r a m e w o r k o f t h e m e t h o d o l o g y , a s s h o w n i n F i g u r e 1 , i s f o r p o o r l y

s t r u c t u r e d d o c u m e n t s . T h e m e t h o d o l o g y i s c o m p o s e d o f 7 s t e p s a n d t h e s e

a r e d e s c r i b e d i n t h e f o l l o w i n g s u b s e c t i o n s . S t e p 0 i s t h e e n t r y p o i n t t o t h e

s y s t e m . I t c a n b e t h e s u b m i s s i o n o f a n e w d o c u m e n t o r t h e r e - s u b m i s s i o n o f

a m o d i e d d o c u m e n t . B o t h i n s t a n c e s w i l l g o t h r o u g h t h e s a m e p r o c e s s . A

l o g i c a l d o c u m e n t i s u s e d f o r s e a r c h i n g a n d o t h e r d o c u m e n t r e l a t e d o p e r a t i o n s .

A P h y s i c a l d o c u m e n t i s o n l y r e t r i e v e d o n u s e r s r e q u e s t s .

6 . 1 D o c u m e n t C l e a n s i n g M o d u l e

T h i s s t e p a i m s a t r e d u c i n g t h e d o c u m e n t t o a t e x t u a l d e s c r i p t i o n b y e l i m -

i n a t i n g n o n - d i s c r i m i n a t i n g w o r d s . T h e r e s u l t i n g d o c u m e n t c o n t a i n s m a i n l y

n o u n s a n d a s s o c i a t i o n o f n o u n s t h a t c a r r y m o s t o f t h e d o c u m e n t s s e m a n t i c s .

A c l e a n s e d d o c u m e n t r e d u c e s d r a s t i c a l l y t e x t c o m p l e x i t y a l l o w i n g b e t t e r p e r -

f o r m a n c e i n d o c u m e n t r e t r i e v a l a n d p r o c e s s i n g . T h i s i n v o l v e s t h e f o l l o w i n g

t a s k s :

L e x i c a l a n a l y s i s o f t h e t e x t i n o r d e r t o t r e a t d i g i t s , h y p h e n s , p u n c t u a t i o n m a r k s , a n d t h e c a s e o f l e t t e r s . T h i s r e d u c e s t h e i n i t i a l d o c u m e n t i n t o a

s u b s e t o f w o r d s t h a t a r e p o t e n t i a l c a n d i d a t e s f o r i n d e x t e r m s .

E l i m i n a t i o n o f s t o p w o r d s t o l t e r o u t w o r d s w i t h v e r y l o w d i s c r i m i n a t i o n v a l u e s f o r r e t r i e v a l p u r p o s e s .

1 2


13/24

F i g . 1 . S y s t e m O v e r v i e w f o r P o o r l y S t r u c t u r e d D o c u m e n t s

S t e m m i n g t h e r e m a i n i n g w o r d s w i t h t h e o b j e c t i v e o f r e m o v i n g a x e s ( p r e - x e s a n d s u x e s ) a n d p r e v e n t i n g t h e r e t r i e v a l o f d o c u m e n t s c o n t a i n i n g

s y n t a c t i c v a r i a t i o n s o f q u e r y t e r m s , e . g . u s e , u s i n g , u s e d , u s a g e , e t c .

I n d e x t e r m s s e l e c t i o n w h e r e b y a l l i n d e x t e r m s a r e r e d u c e d t o t h e i r m i n i m a l n u m b e r b y o n l y r e t a i n i n g n o u n s a s n o u n s a r e e x p e c t e d t o c a r r y m o s t o f t h e

s e m a n t i c s o f t h e t e x t [ 1 ] .

6 . 2 D o c u m e n t I n d e x i n g

T h i s s t e p a i m s a t p r o v i d i n g a l o g i c a l v i e w o f a d o c u m e n t t h r o u g h s u m m a -

r i z a t i o n v i a a s e t o f s e m a n t i c a l l y r e l e v a n t k e y w o r d s . T h e s e a r e r e f e r r e d t o , i n

t h i s s t a g e , a s i n d e x t e r m s . T h e p u r p o s e i s t o g r a d u a l l y m o v e f r o m a f u l l t e x t

r e p r e s e n t a t i o n o f t h e d o c u m e n t t o a h i g h e r - l e v e l r e p r e s e n t a t i o n . T h i s m o d u l e

i s c o m p o s e d o f t h e f o l l o w i n g t a s k s :

6 . 2 . 1 I n d e x T e r m s E x t r a c t i o n

I n o r d e r t o r e d u c e t h e c o m p l e x i t y o f t h e t e x t , a s w e l l a s t h e r e s u l t i n g c o m p u -

t a t i o n a l c o s t s , t h e i n d e x t e r m s t o b e r e t a i n e d a r e :

A l l t h e n o u n s f r o m t h e c l e a n s e d t e x t . I t i s i n f a c t a r g u e d t h a t m o s t , i f n o t a l l , o f t h e s e m a n t i c s o f a t e x t d o c u m e n t i s c a r r i e d o u t b y n o u n s a s o p p o s e d

t o v e r b s , a d j e c t i v e s , a n d a d v e r b s [ 1 ] .

1 3


14/24

N o u n g r o u p s ( n o n - e l e m e n t a r y i n d e x t e r m s ) c o - o c c u r r i n g w i t h a n u l l s y n t a c - t i c d i s t a n c e ( n u m b e r o f w o r d s b e t w e e n t h e t w o n o u n s i s n u l l ) .

6 . 2 . 2 E x t r a c t i n g t h e S t r u c t u r e o f t h e D o c u m e n t

T h i s s t a g e w i l l o n l y b e p o s s i b l e i f t h e d o c u m e n t h a s b e e n p r o d u c e d u s i n g

a d o c u m e n t f o r m a t t i n g l a n g u a g e , i n c l u d i n g R T F , S G M L , H T M L a n d X M L .

E a c h n o d e o f t h e r e s u l t i n g h i e r a r c h i c a l s t r u c t u r e w i l l h a v e a n i d e n t i e r t h a t w i l l

b e u s e d t o t r a c k n o d e s , t h e i r p a r e n t s a n d c h i l d r e n . A n o d e m i g h t c o n t a i n o t h e r

e l e m e n t s i n c l u d i n g r e f e r e n c e s w i t h i n o r o u t s i d e t h e s c o p e o f t h e d o c u m e n t ,

g u r e s , t a b l e s , f o r m u l a s , e t c .

6 . 2 . 3 E s t a b l i s h i n g t h e I n v e r t e d F i l e S t r u c t u r e o f t h e T e x t

T h e p u r p o s e o f a n i n v e r t e d l e s t r u c t u r e i s t o t r a c k t h e p o s i t i o n o f e a c h i n d e x

t e r m o c c u r r e n c e i n t h e t e x t . T h e p o s i t i o n s o f i n d e x t e r m o c c u r r e n c e s c a n b e

t r a c k e d e i t h e r o n a w o r d o r c h a r a c t e r b a s i s , o r o n a p h y s i c a l p o s i t i o n b a s i s ( b y

p o i n t i n g t o n o d e i d e n t i e r s f o r e x a m p l e ) . T h e l a t t e r t e c h n i q u e , r e f e r r e d t o a s

B l o c k A d d r e s s i n g , c a n o n l y b e u s e d w h e r e a p h y s i c a l s t r u c t u r e o f a d o c u m e n t

i s a v a i l a b l e . I t p r e s e n t s t h e a d v a n t a g e o f r e d u c i n g s p a c e s t o r a g e r e q u i r e m e n t s .

D o c u m e n t s w i t h n o c l e a r l y d e n e d p h y s i c a l s t r u c t u r e w i l l m a k e u s e o f w o r d

a d d r e s s i n g . T w o a c t i v i t i e s a r e i n v o l v e d i n t h i s s t a g e :

D e t e r m i n i n g t h e r a w f r e q u e n c y o f e a c h i n d e x t e r m i n t h e t e x t ; T h i s i s r e - f e r r e d t o a s i n t r a - c l u s t e r i n g s i m i l a r i t y i n t h e V e c t o r M o d e l [ 1 , 1 5 , 1 6 ] . T h i s

a i m s a t d e t e r m i n i n g t h e n u m b e r o f t i m e s a t e r m i s m e n t i o n e d i n a d o c u m e n t ,

a s w e l l a s t h e l o c a t i o n i n t h e d o c u m e n t o f t h e t e r m o c c u r r e n c e .

D e t e r m i n i n g t h e n u m b e r o f d o c u m e n t s i n w h i c h e a c h i n d e x t e r m a p p e a r s . T h i s a i m s a t c o u n t i n g t h e n u m b e r o f d o c u m e n t s o f t h e D o c u m e n t K n o w l e d g e

B a s e ( P r o j e c t K n o w l e d g e B a s e a n d / o r C o r p o r a t e K n o w l e d g e b a s e ) i n w h i c h

t h e t e r m a p p e a r s .

6 . 2 . 4 C a l c u l a t i n g t h e I n d e x T e r m W e i g h t f o r t h e D o c u m e n t

T h e p u r p o s e h e r e i s t o q u a n t i f y t h e d e g r e e o f i m p o r t a n c e i n t e r m s o f s e m a n t i c s

t h e i n d e x t e r m h a s o v e r t h e d o c u m e n t . T h e f o l l o w i n g f o r m u l a f r o m t h e V e c t o r

M o d e l i s u s e d :

wi,j = fi,j idfi ( 1 )

w h e r e

wi,j r e p r e s e n t s t h e q u a n t i e d w e i g h t t h a t a t e r m ki h a s o v e r t h e d o c u m e n t dj .

1 4


15/24

fi,j r e p r e s e n t s t h e n o r m a l i s e d f r e q u e n c y o f a t e r m ki i n a d o c u m e n t dj a n d i s

c a l c u l a t e d u s i n g e q u a t i o n 2 :

fi,j =freqi,j

maxlfreql,j( 2 )

W h e r e

freqi,j r e p r e s e n t s t h e n u m b e r o f t i m e s t h e t e r m ki i s m e n t i o n e d i n d o c u m e n t

dj

maxlfreql,j c o m p u t e s t h e m a x i m u m o v e r a l l t e r m s w h i c h a r e m e n t i o n e d i n

t h e t e x t o f d o c u m e n t dj

idfi r e p r e s e n t s t h e i n v e r s e o f t h e f r e q u e n c y o f a t e r m ki a m o n g t h e d o c u m e n t s

i n t h e e n t i r e k n o w l e d g e b a s e , a n d i s e x p r e s s e d a s s h o w n b y e q u a t i o n 3 :

idfi = logN

ni( 3 )

W h e r e

N i s t h e t o t a l n u m b e r o f d o c u m e n t s i n t h e k n o w l e d g e b a s e a n d ni i s t h e

n u m b e r o f d o c u m e n t s i n w h i c h t h e t e r m ki a p p e a r s .

6 . 3 I n d e x T e r m s E x p a n s i o n a n d N o r m a l i z a t i o n U s i n g a C o n s t r u c t i o n T h e -

s a u r u s a n d O n t o l o g y

T h i s s t e p a i m s a t n o r m a l i z i n g t h e i n d e x t e r m s o b t a i n e d f r o m t h e p r e v i o u s

s t a g e b y u s i n g e i t h e r d i r e c t o n t o l o g y c o n c e p t m a p p i n g w h e r e v e r p o s s i b l e , o r

i n d i r e c t o n t o l o g y m a p p i n g b y u s i n g a t h e s a u r u s a s d e s c r i b e d i n F i g u r e 2 . I f n o

d i r e c t m a p p i n g e x i s t b e t w e e n t h e i n i t i a l i n d e x t e r m a n d t h e l i s t o f o n t o l o g y

c o n c e p t s t h e n t h e t h e s a u r u s i s u s e d t o p r o v i d e s y n o n y m s f o r e a c h t e r m . T h e

s y n o n y m s a r e u s e d f o r i n d i r e c t m a p p i n g . I t i s i m p o r t a n t t o e m p h a s i s e t h a t

t h e o n t o l o g y i s t h e s t r u c t u r e t h a t i s u s e d t o c o n v e y s e m a n t i c s a n d m a i n t a i n

k n o w l e d g e c o n s i s t e n c y a c r o s s t h e p r o j e c t , c o r p o r a t e a n d d o m a i n l a y e r s . A s

s u c h , t h e c o n c e p t s o f t h e o n t o l o g y a r e t h e u n i q u e r e f e r e n c e f o r t h e E - C o g n o s

p l a t f o r m .

T h e E - C o g n o s p l a t f o r m p r o v i d e s a s e t o f k n o w l e d g e m a n a g e m e n t s e r v i c e s ,

i n c l u d i n g a n o n t o l o g y - r e l a t e d s e r v i c e . T h i s i m p l e m e n t s a d e d i c a t e d A P I ( A p -

p l i c a t i o n P r o g r a m m i n g I n t e r f a c e ) t h a t s u p p o r t s o n t o l o g y c r e a t i o n a n d m a i n t e -

n a n c e ( i n c l u d i n g c o n c e p t c r e a t i o n ) . T h e o n t o l o g y s e r v i c e i s a v a i l a b l e t h r o u g h

a W e b S e r v i c e M o d e l i m p l e m e n t a t i o n , f u r t h e r d e t a i l s c a n b e f o u n d i n [ 1 0 ] .

1 5


16/24

T o i l l u s t r a t e t h e c o n c e p t s m a p p i n g , l e t s u p p o s e t h a t t h e f o l l o w i n g s e n t e n c e i s

t o b e s u m m a r i z e d : T h e s e p a r a t i o n e l e m e n t b e t w e e n t h e k i t c h e n a n d d i n n i n g

a r e a i s m a d e o f r e r e s i s t a n t b r i c k s . N o w , t h e k e y i n d e x t e r m s t o b e e x t r a c t e d

f r o m t h e s e n t e n c e a r e : S e p a r a t i o n E l e m e n t , K i t c h e n , D i n n i n g A r e a , F i r e R e -

s i s t a n t B r i c k s . L e t c o n s i d e r t h e r s t i n d e x t e r m , S e p a r a t i o n E l e m e n t . I t i s

h i g h l y p o s s i b l e t h a t a g i v e n C o n s t r u c t i o n O n t o l o g y w o u l d n o t c o n t a i n s u c h

c o n c e p t . A n i n d i r e c t m a p p i n g w o u l d h a v e t o b e e s t a b l i s h e d v i a a d e d i c a t e d

C o n s t r u c t i o n T h e s a u r u s . T h e l a t t e r w o u l d b e u s e d t o n d c o n c e p t s t h a t a r e

s e m a n t i c a l l y c l o s e t o t h e o n e o f S e p a r a t i o n E l e m e n t . T h e t h e s a u r u s w o u l d

r e t u r n a s e t o f c o n c e p t s s u c h a s W a l l , w h i c h h a v e a n o c c u r r e n c e i n t h e C o n -

s t r u c t i o n O n t o l o g y , a n d w h i c h w i l l t h e r e f o r e b e u s e d t o e s t a b l i s h a n i n d i r e c t

m a p p i n g b e t w e e n t h e S e p a r a t i o n E l e m e n t i n d e x t e r m a n d t h e O n t o l o g y v i a

t h e c o n c e p t o f W a l l . L e t t a k e t h e s e c o n d i n d e x t e r m W a l l . L e t s u p p o s e t h a t

t h e t e r m e x i s t s a s s u c h i n t h e C o n s t r u c t i o n O n t o l o g y . W e h a v e t h e n a d i r e c t

m a p p i n g b e t w e e n t h e i n d e x t e r m a n d t h e O n t o l o g y .

F i g . 2 . I n d e x T e r m s M a p p i n g A g a i n s t t h e O n t o l o g y

6 . 3 . 1 O n t o l o g y C o n c e p t E x p a n s i o n B a s e d o n C o n c e p t t o C o n c e p t R e l a t i o n -

s h i p

I t i s p r o p o s e d i n t h i s m e t h o d o l o g y t h a t t h e r e t a i n e d c o n c e p t s b e e x p a n d e d

b a s e d o n t h e i r o n t o l o g i c a l d i r e c t r e l a t i o n s h i p s . W e d i s t i n g u i s h t h r e e m a i n t y p e s

o f r e l a t i o n s h i p s :

G e n e r a l i s a t i o n / S p e c i a l i s a t i o n R e l a t i o n s h i p s ( e . g . W a l l c a n b e s p e c i a l i z e d i n t o S e p a r a t i o n W a l l , S t r u c t u r a l W a l l a n d L o a d b e a r i n g S e p a r a t i o n W a l l )

1 6


17/24

C o m p o s i t i o n / A g g r e g a t i o n R e l a t i o n s h i p ( e . g . D o o r i s a n a g g r e g a t i o n o f o f a F r a m e , a H a n d l e

. . e t c )

C o n c e p t a s s o c i a t i o n w i t h v a r y i n g s e m a n t i c s ( e . g . a B e a m s u p p o r t s a S l a b a n d a B e i s s u p p o r t e d b y a C o l u m n )

6 . 3 . 2 O n t o l o g y C o n c e p t s W e i g h t i n g

T h e o n t o l o g y c o n c e p t s r e s u l t i n g f r o m a d i r e c t d o c u m e n t i n d e x t e r m m a p p i n g ,

i n d i r e c t i n d e x t e r m m a p p i n g , o r o n t o l o g y c o n c e p t e x p a n s i o n n e e d r e - w e i g h t i n g .

T h e f o l l o w i n g a p p r o a c h i s p r o p o s e d :

( 1 ) I n c a s e o f a d i r e c t m a p p i n g t h e w e i g h t o f t h e d o c u m e n t i n d e x t e r m i s

a p p l i e d a s s u c h t o t h e o n t o l o g y c o n c e p t .

( 2 ) I n c a s e o f i n d i r e c t m a p p i n g o r c o n c e p t e x p a n s i o n , i t i s p r o p o s e d t h a t a

c o r r e l a t i o n f a c t o r b e a p p l i e d t o t h e i n i t i a l d o c u m e n t i n d e x t e r m w e i g h t i n g .

T h e c o r r e l a t i o n f a c t o r i s o b t a i n e d b y t h e c o s i n e o f t h e a n g l e b e t w e e n t h e

I n d e x T e r m V e c t o r a n d t h e O n t o l o g y C o n c e p t V e c t o r . T h i s i s b a s e d o n a

t e c h n i q u e u s e d i n Q u e r y E x p a n s i o n B a s e d o n S i m i l a r i t y T h e s a u r u s [ 2 3 ] .

F u r t h e r m o r e , t o e a c h i n d e x t e r m i s a s s o c i a t e d a V e c t o r e x p r e s s e d a s f o l l o w s :

k i = (wi,1, wi,2, . . . , wi,N)

W h e r e wi,j i s a w e i g h t a s s o c i a t e d t o t h e [ i n d e x t e r m , d o c u m e n t ] p a i r a n d i s

e x p r e s s e d a s s h o w n i n e q u a t i o n 4 :

wi,j =(0.5 + 0.5

fi,j

maxj(fi,j))itfjNl=1(0.5 + 0.5

fi,lmaxj(fi,l)

)2itf2j

( 4 )

W h e r e

ti s t h e n u m b e r o f t e r m s i n t h e k n o w l e d g e b a s e ,

Ni s t h e n u m b e r o f d o c u m e n t s

i n t h e k n o w l e d g e b a s e , fi.j i s t h e f r e q u e n c y o f o c c u r r e n c e o f t h e t e r m ki i n t h e

d o c u m e n t dj , tj i s t h e n u m b e r o f i n d e x t e r m s i n t h e d o c u m e n t dj a n d itfj t h e

i n v e r s e t e r m f r e q u e n c y f o r d o c u m e n t dj a n d e x p r e s s e d a s f o l l o w s :

itfj = logt

tj( 5 )

T h e r e f o r e t h e c o r r e l a t i o n f a c t o r i s e x p r e s s e d a s s h o w n o n e q u a t i o n 6 :

sim(ki, kj) =

ki

kj

|ki | |

kj |

=

tq=1wq,i wq,jt

q=1w2q,i

tq=1w

2q,j

( 6 )

1 7


18/24

T h e n e w w e i g h t i n g f a c t o r o f t h e n e w l y a d o p t e d o n t o l o g y c o n c e p t w i l l b e :

wj,d = wi,d sim(ki, kj)

6 . 4 D o c u m e n t S i m i l a r i t y E v a l u a t i o n

T h e p u r p o s e o f t h i s s t e p i s t o c o m p a r e t h e s i m i l a r i t y b e t w e e n a n e w l y u p -

l o a d e d / p r o c e s s e d d o c u m e n t w i t h t h e r e m a i n i n g d o c u m e n t s ( o r k n o w l e d g e i t e m s )

s t o r e d i n t h e v a r i o u s k n o w l e d g e r e p o s i t o r i e s .

6 . 4 . 1 D o c u m e n t S i m i l a r i t y C a l c u l a t i o n A g a i n s t a l l t h e D o c u m e n t S e t

T h e p u r p o s e h e r e i s t o p r o v i d e a f u n c t i o n t h a t e v a l u a t e s t h e s i m i l a r i t y b e t w e e n

t w o d o c u m e n t s . W e a d o p t t h e f o l l o w i n g a p p r o a c h :

L e t t b e t h e n u m b e r o f i n d e x t e r m s i n t h e s y s t e m a n d ki a g e n e r i c i n d e x t e r m .

k = {k1, k2, . . . , ki} i s t h e s e t o f a l l i n d e x t e r m s . A w e i g h t wi,j > 0 i s a s s o c i a t e d w i t h e a c h i n d e x t e r m ki o f a d o c u m e n t dj . I f a n i n d e x t e r m d o e s n o t a p p e a r

i n t h e d o c u m e n t t e x t t h e n wi,j = 0 . T h e r e f o r e , w i t h a d o c u m e n t i s a s s o c i a t e d a n i n d e x t e r m v e c t o r :

d j = (w1,j, w2,j, . . . , wt,j)

B a s e d o n t h e d o c u m e n t i n d e x t e r m v e c t o r a b o v e , t w o d o c u m e n t s di a n d dja r e r e p r e s e n t e d a s t - d i m e n s i o n a l v e c t o r s . T h e a p p r o a c h a d o p t e d b y t h e V e c t o r

M o d e l t o e v a l u a t e t h e s i m i l a r i t y b e t w e e n a q u e r y a n d a d o c u m e n t b y m e a s u r -

i n g t h e c o r r e l a t i o n b e t w e e n t h e i r i n d e x t e r m v e c t o r s i s u s e d . F u r t h e r m o r e , t h e

s i m i l a r i t y b e t w e e n t w o g i v e n d o c u m e n t s w i l l b e m e a s u r e d b y t h e c o r r e l a t i o n

b e t w e e n t h e i r i n d e x t e r m v e c t o r s . T h i s c o r r e l a t i o n c a n b e q u a n t i e d b y t h e

c o s i n e b e t w e e n t h e s e t w o v e c t o r s a s s h o w n i n e q u a t i o n 7 . sim(di, dj) v a r i e s b e t w e e n 0 a n d 1 . A n e x a m p l e o f a n i l l u s t r a t i o n o f t h e m a t r i x i s g i v e n i n T a b l e

1 .

sim(di, dj) = cos (di, dj) =

di

dj

|di| |

dj

|=

tq=1wq,i wq,j

tq=1

w2q,i

tq=1

w2q,j

( 7 )

6 . 4 . 2 E s t a b l i s h i n g D o c u m e n t C l u s t e r s B a s e d o n t h e S i m i l a r i t y T a b l e

T h e p u r p o s e h e r e i s t o p r o p o s e c l u s t e r s o f d o c u m e n t s b a s e d o n t h e i r d e g r e e

o f s i m i l a r i t y . T h e s e c l u s t e r s c a n d i r e c t l y b e g e n e r a t e d f r o m t h e D o c u m e n t

S i m i l a r i t y M a t r i x p r o p o s e d i n t h e p r e v i o u s s e c t i o n .

1 8


19/24

T a b l e 1

A n e x a m p l e o f a D o c u m e n t S i m i l a r i t y M a t r i x

d 1 d 2 d 3 d 4 d 5 d 6

d 1 1 s i m ( d 2 , d 1 ) s i m ( d 3 , d 1 ) s i m ( d 4 , d 1 ) s i m ( d 5 , d 1 ) s i m ( d 6 , d 1 )

d 2 s i m ( d 1 , d 2 ) 1 s i m ( d 3 , d 2 ) s i m ( d 4 , d 2 ) s i m ( d 5 , d 2 ) s i m ( d 6 , d 2 )

d 3 s i m ( d 1 , d 3 ) s i m ( d 2 , d 3 ) 1 s i m ( d 4 , d 3 ) s i m ( d 5 , d 3 ) s i m ( d 6 , d 3 )

d 4 s i m ( d 1 , d 4 ) s i m ( d 2 , d 4 ) s i m ( d 3 , d 4 ) 1 s i m ( d 5 , d 4 ) s i m ( d 6 , d 4 )

d 5 s i m ( d 1 , d 5 ) s i m ( d 2 , d 5 ) s i m ( d 3 , d 5 ) s i m ( d 4 , d 5 ) 1 s i m ( d 6 , d 5 )

d 6 s i m ( d 1 , d 6 ) s i m ( d 2 , d 6 ) s i m ( d 3 , d 6 ) s i m ( d 4 , d 6 ) s i m ( d 5 , d 6 ) 1

6 . 5 N o t i f y i n g t h e C o n s t i t u e n t s o f t h e D o c u m e n t B a s e

T h e p u r p o s e o f t h i s s t e p i s t o n o t i f y r e l e v a n t d o c u m e n t s o f t h e k n o w l e d g e

b a s e , b a s e d o n t h e n e a r e s t c l u s t e r ( s ) , t h e p o t e n t i a l r i s k o f i n c o n s i s t e n c y t h a t

m i g h t e x i s t a s a r e s u l t o f a n e w e v e n t ( u p l o a d o f a n e w d o c u m e n t , a m e n d m e n t

t o a n e x i s t i n g d o c u m e n t , e t c . ) .

6 . 6 N o t i f y i n g R e l e v a n t A c t o r s

T h e p u r p o s e o f t h i s s t a g e i s f o r e a c h p o t e n t i a l l y i n c o n s i s t e n t d o c u m e n t t o

n o t i f y a c t o r s w h o h a v e s u b s c r i b e d a n i n t e r e s t i n t o t h e d o c u m e n t ( i n c l u d i n g

a u t h o r s ) a b o u t t h i s l a s t e v e n t , a n d i t s p o t e n t i a l d e g r e e o f i n c o n s i s t e n c y . T h i s

n o t i c a t i o n w i l l b e m a t e r i a l i s e d b y t h e s e n d i n g o f a n X M L - b a s e d d e s c r i p t i o n o f

t h e m e t a - d a t a o f t h e n e w l y c r e a t e d o r a m e n d e d d o c u m e n t t o a l l t h e c o n c e r n e d

a c t o r s .

7 M a i n t a i n i n g D o c u m e n t C o n s i s t e n c y B a s e d o n D o c u m e n t E x -

p l i c i t R e l a t i o n s h i p s

T h i s c a s e a p p l i e s t o d o c u m e n t s t h a t h a v e a c l e a r p h y s i c a l s t r u c t u r e a n d m a k e

u s e o f h y p e r t e x t n a v i g a t i o n a l a n d c r o s s - r e f e r e n c i n g l i n k s . H y p e r t e x t a l l o w s

n o n - s e q u e n t i a l b r o w s i n g a n d e d i t i n g o f t e x t . I t c a n b e r e p r e s e n t e d a s a n e t w o r k

o f n o d e s t h a t a r e c o r r e l a t e d b y d i r e c t l i n k s i n a g r a p h s t r u c t u r e . E a c h n o d e

i s a s s o c i a t e d w i t h a b l o c k o f t e x t t h a t c a n r e p r e s e n t a p a r a g r a p h , c h a p t e r ,

s e c t i o n , o r e v e n a w e b p a g e . T w o r e l a t e d n o d e s a r e c o n n e c t e d o n e t o t h e o t h e r

b y a d i r e c t l i n k , w h i c h c o r r e l a t e s t h e t e x t a s s o c i a t e d w i t h t h e s e t w o n o d e s .

T h i s i s e x p l i c i t l y d e s c r i b e d i n t h e t e x t b y a s p e c i a l t a g , o r a h i g h l i g h t e d p o r t i o n

1 9


20/24

o f t h e t e x t . F i g u r e 3 d e s c r i b e s t h e a p p l i c a t i o n o f t h e m e t h o d f o r t h i s t y p e o f

d o c u m e n t s . T h e p r o p o s e d r u l e s t o a p p l y a r e a s f o l l o w s :

R u l e 1 : i f a n o d e i s a m e n d e d t h e n t h e n o d e i n q u e s t i o n a s w e l l a s t h e r e -

c u r s i v e p a r e n t s s h o u l d b e a g g e d a s p o t e n t i a l l y i n c o n s i s t e n t . F o r i n s t a n c e ,

i f p a r a g r a p h P 4 o f d o c u m e n t B i n F i g u r e 3 i s a m e n d e d t h e n c h a p t e r b 4 o f

d o c u m e n t B ( C o n t a i n m e n t R e l a t i o n s h i p ) a n d c h a p t e r C 3 o f d o c u m e n t A ( R e f -

e r e n c i n g R e l a t i o n s h i p ) a r e p o t e n t i a l l y i n c o n s i s t e n t , a n d s h o u l d b e a g g e d a s

s u c h .

R u l e 2 : i f a n o d e i s a m e n d e d t h e n t h e e x t e r n a l n o d e s t h a t a r e r e f e r e n c i n g i t

m i g h t b e p o t e n t i a l l y i n c o n s i s t e n t . T h e s e e x t e r n a l n o d e s s h o u l d b e a g g e d a s

p o t e n t i a l l y i n c o n s i s t e n t a s t h e y d o r e f e r e n c e a n a m e n d e d n o d e . W e c o n s i d e r

t h a t i t i s u p t o t h e a u t h o r t o l o o k a f t e r t h e c o n s i s t e n c y o f t h e i n t e r n a l r e f e r e n c e s

o f t h e n o d e b e i n g m o d i e d .

F i g . 3 . R e l a t i o n s h i p T y p e s i n a S t r u c t u r e d H y p e r t e x t D o c u m e n t

8 M a i n t a i n i n g C o n s i s t e n c y o f H i g h l y S t r u c t u r e d D o c u m e n t s

H i g h l y s t r u c t u r e d d o c u m e n t s a r e b e s t r e p r e s e n t e d b y X M L D T D c o m p l i a n t

d o c u m e n t s . X M L d o c u m e n t s a l l o w h u m a n a n d m a c h i n e - r e a d a b l e s e m a n t i c s

m a r k - u p . X M L a l l o w s u s e r s t o d e n e n e w t a g s a n d i m p o s e d a t a v a l i d a t i o n o n

t h e m . T h i s r a i s e s t h e p r o b l e m o f h a v i n g u n i e d a n d s t a n d a r d i s e d d e n i t i o n s

o f t a g s u s e d a c r o s s d o c u m e n t s . I n t h a t r e s p e c t , i t i s h i g h l y r e c o m m e n d a b l e t o

u s e a s t a n d a r d i s e d D T D f o r a u t h o r i n g X M L d o c u m e n t s . T h i s i s a l r e a d y a n

a r e a o f i n t e n s e a c t i v i t y ( A E C X M L , b c X M L , e t c . ) . I t i s r e c o m m e n d e d i n t h i s

a p p r o a c h t h a t t h e e l e m e n t s o f a g i v e n X M L D T D b e i n t e r p r e t e d s e m a n t i c a l l y

2 0


21/24

b y i n d e x i n g t h e m , b y t h e a u t h o r o f t h e D T D , t o t h e c o n c e p t s o f t h e o n t o l o g y .

C o n c e p t s t h a t h i g h l y d e s c r i b e t h e s e m a n t i c s o f t h e c o n t e n t s o f t h e i n s t a n c e o f

t h e D T D e l e m e n t a r e s e l e c t e d a n d r e t a i n e d b y t h e D T D a u t h o r ( s ) a s t h i s i s a

k n o w l e d g e i n t e n s i v e a c t i v i t y . T h e r e f o r e , e a c h D T D e l e m e n t w i l l b e a s s o c i a t e d

a n d i n d e x e d t o a s e t o f o n t o l o g y c o n c e p t s , a s d e s c r i b e d i n F i g u r e 4 .

I n t h e s a m e w a y , e a c h o n t o l o g y c o n c e p t w i l l b e a s s o c i a t e d w i t h a s e t o f i n d e x i n g

D T D e l e m e n t s . L e t u s t a k e a n e x a m p l e :

D T D _ E l e m e n t _ A 1 h a s o n t o l o g y i n d e x e s :

( O n t _ C o n _ 1 , O n t _ C o n _ 3 , O n t _ C o n _ 4 )

D T D _ E l e m e n t _ A 2 h a s o n t o l o g y i n d e x e s : ( O n t _ C o n _ 2 , O n t _ C o n _ 4 , O n t _ C o n _ 6 )

D T D _ E l e m e n t _ A 3 h a s o n t o l o g y i n d e x e s : ( O n t _ C o n _ 4 , O n t _ C o n _ 6 , O n t _ C o n _ 8 )

I f a n i n s t a n c e o f a D T D _ E l e m e n t i s a m e n d e d , t h e n t h e o n t o l o g y c o n c e p t s

t h a t i n d e x t h i s e l e m e n t w i l l b e u s e d t o c h a r a c t e r i z e t h i s a m e n d m e n t . A s i m -

p l e b u t n o t v e r y e e c t i v e a p p r o a c h i s t o a g a l l d o c u m e n t s t h a t i n d e x t h e

s a m e o n t o l o g y c o n c e p t s o f a d o c u m e n t / o r D T D E l e m e n t i n s t a n c e t h a t h a s

b e e n a m e n d e d a s p o t e n t i a l l y i n c o n s i s t e n t . U s i n g t h i s a p p r o a c h , i n s t a n c e s o f

D T D _ E l e m e n t _ A 2 a n d D T D _ E l e m e n t _ A 3 w i l l b e a g g e d a s p o t e n t i a l l y i n c o n -

s i s t e n t f o l l o w i n g a n a m e n d m e n t t o D T D _ E l e m e n t _ A 1 .

A f u r t h e r s t e p , w h i c h m a k e s u s e o f a m o r e s o p h i s t i c a t e d a p p r o a c h , w i l l a t t e m p t

t o r e t a i n o n l y t h e i n s t a n c e s f r o m t h e a g g e d D T D e l e m e n t s t h a t c o n t a i n o r

r e f e r e n c e t h e s a m e o n t o l o g y c o n c e p t i n s t a n c e . T h i s i m p l i e s t h a t t h e E - C o g n o s

p l a t f o r m m a i n t a i n s i n s t a n c e s o f o n t o l o g y c o n c e p t s t h r o u g h o u t t h e s y s t e m .

F i g . 4 . X M L E l e m e n t s I n d e x i n g t o t h e C o n s t r u c t i o n O n t o l o g y

2 1


22/24

9 C o n c l u s i o n

T h e w o r k p r e s e n t e d i n t h i s p a p e r i s t h e d e s c r i p t i o n o f a m e t h o d o l o g y f o r

m a i n t a i n i n g d o c u m e n t c o n s i s t e n c y a c r o s s t h e k n o w l e d g e r e p o s i t o r i e s o f t h e

c o n s t r u c t i o n d o m a i n . T h e m e t h o d o l o g y u s e s g e n e r i c p r i n c i p l e s r e l a t e d t o i n f o r -

m a t i o n r e t r i e v a l a n d k n o w l e d g e m a n a g e m e n t t h a t c a n b e i n c o r p o r a t e d i n t o a n

a p p r o a c h t h a t s u p p o r t s c o n s i s t e n c y a c r o s s l a r g e k n o w l e d g e r e p o s i t o r i e s m a i n -

t a i n e d i n a h e t e r o g e n e o u s a n d d i s t r i b u t e d c o l l a b o r a t i v e b u s i n e s s e n v i r o n m e n t .

E - C o g n o s a i m s a t e x p l o i t i n g t h o s e p r i n c i p l e s t o d e v e l o p s u c h a n a p p r o a c h

b a s e d o n a s o l i d t h e o r e t i c a l f o u n d a t i o n , a n d t o d e p l o y i t i n a r e a l b u s i n e s s

e n v i r o n m e n t i n t h e c o n t e x t o f t h e p r o j e c t p a r t n e r s . T h e m e t h o d o l o g y w i l l b e

u s e d i n t h e c o n s t r u c t i o n d o m a i n . H o w e v e r , t h e m o d e l i s g e n e r i c a n d s h o u l d b e

a p p l i c a b l e t o a n y o t h e r d o m a i n . F e w c h a n g e s m i g h t b e n e c e s s a r y t o t a k e i n t o

a c c o u n t t h e n a t u r e o f t h e d o c u m e n t o f t h e n e w d o m a i n a n d t h e u s e o f a n o t h e r

o n t o l o g y w h i c h s t r u c t u r e m a y i n u e n c e s o m e p r o c e s s e s o f t h e p r o p o s e d m o d e l .

A w e b - b a s e d i m p l e m e n t a t i o n w i l l b e u s e d f o r t h e E - C o g n o s p r o j e c t a n d t h i s

m e t h o d o l o g y w i l l b e i m p l e m e n t e d u s i n g J a v a a n d r e l a t e d t e c h n o l o g i e s . I t i s

a l s o w o r t h m e n t i o n i n g t h a t t h e p r o p o s e d m e t h o d s a s s u m e t h a t a l l d o c u m e n t s

h a v e b e e n a u t h o r e d u s i n g a c o m m o n n a t u r a l l a n g u a g e . M o r e o v e r , t h e m u l t i -

l i n g u a l a s p e c t o f d o c u m e n t s h a s n o t b e e n a d d r e s s e d a t t h e m o m e n t b u t w i l l

b e a d d r e s s e d a t a l a t e r s t a g e .

A c k n o w l e d g e m e n t s

T h e a u t h o r s a s w e l l a s t h e E - C o g n o s C o n s o r t i u m w o u l d l i k e t o a c k n o w l e d g e

t h e n a n c i a l s u p p o r t o f t h e E u r o p e a n C o m m i s s i o n u n d e r t h e I S T p r o g r a m m e .

R e f e r e n c e s

[ 1 ] R . B a e z a - Y a t e s a n d B . R i b e i r o - N e t o . M o d e r n I n f o r m a t i o n R e t r i e v a l . A d d i s o n

W e s l e y , 1 9 9 9 .

[ 2 ] A . B c k e r a n d U . B u s b a c h . D o c M a n : A d o c u m e n t m a n a g e m e n t s y s t e m f o r

c o o p e r a t i o n s u p p o r t . I n P r o c e e d i n g s o f t h e H a w a i i I n t e r n a t i o n a l C o n f e r e n c e o n

S y s t e m S c i e n c e s ( H I C S S - 2 9 ) , p a g e s 8 2 9 1 , 1 9 9 6 .

[ 3 ] A . B e r t h i e , B . R i b e i r o - N e t o , a n d R . M u n t z . A b e l i e f n e t w o r k m o d e l f o r

i r . I n P r o c e e d i n g s o f t h e 1 9 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e A C M S I G I R

C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l , p a g e s 2 5 3

2 6 0 , 1 9 9 6 .

2 2


23/24

[ 4 ] A . C e l e n t a n o , S . P o z z i , a n d D . T o p p e t a . A m u l t i p l e p r e s e n t a t i o n d o c u m e n t

m a n a g e m e n t s y s t e m . I n P r o c e e d i n g s o f t h e 1 0 t h A n n u a l C o n f e r e n c e o n S y s t e m s

D o c u m e n t a t i o n , p a g e s 6 3 7 1 , 1 9 9 2 .

[ 5 ] P . D o u r i s h , W . K . E d w a r d s , A . L a M a r c a , J . L a m p i n g , K . P e t e r s o n , M . S a l i s b u r y

D . B . T e r r y , a n d J . T h o r n t o n . E x t e n d i n g d o c u m e n t m a n a g e m e n t s y s t e m s

w i t h u s e r - s p e c i c a c t i v e p r o p e r t i e s . A C M T r a n s a c t i o n o n I n f o r m a t i o n S y s t e m s ,

1 8 ( 2 ) : 1 4 0 1 7 0 , 2 0 0 0 .

[ 6 ] P . D o u r i s h , W . K . E d w a r d s , A . L a M a r c a , a n d M . S a l i s b u r y . P r e s t o :

A n e x p e r i m e n t a l a r c h i t e c t u r e f o r u i d i n t e r a c t i v e d o c u m e n t s p a c e . A C M

T r a n s a c t i o n s o n C o m p u t e r - H u m a n I n t e r a c t i o n , 6 ( 2 ) : 1 3 3 1 6 1 , 1 9 9 9 .

[ 7 ] P . F l y n n . T h e X M L F A Q , v e r s i o n 3 . 0 1 . W W W , h t t p : / / w w w . u c c . i e : 8 0 8 0 /

c o c o o n / x m l f a q # d o c t y p e , 2 0 0 3 .

[ 8 ] G . W . F u r n a s , S . D e e r w e s t e r , S . T . D u m a i s , T . K . L a n d a u e r , R . A . H a r s h m a n ,

L . A . S t r e e t e r , a n d K . E . L o c h b a u m . I n f o r m a t i o n r e t r i e v a l u s i n g a s i n g u l a r v a l u e

d e c o m p o s i t i o n m o d e l o f l a t e n t s e m a n t i c s t r u c t u r e . I n P r o c e e d i n g s o f t h e 1 1 t h

A n n u a l I n t e r n a t i o n a l C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n

R e t r i e v a l ( A C M S I G I R ) , p a g e s 4 6 5 4 8 0 , 1 9 8 8 .

[ 9 ] V . G u d i v a d a , V . R a g h a v a n , W . G r o s k y , a n d R . K a s a n a g o t t u . I n f o r m a t i o n

r e t r i e v a l o n t h e w o r l d w i d e w e b . I E E E I n t e r n e t C o m p u t i n g , p a g e s 5 8 6 8 ,

O c t o b e r N o v e m b e r 1 9 9 7 .

[ 1 0 ] C . L i m a , B . F i e s , A . Z a r l i , M . B o u r d e a u , M . W e t h e r i l l , a n d Y . R e z g u i . T o w a r d s

a n I F C - b a s e d o n t o l o g y f o r t h e b u i l d i n g a n d c o n s t r u c t i o n i n d u s t r y : t h e e - c o g n o s

a p p r o a c h . I n p r o c e e d i n g s o f t h e e S M @ R T E u r o p e a n C o n f e r e n c e o n I n f o r m a t i o n

a n d C o m m u n i c a t i o n T e c h n o l o g y A d v a n c e s a n d I n n o v a t i o n i n t h e K n o w l e d g e

S o c i e t y , p a g e s 2 5 4 2 6 4 .

[ 1 1 ] Y . O g a w a , T . M o r i t a , a n d K . K o b a y a s h i . A f u z z y d o c u m e n t r e t r i e v a l s y s t e m

u s i n g t h e k e y w o r d c o n n e c t i o n m a t r i x a n d a l e a r n i n g m e t h o d . F u z z y S e t s a n d

S y s t e m s , ( 3 9 ) : 1 6 3 1 7 9 , 1 9 9 1 .

[ 1 2 ] C . J . R i j s b e r g e n . I n f o r m a t i o n R e t r i e v a l . B u t t e r w o r t h s , 1 9 7 9 .

[ 1 3 ] S . R o b e r t s o n a n d K . S p a r c k J o n e s . R e l e v a n c e w e i g h t i n g o f s e a r c h t e r m s . J o u r n a l

o f t h e A m e r i c a n S o c i e t y o f I n f o r m a t i o n S c i e n c e s , 2 7 ( 3 ) : 1 2 9 1 4 5 , 1 9 7 6 .

[ 1 4 ] G . S a l t o n , E . F o x , a n d H . W u . E x t e n d e d b o o l e a n i n f o r m a t i o n r e t r i e v a l . C A C M ,

2 6 ( 1 1 ) : 1 0 2 2 1 0 3 6 , 1 9 8 3 .

[ 1 5 ] G . S a l t o n a n d M . L e s k . C o m p u t e r e v a l u a t i o n o f i n d e x i n g a n d t e x t p r o c e s s i n g .

J o u r n a l o f t h e A C M , 1 5 ( 1 ) : 8 3 6 , 1 9 6 8 .

[ 1 6 ] G . S a l t o n a n d C . Y a n g . O n t h e s p e c i c a t i o n o f t e r m v a l u e s i n a u t o m a t i c

i n d e x i n g . J o u r n a l o f D o c u m e n t a t i o n , ( 2 9 ) : 3 5 1 3 7 2 , 1 9 7 3 .

[ 1 7 ] H . T u r t l e a n d W . B . C r o f t . I n f e r e n c e n e t w o r k s f o r d o c u m e n t r e t r i e v a l .

I n P r o c e e d i n g s o f t h e 1 3 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e A C M S I G I R

C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l , p a g e s 1

2 4 , 1 9 9 0 .

2 3


24/24

[ 1 8 ] H . T u r t l e a n d W . B . C r o f t . E v a l u a t i o n o f a n i n f e r e n c e n e t w o r k - b a s e d r e t r i e v a l

m o d e l . A C M T r a n s a c t i o n s o n I n f o r m a t i o n S y s t e m s , 9 ( 3 ) : 1 8 7 2 2 2 , 1 9 9 1 .

[ 1 9 ] J . V e r h o e , W . G o m a n n , a n d J . B e l z e r . I n e c i e n c y o f t h e u s e o f b o o l e a n

f u n c t i o n s f o r i n f o r m a t i o n r e t r i e v a l s y s t e m s . C A C M , 4 ( 1 2 ) : 5 5 7 5 5 8 , 1 9 6 1 .

[ 2 0 ] S . W a r t i c k . B o o l e a n O p e r a t i o n s , p a g e s 2 6 4 2 9 2 . 1 9 9 2 .

[ 2 1 ] R . W i l k i n s o n a n d P . H i n g s t o n . U s i n g t h e c o s i n e m e a s u r e i n a n e u r a l n e t w o r k f o r

d o c u m e n t r e t r i e v a l . I n P r o c e e d i n g s o f t h e 1 4 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e

A C M S I G I R C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l ,

p a g e s 2 0 2 2 1 0 , 1 9 9 1 .

[ 2 2 ] S . K . M . W o n g , W . Z i a r k o , a n d P . C . N . W o n g . G e n e r a l i z e d v e c t o r s p a c e m o d e l i n

i n f o r m a t i o n r e t r i e v a l . I n P r o c e e d i n g s o f t h e 8 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e

A C M S I G I R C o n f e r e n c e o n R e s e a r c h a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l ,

p a g e s 1 8 2 5 , 1 9 8 5 .

[ 2 3 ] Q . Y o n g g a n g a n d H . F r e i . C o n c e p t b a s e d q u e r y e x p a n s i o n . I n P r o c e e d i n g s o f

t h e 1 6 t h A n n u a l I n t e r n a t i o n a l C o n f e r e n c e A C M S I G I R C o n f e r e n c e o n R e s e a r c h

a n d D e v e l o p m e n t i n I n f o r m a t i o n R e t r i e v a l , p a g e s 1 6 0 1 6 9 , 1 9 9 3 .

Documents

Doc Man Methodology