Upload
postscript
View
217
Download
0
Embed Size (px)
Citation preview
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
1/10
C o n s t r u c t i n g H i e r a r c h i c a l I n f o r m a t i o n S t r u c t u r e s o f S u b - P a g e
L e v e l H T M L D o c u m e n t s
S e u n g - J i n L i m
Y i u - K a i N g
C o m p u t e r S c i e n c e D e p a r t m e n t
B r i g h a m Y o u n g U n i v e r s i t y
P r o v o , U t a h 8 4 6 0 2 , U . S . A .
f n g , s j l i m g @ c s . b y u . e d u
A b s t r a c t
M o s t o f t h e e x i s t i n g m e t h o d s f o r r e t r i e v i n g s u b - p a g e
l e v e l i n f o r m a t i o n i n a n H T M L d o c u m e n t e i t h e r r e l y
o n k e y w o r d - b a s e d s e a r c h i n g o r a s s u m e t h a t t h e i n -
t e r n a l s t r u c t u r e o f t h e d o c u m e n t i s k n o w n b e f o r e -
h a n d . T h e s e t e c h n i q u e s , h o w e v e r , a r e n o t s u i t -
a b l e f o r l o c a t i n g h i e r a r c h i c a l l y o r g a n i z e d i n f o r m a -
t i o n , e s p e c i a l l y w h e n t h e i n t e r n a l s t r u c t u r e o f t h e
g i v e n H T M L d o c u m e n t D i s u n k n o w n . W e p r e s e n t
a n a p p r o a c h f o r i n f e r r i n g i n f o r m a t i o n h i e r a r c h y a t
t h e s u b - p a g e l e v e l o f D . O u r a p p r o a c h i n c l u d e s
c o n s t r u c t i n g a m e t a d a t a m o d e l o f D , c a l l e d c o n t e n t
t r e e ( C T ) , w h i c h c a p t u r e s t h e h i e r a r c h i c a l r e l a t i o n -
s h i p a m o n g t h e d a t a c o n t e n t s o f D w h i l e e x c l u d i n g
H T M L m a r k u p s i n D . H i e r a r c h i c a l i n f o r m a t i o n i n
D c a n b e r e t r i e v e d v i a C T u s i n g a n e x i s t i n g q u e r y
l a n g u a g e w h i c h i s c a p a b l e o f d e a l i n g w i t h d a t a i n a
s e m i s t r u c t u r e d d a t a m o d e l .
K e y w o r d s s e m i s t r u c t u r e d d a t a , i n f o r m a t i o n v i -
s u a l i z a t i o n , H T M L d o c u m e n t , W o r l d - W i d e W e b
1 I n t r o d u c t i o n
D u r i n g t h e p a s t f e w y e a r s , t h e g r o w t h r a t e o f
d a t a p o s t e d o n t h e W o r l d - W i d e W e b ( W e b ) h a s
b e e n p h e n o m e n a l . I n o r d e r t o d e a l w i t h a v a s t
a m o u n t s o f d a t a o n t h e W e b , a n u m b e r o f d a t a
r e t r i e v a l m e t h o d s h a v e b e e n p r o p o s e d . A m o n g
t h e p r o p o s e d m e t h o d s , k e y w o r d - b a s e d s e a r c h i n g
m e t h o d s h a v e g a i n e d p o p u l a r i t y a n d a r e w i d e l y
u s e d a s t h e f u n d a m e n t a l t e c h n i q u e f o r r e t r i e v i n g
s u b - p a g e l e v e l i n f o r m a t i o n o f a g i v e n H T M L d o c -
u m e n t . W e c a t e g o r i z e a l l t h e i n f o r m a t i o n r e t r i e v a l
m e t h o d s b a s e d o n k e y w o r d s e a r c h i n g a t t h e s u b -
p a g e l e v e l o f H T M L p a g e s k e y w o r d - b a s e d s e a r c h i n g
i f t h e i n t e r n a l s t r u c t u r e o f t h e p a g e s i s n o t e x p l o i t e d
d u r i n g t h e p r o c e s s o f i n f o r m a t i o n s e a r c h i n g . A t
p r e s e n t , k e y w o r d - b a s e d s e a r c h i n g i s m a i n l y u s e d i n
t w o d i e r e n t w a y s : ( i ) a s a f r o n t - e n d t o o l f o r a W e b
u s e r t o l o c a t e H T M L d o c u m e n t s w h i c h i n c l u d e
T h e 5 t h I n t e r n a t i o n a l C o n f e r e n c e o n F o u n d a t i o n s
o f D a t a O r g a n i z a t i o n s ( F O D O ' 9 8 ) , K o b e , J a p a n ,
N o v e m b e r 1 9 9 8 .
i n f o r m a t i o n o f a p a r t i c u l a r s u b j e c t v i a i n d e x s e r v e r s
s u c h a s A l t a V i s t a , o r ( i i ) a s a b a c k - e n d p r o c e s s i n g
t e c h n i q u e f o r l o c a t i n g s u b - p a g e l e v e l i n f o r m a t i o n
e m p l o y e d b y W e b q u e r y l a n g u a g e s , s u c h a s W e b L o g
1 1 ] , W e b S Q L 1 3 ] , W 3 Q S 1 0 ] , a n d O Q L - d o c 2 ] .
C o n s i d e r t h e r e t r i e v a l o f \ t h e e m a i l a d d r e s s
o f E v a n I v i e w h o i s a v i s i t i n g f a c u l t y " f r o m
t h e H T M L d o c u m e n t D a s s h o w n i n F i g u r e 1 ( b ) ,
a s s u m i n g t h a t k e y w o r d s a r e t e l e - t y p e f a c e d . A
k e y w o r d - b a s e d s e a r c h i n g m e t h o d i s i n c a p a b l e o f
l o c a t i n g t h e d e s i r e d e m a i l a d d r e s s f o r a n u m b e r o f
r e a s o n s : ( i ) t h e r e a r e t w o i n s t a n c e s o f E v a n I v i e
i n D a n d t h u s i t d o e s n o t k n o w h o w t o d i e r e n t i a t e
t h e i n s t a n c e s ; ( i i ) a l t h o u g h t h e s e c o n d i n s t a n c e
o f E v a n I v i e m i g h t b e c h o s e n c o r r e c t l y , a n o t h e r
p r o b l e m i s h o w t o d e t e r m i n e w h i c h e m a i l a d d r e s s
i n D i s t h e e m a i l a d d r e s s o f E v a n I v i e , a v i s i t i n g
f a c u l t y m e m b e r ; a n d ( i i i ) t h e n a t u r e o f t h e d e s i r e d
i n f o r m a t i o n i s s t r u c t u r a l , i . e . , t h e k e y w o r d s a r e
h i e r a r c h i c a l l y r e l a t e d t o o n e a n o t h e r t h r o u g h t h e
w o r d s ` o f ' a n d ` w h o ' i n t h e E n g l i s h s e n t e n c e a b o v e ,
w h i c h c o n s t i t u t e t h e p a r t i a l o r d e r i n g r e l a t i o n s h i p s
o f t h e k e y w o r d s , a n d a n a t t e m p t s i m p l y u s i n g t h e
k e y w o r d s w i t h l o g i c a l c o n n e c t i v e s A N D , O R , o r
X O R f a i l s t o l o c a t e t h e e m a i l a d d r e s s .
O u r a p p r o a c h f o r c o n s t r u c t i n g i n f o r m a t i o n h i -
e r a r c h y a t t h e s u b - p a g e l e v e l i s t o e x p l o i t t h e h i e r -
a r c h y o f t h e d a t a c o n t e n t s i n a g i v e n H T M L d o c u -
m e n t . O n e m i g h t c o n s i d e r u s i n g t h e p a r s e t r e e o f
t h e d o c u m e n t c o n s t r u c t e d a c c o r d i n g t o t h e H T M L
g r a m m a r t o e x p l o i t t h e h i e r a r c h i c a l s t r u c t u r e o f t h e
d a t a c o n t e n t s . T h i s a p p r o a c h , h o w e v e r , i s n o t s u i t -
a b l e . C o n s i d e r a n e n h a n c e d p a r s e t r e e ( i n w h i c h
a l l t h e e n d - t a g s a r e e l i m i n a t e d f r o m t h e p a r s e t r e e
g e n e r a t e d a c c o r d i n g t o t h e H T M L s p e c i c a t i o n )
o f d o c u m e n t d i r . h t m a s s h o w n i n F i g u r e 2 a n d
t h e p a t h e x p r e s s i o n o f e a c h l e a f n o d e . N o t e t h a t
t h e r e a r e a f e w p r o b l e m s w i t h t h e ( e n h a n c e d ) p a r s e
t r e e . F i r s t , ` d i r . h t m ' . H T M L . B O D Y . U L . L I . A . ` E v a n
I v i e ' d o e s n o t s p e c i f y w h e t h e r ` E v a n I v i e ' i s a
v i s i t i n g f a c u l t y o r a r e g u l a r f a c u l t y . S e c o n d , i t
i s c o m m o n s e n s e t o c o m p r e h e n d t h e h i e r a r c h y o f
t h e s e c o n d ` E v a n I v i e ' a n d ` V i s i t i n g F a c u l t y '
i n F i g u r e 1 ( a ) s u c h t h a t ` E v a n I v i e ' i s s u b o r d i -
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
2/10
( a ) d i r . h t m r e n d e r e d i n N e t s c a p e ( b ) A p o r t i o n o f t h e s o u r c e c o d e o f d i r . h t m
F i g u r e 1 : A n H T M L d o c u m e n t d i r . h t m m o d i e d f r o m h t t p : / / w w w . c s . b y u . e d u / i n f o / d i r e c t o r y . h t m l
n a t e t o ` V i s i t i n g F a c u l t y . ' F u r t h e r m o r e , t h e
w o r d s ` N o t e : T h i s p a g e i s a ' a n d ` m o d i f i e d '
b e l o n g t o t h e s a m e s e n t e n c e a s s h o w n i n F i g u r e 1 ( a )
b u t t h e y a p p e a r i n d i e r e n t b r a n c h e s i n t h e p a r s e
t r e e i n F i g u r e 2 . T h e h i e r a r c h y g e n e r a t e d b y t h e
H T M L b r o w s e r , w h i c h w e c a l l i n t e n d e d h i e r a r c h y ,
i s n o t p r e s e r v e d i n t h e p a r s e t r e e d u e t o t h e v a r i o u s
H T M L t a g s . S u b s e q u e n t l y , u s i n g t h e p a r s e t r e e t o
l o c a t e t h e e m a i l a d d r e s s o f E v a n I v i e , a v i s i t i n g
f a c u l t y , i s i n a d e q u a t e .
I n t h i s p a p e r , w e p r e s e n t a n a p p r o a c h f o r c o n -
s t r u c t i n g h i e r a r c h i c a l i n f o r m a t i o n s t r u c t u r e a t t h e
s u b - p a g e l e v e l o f a n H T M L d o c u m e n t . O u r a p -
p r o a c h t a k e s a n H T M L d o c u m e n t D a s a n i n p u t
a n d r e t u r n s a m e t a d a t a m o d e l o f D , c a l l e d c o n -
t e n t t r e e ( C T ) , d e n o t e d C T
D
, w h i c h i s t h e t r e e
r e p r e s e n t a t i o n o f t h e d a t a c o n t e n t s , w i t h t h e e x -
c l u s i o n o f H T M L t a g s , i n D . C T
D
i s b a s e d o n t h e
n o t i o n o f s e m i s t r u c t u r e d d a t a , a n d b e c a u s e o f t h a t
t h e h i e r a r c h i c a l i n f o r m a t i o n c a p t u r e d i n C T
D
c a n
b e r e t r i e v e d u s i n g a n e x i s t i n g s e m i s t r u c t u r e d d a t a
q u e r y l a n g u a g e , s u c h a s L o r e l 3 ] .
O u r a p p r o a c h i s a d v a n t a g e o u s o v e r t h e e x i s t i n g
m e t h o d s f o r e x t r a c t i n g s u b - p a g e l e v e l i n f o r m a t i o n
o f a n H T M L d o c u m e n t D . F i r s t , C T
D
p r o v i d e s
a f a c i l i t y t o i d e n t i f y t h e h i e r a r c h i c a l r e l a t i o n s h i p s
a m o n g d a t a c o n t e n t s i n D . T h i s c a p a b i l i t y p r o -
v i d e s a s o l u t i o n t o t h e p r o b l e m s o f s y n o n y m k e y -
w o r d s ( s u c h a s t h e t w o e m a i l a d d r e s s e s o f E v a n
I v i e ) . S e c o n d , f o r t h e c o n s t r u c t i o n o f C T
D
, w e
d o n o t a s s u m e t h a t t h e i n t e r n a l s t r u c t u r e o f D i s
k n o w n b e f o r e h a n d a s 5 , 9 ] d o . T h i r d , t h e r e e x i s t
o t h e r m e t h o d s w h i c h e x p l o i t t h e i n t e r n a l s t r u c t u r e
o f H T M L t a g s t o o b t a i n s u b - p a g e l e v e l i n f o r m a t i o n
o f a n H T M L d o c u m e n t , s u c h a s W e b O Q L 4 ] . H o w -
e v e r , a W e b O Q L u s e r m u s t d e a l w i t h H T M L t a g s
a n d h e n c e i t s i n t e r n a l s t r u c t u r e . A q u e r y p o s t e d
a g a i n s t C T
D
, d e a l s w i t h n o H T M L t a g s a n d i t s
u s e r i s n o t r e q u i r e d t o k n o w t h e i n t e r n a l s t r u c t u r e
o f t h e r e f e r e n c e d H T M L d o c u m e n t .
W e p r o c e e d t o p r e s e n t o u r r e s u l t s a s f o l l o w s . I n
S e c t i o n 2 , w e i n t r o d u c e t h e d a t a m o d e l a d o p t e d b y
u s f o r r e p r e s e n t i n g d a t a i n a n H T M L d o c u m e n t .
I n S e c t i o n 3 , w e p r e s e n t t h e r u l e s f o r c o n s t r u c t i n g
t h e c o n t e n t t r e e , w h i c h c a p t u r e s t h e h i e r a r c h i c a l
i n f o r m a t i o n a t t h e s u b - p a g e l e v e l , o f a g i v e n H T M L
d o c u m e n t . I n S e c t i o n 4 , w e g i v e t h e c o n c l u d i n g
r e m a r k s .
2 T h e D a t a M o d e l
O u r v i e w o f i n f o r m a t i o n p o s t e d o n t h e W e b i s a
c o l l e c t i o n o f h e t e r o g e n e o u s d a t a , s u c h a s H T M L
d o c u m e n t s b y a n d l a r g e a n d o t h e r t y p e s o f d a t a ,
i n c l u d i n g m u l t i m e d i a d a t a . O n e o f t h e c h a r a c t e r i s -
t i c s o f H T M L d o c u m e n t s i s t h a t t h e i r s t r u c t u r e s a r e
n o t r i g i d a c c o r d i n g t o t h e H T M L s p e c i c a t i o n 7 ,
1 5 ] . H e n c e , a n H T M L d o c u m e n t D c o n t a i n s d a t a
w h i c h a r e s e m i s t r u c t u r e d i n n a t u r e . S e m i s t r u c -
t u r e d d a t a a r e d a t a w h i c h a r e n e i t h e r s t r u c t u r e d
d a t a ( i . e . , d a t a w i t h a r i g i d s t r u c t u r e o r s c h e m a ) ,
s u c h a s d a t a i n a r e l a t i o n a l d a t a b a s e , n o r u n s t r u c -
t u r e d d a t a ( i . e . , d a t a w i t h n o r i g i d s t r u c t u r e o r
s c h e m a ) , s u c h a s d a t a i n e x e c u t a b l e l e s . E x a m p l e s
o f s e m i s t r u c t u r e d d a t a a r e d a t a i n t e x t l e s t h a t
c o n t a i n f o r m a t t i n g c o d e , s u c h a s L
A
T
E
X a n d H T M L
l e s , a n d l e s w h i c h r e q u i r e s t r i c t i n n e r s t r u c t u r e
b u t s o m e o f t h e s t r u c t u r a l c o m p o n e n t s c a n b e o m i t -
t e d , s u c h a s B I B T
E
X l e s , U n i x e n v i r o n m e n t l e s ,
e t c . B a s e d o n t h i s c l a s s i c a t i o n , w e c o n s i d e r a
n i t e s e t o f d a t a o b j e c t s D = f o
1
, o
2
, : : : , o
n
g
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
3/10
a s s e m i s t r u c t u r e d d a t a i f ( i ) t h e s t r u c t u r e o f D i s
i r r e g u l a r o r i n c o m p l e t e 1 4 , 3 , 6 ] , ( i i ) t h e d i s t i n c t i o n
b e t w e e n D a n d t h e s c h e m a o f D i s n o t c l e a r , a n d
t h e s c h e m a m a y c h a n g e d y n a m i c a l l y 1 , 8 ] , a n d
( i i i ) o
i
( 1 i n ) i s n o t t y p e - s e n s i t i v e , a n d t w o
d i s t i n c t d a t a o b j e c t s i n D w i t h t h e s a m e c o n t e n t
m a y b e o f d i e r e n t t y p e s .
A n H T M L d o c u m e n t c o n s i s t s o f a n u m b e r o f
H T M L e l e m e n t s . A t y p i c a l H T M L e l e m e n t i s d e -
l i m i t e d b y i t s s t a r t - t a g a n d e n d - t a g , a n d c o n t a i n s
c o n t e n t t h a t a p p e a r s b e t w e e n t h e s t a r t - a n d e n d -
t a g s . F o r s o m e H T M L e l e m e n t s , e i t h e r t h e i r e n d -
t a g s a r e i m p l i c i t o r t h e i r c o n t e n t s d o n o t e x i s t . T h e
c o n t e n t o f a n H T M L e l e m e n t m a y i n c l u d e o t h e r
t a g s ( i . e . , a n H T M L e l e m e n t c a n b e n e s t e d ) o r d a t a
c h a r a c t e r s . W e c a l l t h e l a t t e r d a t a c o n t e n t .
G i v e n a n H T M L e l e m e n t e a n d i t s c o n t e n t c , w e
s a y t h a t e c o n t a i n s c , d e n o t e d b y e c , a n d e i s
c a l l e d t h e c o n t a i n e r o f c . I f c i s c o n t a i n e d i n e w i t h
n o i n t e r m e d i a t e c o n t a i n e r b e t w e e n e a n d c , i . e . , e
c h o l d s b u t e e
1
: : : e
k
c ( k 1 ) d o
n o t h o l d , t h e n e i m m e d i a t e l y c o n t a i n s c , o r c i s a n
i m m e d i a t e c o n t e n t o f e .
H T M L e l e m e n t s c a n n o t p a r t i a l l y o v e r l a p w i t h
o n e a n o t h e r a c c o r d i n g t o t h e H T M L s p e c i c a t i o n .
I f a n H T M L d o c u m e n t D c o n f o r m s t o t h e H T M L
s p e c i c a t i o n , t h e n D i s s a i d t o b e a v a l i d H T M L
d o c u m e n t . A m o n g t h e H T M L e l e m e n t s d e n e d i n
t h e H T M L s p e c i c a t i o n , t h e r o l e o f s o m e e l e m e n t s
i s t o d e n e t h e b l o c k s t r u c t u r e o f t h e d a t a c o n t e n t s ,
i . e . , t h e h i e r a r c h y o f t h e d a t a c o n t e n t s , w h e r e a s
o t h e r e l e m e n t s e i t h e r d e c l a r e t h e c o s m e t i c s t y l e o f
t h e d a t a c o n t e n t s o r d o n o t h a v e d a t a c o n t e n t s a t
a l l . W e c a l l t h e f o r m e r e l e m e n t s t y p e 1 a n d t h e
l a t t e r t y p e 2 . T y p i c a l e x a m p l e s o f t y p e 1 e l e m e n t s
a r e l i s t e l e m e n t s s u c h a s U L , O L , D I R a n d M E N U . B
a n d E M a r e t y p i c a l t y p e 2 H T M L e l e m e n t s .
D e n i t i o n 1 G i v e n a n H T M L d o c u m e n t D , a n
H T M L t o k e n ( o r t o k e n f o r s h o r t ) i s e i t h e r t h e
s t a r t - t a g , t h e e n d - t a g , o r ( p a r t o f ) t h e d a t a c o n t e n t
o f a n H T M L e l e m e n t i n D . I f d e n o t e s a t a g ( r e s p .
d a t a c o n t e n t ) , i s o f t a g t y p e ( r e s p . d a t a t y p e ) . 2
O u r s e m i s t r u c t u r e d d a t a m o d e l i s c a l l e d s e m i -
s t r u c t u r e d d a t a t r e e ( S D T ) 1 2 ] . s e m i s t r u c t u r e d
d a t a . T h e c o r e c o n s t r u c t s o f a n S D T a r e o b j e c t s ,
w h i c h a r e d e n e d o v e r t h e s e t o f a l l p o s s i b l e
s t r i n g s , d e n o t e d b y
, a n d t h e d e p e n d e n c y c o n -
s t r a i n t a m o n g d i e r e n t o b j e c t s .
D e n i t i o n 2 A n o b j e c t o i n a n H T M L d o c u m e n t
D i s a 3 - t u p l e h n a m e , a t t r i b u t e l i s t , i d e n t i f i e r i ,
w h i c h i s e i t h e r a s t a r t - t a g ( c a l l e d a t a g o b j e c t ) o r
d a t a c o n t e n t ( c a l l e d a d a t a o b j e c t ) i n D , w h e r e
n a m e
1
2
i s t h e n a m e o f t h e c o r r e s p o n d i n g
H T M L t a g i f o i s a t a g o b j e c t , o r i s t h e t e x t
1
A n a m e m a y i n c l u d e s p a c e s a n d d o t s . I f a n a m e i n c l u d e s
b l a n k s p a c e s , i t i s e n c l o s e d b y s i n g l e q u o t e s .
F i g u r e 2 : S D T , a n e n h a n c e d p a r s e t r e e , o f d i r . h t m
o f t h e c o r r e s p o n d i n g d a t a c h a r a c t e r s , i f o i s a
d a t a o b j e c t .
a t t r i b u t e l i s t
i s a n i t e ( p o s s i b l y e m p t y )
s e t o f a t t r i b u t e s , e a c h o f w h i c h i s o f t h e f o r m
a t t r i b u t e n a m e = v a l u e .
i d e n t i f i e r 2
i s a n o n - e m p t y s t r i n g w h i c h
u n i q u e l y i d e n t i e s o i n D . 2
E x a m p l e 1 C o n s i d e r t h e h e a d b l o c k o f t h e H T M L
d o c u m e n t d i r . h t m i n F i g u r e 1 ( b ) . B y D e n i t i o n 2 ,
H E A D , T I T L E , a n d t h e t w o M E T A s a r e t a g o b j e c t s ,
a n d ` F a c u l t y D i r e c t o r y ' i s a d a t a o b j e c t . T h e
r s t M E T A o b j e c t i n c l u d e s N A M E a n d C O N T E N T a s i t s
a t t r i b u t e s . 2
T h e n o t i o n o f d e p e n d e n c y p l a y s a n i m p o r t a n t
r o l e i n d e t e r m i n i n g t h e h i e r a r c h i c a l r e l a t i o n s h i p s
a m o n g o b j e c t s i n a n H T M L d o c u m e n t .
D e n i t i o n 3 G i v e n a n H T M L d o c u m e n t D w i t h a
s e t o f o b j e c t s f o
1
; o
2
; : : : ; o
m
g , a n o b j e c t o
i
d i r e c t l y
d e p e n d s o n a n o t h e r o b j e c t o
j
( 1 i ; j m ; i =
j 1 ) , d e n o t e d o
i
o
j
, i f o
i
i m m e d i a t e l y c o n t a i n s
o
j
. D e p e n d e n c y i s a n t i s y m m e t r i c a n d t r a n s i t i v e .
H e n c e , b y a n t i s y m m e t r i c i t y , i f o
1
o
2
a n d o
2
o
1
, t h e n o
1
= o
2
; b y t r a n s i t i v i t y , i f o
1
o
2
a n d
o
2
o
3
, t h e n o
1
i n d i r e c t l y d e p e n d s o n o
3
, d e n o t e d
o
1
o
2
o
3
o r o
1
o
3
. 2
E x a m p l e 2 C o n s i d e r t h e o b j e c t s i d e n t i e d i n E x -
a m p l e 1 . S i n c e H E A D c o n t a i n s T I T L E a n d t h e
t w o M E T A s , a c c o r d i n g t o t h e H T M L s p e c i c a t i o n ,
H E A D T I T L E a n d H E A D M E T A h o l d . F u r t h e r -
m o r e , H E A D T I T L E ` F a c u l t y D i r e c t o r y '
a l s o h o l d . 2
W e n o w f o r m a l l y d e n e t h e t r e e r e p r e s e n t a t i o n
o f a n H T M L d o c u m e n t D , c a l l e d t h e s e m i s t r u c -
t u r e d d a t a t r e e ( S D T ) o f D , a s g i v e n i n 1 2 ] .
D e n i t i o n 4 G i v e n a n H T M L d o c u m e n t D , t h e
s e m i s t r u c t u r e d d a t a t r e e ( S D T ) S D T
D
= ( V ; E ; g )
o f D i s a r o o t e d , d i r e c t e d g r a p h , w h e r e
T h e r o o t n o d e V
R
2 V i s l a b e l e d b y t h e U R L
o f D . F o r a n y o t h e r n o d e v 2 V , v d e n o t e s a n
o b j e c t i n D a n d i s l a b e l e d b y t h e n a m e o f t h e
o b j e c t t h a t v r e p r e s e n t s . F u r t h e r m o r e , g i v e n
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
4/10
a n o d e n a n d i t s c h i l d n o d e s n
1
, n
2
, : : : , n
m
,
f o r a n y t w o n o d e s n
j
a n d n
k
, 1 j < k m ,
t h e t o k e n d e n o t e d b y n
j
a p p e a r s a h e a d o f t h e
t o k e n d e n o t e d b y n
k
i n D .
E i s a n i t e s e t o f d i r e c t e d e d g e s .
g : E ! V V i s a f u n c t i o n s u c h t h a t
g ( e ) = ( v
1
; v
2
) i f t
1
t
2
, w h e r e t
1
a n d
t
2
a r e t h e t o k e n s r e p r e s e n t e d b y n o d e s v
1
a n d v
2
, r e s p e c t i v e l y . g i s a n t i s y m m e t r i c a n d
t r a n s i t i v e . 2
B y D e n i t i o n 4 , w e c a n p e r f o r m t r a n s f o r m a t i o n
b a c k a n d f o r t h b e t w e e n a n H T M L d o c u m e n t D a n d
i t s S D T
D
w i t h o u t l o s i n g i n f o r m a t i o n . T h u s , w e u s e
D a n d S D T
D
, a n d a t o k e n i n D a n d i t s c o r r e s p o n d -
i n g n o d e i n S D T
D
i n t e r c h a n g e a b l y t h r o u g h o u t t h i s
p a p e r .
E x a m p l e 3 C o n s i d e r t h e d o c u m e n t D i n F i g u r e
1 ( b ) w h o s e s o u r c e U R L i s d i r . h t m . B y D e n i t i o n 4
a n d t h e d e p e n d e n c y c o n s t r a i n t s a m o n g t h e o b j e c t s
i n d i r . h t m , t h e r o o t n o d e ` d i r . h t m ' i s c r e a t e d i n
S D T
D
a n d a t t a c h e d t o i t t w o c h i l d n o d e s , C O M M E N T
a n d < H T M L > , w h i c h a r e c r e a t e d b y t h e < ! D O C T Y P E >
a n d H T M L t a g s , r e s p e c t i v e l y . T h e e n t i r e S D T o f
d i r . h t m i s s h o w n i n F i g u r e 2 , w h e r e d o t t e d a r r o w s
d e n o t e s u b t r e e s w h o s e d e t a i l e d c o n t e n t s a r e n o t
s h o w n i n t h e g u r e . 2
D e n i t i o n 5 G i v e n a n S D T w i t h n o d e s n
1
, n
2
,
: : : , n
m
, t h e l o n g n a m e L
n
k
o f n o d e n
k
( 1 j ; k
m ) i s t h e n a m e o f n
k
i f n
k
i s t h e r o o t n o d e o f
S D T ; o t h e r w i s e , i t i s L
n
j
: L , w h e r e n
j
i m m e d i a t e l y
c o n t a i n s n
k
a n d L i s t h e n a m e o f n
k
. 2
E x a m p l e 4 C o n s i d e r t h e n o d e ` F a c u l t y D i r e c -
t o r y ' i n t h e S D T a s s h o w n i n F i g u r e 2 . I t s l o n g
n a m e i s ` d i r . h t m ' . H T M L . H E A D . T I T L E . ` F a c u l t y
D i r e c t o r y ' b y D e n i t i o n 5 . 2
D e n i t i o n 6 G i v e n t h e l o n g n a m e o f a n o b j e c t
o
N
i n a n S D T o f t h e f o r m L
o
N
= N
o
1
. ( : : : ) . N
o
N
,
w h e r e N
o
i
i s t h e n a m e o f o b j e c t o
i
( 1 i N ) ,
t h e p a t h e x p r e s s i o n , p e , b e t w e e n t w o o b j e c t s o
i
a n d
o
j
( 1 j N ) i s a b i n a r y f u n c t i o n , p e :
!
, s u c h t h a t p e ( o
i
; o
i
) = N
o
i
a n d p e ( o
i
; o
j
) =
p e ( o
i
; o
j 1
) : N
o
j
, w h e r e o
1
i s d e n o t e d b y t h e r o o t
n o d e o f S D T a n d i < j . A l s o , p e ( V
R
; o ) = L
o
,
w h e r e V
R
i s t h e r o o t n o d e a n d o 2 V o f S D T . 2
A n S D T p r e c i s e l y c a p t u r e s t h e s t r u c t u r e a n d
c o n t e n t o f t h e g i v e n s e m i s t r u c t u r e d d a t a i n a n
H T M L d o c u m e n t a c c o r d i n g t o t h e H T M L g r a m -
m a r , a n d t h e l e x i c a l S D T o f a s e m i s t r u c t u r e d d a t a
D i s a t e x t u a l r e p r e s e n t a t i o n o f t h e c o r r e s p o n d i n g
S D T .
D e n i t i o n 7 G i v e n a n S D T = ( V ; E ; g ) , t h e l e x i -
c a l r e p r e s e n t a t i o n o r l e x i c a l S D T o f o 2 V , d e n o t e d
L
o
, i s a t e x t u a l r e p r e s e n t a t i o n o f t h e s u b g r a p h S o f
t h e S D T r o o t e d a t o s u c h t h a t L
o
=
8 i
p e ( o ; o
i
) ;
w h e r e o
i
i s a l e a f n o d e i n S . 2
N o t e t h a t g i v e n a n S D T = ( V ; E ; g ) , t h e l e x i c a l
S D T i s o b t a i n e d b y
8 i
p e ( V
R
; o
i
) ( =
8 i
L
o
i
) ,
w h e r e o
i
i s a l e a f n o d e o f t h e S D T . W e a d o p t t h e
c o n v e n t i o n A : f B ; C g f o r f A : B ; A : C g , w h e r e A : B
a n d A : C a r e l o n g n a m e s o r p a t h e x p r e s s i o n s .
E x a m p l e 5 C o n s i d e r t h e S D T
d i r : h t m
i n F i g u r e 2 .
p e ( H E A D , ` F a c u l t y D i r e c t o r y ' )
= p e ( H E A D , T I T L E ) . ` F a c u l t y D i r e c t o r y '
= p e ( H E A D ; H E A D ) , T I T L E . ` F a c u l t y D i r e c t o r y '
= H E A D . T I T L E . ` F a c u l t y D i r e c t o r y '
L
F a c u l t y D i r e c t o r y
= ` d i r . h t m ' . H T M L . H E A D . T I T L E . ` F a c u l t y D i r e c t o r y '
L
H E A D
= p e ( H E A D , ` F a c u l t y D i r e c t o r y ' )
p e ( H E A D , M E T A ) p e ( H E A D , M E T A )
= H E A D . f T I T L E . ` F a c u l t y D i r e c t o r y ' , M E T A , M E T A g 2
3 A n a p p r o a c h t o c o n s t r u c t i n g h i -
e r a r c h i c a l , s u b - p a g e l e v e l i n f o r m a -
t i o n s t r u c t u r e s
W e n o w d i s c u s s o u r a p p r o a c h f o r e x t r a c t i n g h i -
e r a r c h i c a l i n f o r m a t i o n o v e r t h e d o m a i n o f H T M L
d o c u m e n t s a t t h e s u b - p a g e l e v e l . W e c o n s i d e r t h e
h i e r a r c h i c a l s t r u c t u r e o f t h e d a t a c o n t e n t s e m b e d -
d e d i n a g i v e n H T M L d o c u m e n t D a n d r e p r e s e n t
i t a s a n e n h a n c e d S D T
D
. T h e h i e r a r c h y o f t h e
d a t a c o n t e n t s o f D i s o b t a i n e d b y r e s t r u c t u r i n g
t h e i n t e r n a l s t r u c t u r e o f t h e H T M L e l e m e n t s i n D
a c c o r d i n g t o t h e H T M L g r a m m a r . T h i s p r o c e s s
c o n s i s t s o f t w o s t e p s :
A p p r o x i m a t i o n o f D : T h e a p p r o x i m a t e d S D T o f
D , d e n o t e d S D T
0
D
, i s c o n s t r u c t e d b a s e d o n
t h e H T M L g r a m m a r w h i l e e x c l u d i n g t h e s t a r t -
a n d e n d - t a g s o f t y p e 2 e l e m e n t s i n D . T h e
e e c t o f t h i s s t e p i s t h r e e f o l d . F i r s t , e l e m e n t s
i r r e l e v a n t t o t h e h i e r a r c h y o f t h e d a t a c o n t e n t s
o f D a r e e l i m i n a t e d . S e c o n d , t h e i n t e n d e d
h i e r a r c h y o f t h e d a t a c o n t e n t s i s p r e s e r v e d .
T o b e t t e r u n d e r s t a n d t h i s a s s e r t i o n , c o n s i d e r
t h e l e a f n o d e s o f t h e s u b t r e e r o o t e d a t I
o f S D T
d i r : h t m
i n F i g u r e 2 . T h e t h r e e l e a f
n o d e s o f t h e s u b t r e e a r e s u p p o s e d t o f o r m
a s i n g l e s e n t e n c e i n d i r . h t m ; h o w e v e r , t h e y
a r e s e p a r a t e d i n t o t h r e e o b j e c t s i n S D T
d i r : h t m
b y t h e B e l e m e n t . T h i s p r o b l e m i s s o l v e d b y
a p p r o x i m a t i o n .
M i g r a t i o n t o C T
D
: A f t e r a p p r o x i m a t i o n , t h e r e -
m a i n i n g H T M L t a g s i n S D T
0
D
a r e r e m o v e d
w h i l e p r e s e r v i n g t h e i n t e n d e d h i e r a r c h y o f t h e
d a t a c o n t e n t s i n D . T h e m i g r a t i n g s t e p f r o m
S D T
0
D
t o t h e c o n t e n t t r e e o f D ( i . e . , C T
D
)
i s a c c o m p l i s h e d b y c l u s t e r i n g , m e r g i n g , a n d
p r o m o t i n g t h e d a t a c o n t e n t s i n D b a s e d o n t h e
c o h e r e n c e f a c t o r a m o n g t h e t o k e n s i n S D T
0
D
.
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
5/10
D e n i t i o n 8 G i v e n a n S D T ( o r S D T
0
) S w i t h k
n o d e s n
1
, n
2
, : : : , n
k
, t h e c o h e r e n c e f a c t o r ( c . f . )
b e t w e e n n
i
a n d n
j
( 1 i ; j k ) , d e n o t e d n
i
n
j
,
i s
n
i
n
j
=
(
1
n
n
i
; n
j
i f i 6= j ;
M A X I N T o t h e r w i s e .
w h e r e n
n
i
; n
j
i s t h e s m a l l e s t n u m b e r o f e d g e s b e -
t w e e n n
i
a n d n
j
i n S . 2
T h e c o h e r e n c e f a c t o r o f t w o n o d e s n
1
a n d n
2
i n a n S D T ( r e s p . S D T
0
) m e a s u r e s h o w c l o s e l y n
1
a n d n
2
a r e r e l a t e d . I f i = j , t h e n c : f : = M A X I N T
( i n o t h e r w o r d s , n
n
i
; n
j
= 0 ) . H e n c e , a n o d e i s
c o h e r e n t t o i t s e l f s t r o n g e r t h a n t o a n y o t h e r n o d e s .
n
n
i
; n
j
= 1 i f e i t h e r n
i
i s t h e p a r e n t n o d e o f n
j
, o r
v i c e v e r s a , n
n
i
; n
j
= 2 i f n
i
a n d n
j
a r e s i b l i n g s o r
i f o n e n o d e i s t h e g r a n d p a r e n t o f t h e o t h e r , a n d s o
f o r t h .
3 . 1 C o n s t r u c t i o n o f a p p r o x i m a t e d S D T
T h e r s t t a s k o f t h i s s t e p i s t o d i s t i n g u i s h H T M L
e l e m e n t s o f t y p e 2 f r o m t y p e 1 i n o r d e r t o l t e r o u t
t y p e 2 e l e m e n t s s i n c e t h e y e i t h e r d o n o t c o n t r i b u t e
t o t h e h i e r a r c h i c a l ( i n f o r m a t i o n ) s t r u c t u r e o f d a t a
c o n t e n t s o r a r e n o t c o n t a i n e r s , i . e . , t h e y d o n o t
h a v e d a t a c o n t e n t s t o b e m a r k e d u p i n a n H T M L
d o c u m e n t .
W e g r o u p H T M L e l e m e n t s i n t o t y p e 1 a n d
t y p e 2 a c c o r d i n g t o t h e H T M L 3 . 2 R e f e r e n c e
S p e c i c a t i o n 1 5 ] . F i r s t , w e i n c l u d e t e x t - l e v e l
e l e m e n t s i n t o t y p e 2 w i t h t h e e x c e p t i o n o f A . T h e s e
e l e m e n t s d o n o t c a u s e p a r a g r a p h b r e a k a n d h e n c e
d o n o t c o n t r i b u t e t o t h e h i e r a r c h i c a l s t r u c t u r e o f
d a t a c o n t e n t s . S e c o n d , w e i n c l u d e i n t o t y p e 2
a l l t h e n o n - c o n t a i n e r e l e m e n t s a m o n g t h e r e s t o f
t h e H T M L e l e m e n t s i n D w i t h t h e e x c e p t i o n o f
M E T A . N o n - c o n t a i n e r e l e m e n t s a r e m e a n i n g l e s s w i t h
r e s p e c t t o t h e c o n t e n t o f t h e H T M L d o c u m e n t .
E l e m e n t s b e l o n g e d t o e i t h e r t y p e 1 o r 2 a r e s h o w n
i n T a b l e 1 . W e d e n e t h e a p p r o x i m a t e d S D T
c o n s t r u c t e d f r o m D w i t h t h e e x c l u s i o n o f e l e m e n t s
o f t y p e 2 b e l o w .
D e n i t i o n 9 G i v e n a n H T M L d o c u m e n t D , t h e
S D T c o n s t r u c t e d f r o m D b y e x c l u d i n g t h e s t a r t -
a n d e n d - t a g s o f t y p e 2 i s c a l l e d t h e a p p r o x i m a t e d
s e m i s t r u c t u r e d d a t a t r e e S D T
0
D
o f D , a n d t h e
p r o c e s s o f c o n s t r u c t i n g S D T
0
D
i s c a l l e d a p p r o x i m a -
t i o n . 2
G i v e n t h r e e t o k e n s t
1
, t
2
, a n d t
3
w h i c h a p p e a r
i n a r o w i n D , w h e r e t
1
a n d t
3
a r e o f d a t a t y p e
a n d t
2
i s o f t y p e 2 , t
1
a n d t
3
a r e c o n c a t e n a t e d t o
y i e l d a s i n g l e t o k e n o f d a t a t y p e b y a p p r o x i m a -
t i o n . A s a r e s u l t o f a p p r o x i m a t i o n , t h e c o n t a i n e r
c o f a n H T M L e l e m e n t e i n D a n d t h e e l e m e n t
r e p r e s e n t e d b y t h e p a r e n t n o d e o f e i n S D T
0
D
m a y
b e d i e r e n t s i n c e c m a y b e e l i m i n a t e d d u r i n g t h e
a p p r o x i m a t i o n o f D . H e n c e , d u r i n g t h e p r o c e s s o f
c o n s t r u c t i n g S D T
0
D
, w e n e e d t o i d e n t i f y t h e i m -
m e d i a t e c o n t a i n e r o f a t o k e n . F o r t h i s p u r p o s e , w e
m a i n t a i n a s t a c k t o a s s e r t t h e c o n t a i n e r o f a t o k e n
, a n d s u b s e q u e n t l y t h e p a r e n t n o d e o f i n S D T
0
D
w h i l e S D T
0
D
i s b e i n g c o n s t r u c t e d . T h e r e a r e t w o
o p e r a t i o n s d e n e d o v e r : w h e n a s t a r t - t a g s o f a
t a g t o k e n i n D i s i d e n t i e d , t h e t a g n a m e
s
o f s i s
p u s h e d o n t o t h e s t a c k a s t h e c o r r e s p o n d i n g s t a c k
s y m b o l , w h e r e a s t h e a p p e a r a n c e o f a n e n d - t a g e ,
w h i c h e i t h e r a p p e a r s e x p l i c i t l y o r i s i m p l i e d i n D ,
r e s u l t s i n p o p p i n g t h e t o p o f t h e s t a c k w h i c h i s t h e
c o r r e s p o n d i n g s t a r t - t a g o f e . F o r a t a g o f d a t a t y p e ,
n o s t a c k o p e r a t i o n i s p e r f o r m e d . A n e w n o d e i s
c r e a t e d a n d a t t a c h e d t o S D T
0
D
i f t h e c u r r e n t t o k e n
i s e i t h e r a s t a r t - t a g o r o f d a t a t y p e .
B a s e d o n t h e s t a c k a n d i t s s t a c k o p e r a t i o n s d e -
n e d a b o v e , w e n o w d e t a i l t h e c o n s t r u c t i o n p r o c e s s
o f S D T
0
D
. D c o n s i s t s o f t w o b l o c k s , h e a d a n d
b o d y , c o n t i n g e n t o n t h e e x i s t e n c e o f H E A D a n d B O D Y
e l e m e n t s i n D . W h i l e w e c o n s t r u c t S D T
0
D
, w e
a p p l y a f e w c o n s t r u c t i o n r u l e s t o D . R e c a l l t h a t
a s t a c k o p e r a t i o n , e i t h e r p u s h o r p o p , i s p e r f o r m e d
w h e n e v e r t h e c u r r e n t t o k e n i s e i t h e r a s t a r t - t a g o r
a n e n d - t a g . I n a d d i t i o n , t a g t o k e n s o f t y p e 2 a r e
i g n o r e d . F o r t h e h e a d b l o c k o f D , w e a p p l y t h e
f o l l o w i n g r u l e s t o c o n s t r u c t n o d e s i n S D T
0
D
:
1 . C o n s t r u c t t h e r o o t n o d e V
R
o f S D T
0
D
a n d l a b e l
i t b y t h e U R L o f D .
2 . A t t a c h t h e n o d e T I T L E a s a c h i l d o f t h e r o o t
n o d e , a n d c r e a t e a c h i l d n o d e o f T I T L E w i t h
t h e c o n t e n t o f T I T L E . < T I T L E > i s t h e o n l y
r e q u i r e d e l e m e n t i n a n H T M L d o c u m e n t w h i c h
p r o v i d e s a ( s h o r t ) d e s c r i p t i o n o f t h e c o n t e n t o f
D .
3 . I f < M E T A N A M E = \ k e y w o r d s " V A L U E = s t r > e x i s t s
i n t h e h e a d b l o c k , t h e n c r e a t e t h e n o d e s w i t h
l a b e l s K E Y W O R D S a n d s t r a n d e d g e s s u c h t h a t
V
R
K E Y W O R D S s t r , w h e r e s t r i s t h e v a l u e
o f t h e V A L U E a t t r i b u t e . < M E T A > i s n o t a c o n -
t a i n e r ; h o w e v e r , < M E T A > i s w i d e l y u s e d f o r
s p e c i f y i n g a l i s t o f k e y w o r d s r e l e v a n t t o D .
W e i g n o r e a n y o t h e r H T M L e l e m e n t s i n t h e
h e a d b l o c k s i n c e t h e y a r e n o t c o n t a i n e r s . F o r t h e
b o d y b l o c k o f D , w e a p p l y t h e f o l l o w i n g r u l e s :
4 . F o r t o k e n s t
s
t
c
t
e
, w h e r e t
s
i s a s t a r t - t a g , t
c
i s t h e c o n t e n t o f t
s
s u c h t h a t t
c
d o e s n o t s t a r t
w i t h a n a n c h o r , a n d t
e
i s t h e e n d - t a g o f t
s
,
a n e w n o d e i s c r e a t e d f o r t
c
a n d a n e d g e i s
a t t a c h e d f r o m n o d e t
c
t o t h e e x i s t i n g n o d e t
s
.
5 . S u p p o s e < A > i s d e t e c t e d s u c h t h a t t h e d e p e n -
d e n c i e s p A C
2
h o l d i n D , a n d p C
1
a n d p C
3
m a y o r m a y n o t h o l d b e f o r e a n d
a f t e r p A C
2
, r e s p e c t i v e l y i n D , w h e r e
C
1
a n d C
3
a r e d a t a c o n t e n t o f p a n d C
2
i s t h e
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
6/10
H T M L e l e m e n t s t y p e 1 t y p e 2
h e a d c o n t e n t T I T L E , M E T A y I S I N D E X , B A S E , L I N K , S C R I P T , S T Y L E , M E T A y
h e a d i n g s H 1 , H 2 , H 3 , H 4 , H 5 , H 6
P , U L , O L , D I R , M E N U , L I I S I N D E X , H R
b l o c k - l e v e l D L , D T , D D , P R E , F O R M
D I V , C E N T E R , T A B L E , T H
T R , T D , B L O C K Q U O T E
b o d y f o n t T T , I , B , U , S T R I K E , B I G , S M A L L
c o n t e n t S U B , S U P
t e x t - l e v e l p h r a s e E M , S T R O N G , D F N , C O D E , S A M P , K B D
V A R , C I T E
s p e c i a l A I M G , A P P L E T , F O N T , B A S E F O N T , B R
S C R I P T , M A P
f o r m I N P U T , S E L E C T , T E X T A R E A
a d d r e s s A D D R E S S
y M E T A w i t h t h e n a m e a t t r i b u t e = \ k e y w o r d s " i s c o n s i d e r e d t y p e 1 , w h i l e o t h e r M E T A s a r e t y p e 2 .
< H T M L > , < H E A D > , < B O D Y > , a n d < ! > a r e a l s o t r e a t e d a s t y p e 2 e l e m e n t s .
T a b l e 1 : T w o g r o u p s o f H T M L e l e m e n t s , t y p e 1 a n d t y p e 2
d a t a c o n t e n t o f < A > . T h e n , w e i g n o r e < A >
a n d < / A > a n d c r e a t e a n e w n o d e
C a s e 1 : C
1
i f b o t h C
1
a n d C
3
e x i s t , a n d l a b e l
t h e n e w n o d e a s C
1
C
2
C
3
.
C a s e 2 : C
1
i f o n l y C
1
e x i s t s , a n d l a b e l t h e
n e w n o d e a s C
1
C
2
.
C a s e 3 : C
2
i f o n l y C
3
e x i s t s , a n d l a b e l t h e
n e w n o d e a s C
2
C
3
.
C a s e 4 : C
2
i f n e i t h e r C
1
n o r C
3
e x i s t s , a n d
l a b e l t h e n e w n o d e a s C
2
.
A t t a c h t h e n e w n o d e a s a c h i l d o f t h e e x i s t i n g
n o d e p a n d i n t u r n a t t a c h t h e H R E F a t t r i b u t e o f
< A > a s a c h i l d o f t h e n e w n o d e . A n H R E F n o d e
i s k e p t a s a p l a c e h o l d e r f o r t h e r o o t n o d e o f
a n o t h e r S D T
0
c o n s t r u c t e d f r o m t h e d o c u m e n t
s p e c i e d i n t h e l i n k w h i c h a p p e a r s i n t h e H R E F
a t t r i b u t e .
E x a m p l e 6 C o n s i d e r d i r . h t m i n F i g u r e 1 ( b ) a n d
t h e S D T
0
o f d i r . h t m a s s h o w n i n F i g u r e 3 . B y
C o n s t r u c t i o n R u l e 1 , w e c r e a t e t h e U R L o f ` d i r .
h t m ' a s t h e r o o t n o d e o f S D T
0
d i r : h t m
. I n a d d i -
t i o n , T I T L E a n d M E T A ( w i t h \ K E Y W O R D S " a s i t s
n a m e ) a r e c r e a t e d o u t o f t h e h e a d b l o c k t o k e n s o f
d i r . h t m b y C o n s t r u c t i o n R u l e s 2 a n d 3 , r e s p e c -
t i v e l y . O t h e r t o k e n s , i n c l u d i n g < ! D O C T Y P E > a n d
t h e o t h e r < M E T A > , a r e d i s c a r d e d .
T h e H T M L s p e c i c a t i o n o n < A > i s o v e r r i d d e n
b y C o n s t r u c t i o n R u l e 4 . A l s o n o t e t h a t b y a p p r o x -
i m a t i o n , t o k e n s o f t y p e 2 , s u c h a s < I > , < B > a n d
< H R > , a r e d i s c a r d e d a n d h e n c e t h e t h r e e t o k e n s o f
d a t a t y p e ` N o t e : T h i s p a g e i s a ' , ` m o d i f i e d '
a n d ` d i r e c t o r y o f . . . ' y i e l d a s i n g l e n o d e ,
w h i c h d i e r s f r o m S D T
d i r : h t m
i n F i g u r e 2 . F o r t h e
r e s t o f t h e t o k e n s i n t h e b o d y b l o c k , C o n s t r u c t i o n
R u l e 4 i s a p p l i e d . 2
F i g u r e 3 : S D T
0
o f d i r . h t m
3 . 2 M i g r a t i o n f r o m S D T
0
t o C T
T h e n a l s t e p i n o u r a p p r o a c h f o r c o n s t r u c t i n g t h e
c o n t e n t t r e e o f t h e g i v e n H T M L d o c u m e n t D i s t h e
m i g r a t i o n f r o m S D T
0
D
t o C T
D
b y ( i ) s e c t i o n i n g t h e
n o d e s i n S D T
0
D
, ( i i ) c l u s t e r i n g t h e n o d e s o f d a t a
t y p e w i t h i n a s e c t i o n o f S D T
0
D
, ( i i i ) m e r g i n g t h e
c l u s t e r s w i t h i n a s e c t i o n , a n d ( i v ) p r o m o t i n g t h e
c l u s t e r s t o w a r d s t h e r o o t n o d e o f S D T
0
D
.
T h e k e y c o m p o n e n t s i n v o l v e d i n t h e m i g r a t i o n
p r o c e s s o f S D T
0
D
a r e t h e n o t i o n o f s e c t i o n , c l u s t e r ,
a n d d e p e n d e n c y c o n s t r a i n t ( w h i c h i s e x t e n d e d f r o m
D e n i t i o n 3 ) . S e c t i o n s a n d c l u s t e r s a r e b o t h l o g i c a l
u n i t s o f n o d e s i n S D T
0
D
, i . e . , e a c h o n e i s a s u b s e t
o f n o d e s i n S D T
0
D
w i t h t h e i r a s s o c i a t e d e d g e s . T h e
d i e r e n c e b e t w e e n a s e c t i o n a n d a c l u s t e r i s t h a t a
c l u s t e r C i s c r e a t e d a n d e v o l v e d w i t h i n a s e c t i o n S
a n d r e s i d e s i n S o n l y . T h e c o n t a i n e r - c o n t e n t r e l a -
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
7/10
t i o n s h i p a m o n g t h e n o d e s i n C m i g h t c h a n g e w h i l e C
i s e v o l v e d d u r i n g t h e m i g r a t i o n p r o c e s s . R e g a r d i n g
s e c t i o n s a n d c l u s t e r s , n o t e t h a t t h e c o h e r e n c e f a c t o r
o f a n y t w o t o k e n s a t t h e s a m e l e v e l i s c o n s i d e r e d a s
M A X I N T , i f t h e y b e l o n g t o t h e s a m e s e c t i o n o r
c l u s t e r .
D e n i t i o n 1 0 G i v e n a n S D T
0
a n d l e t N b e t h e
n u m b e r o f c h i l d r e n o f t h e r o o t n o d e V
R
o f S D T
0
.
A s e c t i o n S c o n s i s t s o f o n e o r m o r e s i b l i n g n o d e s
n
1
, n
2
, : : : , n
k
( 1 k N ) a n d t h e i r d e s c e n d a n t s
i n S D T
0
, w h e r e
n
i
( 1 i k ) i s a c h i l d o f V
R
.
n
1
, t h e l e f t m o s t n o d e ( l - n o d e ) o f S , i s e i t h e r ( i )
t h e n o d e n e x t t o t h e T I T L E n o d e o r K E Y W O R D S
n o d e , w h i c h e v e r a p p e a r s r i g h t m o s t i n S D T
0
D
,
o r ( i i ) a h e a d i n g n o d e ( i . e . , H 1 , H 2 , : : : o r H 6 ) .
n
k
, t h e r i g h t m o s t n o d e ( r - n o d e ) o f S , i s e i -
t h e r ( i ) a n o d e a p p e a r e d p r i o r t o a h e a d i n g
o r A D D R E S S n o d e , w h i c h e v e r a p p e a r s l e f t m o s t
i n S D T
0
D
a f t e r t h e l - n o d e o f S , o r ( i i ) t h e
r i g h t m o s t c h i l d n o d e o f V
R
i f t h e r e i s n o o t h e r
h e a d i n g o r A D D R E S S n o d e a f t e r t h e l - n o d e .
A s e c t i o n S h a s a n a t t r i b u t e , c a l l e d t y p e
S
,
w h o s e v a l u e i s e i t h e r H 1 , H 2 , H 3 , H 4 , H 5 , H 6 , d a t a
o r t a g , d e t e r m i n e d b y i t s l - n o d e o f S s u c h t h a t ( i )
i f t h e l - n o d e i s a h e a d i n g H ,
S
i s H , ( i i ) i f t h e
l - n o d e i s a t o k e n o f t a g t y p e o t h e r t h a n a h e a d i n g ,
S
i s t a g , o r ( i i i ) i f t h e l - n o d e i s a t o k e n o f d a t a
t y p e ,
S
i s d a t a . A m o n g d i e r e n t t y p e s o f s e c t i o n s ,
H 1 i s t h e m o s t i m p o r t a n t , f o l l o w e d b y H 2 , : : : , H 6 ,
a n d d a t a , w h e r e a s t a g i s t h e l e a s t i m p o r t a n t . 2
E x a m p l e 7 C o n s i d e r t h e S D T
0
d i r : h t m
i n F i g u r e 3 .
A c c o r d i n g t o D e n i t i o n 1 0 , s e c t i o n 1 , w h i c h c o n -
t a i n s t h e s u b t r e e r o o t e d a t H 1 a n d a n y s u b t r e e s o f
t h e r o o t n o d e d i r : h t m b e t w e e n t h e H 1 n o d e a n d t h e
l e f t m o s t H 2 n o d e , i s c r e a t e d . S i m i l a r l y , s e c t i o n 2
a n d s e c t i o n 3 a r e c r e a t e d a s s h o w n i n F i g u r e 4 . 2
D e n i t i o n 1 1 G i v e n a s e c t i o n S i n a n S D T
0
, a
c l u s t e r c o n t a i n s o n e o r m o r e s u b t r e e s i n S . A c l u s -
t e r h a s a n a t t r i b u t e , c a l l e d t y p e , w h o s e v a l u e i s
e i t h e r H 1 , H 2 , H 3 , H 4 , H 5 , H 6 , d a t a o r t a g , a n d
H 1 i s t h e m o s t i m p o r t a n t , w h e r e a s t a g i s t h e l e a s t
i m p o r t a n t . T o p - l e v e l n o d e s ( t - n o d e s ) o f a c l u s t e r C
a r e t h e n o d e s i n C w h i c h a r e c l o s e r t o t h e r o o t n o d e
o f S D T
0
t h a n o t h e r s i n C . 2
W e n o w e x t e n d t h e \ d e p e n d e n c y c o n s t r a i n t " d e -
n e d i n D e n i t i o n 3 a n d a p p l y t h e c o n c e p t t o o t h e r
d o m a i n s . R e c a l l t h a t t h e d e p e n d e n c y c o n s t r a i n t i n
D e n i t i o n 3 i s a p p l i e d t o o b j e c t s . T h e e x t e n d e d
d e p e n d e n c y c o n s t r a i n t i s a p p l i e d t o s e c t i o n s a n d
c l u s t e r s a s w e l l a s t o o b j e c t s . W h e n a l o g i c a l u n i t
o f t o k e n s A , w h i c h i s e i t h e r a s e c t i o n , a c l u s t e r , o r
a n o d e i n S D T
0
D
, i s m o r e i m p o r t a n t ( i . e . , c o n c e p -
t u a l l y s u p e r i o r ) t h a n a n o t h e r l o g i c a l u n i t o f t o k e n s
F i g u r e 4 : S e c t i o n s i n S D T
0
d i r : h t m
F i g u r e 5 : U n i t c l u s t e r s i n s e c t i o n 3
B , w e s a y t h a t A d e p e n d s o n B o r B i s r e l e v a n t t o
A , d e n o t e d b y A B .
D e n i t i o n 1 2 G i v e n t w o l o g i c a l u n i t s o f t o k e n s ,
A a n d B , A d e p e n d s o n B i f
1 . t h e t y p e o f A i s m o r e i m p o r t a n t t h a n t h a t
o f B , w h e r e A a n d B a r e s e c t i o n s . L e t L
A
( r e s p . L
B
) b e t h e l - n o d e o f A ( r e s p . B ) , a n d
t h i s d e p e n d e n c y c o n s t r a i n t i s d e n o t e d a s L
A
L
B
.
2 . t h e t y p e o f A i s m o r e i m p o r t a n t t h a n t h a t o f
B
i
, 1 i , w h e r e A a n d B
i
a r e c l u s t e r s i n t h e
s a m e s e c t i o n . L e t T
A
( r e s p . T
B
i
) b e t h e t -
n o d e ( i . e . , t o p - l e v e l n o d e ) i n A ( r e s p . B
i
) , a n d
t h i s d e p e n d e n c y c o n s t r a i n t i s d e n o t e d a s T
A
T
B
i
, f o r a l l i . 2
I n a s s o c i a t i o n w i t h t h e d e n i t i o n o f c l u s t e r , w e
d e n e t h e o p e r a t o r s ( ) , w h i c h i s a u n a r y o p e r a t o r
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
8/10
f o r c r e a t i n g a c l u s t e r , c a l l e d u n i t c l u s t e r i n g o p e r -
a t o r , w h o s e a r g u m e n t i s a t o k e n , a n d + ( ) , w h i c h
i s a b i n a r y o p e r a t o r , c a l l e d c l u s t e r m e r g i n g o p e r a -
t o r , w h e r e e a c h o f i t s a r g u m e n t s i s a c l u s t e r . T h e
o p e r a t o r s a r e d e s c r i b e d b e l o w .
1 . ( u n i t c l u s t e r i n g ) I f i s a t o k e n o f d a t a t y p e ,
t h e n ( ) y i e l d s a c l u s t e r o f d a t a t y p e w h i c h
i n c l u d e s a n d i t s d e s c e n d a n t s ( i f t h e y e x i s t ) .
2 . ( c l u s t e r m e r g i n g ) C l u s t e r s i n a n S D T
0
c a n b e
m e r g e d i f t h e f o l l o w i n g c o n s t r a i n t s h o l d : ( i )
t h e i r r o o t n o d e s a r e s i b l i n g s o f t h e s a m e p a r e n t
p , a n d ( i i ) t h e i r r o o t n o d e s a r e i n t h e s a m e
s e c t i o n o f S D T
0
. + ( C
d
1
, C
d
2
) , w h e r e C
d
1
i s a
c l u s t e r o f t y p e
1
a n d C
d
2
i s a c l u s t e r o f t y p e
2
, m e r g e s C
d
1
a n d C
d
2
w h i c h y i e l d s a n e w
c l u s t e r C s u c h t h a t
2 . 1 . t h e t y p e o f C i s
1
( r e s p .
2
) , a n d C
d
1
( r e s p . C
d
2
) d e p e n d s o n C
d
2
( r e s p . C
d
1
)
i n C , i f
2
( r e s p .
1
) i s l e s s i m p o r t a n t
t h a n
1
( r e s p .
2
) , a n d
2 . 2 . t h e t y p e o f C i s
1
, a n d C
d
1
a p p e a r s o n
t h e l e f t - h a n d s i d e o f C
d
2
i n C , i f
1
i s a s
i m p o r t a n t a s
2
.
T h e c o h e r e n c e f a c t o r a m o n g t - n o d e s t h a t b e -
l o n g t o t w o d i e r e n t c l u s t e r s t h a t a r e m e r g e d
i s u p g r a d e d t o M A X I N T .
3 . ( c l u s t e r p r o m o t i o n ) I f a p a r e n t n o d e p h a s o n l y
o n e c h i l d w h i c h i s a c l u s t e r o r a l l t h e c l u s -
t e r s w h o s e r o o t n o d e s a r e r e l e v a n t t o t h e s a m e
p a r e n t p a r e m e r g e d , d i s c a r d p a n d m a r k t h e
r e s u l t i n g c l u s t e r a s t a g t y p e . I f p i s o n e o f t h e
h e a d i n g s H 1 , H 2 , : : : , o r H 6 , t h e n t h e a t t r i b u t e
o f t h e r e s u l t i n g c l u s t e r i s s e t t o e i t h e r H 1 , H 2 ,
: : : , o r H 6 , r e s p e c t i v e l y , a f t e r p i s d i s c a r d e d .
N o t e t h a t i f n o d e n
2
i s r e m o v e d f r o m t h e d e -
p e n d e n c y r e l a t i o n s h i p n
1
n
2
n
3
, t h e n n
1
n
3
m a i n t a i n s t h e a s y m m e t r i c p r o p e r t y o f
t h e r e l a t i o n s h i p b e t w e e n n
1
a n d n
3
. A f t e r b e -
i n g p r o m o t e d , a c l u s t e r m o v e s u p w a r d t o w a r d s
t h e r o o t n o d e o f t h e t r e e .
B y m e r g i n g a n d p r o m o t i o n , a l l t h e H T M L t a g s
i n a n H T M L d o c u m e n t D , w i t h t h e e x c e p t i o n o f
T I T L E , H R E F a t t r i b u t e s , a n d A D D R E S S , a r e e x c l u d e d
f r o m S D T
0
D
, b u t t h e t o k e n s o f d a t a t y p e r e m a i n i n
t h e r e s u l t i n g C T
D
, a n d t h e c o h e r e n c e f a c t o r a m o n g
t h e r e m a i n i n g t o k e n s i s f u r t h e r u p g r a d e d .
E x a m p l e 8 C o n s i d e r t h e s e c t i o n s i n F i g u r e 4 a n d
t h e t o k e n s i n e a c h s e c t i o n . W e d e m o n s t r a t e t h e
c r e a t i o n , m e r g i n g , a n d p r o m o t i o n o f c l u s t e r s i n s e c -
t i o n 3 . F i g u r e 5 s h o w s t h r e e u n i t c l u s t e r s , C
1
, C
2
,
a n d C
3
, o f d a t a t y p e g e n e r a t e d i n s e c t i o n 3 . S i n c e
e a c h o f C
1
, C
2
, a n d C
3
i s t h e o n l y c l u s t e r o f i t s
p a r e n t n o d e , t h e c l u s t e r p r o m o t i o n r u l e i s a p p l i e d
t o e a c h o f t h e s e c l u s t e r s , y i e l d i n g c l u s t e r s C
1
, C
2
,
F i g u r e 6 : P r o m o t i o n o f c l u s t e r s C
2
a n d C
3
a f t e r
m e r g i n g
F i g u r e 7 : P r o m o t i o n o f c l u s t e r C
4
a f t e r r e m o v i n g
U L
a n d C
3
i n F i g u r e 6 . N o t e t h a t t h e t y p e o f C
1
i s s e t
t o H 2 , w h e r e a s t h e t y p e s o f C
2
a n d C
3
a r e s e t t o
t a g .
N o w , c o n s i d e r C
2
a n d C
3
i n F i g u r e 6 a g a i n . C
2
a n d C
3
h a v e t h e s a m e p a r e n t U L , a n d h e n c e t h e y
a r e m e r g e d w h i c h y i e l d s t h e c l u s t e r C
4
o f t a g t y p e
a c c o r d i n g t o t h e C l u s t e r M e r g i n g R u l e 2 . 2 . A f t e r
m e r g i n g , t h e r e s u l t i n g c l u s t e r C
4
c a n b e f u r t h e r
p r o m o t e d a n d i t s p a r e n t n o d e U L i s r e m o v e d b y
R u l e 3 . F i g u r e 7 s h o w s t h e c l u s t e r s i n s e c t i o n 3
a f t e r t h e m e r g i n g a n d p r o m o t i o n o p e r a t i o n s h a v e
b e e n a p p l i e d . B y n o w , c l u s t e r s C
1
a n d C
4
i n s e c -
t i o n 3 h a v e t h e s a m e p a r e n t w h i c h i s t h e r o o t n o d e
a n d h e n c e t h e c l u s t e r m e r g i n g r u l e c a n b e a p p l i e d
a g a i n . N o t e t h a t R u l e 2 . 1 i s a p p l i e d s i n c e t h e t y p e
o f C
1
i s H 2 , w h e r e a s t h e t y p e o f C
4
i s t a g . T h e
r e s u l t i n g c l u s t e r i s s h o w n i n F i g u r e 8 .
S i m i l a r l y , t h e u n i t c l u s t e r ` C S D e p a r t m e n t F a -
c u l t y D i r e c t o r y ' o f d a t a t y p e ( c a l l e d C
5
) i n s e c -
t i o n 1 i s p r o m o t e d t o b e o f t y p e H 1 a n d i t s p a r e n t
n o d e H 1 i s r e m o v e d f r o m S T D
0
d i r : h t m
i n F i g u r e 4 .
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
9/10
F i g u r e 8 : M e r g i n g c l u s t e r C
4
t o c l u s t e r C
1
F i g u r e 9 : F i n a l C T o f d i r . h t m
A l s o , t h e o t h e r u n i t c l u s t e r o f d a t a t y p e , ` N o t e :
. . . ' ( c a l l e d C
6
) i s m e r g e d w i t h C
5
a s s h o w n i n
F i g u r e 9 .
W e n o w s p e c i f y t h e d e p e n d e n c y c o n s t r a i n t b e -
t w e e n s e c t i o n 1 a n d s e c t i o n 3 . S i n c e t h e t y p e
o f s e c t i o n 1 i s H 1 a n d t h a t o f s e c t i o n 3 i s H 2 ,
s e c t i o n 1 d e p e n d s o n s e c t i o n 3 a n d h e n c e ` C S
D e p a r t m e n t F a c u l t y D i r e c t o r y ' ` V i s i t i n g
F a c u l t y ' . S i m i l a r l y , s e c t i o n 2 d e p e n d s o n s e c -
t i o n 1 a n d h e n c e t h e l - n o d e o f s e c t i o n 2 ( i . e . ,
P r o f e s s o r s , a f t e r p r o m o t i o n a n d m e r g i n g ) b e -
c o m e s a r e l e v a n t n o d e t o t h e l - n o d e o f s e c t i o n 1 , i . e . ,
` C S D e p a r t m e n t F a c u l t y D i r e c t o r y ' . F i g u r e 9
s h o w s t h e C T o f d i r . h t m . 2
3 . 3 U s e o f C T s
W e h a v e d e m o n s t r a t e d t h e p r o c e s s o f c o n s t r u c t i n g
C T
D
f r o m a g i v e n H T M L d o c u m e n t D . F o r p r a c -
t i c a l u s e , C T
D
i s p r e s e n t e d i n i t s l e x i c a l f o r m a t s o
t h a t u s e r s c a n d e v e l o p a q u e r y p r o c e s s o r o r u s e a n
e x i s t i n g o n e o n t o p o f t h e l e x i c a l C T
D
t o r e t r i e v e
h i e r a r c h i c a l , s u b - p a g e l e v e l i n f o r m a t i o n f r o m D .
C o n s i d e r C T
d i r : h t m
a s s h o w n i n F i g u r e 9 . W e
c a n o b t a i n t h e l e x i c a l C T
d i r : h t m
f r o m C T
d i r : h t m
b y
d e t e r m i n i n g t h e l o n g n a m e s a n d p a t h e x p r e s s i o n s
o f n o d e s i n C T
d i r : h t m
i n a s i m i l a r m a n n e r a s w e
d o f o r l e x i c a l S D T s . T h e l e x i c a l C T
d i r : h t m
, i . e . ,
L
d i r : h t m
, i s
` d i r : h t m ' . f
T I T L E . ` F a c u l t y D i r e c t o r y ' ,
K E Y W O R D S . ` C S ; c o m p u t e r s c i e n c e , f a c u l t y ,
d i r e c t o r y ' , ` C S D e p a r t m e n t F a c u l t y D i r e c t o r y ' . f
` N o t e : T h i s p a g e i s a m o d i e d d i r e c t o r y . . . ' ,
` P r o f e s s o r s ' . f
` R o b e r t P r e e c e B u r t o n ( p b u r t o n @ c s : b y u : e d u ) ' .
` H R E F = \ r p b u r t o n : h t m l " ' ,
` D o u g l a s M : C a m p b e l l ( c a m p b e l l @ c s : b y u : e d u ) ' .
` H R E F = \ d m c a m p b e l l : h t m l " ' ,
` E v a n I v i e ( e v a n @ c s : b y u : e d u ) ' . ` H R E F =
\ e i v i e : h t m l " ' ,
g ,
` V i s i t i n g F a c u l t y ' . f
` T i m o u r T : P a l t a s h e v ( t i m o u r l @ c s : b y u : e d u ) ' .
` H R E F = \ h t t p : = = s t u d e n t s : c s : b y u : e d u = ~ t i m p a l " ' ,
` E v a n I v i e ( e v a n i @ c s : b y u : e d u ) ' .
` H R E F = \ e v i v i e : h t m l " ' ,
g
g ,
A D D R E S S . ` C o m m e n t s t o w e b m a s t e r ' . ` H R E F =
\ = w e b m a s t e r : h t m l " '
g
C o n s i d e r t h e l o n g n a m e o f e a c h l e a f n o d e i n
C T
d i r : h t m
, w h i c h i s e m b e d d e d i n L
d i r : h t m
. T h e
l o n g n a m e o f ` E v a n I v i e ' w h o i s a p r o f e s s o r i s
` d i r . h t m ' . ` C S D e p a r t m e n t F a c u l t y D i r e c t o r y ' .
` P r o f e s s o r s ' . ` E v a n I v i e ( e v a n @ c s . b y u . e d u ) ' ,
w h e r e a s t h e l o n g n a m e o f ` E v a n I v i e ' , w h o i s a
v i s i t i n g f a c u l t y m e m b e r , i s ` d i r . h t m ' . ` C S D e p a r t -
m e n t F a c u l t y D i r e c t o r y ' . ` V i s i t i n g F a c u l t y ' .
` E v a n I v i e ( e v a n i @ c s . b y u . e d u ) ' . T h u s , t h e t w o
` E v a n I v i e ' s a r e d i s t i n g u i s h a b l e b y t h e i r r e s p e c -
t i v e l o n g n a m e s . T h e f o l l o w i n g S Q L - l i k e q u e r y
r e t r i e v e s ` E v a n I v i e ( e v a n i @ c s . b y u . e d u ) ' v i a X
u s i n g a n S Q L - l i k e q u e r y p r o c e s s o r f o r s e m i s t r u c -
t u r e d d a t a a p p l i c a b l e t o L
d i r : h t m
:
s e l e c t * . ` V i s i t i n g F a c u l t y ' . X f r o m L
d i r : h t m
w h e r e X c o n t a i n s ` E v a n I v i e '
w h e r e ` * ' i n t h e s e l e c t s t a t e m e n t d e n o t e s a n a r -
b i t r a r y p a t h e x p r e s s i o n a n d c o n t a i n s i s a b u i l t - i n
p r e d i c a t e a s s e r t i n g t h a t X i n c l u d e s ` E v a n I v i e ' a s
a s u b s t r i n g .
N o w , c o n s i d e r t h e l o n g n a m e L
1
o f ` E v a n I v i e '
w h o i s a v i s i t i n g f a c u l t y m e m b e r i n S D T
d i r : h t m
, a n
e n h a n c e d p a r s e t r e e o f d i r . h t m i n F i g u r e 2 . L
1
i s
` d i r . h t m ' . H T M L . B O D Y . U L . L I . A . ` E v a n I v i e ' . R e -
c a l l t h a t S D T i s c o n s t r u c t e d s t r i c t l y b a s e d o n t h e
H T M L g r a m m a r . T h e b e n e t s o f C T o v e r S D T
a r e e v i d e n t i n t h i s e x a m p l e : u s e r s a v o i d d e a l i n g
w i t h H T M L e l e m e n t s t o i d e n t i f y a d a t a t o k e n i n
t h e t r e e r e p r e s e n t a t i o n o f a g i v e n H T M L d o c u m e n t .
M o r e i m p o r t a n t l y , C T p r o v i d e s \ b e t t e r " h i e r a r c h i -
c a l i n f o r m a t i o n o f a d a t a t o k e n t h a n S D T . A s
8/14/2019 faculty cs byu edu%252F~dennis%252Fpapers%252Ffodo
10/10
F i g u r e 1 0 : A s a m p l e q u e r y i n W e b V i e w
w e h a v e s e e n e a r l i e r , i t i s a m b i g u o u s w h i c h ` E v a n
I v i e ' s p e c i e d i n L
1
( g e n e r a t e d f r o m t h e l e x i c a l
S D T
d i r : h t m
) i s r e f e r r i n g t o .
T h e i m p l e m e n t a t i o n o f o u r h i e r a r c h i c a l i n f o r -
m a t i o n a p p r o a c h i s a b o u t h a l f w a y d o n e u s i n g
J a v a p r o g r a m m i n g l a n g u a g e . F i g u r e 1 0 s h o w s a
s n a p s h o t o f t h e W e b V i e w u s e r i n t e r f a c e w h i c h i s
c a p a b l e o f c o n s t r u c t i n g t h e S D T
0
o f a g i v e n H T M L
d o c u m e n t a n d p r o c e s s i n g S Q L - l i k e q u e r i e s . S i n c e
W e b V i e w w a s i m p l e m e n t e d o v e r S D T
0
s , t h e e x a m -
p l e q u e r y i n t h e g u r e c o n t a i n s a n H 2 t a g i n t h e
s e l e c t s t a t e m e n t . B y t h e t i m e t h e i m p l e m e n t a t i o n
o f C T s i s c o m p l e t e d , w h i c h i s i m p l e m e n t e d a s a n
e x t e n s i o n o f W e b V i e w , u s e r q u e r i e s c a n b e p o s t e d
w i t h o u t u s i n g H T M L t a g s .
4 C o n c l u s i o n s
D e a l i n g w i t h h i e r a r c h i c a l , s u b - p a g e l e v e l i n f o r m a -
t i o n o n a n H T M L d o c u m e n t D w i t h o u t k n o w i n g
t h e i n t e r n a l s t r u c t u r e o f D b e f o r e h a n d i s c h a l l e n g -
i n g d u e t o t h e f a c t t h a t t h e s t r u c t u r e o f D i s i r r e g -
u l a r a n d t h e H T M L t a g s o f t e n b r e a k t h e i n t e n d e d
h i e r a r c h y o f d a t a c o n t e n t s i n D . W e a n a l y z e t h e
H T M L s p e c i c a t i o n a n d i t s u s e o n t h e W e b , a n d
p r e s e n t a n a p p r o a c h w h i c h i s c a p a b l e o f c o n s t r u c t -
i n g a t r e e r e p r e s e n t a t i o n , c a l l e d c o n t e n t t r e e C T , o f
t h e d a t a c o n t e n t s i n a n H T M L d o c u m e n t w i t h o u t
t h e H T M L t a g s w h i l e p r e s e r v i n g i t s i n t e n d e d h i e r -
a r c h y . A l s o , w e d o n o t a s s u m e t h a t t h e s t r u c t u r e o f
t h e g i v e n H T M L d o c u m e n t i s k n o w n b e f o r e h a n d .
C T
D
p r o v i d e s a r i c h e r h i e r a r c h y o f d a t a c o n t e n t s
i n a n H T M L d o c u m e n t D t h a n o t h e r a p p r o a c h e s
b a s e d o n t h e p a r s e t r e e o f D o r k e y w o r d - b a s e d
s e a r c h i n g t e c h n i q u e s f o r r e t r i e v i n g t h e d e s i r e d h i -
e r a r c h i c a l i n f o r m a t i o n a t t h e s u b - p a g e l e v e l o f D .
R e f e r e n c e s
1 ] S . A b i t e b o u l . Q u e r y i n g S e m i - s t r u c t u r e d D a t a .
I n P r o c e e d i n g s o f t h e 6 t h I n t e r n a t i o n a l C o n f e r -
e n c e o n D a t a b a s e T h e o r y , 1 9 9 7 .
2 ] S . A b i t e b o u l , S . C l u e t , V . C h r i s t o p h i d e s ,
T . M i l o , G . M o e r k o t t e , a n d J . S i m e o n . Q u e r y -
i n g D o c u m e n t s i n O b j e c t D a t a b a s e s . J o u r n a l
o n D i g i t a l L i b r a r i e s , 1 ( 1 ) : 5 { 1 9 , A p r i l 1 9 9 7 .
3 ] S . A b i t e b o u l , D . Q u a s s , J . M c H u g h ,
J . W i d o m , a n d J . W i e n e r . T h e L o r e l Q u e r y
L a n g u a g e f o r S e m i s t r u c t u r e d D a t a . J o u r n a l
o n D i g i t a l L i b r a r i e s , 1 ( 1 ) : 6 8 { 8 8 , 1 9 9 7 .
4 ] G . O . A r o c e n a a n d A . O . M e d e l z o n . W e -
b O Q L : R e s t r u c t u r i n g D o c u m e n t s , D a t a b a s e s
a n d W e b s . I n P r o c e e d i n g s o f t h e 1 4 t h I n -
t e r n a t i o n a l C o n f e r e n c e o n D a t a E n g i n e e r i n g ,
F e b r u a r y 1 9 9 8 .
5 ] P . A t z e n i a n d G . M e c c a . C u t a n d P a s t e . I n
P r o c e e d i n g s o f t h e 1 6 t h A C M P O D S , p a g e s
1 4 4 { 1 5 3 , M a y 1 9 9 7 .
6 ] P . A t z e n i , G . M e c c a , a n d P . M e r i a l d o . T o
W e a v e t h e W e b . I n P r o c e e d i n g s o f t h e 2 3 r d
I n t e r n a t i o n a l C o n f e r e n c e o n V e r y L a r g e D a t a
B a s e s , p a g e s 2 0 6 { 2 1 5 , A u g u s t 1 9 9 7 .
7 ] T . B e r n e r s - L e e a n d D . C o n n o l l y . H y p e r t e x t
M a r k u p L a n g u a g e - 2 . 0 . R e q u e s t f o r C o m -
m e n t s : # 1 8 6 6 , N o v e m b e r 1 9 9 5 .
8 ] P . B u n e m a n , S . D a v i d s o n , M . F e r n a n d e z , a n d
D . S u c i u . A d d i n g S t r u c t u r e f o r U n s t r u c t u r e d
D a t a . I n P r o c e e d i n g s o f t h e 6 t h I n t e r n a t i o n a l
C o n f e r e n c e o n D a t a b a s e T h e o r y , 1 9 9 7 .
9 ] J . H a m m e r , H . G a r c i a - M o l i n a , J . C h o ,
R . A r a n h a , a n d A . C r e s p o . E x t r a c t i n g
S e m i s t r u c t u r e d I n f o r m a t i o n f r o m t h e W e b . I n
P r o c e e d i n g s o f W o r k s h o p o n M a n a g e m e n t o f
S e m i s t r u c t u r e d D a t a , M a y 1 9 9 7 .
1 0 ] D . K o n o p n i c k i a n d O . S h m u e l i . W 3 Q S : A
Q u e r y S y s t e m f o r t h e W o r l d - W i d e W e b . I n
P r o c e e d i n g s o f t h e 2 1 s t V e r y L a r g e D a t a B a s e s ,
p a g e s 5 4 { 6 5 , S e p t . 1 9 9 5 .
1 1 ] L . V . S . L a k s h m a n a n , F . S a d r i , a n d I . N .
S u b r a m a n i a n . A D e c l a r a t i v e L a n g u a g e f o r
Q u e r y i n g a n d R e s t r u c t u r i n g t h e W e b . I n P o s t -
I C D E I E E E W o r k s h o p o n R e s e a r c h I s s u e s i n
D a t a E n g i n e e r i n g , F e b r u a r y 1 9 9 6 .
1 2 ] S . - J . L i m a n d Y . - K . N g . E x t r a c t i n g S t r u c t u r e s
o f H T M L D o c u m e n t s U s i n g a H i g h - l e v e l S t a c k
M a c h i n e . T o a p p e a r i n I C O I N ' 9 8 B o o k , O c t o -
b e r 1 9 9 8 .
1 3 ] A . O . M e n d e l z o n , G . A . M i h a i l a , a n d T . M i l o .
Q u e r y i n g t h e W o r l d W i d e W e b . I n P r o c e e d i n g s
o f I n t e r n a t i o n a l C o n f e r e n c e o n P a r a l l e l a n d
D i s t r i b u t e d I n f o r m a t i o n S y s t e m s , 1 9 9 6 .
1 4 ] D . Q u a s s , A . R a j a r a m a n , Y . S a g i v , J . U l l m a n ,
a n d J . W i d o m . Q u e r y i n g S e m i s t r u c t u r e d
H e t e r o g e n e o u s I n f o r m a t i o n . I n P r o c e e d i n g s o f
D O O D ' 9 5 , p a g e s 3 1 9 { 3 4 4 , D e c e m b e r 1 9 9 5 .
1 5 ] D . R a g g e t t . H T M L 3 . 2 R e f e r e n c e S p e c i -
c a t i o n . h t t p : / / w w w . w 3 . o r g / T R / R E C - h t m l 3 2 ,
J a n u a r y 1 9 9 7 .