Token Passing a Simple Conceptual Model 111472

8/22/2019 Token Passing a Simple Conceptual Model 111472

http://slidepdf.com/reader/full/token-passing-a-simple-conceptual-model-111472 1/23

T o k e n P a s s i n g : a S i m p l e C o n c e p t u a l M o d e l f o r C o n n e c t e d

S p e e c h R e c o g n i t i o n S y s t e m s

S . J . Y o u n g

N . H . R u s s e l l

J . H . S T h o r n t o n

C a m b r i d g e U n i v e r s i t y E n g i n e e r i n g D e p a r t m e n t

J u l y 3 1 , 1 9 8 9

A b s t r a c t

T h i s p a p e r d e s c r i b e s a s i m p l e b u t p o w e r f u l a b s t r a c t m o d e l i n w h i c h c o n n e c t e d

w o r d r e c o g n i t i o n i s v i e w e d a s a p r o c e s s o f p a s s i n g t o k e n s a r o u n d a t r a n s i t i o n n e t w o r k .

T h e a d v a n t a g e s o f t h i s u n i f y i n g v i e w a r e m a n y . T h e v a r i o u s a p p a r e n t l y d i e r e n t

c o n n e c t e d w o r d a l g o r i t h m s c a n b e r e p r e s e n t e d w i t h i n t h e s a m e c o n c e p t u a l f r a m e w o r k

s i m p l y b y c h a n g i n g t h e n e t w o r k t o p o l o g y , t h e a p p l i c a t i o n o f g r a m m a t i c a l c o n s t r a i n t s

i s s t r a i g h t f o r w a r d , a n d p e r h a p s m o s t i m p o r t a n t l y , t h e e n t i r e s t r u c t u r e i s i n d e p e n d e n t

o f t h e a c t u a l u n d e r l y i n g p a t t e r n m a t c h i n g t e c h n o l o g y . T o i l l u s t r a t e t h e p o w e r o f t h i s

c o n c e p t u a l m o d e l , t h e p a p e r c o n c l u d e s b y d e s c r i b i n g s o m e w o r k d o n e u n d e r t h e U K

A l v e y - s p o n s o r e d V O D I S P r o j e c t i n w h i c h t h e T o k e n P a s s i n g p a r a d i g m e n a b l e d t h e

O n e P a s s a l g o r i t h m t o b e s t r a i g h t f o r w a r d l y e x t e n d e d t o i n c l u d e t h e g e n e r a t i o n o f

m u l t i p l e a l t e r n a t i v e s a n d c o n t e x t f r e e s y n t a c t i c c o n s t r a i n t s .

1 I n t r o d u c t i o n

I n a r e c e n t p a p e r , G o d i n a n d L o c k w o o d 1 9 8 9 ] i n v e s t i g a t e d t h e O n e P a s s ( O P ) V i n t s y u k 1 9 7 1 ,

B r i d l e e t a l 1 9 8 2 ] a n d L e v e l B u i l d i n g ( L B ) M y e r s & R a b i n e r 1 9 8 1 ] c o n n e c t e d w o r d a l g o -

r i t h m s i n s o m e d e p t h a n d e v e n t u a l l y s h o w e d t h a t w h e n s y n t a x c o n s t r a i n t s w e r e a p p l i e d ,

t h e t w o a l g o r i t h m s w e r e e s s e n t i a l l y i d e n t i c a l . G o d i n a n d L o c k w o o d ' s p a p e r i s b a s e d u p o n

t h e c o n v e n t i o n a l f o r m u l a t i o n i n w h i c h w i t h i n - t e m p l a t e m a t c h i n g i s v i e w e d a s n d i n g a

m i n i m u m c o s t p a t h t h r o u g h a m a t r i x o f l o c a l d i s t a n c e s w h e r e a s b e t w e e n - t e m p l a t e m a t c h -

i n g i s v i e w e d a s e x t e n d i n g a p a t h f r o m o n e t e m p l a t e t o t h e n e x t . T h e p r o b l e m w i t h

t h i s v i e w p o i n t i s t h a t i t i s r a t h e r s p e c i c t o D T W t e c h n o l o g y a n d a l t h o u g h t h e O P a n d

L B a l g o r i t h m s a r e f u n d a m e n t a l l y s i m i l a r , t h e a c t u a l c o d e u s e d t o i m p l e m e n t t h e m i s

n e v e r t h e l e s s d i e r e n t . T h u s , f o r e x a m p l e , g i v e n a L e v e l B u i l d i n g D T W - b a s e d c o n n e c t e d

s p e e c h r e c o g n i s e r , i t w i l l n o t , i n g e n e r a l , b e e n t i r e l y s t r a i g h t f o r w a r d t o c o n v e r t i t t o a O n e

P a s s H i d d e n M a r k o v M o d e l ( H M M ) r e c o g n i s e r . M o r e c r u c i a l l y , s i n c e w i t h i n - t e m p l a t e a n d

b e t w e e n - t e m p l a t e m a t c h i n g a r e t r e a t e d d i e r e n t l y , e x t e n d i n g t h e h i g h e r l e v e l p r o c e s s i n g

t o i n c l u d e , s a y , m o r e c o m p l e x g r a m m a t i c a l c o n s t r a i n t s i s n o t t r i v i a l .

T h i s p a p e r d e s c r i b e s a s i m p l e c o n c e p t u a l m o d e l o f c o n n e c t e d w o r d

1

r e c o g n i t i o n b a s e d

1

t h e t e r m w o r d h e r e d e n o t e s t h e b a s i c r e c o g n i t i o n u n i t u s e d w h i c h m a y b e a w o r d b u t c o u l d e q u a l l y

w e l l b e a d i p h o n e , p h o n e m e , e t c .

1



o n T o k e n P a s s i n g w i t h i n a t r a n s i t i o n n e t w o r k s t r u c t u r e . W i t h t h i s m o d e l , w h i c h i s e q u a l l y

a p p l i c a b l e t o D T W a n d H M M r e c o g n i t i o n , i t w i l l b e s h o w n t h a t t h e O P a n d L B a l g o r i t h m s

a r e j u s t s i m p l e t o p o l o g i c a l v a r i a n t s . F u r t h e r m o r e , b e c a u s e t h e m o d e l i s s o s i m p l e , i t i s

e a s y t o e x t e n d t o i n c l u d e t h e g e n e r a t i o n o f a l t e r n a t i v e s o l u t i o n s a n d m o r e c o m p l e x h i g h

l e v e l c o n t r o l m e c h a n i s m s .

T h e p a p e r i s o r g a n i s e d a s f o l l o w s . T h e g e n e r a l T o k e n P a s s i n g m o d e l a n d i t s r e l a t i o n s h i p

t o t h e v a r i o u s e x i s t i n g a l g o r i t h m s i s d e s c r i b e d i n s e c t i o n 2 . I n s e c t i o n 3 , s o m e e x t e n s i o n s o f

t h e m o d e l t o i n c l u d e c o n t e x t f r e e g r a m m a r c o n s t r a i n t s a n d t h e g e n e r a t i o n o f a l t e r n a t i v e s

a r e d e s c r i b e d . F i n a l l y , i n s e c t i o n 4 , t h e a p p l i c a t i o n o f t h e m o d e l i n a w o r k i n g l a b o r a t o r y

s y s t e m i s p r e s e n t e d a l o n g w i t h s o m e e x p e r i m e n t a l r e s u l t s o n t h e u s e o f m u l t i p l e a l t e r n a t i v e s

a n d v a r i o u s m o d e s o f g r a m m a t i c a l c o n s t r a i n t .

2 T h e T o k e n P a s s i n g M o d e l

2 . 1 I s o l a t e d W o r d R e c o g n i t i o n

C o n s i d e r r s t i s o l a t e d w o r d r e c o g n i t i o n . I n t h e T o k e n P a s s i n g m o d e l , e a c h v o c a b u l a r y

w o r d i s r e p r e s e n t e d b y a w o r d m o d e l w h i c h i s a n i t e s t a t e n e t w o r k o f t h e f o r m s h o w n

i n F i g u r e 1 . A s s o c i a t e d w i t h e a c h p a i r o f c o n n e c t e d s t a t e s i a n d j i n a w o r d m o d e l i s

a t r a n s i t i o n c o s t p

i j

, a n d a s s o c i a t e d w i t h e a c h s t a t e j i s a l o c a l c o s t f u n c t i o n d

j

( t ) . T h e

u n k n o w n s p e e c h s i g n a l i s a s s u m e d t o b e i n t h e u s u a l f o r m o f a s e q u e n c e o f v e c t o r s x

1

x

T

a n d o c c u p a t i o n o f s t a t e j a t t i m e t i m p l i e s t h a t t h e c o s t o f m a t c h i n g t h e a s s o c i a t e d s p e e c h

v e c t o r x

t

i s d

j

( t )

E a c h p o s s i b l e s e q u e n c e o f s t a t e s t h r o u g h t h e m o d e l i = i

0

; i

1

; : : : ; i

T

, w h e r e i

0

i s t h e

i n i t i a l s t a t e , r e p r e s e n t s o n e p o s s i b l e a l i g n m e n t o f t h e m o d e l w i t h t h e s p e e c h s i g n a l . T h e

t o t a l c o s t S ( i ) o f t h i s a l i g n m e n t i s g i v e n b y

S ( i ) =

T

X

= 1

( p

i

1

i

+ d

i

( ) ) ( 1 )

I n s p e e c h r e c o g n i t i o n , t h e s i m i l a r i t y b e t w e e n a m o d e l a n d t h e u n k n o w n s p e e c h i s a s s u m e d

t o b e i n v e r s e l y p r o p o r t i o n a l t o t h e m i n i m u m c o s t a l i g n m e n t . L e t s

j

( t ) b e t h e m i n i m u m

c o s t a l i g n m e n t b e t w e e n t h e s e g m e n t x

1

x

t

o f t h e u n k n o w n s p e e c h a n d t h e m o d e l s t a r t i n g

i n s t a t e i

0

a n d e n d i n g i n s t a t e j . B y t h e p r i n c i p l e o f o p t i m a l i t y , t h i s c o s t c a n b e c o m p u t e d

b y t h e r e c u r s i o n

s

j

( t ) = m i n

i

f s

i

( t ? 1 ) + p

i j

g + d

j

( t ) ( 2 )

t h e r e b y g i v i n g a n e c i e n t w a y o f c o m p u t i n g t h e r e q u i r e d m i n i m u m v a l u e o f S ( i ) , t h a t i s

S

m i n

( i ) = m i n

j

f s

j

( T ) g ( 3 )

w h e r e j i s a n y a l l o w a b l e n a l s t a t e o f t h e w o r d m o d e l .

A l l o f t h e a b o v e i s e n t i r e l y s t r a i g h t f o r w a r d a n d w e l l - k n o w n . I n d e e d , t h e s i m i l a r i t y

b e t w e e n t h i s m o d e l a n d a h i d d e n M a r k o v m o d e l i s p a r t i c u l a r l y s e l f - e v i d e n t . H o w e v e r ,

t h e d i s t i n c t i o n i s m a i n t a i n e d h e r e p u r p o s e f u l l y t o e m p h a s i s e t h a t t o k e n p a s s i n g i s n o t

r e s t r i c t e d t o H M M ' s . T h i s i s d i s c u s s e d f u r t h e r i n s e c t i o n 2 . 2

2



i j0p

ij

SpeechVectors

x x1 x t T......... ....

d jt

d11

WordModel

F i g u r e 1 : S t r u c t u r e o f a W o r d M o d e l

E q u a t i o n 2 w o u l d n o r m a l l y b e e v a l u a t e d b y r e p r e s e n t i n g s

j

( t ) a s a m a t r i x a s s h o w n i n

F i g u r e 2 , a n d c a l c u l a t i n g t h e m a t r i x e l e m e n t s c o l u m n b y c o l u m n . T h i s s t y l e o f e v a l u a t i o n

i s t h e b a s i s o f t h e G o d i n a n d L o c k w o o d p a p e r . T h e c e n t r a l p o i n t o f t h i s p a p e r , h o w e v e r ,

i s t h a t a n a l t e r n a t i v e s t y l e o f e v a l u a t i o n b a s e d o n t o k e n p a s s i n g l e a d s t o m u c h s i m p l e r a n d

m o r e p o w e r f u l g e n e r a l i s a t i o n .

L e t e a c h s t a t e o f a w o r d m o d e l b e c a p a b l e o f h o l d i n g a m o v e a b l e t o k e n w h e r e e a c h

t o k e n , f o r t h e m o m e n t a t l e a s t , h o l d s a s i n g l e a l i g n m e n t c o s t s o t h a t a t t i m e t , t h e t o k e n i n

s t a t e j h o l d s t h e v a l u e s

j

( t ) . I n t e r m s o f t h e s e t o k e n s , t h e a l g o r i t h m i m p l i e d b y e q u a t i o n 2

c a n b e r e f o r m u l a t e d ( s o m e w h a t i n f o r m a l l y ) a s f o l l o w s :

I n i t i a l i s a t i o n :

E a c h m o d e l i n i t i a l s t a t e h o l d s a t o k e n w i t h v a l u e 0 ;

A l l o t h e r s t a t e s h o l d a t o k e n w i t h v a l u e 1

A l g o r i t h m :

f o r t : = 1 t o T d o

f o r e a c h s t a t e i d o

P a s s a c o p y o f t h e t o k e n i n s t a t e i t o a l l c o n n e c t i n g

s t a t e s j , i n c r e m e n t i n g i t s s v a l u e b y p

i j

+ d

j

( t ) ;

e n d ;

D i s c a r d t h e o r i g i n a l t o k e n s ;

f o r e a c h s t a t e i d o

n d t h e t o k e n i n s t a t e i w i t h t h e s m a l l e s t s

v a l u e a n d d i s c a r d t h e r e s t

e n d ;

e n d ;

T e r m i n a t i o n :

E x a m i n e a l l n a l s t a t e s , t h e t o k e n w i t h t h e s m a l l e s t s v a l u e

g i v e s t h e r e q u i r e d m i n i m u m m a t c h i n g s c o r e .

3



ChooseMax

t-1 t

+d (t) j

+pijs (t-1)i

s (t) j

State

Time

Compute column at time tfrom column at time t-1

1 T

Smin

F i g u r e 2 : M a t r i x o f P a r t i a l A l i g n m e n t C o s t s

T h i s t o k e n p a s s i n g a l g o r i t h m i s i l l u s t r a t e d i n F i g u r e 3 . I t c o r r e s p o n d s t o a t i m e s y n -

c h r o n o u s s e a r c h s t r a t e g y i n w h i c h t h e a l i g n m e n t s r e p r e s e n t e d b y t h e t o k e n s a r e e a c h

a d v a n c e d b y o n e f r a m e o f t h e i n p u t f o r e v e r y c y c l e o f t h e m a i n l o o p . N o t i c e h e r e t h a t t h e

p o s s i b i l i t y o f h a v i n g m u l t i p l e i n i t i a l a n d n a l s t a t e s h a s b e e n a l l o w e d , t h i s i s n o t n e c e s s a r y

f o r i s o l a t e d w o r d r e c o g n i t i o n b u t w i l l b e n e e d e d l a t e r .

2 . 2 R e l a t i o n t o D T W a n d H M M - b a s e d P a t t e r n M a t c h i n g

A s n o t e d a b o v e , t h e c o r r e s p o n d e n c e b e t w e e n t h e t o k e n p a s s i n g m o d e l a n d h i d d e n M a r k o v

m o d e l s i s o b v i o u s a n d d i r e c t . F o r a H M M w i t h t r a n s i t i o n p r o b a b i l i t i e s a

i j

a n d o u t p u t

p r o b a b i l i t i e s b

j

( x ) , i f e a c h t r a n s i t i o n c o s t p

i j

i s s e t e q u a l t o ? l o g a

i j

a n d e a c h l o c a l c o s t

d

j

( t ) i s s e t e q u a l t o ? l o g b

j

( x ) t h e n e q u a t i o n 2 b e c o m e s

s

j

( t ) = m a x

i

f s

i

( t ? 1 ) + l o g a

i j

g + l o g b

j

( x ) ( 4 )

a n d s

j

( t ) n o w d e n o t e s t h e m a x i m u m l o g p r o b a b i l i t y o f t h e m o d e l b e i n g i n s t a t e j a f t e r

g e n e r a t i n g t h e s e q u e n c e x

1

x

T

. E q u a t i o n 4 i s t h e s t a n d a r d V i t e r b i d e c o d e r e q u a t i o n

f o r a H M M L e v i n s o n e t a l 1 9 8 3 ] .

F o r D T W , e a c h s t a t e o f t h e w o r d m o d e l i s a s s o c i a t e d w i t h a f r a m e o f t h e r e f e r e n c e

t e m p l a t e a n d a t o p o l o g y s i m i l a r t o t h a t s h o w n i n F i g u r e 1 i s a s s u m e d . I n t h i s c a s e , t h e

t r a n s i t i o n c o s t s p

i j

a r e s e t e q u a l t o x e d p e n a l t i e s o f H f o r t h e c a s e i = j a n d V f o r

t h e c a s e i = j ? 2 . A s s h o w n i n F i g u r e 4 , H d e n o t e s a n a d d i t i v e h o r i z o n t a l p e n a l t y a n d

V d e n o t e s a n a d d i t i v e v e r t i c a l p e n a l t y d e s i g n e d t o p e n a l i s e p a t h s t h r o u g h t h e d i s t a n c e

4



s

s

s

i

j

propagate andupdate tokens ateach time frame

keep best tokenarriving at each

state+p jk

+pik

+pkk

+d (t)k

F i g u r e 3 : B a s i c T o k e n P a s s i n g A l g o r i t h m

m a t r i x w h i c h s t r a y t o o f a r a w a y f r o m t h e d i a g o n a l . E a c h l o c a l c o s t d

j

( t ) i s s e t e q u a l t o

d ( j ; t ) t h e l o c a l d i s t a n c e b e t w e e n f r a m e j o f t h e r e f e r e n c e t e m p l a t e a n d f r a m e t o f t h e

u n k n o w n . E q u a t i o n 2 n o w b e c o m e s

s

j

( t ) = m i n

i

8

>

<

>

:

s

j

( t ? 1 ) + H

s

j ? 1

( t ? 1 ) + 0

s

j ? 2

( t ? 1 ) + V

9

>

=

>

;

+ d ( t ; j ) ( 5 )

a n d s

j

( t ) n o w d e n o t e s t h e p a r t i a l m i n i m u m a c c u m u l a t e d d i s t a n c e b e t w e e n t h e r s t t

f r a m e s o f t h e u n k n o w n a n d t h e r s t j f r a m e s o f t h e r e f e r e n c e . E q u a t i o n 5 i s t h e s t a n -

d a r d a s y m m e t r i c D y n a m i c P r o g r a m m i n g d e c i s i o n r u l e u s e d i n o n e f o r m o r a n o t h e r b y a l l

c o n n e c t e d w o r d a l g o r i t h m s .

T h e f a c t t h a t b o t h D T W a n d H M M - b a s e d r e c o g n i t i o n s h a r e s i m i l a r f o r m u l a e h a s b e e n

n o t e d b y o t h e r s B r i d l e 1 9 8 4 , J u a n g 1 9 8 4 ] . D T W i s e e c t i v e l y a s p e c i a l c a s e o f H M M

r e c o g n i t i o n .

2 . 3 C o n n e c t e d W o r d R e c o g n i t i o n

G i v e n t h e t o k e n p a s s i n g f r a m e w o r k o u t l i n e d i n s e c t i o n 2 . 1 , t h e e x t e n s i o n t o c o n n e c t e d

w o r d r e c o g n i t i o n i s t r i v i a l . T h e i n d i v i d u a l w o r d m o d e l s a r e s i m p l y c o n n e c t e d t o g e t h e r

i n t o a l o o p e d c o m p o s i t e m o d e l a s s h o w n i n F i g u r e 5 . T h e s a m e t o k e n p a s s i n g a l g o r i t h m

s t i l l a p p l i e s a l t h o u g h i t i s n o w e e c t i v e l y i m p l e m e n t i n g t h e O n e - P a s s ( O P ) a l g o r i t h m .

T h e t r a n s i t i o n c o s t s a s s o c i a t e d w i t h t h e e x t e r n a l a r c s o f t h e l o o p e d m o d e l c a n b e u s e d

t o r e e c t t h e r e l a t i v e f r e q u e n c i e s o f e a c h w o r d o c c u r r i n g i f t h i s i s k n o w n , o r m a d e e q u a l

o t h e r w i s e .

5



J

2

1

1 2 3

j

j-1

j-2

OptimalPath

T

TestFrame

Ref Frame

AsymmetricDecision Rule

t -1 t

+H

+V

Local Distanced(t,j)

J

2

1

1 2 3

j

j-1

j-2

OptimalPath

T

TestFrame

Ref Frame

AsymmetricDecision Rule

t -1 t

+H

+V

Local Distanced(t,j)

F i g u r e 4 : D T W R e c o g n i t i o n a s a P a t h S e a r c h P r o b l e m

one

two

three

tokens

F i g u r e 5 : C o n n e c t e d W o r d R e c o g n i t i o n b y T o k e n P a s s i n g

6



I n p r a c t i c e , o f c o u r s e , f o r c o n n e c t e d w o r d r e c o g n i t i o n , w e w i s h t o k n o w t h e i d e n t i t y

o f t h e b e s t m a t c h i n g w o r d s e q u e n c e n o t j u s t t h e o v e r a l l a l i g n m e n t c o s t . T o c a t e r f o r

t h i s , t h e b a s i c t o k e n p a s s i n g a l g o r i t h m i s e x t e n d e d a s f o l l o w s . T h e t o k e n s t h e m s e l v e s a r e

n o w a s s u m e d t o h o l d a p a t h i d e n t i e r a s w e l l a s t h e p a r t i a l a l i g n m e n t c o s t s . T h i s p a t h

i d e n t i e r i s s i m p l y a p o i n t e r t o a r e c o r d o f w o r d b o u n d a r y i n f o r m a t i o n w h i c h w i l l b e c a l l e d

a W o r d L i n k R e c o r d ( W L R ) . A t e a c h t i m e t , t h e f o l l o w i n g s t e p s a r e t a k e n i n a d d i t i o n t o

t h o s e l i s t e d i n t h e b a s i c a l g o r i t h m a b o v e

f o r e a c h t o k e n p r o p a g a t e d v i a a n e x t e r n a l a r c a t t i m e t d o

c r e a t e a n e w W L R c o n t a i n i n g

< t o k e n c o n t e n t s , t , i d e n t i t y o f e m i t t i n g w o r d m o d e l > ;

c h a n g e t h e p a t h i d e n t i e r o f t h e p r o p a g a t i n g t o k e n t o

p o i n t t o t h i s n e w r e c o r d

e n d

T h i s e x t e n s i o n t o t h e a l g o r i t h m i s i l l u s t r a t e d i n F i g u r e 6 . A s c a n b e s e e n , i t s e e c t i s

t h a t d u r i n g t o k e n p r o p a g a t i o n , p o t e n t i a l w o r d b o u n d a r i e s a r e r e c o r d e d i n a l i n k e d l i s t

s t r u c t u r e s u c h t h a t o n c o m p l e t i o n a t t i m e T , t h e p a t h i d e n t i e r h e l d i n t h e t o k e n w i t h

t h e m i n i m u m a l i g n m e n t c o s t c a n b e u s e d t o t r a c e b a c k t h r o u g h t h e l i n k e d l i s t t o n d t h e

b e s t m a t c h i n g w o r d s e q u e n c e a n d t h e c o r r e s p o n d i n g w o r d b o u n d a r y l o c a t i o n s .

s s ss

two onethree one

one

two

three

s

s

tokens

Word Link Records

score

path id

timemodel id

path id changed topoint to new WLR

before token ispropagated

t-3 t-2 t-1 t

F i g u r e 6 : R e c o r d i n g W o r d B o u n d a r y I n f o r m a t i o n

7



2 . 4 R e l a t i o n t o E x i s t i n g C o n n e c t e d W o r d A l g o r i t h m s

A s a l r e a d y n o t e d , t h e b a s i c l o o p e d c o m p o s i t e m o d e l s h o w n i n F i g u r e 5 a n d r e p r o d u c e d

a g a i n i n F i g u r e 7 ( a ) c o r r e s p o n d s d i r e c t l y t o t h e O n e P a s s ( O P ) a l g o r i t h m . T h e L e v e l

B u i l d i n g ( L B ) a l g o r i t h m i s i m p l e m e n t e d b y c o n n e c t i n g t h e m o d e l s i n a l e f t t o r i g h t s e -

q u e n c e a s s h o w n i n F i g u r e 7 ( b ) . C o m p a r i n g t h i s w i t h t h e e q u i v a l e n t O P a l g o r i t h m i t i s

c l e a r t h a t t h e O P a l g o r i t h m i s m u c h m o r e e c i e n t s i n c e b o t h t i m e a n d s p a c e c o m p l e x i t y

a r e p r o p o r t i o n a l t o t h e n u m b e r o f w o r d m o d e l i n s t a n c e s . A l s o , i t i s i n t e r e s t i n g t o n o t e t h a t

t h e L B a l g o r i t h m a s o r i g i n a l l y d e n e d b y M y e r s c a l c u l a t e s a l l 1 - l e n g t h s e q u e n c e m a t c h e s ,

t h e n a l l 2 - l e n g t h s e q u e n c e m a t c h e s , a n d s o o n , w h e r e a s t h e t o k e n p a s s i n g i m p l e m e n t a t i o n

s h o w n i n F i g u r e 7 b c a l c u l a t e s a l l l e v e l s i n p a r a l l e l . T h i s i m p l i e s t h a t t h e n e s t e d l o o p s i n

M y e r s ' a l g o r i t h m c a n b e r e o r d e r e d ; G o d i n a n d L o c k w o o d 1 9 8 9 ] s h o w t h a t t h i s i s i n d e e d

p o s s i b l e .

A

B

C

A

B

C

A

B

C

A

B

C

(a) One Pass

(b) Level Building

F i g u r e 7 : T h e O n e P a s s a n d L e v e l B u i l d i n g T o p o l o g i e s

F i g u r e s 8 ( a ) a n d 8 ( b ) i l l u s t r a t e t h a t t h e a p p l i c a t i o n o f n i t e s t a t e ( o r r e g u l a r g r a m m a r )

s y n t a c t i c c o n s t r a i n t s i n t h e t o k e n p a s s i n g s c h e m e i s a c h i e v e d t r i v i a l l y b y c o n n e c t i n g t h e

w o r d m o d e l s t o g e t h e r i n s u c h a w a y t h a t o n l y t h e r e q u i r e d w o r d s e q u e n c e s a r e a l l o w e d .

O n c e s y n t a x c o n s t r a i n t s a r e a p p l i e d , t h e d i s t i n c t i o n b e t w e e n t h e O P a n d L B a l g o r i t h m s

d i s a p p e a r s s i n c e t h e c h o i c e o f t o p o l o g y n o w d e p e n d s m o r e o n t h e r e q u i r e m e n t s o f s y n -

t a x t h a n o n p r e f e r e n c e s f o r o n e a l g o r i t h m o v e r a n o t h e r . T h u s , a l t h o u g h t h e s y n t a x i n

F i g u r e 8 ( a ) c o u l d b e s a i d t o b e O P - l i k e w h e r e a s t h a t i n F i g u r e 8 ( b ) c o u l d b e s a i d t o b e

L B - l i k e , t h e r e a l d i s t i n c t i o n i s w h e t h e r t h e m o r e p r e c i s e c o n s t r a i n t o e r e d b y ( b ) i s w o r t h

t h e e x t r a c o m p u t a t i o n a n d m e m o r y i m p l i e d b y t h e 4 - f o l d i n c r e a s e i n w o r d m o d e l i n s t a n c e s .

T h e O P a n d L B a l g o r i t h m s c a n t h e r e f o r e b e v i e w e d a s d i e r e n t s p e c i a l c a s e s o f t h e T o k e n

P a s s i n g a l g o r i t h m w i t h F i n i t e S t a t e s y n t a x c o n s t r a i n t s .

8



to

from

London

M anchester

(a)

fromto

Manchester

London

Manchester

London

(b)

from

Manchester

London

Manchester

London

to

F i g u r e 8 : S t y l e s o f S y n t a x C o n t r o l

2 . 5 W o r d M o d e l A b s t r a c t i o n

I n t h e p r e c e d i n g s e c t i o n s , i t h a s b e e n s h o w n t h a t t h e t o k e n p a s s i n g a p p r o a c h a l l o w s b o t h

t h e O P a n d L B c o n n e c t e d w o r d a l g o r i t h m s t o b e i m p l e m e n t e d u s i n g a s i n g l e a l g o r i t h m

s i m p l y b y c h o o s i n g a n a p p r o p r i a t e n e t w o r k t o p o l o g y . F u r t h e r m o r e , t h e i n d i v i d u a l w o r d

m o d e l s a p p l y e q u a l l y w e l l t o b o t h D y n a m i c T i m e W a r p a n d H i d d e n M a r k o v M o d e l t e c h -

n o l o g i e s .

A c r u c i a l a s p e c t o f t h e t o k e n p a s s i n g v i e w i s t h a t t h e w a y t h e i n d i v i d u a l w o r d m o d e l s

c o n t r i b u t e t o t h e o v e r a l l r e c o g n i t i o n p r o c e s s i s d e t e r m i n e d e n t i r e l y b y t h e o w o f t o k e n s

i n t o t h e m a n d a l l t h e b o o k - k e e p i n g n e c e s s a r y t o r e c o r d w o r d b o u n d a r y p o s i t i o n s a n d w o r d

i d e n t i t i e s d e p e n d s o n l y o n t h e o w o f t o k e n s o u t o f t h e m . T h u s , i t i s c l e a r t h a t a n y i n t e r n a l

p r o c e s s i n g c a r r i e d o u t w i t h i n a w o r d m o d e l c a n b e s e p a r a t e d f r o m t h e b e t w e e n - m o d e l

p r o c e s s i n g . H e n c e , i t i s p o s s i b l e t o v i e w w o r d m o d e l s a s a b s t r a c t u n i t s w h i c h t a k e t o k e n s a s

i n p u t a n d p r o d u c e t o k e n s a s o u t p u t . I n t h e f o l l o w i n g s e c t i o n , t h i s a b s t r a c t i o n w i l l b e u s e d

t o s i m p l i f y t h e d e s c r i p t i o n o f m o r e c o m p l e x c o n n e c t e d w o r d a l g o r i t h m s w h e r e t h e a c t u a l

o p e r a t i o n o f t h e w o r d m o d e l s i s r e p r e s e n t e d s i m p l y b y a p r o c e d u r e s t e p w o r d m o d e l s ( t )

w h i c h m e a n s t h a t o n e c y c l e o f t h e m a i n l o o p o f t h e a l g o r i t h m g i v e n i n s e c t i o n 2 . 1 i s

e x e c u t e d .

I n t h e t o k e n p a s s i n g s c h e m e , e a c h t o k e n e e c t i v e l y r e p r e s e n t s a m i n i m u m c o s t p a r t i a l

a l i g n m e n t o f a s e q u e n c e o f w o r d m o d e l s a g a i n s t t h a t p a r t o f t h e u n k n o w n s p e e c h w h i c h

h a s c u r r e n t l y b e e n s e e n . T h e p r o p a g a t i o n o f a t o k e n f r o m o n e w o r d m o d e l t o a n o t h e r

c o r r e s p o n d s t o a d d i n g t h a t f u r t h e r m o d e l t o t h e s e q u e n c e , a n d v i e w e d l i k e t h i s i t i s c l e a r

t h a t c o n t r o l l i n g t h e o w o f t o k e n s b e t w e e n w o r d m o d e l s c o r r e s p o n d s t o t h e i m p l e m e n t a t i o n

o f g r a m m a t i c a l c o n s t r a i n t s .

T h u s , a s s h o w n i n F i g u r e 9 , t r e a t i n g w o r d m o d e l s a s a b s t r a c t p a t t e r n m a t c h i n g u n i t s

e n a b l e s a s t a n d a r d i n t e r f a c e t o b e d e n e d b e t w e e n t h e h i g h l e v e l p r o c e s s i n g c o m p o n e n t s

9



HighLevel

Control

PatternMatchers

etcStandardInterface

tokens

F i g u r e 9 : S e p a r a t i o n o f H i g h L e v e l C o n t r o l f r o m L o w L e v e l P a t t e r n M a t c h i n g

( s y n t a x c o n s t r a i n t s , p a r s i n g , d i a l o g u e c o n t r o l , e t c ) o f a s y s t e m a n d t h e l o w l e v e l p a t t e r n

m a t c h i n g . T h e e x i s t e n c e o f t h i s s t a n d a r d i n t e r f a c e a l l o w s a s p e e c h r e c o g n i t i o n a r c h i t e c t u r e

t o b e b u i l t w h i c h i s e s s e n t i a l l y i n d e p e n d e n t o f t h e u n d e r l y i n g p a t t e r n m a t c h i n g t e c h n o l o g y

u s e d s i n c e i t d o e s n o t m a t t e r h o w t h e s t e p w o r d m o d e l s p r o c e d u r e i s a c t u a l l y i m p l e m e n t e d .

E x t e r n a l l y , a l l t h a t i s r e q u i r e d i s t h a t a t t i m e t e a c h w o r d m o d e l c o n s u m e s t h e t o k e n a t i t s

i n p u t r e p r e s e n t i n g t h e b e s t m a t c h b e t w e e n s o m e s e q u e n c e o f m o d e l s a n d t h e s e g m e n t o f

i n p u t s p e e c h f r o m 1 t o t ? 1 , a n d t h e n o u t p u t s a t o k e n r e p r e s e n t i n g t h e b e s t m a t c h b e t w e e n

s o m e s e q u e n c e o f m o d e l s e n d i n g w i t h t h a t m o d e l a n d t h e s e g m e n t o f i n p u t s p e e c h f r o m 1

t o t . A s a n e x a m p l e , t h i s a p p r o a c h w a s t a k e n i n t h e A l v e y V O D I S p r o j e c t Y o u n g 1 9 8 6 ,

Y o u n g e t a l 1 9 8 8 ] . T h e i n i t i a l V O D I S a r c h i t e c t u r e w a s b u i l t a r o u n d w o r d m o d e l s b a s e d

o n D T W m a t c h i n g a n d i m p l e m e n t e d i n h a r d w a r e b u t f o l l o w - o n w o r k h a s c o n c e n t r a t e d o n

H M M - b a s e d w o r d m o d e l s w i t h m i n i m a l c h a n g e t o t h e o v e r a l l s y s t e m .

3 E x t e n s i o n s t o t h e M o d e l

I n a n y c o n t i n u o u s s p e e c h r e c o g n i t i o n s y s t e m , p r o p e r u s e o f s y n t a c t i c c o n s t r a i n t s i s v i t a l

t o a c h i e v i n g a c c e p t a b l e r e c o g n i t i o n p e r f o r m a n c e . T h e s e c o n s t r a i n t s a r e u s u a l l y a p p l i e d

a p r i o r i b y l i m i t i n g t h e c o n n e c t i o n s b e t w e e n w o r d m o d e l s a s d e s c r i b e d a b o v e . T h e n e t

r e s u l t o f a p p l y i n g s y n t a c t i c k n o w l e d g e i n t h i s w a y i s t h a t t h e s y s t e m c o m p u t e s t h e b e s t

m a t c h i n g s e q u e n c e o f w o r d m o d e l s t h a t c o n f o r m t o t h e r e g u l a r g r a m m a r i m p l i e d b y t h e

n i t e s t a t e n e t w o r k o f w o r d m o d e l c o n n e c t i o n s . F o r c e r t a i n t y p e s o f a p p l i c a t i o n w h e r e t h e

i n p u t l a n g u a g e i s s m a l l a n d u s e r s c a n b e t r a i n e d t o a d h e r e t o i t , t h i s b a s i c s c h e m e w o r k s

v e r y w e l l . H o w e v e r , w h e r e m o r e a m b i t i o u s g r a m m a r s a r e n e e d e d o r w h e r e u s e r s c a n n o t

b e t r a i n e d t o s p e a k w i t h i n t h e p r e s c r i b e d s y n t a c t i c f o r m s ( s u c h a s i n a d a t a b a s e i n q u i r y

1 0



s y s t e m f o r u s e b y t h e g e n e r a l p u b l i c ) , t h e r e a r e p r o b l e m s .

A r e g u l a r g r a m m a r c o v e r i n g a l a r g e i n p u t l a n g u a g e m a y f a i l t o p r o v i d e s u c i e n t l y

t i g h t c o n s t r a i n t s . T h i s i s p a r t i c u l a r l y t r u e w h e n t h e i n p u t l a n g u a g e i s a c t u a l l y s p e c i e d i n

t e r m s o f c o n t e x t f r e e r u l e s ( w h i c h a r e m u c h m o r e i n t u i t i v e t o t h e a p p l i c a t i o n d e s i g n e r ) a n d

t h e n c o m p i l e d a u t o m a t i c a l l y i n t o a n a p p r o x i m a t e l y e q u i v a l e n t n i t e s t a t e n e t w o r k . S i n c e

a n y n i t e s t a t e ( i . e . r e g u l a r ) g r a m m a r w h o s e l a n g u a g e i n c l u d e s a l l t h e s t r i n g s o f s o m e

d e s i r e d c o n t e x t f r e e l a n g u a g e m u s t i n g e n e r a l a l s o i n c l u d e m a n y s t r i n g s n o t i n t h e c o n t e x t

f r e e l a n g u a g e , c o m p i l a t i o n w i l l i n e v i t a b l y i m p l y a w e a k e n i n g o f c o n s t r a i n t s . T h u s , t h e r e

m a y b e s o m e a d v a n t a g e i n b e i n g a b l e t o a p p l y c o n t e x t f r e e c o n s t r a i n t s d i r e c t l y w i t h i n

c o n n e c t e d w o r d a l g o r i t h m s .

H o w e v e r , s y s t e m s w h i c h r e l y o n s t r o n g a p r i o r i s y n t a c t i c c o n s t r a i n t s a r e n o t r o b u s t

a g a i n s t s p e a k e r s w h o s t r a y o u t s i d e o f t h e p r e s c r i b e d g r a m m a r . A n a l t e r n a t i v e a p p r o a c h

i s t h e r e f o r e t o e x t e n d t h e b a s i c c o n n e c t e d w o r d a l g o r i t h m t o g e n e r a t e a l a t t i c e o f w o r d

a l t e r n a t i v e s r a t h e r t h a n t h e s i n g l e b e s t m a t c h i n g s e q u e n c e . S y n t a c t i c k n o w l e d g e c a n t h e n

b e a p p l i e d i n a n a p o s t e r i o r i p a r s i n g p h a s e r a t h e r t h a n b y a p r i o r i c o n s t r a i n t s g i v i n g m o r e

e x i b i l i t y i n t h e d e s i g n o f e r r o r r e c o v e r y s t r a t e g i e s .

I n t h i s s e c t i o n , t h e i m p l e m e n t a t i o n o f d i r e c t c o n t e x t f r e e c o n s t r a i n t s a n d t h e g e n e r a t i o n

o f a l t e r n a t i v e s w i l l b e d e s c r i b e d . A l t h o u g h t h e s e t w o m e c h a n i s m s a p p e a r t o b e m u t u a l l y

e x c l u s i v e , t h i s i s n o t , i n f a c t , t h e c a s e . G e n e r a t i n g m u l t i p l e a l t e r n a t i v e s i n c o m b i n a t i o n

w i t h s t r o n g a p r i o r i s y n t a c t i c c o n s t r a i n t s s i m p l y m e a n s t h a t a l l t h e a l t e r n a t i v e s w i l l b e

g r a m m a t i c a l l y c o r r e c t . S u b s e q u e n t s e m a n t i c / p r a g m a t i c p r o c e s s i n g m a y , h o w e v e r , s t i l l b e

a b l e t o b e n e t f r o m t h e a v a i l a b i l i t y o f a l t e r n a t i v e s . F u r t h e r m o r e , w i t h m u l t i p l e a l t e r n a -

t i v e s , i t i s i m p o r t a n t t o b e a b l e t o f o c u s t h e g e n e r a t i o n p r o c e s s o n t h o s e p a r t s o f t h e

u t t e r a n c e t h a t a r e m o s t l i k e l y t o c o n t a i n i m p o r t a n t i n f o r m a t i o n . T h i s c a n b e d o n e e a s i l y

i n c o n j u n c t i o n w i t h a d i r e c t c o n t e x t f r e e c o n s t r a i n t m e c h a n i s m s i n c e e a c h n o n - t e r m i n a l

o f t h e g r a m m a r d o m i n a t e s a d e n i t e s u b s t r i n g o f t e r m i n a l s . H e n c e , a s p e c i c a t i o n o f t h e

n u m b e r o f a l t e r n a t i v e s t o a l l o w c a n b e a s s o c i a t e d w i t h e a c h n o n - t e r m i n a l . T h e r e i s n o

c o r r e s p o n d i n g e n t i t y i n a n i t e s t a t e g r a m m a r m a k i n g i t m u c h m o r e d i c u l t t o c o n t r o l

t h e g e n e r a t i o n a l t e r n a t i v e s .

I n f a c t , t h e o p t i m a l c o m b i n a t i o n o f t h e t w o m e c h a n i s m s s e e m s t o b e t o u s e a w e a k e n e d

s e t o f c o n t e x t f r e e r u l e s f o r t h e a p r i o r i c o n s t r a i n t s , g e n e r a t e m u l t i p l e a l t e r n a t i v e s a n d t h e n

u s e t h e f u l l s e t o f r u l e s f o r a p o s t e r i o r i p a r s i n g . T h i s i s d i s c u s s e d f u r t h e r i n t h e S e c t i o n 4 .

3 . 1 D i r e c t C o n t e x t F r e e G r a m m a r C o n s t r a i n t s

F o r t h e d i r e c t c o n t e x t f r e e g r a m m a r c o n s t r a i n t m e c h a n i s m d e s c r i b e d h e r e , i t i s a s s u m e d

t h a t t h e a l l o w e d i n p u t l a n g u a g e i s d e n e d b y a s e t o f e x t e n d e d B N F p r o d u c t i o n r u l e s

W i r t h 1 9 7 6 ] . I n o r d e r t o a p p l y c o n t e x t f r e e g r a m m a r c o n s t r a i n t s w i t h i n t h e t o k e n p a s s i n g

s c h e m e , t h e s e g r a m m a r r u l e s a r e c o m p i l e d i n t o a s e t o f l i n k e d s y n t a x n e t w o r k s o f t h e f o r m

i l l u s t r a t e d b y F i g u r e 1 0 .

T h e n o d e s o f e a c h s y n t a x n e t w o r k a r e o f t h r e e t y p e s : l i n k s , t e r m i n a l s , a n d n o n -

t e r m i n a l s . L i n k n o d e s a r e u s e d t o s t o r e t o k e n s a n d a r e t h e p o i n t s w h e r e r e c o g n i t i o n

d e c i s i o n s a r e r e c o r d e d . T e r m i n a l n o d e s c o r r e s p o n d t o w o r d m o d e l s a n d n o n - t e r m i n a l

n o d e s r e f e r t o s e p a r a t e s u b - s y n t a x n e t w o r k s r e p r e s e n t i n g t h e R H S o f t h e c o r r e s p o n d i n g

g r a m m a r r u l e . N e i t h e r w o r d m o d e l s n o r s u b s y n t a x n e t w o r k s a r e s h a r e d a n d h e n c e t h e r e i s

a u n i q u e i n s t a n c e o f a w o r d m o d e l o r s u b - s y n t a x n e t w o r k f o r e v e r y r e f e r e n c e t o a t e r m i n a l

1 1



journey #nb=2# = toplace [fromplace | when]

toplace = to place

place #nb=3# = London | Leeds | York | ...

Fragment of Context Free Rules

Compile

toplace when

fromplace

placeto

York Leeds

London

to London

Word Models

Collect

Exit

Tokens

Propagate

Entry

Tokens

Word Link Records

Link Node Processing

F i g u r e 1 0 : I m p l e m e n t i n g D i r e c t C o n t e x t F r e e C o n s t r a i n t s

1 2



o r n o n - t e r m i n a l i n t h e r u l e s . N o t i c e t h a t t h i s i m p l i e s t h a t r e c u r s i v e r u l e s , w h o s e e x p a n s i o n

w o u l d r e q u i r e i n n i t e l y m a n y i n s t a n c e s , c a n n o t b e a l l o w e d . T h e e x t e n d e d B N F f o r m a l i s m

f o r t h e g r a m m a r r u l e s , h o w e v e r , a l l o w s l o o p s a n d b r a n c h e s t o b e i n c l u d e d a n d t h e s e c a n

b e h a n d l e d w i t h i n t h e c o n s t r a i n t s c h e m e w i t h o u t a n y d i c u l t y s o t h e r e i s l i t t l e r e a l l o s s

o f e x p r e s s i v e p o w e r .

T h e t h r e e t y p e s o f n o d e a r e c o m b i n e d i n s u c h a w a y t h a t e v e r y a r c c o n n e c t s e i t h e r

a t e r m i n a l o r a n o n - t e r m i n a l t o a l i n k n o d e , o r v i c e v e r s a . E a c h s y n t a x n e t w o r k h a s

e x a c t l y o n e e n t r y , o n e e x i t a n d z e r o o r m o r e i n t e r n a l l i n k n o d e s . E v e r y t e r m i n a l a n d

n o n - t e r m i n a l n o d e w i l l h a v e e x a c t l y o n e a r c l e a d i n g i n t o i t , w h e r e a s e a c h l i n k n o d e m a y

h a v e a n y n u m b e r . L i n k n o d e s c a n t h u s b e v i e w e d a s l t e r s w h i c h r e m o v e a l l b u t t h e b e s t

( i e l o w e s t c o s t ) t o k e n s p a s s i n g t h r o u g h t h e m .

G i v e n t h e a b o v e r e p r e s e n t a t i o n o f t h e c o n t e x t f r e e g r a m m a r c o n s t r a i n t s , i m p l e m e n t a -

t i o n o f c o n n e c t e d w o r d r e c o g n i t i o n u s i n g t h e t o k e n p a s s i n g f r a m e w o r k i s r e l a t i v e l y s t r a i g h t -

f o r w a r d . T h e b a s i c i d e a i s t h a t t o k e n s p r o p a g a t e t h r o u g h t h e n e t w o r k s j u s t a s i n t h e n i t e

s t a t e c a s e , h o w e v e r , w h e n a t o k e n e n t e r s a n o n - t e r m i n a l n o d e i t i s t r a n s f e r r e d d o w n t o t h e

e n t r y n o d e o f t h e c o r r e s p o n d i n g s u b - s y n t a x , a n d w h e n a t o k e n e n t e r s a t e r m i n a l n o d e i t

i s t r a n s f e r r e d t o t h e e n t r y n o d e o f t h e c o r r e s p o n d i n g w o r d m o d e l . S i m i l a r l y , w h e n t o k e n s

r e a c h t h e e x i t o f w o r d m o d e l s a n d s u b - s y n t a x e s , t h e y a r e t r a n s f e r r e d b a c k u p t o t h e n o d e

w h i c h o w n s t h e m . T h i s o w o f t o k e n s i s i l l u s t r a t e d i n F i g u r e 1 0 . T h e d o t t e d l i n e a c r o s s

t h i s g u r e c o r r e s p o n d s t o t h e S t a n d a r d I n t e r f a c e s h o w n e a r l i e r i n F i g u r e 9 . T h e o w o f

t o k e n s a c r o s s t h i s i n t e r f a c e w i l l b e s u c h t h a t t h e s e q u e n c e o f w o r d m o d e l s v i s i t e d b y a n y

t o k e n w i l l c o n f o r m t o t h e c o n t e x t f r e e g r a m m a r r u l e s .

I n m o r e d e t a i l , t h e a l g o r i t h m f o r c o n n e c t e d w o r d r e c o g n i t i o n w i t h c o n t e x t f r e e g r a m m a r

r u l e c o n s t r a i n t s i s a s f o l l o w s :

I n i t i a l i s a t i o n :

S t o r e a t o k e n w i t h c o s t s = 0 i n t h e e n t r y n o d e o f t h e t o p l e v e l s y n t a x ;

S t o r e a t o k e n w i t h c o s t s = 1 i n a l l o t h e r l i n k n o d e s

A l g o r i t h m :

f o r t : = 1 t o T d o

P r o p a g a t e e n t r y t o k e n s ( t o p l e v e l ) ;

C o p y t o k e n s f r o m a l l t e r m i n a l n o d e s i n t o t h e e n t r y n o d e s

o f t h e c o r r e s p o n d i n g w o r d m o d e l s ;

S t e p w o r d m o d e l s ( t ) ;

C o p y t h e t o k e n s f r o m e x i t n o d e s o f a l l w o r d m o d e l s b a c k t o

t h e c o r r e s p o n d i n g t e r m i n a l n o d e s ;

P r o p a g a t e e x i t t o k e n s ( t o p l e v e l )

e n d ;

T e r m i n a t i o n :

T h e t o k e n s t o r e d i n t h e e x i t n o d e o f t h e t o p l e v e l s y n t a x

g i v e s t h e r e q u i r e d b e s t m a t c h i n g w o r d m o d e l s e q u e n c e .

T h e t w o p r o c e d u r e s w h i c h h a n d l e t o k e n p r o p a g a t i o n P r o p a g a t e e n t r y t o k e n s a n d P r o p -

a g a t e e x i t t o k e n s a r e r e c u r s i v e l y d e n e d a s f o l l o w s :

1 3



P r o p a g a t e e n t r y t o k e n s ( s : s y n t a x ) :

f o r e a c h l i n k n o d e l i n s y n t a x s d o

f o r e a c h n o d e n f o l l o w i n g l d o

C o p y t o k e n i n l i n t o n ;

i f n i s n o n - t e r m i n a l t h e n

C o p y t o k e n i n n t o e n t r y n o d e o f

c o r r e s p o n d i n g s u b - s y n t a x ;

P r o p a g a t e e n t r y t o k e n s ( n )

e n d

e n d ;

S t o r e a t o k e n w i t h c o s t s = 1 i n l

e n d ;

P r o p a g a t e e x i t t o k e n s ( s : s y n t a x ) :

f o r e a c h l i n k n o d e l i n s y n t a x s d o

f o r e a c h n o d e n p r e c e d i n g l d o

i f n i s n o n - t e r m i n a l t h e n

P r o p a g a t e e x i t t o k e n s ( n ) ;

C o p y t o k e n i n e x i t n o d e o f s u b - s y n t a x n b a c k t o

c o r r e s p o n d i n g n o n - t e r m i n a l n o d e

e n d ;

F i l t e r t o k e n s ( n ; l )

e n d ;

R e c o r d d e c i s i o n s ( l )

e n d ;

I f t h e c o n t e x t f r e e g r a m m a r i s s t o c h a s t i c t h e n e a c h a r c o f t h e s y n t a x n e t w o r k s w i l l

c a r r y a t r a n s i t i o n c o s t e x a c t l y t h e s a m e a s w i t h i n t h e w o r d m o d e l s . T h e t o k e n p r o p a g a t i o n

p r o c e d u r e s m u s t t h e n b e m o d i e d t o a d d t h e s e c o s t s t o t h e t o k e n s a s t h e y a r e p r o p a g a t e d .

T h e p r o c e d u r e F i l t e r t o k e n s i s c a l l e d o n c e f o r e a c h n o d e n p r e c e d i n g a g i v e n l i n k l I t

s i m p l y e x a m i n e s t h e t o k e n i n l a n d i f t h e c o s t o f t h e t o k e n i n l e x c e e d s t h a t o f t h e t o k e n

i n n t h e n t h e t o k e n i n l i s r e p l a c e d b y t h e t o k e n i n n . T h e p r o c e d u r e R e c o r d d e c i s i o n s i s

c a l l e d o n c e f o r e a c h l i n k l a f t e r a l l t o k e n l t e r i n g h a s b e e n c o m p l e t e d . I t s i m p l y c r e a t e s a

W L R f o r t h e t o k e n i n l ( s e e S e c t i o n 2 . 3 ) a n d c h a n g e s t h e p a t h i d e n t i e r o f t h a t t o k e n t o

p o i n t t o t h e n e w W L R .

O n c o m p l e t i o n o f t h e a b o v e a l g o r i t h m , t h e e x i t n o d e o f t h e t o p l e v e l s y n t a x w i l l h o l d

a t o k e n w h o s e p a t h i d e n t i e r p o i n t s t o a W L R c o r r e s p o n d i n g t o t h e l a s t w o r d i n t h e

r e c o g n i s e d s e q u e n c e . T r a c i n g b a c k f r o m t h i s W L R t o p r e c e d i n g W L R ' s v i a t h e i r p a t h

i d e n t i e r s t h e n y i e l d s t h e a c t u a l r e c o g n i s e d w o r d s e q u e n c e .

3 . 2 G e n e r a t i n g M u l t i p l e A l t e r n a t i v e s

O b t a i n i n g m u l t i p l e a l t e r n a t i v e w o r d m a t c h e s i n t h e b a s i c T o k e n P a s s i n g s c h e m e i s a c h i e v e d

b y r e c o r d i n g t h e N - b e s t ( i . e . l o w e s t c o s t ) t o k e n s e m i t t e d a t e a c h s y n t a c t i c a l l y d i s t i n c t w o r d

b o u n d a r y i n s t e a d o f j u s t t h e b e s t . N o t e , h o w e v e r , t h a t o n l y t h e b e s t t o k e n i s a c t u a l l y

p r o p a g a t e d a s b e f o r e . S i n c e t h e t o t a l c o s t a t e a c h p o t e n t i a l w o r d b o u n d a r y i s r e c o r d e d

i n t h e W o r d L i n k R e c o r d s , t h e c o s t f o r e a c h i n d i v i d u a l w o r d n c a n e a s i l y b e d e t e r m i n e d

1 4



b y s u b t r a c t i n g t h e c o s t a t w o r d b o u n d a r y n ? 1 f r o m t h e c o s t a t w o r d b o u n d a r y n O n

c o m p l e t i o n o f t h e r e c o g n i t i o n p r o c e s s i n g , t h e W L R ' s c a n b e c o n v e r t e d t o a l a t t i c e o f

a l t e r n a t i v e w o r d m a t c h e s a n d t h e n p r o c e s s e d b y a C h a r t p a r s e r W i n o g r a d 1 9 8 3 ] . T h i s

p r o c e s s i s i l l u s t r a t e d i n F i g u r e 1 1 .

A

B C A

AA B B

B

C CC

1 2 .... TTime

Rank

Record N-best tokens emitted at each word boundary

Convert to a Chart

A

B

CA

A

C

B

alt

alt

F i g u r e 1 1 : R e c o r d i n g M u l t i p l e W o r d M a t c h e s

T o g e n e r a t e m u l t i p l e a l t e r n a t i v e s w i t h t h e s y s t e m o f d i r e c t c o n t e x t f r e e c o n s t r a i n t s

d e s c r i b e d a b o v e , i t i s o n l y n e c e s s a r y t o m o d i f y t h e F i l t e r t o k e n s a n d R e c o r d d e c i s i o n s

p r o c e d u r e s . T h e F i l t e r t o k e n s p r o c e d u r e n o w m a i n t a i n s a l i s t o f u p t o N t o k e n s f o r e a c h

l i n k n o d e l . F o r e a c h t e r m i n a l o r n o n - t e r m i n a l n o d e n p r e c e d i n g l , t h e t o k e n i n n i s o n l y

a d d e d t o t h e l i s t f o r l i f t h e r e a r e n o t a l r e a d y N l o w e r c o s t t o k e n s s t o r e d i n l . A f t e r

a l l p r o c e s s i n g b y F i l t e r t o k e n s f o r l i n k n o d e l h a s b e e n c o m p l e t e d , t h e R e c o r d d e c i s i o n s

p r o c e d u r e c r e a t e s a W L R f o r e a c h t o k e n s t o r e d i n l l i n k i n g t h e m t o g e t h e r b y a n a d d i t i o n a l

a l t e l d . I t t h e n d i s c a r d s a l l t o k e n s e x c e p t t h e b e s t a n d c h a n g e s t h e p a t h i d e n t i e r o f t h a t

b e s t t o k e n t o p o i n t t o t h e c o r r e s p o n d i n g W L R . T h e n u m b e r o f t o k e n s s a v e d a t a l i n k n o d e

c a n b e s e t i n d i v i d u a l l y f o r e a c h c o r r e s p o n d i n g r u l e e n a b l i n g t h e g e n e r a t i o n o f a l t e r n a t i v e s

t o b e f o c u s s e d o n t h e s e m a n t i c a l l y r i c h r e g i o n s o f t h e i n p u t . T h u s , f o r e x a m p l e , i n F i g u r e

1 0 t h e p a r a m e t e r n b a t t a c h e d t o t h e n o n - t e r m i n a l s j o u r n e y a n d p l a c e i n d i c a t e t h a t t h e

b e s t t w o a l t e r n a t i v e s f o r a j o u r n e y a n d t h e b e s t t h r e e a l t e r n a t i v e s f o r a p l a c e s h o u l d b e

s a v e d .

T h e W o r d L a t t i c e s g e n e r a t e d b y t h e a b o v e p r o c e d u r e s d o n o t n e c e s s a r i l y i n c l u d e t h e N -

b e s t m a t c h i n g s e q u e n c e s s i n c e t h e T o k e n P a s s i n g s y s t e m ( i n c o m m o n w i t h t h e c o n v e n t i o n a l

O n e P a s s a l g o r i t h m ) i s s u c h t h a t a w o r d m a t c h i s a v a i l a b l e f o r e v e r y p o s s i b l e e n d - p o i n t

1 5



b u t n o t e v e r y p o s s i b l e s t a r t - p o i n t . T h i s i s a n i n t r i n s i c f e a t u r e o f t h e a l g o r i t h m w h i c h

i s e s s e n t i a l t o i t s e c i e n c y . W h e n t o k e n s e n t e r t h e s a m e n o d e , t h e y c o m p e t e a n d o n l y

t h e b e s t i s p r o p a g a t e d . I f t h e a c t u a l N - b e s t m a t c h i n g s e q u e n c e s a r e r e q u i r e d t h e n w o r d

m a t c h e s m u s t b e c o m p u t e d f o r e v e r y p o s s i b l e s t a r t a n d e n d p o i n t . T h e N - b e s t s e q u e n c e s

c a n t h e n b e f o u n d b y d y n a m i c p r o g r a m m i n g Y o u n g 1 9 8 4 ] . S u c h a p r o c e d u r e i s , h o w e v e r ,

c o m p u t a t i o n a l l y e x p e n s i v e . A l t h o u g h s u b - o p t i m a l , t h e p r o c e d u r e d e s c r i b e d h e r e i s v e r y

c h e a p t o c o m p u t e a n d , i n p r a c t i c e , d o e s a p p e a r t o g e n e r a t e u s e f u l a l t e r n a t i v e s .

4 A n E x a m p l e A p p l i c a t i o n

T h e p r e c e d i n g s e c t i o n s h a v e d e s c r i b e d t h e T o k e n P a s s i n g a p p r o a c h t o t h e d e s i g n o f c o n -

n e c t e d w o r d r e c o g n i t i o n s y s t e m s a n d h a v e s h o w n h o w i t c a n b e e x t e n d e d t o g e n e r a t e

m u l t i p l e a l t e r n a t i v e s . I n t h i s s e c t i o n , a n a p p l i c a t i o n o f T o k e n P a s s i n g i n t h e d e s i g n o f

a V o i c e O p e r a t e d D a t a b a s e I n q u i r y S y s t e m ( V O D I S ) w i l l b e b r i e y d e s c r i b e d a n d s o m e

e x p e r i m e n t a l r e s u l t s p r e s e n t e d t o i n d i c a t e t h e r e l a t i v e a d v a n t a g e s o f t h e v a r i o u s p o s s i b l e

c o m b i n a t i o n s o f a p r i o r i a n d a p o s t e r i o r i s y n t a c t i c p r o c e s s i n g .

4 . 1 T h e V O D I S P r o j e c t

T h e U K A l v e y - s p o n s o r e d V O D I S p r o j e c t w a s a t h r e e y e a r c o l l a b o r a t i v e v e n t u r e b e t w e e n

B r i t i s h T e l e c o m , L o g i c a a n d C a m b r i d g e U n i v e r s i t y E n g i n e e r i n g D e p a r t m e n t . T h e p r o j e c t

w a s n o t c o n c e r n e d w i t h r e c o g n i t i o n a l g o r i t h m d e v e l o p m e n t p e r s e , r a t h e r i t w a s c o n c e r n e d

w i t h t h o s e a s p e c t s o f v o i c e - b a s e d s y s t e m d e s i g n w h i c h a r o s e f r o m i t s i n t e n d e d u s e a s

a t e l e p h o n e - b a s e d c o n v e r s a t i o n a l q u e s t i o n / a n s w e r s y s t e m f o r t h e g e n e r a l p u b l i c . T h e

e x a m p l e a p p l i c a t i o n a r e a t a c k l e d w a s t h a t o f T r a i n T i m e t a b l e I n q u i r i e s .

F i g u r e 1 2 s h o w s a b l o c k d i a g r a m o f t h e n a l V O D I S a r c h i t e c t u r e . T h e c e n t r a l c o n t r o l o f

t h e V O D I S s y s t e m r e s i d e s i n a f r a m e - b a s e d D i a l o g u e C o n t r o l l e r ( D C ) Y o u n g & P r o c t o r 1 9 8 9 ] .

T h e D C o p e r a t e s i n c y c l e s a s k i n g t h e u s e r q u e s t i o n s a n d p r o c e s s i n g t h e r e p l i e s u n t i l h i s

o r h e r q u e r y i s f u l l y u n d e r s t o o d .

T h e s y s t e m ' s k n o w l e d g e o f s y n t a x a n d s e m a n t i c s i s i n t h e f o r m o f C o n t e x t F r e e G r a m -

m a r r u l e s s t o r e d i n t h e R u l e D a t a b a s e . A t t h e s t a r t o f e a c h r e c o g n i t i o n c y c l e , t h e D C

a c t i v a t e s t w o d i s t i n c t c o n t e x t u a l l y r e l e v a n t r u l e s u b s e t s i n t h e R u l e D a t a b a s e . O n e o f

t h e s e s u b s e t s i s u s e d t o a p p l y a p r i o r i s y n t a c t i c c o n s t r a i n t s t o t h e s u b s e q u e n t p a t t e r n

m a t c h i n g a n d t h e o t h e r i s u s e d f o r t h e a p o s t e r i o r i p a r s i n g .

T h e a c t u a l s p e e c h r e c o g n i t i o n t a k e s p l a c e a t t w o l e v e l s : w o r d l e v e l a n d p h r a s e l e v e l .

A t t h e w o r d l e v e l , t h e i n p u t s p e e c h i s m a t c h e d f r a m e s y n c h r o n o u s l y w i t h t h e w o r d m o d e l s

u s i n g t h e D T W v a r i a n t o f t h e b a s i c T o k e n P a s s i n g s c h e m e d e s c r i b e d i n s e c t i o n 2 . T o

h a n d l e i n t e r w o r d p a u s e s , e a c h w o r d m o d e l h a s b e e n a u g m e n t e d t o i n c l u d e a n o p t i o n a l

p r e c e d i n g l o o p e d s i l e n c e s t a t e . A l s o , e a c h w o r d m o d e l h a s a x e d c o s t p e r f r a m e W i l d c a r d

c o n n e c t e d i n p a r a l l e l w i t h i t t o p l a c e a n u p p e r l i m i t o n t h e c o s t o f a m a t c h . A t t h e p h r a s e

l e v e l , t h e o w o f t o k e n s b e t w e e n w o r d m o d e l s i s c o n t r o l l e d b y t r a n s i t i o n n e t w o r k s b u i l t

a u t o m a t i c a l l y f r o m t h e g r a m m a r a n d m u l t i p l e a l t e r n a t i v e s a r e r e c o r d e d a s d e s c r i b e d i n

s e c t i o n 3 .

O n c e t h e i n p u t s p e e c h h a s b e e n c o n s u m e d , t h e r e c o r d e d w o r d b o u n d a r y i n f o r m a -

t i o n i n t h e W L R l i s t s i s c o n v e r t e d t o a C h a r t o f w o r d a l t e r n a t i v e s a n d p r o c e s s e d b y a

C h a r t P a r s e r . T h i s C h a r t P a r s e r i s a m o d i e d f o r m o f t h e s t a n d a r d B o t t o m - U p a l g o r i t h m

1 6



DialogueController

Context FreeGrammar

RuleDatabase

ChartParser

SpeechOutput

Subsystem

Phrase-LevelMatching

USER

Word-LevelMatching

InputRules

Frame

PathScores

SpeechInput

ActivatedRecognitionConstraint

Rules

WordLattice

Database

Activated

ParserRules

F i g u r e 1 2 : V O D I S I I S y s t e m A r c h i t e c t u r e

1 7



W i n o g r a d 1 9 8 3 ] i n w h i c h t h e c o n c e p t o f a n a c t i v e e d g e a n d a n a g e n d a h a s b e e n d i s p e n s e d

w i t h . I n s t e a d , i n a c t i v e e d g e s a r e b u i l t a n d v e r t i c e s a r e p r o c e s s e d i n a x e d r i g h t t o l e f t

o r d e r . W h e n a c o m p l e t e p a r s e i s r e q u i r e d ( i . e . a l l s y n t a c t i c a l l y v a l i d i n t e r p r e t a t i o n s a r e

w a n t e d ) , t h i s m o d i e d a l g o r i t h m i s f u n c t i o n a l l y i d e n t i c a l t o t h e s t a n d a r d a l g o r i t h m b u t

e x e c u t e s a n o r d e r o f m a g n i t u d e f a s t e r a n d u s e s l e s s m e m o r y .

W h e n t h e f u l l c h a r t h a s b e e n b u i l t , i t w i l l c o n s i s t o f a l a r g e n u m b e r o f a r c s ( o r e d g e s i n

C h a r t P a r s i n g t e r m i n o l o g y ) s p a n n i n g s e g m e n t s o f t h e i n p u t . T h e P a r s e r i n i t i a l l y a s s i g n s

a c o s t t o e a c h t e r m i n a l e d g e e q u a l t o t h e m a t c h i n g c o s t c o m p u t e d b y t h e c o r r e s p o n d i n g

w o r d m o d e l . E a c h h i g h e r l e v e l s p a n n i n g e d g e i s t h e n a s s i g n e d a s c o r e e q u a l t o t h e s u m

o f t h e e d g e s t h a t i t s u b s u m e s . T h a t i s , f o r a n e d g e l a b e l l e d w i t h n o n - t e r m i n a l X w h i c h

s u b s u m e s a s e q u e n c e o f e d g e s Y

1

Y

2

: : : Y

n

c o r r e s p o n d i n g t o t h e s y n t a x r u l e X = Y

1

Y

2

: : : Y

n

s e e F i g u r e 1 3 ( a ) ] t h e c o s t S

X

a s s i g n e d t o e d g e X i s g i v e n b y

S

X

=

N

X

i = 1

S

Y

( 6 )

I n p r a c t i c e , t h e s i t u a t i o n s h o w n i n F i g u r e 1 3 ( b ) i s t h e m o r e u s u a l c a s e w h e r e m a t c h e s f o r

o n l y a s u b s e t o f t h e c o n s t i t u e n t s o f X h a v e b e e n f o u n d . F o r c a s e s s u c h a s t h i s , a c o n s t a n t

c o s t p e r i n p u t f r a m e i s a d d e d f o r a l l f r a m e s f o r w h i c h t h e r e a r e n o s p a n n i n g a r c s , t h a t

i s , i f o n l y t h e e d g e s Y

j

t o Y

k

h a v e a c o s t b e l o w t h e W i l d c a r d t h r e s h o l d t h e n

S

X

=

k

X

i = j

S

Y

+

0

@

T ( X ) ?

k

X

i = j

T ( Y

i

)

1

A

( 7 )

w h e r e T ( A ) d e n o t e s t h e l e n g t h o f t h e e d g e l a b e l l e d w i t h A

T h e v a l u e o f i s c h o s e n s u c h t h a t i t i s g r e a t e r t h a n t h e a v e r a g e c o s t p e r i n p u t f r a m e

f o r a c o r r e c t w o r d m a t c h a n d l e s s t h a n t h a t f o r a n i n c o r r e c t o n e . T h i s m e t h o d o f d e a l i n g

w i t h u n e x p l a i n e d s e g m e n t s o f t h e i n p u t i s o n e o f m a n y t h a t h a v e b e e n i n v e s t i g a t e d a n d ,

a s w e l l a s b e i n g t h e s i m p l e s t , i t i s a l s o t h e m o s t e e c t i v e .

O n c e c o s t s h a v e b e e n a s s i g n e d t o a l l e d g e s i n t h e c h a r t , t h e l o w e s t c o s t p h r a s e s t r u c t u r e s

b u i l t i n t h e p a r s i n g p r o c e s s a r e e x t r a c t e d . I n d o i n g t h i s , t h e p a r s e r d o e s n o t i n s i s t t h a t a n

e d g e s p a n s t h e e n t i r e i n p u t . F o r e x a m p l e , i n F i g u r e 1 3 ( c ) b o t h W a n d X a r e p o s s i b l e s y n -

t a c t i c i n t e r p r e t a t i o n s o f t h e i n p u t . T h e c o s t f o r X i s c o m p u t e d u s i n g e q u a t i o n ( 6 ) , t h a t i s

S

X

=

P

5

i = 1

S

Y

, w h e r e a s t h e c o s t f o r W i s c o m p u t e d u s i n g e q u a t i o n 7 w i t h T ( X ) s e t e q u a l

t o t h e t o t a l n u m b e r o f f r a m e s i n t h e i n p u t M , t h a t i s S

X

=

P

4

i = 2

S

Y

+

M ?

P

4

i = 2

T ( Y

i

)

T h i s p r o c e d u r e e n s u r e s t h a t s y n t a c t i c a l l y v a l i d s e g m e n t s o f t h e i n p u t w h i c h m a t c h w e l l b u t

w h i c h c a n n o t b e m a d e p a r t o f a f u l l y s p a n n i n g s y n t a c t i c i n t e r p r e t a t i o n a r e n o t i g n o r e d .

F i n a l l y , s e m a n t i c i n t e r p r e t a t i o n i s p e r f o r m e d b y s t r i p p i n g t h e n a l p a r s e t r e e o f s e m a n -

t i c a l l y i r r e l e v a n t b r a n c h e s a n d t h e n m a t c h i n g i t a g a i n s t s l o t s i n t h e f r a m e - b a s e d D i a l o g u e

C o n t r o l l e r .

4 . 2 E e c t s o n P e r f o r m a n c e o f S y n t a c t i c C o n s t r a i n t s

T h e s e p a r a t i o n o f t h e r u l e s i n t h e V O D I S s y s t e m h a s a l l o w e d t h e e e c t s o n r e c o g n i t i o n

p e r f o r m a n c e o f t h e b a l a n c e b e t w e e n a p r i o r i a n d a p o s t e r i o r i p r o c e s s i n g t o b e i n v e s t i g a t e d .

T h e r s t v e r s i o n o f V O D I S a n d t h e o n e u s e d f o r f u l l - s c a l e u s e r t r i a l s C o o k s o n 1 9 8 8 ]

1 8



Y1 Y2 Yn

X Y1 Y2

Yn= ....(a)

Y j Yk

X Y1 Y2

Yn= ....(b)

(c)

Y1 Y2 Y3 Y4 Y5

X Y1 Y2

= Y3

Y4

Y5

W Y2

= Y3

Y4

F i g u r e 1 3 : E x a m p l e E d g e C o n g u r a t i o n s i n C h a r t

1 9



e m p l o y e d c o n v e n t i o n a l n i t e s t a t e s y n t a x c o n s t r a i n t s . T h i s s y s t e m w o r k e d v e r y w e l l w i t h

u s e r s w h o k n e w t h e p r e p r o g r a m m e d s y n t a x r u l e s b u t p e r f o r m a n c e d r o p p e d r a p i d l y w i t h

n a i v e u n t r a i n e d u s e r s a n d t h e s y s t e m w a s f o r c e d t o a d a p t r a p i d l y t o a n i s o l a t e d w o r d

s t y l e o f i n t e r a c t i o n . T h e l a t e r v e r s i o n d e s c r i b e d a b o v e a l l o w s t h e r u l e s u s e d f o r a p r i o r i

c o n s t r a i n t s t o b e w e a k e n e d w h i l s t s t i l l r e t a i n i n g a f u l l s e t o f g r a m m a r r u l e s f o r t h e a

p o s t e r i o r i p a r s i n g a n d s e m a n t i c i n t e r p r e t a t i o n .

T o i n v e s t i g a t e t h e e e c t s o f s y n t a c t i c c o n s t r a i n t s , t h e p e r f o r m a n c e o f t h e s y s t e m w a s

m e a s u r e d w i t h t h e f o l l o w i n g d i e r e n t c o n s t r a i n t m e c h a n i s m s

F S t a t e F i n i t e S t a t e a p r i o r i c o n s t r a i n t s d e r i v e d f r o m t h e c o n t e x t f r e e t a s k g r a m m a r a s

u s e d i n t h e o r i g i n a l V O D I S s y s t e m .

C F C o n t e x t F r e e a p r i o r i c o n s t r a i n t s d e r i v e d d i r e c t l y f r o m t h e t a s k g r a m m a r .

W e a k C F C o n t e x t f r e e c o n s t r a i n t s d e r i v e d f r o m a s e t o f w e a k r u l e s , c o n s i s t e n t w i t h t h e

t a s k g r a m m a r , w h i c h e n f o r c e f u n c t i o n w o r d - c o n t e n t w o r d o r d e r i n g b u t n o h i g h e r

l e v e l s t r u c t u r e . A W i l d c a r d i s p l a c e d b e t w e e n p h r a s a l r u l e s t o a c c o u n t f o r u n k n o w n

w o r d s .

N u l l N o a p r i o r i c o n s t r a i n t s .

I n a l l c a s e s , t h e p a r s i n g a n d s e m a n t i c i n t e r p r e t a t i o n w e r e i d e n t i c a l . I n t h e F S t a t e c a s e , n o

a l t e r n a t i v e s w e r e g e n e r a t e d a n d o n l y f u l l y s p a n n i n g s y n t a c t i c i n t e r p r e t a t i o n s o f t h e i n p u t

w e r e a l l o w e d . I n a l l o t h e r c a s e s , 3 a l t e r n a t i v e s w e r e r e c o r d e d a t a l l s e m a n t i c a l l y i m p o r t a n t

n o d e s a n d 2 a l t e r n a t i v e s w e r e r e c o r d e d o t h e r w i s e .

T h e t e s t m a t e r i a l c o n s i s t e d o f 2 0 s y n t a c t i c s e n t e n c e s ( t h e S s e t ) w h i c h c o n f o r m e d t o

t h e t a s k g r a m m a r a n d 2 0 n o n - s y n t a c t i c s e n t e n c e s ( t h e N S s e t ) w h i c h d i d n o t c o n f o r m b u t

w e r e s e m a n t i c a l l y s i m i l a r . T h e l a t t e r N S s e t w e r e e x t r a c t e d f r o m t r a n s c r i p t s o f r e a l B r i t i s h

R a i l e n q u i r i e s , h e n c e a l t h o u g h t h e y w e r e g r a m m a t i c a l l y u n u s u a l , t h e y w e r e n e v e r t h e l e s s

r e a l i s t i c . N o t e a l s o t h a t a s w e l l a s b e i n g u n g r a m m a t i c a l , 4 0 % o f t h e v o c a b u l a r y u s e d w a s

u n k n o w n t o t h e s y s t e m .

T h e r e s u l t s a r e p r e s e n t e d i n T a b l e s 1 a n d 2 f o r t w o s p e a k e r s I C a n d S T w h o r e a d e a c h

o f t h e s e n t e n c e s a s r e a l i s t i c a l l y a s p o s s i b l e . T h e D T W r e c o g n i s e r w a s t r a i n e d i n d i v i d u a l l y

f o r e a c h s p e a k e r . T h e p e r f o r m a n c e i s g i v e n i n t e r m s o f s l o t r e c o g n i t i o n r a t e r a t h e r t h a n

w o r d r e c o g n i t i o n r a t e s i n c e t h i s i s t h e o n l y m e a n i n g f u l q u a n t i t y w h i c h c a n b e m e a s u r e d f o r

t h i s t y p e o f s y s t e m . A f u l l d e n i t i o n o f a s l o t l i e s b e y o n d t h e s c o p e o f t h i s p a p e r s i n c e i t i s

i n t r i n s i c a l l y r e c u r s i v e a n d c l o s e l y t i e d t o o u r m e t h o d o f D i a l o g u e C o n t r o l i m p l e m e n t a t i o n .

H o w e v e r , a s l o t c o r r e s p o n d s r o u g h l y t o a s i n g l e i t e m o f i n f o r m a t i o n i n t h e u t t e r a n c e ,

h e n c e , b y w a y o f e x a m p l e , t h e s e n t e n c e " I w a n t t o l e a v e f r o m P e t e r b o r o u g h a t a b o u t n i n e

t o t r a v e l t o Y o r k " h a s 5 s l o t s :

1 . l e a v e ( { a s o p p o s e d t o a r r i v e

2 . a b o u t ( { a s o p p o s e d t o b e f o r e o r a f t e r

3 . t i m e ( d i g i t ( n i n e ) ) ) ) { t h e t i m e

4 . f r o m p l a c e ( P e t e r b o r o u g h ) { d e p a r t u r e p l a c e

5 . t o p l a c e ( Y o r k ) { d e s t i n a t i o n p l a c e

2 0



S p k r T e s t F S t a t e C F W e a k C F N u l l

I C S 8 2 8 5 8 2 7 2

S T S 9 3 9 2 9 2 9 0

I C N S 1 0 3 4 4 5 4 1

S T N S 1 8 3 1 5 4 5 1

T a b l e 1 : P e r c e n t a g e S l o t R e c o g n i t i o n R a t e ( B e s t a l t e r n a t i v e o n l y )

S p k r T e s t C F W e a k C F N u l l

I C S 9 2 8 9 8 2

S T S 9 4 9 7 9 7

I C N S 3 8 4 9 4 8

S T N S 3 3 5 7 5 4

T a b l e 2 : P e r c e n t a g e S l o t R e c o g n i t i o n R a t e ( B e s t 2 a l t e r n a t i v e s )

I n a l l c a s e s , r e c o g n i t i o n r a t e i s c a l c u l a t e d a s N

c

= ( N

t

+ N

i

) 1 0 0 w h e r e N

c

i s t h e n u m b e r o f

s l o t s c o r r e c t l y r e c o g n i s e d , N

t

i s t h e t o t a l n u m b e r o f s l o t s a n d N

i

i s t h e n u m b e r o f i n s e r t i o n

e r r o r s .

F r o m T a b l e 1 i t c a n b e s e e n t h a t f o r t h e s y n t a c t i c S s e t o f s e n t e n c e s , t h e r e i s l i t t l e

d i e r e n c e b e t w e e n c o n v e n t i o n a l n i t e s t a t e ( F S t a t e ) c o n s t r a i n t s a n d d i r e c t c o n t e x t f r e e

( C F ) c o n s t r a i n t s . F o r t h e n o n - s y n t a c t i c N S s e t , h o w e v e r , t h e r e i s a d r a m a t i c d r o p i n

p e r f o r m a n c e f o r b o t h , w i t h t h e F S t a t e c a s e b e i n g t h e w o r s t . I n t h i s c a s e , t h e b e t t e r

p e r f o r m a n c e o f t h e C F c a s e i s m a i n l y d u e t o t h e m o r e s o p h i s t i c a t e d p a r s i n g m a d e p o s s i b l e

b y t h e a v a i l a b i l i t y o f a l t e r n a t i v e s . W h e n t h e a p r i o r i c o n s t r a i n t s a r e w e a k e n e d a s i n

t h e W e a k C F c a s e , t h e r e i s l i t t l e c h a n g e i n p e r f o r m a n c e o n t h e S s e t b u t a c o n s i d e r a b l e

i m p r o v e m e n t i n t h e N S c a s e . F o r n o c o n s t r a i n t s a t a l l a s i n t h e N u l l c a s e , p e r f o r m a n c e

i s l e s s s e n s i t i v e t o u n g r a m m a t i c a l i t y b u t i t a l w a y s f a l l s b e l o w t h a t o f t h e W e a k C F c a s e .

H e n c e , t h e s t r a t e g y o f u s i n g w e a k a p r i o r i s y n t a c t i c c o n s t r a i n t s i n c o n j u n c t i o n w i t h f u l l a

p o s t e r i o r i p a r s i n g o n a l a t t i c e o f a l t e r n a t i v e w o r d m a t c h e s a p p e a r s t o o e r t h e m o s t r o b u s t

s t r a t e g y f o r t h i s t y p e o f c o n v e r s a t i o n a l s p e e c h s y s t e m .

T a b l e 2 s h o w s t h e e e c t s o f i n c l u d i n g t h e s e c o n d b e s t g l o b a l i n t e r p r e t a t i o n o f t h e i n p u t

i n t h e s l o t m a t c h i n g a l g o r i t h m . I n t h i s c a s e , t h e s a m e o v e r a l l p a t t e r n o f r e s u l t s e m e r g e s

b u t t h e r e i s a s m a l l b u t s i g n i c a n t i m p r o v e m e n t i n e v e r y c a s e . T h u s , d e p e n d i n g o n t h e

d e s i g n o f t h e D i a l o g u e C o n t r o l l e r , t h e g e n e r a t i o n o f s e m a n t i c a l t e r n a t i v e s m a y a l s o b e

u s e f u l .

5 C o n c l u s i o n s

T h i s p a p e r h a s d e s c r i b e d a s i m p l e c o n c e p t u a l m o d e l o f c o n n e c t e d s p e e c h r e c o g n i t i o n b a s e d

o n T o k e n P a s s i n g . T h e a d v a n t a g e s o f t h i s a p p r o a c h a r e r s t l y t h a t i t a l l o w s l o w l e v e l p a t -

t e r n m a t c h i n g t o b e a b s t r a c t e d i n s u c h a w a y t h a t t h e r e i s a c l e a n i n t e r f a c e b e t w e e n w o r d

l e v e l a n d p h r a s e l e v e l p r o c e s s i n g . T h i s h a s t h e g r e a t p r a c t i c a l b e n e t o f e n a b l i n g t h e h i g h e r

l e v e l s o f a s p e e c h r e c o g n i t i o n s y s t e m t o b e i n d e p e n d e n t o f t h e a c t u a l p a t t e r n m a t c h i n g

t e c h n o l o g y u s e d . T h e s e c o n d m a i n a d v a n t a g e o f t h e T o k e n P a s s i n g v i e w i s t h a t i t i s v e r y

s t r a i g h t f o r w a r d . I n o u r v i e w , m o s t o f t h e c h a r a c t e r i s t i c s o f c o n n e c t e d w o r d a l g o r i t h m s

2 1



d i s c u s s e d b y G o d i n a n d L o c k w o o d 1 9 8 9 ] a r e l a r g e l y s e l f - e v i d e n t f r o m t h e T o k e n P a s s i n g

v i e w p o i n t . F u r t h e r m o r e , r e a s o n i n g a b o u t c o m p l e x e x t e n s i o n s i s c o n s i d e r a b l y s i m p l i e d

a n d a s e x a m p l e s o f t h e s e a t t h e p h r a s a l l e v e l , t h e i n c o r p o r a t i o n o f d i r e c t c o n t e x t f r e e

g r a m m a r c o n s t r a i n t s a n d s e m a n t i c a l l y f o c u s s e d m u l t i p l e a l t e r n a t i v e g e n e r a t i o n h a v e b e e n

d e s c r i b e d .

F i n a l l y , s o m e p e r f o r m a n c e i s s u e s w i t h r e g a r d t o t h e u s e o f s y n t a c t i c c o n s t r a i n t s h a v e

b e e n p r e s e n t e d . U s i n g t h e V O D I S s y s t e m a s a m o d e l , t h e r e l a t i v e e e c t s o f t i g h t a n d w e a k

a p r i o r i s y n t a x c o n s t r a i n t s h a v e b e e n i n v e s t i g a t e d . W h e r e u s e r s a r e l i k e l y t o u s e i n p u t

f o r m s w h o s e s y n t a x l i e s o u t s i d e o f t h e p r e p r o g r a m m e d t a s k g r a m m a r , p e r f o r m a n c e d r o p s

d r a m a t i c a l l y w i t h c o n v e n t i o n a l t i g h t a p r i o r i c o n s t r a i n t s . H o w e v e r , a c o m b i n a t i o n o f w e a k

a p r i o r i s y n t a c t i c c o n s t r a i n t s a n d f u l l a p o s t e r i o r i p a r s i n g o n a l a t t i c e o f a l t e r n a t i v e w o r d

m a t c h e s a p p e a r s t o b e m u c h m o r e r o b u s t . T h e a v a i l a b i l i t y o f s e m a n t i c a l t e r n a t i v e s g i v e s a

s m a l l e r p e r f o r m a n c e i m p r o v e m e n t b u t m a y s t i l l b e w o r t h w h i l e i f t h e D i a l o g u e C o n t r o l l e r

c a n b e d e s i g n e d t o e x p l o i t i t .

A c k n o w l e d g e m e n t

T h e V O D I S P r o j e c t w a s f u n d e d b y t h e U K A l v e y D i r e c t o r a t e a n d w a s a c o l l a b o r a t i v e

v e n t u r e b e t w e e n B r i t i s h T e l e c o m R e s e a r c h L a b o r a t o r i e s , L o g i c a U K a n d C a m b r i d g e U n i -

v e r s i t y E n g i n e e r i n g D e p a r t m e n t . T h e a s s i s t a n c e a n d s u p p o r t o f t h e c o o p e r a t i n g p a r t n e r s

i s g r a t e f u l l y a c k n o w l e d g e d .

R e f e r e n c e s

B r i d l e 1 9 8 4 ] B r i d l e J S . S t o c h a s t i c M o d e l s a n d T e m p l a t e M a t c h i n g : s o m e i m p o r t a n t r e l a -

t i o n s h i p s b e t w e e n 2 a p p a r e n t l y d i e r e n t t e c h n i q u e s f o r A S R . P r o c I O A A u t u m n

C o n f , V o l 6 , P t 4 .

B r i d l e e t a l 1 9 8 2 ] B r i d l e J S , B r o w n M D , C h a m b e r l a i n R M . A n A l g o r i t h m f o r C o n n e c t e d

W o r d R e c o g n i t i o n . P r o c I C A S S P , p p 8 9 9 - 9 0 2 , P a r i s , F r a n c e .

C o o k s o n 1 9 8 8 ] C o o k s o n S . F i n a l E v a l u a t i o n o f V O D I S . P r o c 7 t h F A S E S y m p o s i u m

( S p e e c h 8 8 ) , p p 1 3 1 1 - 1 3 2 0 .

G o d i n & L o c k w o o d 1 9 8 9 ] G o d i n C , L o c k w o o d P . D T W S c h e m e s f o r C o n t i n u o u s S p e e c h

R e c o g n i t i o n : a U n i e d V i e w . C o m p u t e r S p e e c h a n d L a n g u a g e , V o l 3 , N o 2 ,

p p 1 6 9 - 1 9 8 .

J u a n g 1 9 8 4 ] J u a n g B - H . O n t h e H i d d e n M a r k o v M o d e l a n d D y n a m i c T i m e W a r p i n g f o r

S p e e c h R e c o g n i t i o n - A U n i e d V i e w . A T a n d T T e c h n i c a l J o u r n a l , V o l 6 3 , N o

7 , p p 1 2 1 3 - 1 2 4 3 .

L e v i n s o n e t a l 1 9 8 3 ] L e v i n s o n S E , R a b i n e r L R , S o n d h i M M . A n I n t r o d u c t i o n t o t h e A p p l i -

c a t i o n o f t h e T h e o r y o f P r o b a b i l i s t i c F u n c t i o n s o f a M a r k o v P r o c e s s t o A u t o m a t i c

S p e e c h R e c o g n i t i o n . B S T J , V o l 6 2 , N o 4 , p p 1 0 3 5 - 1 0 7 4 .

2 2



M y e r s & R a b i n e r 1 9 8 1 ] M y e r s C S , R a b i n e r L R . A L e v e l B u i l d i n g D y n a m i c T i m e W a r p -

i n g A l g o r i t h m f o r C o n n e c t e d W o r d R e c o g n i t i o n . I E E E T r a n s A S S P , V o l 2 9 , N o

2 , p p 2 8 4 - 2 9 6 .

V i n t s y u k 1 9 7 1 ] V i n t s y u k T K . E l e m e n t - W i s e R e c o g n i t i o n o f C o n t i n u o u s S p e e c h C o m p o s e d

o f W o r d s f r o m a S p e c i e d D i c t i o n a r y . K i b e r n e t i c a , V o l 7 , N o 2 , p p 1 3 3 - 1 4 3 .

W i n o g r a d 1 9 8 3 ] W i n o g r a d T . L a n g u a g e a s a C o g n i t i v e P r o c e s s : V o l u m e 1 . A d d i s o n -

W e s l e y , p p 1 1 6 - 1 2 7 .

W i r t h 1 9 7 6 ] W i r t h N . A l g o r i t h m s + D a t a S t r u c t u r e s = P r o g r a m s . P r e n t i c e - H a l l , S e r i e s i n

A u t o m a t i c C o m p u t a t i o n , E n g l e w o o d C l i s , N e w J e r s e y .

Y o u n g 1 9 8 4 ] Y o u n g S J . G e n e r a t i n g M u l t i p l e S o l u t i o n s f r o m C o n n e c t e d W o r d D P R e c o g -

n i t i o n A l g o r i t h m s . P r o c I O A A u t u m n C o n f , V o l 6 , P t 4 , p p 3 5 1 - 3 5 4 .

Y o u n g 1 9 8 6 ] Y o u n g S J . D e s i g n i n g a C o n v e r s a t i o n a l S p e e c h I n t e r f a c e . P r o c I E E , V o l 1 3 3 ,

P t E , N o 6 .

Y o u n g & P r o c t o r 1 9 8 9 ] Y o u n g S J , P r o c t o r C E . T h e D e s i g n a n d I m p l e m e n t a t i o n o f D i -

a l o g u e C o n t r o l i n V o i c e O p e r a t e d D a t a b a s e I n q u i r y S y s t e m s . C o m p u t e r S p e e c h

a n d L a n g u a g e , i n p r e s s .

Y o u n g e t a l 1 9 8 8 ] Y o u n g S J , R u s s e l l N H , T h o r n t o n J H S . S p e e c h R e c o g n i t i o n i n V O D I S

I I P r o c I C A S S P , V o l 1 , S 1 0 . 9 , p p 4 4 1 - 4 4 5 , N e w Y o r k .

2 3

Documents

Token Passing a Simple Conceptual Model 111472