A Note on Generation, Estimation and Prediction of Stationary Processes

8/9/2019 A Note on Generation, Estimation and Prediction of Stationary Processes

1/7

0

A N o t e o n G e n e r a t i o n , E s t i m a t i o n a n d

P r e d i c t i o n o f S t a t i o n a r y P r o c e s s e s

M i c h a e l A . H a u s e r

1

, W o l f g a n g H o r m a n n

1

, R o b e r t M . K u n s t

2

a n d J o r g L e n n e i s

1

1

U n i v e r s i t y o f E c o n o m i c s a n d B u s i n e s s A d m i n i s t r a t i o n ,

D e p a r t m e n t o f S t a t i s t i c s , V i e n n a

2

I n s t i t u t e f o r A d v a n c e d S t u d i e s , V i e n n a .

i s p u b l i s h e d i n :

D u t t e r , R . a n d G r o s s m a n , W . ( e d s . ) ( 1 9 9 4 ) :

C O M P S T A T 1 9 9 4 , P r o c e e d i n g s i n C o m p u t a t i o n a l S t a t i s t i c s ,

P h y s i c a - V e r l a g , H e i d e l b e r g

p p . 3 2 3 - 3 2 8

U n f o r t u n a t e l y t h e r e i s a n e r r o r i n t h e p r i n t e d v e r s i o n i n e q u a t i o n ( 9 ) .

T h e f o l l o w i n g

T h e v a r i a n c e o f t h e l i n e a r p r e d i c t o r i s , h o w e v e r ,

V Y

Y

T

= L

H

L

( 9 )

w i t h H

T +

=

H

T

0

0 H

s h o u l d b e r e a d a s

T h e v a r i a n c e o f t h e l i n e a r p r e d i c t o r i s , h o w e v e r ,

V Y

Y

T

= L

H

Y

T

L

( 9 )

w i t h H

T +

=

H

T

0

0 H

a n d H

Y

T

= E H

Y

T

T h e e n c l o s e d c o p y i s c o r r e c t e d f o r t h a t e r r o r .


2/7

A N o t e o n G e n e r a t i o n , E s t i m a t i o n a n d P r e -

d i c t i o n o f S t a t i o n a r y P r o c e s s e s

M i c h a e l A . H a u s e r

1

, W o l f g a n g H o r m a n n

1

, R o b e r t M . K u n s t

2

a n d J o r g L e n n e i s

1

1

U n i v e r s i t y o f E c o n o m i c s a n d B u s i n e s s A d m i n i s t r a t i o n ,

D e p a r t m e n t o f S t a t i s t i c s , V i e n n a

2

I n s t i t u t e f o r A d v a n c e d S t u d i e s , V i e n n a .

K e y w o r d s . C h o l e s k y d e c o m p o s i t i o n , T o e p l i t z m a t r i c e s , f r a c t i o n a l i n t e g r a -

t i o n

1 I n t r o d u c t i o n

S o m e r e c e n t l y d i s c u s s e d s t a t i o n a r y p r o c e s s e s l i k e f r a c t i o n a l l y i n t e g r a t e d p r o -

c e s s e s c a n n o t b e d e s c r i b e d b y l o w o r d e r a u t o r e g r e s s i v e o r m o v i n g a v e r a g e

( A R M A ) m o d e l s r e n d e r i n g t h e c o m m o n a l g o r i t h m s f o r g e n e r a t i o n e s t i m a t i o n

a n d p r e d i c t i o n p a r t l y v e r y m i s l e a d i n g c f . H o s k i n g ( 1 9 8 1 , 1 9 8 4 ) , S o w e l l ( 1 9 9 2 ) ,

R a y ( 1 9 9 3 ) ] . W e o e r a n u n i e d a p p r o a c h b a s e d o n t h e C h o l e s k y d e c o m p o -

s i t i o n o f t h e c o v a r i a n c e m a t r i x w h i c h m a k e s t h e s e p r o b l e m s e x a c t l y s o l v a b l e

i n a n e c i e n t w a y .

O u r s t a r t i n g p o i n t a r e s t a t i o n a r y p r o c e s s e s w i t h a W o l d r e p r e s e n t a t i o n o f

t h e f o r m

y

t

? =

1

X

i = 0

i

t i

( 1 )

w h e r e

t

i s u n c o r r e l a t e d n o i s e w i t h m e a n z e r o . T h e

i

a r e q u a d r a t i c s u m m a b l e

a n d t h e ( u n c o n d i t i o n a l ) v a r i a n c e o f t h e n o i s e ,

2

, i s g r e a t e r t h a n z e r o . W e

a s s u m e f o r s i m p l i c i t y o f t h e p r e s e n t a t i o n t h a t = 0 Y

T

d e n o t e s t h e v e c t o r

( y

1

y

T

) a n d E

T

= (

1

T

) . T h e c o v a r i a n c e m a t r i x o f Y

T

T

i s

p o s i t i v e d e n i t e , s y m m e t r i c a n d T o e p l i t z , a n d t h u s p e r s y m m e t r i c . I t m a y b y

f a c t o r i z e d a c c o r d i n g t o t h e C h o l e s k y d e c o m p o s i t i o n .

T

= L

T

L

T

( 2 )

L

T

i s a l o w e r t r i a n g u l a r m a t r i x .

O n e p o s s i b i l i t y f o r t h e g e n e r a t i o n o f a s a m p l e o f l e n g t h T o f a g i v e n p r o c e s s

w h i c h p o s s e s s e s e x a c t l y t h e s a m e c o v a r i a n c e s t r u c t u r e i s t o u s e t h e r e l a t i o n

Y

T

= L

T

E

T

( 3 )

U n d e r t h e a s s u m p t i o n o f n o r m a l d i s t r i b u t e d n o i s e e s t i m a t i o n m a y b e p e r -

f o r m e d b y m a x i m i z i n g t h e G a u s s i a n l i k e l i h o o d

f ( Y

T

T

) = ( 2 )

T = 2

T

1 = 2

e x p ? ( Y

T

? )

1

T

( Y

T

? ) = 2 ( 4 )


3/7

3 2 4

F o r A R M A m o d e l s t h e r e e x i s t c o m p u t a t i o n a l l y s i m p l e r p r e s e n t a t i o n s o f t h e

l i k e l i h o o d . F o r f r a c t i o n a l l y i n t e g r a t e d m o d e l s , h o w e v e r , t h i s i s t h e o n l y k n o w n

e x a c t f o r m L i a n d M c L e o d ( 1 9 8 6 ) o r S o w e l l ( 1 9 9 2 ) ] .

T h e i m p l i c i t n o i s e v e c t o r m a y b e o b t a i n e d b y

E

T

= L

1

T

Y

T

( 5 )

T h e l i n e a r p r e d i c t i o n f o r o n e s t e p t o s t e p s a h e a d m a y s i m p l y b e p e r -

f o r m e d b y e x t e n d i n g t h e a b o v e e q u a t i o n t o T + a n d r e p l a c i n g t h e f u t u r e

n o i s e s b y t h e i r e x p e c t a t i o n w h i c h i s z e r o . T h i s i s

Y

T +

=

Y

T

Y

= L

T +

E

T +

=

L

T

0

L

T

L

E

T

E

a n d

E Y

Y

T

=

L

T

L

E

T

0

= L

T

E

T

( 6 )

T h e v a r i a n c e o f t h e l i n e a r f o r e c a s t Y

g i v e n Y

T

E

T

r e s p e c t i v e l y , i s g i v e n b y

m e a n s o f t h e c o v a r i a n c e m a t r i x

T +

, w i t h

T +

= L

T +

L

T +

V Y

Y

T

] = E ( Y

? E Y

Y

T

) ( Y

? E Y

Y

T

) Y

T

= L

L

( 7 )

I f t h e i n n o v a t i o n s a r e c o n d i t i o n a l h e t e r o s c e d a s t i c a n d G a u s s i a n - i . e .

t

a r e u n c o r r e l a t e d a n d n o r m a l w i t h n o n - c o n s t a n t v a r i a n c e s , w h i c h d e p e n d o n

t h e p a s t - t h e p r o c e s s l i k e l i h o o d i s g i v e n b y ( 4 ) b y r e p l a c i n g t h e c o v a r i a n c e

m a t r i x

T

b y a p r o c e s s d e p e n d e n t c o v a r i a n c e m a t r i x s e e H a u s e r a n d K u n s t

( 1 9 9 3 ) ]

T

= L

T

H

T

L

T

( 8 )

w h e r e H

T

i s d i a g o n a l a n d c o n t a i n s t h e c o n d i t i o n a l v a r i a n c e s o f t h e n o r m a l i z e d

t

. I n c a s e o f h o m o s c e d a s t i c i t y t h e H

T

m a t r i x r e d u c e s t o I

T

G e n e r a t i o n a n d l i n e a r p r e d i c t i o n i s a n a l o g o u s t o t h e h o m o s c e d a s t i c c a s e o n c e

t h e h e t e r o s c e d a s t i c i n n o v a t i o n s a r e g i v e n . T h e v a r i a n c e o f t h e l i n e a r p r e d i c t o r

i s , h o w e v e r ,

V Y

Y

T

= L

H

Y

T

L

( 9 )

w i t h H

T +

=

H

T

0

0 H

a n d H

Y

T

= E H

Y

T

T h e n u m e r i c a l p r o b l e m s a d d r e s s e d a b o v e c a n b e s u m m a r i z e d a s f o l l o w s :

G e n e r a t i o n a n d p r e d i c t i o n r e q u i r e t h e c a l c u l a t i o n o f t h e C h o l e s k y f a c t o r ,

t h e i n v e r s e o f t h e C h o l e s k y f a c t o r , a n d t h e r e p e a t e d m u l t i p l i c a t i o n o f t h e

C h o l e s k y f a c t o r w i t h a n a r b i t r a r y v e c t o r . E s t i m a t i o n , i . e . t h e i n v e r s i o n o f t h e

c o v a r i a n c e m a t r i x , m a y b e i m p l e m e n t e d b y f a c t o r i z i n g

1

T

i n a M D M M

a l o w e r t r i a n g u l a r m a t r i x w i t h o n e s i n t h e d i a g o n a l , D a d i a g o n a l m a t r i x , v i a

t h e L e v i n s o n a l g o r i t h m . T h e d e t e r m i n a n t o f t h e c o v a r i a n c e m a t r i x i s t h e n

e q u a l D . T h e c a l c u l a t i o n o f t h e v a r i a n c e o f t h e p r e d i c t o r m a y b e o b t a i n e d


4/7

3 2 5

b y c a l c u l a t i n g o n l y t h e l o w e r r i g h t p a r t o f t h e C h o l e s k y m a t r i x .

H o w t h e n e c e s s a r y o p e r a t i o n s c a n b e p e r f o r m e d i n a n e c i e n t w a y i s d i s c u s s e d

b e l o w .

2 T h e m u l t i p l i c a t i o n o f t h e C h o l e s k y f a c t o r w i t h a n a r -

b i t r a r y v e c t o r

N o t a t i o n a n d s o m e p r o p e r t i e s o f T o e p l i t z m a t r i c e s :

T + 1

=

T

1 T

1 T

1 1

L

T + 1

=

L

T

0

L

1 T

L

1 1

R

T + 1

=

R

T

E r

( E r ) 1

E i s a s q u a r e m a t r i x w i t h o n e s i n t h e s e c o n d a r y d i a g o n a l a n d z e r o s e l s e . I t

h o l d s t h a t E E = I E

1

= E R

T

i s t h e c o r r e l a t i o n m a t r i x ,

T

=

2

y

R

T

. I t i s

s y m m e t r i c a n d T o e p l i t z , s o t h a t E R

T

E = R

T

a n d E R

T

= R

T

E h o l d s . R

1

T

i s a l s o s y m m e t r i c a n d p e r s y m m e t r i c .

L e m m a 1 : B r o c k w e l l a n d D a v i s ( 1 9 9 1 , p . 1 6 8 ) ]

T h e b e s t l i n e a r 1 - s t e p a h e a d p r e d i c t o r o f ^ y

T + 1

o f y

T + 1

i n t e r m s o f Y

T

a n d

i t s m e a n s q u a r e d e r r o r a r e

y

T + 1

=

1 T

1

T

Y

T

v

T

=

1 1

?

1 T

1

T

1 T

( 1 0 )

I n c a s e o f m u l t i v a r i a t e n o r m a l d i s t r i b u t e d Y

T + 1

t h i s i s i d e n t i c a l t o t h e m o -

m e n t s g i v e n b y t h e c o n d i t i o n a l n o r m a l d i s t r i b u t i o n J o h n s o n ( 1 9 8 7 , p . 5 0 ) ] .

T h e c o e c i e n t i n f r o n t o f y

1

m a y b e i n t e r p r e t e d a s t h e T - t h p a r t i a l a u t o c o -

v a r i a n c e .

P r o p o s i t i o n 1 :

T h e b e s t l i n e a r 1 - s t e p a h e a d p r e d i c t o r o f ^ y

T + 1

o f y

T + 1

i n t e r m s o f t h e C h o l e -

s k y f a c t o r s a n d p a s t i n n o v a t i o n v e c t o r E

T

a n d i t s m e a n s q u a r e d e r r o r a r e

y

T + 1

= L

1 T

E

T

v

T

= L

1 1

L

1 1

( 1 1 )

P r o o f :

T h i s m a y b e e a s i l y s e e n b y u s i n g

T + 1

= L

T + 1

L

T + 1

i n t h e p a r t i t i o n r e p r e -

s e n t a t i o n a s g i v e n a b o v e , m u l t i p l y i n g o u t , a n d r e p l a c i n g t h e - m a t r i c e s b y

t h e c o r r e s p o n d i n g e x p r e s s i o n s i n t e r m s o f t h e L - m a t r i c e s i n ( 1 0 ) . F o r Y

T

u s e

Y

T

= L

T

E

T

2

T h e p r e d i c t o r i s g i v e n b y t h e m u l t i p l i c a t i o n o f t h e l a s t l i n e o f t h e C h o l e s k y

m a t r i x b y t h e v e c t o r ( E

T

0 )

F o r t h e g e n e r a t i o n o f s a m p l e s o f a p r o c e s s w i t h g i v e n t r u e c o v a r i a n c e m a t r i x

t h e b e s t l i n e a r p r e d i c t o r c a n b e e a s i l y u s e d r e c u r s i v e l y i n t h e f o l l o w i n g w a y


5/7

3 2 6

s t a r t i n g a t T = 0 w i t h v

0

=

2

y

c f . H o s k i n g ( 1 9 8 4 , p . 1 9 0 0 ) ] :

y

T + 1

=

1 T

1

T

Y

T

+

p

v

T

T + 1

( 1 2 )

w h e r e t h e

t

a r e a n ( p o s s i b l y h e t e r o s c e d a s t i c ) i n n o v a t i o n s e q u e n c e .

I n n o t a t i o n o f t h e C h o l e s k y m a t r i x t h i s a m o u n t s t o

y

T + 1

= L

1 T

E

T

+ L

1 1

T + 1

( 1 3 )

T h i s i s t h e m u l t i p l i c a t i o n o f t h e l a s t l i n e o f L

T + 1

w i t h E

T + 1

, o r m o r e c o m -

p a c t l y f o r t h e w h o l e v e c t o r Y

T + 1

Y

T + 1

= L

T + 1

E

T + 1

A n e c i e n t a l g o r i t h m t o c o m p u t e t h e b e s t l i n e a r p r e d i c t o r a n d i t s m e a n

s q u a r e d e r r o r i s t h e D u r b i n - L e v i n s o n a l g o r i t h m B r o c k w e l l a n d D a v i s ( 1 9 9 1 ,

p . 1 6 9 ) ] . T h u s t h e D u r b i n - L e v i n s o n a l g o r i t h m d o e s m u l t i p l y t h e C h o l e s k y m a -

t r i x w i t h t h e v e c t o r E

T + 1

b y r e q u i r i n g O ( T

2

) o p s a n d O ( T ) s t o r a g e . M o r e

g e n e r a l l y , t h i s a l g o r i t h m p e r f o r m s t h e m u l t i p l i c a t i o n o f t h e C h o l e s k y m a t r i x

o f a s y m m e t r i c T o e p l i t z m a t r i x w i t h a n y a r b i t r a r y v e c t o r . T h i s i s r e m a r k a b l e ,

s i n c e t h e r e i s n o p r o c e d u r e k n o w n f o r t h e s i m p l y s t r u c t u r e d T o e p l i t z m a t r i -

c e s t o c o m p u t e t h e C h o l e s k y m a t r i x w i t h l e s s t h a n O ( T

3

) o p s a n d O ( T

2

)

s t o r a g e . B e l o w w e w i l l g i v e a d e r i v a t i o n o f a n e q u i v a l e n t a l g o r i t h m b a s e d o n

m a t r i x c o m p u t a t i o n s a n d t h e u s e o f t h e D u r b i n a l g o r i t h m w h i c h s o l v e s t h e

Y u l e - W a l k e r e q u a t i o n s G o l u b a n d V a n L o a n ( 1 9 8 9 , p . 1 8 5 ) ] .

D e r i v a t i o n o f t h e a l g o r i t h m :

T h e i d e a f o r t h e a l g o r i t h m i s i d e n t i c a l t o t h e r s t s t e p o f t h e r e c u r s i o n o f

t h e T r e n c h a l g o r i t h m a s p r e s e n t e d i n G o l u b a n d V a n L o a n ( 1 9 8 9 , p . 1 8 8 ) . F o r

s i m p l i c i t y w e r e f o r m u l a t e t h e p r o b l e m i n c o r r e l a t i o n s i n s t e a d o f c o v a r i a n c e s ,

w h i c h i m p l i e s

2

y

= 1 ,

T

=

2

y

R

T

r e s p e c t i v e l y . T h e r s t t w o m o m e n t s o f

y

T + 1

a s g i v e n i n ( 1 0 ) s i m p l i f y t o ( E r ) R

1

T

Y

T

a n d 1 ? r R

1

T

r u s i n g t h e

p r o p e r t i e s o f T o e p l i t z m a t r i c e s a n d t h e m a t r i x E a n d t h e n o t a t i o n g i v e n

a b o v e .

R

1

T + 1

=

R

T

E r

( E r ) 1

1

=

B v

v

T h i s i m p l i e s t h a t

R

T

E r

( E r ) 1

v

=

0

1

S o l v i n g t h i s s y s t e m f o r v a n d y i e l d s R

T

v = ? E r f r o m t h e r s t e q u a -

t i o n . S o v c a n b e e x p r e s s e d v i a t h e s o l u t i o n y o f t h e Y u l e - W a l k e r e q u a t i o n s ,

R

T

y = ? r y = ? R

1

T

r a n d v = E y

B y r e p l a c i n g v i n t h e s e c o n d e q u a t i o n c a n b e e x p r e s s e d a s = 1 = ( 1 + r y ) =

1 = ( 1 ? r R

1

T

r )

T h e r s t t w o m o m e n t s o f y

T + 1

c a n b e t h e n e x p r e s s e d i n t e r m s o f y . T h a t i s :

( E r ) R

1

T

Y

T

= ? ( E y ) Y

T

a n d 1 ? r R

1

T

r = 1 = = 1 + r y 2


6/7

3 2 7

T h e a l g o r i t h m g i v e s t h e m u l t i p l i c a t i o n o f t h e C h o l e s k y f a c t o r w i t h a n

a r b i t r a r y v e c t o r . T h e s t o r a g e r e q u i r e m e n t s a r e t h o s e o f D u r b i n a l g o r i t h m

w h i c h a r e l i n e a r . I t s n u m b e r o f o p s a r e O ( T

2

) w h i c h i n c r e a s e s b y t w o v e c t o r

m u l t i p l i c a t i o n s .

3 T h e i n v e r s e o f t h e C h o l e s k y f a c t o r

P r o p o s i t i o n 2 :

T h e i n v e r s e C h o l e s k y m a t r i x i s r e l a t e d t o t h e C h o l e s k y m a t r i x o f t h e i n v e r s e

b y t r a n s p o s i n g w i t h r e s p e c t t o t h e s e c o n d a r y d i a g o n a l .

P r o o f :

i s p o s i t i v e d e n i t e , s y m m e t r i c a n d p e r s y m m e t r i c . T h e C h o l e s k y d e c o m p o -

s i t i o n s o f a n d i t s i n v e r s e , w h i c h i s a l s o s y m m e t r i c a n d p e r s y m m e t r i c , a r e

= A A a n d

1

= B B

T h e i n v e r s i o n o f t h e r s t d e c o m p o s i t i o n i s

1

= ( A )

1

A

1

A A

1

a n d B

a r e l o w e r t r i a n g u l a r m a t r i c e s . S o t h e r e i s a l o w e r t r i a n g u l a r d e c o m p o s i t i o n

a n d a n u p p e r t r i a n g u l a r d e c o m p o s i t i o n o f t h e s a m e m a t r i x .

1

= E

1

E = E ( A )

1

E E A

1

E = ( E ( A )

1

E ) ( E A

1

E ) = B B . S i n c e

t h e C h o l e s k y d e c o m p o s i t i o n i s w e l l d e n e d E A

1

E = B a n d , t h u s , A

1

=

E B E f o l l o w s . 2

4 C o m p u t a t i o n s

A s g i v e n a b o v e g e n e r a t i o n o f s a m p l e s o f t h e p r o c e s s ( y

t

) m a y b e o b t a i n e d

e c i e n t l y i n l i n e a r s t o r a g e r e q u i r e m e n t s , o n c e t h e a u t o c o r r e l a t i o n f u n c t i o n i s

g i v e n . F o r t h e c a l c u l a t i o n o f t h e a u t o c o v a r i a n c e f u n c t i o n o f f r a c t i o n a l i n t e -

g r a t e d p r o c e s s e s s e e S o w e l l ( 1 9 9 2 ) . ]

I f t h e e s t i m a t i o n i s p e r f o r m e d v i a t h e l i k e l i h o o d f u n c t i o n g i v e n i n ( 4 ) t h e

L e v i n s o n a l g o r i t h m s e e M a r p l e ( 1 9 8 7 , p . 8 7 ) ] m a y b e u s e d t o c a l c u l a t e t h e

C h o l e s k y d e c o m p o s i t i o n o f

1

T

1

T

= M D M , a n d t h u s a l s o t h e r e q u i r e d

d e t e r m i n a n t . T h i s a l g o r i t h m i s O ( T

2

) i n s t o r a g e a n d O ( T

2

) i n o p s .

T h e r e s u l t i n g i n n o v a t i o n s m a y b e c a l c u l a t e d u s i n g t h e C h o l e s k y d e c o m p o s i -

t i o n o f t h e l a s t i t e r a t i o n o f t h e o p t i m i z a t i o n p r o c e d u r e , P r o p o s i t i o n 2 a n d ( 5 ) .

T h e l i n e a r 1 - t o - s t e p p r e d i c t i o n ( f o r e c a s t ) v e c t o r g i v e n Y

T

m a y b e c a l -

c u l a t e d v i a t h e ( e s t i m a t e d ) r e s i d u a l v e c t o r a n d ( 6 ) - l i n e a r i n s t o r a g e a n d

q u a d r a t i c i n o p s - u s i n g t h e ( e s t i m a t e d ) a u t o c o v a r i a n c e f u n c t i o n .

E s p e c i a l l y i n c a s e o f c a l c u l a t i n g t h e v a r i a n c e o f t h e l i n e a r p r e d i c t o r , ( 7 ) ,

P r o p o s i t i o n 1 i s v e r y h e l p f u l s i n c e i s t y p i c a l l y s m a l l . M u l t i p l y i n g L

T +

b y

a v e c t o r w i t h z e r o s a n d a 1 i n p o s i t i o n ( T + j ) p i c k s o u t e x a c t l y t h e ( T + j ) -


7/7

3 2 8

t h c o l u m n w h i c h i s t h e c o l u m n j i n L

. W i t h o u t s t o r i n g t h e i n t e r m e d i a t e

r e s u l t s o f t h e m u l t i p l i c a t i o n o f L

T +

w i t h t h e r s t T z e r o s t h e n u m b e r o f

o p s i s O ( T

2

) . T h e s t o r a g e i s l i n e a r i f t h e d i a g o n a l e l e m e n t s a r e n e e d e d

o n l y .

T h e p r o c e d u r e c a n b e e a s i l y g e n e r a l i z e d f o r h e t e r o s c e d a s t i c i n n o v a t i o n s . T h e

1 ' s h a v e t o b e r e p l a c e d b y t h e s q u a r e r o o t o f t h e c o n d i t i o n a l v a r i a n c e s .

5 S u m m a r y

A n e c i e n t a l g o r i t h m - O ( T ) i n s t o r a g e a n d O ( T

2

) i n o p s - f o r m u l t i p l y i n g

t h e C h o l e s k y f a c t o r b y a n a r b i t r a r y v e c t o r i s p r e s e n t e d . I t m a y b e u s e d f o r

g e n e r a t i o n o f l i n e a r p r o c e s s e s , l i n e a r p r e d i c t i o n a n d c a l c u l a t i o n o f t h e p r e d i c -

t o r v a r i a n c e .

I t i s s h o w n t h a t t h e C h o l e s k y f a c t o r o f a n i n v e r s e s y m m e t r i c T o e p l i t z m a t r i x

i s a s i m p l e f u n c t i o n o f t h e i n v e r s e C h o l e s k y f a c t o r o f t h e T o e p l i t z m a t r i x

i t s e l f . T h u s , g i v e n t h e C h o l e s k y f a c t o r o f t h e i n v e r s e c o v a r i a n c e m a t r i x t h e

n o i s e v e c t o r m a y b e e a s i l y o b t a i n e d .

W e h a v e o u t l i n e d t h a t f o r t h e s i m u l a t i o n o f s t a t i o n a r y p r o c e s s e s , f o r e s t i -

m a t i o n a n d p r e d i c t i o n t w o d i e r e n t a l g o r i t h m s a r e s u c i e n t : t h e L e v i n s o n

a l g o r i t h m f o r c a l c u l a t i n g t h e C h o l e s k y d e c o m p o s i t i o n o f t h e i n v e r s e c o v a -

r i a n c e m a t r i x a n d t h e a l g o r i t h m g i v i n g a m u l t i p l i c a t i o n o f a v e c t o r w i t h t h e

C h o l e s k y m a t r i x o f t h e c o v a r i a n c e m a t r i x . M o r e o v e r t h i s w a y i s a l s o v e r y

e c i e n t .

R e f e r e n c e s

B r o c k w e l l , P . J . a n d D a v i s , R . A . , 1 9 9 1 , T i m e s e r i e s : T h e o r y a n d m e t h o d s

( S p r i n g e r , N e w Y o r k ) .

G o l u b , G . H . a n d V a n L o a n , C h . F . , 1 9 8 9 , M a t r i x c o m p u t a t i o n s , ( J o h n H o p -

k i n s U n i v e r s i t y P r e s s , B a l t i m o r e ) .

H a u s e r , M . A . a n d K u n s t , R . M . , 1 9 9 3 , F r a c t i o n a l l y I n t e g r a t e d M o d e l s w i t h

A R C H E r r o r s , P a p e r p r e s e n t e d a t E S E M , U p p s a l a .

H o s k i n g , J . R . M . , 1 9 8 1 , F r a c t i o n a l d i e r e n c i n g , B i o m e t r i k a , 6 8 , 1 6 5 - 1 7 6 .

H o s k i n g , J . R . M . , 1 9 8 4 , M o d e l l i n g p e r s i s t e n c e i n h y d r o l o g i c a l t i m e s e r i e s u s i n g

f r a c t i o n a l d i e r e n c i n g , W a t e r R e s o u r c e s R e s e a r c h , 2 0 , 1 8 9 8 - 1 9 0 8 .

J o h n s o n , M . E . 1 9 8 7 , M u l t i v a r i a t e S t a t i s t i c a l S i m u l a t i o n ( J o h n W i l e y , N e w

Y o r k ) .

L i , W . K . a n d M c L e o d , A . I . , 1 9 8 6 , F r a c t i o n a l t i m e s e r i e s m o d e l l i n g , B i o m e -

t r i k a , 7 3 , 2 1 7 - 2 2 1 .

M a r p l e , S . L . J r . , 1 9 8 7 , D i g i t a l S p e c t r a l A n a l y s i s ( P r e n t i c e H a l l , E n g l e w o o d

C l i s ) .

R a y , B . K . , 1 9 9 3 , M o d e l i n g l o n g - m e m o r y p r o c e s s e s f o r o p t i m a l l o n g - r a n g e

p r e d i c t i o n , J o u r n a l o f T i m e S e r i e s A n a l y s i s , 1 4 , 5 1 1 - 5 2 6 .

S o w e l l , F . , 1 9 9 2 , M a x i m u m l i k e l i h o o d e s t i m a t i o n o f s t a t i o n a r y u n i v a r i a t e f r a c -

t i o n a l l y i n t e g r a t e d t i m e s e r i e s m o d e l s , J o u r n a l o f E c o n o m e t r i c s , 5 3 ,

1 6 5 - 1 8 8 .

Documents

A Note on Generation, Estimation and Prediction of Stationary Processes