Dynamics, Computation, and the “Edge of Chaos”: A Re-Examination

7/28/2019 Dynamics, Computation, and the Edge of Chaos: A Re-Examination

1/17

Dynamics, Computation, andthe Edge of Chaos: A Re-Examination

Melanie MitchellJames P. CrutchfieldPeter Hraber

SFI WORKING PAPER: 1993-06-040

SFI Working Papers contain accounts of scientific work of the author(s) and do not necessarily represent the

views of the Santa Fe Institute. We accept papers intended for publication in peer-reviewed journals or

proceedings volumes, but not papers that have already appeared in print. Except for papers by our external

faculty, papers must be based on work done at SFI, inspired by an invited visit to or collaboration at SFI, or

funded by an SFI grant.

NOTICE: This working paper is included by permission of the contributing author(s) as a means to ensure

timely distribution of the scholarly and technical work on a non-commercial basis. Copyright and all rights

therein are maintained by the author(s). It is understood that all persons copying this information will

adhere to the terms and constraints invoked by each author's copyright. These works may be reposted only

with the explicit permission of the copyright holder.

www.santafe.edu

SANTA FE INSTITUTE


2/17

D y n a m i c s , C o m p u t a t i o n , a n d t h e \ E d g e o f C h a o s " :

A R e - E x a m i n a t i o n

M e l a n i e M i t c h e l l

1

, J a m e s P . C r u t c h e l d

2

, a n d P e t e r T . H r a b e r

1

S a n t a F e I n s t i t u t e W o r k i n g P a p e r 9 3 - 0 6 - 0 4 0

T o a p p e a r i n G . C o w a n , D . P i n e s , a n d D . M e l z n e r ( e d i t o r s ) , I n t e g r a t i v e T h e m e s . S a n t a

F e I n s t i t u t e S t u i d e s i n t h e S c i e n c e s o f C o m p l e x i t y , P r o c e e d i n g s V o l u m e 1 9 . R e a d i n g , M A :

A d d i s o n - W e s l e y .

A b s t r a c t

I n t h i s p a p e r w e r e v i e w p r e v i o u s w o r k a n d p r e s e n t n e w w o r k c o n c e r n i n g t h e r e l a t i o n s h i p b e -

t w e e n d y n a m i c a l s y s t e m s t h e o r y a n d c o m p u t a t i o n . I n p a r t i c u l a r , w e r e v i e w w o r k b y L a n g t o n

2 1 ] a n d P a c k a r d 2 9 ] o n t h e r e l a t i o n s h i p b e t w e e n d y n a m i c a l b e h a v i o r a n d c o m p u t a t i o n a l

c a p a b i l i t y i n c e l l u l a r a u t o m a t a ( C A s ) . W e p r e s e n t r e s u l t s f r o m a n e x p e r i m e n t s i m i l a r t o

t h e o n e d e s c r i b e d b y P a c k a r d 2 9 ] , w h i c h w a s c i t e d a s e v i d e n c e f o r t h e h y p o t h e s i s t h a t r u l e s

c a p a b l e o f p e r f o r m i n g c o m p l e x c o m p u t a t i o n s a r e m o s t l i k e l y t o b e f o u n d a t a p h a s e t r a n -

s i t i o n b e t w e e n o r d e r e d a n d c h a o t i c b e h a v i o r a l r e g i m e s f o r C A s ( t h e \ e d g e o f c h a o s " ) . O u r

e x p e r i m e n t p r o d u c e d v e r y d i e r e n t r e s u l t s f r o m t h e o r i g i n a l e x p e r i m e n t , a n d w e s u g g e s t t h a t

t h e i n t e r p r e t a t i o n o f t h e o r i g i n a l r e s u l t s i s n o t c o r r e c t . W e c o n c l u d e b y d i s c u s s i n g g e n e r a l

i s s u e s r e l a t e d t o d y n a m i c s , c o m p u t a t i o n , a n d t h e \ e d g e o f c h a o s " i n c e l l u l a r a u t o m a t a .

1 . I n t r o d u c t i o n

A c e n t r a l g o a l o f t h e s c i e n c e s o f c o m p l e x s y s t e m s i s t o u n d e r s t a n d t h e l a w s a n d m e c h a n i s m s

b y w h i c h c o m p l i c a t e d , c o h e r e n t g l o b a l b e h a v i o r c a n e m e r g e f r o m t h e c o l l e c t i v e a c t i v i t i e s o f

r e l a t i v e l y s i m p l e , l o c a l l y i n t e r a c t i n g c o m p o n e n t s . G i v e n t h e d i v e r s i t y o f s y s t e m s f a l l i n g i n t o

t h i s b r o a d c l a s s , t h e d i s c o v e r y o f a n y c o m m o n a l i t i e s o r \ u n i v e r s a l " l a w s u n d e r l y i n g s u c h s y s -

t e m s w i l l r e q u i r e v e r y g e n e r a l t h e o r e t i c a l f r a m e w o r k s . T w o s u c h f r a m e w o r k s a r e d y n a m i c a l

s y s t e m s t h e o r y a n d t h e t h e o r y o f c o m p u t a t i o n . T h e s e h a v e i n d e p e n d e n t l y p r o v i d e d p o w e r -

f u l t o o l s f o r u n d e r s t a n d i n g a n d d e s c r i b i n g c o m m o n p r o p e r t i e s o f a w i d e r a n g e o f c o m p l e x

s y s t e m s .

D y n a m i c a l s y s t e m s t h e o r y h a s d e v e l o p e d a s o n e o f t h e m a i n a l t e r n a t i v e s t o a n a l y t i c ,

c l o s e d - f o r m , e x a c t s o l u t i o n s o f c o m p l e x s y s t e m s . T y p i c a l l y , a s y s t e m i s c o n s i d e r e d t o b e

\ s o l v e d " w h e n o n e c a n w r i t e d o w n a n i t e s e t o f n i t e e x p r e s s i o n s t h a t c a n b e u s e d t o

p r e d i c t t h e s t a t e o f t h e s y s t e m a t t i m e t , g i v e n t h e s t a t e o f t h e s y s t e m a t s o m e i n i t i a l

t i m e t

0

. U s i n g e x i s t i n g m a t h e m a t i c a l m e t h o d s , s u c h s o l u t i o n s a r e g e n e r a l l y n o t p o s s i b l e f o r

m o s t c o m p l e x s y s t e m s o f i n t e r e s t . T h e c e n t r a l c o n t r i b u t i o n o f d y n a m i c a l s y s t e m s t h e o r y t o

1

S a n t a F e I n s t i t u t e , 1 6 6 0 O l d P e c o s T r a i l , S u i t e A , S a n t a F e , N e w M e x i c o , U . S . A . 8 7 5 0 1 .

E m a i l : m m @ s a n t a f e . e d u , p t h @ s a n t a f e . e d u

2

P h y s i c s D e p a r t m e n t , U n i v e r s i t y o f C a l i f o r n i a , B e r k e l e y , C A , U . S . A . 9 4 7 2 0 .

E m a i l : c h a o s @ g o j i r a . b e r k e l e y . e d u

1


3/17

m o d e r n s c i e n c e i s t h a t e x a c t s o l u t i o n s a r e n o t n e c e s s a r y f o r u n d e r s t a n d i n g a n d a n a l y z i n g a

n o n l i n e a r p r o c e s s . I n s t e a d o f d e r i v i n g e x a c t s i n g l e s o l u t i o n s o r o p t i n g f o r c o a r s e s t a t i s t i c a l

d e s c r i p t i o n s , t h e e m p h a s i s o f d y n a m i c a l s y s t e m s t h e o r y i s o n d e s c r i b i n g t h e g e o m e t r i c a l a n d

t o p o l o g i c a l s t r u c t u r e o f e n s e m b l e s o f s o l u t i o n s . I n o t h e r w o r d s , d y n a m i c a l s y s t e m s t h e o r y

g i v e s a g e o m e t r i c v i e w o f a p r o c e s s ' s s t r u c t u r a l e l e m e n t s , s u c h a s a t t r a c t o r s , b a s i n s , a n d

s e p a r a t r i c e s . I t i s t h u s d i s t i n g u i s h e d f r o m a p u r e l y p r o b a b i l i s t i c a p p r o a c h s u c h a s s t a t i s t i c a l

m e c h a n i c s , i n w h i c h g e o m e t r i c s t r u c t u r e s a r e n o t c o n s i d e r e d . D y n a m i c a l s y s t e m s t h e o r y

a l s o a d d r e s s e s t h e q u e s t i o n o f w h a t s t r u c t u r e s a r e g e n e r i c t h a t i s , w h a t b e h a v i o r t y p e s a r e

t y p i c a l a c r o s s t h e s p e c t r u m o f c o m p l e x s y s t e m s

I n c o n t r a s t t o f o c u s i n g o n h o w g e o m e t r i c s t r u c t u r e s a r e c o n s t r a i n e d i n a s t a t e s p a c e ,

c o m p u t a t i o n t h e o r y f o c u s e s o n h o w b a s i c i n f o r m a t i o n - p r o c e s s i n g e l e m e n t s | s t o r a g e , l o g i c a l

g a t e s , s t a c k s , q u e u e s , p r o d u c t i o n r u l e s , a n d t h e l i k e | c a n b e c o m b i n e d t o e e c t a g i v e n

i n f o r m a t i o n - p r o c e s s i n g t a s k . A s s u c h , c o m p u t a t i o n t h e o r y i s a t h e o r y o f o r g a n i z a t i o n a n d

t h e f u n c t i o n a l i t y s u p p o r t e d b y o r g a n i z a t i o n . W h e n a d a p t e d t o a n a l y z e c o m p l e x s y s t e m s ,

i t p r o v i d e s a f r a m e w o r k f o r d e s c r i b i n g b e h a v i o r s a s c o m p u t a t i o n s o f v a r y i n g s t r u c t u r e . F o r

e x a m p l e , i f t h e g l o b a l m a p p i n g f r o m i n i t i a l t o n a l s t a t e s i s c o n s i d e r e d a s a c o m p u t a t i o n , t h e n

t h e q u e s t i o n i s : w h a t f u n c t i o n i s b e i n g c o m p u t e d b y t h e g l o b a l d y n a m i c s ? A n o t h e r r a n g e o f

e x a m p l e s c o n c e r n l i m i t a t i o n s i m p o s e d b y t h e e q u a t i o n s o f m o t i o n o n i n f o r m a t i o n p r o c e s s i n g :

c a n a g i v e n c o m p l e x s y s t e m b e d e s i g n e d t o e m u l a t e a u n i v e r s a l T u r i n g m a c h i n e ? I n c o n t r a s t

t o t h i s s o r t o f e n g i n e e r i n g q u e s t i o n , o n e i s a l s o i n t e r e s t e d i n t h e i n t r i n s i c c o m p u t a t i o n a l

c a p a b i l i t y o f a g i v e n c o m p l e x s y s t e m t h a t i s , w h a t i n f o r m a t i o n - p r o c e s s i n g s t r u c t u r e s a r e

i n t r i n s i c i n i t s b e h a v i o r ? 9 , 1 6 ]

D y n a m i c a l s y s t e m s t h e o r y a n d c o m p u t a t i o n t h e o r y h a v e h i s t o r i c a l l y b e e n a p p l i e d i n -

d e p e n d e n t l y , b u t t h e r e h a v e b e e n s o m e e o r t s t o u n d e r s t a n d t h e r e l a t i o n s h i p b e t w e e n t h e

t w o | t h a t i s , t h e r e l a t i o n s h i p b e t w e e n a s y s t e m ' s a b i l i t y f o r i n f o r m a t i o n p r o c e s s i n g a n d o t h e r

m e a s u r e s o f t h e s y s t e m ' s d y n a m i c a l b e h a v i o r .

R e l a t i o n s h i p s B e t w e e n D y n a m i c a l S y s t e m s T h e o r y a n d C o m p u t a t i o n T h e o r y

C o m p u t a t i o n t h e o r y d e v e l o p e d f r o m t h e a t t e m p t t o u n d e r s t a n d i n f o r m a t i o n - p r o c e s s i n g a s -

p e c t s o f s y s t e m s . A c o l l o q u i a l d e n i t i o n o f \ i n f o r m a t i o n p r o c e s s i n g " m i g h t b e \ t h e t r a n s -

f o r m a t i o n o f a g i v e n i n p u t t o a d e s i r e d o u t p u t . " H o w e v e r , i n o r d e r t o a p p l y t h e n o t i o n o f

i n f o r m a t i o n p r o c e s s i n g t o c o m p l e x s y s t e m s a n d t o r e l a t e i t t o d y n a m i c a l s y s t e m s t h e o r y ,

t h e n o t i o n m u s t b e e n r i c h e d t o i n c l u d e t h e p r o d u c t i o n o f i n f o r m a t i o n a s w e l l a s i t s s t o r a g e ,

t r a n s m i s s i o n , a n d l o g i c a l m a n i p u l a t i o n . I n a d d i t i o n , t h e e n g i n e e r i n g - b a s e d n o t i o n o f \ d e s i r e d

o u t p u t " i s n o t n e c e s s a r i l y a p p r o p r i a t e i n t h i s c o n t e x t t h e f o c u s h e r e i s o f t e n o n t h e i n t r i n -

s i c i n f o r m a t i o n - p r o c e s s i n g c a p a b i l i t i e s o f a d y n a m i c a l s y s t e m n o t s u b j e c t t o a p a r t i c u l a r

c o m p u t a t i o n a l g o a l .

B e g i n n i n g w i t h K o l m o g o r o v ' s a n d S i n a i ' s a d a p t a t i o n o f S h a n n o n ' s c o m m u n i c a t i o n t h e o r y

t o m e c h a n i c s i n t h e l a t e 1 9 5 0 s 1 9 , 3 3 ] , t h e r e h a s b e e n a c o n t i n u i n g e o r t t o r e l a t e a n o n l i n e a r

s y s t e m ' s i n f o r m a t i o n - p r o c e s s i n g c a p a b i l i t y a n d i t s t e m p o r a l b e h a v i o r . O n e r e s u l t i s t h a t a

d e t e r m i n i s t i c c h a o t i c s y s t e m c a n b e v i e w e d a s a g e n e r a t o r o f i n f o r m a t i o n 3 2 ] . A n o t h e r i s

t h a t t h e c o m p l e x i t y o f p r e d i c t i n g a c h a o t i c s y s t e m ' s b e h a v i o r g r o w s e x p o n e n t i a l l y w i t h t i m e

7 ] . T h e c o m p l e x i t y m e t r i c h e r e , c a l l e d t h e K o l m o g o r o v - C h a i t i n c o m p l e x i t y 4 , 2 0 ] , u s e s a

2


4/17

u n i v e r s a l T u r i n g m a c h i n e a s t h e d e t e r m i n i s t i c p r e d i c t i o n m a c h i n e . T h e r e l a t i o n s h i p b e t w e e n

t h e d i c u l t y o f p r e d i c t i o n a n d d y n a m i c a l r a n d o m n e s s i s s i m p l y s u m m a r i z e d b y t h e s t a t e m e n t

t h a t t h e g r o w t h r a t e o f t h e d e s c r i p t i v e c o m p l e x i t y i s e q u a l t o t h e i n f o r m a t i o n p r o d u c t i o n

r a t e 3 ] . T h e s e r e s u l t s g i v e a v i e w o f d e t e r m i n i s t i c c h a o s t h a t e m p h a s i z e s t h e p r o d u c t i o n o f

r a n d o m n e s s a n d t h e r e s u l t i n g u n p r e d i c t a b i l i t y . T h e y a r e p r o b a b l y t h e e a r l i e s t c o n n e c t i o n s

b e t w e e n d y n a m i c s a n d c o m p u t a t i o n .

T h e q u e s t i o n o f w h a t s t r u c t u r e s u n d e r l i e i n f o r m a t i o n p r o d u c t i o n i n d y n a m i c a l s y s t e m s

h a s r e c e i v e d a t t e n t i o n o n l y m o r e r e c e n t l y . T h e r s t a n d c r u d e s t p r o p e r t y c o n s i d e r e d i s t h e

a m o u n t o f m e m o r y a s y s t e m e m p l o y s i n p r o d u c i n g a p p a r e n t r a n d o m n e s s 8 , 1 4 ] . T h e i d e a i s

t h a t a n i d e a l r a n d o m p r o c e s s u s e s n o m e m o r y t o p r o d u c e i t s i n f o r m a t i o n | i t s i m p l y i p s a

c o i n a s n e e d e d . S i m i l a r l y , a s i m p l e p e r i o d i c p r o c e s s r e q u i r e s m e m o r y o n l y i n p r o p o r t i o n t o

t h e l e n g t h o f t h e p a t t e r n i t r e p e a t s . W i t h i n t h e m e m o r y - c a p a c i t y v i e w o f d y n a m i c s , b o t h

t h e s e t y p e s o f p r o c e s s e s a r e s i m p l e | m o r e p r e c i s e l y , t h e y a r e s i m p l e t o d e s c r i b e s t a t i s t i c a l l y .

B e t w e e n t h e s e e x t r e m e s , t h o u g h , l i e t h e h i g h l y s t r u c t u r e d , c o m p l e x p r o c e s s e s t h a t u s e b o t h

r a n d o m n e s s a n d p a t t e r n s t o r a g e t o p r o d u c e t h e i r b e h a v i o r . S u c h p r o c e s s e s a r e m o r e c o m p l e x

t o d e s c r i b e s t a t i s t i c a l l y t h a n a r e i d e a l r a n d o m o r s i m p l e p e r i o d i c p r o c e s s e s . T h e t r a d e - o

b e t w e e n s t r u c t u r e a n d r a n d o m n e s s i s c o m m o n t o m u c h o f s c i e n c e . T h e n o t i o n o f s t a t i s t i c a l

c o m p l e x i t y 9 ] w a s i n t r o d u c e d t o m e a s u r e t h i s t r a d e - o .

C o m p u t a t i o n t h e o r y i s c o n c e r n e d w i t h m o r e t h a n i n f o r m a t i o n a n d i t s p r o d u c t i o n a n d

s t o r a g e . T h e s e e l e m e n t s a r e t a k e n a s g i v e n a n d , i n s t e a d , t h e f o c u s i s o n h o w t h e i r c o m b i n a -

t i o n s y i e l d m o r e o r l e s s c o m p u t a t i o n a l p o w e r . U n d e r s t a n d a b l y , t h e r e i s a c e n t r a l d i c h o t o m y

b e t w e e n m a c h i n e s w i t h n i t e a n d i n n i t e m e m o r y . O n a n e r s c a l e , d i s t i n c t i o n s c a n b e

d r a w n a m o n g t h e w a y s i n w h i c h i n n i t e m e m o r y i s o r g a n i z e d | e . g . , a s a s t a c k , a q u e u e , o r a

p a r a l l e l a r r a y . G i v e n s u c h c o n s i d e r a t i o n s , t h e q u e s t i o n o f t h e i n t r i n s i c c o m p u t a t i o n a l s t r u c -

t u r e i n a d y n a m i c a l s y s t e m b e c o m e s s u b s t a n t i a l l y m o r e d e m a n d i n g t h a n t h e i n i t i a l e m p h a s i s

o n g r o s s m e a s u r e s o f i n f o r m a t i o n s t o r a g e a n d p r o d u c t i o n .

S e v e r a l c o n n e c t i o n s i n t h i s v e i n h a v e b e e n m a d e r e c e n t l y . I n t h e r e a l m o f c o n t i n u o u s - s t a t e

d y n a m i c a l s y s t e m s , C r u t c h e l d a n d Y o u n g l o o k e d a t t h e r e l a t i o n s h i p b e t w e e n t h e d y n a m i c s

a n d c o m p u t a t i o n a l s t r u c t u r e o f d i s c r e t e t i m e s e r i e s g e n e r a t e d b y t h e l o g i s t i c m a p a t d i e r e n t

p a r a m e t e r s e t t i n g s 9 , 1 0 ] . T h e y f o u n d t h a t a t t h e o n s e t o f c h a o s t h e r e i s a n a b r u p t j u m p

i n c o m p u t a t i o n a l c l a s s o f t h e t i m e s e r i e s , a s m e a s u r e d b y t h e f o r m a l l a n g u a g e c l a s s r e q u i r e d

t o d e s c r i b e t h e t i m e s e r i e s . I n c o n c e r t w i t h F e i g e n b a u m ' s r e n o r m a l i z a t i o n g r o u p a n a l y s i s o f

t h e o n s e t o f c h a o s 1 2 ] , t h i s r e s u l t d e m o n s t r a t e d t h a t a d y n a m i c a l s y s t e m ' s c o m p u t a t i o n a l

c a p a b i l i t y | i n t e r m s o f t h e r i c h n e s s o f b e h a v i o r i t p r o d u c e s | i s q u a l i t a t i v e l y i n c r e a s e d a t a

p h a s e t r a n s i t i o n .

R a t h e r t h a n c o n s i d e r i n g i n t r i n s i c c o m p u t a t i o n a l s t r u c t u r e , a n u m b e r o f \ e n g i n e e r i n g "

s u g g e s t i o n s h a v e b e e n m a d e t h a t t h e r e e x i s t p h y s i c a l l y p l a u s i b l e d y n a m i c a l s y s t e m s i m p l e -

m e n t i n g T u r i n g m a c h i n e s 2 , 2 5 , 2 6 ] . T h e s e s t u d i e s p r o v i d e d e x p l i c i t c o n s t r u c t i o n s f o r s e v e r a l

t y p e s o f d y n a m i c a l s y s t e m s . A t t h i s p o i n t , i t i s u n c l e a r w h e t h e r t h e r e s u l t i n g c o m p u t a t i o n a l

s y s t e m s a r e g e n e r i c | i . e . , l i k e l y t o b e c o n s t r u c t i b l e i n o t h e r d y n a m i c a l s y s t e m s | o r w h e t h e r

t h e y a r e r o b u s t a n d r e l i a b l e i n i n f o r m a t i o n p r o c e s s i n g . I n a n y c a s e , i t i s c l e a r t h a t m u c h

w o r k h a s b e e n d o n e t o a d d r e s s a r a n g e o f i s s u e s t h a t r e l a t e c o n t i n u o u s - s t a t e d y n a m i c s a n d

c o m p u t a t i o n . M a n y o f t h e b a s i c i s s u e s a r e n o w c l e a r a n d t h e r e i s a r m f o u n d a t i o n f o r f u t u r e

w o r k .

3


5/17

D y n a m i c s a n d C o m p u t a t i o n i n C e l l u l a r A u t o m a t a

T h e r e h a s a l s o b e e n a g o o d d e a l o f s t u d y o f d y n a m i c s a n d c o m p u t a t i o n i n d i s c r e t e s p a t i a l

s y s t e m s c a l l e d c e l l u l a r a u t o m a t a ( C A s ) . I n m a n y w a y s , C A s a r e m o r e n a t u r a l c a n d i d a t e s

f o r t h i s s t u d y t h a n c o n t i n u o u s - s t a t e d y n a m i c a l s y s t e m s s i n c e t h e y a r e c o m p l e t e l y d i s c r e t e i n

s p a c e , i n t i m e , a n d i n l o c a l s t a t e . T h e r e i s n o n e e d t o d e v e l o p a t h e o r y o f c o m p u t a t i o n w i t h

r e a l n u m b e r s . U n f o r t u n a t e l y , s o m e t h i n g i s l o s t i n g o i n g t o a c o m p l e t e l y d i s c r e t e s y s t e m . T h e

a n a l y s i s o f C A b e h a v i o r i n c o n v e n t i o n a l d y n a m i c a l s y s t e m s t e r m s i s p r o b l e m a t i c f o r j u s t t h i s

r e a s o n . D e n i n g t h e a n a l o g s o f \ s e n s i t i v e d e p e n d e n c e o n i n i t i a l c o n d i t i o n s , " \ t h e p r o d u c -

t i o n o f i n f o r m a t i o n , " \ c h a o s , " \ i n s t a b i l i t y , " \ a t t r a c t o r , " \ s m o o t h v a r i a t i o n o f a p a r a m e t e r , "

\ b i f u r c a t i o n , " t h e \ o n s e t o f c h a o s , " a n d o t h e r b a s i c e l e m e n t s o f d y n a m i c a l s y s t e m s t h e o r y

r e q u i r e s a g o o d d e a l o f c a r e . N o n e t h e l e s s , W o l f r a m i n t r o d u c e d a d y n a m i c a l c l a s s i c a t i o n

o f C A b e h a v i o r c l o s e l y a l l i e d t o t h a t o f d y n a m i c a l s y s t e m s t h e o r y . H e s p e c u l a t e d t h a t o n e

o f h i s f o u r c l a s s e s s u p p o r t s u n i v e r s a l c o m p u t a t i o n 3 5 ] . I t i s o n l y r e c e n t l y , h o w e v e r , t h a t

C A b e h a v i o r h a s b e e n d i r e c t l y r e l a t e d t o t h e b a s i c e l e m e n t s o f q u a l i t a t i v e d y n a m i c s | t h e

a t t r a c t o r - b a s i n p o r t r a i t 1 6 ] . T h i s h a s l e d t o a r e e v a l u a t i o n o f C A b e h a v i o r c l a s s i c a t i o n a n d ,

i n p a r t i c u l a r , t o a r e d e n i t i o n o f t h e c h a o s a n d c o m p l e x i t y a p p a r e n t i n t h e s p a t i a l p a t t e r n s

t h a t C A s g e n e r a t e 6 ] .

S u b s e q u e n t t o W o l f r a m ' s w o r k , L a n g t o n s t u d i e d t h e r e l a t i o n s h i p b e t w e e n t h e \ a v e r a g e "

d y n a m i c a l b e h a v i o r o f c e l l u l a r a u t o m a t a a n d a p a r t i c u l a r s t a t i s t i c ( ) o f a C A r u l e t a b l e 2 1 ] .

H e t h e n h y p o t h e s i z e d t h a t \ c o m p u t a t i o n a l l y c a p a b l e " C A s a n d , i n p a r t i c u l a r , C A s c a p a b l e

o f u n i v e r s a l c o m p u t a t i o n w i l l h a v e \ c r i t i c a l " v a l u e s c o r r e s p o n d i n g t o a p h a s e t r a n s i t i o n

b e t w e e n o r d e r e d a n d c h a o t i c b e h a v i o r . P a c k a r d e x p e r i m e n t a l l y t e s t e d t h i s h y p o t h e s i s b y

u s i n g a g e n e t i c a l g o r i t h m ( G A ) t o e v o l v e C A s t o p e r f o r m a p a r t i c u l a r c o m p l e x c o m p u t a t i o n

2 9 ] . H e i n t e r p r e t e d t h e r e s u l t s a s s h o w i n g t h a t t h e G A t e n d s t o s e l e c t C A s c l o s e t o \ c r i t i c a l "

r e g i o n s | i . e . , t h e \ e d g e o f c h a o s . "

W e n o w t u r n o u r d i s c u s s i o n m o r e s p e c i c a l l y t o i s s u e s r e l a t e d t o , d y n a m i c a l - b e h a v i o r

c l a s s e s , a n d c o m p u t a t i o n i n C A s . W e t h e n p r e s e n t e x p e r i m e n t a l r e s u l t s a n d a t h e o r e t i c a l d i s -

c u s s i o n t h a t s u g g e s t t h e i n t e r p r e t a t i o n g i v e n o f t h e r e s u l t s b y P a c k a r d 2 9 ] i s n o t c o r r e c t . O u r

e x p e r i m e n t s , h o w e v e r , s h o w s o m e i n t e r e s t i n g p h e n o m e n a w i t h r e s p e c t t o t h e G A e v o l u t i o n

o f C A s , w h i c h w e s u m m a r i z e h e r e . L o n g e r , m o r e d e t a i l e d d e s c r i p t i o n s o f o u r e x p e r i m e n t s

a n d r e s u l t s a r e g i v e n i n 2 4 , 2 3 ] .

2 . C e l l u l a r A u t o m a t a a n d t h e \ E d g e o f C h a o s "

C e l l u l a r a u t o m a t a a r e o n e o f t h e s i m p l e s t f r a m e w o r k s i n w h i c h i s s u e s r e l a t e d t o c o m p l e x

s y s t e m s , d y n a m i c s , a n d c o m p u t a t i o n c a n b e s t u d i e d . C A s h a v e b e e n u s e d e x t e n s i v e l y a s

m o d e l s o f p h y s i c a l p r o c e s s e s a n d a s c o m p u t a t i o n a l d e v i c e s 1 1 , 1 5 , 3 0 , 3 4 , 3 6 ] . I n i t s s i m p l e s t

f o r m , a C A c o n s i s t s o f a s p a t i a l l a t t i c e o f c e l l s , e a c h o f w h i c h , a t t i m e t , c a n b e i n o n e o f k

s t a t e s . W e d e n o t e t h e l a t t i c e s i z e ( i . e . , n u m b e r o f c e l l s ) a s N . A C A h a s a s i n g l e x e d r u l e

u s e d t o u p d a t e e a c h c e l l t h i s r u l e m a p s f r o m t h e s t a t e s i n t h e n e i g h b o r h o o d o f a c e l l | e . g . ,

t h e s t a t e s o f a c e l l a n d i t s n e a r e s t n e i g h b o r s | t o a s i n g l e s t a t e , w h i c h b e c o m e s t h e u p d a t e d

v a l u e f o r t h e c e l l i n q u e s t i o n . T h e l a t t i c e s t a r t s o u t w i t h s o m e i n i t i a l c o n g u r a t i o n o f c e l l

s t a t e s a n d , a t e a c h t i m e s t e p , t h e s t a t e s o f a l l c e l l s i n t h e l a t t i c e a r e s y n c h r o n o u s l y u p d a t e d .

W e u s e t h e t e r m \ s t a t e " t o r e f e r t o t h e v a l u e o f a s i n g l e c e l l | e . g . , 0 o r 1 | a n d t h e t e r m

4


6/17

\ c o n g u r a t i o n " t o m e a n t h e p a t t e r n o f s t a t e s o v e r t h e e n t i r e l a t t i c e .

I n t h i s c h a p t e r w e r e s t r i c t o u r d i s c u s s i o n t o o n e - d i m e n s i o n a l C A s w i t h k = 2 . I n a o n e -

d i m e n s i o n a l C A , t h e n e i g h b o r h o o d o f a c e l l i n c l u d e s t h e c e l l i t s e l f a n d s o m e n u m b e r r o f

n e i g h b o r s o n e i t h e r s i d e o f t h e c e l l . A l l o f t h e s i m u l a t i o n s d e s c r i b e d h e r e a r e o f C A s w i t h

s p a t i a l l y p e r i o d i c b o u n d a r y c o n d i t i o n s ( i . e . , t h e o n e - d i m e n s i o n a l l a t t i c e i s v i e w e d a s a c i r c l e ,

w i t h t h e r i g h t n e i g h b o r o f t h e r i g h t m o s t c e l l b e i n g t h e l e f t m o s t c e l l , a n d v i c e v e r s a ) .

T h e e q u a t i o n s o f m o t i o n f o r a C A a r e o f t e n e x p r e s s e d i n t h e f o r m o f a r u l e t a b l e . T h i s

i s a l o o k u p t a b l e l i s t i n g e a c h o f t h e n e i g h b o r h o o d p a t t e r n s a n d t h e s t a t e t o w h i c h t h e c e n t r a l

c e l l i n t h a t n e i g h b o r h o o d i s m a p p e d . F o r e x a m p l e , t h e f o l l o w i n g i s o n e p o s s i b l e r u l e t a b l e

f o r a o n e - d i m e n s i o n a l C A w i t h k = 2 r = 1 . E a c h p o s s i b l e n e i g h b o r h o o d i s g i v e n a l o n g

w i t h t h e \ o u t p u t b i t " s = ( ) t o w h i c h t h e c e n t r a l c e l l i s u p d a t e d .

0 0 0 0 0 1 0 1 0 0 1 1 1 0 0 1 0 1 1 1 0 1 1 1

s 0 0 0 1 0 1 1 1

I n w o r d s , t h i s r u l e s a y s t h a t f o r e a c h n e i g h b o r h o o d o f t h r e e a d j a c e n t c e l l s , t h e n e w s t a t e i s

d e c i d e d b y a m a j o r i t y v o t e a m o n g t h e t h r e e c e l l s .

T h e n o t i o n o f \ c o m p u t a t i o n " i n C A s c a n h a v e s e v e r a l p o s s i b l e m e a n i n g s 2 4 ] , b u t t h e

m o s t c o m m o n m e a n i n g i s t h a t t h e C A p e r f o r m s s o m e \ u s e f u l " c o m p u t a t i o n a l t a s k . H e r e , t h e

r u l e i s i n t e r p r e t e d a s t h e \ p r o g r a m , " t h e i n i t i a l c o n g u r a t i o n i s i n t e r p r e t e d a s t h e \ i n p u t , "

a n d t h e C A r u n s f o r s o m e s p e c i e d n u m b e r o f t i m e s t e p s o r u n t i l i t r e a c h e s s o m e \ g o a l "

p a t t e r n | p o s s i b l y a x e d - p o i n t p a t t e r n . T h e n a l p a t t e r n i s i n t e r p r e t e d a s t h e \ o u t p u t . "

A n e x a m p l e o f t h i s i s u s i n g C A s t o p e r f o r m i m a g e - p r o c e s s i n g t a s k s 3 1 ] .

P a c k a r d 2 9 ] d i s c u s s e d a p a r t i c u l a r k = 2 r = 3 r u l e , i n v e n t e d b y G a c s , K u r d y u m o v , a n d

L e v i n ( G K L ) 1 3 ] a s p a r t o f t h e i r s t u d i e s o f r e l i a b l e c o m p u t a t i o n i n C A s . T h e G K L r u l e w a s

n o t i n v e n t e d f o r a n y p a r t i c u l a r c l a s s i c a t i o n p u r p o s e , b u t i t d o e s h a v e t h e p r o p e r t y t h a t ,

u n d e r t h e r u l e , m o s t i n i t i a l c o n g u r a t i o n s w i t h l e s s t h a n h a l f 1 ' s a r e e v e n t u a l l y t r a n s f o r m e d

t o a c o n g u r a t i o n o f a l l 0 ' s , a n d m o s t i n i t i a l c o n g u r a t i o n s w i t h m o r e t h a n h a l f 1 ' s a r e

t r a n s f o r m e d t o a c o n g u r a t i o n o f a l l 1 ' s . T h e r u l e t h u s a p p r o x i m a t e l y c o m p u t e s w h e t h e r

t h e d e n s i t y o f 1 ' s i n t h e i n i t i a l c o n g u r a t i o n ( w h i c h w e d e n o t e a s ) i s a b o v e t h e t h r e s h o l d

c

= 1 = 2 . W h e n i n i t i a l c o n g u r a t i o n s a r e c l o s e t o = 1 = 2 , t h e r u l e m a k e s a s i g n i c a n t

n u m b e r o f c l a s s i c a t i o n e r r o r s 2 4 ] .

P a c k a r d w a s i n s p i r e d b y t h e G K L r u l e t o u s e a G A t o e v o l v e a r u l e t a b l e t o p e r f o r m t h i s

\

c

= 1 = 2 " t a s k . I f


7/17

b y 2 1 ] . F o r b i n a r y - s t a t e C A s , i s s i m p l y t h e f r a c t i o n o f 1 ' s i n t h e o u t p u t b i t s o f t h e

r u l e t a b l e . F o r C A s w i t h k > 2 , i s d e n e d a s t h e f r a c t i o n o f \ n o n q u i e s c e n t " s t a t e s i n

t h e r u l e t a b l e , w h e r e o n e s t a t e i s a r b i t r a r i l y c h o s e n t o b e \ q u i e s c e n t , " a n d a l l s t a t e s o b e y a

\ s t r o n g q u i e s c e n c e " r e q u i r e m e n t 2 1 ] . L a n g t o n p e r f o r m e d a n u m b e r o f M o n t e C a r l o s a m p l e s

o f t w o - d i m e n s i o n a l C A s , s t a r t i n g w i t h = 0 a n d g r a d u a l l y i n c r e a s i n g t o 1 ; 1 = k ( i . e . , t h e

m o s t h o m o g e n e o u s t o t h e m o s t h e t e r o g e n e o u s r u l e t a b l e s ) . L a n g t o n u s e d v a r i o u s s t a t i s t i c s

s u c h a s s i n g l e - s i t e e n t r o p y , t w o - s i t e m u t u a l i n f o r m a t i o n , a n d t r a n s i e n t l e n g t h t o c l a s s i f y

C A \ a v e r a g e " b e h a v i o r a t e a c h v a l u e . T h e n o t i o n o f \ a v e r a g e b e h a v i o r " w a s i n t e n d e d

t o c a p t u r e t h e m o s t l i k e l y b e h a v i o r o b s e r v e d w i t h a r a n d o m l y c h o s e n i n i t i a l c o n g u r a t i o n

f o r C A s r a n d o m l y s e l e c t e d i n a x e d - s u b s p a c e . T h e s e s t u d i e s r e v e a l e d s o m e c o r r e l a t i o n

b e t w e e n t h e v a r i o u s s t a t i s t i c s a n d . T h e c o r r e l a t i o n i s q u i t e g o o d f o r v e r y l o w a n d v e r y

h i g h v a l u e s . H o w e v e r , f o r i n t e r m e d i a t e v a l u e s i n n i t e - s t a t e C A s , t h e r e i s a l a r g e d e g r e e

o f v a r i a t i o n i n b e h a v i o r .

L a n g t o n c l a i m e d o n t h e b a s i s o f t h e s e s t a t i s t i c s t h a t a s i s i n c r e m e n t e d f r o m 0 t o

1 ; 1 = k ] , t h e a v e r a g e b e h a v i o r o f C A s u n d e r g o e s a \ p h a s e t r a n s i t i o n " f r o m o r d e r e d ( x e d

p o i n t o r l i m i t c y c l e a f t e r s o m e s h o r t t r a n s i e n t p e r i o d ) t o c h a o t i c ( a p p a r e n t l y u n p r e d i c t a b l e

a f t e r s o m e s h o r t t r a n s i e n t p e r i o d ) . A s r e a c h e s a \ c r i t i c a l v a l u e "

c

, t h e c l a i m i s t h a t r u l e s

t e n d t o h a v e l o n g e r a n d l o n g e r t r a n s i e n t p h a s e s . A d d i t i o n a l l y , L a n g t o n c l a i m e d t h a t C A s

c l o s e t o

c

t e n d t o e x h i b i t l o n g - l i v e d , \ c o m p l e x " | n o n p e r i o d i c , b u t n o n r a n d o m | p a t t e r n s .

L a n g t o n p r o p o s e d t h a t t h e

c

r e g i m e r o u g h l y c o r r e s p o n d s t o W o l f r a m ' s C l a s s 4 C A s 3 5 ] ,

a n d h y p o t h e s i z e d t h a t C A s c a p a b l e o f p e r f o r m i n g c o m p l e x c o m p u t a t i o n s w i l l m o s t l i k e l y b e

f o u n d i n t h i s r e g i m e .

A n a l y s i s b a s e d o n i s o n e p o s s i b l e r s t s t e p i n u n d e r s t a n d i n g t h e s t r u c t u r e o f C A

r u l e s p a c e a n d t h e r e l a t i o n s h i p b e t w e e n d y n a m i c s a n d c o m p u t a t i o n i n C A s . H o w e v e r , t h e

c l a i m s s u m m a r i z e d a b o v e r e s t o n a n u m b e r o f p r o b l e m a t i c a s s u m p t i o n s . O n e a s s u m p t i o n

i s t h a t i n t h e g l o b a l v i e w o f C A s p a c e , C A r u l e t a b l e s t h e m s e l v e s a r e t h e a p p r o p r i a t e l o c i

o f d y n a m i c a l b e h a v i o r . T h i s i s i n s t a r k c o n t r a s t w i t h t h e s t a t e s p a c e a n d t h e a t t r a c t o r -

b a s i n p o r t r a i t a p p r o a c h o f d y n a m i c a l s y s t e m s t h e o r y . T h e l a t t e r a p p r o a c h a c k n o w l e d g e s t h e

f a c t t h a t b e h a v i o r s i n s t a t e s p a c e c a n n o t b e a d e q u a t e l y p a r a m e t e r i z e d b y a n y f u n c t i o n o f

t h e e q u a t i o n s o f m o t i o n , s u c h a s . A n o t h e r a s s u m p t i o n i s t h a t t h e u n d e r l y i n g s t a t i s t i c s

b e i n g a v e r a g e d ( e . g . , s i n g l e - s i t e e n t r o p y ) c o n v e r g e . B u t m a n y p r o c e s s e s a r e k n o w n f o r w h i c h

a v e r a g e s d o n o t c o n v e r g e . P e r h a p s m o s t p r o b l e m a t i c i s t h e a s s u m p t i o n t h a t t h e s e l e c t e d

s t a t i s t i c s a r e u n i q u e l y a s s o c i a t e d w i t h m e c h a n i s m s t h a t s u p p o r t u s e f u l c o m p u t a t i o n .

P a c k a r d e m p i r i c a l l y d e t e r m i n e d r o u g h v a l u e s o f

c

f o r o n e - d i m e n s i o n a l k = 2 r = 3 C A s

b y l o o k i n g a t t h e d i e r e n c e - p a t t e r n s p r e a d i n g r a t e a s a f u n c t i o n o f 2 9 ] . T h e s p r e a d i n g

r a t e i s a m e a s u r e o f u n p r e d i c t a b i l i t y i n s p a t i o - t e m p o r a l p a t t e r n s a n d s o i s o n e p o s s i b l e

m e a s u r e o f c h a o t i c b e h a v i o r 2 7 , 3 5 ] . I t i s a n a l o g o u s t o , b u t n o t t h e s a m e a s , t h e L y a p u n o v

e x p o n e n t f o r c o n t i n u o u s - s t a t e d y n a m i c a l s y s t e m s . I n t h e c a s e o f C A s i t i n d i c a t e s t h e a v e r a g e

p r o p a g a t i o n s p e e d o f i n f o r m a t i o n t h r o u g h s p a c e - t i m e , t h o u g h n o t t h e p r o d u c t i o n r a t e o f

l o c a l i n f o r m a t i o n . A t e a c h a l a r g e n u m b e r o f C A s w a s s a m p l e d a n d f o r e a c h C A w a s

e s t i m a t e d . T h e a v e r a g e o v e r t h e s e l e c t e d C A s w a s t a k e n a s t h e a v e r a g e s p r e a d i n g r a t e a t

t h e g i v e n . T h e r e s u l t s a r e r e p r o d u c e d i n F i g u r e 1 ( a ) . A s c a n b e s e e n , a t l o w a n d h i g h ' s ,

v a n i s h e s , i n d i c a t i n g x e d - p o i n t o r s h o r t - p e r i o d b e h a v i o r a t i n t e r m e d i a t e i t i s m a x i m a l ,

i n d i c a t i n g c h a o t i c b e h a v i o r a n d i n t h e t r a n s i t i o n o r

c

r e g i o n s | c e n t e r e d a b o u t 0 2 5

a n d 0 8 0 | i t r i s e s o r f a l l s g r a d u a l l y . W h i l e n o t s h o w n i n F i g u r e 1 ( a ) , f o r m o s t v a l u e s

6


8/17

' s v a r i a n c e , l i k e t h a t o f t h e s t a t i s t i c s u s e d b y L a n g t o n , i s h i g h .

3 . T h e O r i g i n a l E x p e r i m e n t

L a n g t o n ' s e m p i r i c a l C A s t u d i e s r e c o u n t e d a b o v e a d d r e s s e d o n l y t h e r e l a t i o n s h i p b e t w e e n

a n d t h e d y n a m i c a l b e h a v i o r o f C A s a s r e v e a l e d b y s e v e r a l s t a t i s t i c s . T h o s e s t u d i e s d i d n o t

c o r r e l a t e o r b e h a v i o r w i t h a n i n d e p e n d e n t m e a s u r e o f c o m p u t a t i o n . P a c k a r d 2 9 ] a d d r e s s e d

t h i s i s s u e b y u s i n g a g e n e t i c a l g o r i t h m ( G A ) 1 7 ] t o e v o l v e C A r u l e s t o p e r f o r m a p a r t i c u l a r

c o m p u t a t i o n . T h i s e x p e r i m e n t w a s m e a n t t o t e s t t w o h y p o t h e s e s : ( 1 ) r u l e s a b l e t o p e r f o r m

c o m p l e x c o m p u t a t i o n s a r e m o s t l i k e l y t o b e f o u n d n e a r

c

v a l u e s a n d ( 2 ) w h e n r u l e s a r e

e v o l v e d t o p e r f o r m a c o m p l e x c o m p u t a t i o n , e v o l u t i o n w i l l t e n d t o s e l e c t r u l e s n e a r

c

v a l u e s .

P a c k a r d ' s e x p e r i m e n t c o n s i s t e d o f e v o l v i n g b i n a r y - s t a t e o n e - d i m e n s i o n a l C A s w i t h r = 3

T h e \ c o m p l e x c o m p u t a t i o n " i s t h e

c

= 1 = 2 t a s k d e s c r i b e d a b o v e . A g e n e t i c a l g o r i t h m w a s

a p p l i e d t o a p o p u l a t i o n o f r u l e s r e p r e s e n t e d a s b i t s t r i n g s . T o c a l c u l a t e t h e t n e s s o f a s t r i n g ,

t h e s t r i n g w a s i n t e r p r e t e d a s t h e o u t p u t b i t s o f a r u l e t a b l e , a n d t h e r e s u l t i n g C A w a s r u n

o n a n u m b e r o f r a n d o m l y c h o s e n i n i t i a l c o n d i t i o n s . T h e t n e s s w a s a m e a s u r e o f t h e a v e r a g e

c l a s s i c a t i o n p e r f o r m a n c e o f t h e C A o v e r t h e i n i t i a l c o n d i t i o n s .

T h e r e s u l t s f r o m t h i s e x p e r i m e n t a r e d i s p l a y e d i n F i g u r e 1 ( b ) . T h e h i s t o g r a m d i s p l a y s

t h e o b s e r v e d f r e q u e n c y o f r u l e s i n t h e G A p o p u l a t i o n a s a f u n c t i o n o f , w i t h r u l e s m e r g e d

f r o m a n u m b e r o f d i e r e n t r u n s w i t h i d e n t i c a l p a r a m e t e r s b u t w i t h d i e r e n t r a n d o m n u m b e r

s e e d s . I n t h e i n i t i a l g e n e r a t i o n t h e r u l e s w e r e u n i f o r m l y d i s t r i b u t e d o v e r v a l u e s . T h e g r a p h

( b ) g i v e s t h e n a l g e n e r a t i o n | i n t h i s c a s e , a f t e r t h e G A h a s r u n f o r 1 0 0 g e n e r a t i o n s . T h e

r u l e s c l u s t e r c l o s e t o t h e t w o

c

r e g i o n s , a s c a n b e s e e n b y c o m p a r i s o n w i t h t h e d i e r e n c e -

p a t t e r n s p r e a d i n g r a t e p l o t ( a ) . N o t e t h a t e a c h i n d i v i d u a l r u n p r o d u c e d r u l e s a t o n e o r t h e

o t h e r p e a k i n g r a p h ( b ) , s o w h e n t h e r u n s w e r e m e r g e d t o g e t h e r , b o t h p e a k s a p p e a r 2 8 ] .

P a c k a r d i n t e r p r e t e d t h e s e r e s u l t s a s e v i d e n c e f o r t h e h y p o t h e s i s t h a t , w h e n a n a b i l i t y f o r

c o m p l e x c o m p u t a t i o n i s r e q u i r e d , e v o l u t i o n t e n d s t o s e l e c t r u l e s n e a r t h e t r a n s i t i o n t o c h a o s .

H e a r g u e s , l i k e L a n g t o n , t h a t t h i s r e s u l t i n t u i t i v e l y m a k e s s e n s e b e c a u s e \ r u l e s n e a r t h e

t r a n s i t i o n t o c h a o s h a v e t h e c a p a b i l i t y t o s e l e c t i v e l y c o m m u n i c a t e i n f o r m a t i o n w i t h c o m p l e x

s t r u c t u r e s i n s p a c e - t i m e , t h u s e n a b l i n g c o m p u t a t i o n . " 2 9 ] .

4 . O u r E x p e r i m e n t

W e p e r f o r m e d a n e x p e r i m e n t s i m i l a r t o P a c k a r d ' s . T h e r u l e s i n t h e p o p u l a t i o n a r e r e p r e -

s e n t e d a s b i t s t r i n g s , e a c h e n c o d i n g t h e o u t p u t b i t s o f a r u l e t a b l e f o r ( k r ) = ( 2 3 ) . T h u s ,

t h e l e n g t h o f e a c h s t r i n g i s 1 2 8 = 2

2 r + 1

F o r a s i n g l e r u n , t h e G A w e u s e d g e n e r a t e d a r a n d o m i n i t i a l p o p u l a t i o n o f 1 0 0 r u l e s ( b i t

s t r i n g s ) w i t h v a l u e s u n i f o r m l y d i s t r i b u t e d o v e r 0 , 1 ] . T h e n i t c a l c u l a t e d t h e t n e s s o f e a c h

r u l e i n t h e p o p u l a t i o n b y a m e t h o d t o b e d e s c r i b e d b e l o w . T h e p o p u l a t i o n w a s t h e n r a n k e d

b y t n e s s a n d t h e 5 0 r u l e s w i t h l o w e s t t n e s s w e r e d i s c a r d e d . T h e 5 0 r u l e s w i t h h i g h e s t

t n e s s w e r e c o p i e d d i r e c t l y i n t o t h e n e x t g e n e r a t i o n . T o l l o u t t h e p o p u l a t i o n 5 0 n e w r u l e s

w e r e g e n e r a t e d f r o m p a i r s o f p a r e n t s s e l e c t e d a t r a n d o m f r o m t h e c u r r e n t g e n e r a t i o n . E a c h

p a i r o f p a r e n t s u n d e r w e n t a s i n g l e - p o i n t c r o s s o v e r w h o s e l o c a t i o n w a s s e l e c t e d w i t h u n i f o r m

p r o b a b i l i t y o v e r t h e s t r i n g . T h e r e s u l t i n g o s p r i n g w e r e m u t a t e d a t a n u m b e r o f s i t e s c h o s e n

7


9/17

Prob(rule)

0.0 1.0

0.25 0.5 0.75

0.25

0.5

0.75

FractionofRules best fitness

mean fitness

0.0

1.0

(a)

(b)

(c)

F i g u r e 1 : ( a ) : T h e a v e r a g e d i e r e n c e - p a t t e r n s p r e a d i n g r a t e o f a l a r g e n u m b e r o f r a n d o m l y c h o s e n

k = 2 r = 3 C A s , a s a f u n c t i o n o f . ( b ) : R e s u l t s f r o m P a c k a r d ' s e x p e r i m e n t o n G A e v o l u t i o n o f C A s

f o r t h e

c

= 1 = 2 c l a s s i c a t i o n t a s k . T h e h i s t o g r a m p l o t s t h e f r e q u e n c i e s o f r u l e s m e r g e d f r o m t h e n a l

g e n e r a t i o n s ( g e n e r a t i o n 1 0 0 ) o f a n u m b e r o f r u n s . T h e s e p o p u l a t i o n s e v o l v e d f r o m i n i t i a l p o p u l a t i o n s

u n i f o r m l y d i s t r i b u t e d i n . T h e h i s t o g r a m c o n s i s t s o f 1 6 b i n s o f w i d t h 0 . 0 6 6 7 . T h e b i n a b o v e = 1 0

c o n t a i n s j u s t t h o s e r u l e s w i t h = 1 0 . G r a p h s ( a ) a n d ( b ) a r e a d a p t e d f r o m 2 9 ] , w i t h t h e a u t h o r ' s

p e r m i s s i o n . N o v e r t i c a l s c a l e w a s p r o v i d e d t h e r e .

( c ) : R e s u l t s f r o m o u r e x p e r i m e n t . T h e h i s t o g r a m p l o t s t h e f r e q u e n c i e s o f r u l e s m e r g e d f r o m t h e n a l

g e n e r a t i o n s ( g e n e r a t i o n 1 0 0 ) o f 3 0 r u n s . T h e s e p o p u l a t i o n s e v o l v e d f r o m i n i t i a l p o p u l a t i o n s u n i f o r m l y

d i s t r i b u t e d i n . F o l l o w i n g 2 9 ] t h e - a x i s i s d i v i d e d i n t o 1 5 b i n s o f l e n g t h 0 . 0 6 6 7 e a c h . T h e r u l e s w i t h

= 1 0 a r e i n c l u d e d i n t h e r i g h t m o s t b i n . T h e b e s t ( c r o s s ) a n d m e a n ( c i r c l e ) t n e s s e s a r e p l o t t e d f o r

e a c h b i n . ( T h e y - a x i s i n t e r v a l f o r t n e s s e s i s a l s o 0 , 1 ] ) .

8


10/17

f r o m a P o i s s o n d i s t r i b u t i o n w i t h a m e a n o f 3 . 8 .

T h e t n e s s o f a r u l e i s c a l c u l a t e d a s f o l l o w s . i s r u n o n 3 0 0 r a n d o m l y c h o s e n i n i t i a l

c o n g u r a t i o n s o n a l a t t i c e w i t h N = 1 4 9 . A n e w s e t o f i n i t i a l c o n g u r a t i o n s i s c h o s e n e a c h

g e n e r a t i o n , a n d a l l r u l e s i n t h a t g e n e r a t i o n a r e t e s t e d o n i t . T h e 3 0 0 i n i t i a l c o n g u r a t i o n s a r e

u n i f o r m l y d i s t r i b u t e d o v e r d e n s i t i e s i n 0 , 1 ] , w i t h e x a c t l y h a l f h a v i n g 1 = 2 i s r u n o n e a c h i n i t i a l c o n g u r a t i o n f o r a p p r o x i m a t e l y 3 2 0 i t e r a t i o n s t h e

a c t u a l n u m b e r i s c h o s e n p r o b a b i l i s t i c a l l y t o a v o i d o v e r t t i n g . 3 2 0 i t e r a t i o n s i s t h e m e a s u r e d

m a x i m u m a m o u n t o f t i m e f o r t h e G K L C A t o r e a c h a n i n v a r i a n t p a t t e r n o v e r a l a r g e n u m b e r

o f i n i t i a l c o n g u r a t i o n s o n l a t t i c e s i z e 1 4 9 .

' s s c o r e o n a g i v e n i n i t i a l c o n g u r a t i o n i s t h e f r a c t i o n o f \ c o r r e c t " b i t s i n t h e n a l

c o n g u r a t i o n . F o r e x a m p l e , i f t h e i n i t i a l c o n g u r a t i o n h a s > 1 = 2 , t h e n ' s s c o r e i s t h e

f r a c t i o n o f 1 ' s i n t h e n a l c o n g u r a t i o n . T h u s , g e t s p a r t i a l c r e d i t f o r g e t t i n g s o m e o f

t h e b i t s c o r r e c t . A r u l e g e n e r a t i n g r a n d o m s t r i n g s w o u l d t h e r e f o r e g e t a n a v e r a g e s c o r e o f

a p p r o x i m a t e l y 0 . 5 . ' s t n e s s i s i t s a v e r a g e s c o r e o v e r a l l 3 0 0 i n i t i a l c o n g u r a t i o n s . F o r m o r e

d e t a i l s a n d f o r j u s t i c a t i o n s f o r t h e s e p a r a m e t e r s , s e e M i t c h e l l e t a l . 2 4 ] .

T h e r e s u l t s o f o u r e x p e r i m e n t a r e g i v e n i n F i g u r e 1 ( c ) . T h i s h i s t o g r a m d i s p l a y s t h e

o b s e r v e d f r e q u e n c y o f r u l e s i n t h e p o p u l a t i o n a t g e n e r a t i o n 1 0 0 a s a f u n c t i o n o f , m e r g e d

f r o m 3 0 d i e r e n t r u n s w i t h i d e n t i c a l p a r a m e t e r s b u t d i e r e n t r a n d o m n u m b e r s e e d s . T h e

b e s t a n d m e a n t n e s s e s o f r u l e s i n e a c h b i n a r e a l s o d i s p l a y e d .

T h e r e a r e a n u m b e r o f s t r i k i n g d i e r e n c e s b e t w e e n F i g u r e s 1 ( b ) a n d 1 ( c ) :

I n F i g u r e 1 ( b ) , m o s t o f t h e r u l e s i n t h e n a l g e n e r a t i o n s c l u s t e r i n t h e

c

r e g i o n s d e n e d

b y F i g u r e 1 ( a ) . I n p a r t i c u l a r , i n F i g u r e 1 ( b ) , a p p r o x i m a t e l y 6 6 % o f t h e m a s s o f t h e

d i s t r i b u t i o n i s i n b i n s 3 { 5 a n d 1 2 { 1 4 c o m b i n e d ( w h e r e b i n s a r e n u m b e r e d 1 { 1 6 l e f t t o

r i g h t ) . I n F i g u r e 1 ( c ) t h e s e b i n s c o n t a i n o n l y 0 . 0 0 2 % o f t h e m a s s o f t h e d i s t r i b u t i o n

( t h e r e a r e n o r u l e s i n b i n s 3 , 4 , 1 2 , 1 3 , o r 1 4 , a n d t h e r e a r e o n l y 5 r u l e s i n b i n 5 o u t o f

a t o t a l o f 3 0 0 0 r u l e s r e p r e s e n t e d i n t h e h i s t o g r a m ) .

I n F i g u r e 1 ( b ) t h e r e a r e r u l e s i n e v e r y b i n . I n F i g u r e 1 ( c ) t h e r e a r e r u l e s o n l y i n t h e

c e n t r a l s i x b i n s .

I n b o t h h i s t o g r a m s t h e r e a r e t w o p e a k s s u r r o u n d i n g a c e n t r a l d i p . A s i n t h e o r i g i n a l

e x p e r i m e n t , i n o u r e x p e r i m e n t e a c h i n d i v i d u a l r u n p r o d u c e d r u l e s a t o n e o r t h e o t h e r

p e a k , s o w h e n t h e r u n s w e r e m e r g e d t o g e t h e r , b o t h p e a k s a p p e a r . I n F i g u r e 1 ( b ) , h o w -

e v e r , t h e t w o p e a k s a r e l o c a t e d r o u g h l y a t b i n s 4 a n d 1 3 a n d t h u s a r e c e n t e r e d a r o u n d

= 0 2 3 a n d = 0 8 3 , r e s p e c t i v e l y . I n F i g u r e 1 ( c ) t h e p e a k s a r e l o c a t e d r o u g h l y a t

b i n s 7 a n d 9 a n d t h u s a r e c e n t e r e d a r o u n d = 0 4 3 a n d = 0 5 7 , r e s p e c t i v e l y . T h e

r a t i o o f t h e t w o p e a k s p r e a d s i s t h u s a p p r o x i m a t e l y 4 : 1 .

I n F i g u r e 1 ( b ) , t h e t w o h i g h e s t b i n s a r e r o u g h l y v e t i m e s a s h i g h a s t h e c e n t r a l b i n

w h e r e a s i n F i g u r e 1 ( c ) t h e t w o h i g h e s t b i n s a r e r o u g h l y t h r e e t i m e s a s h i g h a s t h e

c e n t r a l b i n .

F i g u r e 1 ( c ) a l s o g i v e s a n i m p o r t a n t c a l i b r a t i o n : t h e b e s t a n d m e a n t n e s s o f r u l e s i n

e a c h b i n . T h e b e s t t n e s s e s a r e a l l b e t w e e n 0 . 9 3 a n d 0 . 9 5 , e x c e p t t h e l e f t m o s t b i n w h i c h

h a s a b e s t t n e s s o f 0 . 9 0 . U n d e r t h i s t n e s s f u n c t i o n t h e G K L r u l e h a s t n e s s 0 9 8 o n a l l

9


11/17

l a t t i c e s i z e s t h e G A n e v e r f o u n d a r u l e w i t h t n e s s a b o v e 0 . 9 5 o n l a t t i c e s i z e 1 4 9 , a n d t h e

m e a s u r e d t n e s s o f t h e b e s t e v o l v e d r u l e s w a s m u c h w o r s e o n l a r g e r l a t t i c e s i z e s 2 4 ] . T h e

t n e s s e s o f t h e r u l e s i n F i g u r e 1 ( b ) w e r e n o t g i v e n b y P a c k a r d 2 9 ] , t h o u g h n o n e o f t h o s e

r u l e s a c h i e v e d t h e t n e s s o f t h e G K L r u l e 2 8 ] .

5 . D i s c u s s i o n o f E x p e r i m e n t a l R e s u l t s

W h y D o t h e R u l e s C l u s t e r C l o s e t o = 1 = 2 ?

W h a t a c c o u n t s f o r t h e s e d i e r e n c e s b e t w e e n F i g u r e s 1 ( b ) a n d 1 ( c ) ? I n p a r t i c u l a r , w h y d i d

t h e e v o l v e d r u l e s i n o u r e x p e r i m e n t t e n d t o c l u s t e r c l o s e t o = 1 = 2 r a t h e r t h a n t h e t w o

c

r e g i o n s ?

T h e r e a r e t w o r e a s o n s ( d i s c u s s e d i n d e t a i l b e l o w ) : ( 1 ) G o o d p e r f o r m a n c e o n t h e

c

= 1 = 2

t a s k r e q u i r e s r u l e s w i t h c l o s e t o 1 / 2 , a n d ( 2 ) t h e G A o p e r a t o r s o f c r o s s o v e r a n d m u t a t i o n

i n t r i n s i c a l l y p u s h a n y p o p u l a t i o n c l o s e t o = 1 = 2

I t c a n b e s h o w n t h a t c o r r e c t o r n e a r l y c o r r e c t p e r f o r m a n c e o n t h e

c

= 1 = 2 t a s k r e q u i r e s

r u l e s c l o s e t o = 1 = 2 . I n t u i t i v e l y , t h i s i s b e c a u s e t h e t a s k i s s y m m e t r i c w i t h r e s p e c t t o t h e

e x c h a n g e o f 1 ' s a n d 0 ' s . S u p p o s e , f o r e x a m p l e , a r u l e t h a t c a r r i e s o u t t h e

c

= 1 = 2 t a s k

h a s

c

o n w h i c h t h e a c t i o n o f t h e r u l e w i l l d e c r e a s e t h e n u m b e r o f 1 ' s .

A n d t h i s i s t h e o p p o s i t e o f t h e d e s i r e d a c t i o n . I f t h e r u l e a c t s t o d e c r e a s e t h e n u m b e r o f 1 ' s

o n a n i n i t i a l c o n g u r a t i o n w i t h >

c

, i t r i s k s p r o d u c i n g a n i n t e r m e d i a t e c o n g u r a t i o n w i t h

<

c

, w h i c h t h e n w o u l d l e a d ( u n d e r t h e o r i g i n a l a s s u m p t i o n t h a t t h e r u l e c a r r i e s o u t t h e

t a s k c o r r e c t l y ) t o a x e d p o i n t o f a l l 0 ' s , m i s c l a s s i f y i n g t h e i n i t i a l c o n g u r a t i o n . A s i m i l a r

a r g u m e n t h o l d s i n t h e o t h e r d i r e c t i o n i f t h e r u l e ' s v a l u e i s g r e a t e r t h a n 1 = 2 . T h i s i n f o r m a l

a r g u m e n t s h o w s t h a t a r u l e w i t h 6= 1 = 2 w i l l m i s c l a s s i f y c e r t a i n i n i t i a l c o n g u r a t i o n s .

G e n e r a l l y , t h e f u r t h e r a w a y t h e r u l e i s f r o m = 1 = 2 , t h e m o r e s u c h i n i t i a l c o n g u r a t i o n s

t h e r e w i l l b e . S u c h r u l e s m a y n o n e t h e l e s s c l a s s i f y m a n y i n i t i a l c o n g u r a t i o n s c o r r e c t l y o r

p a r t i a l l y c o r r e c t l y . H o w e v e r , w e e x p e c t a n y r u l e t h a t p e r f o r m s r e a s o n a b l y w e l l o n t h i s t a s k |

i n t h e s e n s e o f b e i n g c l o s e t o t h e G K L r u l e ' s 0 . 9 8 a v e r a g e t n e s s a c r o s s l a t t i c e s i z e s | t o h a v e

a v a l u e c l o s e t o 1 = 2 . T h i s s e l e c t i o n p r e s s u r e i s o n e f o r c e p u s h i n g t h e G A p o p u l a t i o n t o

= 1 = 2 . W e n o t e t h a t , n o t s u r p r i s i n g l y , t h e G K L r u l e h a s = 1 = 2

A s e c o n d f o r c e p u s h i n g r u l e s t o c l u s t e r c l o s e t o = 1 = 2 i s a \ c o m b i n a t o r i a l d r i f t " f o r c e ,

b y w h i c h t h e r a n d o m a c t i o n s o f c r o s s o v e r a n d m u t a t i o n , a p a r t f r o m a n y s e l e c t i o n f o r c e , t e n d

t o p u s h t h e p o p u l a t i o n t o w a r d s = 1 = 2 . T h e r e s u l t s o f e x p e r i m e n t s m e a s u r i n g t h e r e l a t i v e

e e c t s o f t h i s f o r c e a n d t h e s e l e c t i o n f o r c e i n o u r e x p e r i m e n t a r e g i v e n e l s e w h e r e 2 4 ] .

I m p l i c a t i o n s o f t h e R e q u i r e m e n t f o r 1 = 2

T h e t h e o r e t i c a l a r g u m e n t t h a t t h e

c

= 1 = 2 t a s k r e q u i r e s r u l e s w i t h 1 = 2 i n v a l i d a t e s

P a c k a r d ' s u s e o f t h i s t a s k a s a n e v o l u t i o n a r y g o a l f o r t e s t i n g t h e h y p o t h e s i s t h a t r u l e s c a -

p a b l e o f p e r f o r m i n g c o m p l e x c o m p u t a t i o n s a r e m o s t l i k e l y t o b e f o u n d c l o s e t o

c

r e g i o n s .

A c c o r d i n g t o F i g u r e 1 ( a ) , f o r k = 2 r = 3 C A s t h e

c

v a l u e s o c c u r a t r o u g h l y 0 . 2 5 a n d

1 0


12/17

0 . 8 0 . B u t f o r t h e - c l a s s i c a t i o n t a s k s , t h e r a n g e o f v a l u e s r e q u i r e d f o r g o o d p e r f o r m a n c e

i s s i m p l y a f u n c t i o n o f t h e t a s k a n d , s p e c i c a l l y , o f

c

. O u r e x p e r i m e n t a l r e s u l t s , a l o n g

w i t h t h e t h e o r e t i c a l a r g u m e n t f o r 1 = 2 g i v e n a b o v e , l e a d u s t o c o n c l u d e t h a t i t i s n o t

c o r r e c t t o i n t e r p r e t F i g u r e 1 ( b ) a s e v i d e n c e f o r t h e h y p o t h e s i s t h a t C A s a b l e t o p e r f o r m

c o m p l e x c o m p u t a t i o n s w i l l m o s t l i k e l y b e f o u n d c l o s e t o

c

. T h i s i s a n i m p o r t a n t c o n c l u -

s i o n , s i n c e P a c k a r d ' s w o r k 2 9 ] i s t h e o n l y p u b l i s h e d e x p e r i m e n t a l s t u d y d i r e c t l y l i n k i n g

w i t h c o m p u t a t i o n a l a b i l i t y i n C A s .

S i n c e - c l a s s i c a t i o n i s o n l y o n e p a r t i c u l a r c l a s s o f t a s k s , t h i s c o n c l u s i o n d o e s n o t d i r e c t l y

i n v a l i d a t e s p e c u l a t i o n s a b o u t a g e n e r i c r e l a t i o n s h i p b e t w e e n a n d c o m p u t a t i o n a l a b i l i t y i n

C A . H o w e v e r , t h e r e i s t o d a t e n o t h e o r e t i c a l o r e x p e r i m e n t a l e v i d e n c e f o r s u c h a r e l a t i o n s h i p ,

a n d a n a l t e r n a t i v e f r a m e w o r k f o r a n a l y z i n g c o m p u t a t i o n i n C A s s u g g e s t s t h a t t h e r e i s n o

s u c h r e l a t i o n s h i p 1 6 , 6 ] . M o r e o v e r , i t i s l i k e l y t h a t , l i k e - c l a s s i c a t i o n , a n y p a r t i c u l a r

n o n - t r i v i a l c o m p u t a t i o n a l t a s k w i l l h a v e a s p e c t s t h a t ( 1 ) r e q u i r e c e r t a i n r a n g e s o f , n o t

n e c e s s a r i l y t h o s e c l o s e t o

c

, o r ( 2 ) a r e n o t r e e c t e d i n a t a l l .

A s i d e f r o m p e r f o r m i n g p a r t i c u l a r c o m p u t a t i o n a l t a s k s , i t h a s b e e n k n o w n f o r s o m e t i m e

t h a t s o m e C A s , e . g . , t h e G a m e o f L i f e C A , a r e c a p a b l e i n p r i n c i p l e o f u n i v e r s a l c o m p u t a t i o n

t h i s w a s p r o v e d f o r t h e G a m e o f L i f e b y e x p l i c i t c o n s t r u c t i o n 1 ] . T h e G a m e o f L i f e h a s

c

. L a n g t o n 2 2 ] s k e t c h e d a c o n s t r u c t i o n o f s o m e c o m p o n e n t s o f a u n i v e r s a l c o m p u t e r

( s i m i l a r t o t h o s e u s e d i n t h e c o n s t r u c t i o n f o r t h e G a m e o f L i f e ) i n a n o t h e r p a r t i c u l a r t w o -

d i m e n s i o n a l C A i n t h e \ c o m p l e x r e g i m e . " H o w e v e r , t h e s e p a r t i c u l a r c o n s t r u c t i o n s d o n o t

e s t a b l i s h a n y g e n e r i c r e l a t i o n s h i p b e t w e e n

c

a n d t h e a b i l i t y f o r c o m p l e x , o r e v e n u n i v e r s a l ,

c o m p u t a t i o n .

I n s u m m a r y , w e c o n c l u d e t h a t t h e r e i s n o e v i d e n c e f o r a g e n e r i c r e l a t i o n s h i p b e t w e e n

a n d c o m p u t a t i o n a l a b i l i t y i n C A a n d n o e v i d e n c e t h a t a n e v o l u t i o n a r y p r o c e s s w i t h c o m p u -

t a t i o n a l c a p a b i l i t y a s a t n e s s g o a l w i l l p r e f e r e n t i a l l y s e l e c t C A s a t a s p e c i a l

c

r e g i o n .

W e d o n o t k n o w f o r c e r t a i n w h a t a c c o u n t e d f o r t h e d i e r e n c e s b e t w e e n o u r e x p e r i m e n t a l

r e s u l t s a n d t h o s e o b t a i n e d b y P a c k a r d . W e s p e c u l a t e t h a t t h e d i e r e n c e s a r e d u e t o a d d i t i o n a l

m e c h a n i s m s i n t h e G A u s e d i n t h e o r i g i n a l e x p e r i m e n t t h a t w e r e n o t r e p o r t e d b y P a c k a r d 2 9 ] .

F o r e x a m p l e , t h e o r i g i n a l e x p e r i m e n t i n c l u d e d a n u m b e r o f a d d i t i o n a l s o u r c e s o f r a n d o m n e s s ,

s u c h a s t h e r e g u l a r i n j e c t i o n o f n e w r a n d o m r u l e s a t v a r i o u s v a l u e s a n d a m u c h h i g h e r

m u t a t i o n r a t e t h a n t h a t i n o u r e x p e r i m e n t 2 8 ] . T h e s e s o u r c e s o f r a n d o m n e s s m a y h a v e

s l o w e d t h e G A ' s s e a r c h f o r h i g h - t n e s s r u l e s a n d p r e v e n t e d i t f r o m c o n v e r g i n g o n r u l e s c l o s e

t o = 1 = 2 . T h e k e y o b s e r v a b l e f o r t h i s , t h e t n e s s o f t h e e v o l v e d C A s , w a s n o t r e p o r t e d b y

P a c k a r d 2 9 ] . O u r e x p e r i m e n t a l r e s u l t s a n d t h e o r e t i c a l a n a l y s i s i n d i c a t e t h a t t h e c l u s t e r i n g

c l o s e t o

c

s e e n i n F i g u r e 1 ( b ) i s a l m o s t c e r t a i n l y a n a r t i f a c t o f m e c h a n i s m s i n t h e p a r t i c u l a r

G A t h a t w a s u s e d r a t h e r t h a n a r e s u l t o f a n y c o m p u t a t i o n a l a d v a n t a g e c o n f e r r e d b y t h e

c

r e g i o n s . T o t e s t t h e r o b u s t n e s s o f o u r r e s u l t s , w e h a v e p e r f o r m e d a w i d e r a n g e o f a d d i t i o n a l

e x p e r i m e n t s . N o t o n l y h a v e t h e r e s u l t s h e l d u p , b u t t h e s e e x p e r i m e n t s h a v e p o i n t e d t o a

n u m b e r o f n o v e l m e c h a n i s m s t h a t c o n t r o l t h e i n t e r a c t i o n o f e v o l u t i o n a n d c o m p u t a t i o n 2 3 ] .

W h a t C a u s e s t h e D i p a t = 1 = 2 ?

A s i d e f r o m t h e m a n y d i e r e n c e s b e t w e e n F i g u r e 1 ( b ) a n d F i g u r e 1 ( c ) , t h e r e i s o n e r o u g h

s i m i l a r i t y : t h e h i s t o g r a m s h o w s t w o s y m m e t r i c a l p e a k s s u r r o u n d i n g a c e n t r a l d i p . W e f o u n d

1 1


13/17

t h a t i n o u r e x p e r i m e n t t h i s f e a t u r e i s d u e t o a k i n d o f s y m m e t r y b r e a k i n g o n t h e p a r t

o f t h e G A t h i s s y m m e t r y b r e a k i n g a c t u a l l y i m p e d e s t h e G A ' s a b i l i t y t o n d a r u l e w i t h

p e r f o r m a n c e a t t h e l e v e l o f t h e G K L r u l e . I n s h o r t , t h e m e c h a n i s m i s t h e f o l l o w i n g . O n e a c h

r u n , t h e b e s t s t r a t e g y f o u n d b y t h e G A i s o n e o f t w o e q u a l l y t s t r a t e g i e s :

S t r a t e g y 1 : I f t h e i n i t i a l c o n g u r a t i o n c o n t a i n s a s u c i e n t l y l a r g e b l o c k o f a d j a c e n t

( o r n e a r l y a d j a c e n t ) 1 ' s , t h e n i n c r e a s e t h e s i z e o f t h e b l o c k u n t i l t h e e n t i r e l a t t i c e

c o n s i s t s o f 1 ' s . O t h e r w i s e , q u i c k l y r e l a x t o a c o n g u r a t i o n o f a l l 0 ' s .

S t r a t e g y 2 : I f t h e i n i t i a l c o n g u r a t i o n c o n t a i n s a s u c i e n t l y l a r g e b l o c k o f a d j a c e n t

( o r n e a r l y a d j a c e n t ) 0 ' s , t h e n i n c r e a s e t h e s i z e o f t h e b l o c k u n t i l t h e e n t i r e l a t t i c e

c o n s i s t s o f 0 ' s . O t h e r w i s e , q u i c k l y r e l a x t o a c o n g u r a t i o n o f a l l 1 ' s .

T h e s e t w o s t r a t e g i e s r e l y o n l o c a l i n h o m o g e n e i t i e s i n t h e i n i t i a l c o n g u r a t i o n a s i n d i c a t o r s

o f . S t r a t e g y 1 a s s u m e s t h a t i f t h e r e i s a s u c i e n t l y l a r g e b l o c k o f 1 ' s i n i t i a l l y , t h e n t h e

i s l i k e l y t o b e g r e a t e r t h a n 1 / 2 , a n d i s o t h e r w i s e l i k e l y t o b e l e s s t h a n 1 / 2 . S t r a t e g y 2

m a k e s s i m i l a r a s s u m p t i o n s f o r s u c i e n t l y l a r g e b l o c k s o f 0 ' s . S u c h s t r a t e g i e s a r e v u l n e r a b l e

t o a n u m b e r o f c l a s s i c a t i o n e r r o r s . F o r e x a m p l e , a r u l e m i g h t c r e a t e a s u c i e n t l y s i z e d

b l o c k o f 1 ' s t h a t w a s n o t p r e s e n t i n a n i n i t i a l c o n g u r a t i o n w i t h


14/17

i n t e r m e d i a t e d u e t o h i g h v a r i a n c e i n t h e s t a t i s t i c s t h e r e . P a c k a r d ' s e x p e r i m e n t w a s m e a n t

t o d i r e c t l y t e s t t h e h y p o t h e s i s t h a t c o m p u t a t i o n a l a b i l i t y i s c o r r e l a t e d w i t h

c

r e g i o n s o f C A

r u l e s p a c e .

W e h a v e p r e s e n t e d t h e o r e t i c a l a r g u m e n t s a n d r e s u l t s f r o m a n e x p e r i m e n t s i m i l a r t o

P a c k a r d ' s . F r o m t h e s e w e c o n c l u d e t h a t P a c k a r d ' s i n t e r p r e t a t i o n o f h i s r e s u l t s w a s n o t

c o r r e c t . W e b e l i e v e t h a t t h o s e o r i g i n a l r e s u l t s w e r e d u e t o m e c h a n i s m s i n t h e p a r t i c u l a r G A

u s e d i n t h a t e x p e r i m e n t 2 9 ] r a t h e r t h a n t o i n t r i n s i c c o m p u t a t i o n a l p r o p e r t i e s o f

c

C A s .

I n a d d i t i o n , a s w e h a v e n o t e d , s p e c i c p r o p e r t i e s o f t h e

c

= 1 = 2 t a s k i n v a l i d a t e i t a s a n

e v o l u t i o n a r y g o a l f o r t e s t i n g t h e \ e v o l u t i o n t o

c

" h y p o t h e s i s . W e h a v e a l s o n o t e d t h a t a n y

p a r t i c u l a r n o n - t r i v i a l c o m p u t a t i o n a l t a s k i s l i k e l y t o h a v e p r o p e r t i e s t h a t ( 1 ) r e q u i r e c e r t a i n

r a n g e s o f l a m b d a n o t r e l a t e d t o

c

, o r ( 2 ) a r e n o t r e e c t e d i n a t a l l .

T h e r e s u l t s p r e s e n t e d h e r e d o n o t d i s p r o v e t h e h y p o t h e s i s t h a t c o m p u t a t i o n a l c a p a b i l i t y

c a n b e c o r r e l a t e d w i t h p h a s e t r a n s i t i o n s i n C A r u l e s p a c e .

4

I n d e e d , t h i s g e n e r a l p h e n o m e n a

h a s a l r e a d y b e e n n o t e d f o r o t h e r d y n a m i c a l s y s t e m s , a s n o t e d i n t h e i n t r o d u c t i o n 1 0 ] . M o r e

g e n e r a l l y , t h e c o m p u t a t i o n a l c a p a c i t y o f e v o l v i n g s y s t e m s m a y v e r y w e l l r e q u i r e d y n a m i c a l

p r o p e r t i e s c h a r a c t e r i s t i c o f p h a s e t r a n s i t i o n s i f s u c h s y s t e m s a r e t o i n c r e a s e t h e i r c o m p l e x i t y .

W e h a v e s h o w n o n l y t h a t t h e p u b l i s h e d e x p e r i m e n t a l s u p p o r t c i t e d f o r h y p o t h e s e s r e l a t i n g

c

a n d c o m p u t a t i o n a l c a p a b i l i t y i n C A s w a s n o t r e p r o d u c e d . O n e p r o b l e m i s t h a t t h e s e

h y p o t h e s e s h a v e n o t b e e n u n a m b i g u o u s l y f o r m u l a t e d . I f t h e h y p o t h e s e s p u t f o r t h b y L a n g t o n

2 1 ] a n d P a c k a r d 2 9 ] a r e i n t e r p r e t e d t o m e a n t h a t a n y r u l e p e r f o r m i n g c o m p l e x c o m p u t a t i o n

( a s e x e m p l i e d b y t h e

c

= 1 = 2 t a s k ) m u s t b e c l o s e t o

c

, t h e n w e h a v e s h o w n i t t o b e

f a l s e w i t h o u r a r g u m e n t t h a t c o r r e c t p e r f o r m a n c e o n t h e

c

= 1 = 2 t a s k r e q u i r e s = 1 = 2

I f , i n s t e a d , t h e h y p o t h e s e s a r e c o n c e r n e d w i t h g e n e r i c , s t a t i s t i c a l p r o p e r t i e s o f C A r u l e

s p a c e | t h e \ a v e r a g e " b e h a v i o r o f a n \ a v e r a g e " C A a t a g i v e n | t h e n t h e n o t i o n o f \ a v e r a g e

b e h a v i o r " m u s t b e b e t t e r d e n e d . A d d i t i o n a l l y m o r e a p p r o p r i a t e m e a s u r e s o f d y n a m i c a l

b e h a v i o r a n d c o m p u t a t i o n a l c a p a b i l i t y m u s t b e f o r m u l a t e d , a n d t h e n o t i o n o f t h e \ e d g e

o f c h a o s " i n C A s m u s t a l s o b e w e l l d e n e d . S t a t i c p a r a m e t e r s e s t i m a t e d d i r e c t l y f r o m t h e

e q u a t i o n s o f m o t i o n , a s i s f r o m t h e C A r u l e t a b l e , a r e o n l y t h e s i m p l e s t r s t s t e p a t m a k i n g

s u c h h y p o t h e s e s a n d t e r m s w e l l - d e n e d . a n d a r e e x c e l l e n t e x a m p l e s o f t h e p r o b l e m s o n e

e n c o u n t e r s : t h e i r c o r r e l a t i o n w i t h d y n a m i c a l b e h a v i o r i s w e a k , a n d t h e y h a v e f a r t o o m u c h

v a r i a n c e w h e n v i e w e d o v e r C A s p a c e .

C l a s s i f y i n g C A b e h a v i o r a n d a n a l y z i n g t h e t y p e s o f c o m p u t a t i o n t h a t C A b e h a v i o r s u p -

p o r t s r e q u i r e s a s t r u c t u r a l v i e w o f C A s t h a t g o e s b e y o n d q u a n t i f y i n g d e g r e e s o f a p p a r e n t

d i s o r d e r | a p p a r e n t d i s o r d e r i s p r e c i s e l y w h a t , , a n d v a r i o u s m e a n - e l d s t a t i s t i c s a r e m e a n t

t o i n d i c a t e . T h e r s t s t e p s h a v e b e e n t a k e n i n t h i s d i r e c t i o n b y d e l i n e a t i n g v a r i o u s s t r u c -

t u r a l e l e m e n t s i n C A | p e r i o d i c a n d p o s i t i v e - e n t r o p y d o m a i n s , i n t e r v e n i n g w a l l s , p a r t i c l e s ,

a n d p a r t i c l e i n t e r a c t i o n s 1 6 , 6 ] . E m p l o y i n g t h i s a p p r o a c h , o n e c a n d e t e r m i n e t h e i n t r i n s i c

c o m p u t a t i o n a l c a p a b i l i t y i n C A b e h a v i o r . F o r e x a m p l e , t h i s a p p r o a c h g i v e s a m e t h o d f o r

c o n s t r u c t i n g n o n l i n e a r l t e r s t h a t r e m o v e p e r i o d i c a n d \ c h a o t i c " d o m a i n s f r o m s p a c e - t i m e

d a t a p r o d u c e d b y a C A . T h e r e s u l t i n g l t e r e d c o n g u r a t i o n s t y p i c a l l y r e v e a l h o w t h e C A

p e r f o r m s i t s i n f o r m a t i o n p r o c e s s i n g i n t e r m s o f ( 1 ) p a r t i c l e s t h a t t r a n s m i t i n f o r m a t i o n o v e r

4

T h e r e a r e s e v e r a l d i r e c t i n f e r e n c e s c o n c e r n i n g c o m p u t a t i o n i n C A s a n d p h a s e t r a n s i t i o n s t h a t c a n b e

d r a w n f r o m e x i s t i n g r e s u l t s . F o r e x a m p l e , i n d i v i d u a l C A s h a v e b e e n k n o w n f o r s o m e t i m e t o e x h i b i t p h a s e

t r a n s i t i o n s 5 ] w i t h t h e r e q u i s i t e d i v e r g e n c e o f c o r r e l a t i o n l e n g t h r e q u i r e d f o r i n n i t e m e m o r y c a p a c i t y .

1 3


15/17

l o n g s p a c e - t i m e d i s t a n c e s a n d ( 2 ) p a r t i c l e - p a r t i c l e i n t e r a c t i o n s t h a t p e r f o r m l o g i c a l o p e r a -

t i o n s 6 ] . A s u m m a r y o f t h i s t y p e o f a n a l y s i s o f t h e G K L r u l e i n t e r m s o f p a r t i c l e s i s g i v e n

i n 2 3 ] .

L e t u s c l o s e b y r e - e m p h a s i z i n g t h a t o u r s t u d i e s d o n o t p r e c l u d e a f u t u r e r i g o r o u s a n d

u s e f u l d e n i t i o n o f t h e p h r a s e \ e d g e o f c h a o s " i n t h e c o n t e x t o f c e l l u l a r a u t o m a t a . N o r

d o t h e y p r e c l u d e t h e d i s c o v e r y t h a t i t i s a s s o c i a t e d w i t h a C A ' s i n c r e a s e d c o m p u t a t i o n a l

c a p a b i l i t y . F i n a l l y , t h e y d o n o t p r e c l u d e a d a p t i v e s y s t e m s m o v i n g t o s u c h d y n a m i c a l r e g i m e s

i n o r d e r t o t a k e a d v a n t a g e o f t h e i n t r i n s i c c o m p u t a t i o n a l c a p a b i l i t y t h e r e . I n f a c t , t h e p r e s e n t

w o r k i s m o t i v a t e d b y o u r i n t e r e s t i n t h i s l a s t p o s s i b i l i t y . A n d t h e i m m e d i a t e r e s u l t o f t h a t

i n t e r e s t i s t h i s a t t e m p t t o c l a r i f y t h e u n d e r l y i n g i s s u e s i n t h e h o p e o f f a c i l i t a t i n g n e w p r o g r e s s

a l o n g t h e s e l i n e s .

A c k n o w l e d g m e n t s

T h i s r e s e a r c h w a s s u p p o r t e d b y t h e S a n t a F e I n s t i t u t e , u n d e r t h e C o r e R e s e a r c h , A d a p t i v e

C o m p u t a t i o n a n d E x t e r n a l F a c u l t y P r o g r a m s , a n d b y t h e U n i v e r s i t y o f C a l i f o r n i a , B e r k e l e y ,

u n d e r c o n t r a c t A F O S R 9 1 - 0 2 9 3 . T h a n k s t o D o y n e F a r m e r , J i m H a n s o n , E r i c a J e n , C h r i s

L a n g t o n , W e n t i a n L i , C r i s M o o r e , a n d N o r m a n P a c k a r d f o r m a n y h e l p f u l d i s c u s s i o n s a n d

s u g g e s t i o n s c o n c e r n i n g t h i s p r o j e c t . T h a n k s a l s o t o E m i l y D i c k i n s o n a n d T e r r y J o n e s f o r

t e c h n i c a l a d v i c e .

R e f e r e n c e s

1 ] E . B e r l e k a m p , J . H . C o n w a y , a n d R . G u y . W i n n i n g w a y s f o r y o u r m a t h e m a t i c a l p l a y s . A c a -

d e m i c P r e s s , N e w Y o r k , N Y , 1 9 8 2 .

2 ] L . B l u m , M . S h u b , a n d S . S m a l e . O n a t h e o r y o f c o m p u t a t i o n o v e r t h e r e a l n u m b e r s . B u l l .

A M S , 2 1 : 1 , 1 9 8 9 .

3 ] A . A . B r u d n o . E n t r o p y a n d t h e c o m p l e x i t y o f t h e t r a j e c t o r i e s o f a d y n a m i c a l s y s t e m . T r a n s .

M o s c o w M a t h . S o c . , 4 4 : 1 2 7 , 1 9 8 3 .

4 ] G . C h a i t i n . O n t h e l e n g t h o f p r o g r a m s f o r c o m p u t i n g n i t e b i n a r y s e q u e n c e s . J . A C M , 1 3 : 1 4 5 ,

1 9 6 6 .

5 ] M . C r e u t z . D e t e r m i n i s t i c I s i n g d y n a m i c s . A n n . P h y s . , 1 6 7 : 6 2 , 1 9 8 6 .

6 ] J . P . C r u t c h e l d a n d J . E . H a n s o n . T u r b u l e n t p a t t e r n b a s e s f o r c e l l u l a r a u t o m a t a . P h y s i c a D ,

6 9 : 2 7 9 { 3 0 1 , 1 9 9 3 .

7 ] J . P . C r u t c h e l d a n d N . H . P a c k a r d . S y m b o l i c d y n a m i c s o f o n e - d i m e n s i o n a l m a p s : E n t r o p i e s ,

n i t e p r e c i s i o n , a n d n o i s e . I n t l . J . T h e o . P h y s . , 2 1 : 4 3 3 , 1 9 8 2 .

8 ] J . P . C r u t c h e l d a n d N . H . P a c k a r d . S y m b o l i c d y n a m i c s o f n o i s y c h a o s . P h y s i c a D , 7 : 2 0 1 ,

1 9 8 3 .

9 ] J . P . C r u t c h e l d a n d K . Y o u n g . I n f e r r i n g s t a t i s t i c a l c o m p l e x i t y . P h y s i c a l R e v i e w L e t t e r s ,

6 3 : 1 0 5 , 1 9 8 9 .

1 4


16/17

1 0 ] J . P . C r u t c h e l d a n d K . Y o u n g . C o m p u t a t i o n a t t h e o n s e t o f c h a o s . I n W . H . Z u r e k , e d -

i t o r , C o m p l e x i t y , E n t r o p y , a n d t h e P h y s i c s o f I n f o r m a t i o n , p a g e s 2 2 3 { 2 6 9 . A d d i s o n - W e s l e y ,

R e d w o o d C i t y , C A , 1 9 9 0 .

1 1 ] D . F a r m e r , T . T o o l i , a n d S . W o l f r a m , e d i t o r s . C e l l u l a r A u t o m a t a : P r o c e e d i n g s o f a n I n t e r -

d i s c i p l i n a r y W o r k s h o p . N o r t h H o l l a n d , A m s t e r d a m , 1 9 8 4 .

1 2 ] M . J . F e i g e n b a u m . U n i v e r s a l b e h a v i o r i n n o n l i n e a r s y s t e m s . P h y s i c a D , 7 : 1 6 , 1 9 8 3 .

1 3 ] P . G a c s , G . L . K u r d y u m o v , a n d L . A . L e v i n . O n e - d i m e n s i o n a l u n i f o r m a r r a y s t h a t w a s h o u t

n i t e i s l a n d s . P r o b l . P e r e d a c h i . I n f o r m . , 1 4 : 9 2 { 9 8 , 1 9 7 8 .

1 4 ] P . G r a s s b e r g e r . T o w a r d a q u a n t i t a t i v e t h e o r y o f s e l f - g e n e r a t e d c o m p l e x i t y . I n t l . J . T h e o .

P h y s . , 2 5 : 9 0 7 , 1 9 8 6 .

1 5 ] H . A . G u t o w i t z , e d i t o r . C e l l u l a r A u t o m a t a . M I T P r e s s , C a m b r i d g e , M A , 1 9 9 0 .

1 6 ] J . E . H a n s o n a n d J . P . C r u t c h e l d . T h e a t t r a c t o r - b a s i n p o r t r a i t o f a c e l l u l a r a u t o m a t o n .

J o u r n a l o f S t a t i s t i c a l P h y s i c s , 6 6 ( 5 / 6 ) : 1 4 1 5 { 1 4 6 2 , 1 9 9 2 .

1 7 ] J . H . H o l l a n d . A d a p t a t i o n i n N a t u r a l a n d A r t i c i a l S y s t e m s . M I T P r e s s , C a m b r i d g e , M A ,

1 9 9 2 . S e c o n d e d i t i o n ( F i r s t e d i t i o n , 1 9 7 5 ) .

1 8 ] J . E . H o p c r o f t a n d J . D . U l l m a n . I n t r o d u c t i o n t o A u t o m a t a T h e o r y , L a n g u a g e s , a n d C o m p u -

t a t i o n . A d d i s o n - W e s l e y , R e a d i n g , 1 9 7 9 .

1 9 ] A . N . K o l m o g o r o v . E n t r o p y p e r u n i t t i m e a s a m e t r i c i n v a r i a n t o f a u t o m o r p h i s m s . D o k l . A k a d .

N a u k . S S S R , 1 2 4 : 7 5 4 , 1 9 5 9 . ( R u s s i a n ) M a t h . R e v . v o l . 2 1 , n o . 2 0 3 5 b .

2 0 ] A . N . K o l m o g o r o v . T h r e e a p p r o a c h e s t o t h e c o n c e p t o f t h e a m o u n t o f i n f o r m a t i o n . P r o b . I n f o .

T r a n s . , 1 : 1 , 1 9 6 5 .

2 1 ] C . G . L a n g t o n . C o m p u t a t i o n a t t h e e d g e o f c h a o s : P h a s e t r a n s i t i o n s a n d e m e r g e n t c o m p u t a -

t i o n . P h y s i c a D , 4 2 : 1 2 { 3 7 , 1 9 9 0 .

2 2 ] C . G . L a n g t o n . C o m p u t a t i o n a t t h e e d g e o f c h a o s : P h a s e t r a n s i t i o n s a n d e m e r g e n t c o m p u t a -

t i o n . P h D t h e s i s , T h e U n i v e r s i t y o f M i c h i g a n , A n n A r b o r , M I , 1 9 9 1 .

2 3 ] M . M i t c h e l l , J . P . C r u t c h e l d , a n d P . T . H r a b e r . E v o l v i n g c e l l u l a r a u t o m a t a t o p e r f o r m

c o m p u t a t i o n s : M e c h a n i s m s a n d i m p e d i m e n t s . P h y s i c a D , i n p r e s s , 1 9 9 4 .

2 4 ] M . M i t c h e l l , P . T . H r a b e r , a n d J . P . C r u t c h e l d . R e v i s i t i n g t h e e d g e o f c h a o s : E v o l v i n g c e l l u l a r

a u t o m a t a t o p e r f o r m c o m p u t a t i o n s . C o m p l e x S y s t e m s , 7 : 8 9 { 1 3 0 , 1 9 9 3 .

2 5 ] C . M o o r e . U n p r e d i c t a b i l i t y a n d u n d e c i d a b i l i t y i n d y n a m i c a l s y s t e m s . P h y s . R e v . L e t t . ,

6 4 : 2 3 5 4 , 1 9 9 0 .

2 6 ] S . O m o h u n d r o . M o d e l l i n g c e l l u l a r a u t o m a t a w i t h p a r t i a l d i e r e n t i a l e q u a t i o n s . P h y s i c a D ,

1 0 : 1 2 8 , 1 9 8 4 .

2 7 ] N . P a c k a r d . C o m p l e x i t y o f g r o w i n g p a t t e r n s i n c e l l u l a r a u t o m a t a . I n J . D e m o n g e o t , E . G o l e s ,

a n d M . T c h u e n t e , e d i t o r s , D y n a m i c a l B e h a v i o r o f A u t o m a t a : T h e o r y a n d A p p l i c a t i o n s . A c a -

d e m i c P r e s s , N e w Y o r k , 1 9 8 4 .

1 5


17/17

2 8 ] N . H . P a c k a r d . P e r s o n a l c o m m u n i c a t i o n .

2 9 ] N . H . P a c k a r d . A d a p t a t i o n t o w a r d t h e e d g e o f c h a o s . I n J . A . S . K e l s o , A . J . M a n d e l l , a n d

M . F . S h l e s i n g e r , e d i t o r s , D y n a m i c P a t t e r n s i n C o m p l e x S y s t e m s , p a g e s 2 9 3 { 3 0 1 , S i n g a p o r e ,

1 9 8 8 . W o r l d S c i e n t i c .

3 0 ] K . P r e s t o n a n d M . D u . M o d e r n C e l l u l a r A u t o m a t a . P l e n u m , N e w Y o r k , 1 9 8 4 .

3 1 ] A . R o s e n f e l d . P a r a l l e l i m a g e p r o c e s s i n g u s i n g c e l l u l a r a r r a y s . C o m p u t e r , 1 6 : 1 4 , 1 9 8 3 .

3 2 ] R . S h a w . S t r a n g e a t t r a c t o r s , c h a o t i c b e h a v i o r , a n d i n f o r m a t i o n o w . Z . N a t u r f o r s h . , 3 6 a : 8 0 ,

1 9 8 1 .

3 3 ] J a . G . S i n a i . O n t h e n o t i o n o f e n t r o p y o f a d y n a m i c a l s y s t e m . D o k l . A k a d . N a u k . S S S R ,

1 2 4 : 7 6 8 , 1 9 5 9 .

3 4 ] T . T o o l i a n d N . M a r g o l u s . C e l l u l a r A u t o m a t a M a c h i n e s : A n e w e n v i r o n m e n t f o r m o d e l i n g

M I T P r e s s , C a m b r i d g e , M A , 1 9 8 7 .

3 5 ] S . W o l f r a m . U n i v e r s a l i t y a n d c o m p l e x i t y i n c e l l u l a r a u t o m a t a . P h y s i c a D , 1 0 : 1 { 3 5 , 1 9 8 4 .

3 6 ] S . W o l f r a m , e d i t o r . T h e o r y a n d a p p l i c a t i o n s o f c e l l u l a r a u t o m a t a . W o r l d S c i e n t i c , S i n g a p o r e ,

1 9 8 6 .

1 6

Documents

Dynamics, Computation, and the “Edge of Chaos”: A Re-Examination