7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
1/238
I N F O R M A T I O N -
T H E O R E T I C
I N C O M P L E T E N E S S
G . J . C h a i t i n
I B M , P O B o x 7 0 4
Y o r k t o w n H e i g h t s , N Y 1 0 5 9 8
c h a i t i n @ w a t s o n . i b m . c o m
P u b l i s h e d 1 9 9 2 b y
W o r l d S c i e n t i c , S i n g a p o r e
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
2/238
A c k n o w l e d g m e n t s | T h e a u t h o r a n d t h e p u b l i s h e r a r e g r a t e f u l t o t h e f o l l o w -
i n g f o r p e r m i s s i o n t o r e p r i n t t h e p a p e r s i n c l u d e d i n t h i s v o l u m e :
L a R e c h e r c h e
I P C M a g a z i n e s L t d . ( N e w S c i e n t i s t )
E l s e v i e r S c i e n c e P u b l i s h i n g C o . , I n c .
( A p p l i e d M a t h e m a t i c s a n d C o m p u t a t i o n )
K l u w e r A c a d e m i c P u b l i s h e r s B . V . a n d M a r c E . C a r v a l l o
( N a t u r e , C o g n i t i o n , a n d S y s t e m , V o l . 3 )
S p r i n g e r - V e r l a g N e w Y o r k I n c . ( T h e M a t h e m a t i c a l I n t e l l i g e n c e r )
T h a n k s a r e d u e t o A b r a h a m P e l e d , M i c h a e l B l a s g e n a n d M a r t i n H o p k i n s ( C o m -
p u t e r S c i e n c e D e p a r t m e n t , W a t s o n R e s e a r c h C e n t e r ) f o r s u p p o r t i n g t h i s r e s e a r c h .
A l s o t o A x e l L e i j o n h u f v u d a n d V e l a V e l u p i l l a i , w h o s e i n v i t a t i o n t o t h e a u t h o r t o
g i v e a s e r i e s o f l e c t u r e s a t t h e U C L A C e n t e r f o r C o m p u t a b l e E c o n o m i c s w a s a n
i m p o r t a n t s t i m u l u s .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
3/238
T o m y p a r e n t s S a r a a n d N o r m a n ,
a n d t o M a u r e e n a n d C a r m e n f o r b e i n g s o s w e e t !
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
4/238
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
5/238
F o r e w o r d
M y b o o k A l g o r i t h m i c I n f o r m a t i o n T h e o r y i s l i k e h i k i n g u p a m o u n t a i n
b y t h e f a s t e s t r o u t e , n o t s t o p p i n g u n t i l o n e r e a c h e s t h e t o p . H e r e w e
s h a l l i n s t e a d t a k e a l o o k a t i n t e r e s t i n g s i g h t s a l o n g t h e w a y a n d e x p l o r e
s o m e a l t e r n a t e r o u t e s , i n r o u g h l y t h e o r d e r t h a t I d i s c o v e r e d t h e m .
I n t h i s b o o k I s h a l l s u r v e y e i g h t d i e r e n t t h e o r i e s o f p r o g r a m s i z e
c o m p l e x i t y b a s e d o n e i g h t d i e r e n t p r o g r a m m i n g m o d e l s . A n d I ' l l d i s -
c u s s t h e i n c o m p l e t e n e s s r e s u l t s t h a t o n e g e t s i n e a c h o f t h e s e e i g h t
t h e o r i e s .
I d e c i d e d t o t e l l t h i s s t o r y i n t h e f o r m o f a m a t h e m a t i c a l a u t o b i -
o g r a p h y .
G r e g o r y C h a i t i n
v
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
6/238
v i
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
7/238
C o n t e n t s
A l i f e i n m a t h 1
I T e c h n i c a l S u r v e y 1 3
T u r i n g m a c h i n e s 1 7
B l a n k - e n d m a r k e r p r o g r a m s 2 5
L I S P p r o g r a m - s i z e c o m p l e x i t y 3 7
L I S P p r o g r a m - s i z e c o m p l e x i t y I I 5 5
L I S P p r o g r a m - s i z e c o m p l e x i t y I I I 8 3
L I S P p r o g r a m - s i z e c o m p l e x i t y I V 9 7
I n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e n e s s 1 0 7
I I N o n - T e c h n i c a l D i s c u s s i o n s 1 2 9
A r e n a p r o g r a m o n ` n u m b e r s ' 1 3 3
A r a n d o m w a l k i n a r i t h m e t i c 1 3 7
N u m b e r a n d r a n d o m n e s s 1 4 5
R a n d o m n e s s i n a r i t h m e t i c 1 6 1
v i i
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
8/238
v i i i
L e h a s a r d d e s n o m b r e s 1 7 1
C o m p l e x i t y a n d r a n d o m n e s s i n m a t h e m a t i c s 1 8 9
B o o k r e v i e w 2 0 5
T h e C h a l l e n g e f o r t h e F u t u r e 2 1 5
C o m p l e x i t y a n d b i o l o g y 2 1 7
A f t e r w o r d 2 1 9
B i b l i o g r a p h y 2 2 3
S o u r c e s o f q u o t a t i o n s 2 2 3
C l a s s i c s 2 2 5
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
9/238
A L I F E I N M A T H
\ G u t s a n d i m a g i n a t i o n ! "
| T h e a m b i t i o u s y o u n g d i r e c t o r E a s t o n i n
N o r m a n C h a i t i n ' s 1 9 6 2 l m T h e S m a l l H o u r s
\ T h e o p e n s e c r e t o f r e a l s u c c e s s i s t o t h r o w y o u r w h o l e p e r s o n a l i t y a t
a p r o b l e m . "
| G . P o l y a , H o w t o S o l v e I t
\ T o a p p r e c i a t e t h e l i v i n g s p i r i t r a t h e r t h a n t h e d r y b o n e s o f m a t h e -
m a t i c s , i t i s n e c e s s a r y t o i n s p e c t t h e w o r k o f a m a s t e r a t r s t h a n d .
T e x t b o o k s a n d t r e a t i s e s a r e a n u n a v o i d a b l e e v i l T h e v e r y c r u d i t i e s
o f t h e r s t a t t a c k o n a s i g n i c a n t p r o b l e m b y a m a s t e r a r e m o r e i l l u -
m i n a t i n g t h a n a l l t h e p r e t t y e l e g a n c e o f t h e s t a n d a r d t e x t s w h i c h h a s
b e e n w o n a t t h e c o s t o f p e r h a p s c e n t u r i e s o f n i c k y p o l i s h i n g . "
| E r i c T e m p l e B e l l ,
M a t h e m a t i c s : Q u e e n & S e r v a n t o f S c i e n c e
B e g i n n i n g s
I n w h i c h w e c o n s i d e r t h e p l i g h t o f a b r i g h t c h i l d g r o w i n g u p i n M a n h a t -
t a n a n d a t t e m p t i n g t o l e a r n e v e r y t h i n g , i n c l u d i n g g e n e r a l r e l a t i v i t y a n d
G o d e l ' s i n c o m p l e t e n e s s t h e o r e m , o n h i s o w n .
I t w a s f u n b e i n g a c h i l d i n M a n h a t t a n i n t h e l a t e 1 9 5 0 s a n d e a r l y
1 9 6 0 s . I w a s l u c k y t o g o t o a s e r i e s o f g o o d p u b l i c s c h o o l s , a n d
t o t a k e a d v a n t a g e o f m a n y s p e c i a l p r o g r a m s f o r b r i g h t c h i l d r e n , a n d
m a n y a c c e l e r a t e d s c h o o l p r o g r a m s . T h e B r o n x H i g h S c h o o l o f S c i -
e n c e w a s a n e x c i t i n g p l a c e , w i t h a n e x c e l l e n t s c h o o l l i b r a r y , a n d l o t s o f
1
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
10/238
2 P r o l o g u e
v e r y b r i g h t s t u d e n t s . T h e r e w e r e n e w a l m o s t - c o l l e g e - l e v e l e x p e r i m e n t a l
m a t h , p h y s i c s , b i o l o g y a n d c h e m i s t r y c o u r s e s t h a t h a d b e e n p r o v o k e d
b y t h e R u s s i a n s u c c e s s i n o r b i t i n g t h e a r t i c i a l s a t e l l i t e S p u t n i k b e f o r e
A m e r i c a c o u l d p u t a s a t e l l i t e i n o r b i t . W h i l e a t t h e B r o n x H i g h S c h o o l
o f S c i e n c e I g o t i n t o a s p e c i a l p r o g r a m f o r b r i g h t h i g h s c h o o l s t u d e n t s
r u n b y C o l u m b i a U n i v e r s i t y , c a l l e d t h e S c i e n c e H o n o r s P r o g r a m , w h e r e
I w a s a b l e t o p l a y w i t h c o m p u t e r s . T h i s w a s g r e a t f u n , a n d n o t a t a l l
u s u a l a t t h a t t i m e , b e c a u s e c o m p u t e r s w e r e s t i l l a n o v e l t y .
W e l i v e d a b l o c k a w a y f r o m C e n t r a l P a r k , n e a r m a n y b r a n c h e s o f
t h e N e w Y o r k C i t y P u b l i c L i b r a r y f u l l o f i n t e r e s t i n g b o o k s , a n d a l s o
a t w a l k i n g d i s t a n c e f r o m t h e M u s e u m o f M o d e r n A r t ( c o n v e n i e n t l y
l o c a t e d a c r o s s t h e s t r e e t f r o m a b r a n c h o f t h e P u b l i c L i b r a r y ) . I s p e n t
m u c h o f m y t i m e i n t h e p a r k , a t t h e l i b r a r y , a n d i n t h e M u s e u m o f
M o d e r n A r t , w h e r e I s a w m a n y i n t e r e s t i n g o l d a n d f o r e i g n l m s . ( I ' v e
n e v e r l o s t m y t a s t e f o r s u c h l m s t h e e a r l y I n g m a r B e r g m a n l m s
a n d E r i c R o h m e r ' s l m s a r e a m o n g m y f a v o r i t e s a s a n a d u l t . )
I w o u l d h i k e a c r o s s C e n t r a l P a r k , l o o k i n g f o r i n t e r e s t i n g r o c k s , p a r -
t i c u l a r l y c r y s t a l s a n d f o s s i l s , w h i c h I w o u l d t h e n c o m p a r e w i t h t h e
c o l l e c t i o n o f m i n e r a l s i n t h e M u s e u m o f N a t u r a l H i s t o r y a c r o s s t h e
p a r k f r o m o u r a p a r t m e n t . ( A s a n a d u l t I ' v e c o n t i n u e d h i k i n g . F i r s t i n
A r g e n t i n a , t h e n i n N e w Y o r k ' s H u d s o n V a l l e y a n d M a i n e ' s M t . D e s e r t
I s l a n d , a n d l a t e l y i n S w i t z e r l a n d . )
M y p a r e n t s w e r e i n v o l v e d w i t h t h e U n i t e d N a t i o n s a n d w i t h t h e
t h e a t e r a n d l m m a k i n g . R e c e n t l y I w a s y i n g b a c k t o N e w Y o r k o n a
S w i s s a i r i g h t a f t e r l e c t u r i n g i n G
o d e l ' s c l a s s r o o m i n V i e n n a , a n d a
d o c u m e n t a r y a b o u t M a r i l y n M o n r o e w a s s h o w n o n t h e p l a n e . A l l o f
a s u d d e n , t h e r e o n t h e s c r e e n f o r a m o m e n t w e r e m y f a t h e r a n d s e v e r a l
o t h e r s w i t h M a r i l y n M o n r o e !
A l l t h i s g a v e m e t h e f e e l i n g t h a t a n y t h i n g w a s p o s s i b l e , t h a t t h e
s k y w a s t h e l i m i t . A s t h e a m b i t i o u s y o u n g d i r e c t o r E a s t o n s a y s i n m y
f a t h e r ' s 1 9 6 2 l m T h e S m a l l H o u r s , a l l i t t a k e s i s \ G u t s a n d i m a g i n a -
t i o n ! "
T w o b i g s t e p s i n m y c h i l d h o o d w e r e w h e n I w a s g i v e n p e r m i s s i o n t o
t a k e o u t b o o k s f r o m t h e a d u l t s e c t i o n o f t h e N e w Y o r k P u b l i c L i b r a r y ,
e v e n t h o u g h I w a s m u c h t o o y o u n g . A l s o w h e n i n h i g h s c h o o l a s a
m e m b e r o f t h e C o l u m b i a U n i v e r s i t y S c i e n c e H o n o r s P r o g r a m I w a s
g i v e n t h e r u n o f t h e s t a c k s o f t h e C o l u m b i a U n i v e r s i t y m a t h e m a t i c s
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
11/238
A L i f e i n M a t h 3
l i b r a r y , a n d c o u l d h a v e r s t - h a n d c o n t a c t w i t h t h e c o l l e c t e d w o r k s o f
m a s t e r s l i k e N e i l s H e n r i k A b e l a n d L
e o n a r d E u l e r . T h e l i b r a r y
a t t h e B r o n x H i g h S c h o o l o f S c i e n c e w a s a l s o g o o d , a n d l a t e r I h a d
p e r m i s s i o n t o e n t e r t h e s t a c k s o f t h e C i t y C o l l e g e l i b r a r y . I r e a d a l o t
I w a s a s p o n g e !
S c i e n t i c A m e r i c a n w i t h M a r t i n G a r d n e r ' s M a t h e m a t i c a l
G a m e s a n d t h e A m a t e u r A s t r o n o m e r a n d A m a t e u r S c i e n t i s t d e p a r t -
m e n t s p l a y e d a b i g r o l e i n m y c h i l d h o o d . I r e a d e v e r y i s s u e , a n d t r i e d
o u t m a n y o f t h e m a t h e m a t i c a l g a m e s a n d a m a t e u r s c i e n t i s t e x p e r i -
m e n t s . O n e o f m y a m a t e u r s c i e n t i s t p r o j e c t s w a s b u i l d i n g a v a n d e
G r a a f f e l e c t r o s t a t i c g e n e r a t o r , w h i c h I d i d w h e n I w a s e l e v e n y e a r s
o l d .
M y r s t l o v e s w e r e p h y s i c s a n d a s t r o n o m y . I w a n t e d v e r y b a d l y t o
l e a r n E i n s t e i n ' s t h e o r i e s a n d b u i l d a t e l e s c o p e o n m y o w n . ( I d i d -
n ' t q u i t e m a n a g e i t t h e n , b u t a s a n a d u l t I d i d . ) O n e p r o b l e m w a s
t h a t t o r e a d t h e p h y s i c s b o o k s o n e h a d t o u n d e r s t a n d m a t h e m a t i c s .
A n d i t w a s h a r d t o g e t e q u i p m e n t f o r p h y s i c s e x p e r i m e n t s a n d a s t r o n -
o m y . S o I s t a r t e d s t u d y i n g m a t h a n d e x p e r i m e n t i n g w i t h c o m p u t e r s . I
s p e n t a l o t o f t i m e i n h i g h s c h o o l p r o g r a m m i n g E d w a r d F . M o o r e ' s
\ G e d a n k e n - E x p e r i m e n t s o n S e q u e n t i a l M a c h i n e s , "
1
w h i c h l e d t o m y
r s t p u b l i c a t i o n , w r i t t e n w h i l e I w a s i n h i g h s c h o o l .
2
I n h i g h s c h o o l I w a s a l s o i n t e r e s t e d i n g a m e t h e o r y , i n f o r m a t i o n
t h e o r y a n d i n G
o d e l ' s i n c o m p l e t e n e s s t h e o r e m . T h e s e s u b j e c t s w e r e
s t i l l r e l a t i v e l y n e w a n d e x c i t i n g t h e n , a n d t h e r e w e r e n o t m a n y b o o k s
a b o u t t h e m o r a b o u t c o m p u t e r s e i t h e r , w h i c h w e r e a l s o a n o v e l t y a t
t h a t t i m e . I r s t h a d t h e i d e a o f d e n i n g r a n d o m n e s s v i a a l g o r i t h m i c
i n c o m p r e s s i b i l i t y a s p a r t o f t h e a n s w e r f o r a n e s s a y q u e s t i o n o n t h e
e n t r a n c e e x a m t o g e t i n t o t h e S c i e n c e H o n o r s P r o g r a m ! B u t I f o r g o t
t h e i d e a f o r a f e w y e a r s .
T h e s u m m e r b e t w e e n t h e B r o n x H i g h S c h o o l o f S c i e n c e a n d t h e
C i t y C o l l e g e o f t h e C i t y U n i v e r s i t y o f N e w Y o r k , I t h o u g h t a b o u t t h e
s i m p l i c i t y a n d s p e e d o f p r o g r a m s f o r c o m p u t i n g i n n i t e s e t s o f n a t u r a l
1
E d w a r d F . M o o r e , \ G e d a n k e n - E x p e r i m e n t s o n S e q u e n t i a l M a c h i n e s , " i n
C l a u d e E . S h a n n o n a n d J o h n M c C a r t h y , A u t o m a t a S t u d i e s , A n n a l s o f M a t h -
e m a t i c s S t u d i e s , N o . 3 4 , P r i n c e t o n : P r i n c e t o n U n i v e r s i t y P r e s s ( 1 9 5 6 ) , p p . 1 2 9 { 1 5 3 .
2
G r e g o r y J . C h a i t i n , \ A n I m p r o v e m e n t o n a T h e o r e m o f E . F . M o o r e , " I E E E
T r a n s a c t i o n s o n E l e c t r o n i c C o m p u t e r s E C - 1 4 ( 1 9 6 5 ) , p p . 4 6 6 { 4 6 7 .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
12/238
4 P r o l o g u e
n u m b e r s .
3
I n t h i s c o n n e c t i o n I c a m e u p w i t h m y r s t i n c o m p l e t e -
n e s s t h e o r e m .
4
G
o d e l ' s o r i g i n a l p r o o f I h a d f o u n d t o b e i n n i t e l y
f a s c i n a t i n g , b u t i n c o m p r e h e n s i b l e . O n c e I f o r m u l a t e d a n d p r o v e d a n
i n c o m p l e t e n e s s t h e o r e m o f m y o w n , I b e g a n t o u n d e r s t a n d G
o d e l ' s
( T o r e a l l y u n d e r s t a n d s o m e t h i n g , I b e l i e v e t h a t o n e m u s t d i s c o v e r i t
o n e s e l f , n o t l e a r n i t f r o m a n y o n e e l s e ! )
D u r i n g m y r s t y e a r a t C i t y C o l l e g e , w h i l e r e a d i n g v o n N e u -
m a n n a n d M o r g e n s t e r n ' s T h e o r y o f G a m e s a n d E c o n o m i c B e h a v i o r
w h e r e t h e y i n v o k e r a n d o m ( \ m i x e d " ) s t r a t e g i e s f o r z e r o - s u m t w o - p e r s o n
g a m e s w i t h o u t a s a d d l e p o i n t ( \ J u s t i c a t i o n o f t h e P r o c e d u r e a s A p -
p l i e d t o a n I n d i v i d u a l P l a y " ) ,
5
I r e c a l l e d m y i d e a f o r a d e n i t i o n o f
r a n d o m n e s s , a n d d e c i d e d t o t r y t o d e v e l o p i t m a t h e m a t i c a l l y u s i n g t h e
n o t i o n o f a T u r i n g m a c h i n e . I d i d t h i s t h e n e x t s u m m e r , t h e s u m m e r
o f 1 9 6 5 , b e t w e e n m y r s t a n d s e c o n d y e a r s a t C i t y C o l l e g e , w h i l e s e e i n g
i n t e r e s t i n g l m s a t t h e M u s e u m o f M o d e r n A r t a n d t h i n k i n g i n C e n t r a l
P a r k . W h e n c o l l e g e s t a r t e d i n t h e f a l l , I w a s e x c u s e d f r o m a t t e n d i n g
c l a s s e s t o n i s h w r i t i n g u p m y r e s u l t s !
6 7 8 9
T h e s e p a p e r s c o n t a i n t w o
t h e o r i e s o f p r o g r a m s i z e b a s e d o n c o u n t i n g t h e n u m b e r o f s t a t e s i n T u r -
i n g m a c h i n e s , a n d o n e t h e o r y o f p r o g r a m s i z e b a s e d o n c o u n t i n g b i t s i n
3
T h i s e v e n t u a l l y b e c a m e : G r e g o r y J . C h a i t i n , \ O n t h e S i m p l i c i t y a n d S p e e d
o f P r o g r a m s f o r C o m p u t i n g I n n i t e S e t s o f N a t u r a l N u m b e r s , " J o u r n a l o f t h e A C M
1 6 ( 1 9 6 9 ) , p p . 4 0 7 { 4 2 2 .
4
M a x i m i z i n g o v e r a l l p r o v a b l y t o t a l r e c u r s i v e f u n c t i o n s , o n e o b t a i n s a t o t a l r e -
c u r s i v e f u n c t i o n t h a t g r o w s m o r e q u i c k l y t h a n a n y f u n c t i o n t h a t i s p r o v a b l y t o t a l .
S e e t h e d i s c u s s i o n a t t h e e n d o f S e c t i o n 2 o f : G r e g o r y J . C h a i t i n , \ G o d e l ' s T h e -
o r e m a n d I n f o r m a t i o n , " I n t e r n a t i o n a l J o u r n a l o f T h e o r e t i c a l P h y s i c s 2 2 ( 1 9 8 2 ) , p p .
9 4 1 { 9 5 4 .
5
J o h n v o n N e u m a n n a n d O s k a r M o r g e n s t e r n , T h e o r y o f G a m e s a n d E c o -
n o m i c B e h a v i o r , P r i n c e t o n : P r i n c e t o n U n i v e r s i t y P r e s s ( 1 9 5 3 ) , p p . 1 4 6 { 1 4 8 .
6
G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e
B i n a r y S e q u e n c e s b y B o u n d e d - T r a n s f e r T u r i n g M a c h i n e s , " A b s t r a c t 6 6 T { 2 6 , A M S
N o t i c e s 1 3 ( 1 9 6 6 ) , p . 1 3 3 .
7
G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e
B i n a r y S e q u e n c e s b y B o u n d e d - T r a n s f e r T u r i n g M a c h i n e s I I , " A b s t r a c t 6 3 1 { 6 , A M S
N o t i c e s 1 3 ( 1 9 6 6 ) , p p . 2 2 8 { 2 2 9 .
8
G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e
B i n a r y S e q u e n c e s , " J o u r n a l o f t h e A C M 1 3 ( 1 9 6 6 ) , p p . 5 4 7 { 5 6 9 .
9
G r e g o r y J . C h a i t i n , \ O n t h e L e n g t h o f P r o g r a m s f o r C o m p u t i n g F i n i t e
B i n a r y S e q u e n c e s : S t a t i s t i c a l C o n s i d e r a t i o n s , " J o u r n a l o f t h e A C M 1 6 ( 1 9 6 9 ) , p p .
1 4 5 { 1 5 9 . P u b l i c a t i o n w a s i n e x p l i c a b l y d e l a y e d .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
13/238
A L i f e i n M a t h 5
p r o g r a m s f o r m o r e a b s t r a c t b i n a r y c o m p u t e r s a l t o g e t h e r t h r e e d i e r -
e n t t h e o r i e s o f p r o g r a m s i z e ! ( I d i d a l l t h i s w h e n I w a s e i g h t e e n . ) T h e n
m y p a r e n t s a n d I m o v e d t o B u e n o s A i r e s , a s o p h i s t i c a t e d E u r o p e a n
c i t y o f c a f e s , c i n e m a s , r e s t a u r a n t s , b e e r h a l l s , a n d r o w i n g c l u b s . T h e r e
m y a d u l t l i f e b e g a n a n d I a l m o s t i m m e d i a t e l y j o i n e d I B M w o r k i n g a s
a p r o g r a m m e r , c o n t i n u i n g m y r e s e a r c h a s a h o b b y .
A d u l t A c t i v i t i e s
I n A u g u s t 1 9 6 8 I p r e s e n t e d a p a p e r s u m m a r i z i n g m y i d e a s a t t h e P a n -
A m e r i c a n S y m p o s i u m o f A p p l i e d M a t h e m a t i c s i n B u e n o s A i r e s . T h i s
w a s p u b l i s h e d i n 1 9 7 0 .
1 0
I n 1 9 7 0 I a l s o p u b l i s h e d s o m e t h o u g h t s o n
p o s s i b l e c o n n e c t i o n s b e t w e e n m y w o r k a n d J o h n v o n N e u m a n n ' s
i d e a s o n s e l f - r e p r o d u c i n g a u t o m a t a
1 1
i n t h e n e w s l e t t e r o f t h e A C M ' s
S p e c i a l I n t e r e s t C o m m i t t e e o n A u t o m a t a a n d C o m p u t a b i l i t y T h e o r y
( S I C A C T ) .
1 2
( S I C A C T w a s l a t e r r e n a m e d S I G A C T , t h e S p e c i a l I n t e r -
e s t G r o u p o n A u t o m a t a a n d C o m p u t a b i l i t y T h e o r y ) .
I d i s c o v e r e d m y r s t i n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e n e s s t h e o r e m
i n 1 9 7 0 a t t h e a g e o f t w e n t y - t w o w h i l e I w a s v i s i t i n g a R i o d e J a n i e r o
u n i v e r s i t y a n d e n j o y i n g t h e t r o p i c a l b e a c h e s a n d t h e e x c i t e m e n t o f
C a r n i v a l .
1 3 1 4
( I s h o u l d h a v e d i s c o v e r e d t h i s i n c o m p l e t e n e s s t h e o r e m i n
1 9 6 5 , b e c a u s e t h i s t h e o r e m i s a n i m m e d i a t e c o n s e q u e n c e o f t h e p r o o f
t h a t p r o g r a m - s i z e c o m p l e x i t y i s u n c o m p u t a b l e t h a t I g i v e i n m y 1 9 6 6
J o u r n a l o f t h e A C M p a p e r . T h e r e a s o n t h a t I d i d n ' t d i s c o v e r t h i s t h e o -
r e m i n 1 9 6 5 i s t h a t I w a s s o i n t e r e s t e d i n r a n d o m n e s s t h a t I t e m p o r a r i l y
f o r g o t a b o u t i n c o m p l e t e n e s s ! T h e m o m e n t t h a t I t h o u g h t a b o u t r a n -
d o m n e s s a n d i n c o m p l e t e n e s s , I r e a l i z e d t h a t o n e c a n n o t p r o v e t h a t
1 0
G r e g o r y J . C h a i t i n , \ O n t h e D i c u l t y o f C o m p u t a t i o n s , " I E E E T r a n s a c -
t i o n s o n I n f o r m a t i o n T h e o r y I T { 1 6 ( 1 9 7 0 ) , p p . 5 { 9 .
1 1
J o h n v o n N e u m a n n , T h e o r y o f S e l f - R e p r o d u c i n g A u t o m a t a , U r b a n a : U n i v e r -
s i t y o f I l l i n o i s P r e s s ( 1 9 6 6 ) . E d i t e d a n d c o m p l e t e d b y A r t h u r W . B u r k s .
1 2
G r e g o r y J . C h a i t i n , \ T o a M a t h e m a t i c a l D e n i t i o n o f ` L i f e ' , " A C M S I C A C T
N e w s 4 ( J a n u a r y 1 9 7 0 ) , p p . 1 2 { 1 8 .
1 3
G r e g o r y J . C h a i t i n , \ C o m p u t a t i o n a l C o m p l e x i t y a n d G o d e l ' s I n c o m p l e t e -
n e s s T h e o r e m , " A b s t r a c t 7 0 T { E 3 5 , A M S N o t i c e s 1 7 ( 1 9 7 0 ) , p . 6 7 2 .
1 4
G r e g o r y J . C h a i t i n , \ C o m p u t a t i o n a l C o m p l e x i t y a n d G o d e l ' s I n c o m p l e t e -
n e s s T h e o r e m , " A C M S I G A C T N e w s 9 ( A p r i l 1 9 7 1 ) , p p . 1 1 { 1 2 .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
14/238
6 P r o l o g u e
a s t r i n g i s r a n d o m b e c a u s e o f v e r y s t r o n g i n f o r m a t i o n - t h e o r e t i c c o n -
s t r a i n t s o n t h e p o w e r o f m a t h e m a t i c a l r e a s o n i n g . )
A n d i n R i o I o b t a i n e d a c o p y o f t h e o r i g i n a l M I T L I S P 1 . 5 m a n u a l .
1 5
W h e n I r e t u r n e d t o B u e n o s A i r e s I l e a r n e d L I S P b y w r i t i n g a L I S P
i n t e r p r e t e r . T h i s w a s t h e r s t o f m a n y L I S P i n t e r p r e t e r s t h a t I w a s t o
w r i t e , a n d t h e b e g i n n i n g o f a l o n g l o v e a a i r w i t h L I S P . ( I w a s h a v i n g
s o m u c h f u n p l a y i n g w i t h L I S P o n c o m p u t e r s t h a t I d i d n o t r e a l i z e t h a t
m y t h e o r e t i c a l i d e a s o n p r o g r a m - s i z e c o m p l e x i t y a p p l y b e a u t i f u l l y t o
L I S P .
1 6
)
T h e e a r l y 1 9 7 0 s w e r e a t i m e o f i n t e n s e a c t i v i t y .
1 7 1 8 1 9 2 0 2 1 2 2
I g a v e
a c o u r s e o n L I S P a n d t w o c o u r s e s o n \ C o m p u t a b i l i t y a n d M e t a m a t h e -
m a t i c s " a t C i e n c i a s E x a c t a s , t h e S c h o o l o f E x a c t S c i e n c e s o f t h e U n i -
v e r s i t y o f B u e n o s A i r e s .
I n t h e e a r l y 1 9 7 0 s I c o n t i n u e d d e v e l o p i n g m y i n f o r m a t i o n - t h e o r e t i c
a p p r o a c h t o i n c o m p l e t e n e s s . I n O c t o b e r 1 9 7 1 , J a c o b T . S c h w a r t z
p r e s e n t e d a p a p e r o n t h i s f o r m e a t t h e C o u r a n t I n s t i t u t e C o m p u t a -
t i o n a l C o m p l e x i t y S y m p o s i u m i n N e w Y o r k . I n J u n e 1 9 7 3 , T e r r e n c e
L . F i n e p r e s e n t e d a p a p e r o n t h i s f o r m e a t t h e I E E E I n t e r n a t i o n a l
S y m p o s i u m o n I n f o r m a t i o n T h e o r y i n A s h k e l o n , I s r a e l .
2 3
I n 1 9 7 4 t h e s e
1 5
J o h n M c C a r t h y , P a u l W . A b r a h a m s , D a n i e l J . E d w a r d s , T i m o t h y
P . H a r t , a n d M i c h a e l I . L e v i n , L I S P 1 . 5 P r o g r a m m e r ' s M a n u a l , C a m b r i d g e :
M I T P r e s s ( 1 9 8 5 ) .
1 6
S e e p a g e s 3 7 { 1 0 5 i n t h i s v o l u m e .
1 7
G r e g o r y J . C h a i t i n , I n f o r m a t i o n - T h e o r e t i c A s p e c t s o f t h e T u r i n g D e g r e e s ,
A b s t r a c t 7 2 T { E 7 7 , A M S N o t i c e s 1 9 ( 1 9 7 2 ) , p p . A { 6 0 1 , A { 6 0 2 .
1 8
G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c A s p e c t s o f P o s t ' s C o n s t r u c t i o n
o f a S i m p l e S e t , " A b s t r a c t 7 2 T { E 8 5 , A M S N o t i c e s 1 9 ( 1 9 7 2 ) , p . A { 7 1 2 .
1 9
G r e g o r y J . C h a i t i n , \ O n t h e D i c u l t y o f G e n e r a t i n g a l l B i n a r y S t r i n g s o f
C o m p l e x i t y l e s s t h a n N " A b s t r a c t 7 2 T { E 1 0 1 , A M S N o t i c e s 1 9 ( 1 9 7 2 ) , p . A { 7 6 4 .
2 0
G r e g o r y J . C h a i t i n , \ O n t h e G r e a t e s t N a t u r a l N u m b e r o f D e n i t i o n a l o r
I n f o r m a t i o n C o m p l e x i t y N " R e c u r s i v e F u n c t i o n T h e o r y : N e w s l e t t e r 4 ( J a n u a r y
1 9 7 3 ) , p p . 1 1 { 1 3 .
2 1
G r e g o r y J . C h a i t i n , \ A N e c e s s a r y a n d S u c i e n t C o n d i t i o n f o r a n I n n i t e
B i n a r y S t r i n g t o b e R e c u r s i v e , " R e c u r s i v e F u n c t i o n T h e o r y : N e w s l e t t e r 4 ( J a n u a r y
1 9 7 3 ) , p . 1 3 .
2 2
G r e g o r y J . C h a i t i n , \ T h e r e a r e F e w M i n i m a l D e s c r i p t i o n s , " R e c u r s i v e F u n c -
t i o n T h e o r y : N e w s l e t t e r 4 ( J a n u a r y 1 9 7 3 ) , p . 1 4 .
2 3
G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c C o m p u t a t i o n a l C o m p l e x i t y , "
A b s t r a c t s o f P a p e r s , 1 9 7 3 I E E E I n t e r n a t i o n a l S y m p o s i u m o n I n f o r m a t i o n T h e o r y ,
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
15/238
A L i f e i n M a t h 7
t w o p a p e r s w e r e p u b l i s h e d a s a n i n v i t e d p a p e r i n t h e I E E E T r a n s a c -
t i o n s o n I n f o r m a t i o n T h e o r y
2 4
a n d a m u c h l o n g e r p a p e r i n t h e J o u r n a l
o f t h e A C M .
2 5
W h i l e v i s i t i n g t h e I B M T h o m a s J . W a t s o n R e s e a r c h C e n t e r i n
N e w Y o r k i n 1 9 7 4 , I r e a l i z e d t h a t i t i s v e r y i m p o r t a n t t o u s e a b s t r a c t
b i n a r y c o m p u t e r s t o m e a s u r e p r o g r a m - s i z e c o m p l e x i t y t h a t h a v e s e l f -
d e l i m i t i n g p r o g r a m s .
2 6
( I n d e e d , t h e T u r i n g m a c h i n e s t h a t I h a d s t u d -
i e d h a d s e l f - d e l i m i t i n g p r o g r a m s . D r o p p i n g t h i s w h e n g o i n g t o a b s t r a c t
b i n a r y c o m p u t e r s h a d b e e n a m i s t a k e . ) T h e d e n i t i o n o f r e l a t i v e c o m -
p l e x i t y a l s o n e e d e d a c o r r e c t i o n . T h i s n e w a p p r o a c h m a d e a w o r l d o f
d i e r e n c e : I t w a s d u r i n g t h i s v i s i t t h a t I d e v i s e d t h e h a l t i n g p r o b a b i l i t y
a n d s h o w e d t h a t i s r a n d o m . A t t h i s p o i n t i t b e c a m e a p p r o p r i a t e t o
r e f e r t o t h i s s u b j e c t a s \ a l g o r i t h m i c i n f o r m a t i o n t h e o r y " t h e d e n i t i o n s
w e r e n o w r i g h t . I w a s i n v i t e d t o s p e a k a b o u t t h i s a t t h e o p e n i n g p l e -
n a r y s e s s i o n o f t h e 1 9 7 4 I E E E I n t e r n a t i o n a l S y m p o s i u m o n I n f o r m a t i o n
T h e o r y .
2 7
I n 1 9 7 5 m y r s t S c i e n t i c A m e r i c a n a r t i c l e a p p e a r e d .
2 8
I v i s i t e d
t h e I B M T h o m a s J . W a t s o n R e s e a r c h C e n t e r a g a i n , w r o t e a f e w
J u n e 2 5 { 2 9 , 1 9 7 3 , K i n g S a u l H o t e l , A s h k e l o n , I s r a e l , I E E E C a t a l o g N o . 7 3 C H O
7 5 3 { 4 I T , p . F 1 { 1 .
2 4
G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c C o m p u t a t i o n a l C o m p l e x i t y , "
I E E E T r a n s a c t i o n s o n I n f o r m a t i o n T h e o r y I T { 2 0 ( 1 9 7 4 ) , p p . 1 0 { 1 5 . R e p r i n t e d i n :
T h o m a s T y m o c z k o , N e w D i r e c t i o n s i n t h e P h i l o s o p h y o f M a t h e m a t i c s , B o s t o n :
B i r k h a u s e r ( 1 9 8 6 ) , p p . 2 8 7 { 2 9 9 .
2 5
G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c L i m i t a t i o n s o f F o r m a l S y s -
t e m s , " J o u r n a l o f t h e A C M 2 1 ( 1 9 7 4 ) , p p . 4 0 3 { 4 2 4 .
2 6
G r e g o r y J . C h a i t i n , \ A T h e o r y o f P r o g r a m S i z e F o r m a l l y I d e n t i c a l t o I n -
f o r m a t i o n T h e o r y , " J o u r n a l o f t h e A C M 2 2 ( 1 9 7 5 ) , p p . 3 2 9 { 3 4 0 .
2 7
G r e g o r y J . C h a i t i n , \ A T h e o r y o f P r o g r a m S i z e F o r m a l l y I d e n t i c a l t o I n -
f o r m a t i o n T h e o r y , " A b s t r a c t s o f P a p e r s , 1 9 7 4 I E E E I n t e r n a t i o n a l S y m p o s i u m o n
I n f o r m a t i o n T h e o r y , O c t o b e r 2 8 { 3 1 , 1 9 7 4 , U n i v e r s i t y o f N o t r e D a m e , N o t r e D a m e ,
I n d i a n a , U S A , I E E E C a t a l o g N o . 7 4 C H O 8 8 3 { 9 I T , p . 2 .
2 8
G r e g o r y J . C h a i t i n , \ R a n d o m n e s s a n d M a t h e m a t i c a l P r o o f , " S c i e n t i c
A m e r i c a n 2 3 2 ( M a y 1 9 7 5 ) , p p . 4 7 { 5 2 . A l s o p u b l i s h e d i n t h e F r e n c h , I t a l i a n a n d
J a p a n e s e e d i t i o n s o f S c i e n t i c A m e r i c a n .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
16/238
8 P r o l o g u e
p a p e r s ,
2 9 3 0 3 1
a n d t h e n b e c a m e a p e r m a n e n t m e m b e r o f t h e s t a a t
t h e W a t s o n R e s e a r c h C e n t e r . F o r a d e c a d e I w a s h e a v i l y i n v o l v e d
i n p i o n e e r i n g w o r k o n R I S C t e c h n o l o g y . I n s p i t e o f t h i s , I m a n a g e d
t o p u b l i s h a f e w s u r v e y p a p e r s ,
3 2 3 3 3 4
a n i m p r o v e d v e r s i o n o f m y 1 9 7 0
S I C A C T p a p e r o n b i o l o g y ,
3 5
a n d a n o t e w i t h J a c o b T . S c h w a r t z .
3 6
I n t h e m i d 1 9 8 0 s , a f t e r w o r k i n g o n a c o m p u t e r p h y s i c s c o u r s e ,
3 7
I
r e c e i v e d a n i n v i t a t i o n t o w r i t e t h e r s t b o o k i n t h e n e w C a m b r i d g e
U n i v e r s i t y P r e s s s e r i e s C a m b r i d g e T r a c t s i n T h e o r e t i c a l C o m p u t e r S c i -
e n c e . T h i s i n v i t a t i o n w a s a t r e m e n d o u s s t i m u l u s . I t e n c o u r a g e d m e
t o r e - t h i n k i n c o m p l e t e n e s s u s i n g s e l f - d e l i m i t i n g c o m p l e x i t y ( m y 1 9 7 4
d e n i t i o n s ) . W h i l e w o r k i n g o n t h e b o o k I d i s c o v e r e d t h a t t h e r e i s
r a n d o m n e s s i n a r i t h m e t i c .
3 8 3 9
I p r o v e d t h i s b y t r a n s f o r m i n g i n t o
2 9
G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c C h a r a c t e r i z a t i o n s o f R e c u r s i v e
I n n i t e S t r i n g s , " T h e o r e t i c a l C o m p u t e r S c i e n c e 2 ( 1 9 7 6 ) , p p . 4 5 { 4 8 .
3 0
G r e g o r y J . C h a i t i n , \ A l g o r i t h m i c E n t r o p y o f S e t s , " C o m p u t e r s & M a t h e -
m a t i c s w i t h A p p l i c a t i o n s 2 ( 1 9 7 6 ) , p p . 2 3 3 { 2 4 5 .
3 1
G r e g o r y J . C h a i t i n , \ P r o g r a m S i z e , O r a c l e s , a n d t h e J u m p O p e r a t i o n , "
O s a k a J o u r n a l o f M a t h e m a t i c s 1 4 ( 1 9 7 7 ) , p p . 1 3 9 { 1 4 9 .
3 2
G r e g o r y J . C h a i t i n , \ A l g o r i t h m i c I n f o r m a t i o n T h e o r y , " I B M J o u r n a l o f
R e s e a r c h a n d D e v e l o p m e n t 2 1 ( 1 9 7 7 ) , p p . 3 5 0 { 3 5 9 , 4 9 6 .
3 3
G r e g o r y J . C h a i t i n , \ A l g o r i t h m i c I n f o r m a t i o n T h e o r y , " i n S a m u e l K o t z ,
N o r m a n L . J o h n s o n a n d C a m p b e l l B . R e a d , E n c y c l o p e d i a o f S t a t i s t i c a l S c i -
e n c e s , V o l . 1 , N e w Y o r k : W i l e y ( 1 9 8 2 ) , p p . 3 8 { 4 1 .
3 4
G r e g o r y J . C h a i t i n , \ G o d e l ' s T h e o r e m a n d I n f o r m a t i o n , " I n t e r n a t i o n a l
J o u r n a l o f T h e o r e t i c a l P h y s i c s 2 2 ( 1 9 8 2 ) , p p . 9 4 1 { 9 5 4 . R e p r i n t e d i n : T h o m a s T y -
m o c z k o , N e w D i r e c t i o n s i n t h e P h i l o s o p h y o f M a t h e m a t i c s , B o s t o n : B i r k h a u s e r
( 1 9 8 6 ) , p p . 3 0 0 { 3 1 1 .
3 5
G r e g o r y J . C h a i t i n , \ T o w a r d a M a t h e m a t i c a l D e n i t i o n o f ` L i f e ' , " i n
R a p h a e l D . L e v i n e a n d M y r o n T r i b u s , T h e M a x i m u m E n t r o p y F o r m a l i s m ,
C a m b r i d g e : M I T P r e s s ( 1 9 7 9 ) , p p . 4 7 7 { 4 9 8 .
3 6
G r e g o r y J . C h a i t i n a n d J a c o b T . S c h w a r t z , \ A N o t e o n M o n t e C a r l o
P r i m a l i t y T e s t s a n d A l g o r i t h m i c I n f o r m a t i o n T h e o r y , " C o m m u n i c a t i o n s o n P u r e
a n d A p p l i e d M a t h e m a t i c s 3 1 ( 1 9 7 8 ) , p p . 5 2 1 { 5 2 7 .
3 7
G r e g o r y J . C h a i t i n , \ A n A P L 2 G a l l e r y o f M a t h e m a t i c a l P h y s i c s | A C o u r s e
O u t l i n e , " i n I B M J a p a n , P r o c e e d i n g s J a p a n 8 5 A P L S y m p o s i u m , f o r m N : G E 1 8 {
9 9 4 8 { 0 ( 1 9 8 5 ) , p p . 1 { 5 6 .
3 8
G r e g o r y J . C h a i t i n , \ R a n d o m R e a l s a n d E x p o n e n t i a l D i o p h a n t i n e E q u a -
t i o n s , " R e s e a r c h R e p o r t R C { 1 1 7 8 8 , Y o r k t o w n H e i g h t s : I B M T h o m a s J . W a t s o n
R e s e a r c h C e n t e r ( M a r c h 1 9 8 6 ) , 6 p p .
3 9
G r e g o r y J . C h a i t i n , \ I n c o m p l e t e n e s s T h e o r e m s f o r R a n d o m R e a l s , " A d -
v a n c e s i n A p p l i e d M a t h e m a t i c s 8 ( 1 9 8 7 ) , p p . 1 1 9 { 1 4 6 .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
17/238
A L i f e i n M a t h 9
a t w o - h u n d r e d p a g e a l g e b r a i c e q u a t i o n i n v o l v i n g o n l y w h o l e n u m b e r s .
T h e b o o k
4 0
i s f u l l o f n e w r e s u l t s , a n d h a s a f o r e w o r d b y J a c o b T .
S c h w a r t z . A c o l l e c t i o n o f m y p a p e r s
4 1
w a s p u b l i s h e d a t t h e s a m e
t i m e .
4 2
M y d i s c o v e r y o f r a n d o m n e s s i n a r i t h m e t i c a t t r a c t e d a g r e a t d e a l o f
a t t e n t i o n , s t a r t i n g w i t h a n a r t i c l e b y I a n S t e w a r t i n N a t u r e .
4 3
I h a d
t h e p l e a s u r e o f w r i t i n g a b o u t i t n o t o n l y i n S c i e n t i c A m e r i c a n ,
4 4
b u t
a l s o i n t h e E n g l i s h m a g a z i n e N e w S c i e n t i s t
4 5
a n d t h e F r e n c h m a g a z i n e
L a R e c h e r c h e .
4 6
I a l s o h a d t h e p l e a s u r e o f b e i n g i n v i t e d t o s p e a k o n t h i s
w o r k i n t h e v e r y r o o m o f t h e M a t h e m a t i c a l I n s t i t u t e o f t h e U n i v e r s i t y
o f V i e n n a w h e r e G
o d e l u s e d t o t e a c h .
4 7
T h e r o o m w h e r e I l e c t u r e d
i s c a l l e d t h e G
o d e l c l a s s r o o m a n d h a s a s t o n e p l a q u e o n t h e w a l l
a n n o u n c i n g t h a t \ h i e r w i r k t e K U R T G
O D E L v o n 1 9 3 2 { 1 9 3 8 " .
I a l s o g a v e a l e s s t e c h n i c a l t a l k o n t h e b a c k g r o u n d a n d t h e b r o a d e r
4 0
G r e g o r y J . C h a i t i n , A l g o r i t h m i c I n f o r m a t i o n T h e o r y , C a m b r i d g e T r a c t s
i n T h e o r e t i c a l C o m p u t e r S c i e n c e , N o . 1 , C a m b r i d g e : C a m b r i d g e U n i v e r s i t y P r e s s
( 1 9 8 7 ) . R e p r i n t e d w i t h c o r r e c t i o n s i n 1 9 8 8 a n d 1 9 9 0 .
4 1
G r e g o r y J . C h a i t i n , I n f o r m a t i o n , R a n d o m n e s s & I n c o m p l e t e n e s s | P a p e r s
o n A l g o r i t h m i c I n f o r m a t i o n T h e o r y , S i n g a p o r e : W o r l d S c i e n t i c ( 1 9 8 7 ) . A s e c o n d
e d i t i o n w a s p u b l i s h e d i n 1 9 9 0 .
4 2
I n c i d e n t a l l y , m y f a t h e r p u b l i s h e d a b o o k w h e n h e w a s t w e n t y . I w a s f o r t y w h e n
t h e s e t w o b o o k s a p p e a r e d .
4 3
I a n S t e w a r t , \ T h e U l t i m a t e i n U n d e c i d a b i l i t y , " N a t u r e 2 3 2 ( 1 0 M a r c h 1 9 8 8 ) ,
p p . 1 1 5 { 1 1 6 .
4 4
G r e g o r y J . C h a i t i n , \ R a n d o m n e s s i n A r i t h m e t i c , " S c i e n t i c A m e r i c a n 2 5 9
( J u l y 1 9 8 8 ) , p p . 8 0 { 8 5 . A l s o p u b l i s h e d i n t h e F r e n c h , G e r m a n , I t a l i a n , J a p a n e s e
a n d S p a n i s h e d i t i o n s o f S c i e n t i c A m e r i c a n .
4 5
G r e g o r y J . C h a i t i n , \ A R a n d o m W a l k i n A r i t h m e t i c , " N e w S c i e n t i s t 1 2 5
( 2 4 M a r c h 1 9 9 0 ) , p p . 4 4 { 4 6 . R e p r i n t e d i n : N i n a H a l l , T h e N e w S c i e n t i s t G u i d e
t o C h a o s , H a r m o n d s w o r t h : P e n g u i n ( 1 9 9 1 ) , p p . 1 9 6 { 2 0 2 . A l s o r e p r i n t e d i n t h i s
v o l u m e , p . 1 3 7 .
4 6
G r e g o r y J . C h a i t i n , \ L e H a s a r d d e s N o m b r e s , " L a R e c h e r c h e 2 2 ( M a y 1 9 9 1 ) ,
p p . 6 1 0 { 6 1 5 . R e p r i n t e d i n t h i s v o l u m e , p . 1 7 1 . A l s o p u b l i s h e d i n t h e S p a n i s h e d i t i o n
o f L a R e c h e r c h e
4 7
G r e g o r y J . C h a i t i n , \ R a n d o m n e s s i n A r i t h m e t i c , " i n M a r c E . C a r -
v a l l o , N a t u r e , C o g n i t i o n a n d S y s t e m , V o l . 3 , D o r d r e c h t : K l u w e r ( 1 9 9 3 ) , i n p r e s s .
R e p r i n t e d i n t h i s v o l u m e , p . 1 6 1 .
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
18/238
1 0 P r o l o g u e
s i g n i c a n c e o f m y w o r k .
4 8 4 9
H o w i s t h e t w o - h u n d r e d p a g e e q u a t i o n f o r c o n s t r u c t e d ? I s t a r t
w i t h a n i n t e r p r e t e r f o r a t o y v e r s i o n o f L I S P t h a t I o r i g i n a l l y u s e d i n
t h e L I S P c o u r s e t h a t I g a v e a t C i e n c i a s E x a c t a s ( t h e S c h o o l o f E x a c t
S c i e n c e s o f t h e U n i v e r s i t y o f B u e n o s A i r e s ) i n t h e e a r l y 1 9 7 0 s . I t h e n
t a k e t h i s L I S P i n t e r p r e t e r a n d t r a n s f o r m i t i n t o a n e q u a t i o n u s i n g i d e a s
o f J o n e s a n d M a t i j a s e v i
c
5 0
F i n a l l y , I p l u g a L I S P p r o g r a m f o r
c o m p u t i n g a p p r o x i m a t i o n s t o i n t o t h e e q u a t i o n t h a t I p r o d u c e d f r o m
t h e L I S P i n t e r p r e t e r . T h e s o f t w a r e f o r d o i n g a l l o f t h i s w a s o r i g i n a l l y i n
a s s e m b l y l a n g u a g e . I t h a s b e e n r e w r i t t e n t w i c e : i n C , a n d i n t h e v e r y
h i g h l e v e l l a n g u a g e S E T L 2 . ( T h i s s o f t w a r e i s a v a i l a b l e o n r e q u e s t . )
I h a d t h e p l e a s u r e o f s p e a k i n g a t t w o S o l v a y c o n f e r e n c e s i n B r u s -
s e l s . O n e t o o k p l a c e i n O c t o b e r 1 9 8 5 , t h e o t h e r i n S e p t e m b e r 1 9 8 9 .
B o t h c o n f e r e n c e s w e r e o r g a n i z e d b y P r o f I l y a P r i g o g i n e a n d s p o n -
s o r e d b y t h e S o l v a y I n s t i t u t e a n d t h e H o n d a F o u n d a t i o n . B o t h
c o n f e r e n c e s w e r e q u i t e s t i m u l a t i n g . M y r s t t a l k i s s u m m a r i z e d i n a
p a p e r .
5 1
M y s e c o n d t a l k w a s l m e d a t r a n s c r i p t i s i n c l u d e d i n t h e s e c -
o n d c o l l e c t i o n o f m y p a p e r s
5 2
( m y N e w S c i e n t i s t a r t i c l e i s a c o n d e n s e d
v e r s i o n o f t h i s t a l k m y L a R e c h e r c h e a r t i c l e i s a n e x p a n d e d v e r s i o n ) .
I a m g r a t e f u l t o t h e K i n g a n d Q u e e n o f B e l g i u m , M r H o n d a ,
M r S o l v a y a n d P r o f P r i g o g i n e f o r t h e i r h o s p i t a l i t y . T w o m e m o -
r a b l e m o m e n t s : O n e , a d i n n e r a t M r S o l v a y ' s c i t y r e s i d e n c e . A m o n g
t h e g u e s t s , t h e K i n g a n d Q u e e n o f B e l g i u m , t h e C r o w n P r i n c e o f
J a p a n , M r H o n d a a n d P r o f P r i g o g i n e . T h e o t h e r , a p a r t y h o s t e d
4 8
G r e g o r y J . C h a i t i n , \ Z a h l e n u n d Z u f a l l , " i n H a n s - C h r i s t i a n R e i c h e l
a n d E n r i q u e P r a t d e l a R i b a , N a t u r w i s s e n s c h a f t u n d W e l t b i l d , V i e n n a : V e r l a g
H o l d e r { P i c h l e r { T e m p s k y ( 1 9 9 2 ) , p p . 3 0 { 4 4 .
4 9
G r e g o r y J . C h a i t i n , \ N u m b e r a n d R a n d o m n e s s , " i n M a r c E . C a r -
v a l l o , N a t u r e , C o g n i t i o n a n d S y s t e m , V o l . 3 , D o r d r e c h t : K l u w e r ( 1 9 9 3 ) , i n p r e s s .
R e p r i n t e d i n t h i s v o l u m e , p . 1 4 5 .
5 0
J a m e s P . J o n e s a n d Y u r i V . M a t i j a s e v i
c \ R e g i s t e r M a c h i n e P r o o f o f t h e
T h e o r e m o n E x p o n e n t i a l D i o p h a n t i n e R e p r e s e n t a t i o n o f E n u m e r a b l e S e t s , " J o u r n a l
o f S y m b o l i c L o g i c 4 9 ( 1 9 8 4 ) , p p . 8 1 8 { 8 2 9 .
5 1
G r e g o r y J . C h a i t i n , \ R a n d o m n e s s a n d G o d e l ' s T h e o r e m , " M o n d e s e n
D e v e l o p p e m e n t 5 4 { 5 5 ( 1 9 8 6 ) , p p . 1 2 5 { 1 2 8 .
5 2
G r e g o r y J . C h a i t i n , \ U n d e c i d a b i l i t y & R a n d o m n e s s i n P u r e M a t h e m a t i c s , "
i n G r e g o r y J . C h a i t i n , I n f o r m a t i o n , R a n d o m n e s s & I n c o m p l e t e n e s s | P a p e r s o n
A l g o r i t h m i c I n f o r m a t i o n T h e o r y , S i n g a p o r e : W o r l d S c i e n t i c ( 1 9 9 0 ) , p p . 3 0 7 { 3 1 3 .
A L i f e i n M a t h 1 1
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
19/238
b y M r H o n d a , w i t h a s t r i n g q u a r t e t p l a y i n g M o z a r t a n d d r e s s e d i n
p e r i o d c o s t u m e s . D u r i n g a b r e a k , o n e o f t h e p e r f o r m e r s s t a n d i n g i n h i s
w i g a n d k n e e - b r e e c h e s , e a t i n g s u s h i w i t h c h o p s t i c k s !
R e c e n t l y I h a v e g i v e n m u c h t h o u g h t t o p r o g r a m s i z e i n
L I S P ,
5 3 5 4 5 5 5 6
w h i c h w o r k s o u t n i c e l y .
M y l a t e s t p a p e r p r e s e n t s s u r p r i s i n g r e f o r m u l a t i o n s o f m y m o s t
b a s i c i n c o m p l e t e n e s s t h e o r e m s u s i n g s e l f - d e l i m i t i n g e n u m e r a t i o n
c o m p l e x i t y .
5 7
T h i s b o o k i s t h e s t o r y o f m y m a t h e m a t i c a l a d v e n t u r e s , a n d t h i s
s t o r y i s t o l d r o u g h l y i n t h e o r d e r t h a t I m a d e t h e d i s c o v e r i e s . T h e
r s t p a r t s u r v e y s e i g h t d i e r e n t t h e o r i e s o f p r o g r a m - s i z e c o m p l e x i t y :
o n e b a s e d o n T u r i n g m a c h i n e s , t h r e e b a s e d o n L I S P , a n d f o u r u s i n g
a b s t r a c t b i n a r y c o m p u t e r s ( s e e t h e i n d e x o f c o m p l e x i t y m e a s u r e s o n
p . 1 2 ) . I n e a c h c a s e t h e e m p h a s i s i s o n i n c o m p l e t e n e s s t h e o r e m s . T h e
s e c o n d p a r t d i s c u s s e s t h e s i g n i c a n c e o f i n f o r m a t i o n - t h e o r e t i c i n c o m -
p l e t e n e s s .
\ T h e e s s e n t i a l i n t h e b e i n g o f a m a n o f m y t y p e l i e s p r e c i s e l y i n w h a t
h e t h i n k s a n d h o w h e t h i n k s , n o t i n w h a t h e d o e s o r s u e r s . "
\ T h i s e x p o s i t i o n h a s f u l l l e d i t s p u r p o s e i f i t s h o w s t h e r e a d e r h o w t h e
e o r t s o f a l i f e h a n g t o g e t h e r a n d w h y t h e y h a v e l e d t o e x p e c t a t i o n s
o f a d e n i t e f o r m . "
| A l b e r t E i n s t e i n , A u t o b i o g r a p h i c a l N o t e s
5 3
G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y , " A p p l i e d M a t h e m a t i c s
a n d C o m p u t a t i o n 4 9 ( 1 9 9 2 ) , p p . 7 9 { 9 3 . R e p r i n t e d i n t h i s v o l u m e , p . 3 7 .
5 4
G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y I I , " A p p l i e d M a t h e -
m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 1 0 3 { 1 2 6 . R e p r i n t e d i n t h i s v o l u m e , p . 5 5 .
5 5
G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y I I I , " A p p l i e d M a t h e -
m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 1 2 7 { 1 3 9 . R e p r i n t e d i n t h i s v o l u m e , p . 8 3 .
5 6
G r e g o r y J . C h a i t i n , \ L I S P P r o g r a m - S i z e C o m p l e x i t y I V , " A p p l i e d M a t h e -
m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 1 4 1 { 1 4 7 . R e p r i n t e d i n t h i s v o l u m e , p . 9 7 .
5 7
G r e g o r y J . C h a i t i n , \ I n f o r m a t i o n - T h e o r e t i c I n c o m p l e t e n e s s , " A p p l i e d
M a t h e m a t i c s a n d C o m p u t a t i o n 5 2 ( 1 9 9 2 ) , p p . 8 3 { 1 0 1 . R e p r i n t e d i n t h i s v o l u m e ,
p . 1 0 7 .
1 2 P r o l o g u e
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
20/238
I n d e x o f C o m p l e x i t y M e a s u r e s
N o t a t i o n N a m e : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : P a g e U n i t
T u r i n g M a c h i n e s C o m p l e x i t y M e a s u r e
H
t m
T u r i n g M a c h i n e C o m p l e x i t y : : : : : : : : : : : : : : : 1 7 S t a t e s
L I S P C o m p l e x i t y M e a s u r e s
H
l i s p
( R e a l ) L I S P C o m p l e x i t y : : : : : : : : : : : : : : : : : : : 3 7 C h a r a c t e r s
H
p f
P a r e n t h e s i s - F r e e L I S P C o m p l e x i t y : : : : : : : : : 8 3 C h a r a c t e r s
H
c s
C h a r a c t e r - S t r i n g L I S P C o m p l e x i t y : : : : : : : : 9 7 C h a r a c t e r s
A b s t r a c t B i n a r y C o m p u t e r C o m p l e x i t y M e a s u r e s
H
b
B l a n k - E n d m a r k e r C o m p l e x i t y : : : : : : : : : : : : : 2 5 B i t s
H
b e
B l a n k - E n d m a r k e r E n u m e r a t i o n C o m p l e x i t y 3 0 B i t s
H S e l f - D e l i m i t i n g C o m p l e x i t y : : : : : : : : : : : : : : : 1 0 8 B i t s
H
e
S e l f - D e l i m i t i n g E n u m e r a t i o n C o m p l e x i t y 1 1 3 B i t s
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
21/238
P a r t I
T e c h n i c a l S u r v e y
1 3
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
22/238
1 5
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
23/238
\ T h e m a t h e m a t i c i a n ' s p a t t e r n s , l i k e t h e p a i n t e r ' s o r p o e t ' s , m u s t b e
b e a u t i f u l t h e i d e a s , l i k e t h e c o l o u r s o r t h e w o r d s , m u s t t t o g e t h e r
i n a h a r m o n i o u s w a y . B e a u t y i s t h e r s t t e s t : t h e r e i s n o p e r m a n e n t
p l a c e i n t h e w o r l d f o r u g l y m a t h e m a t i c s . "
\ A m a t h e m a t i c i a n , l i k e a p a i n t e r o r p o e t , i s a m a k e r o f p a t t e r n s .
I f h i s p a t t e r n s a r e m o r e p e r m a n e n t t h a n t h e i r s , i t i s b e c a u s e t h e y a r e
m a d e w i t h i d e a s . "
| G . H . H a r d y , A M a t h e m a t i c i a n ' s A p o l o g y
1
\ T w o p r o o f s a r e b e t t e r t h a n o n e . "
\ L o o k o u t f o r s i m p l e i n t u i t i v e i d e a s : C a n y o u s e e i t a t a g l a n c e ? "
\ C a n y o u u s e t h e r e s u l t , o r t h e m e t h o d , f o r s o m e o t h e r p r o b l e m ? "
\ Q u i t e o f t e n , w h e n a n i d e a t h a t c o u l d b e h e l p f u l p r e s e n t s i t s e l f , w e d o
n o t a p p r e c i a t e i t , f o r i t i s s o i n c o n s p i c u o u s . T h e e x p e r t h a s , p e r h a p s ,
n o m o r e i d e a s t h a n t h e i n e x p e r i e n c e d , b u t a p p r e c i a t e s m o r e w h a t h e
h a s a n d u s e s i t b e t t e r . "
\ T h e f u t u r e m a t h e m a t i c i a n s h o u l d s o l v e p r o b l e m s , c h o o s e t h e p r o b -
l e m s w h i c h a r e i n h i s l i n e , m e d i t a t e u p o n t h e i r s o l u t i o n , a n d i n v e n t
n e w p r o b l e m s . B y t h i s m e a n s , a n d b y a l l o t h e r m e a n s , h e s h o u l d e n -
d e a v o r t o m a k e h i s r s t i m p o r t a n t d i s c o v e r y : h e s h o u l d d i s c o v e r h i s
l i k e s a n d h i s d i s l i k e s , h i s t a s t e , h i s o w n l i n e . "
| G . P o l y a , H o w t o S o l v e I t
1
S e e a l s o : R o b e r t K a n i g e l , T h e M a n W h o K n e w I n n i t y : A L i f e o f t h e G e n i u s
R a m a n u j a n , N e w Y o r k : S c r i b n e r s ( 1 9 9 1 ) .
1 6 P a r t I | S u r v e y
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
24/238
\ I f w e m a r v e l a t t h e p a t i e n c e a n d t h e c o u r a g e o f t h e p i o n e e r s , w e
m u s t a l s o m a r v e l a t t h e i r p e r s i s t e n t b l i n d n e s s i n m i s s i n g t h e e a s i e r
w a y s t h r o u g h t h e w i l d e r n e s s a n d o v e r t h e m o u n t a i n s . W h a t h u m a n
p e r v e r s i t y m a d e t h e m t u r n e a s t t o p e r i s h i n t h e d e s e r t , w h e n b y g o i n g
w e s t t h e y c o u l d h a v e m a r c h e d s t r a i g h t t h r o u g h t o e a s e a n d p l e n t y ? "
| E r i c T e m p l e B e l l ,
M a t h e m a t i c s : Q u e e n & S e r v a n t o f S c i e n c e
\ ` A m a t h e m a t i c i a n ' s r e p u t a t i o n r e s t s o n t h e n u m b e r o f b a d p r o o f s h e
h a s g i v e n . ' ( P i o n e e r w o r k i s c l u m s y . ) "
| A . S . B e s i c o v i t c h q u o t e d i n
J . E . L i t t l e w o o d , A M a t h e m a t i c i a n ' s M i s c e l l a n y
\ O n r e v i e n t t o u j o u r s a s e s p r e m i e r e s a m o u r s . "
O n e a l w a y s r e t u r n s t o o n e ' s r s t l o v e s . ]
| M a r k K a c , E n i g m a s o f C h a n c e
\ H e w h o s e e k s f o r m e t h o d s w i t h o u t h a v i n g a d e n i t e p r o b l e m i n m i n d
s e e k s f o r t h e m o s t p a r t i n v a i n . "
| D a v i d H i l b e r t ,
I n t e r n a t i o n a l C o n g r e s s o f M a t h e m a t i c i a n s ,
P a r i s , 1 9 0 0
\ A t h e o r y i s t h e m o r e i m p r e s s i v e t h e g r e a t e r t h e s i m p l i c i t y o f i t s
p r e m i s e s i s , t h e m o r e d i e r e n t k i n d s o f t h i n g s i t r e l a t e s , a n d t h e m o r e
e x t e n d e d i s i t s a r e a o f a p p l i c a b i l i t y . "
| A l b e r t E i n s t e i n , A u t o b i o g r a p h i c a l N o t e s
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
25/238
T U R I N G M A C H I N E S
G . J . C h a i t i n
A b s t r a c t
W e r e v i e w t h e T u r i n g m a c h i n e v e r s i o n o f a f u n d a m e n t a l i n f o r m a t i o n -
t h e o r e t i c i n c o m p l e t e n e s s t h e o r e m , w h i c h a s s e r t s t h a t i t i s d i c u l t t o
p r o v e t h a t s p e c i c s t r i n g s s h a v e h i g h T u r i n g m a c h i n e s t a t e c o m p l e x i t y
H
t m
( s ) . W e a l s o c o n s t r u c t a T u r i n g m a c h i n e \ h a l t i n g p r o b a b i l i t y "
t m
w i t h t h e p r o p e r t y t h a t t h e i n i t i a l s e g m e n t s o f i t s b a s e - t w o e x p a n s i o n
a s y m p t o t i c a l l y h a v e t h e m a x i m u m p o s s i b l e T u r i n g m a c h i n e c o m p l e x i t y
H
t m
1 . T u r i n g M a c h i n e C o m p l e x i t y H
t m
F o l l o w i n g 1 ] , c o n s i d e r T u r i n g m a c h i n e s w i t h a s i n g l e o n e - w a y i n n i t e
t a p e ( i n n i t e t o t h e r i g h t ) , a s i n g l e r e a d - w r i t e s c a n n e r , a n d a t a p e -
s y m b o l a l p h a b e t c o n s i s t i n g o f b l a n k , 0 a n d 1 . S u c h a n n - s t a t e 3 - t a p e -
s y m b o l T u r i n g m a c h i n e i s d e n e d b y a 3 n t a b l e . T h i s t a b l e g i v e s t h e
a c t i o n t o b e p e r f o r m e d a n d t h e n e x t s t a t e a s a f u n c t i o n o f t h e c u r r e n t
s t a t e a n d t h e s y m b o l c u r r e n t l y b e i n g s c a n n e d o n t h e t a p e . T h e r e a r e
s i x p o s s i b l e a c t i o n s : w r i t e b l a n k ( e r a s e t a p e ) , w r i t e 0 , w r i t e 1 , s h i f t
t a p e l e f t , s h i f t t a p e r i g h t , o r h a l t .
T h i s c h a p t e r o f t h e s u r v e y h a s n o t b e e n p u b l i s h e d e l s e w h e r e .
1 7
1 8 P a r t I | S u r v e y
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
26/238
D e n e t h e T u r i n g m a c h i n e c o m p l e x i t y H
t m
( s ) o f a b i t s t r i n g s t o
b e t h e n u m b e r o f s t a t e s i n t h e s m a l l e s t n - s t a t e 3 - t a p e - s y m b o l T u r i n g
m a c h i n e t h a t s t a r t s w i t h t h e s c a n n e r a t t h e b e g i n n i n g o f a b l a n k t a p e
a n d h a l t s w i t h s w r i t t e n a t t h e b e g i n n i n g o f t h e t a p e , w i t h t h e r e s t o f
t h e t a p e b l a n k , a n d w i t h t h e s c a n n e r o n t h e r s t b l a n k s q u a r e o f t h e
t a p e .
1
I n 1 ] i t i s s h o w n t h a t t h e m a x i m u m p o s s i b l e T u r i n g m a c h i n e c o m -
p l e x i t y H
t m
( s ) o f a n n - b i t s t r i n g s i s a s y m p t o t i c t o n = 2 l o g
2
n . F u r -
t h e r m o r e , m o s t n - b i t s t r i n g s s h a v e T u r i n g m a c h i n e c o m p l e x i t y c l o s e
t o n = 2 l o g
2
n . E q u i v a l e n t l y , m o s t 2 n l o g
2
n b i t s t r i n g s h a v e T u r i n g m a -
c h i n e c o m p l e x i t y c l o s e t o n . M o r e o v e r , i t i s p r o p o s e d i n 1 ] t h a t s u c h
s t r i n g s a r e \ r a n d o m " f o r e x a m p l e , i t i s s h o w n t h a t i n t h e l i m i t o f l a r g e
n s u c h s h a v e e x a c t l y t h e s a m e r e l a t i v e f r e q u e n c y o f 0 ' s a n d 1 ' s .
T h e s e q u e l 2 ] c o n s i d e r s r a n d o m i n n i t e b i t s t r i n g s a n d l a b o r i o u s l y
c o n s t r u c t s a n e x a m p l e , i . e . , a s p e c i c i n n i t e s t r i n g w h o s e i n i t i a l n -
b i t s e g m e n t s h a v e T u r i n g m a c h i n e c o m p l e x i t y c l o s e t o t h e m a x i m u m
p o s s i b l e , w h i c h i s n = 2 l o g
2
n . A s w e s h o w i n S e c t i o n 2 , t h e r e i s a m u c h
b e t t e r w a y t o d o t h i s : v i a a h a l t i n g p r o b a b i l i t y .
2 . T h e \ H a l t i n g P r o b a b i l i t y "
t m
T h e r e a r e
n
( 6 n )
3 n
n !
n - s t a t e 3 - t a p e - s y m b o l T u r i n g m a c h i n e s . T h e f a c t o r n o n t h e l e f t i s t o
s p e c i f y t h e i n i t i a l s t a t e . T h e e x p o n e n t 3 n i s b e c a u s e t h e r e a r e t h a t
m a n y e n t r i e s i n t h e t a b l e d e n i n g t h e T u r i n g m a c h i n e . T h e b a s e 6 n i s
b e c a u s e e a c h o f t h e 3 n t a b l e e n t r i e s s p e c i e s o n e o f s i x o p e r a t i o n s a n d
o n e o f n s t a t e s . T h e d e n o m i n a t o r n ! i s b e c a u s e a n y p e r m u t a t i o n o f t h e
s t a t e n u m b e r s g i v e s t h e s a m e b e h a v i o r .
l o g n ! n l o g n . T h u s
l o g
2
( t h e t o t a l n u m b e r o f n - s t a t e T u r i n g m a c h i n e s ) 2 n l o g
2
n
1
A s w i l l b e d i s c u s s e d b e l o w , t h i s d e n i t i o n i l l u s t r a t e s o u r \ l i n k a g e c o n v e n t i o n . "
T u r i n g M a c h i n e s 1 9
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
27/238
D e n e
t m
=
1
X
n = 1
# o f n - s t a t e T u r i n g m a c h i n e s t h a t h a l t
2
d l o g
2
( t o t a l # o f n - s t a t e T u r i n g m a c h i n e s ) e
2
; 2 d l o g
2
n e ; 1
T h e f a c t o r o f 2
; 2 d l o g
2
n e ; 1
i s i n o r d e r t o i n s u r e c o n v e r g e n c e i t i s e a s y t o
s e e t h a t
P
1
n = 1
2
; 2 d l o g
2
n e ; 1
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
28/238
T h e \ O ( l o g n ) " h e r e i s b e c a u s e w e c a n r u n a f o r m a l s y s t e m ' s p r o o f -
c h e c k e r t o g e t t h e o r e m s , b u t t h e p r o o f - c h e c k e r d o e s n o t t e l l u s h o w
m a n y s t a t e s i t h a s , i . e . , w h a t i t s T u r i n g m a c h i n e c o m p l e x i t y i s .
2
P r o o f ( O r i g i n a l V e r s i o n ) : S u p p o s e w e a r e g i v e n a n - s t a t e T u r i n g
m a c h i n e f o r c h e c k i n g p u r p o r t e d p r o o f s i n a f o r m a l s y s t e m . T h e o u t p u t
i s e i t h e r a m e s s a g e t h a t t h e p r o o f i s i n c o r r e c t , o r e l s e t h e t h e o r e m
e s t a b l i s h e d b y t h e p r o o f . W e a s s u m e t h a t t h e p r o o f - c h e c k e r i s c o d e d
i n s u c h a w a y t h a t i t c a n b e i n v o k e d a s a s u b r o u t i n e , i . e . , i t o b e y s t h e
l i n k a g e c o n v e n t i o n s w e d i s c u s s e d a b o v e . W e a d d b l o g
2
k c + c s t a t e s t o
t e l l u s a n a r b i t r a r y n a t u r a l n u m b e r k t h a t w e w i l l d e t e r m i n e l a t e r , a n d
c
0
m o r e s t a t e s t h a t k e e p c a l l i n g t h e p r o o f - c h e c k e r u n t i l w e n d a p r o o f
t h a t a s p e c i c b i t s t r i n g s h a s T u r i n g m a c h i n e s t a t e c o m p l e x i t y > k
T h e n w e o u t p u t s a n d h a l t . T h i s g i v e s u s a T u r i n g m a c h i n e w i t h
n + b l o g
2
k c + c + c
0
s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y
> k
T h a t i s , t h e r e i s a T u r i n g m a c h i n e w i t h
n + l o g
2
k + c + c
0
s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y
> k
L e t u s t a k e
k = n + l o g
2
n + + c + c
0
w h i c h m u s t b e a n i n t e g e r . T h u s t h e r e i s a T u r i n g m a c h i n e w i t h
n + l o g
2
( n + l o g
2
n + + c + c
0
) + c + c
0
2
O n e c o u l d ( b u t w e w o n ' t ) a d d t o o u r T u r i n g m a c h i n e s a w a y t o w r i t e o n t h e
t a p e t h e c u r r e n t s t a t e n u m b e r . T h i s c o u l d t h e n b e u s e d t o d e t e r m i n e t h e s i z e
o f a p r o g r a m b y s u b t r a c t i n g t h e i n i t i a l s t a t e f r o m t h e n a l s t a t e . I n f a c t , r e a l
c o m p u t e r s c a n g e t a r e t u r n a d d r e s s f o r a s u b r o u t i n e i n t o a r e g i s t e r , s o t h a t t h e
s u b r o u t i n e k n o w s w h e r e t o b r a n c h a f t e r i t i s n i s h e d .
T u r i n g M a c h i n e s 2 1
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
29/238
s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y
> n + l o g
2
n + + c + c
0
T h i s i m p l i e s t h a t
n + l o g
2
n + + c + c
0
< n + l o g
2
( n + l o g
2
n + + c + c
0
) + c + c
0
I . e . ,
l o g
2
n +
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
30/238
i s b l o g
2
n c + 1 , i s m u c h l e s s t h a n n . T h e r e f o r e t h e n u m b e r o f b i t s t o
e x p r e s s t h i s s i z e i s m u c h l e s s t h a n t h e n u m b e r o f b i t s t o e x p r e s s n
( M o r e p r e c i s e l y , t h e n u m b e r o f b i t s i n t h e b a s e - t w o n u m e r a l f o r t h e
n u m b e r o f b i t s i n n i s i n t h e l i m i t a v a n i s h i n g f r a c t i o n o f t h e n u m b e r o f
b i t s i n t h e b a s e - t w o n u m e r a l f o r n . ) S o w h e n t h e s i z e o f t h e b a s e - t w o
n u m e r a l f o r n i s a d d e d t o n , t h e b a s e - t w o n u m e r a l f o r t h e r e s u l t w i l l
u s u a l l y b e t h e s a m e s i z e a s t h e b a s e - t w o n u m e r a l f o r n . A t m o s t o n e
b i t i s a d d e d t o i t s s i z e i n t h e u n l i k e l y e v e n t t h a t o v e r o w o c c u r s ( i . e . ,
a c a r r y o u t o f t h e l e f t - m o s t n o n - z e r o b i t p o s i t i o n ) .
H i s t o r y : T h i s w a s m y v e r y r s t i n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e -
n e s s t h e o r e m 4 , 5 ] . T h e o n l y d i e r e n c e i s t h a t h e r e I s p e l l o u t a l l t h e
i n e q u a l i t i e s .
4 . P r o v i n g L o w e r B o u n d s I I
H e r e i s a n a r r a n g e m e n t o f t h e p r o o f t h a t a v o i d s t h e m e s s y i n e q u a l i t i e s .
P r o o f ( I m p r o v e d V e r s i o n ) : S u p p o s e w e a r e g i v e n a n n - s t a t e
T u r i n g m a c h i n e f o r c h e c k i n g p u r p o r t e d p r o o f s i n a f o r m a l s y s t e m . T h e
o u t p u t i s e i t h e r a m e s s a g e t h a t t h e p r o o f i s i n c o r r e c t , o r e l s e t h e t h e o r e m
e s t a b l i s h e d b y t h e p r o o f . W e a s s u m e t h a t t h e p r o o f - c h e c k e r i s c o d e d i n
s u c h a w a y t h a t i t c a n b e i n v o k e d a s a s u b r o u t i n e . W e a d d b l o g
2
k c + c
s t a t e s t o t e l l u s a n a r b i t r a r y n a t u r a l n u m b e r k t h a t w e w i l l d e t e r m i n e
l a t e r , a n d c
0
m o r e s t a t e s t h a t k e e p c a l l i n g t h e p r o o f - c h e c k e r u n t i l w e
n d a p r o o f t h a t a s p e c i c b i t s t r i n g s h a s T u r i n g m a c h i n e c o m p l e x i t y
> k + b l o g
2
k c + c . T h e n w e o u t p u t s a n d h a l t .
T h i s g i v e s u s a T u r i n g m a c h i n e w i t h
n + b l o g
2
k c + c + c
0
s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y
> k + b l o g
2
k c + c
T a k i n g k = n + c
0
, w e h a v e a T u r i n g m a c h i n e w i t h
n + b l o g
2
( n + c
0
) c + c + c
0
s t a t e s t h a t p r o d u c e s a s t r i n g s w i t h T u r i n g m a c h i n e c o m p l e x i t y
> n + c
0
+ b l o g
2
( n + c
0
) c + c
T u r i n g M a c h i n e s 2 3
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
31/238
w h i c h i s i m p o s s i b l e . T h u s a n n - s t a t e f o r m a l s y s t e m c a n n o t e s t a b l i s h
t h a t a s p e c i c b i t s t r i n g h a s c o m p l e x i t y
> n + c
0
+ b l o g
2
( n + c
0
) c + c = n + O ( l o g n )
Q . E . D .
I t i s m u c h e a s i e r t o f o r m u l a t e t h i s i n f o r m a t i o n - t h e o r e t i c i n c o m p l e t e -
n e s s t h e o r e m i n L I S P 3 , S e c t i o n 3 ] . T h e L I S P r e s u l t i s a l s o m u c h
s h a r p e r .
R e f e r e n c e s
1 G . J . C h a i t i n , \ O n t h e l e n g t h o f p r o g r a m s f o r c o m p u t i n g n i t e
b i n a r y s e q u e n c e s , " J o u r n a l o f t h e A C M 1 3 ( 1 9 6 6 ) , 5 4 7 { 5 6 9 .
2 G . J . C h a i t i n , \ O n t h e l e n g t h o f p r o g r a m s f o r c o m p u t i n g n i t e
b i n a r y s e q u e n c e s : s t a t i s t i c a l c o n s i d e r a t i o n s , " J o u r n a l o f t h e A C M
1 6 ( 1 9 6 9 ) , 1 4 5 { 1 5 9 .
3 G . J . C h a i t i n , \ L I S P p r o g r a m - s i z e c o m p l e x i t y I I , " A p p l i e d
M a t h e m a t i c s a n d C o m p u t a t i o n , i n p r e s s .
4 G . J . C h a i t i n , \ C o m p u t a t i o n a l c o m p l e x i t y a n d G o d e l ' s i n c o m -
p l e t e n e s s t h e o r e m , " A b s t r a c t 7 0 T { E 3 5 , A M S N o t i c e s 1 7 ( 1 9 7 0 ) ,
6 7 2 .
5 G . J . C h a i t i n , \ C o m p u t a t i o n a l c o m p l e x i t y a n d G o d e l ' s i n c o m -
p l e t e n e s s t h e o r e m , " A C M S I G A C T N e w s 9 ( A p r i l 1 9 7 1 ) , 1 1 { 1 2 .
2 4 P a r t I | S u r v e y
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
32/238
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
33/238
B L A N K - E N D M A R K E R
P R O G R A M S
G . J . C h a i t i n
A b s t r a c t
W e r e v i e w f o u r d i e r e n t v e r s i o n s o f t h e i n f o r m a t i o n - t h e o r e t i c i n c o m -
p l e t e n e s s t h e o r e m a s s e r t i n g t h a t i t i s d i c u l t t o p r o v e t h a t s p e c i c
s t r i n g s s h a v e h i g h b l a n k - e n d m a r k e r c o m p l e x i t y H
b
( s ) . W e a l s o c o n -
s t r u c t a b l a n k - e n d m a r k e r \ h a l t i n g p r o b a b i l i t y "
b
w i t h t h e p r o p e r t y
t h a t t h e i n i t i a l s e g m e n t s o f i t s b a s e - t w o e x p a n s i o n a s y m p t o t i c a l l y h a v e
t h e m a x i m u m p o s s i b l e b l a n k - e n d m a r k e r c o m p l e x i t y H
b
1 . B l a n k - E n d m a r k e r C o m p l e x i t y H
b
F o l l o w i n g 1 , A p p e n d i x ] , w e d e n e t h e a b s t r a c t s e t t i n g .
A c o m p u t e r C i s a p a r t i a l r e c u r s i v e f u n c t i o n t h a t m a p s a p r o g r a m
p t h a t i s a b i t s t r i n g i n t o a n o u t p u t C ( p ) t h a t i s a l s o a n i n d i v i d u a l b i t
s t r i n g . T h e c o m p l e x i t y H
C
( x ) o f t h e b i t s t r i n g x b a s e d o n t h e c o m p u t e r
C i s t h e s i z e i n b i t s p o f t h e s m a l l e s t p r o g r a m p f o r c o m p u t i n g x w i t h
T h i s c h a p t e r o f t h e s u r v e y h a s n o t b e e n p u b l i s h e d e l s e w h e r e .
2 5
2 6 P a r t I | S u r v e y
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
34/238
C :
H
C
( x ) = m i n
C ( p ) = x
p
D e n e a u n i v e r s a l c o m p u t e r U a s f o l l o w s :
U ( p 1
i 0 s
z } | {
0 0 0 0 0 0 ) = C
i
( p )
H e r e C
i
i s t h e c o m p u t e r w i t h G o d e l n u m b e r i , i . e . , t h e i t h c o m p u t e r .
H e n c e
H
U
( x ) H
C
i
( x ) + ( i + 1 )
f o r a l l s t r i n g s x . T h e g e n e r a l d e n i t i o n o f a u n i v e r s a l c o m p u t e r U i s
t h a t i t i s o n e t h a t h a s t h e p r o p e r t y t h a t f o r e a c h c o m p u t e r C t h e r e i s
a c o n s t a n t s i m
C
( t h e c o s t i n b i t s o f s i m u l a t i n g C ) s u c h t h a t
H
U
( x ) H
C
( x ) + s i m
C
f o r a l l x . T h e u n i v e r s a l c o m p u t e r U w e d e n e d a b o v e s a t i s e s t h i s d e -
n i t i o n w i t h s i m
C
i
= i + 1 . W e p i c k t h i s p a r t i c u l a r u n i v e r s a l c o m p u t e r U
a s o u r s t a n d a r d o n e a n d d e n e t h e b l a n k - e n d m a r k e r c o m p l e x i t y H
b
( x )
t o b e H
U
( x ) :
H
b
( x ) = H
U
( x )
2 . D i s c u s s i o n
T h e r s t t h i n g t o d o w i t h a n e w c o m p l e x i t y m e a s u r e i s t o d e t e r m i n e
t h e m a x i m u m c o m p l e x i t y t h a t a n n - b i t s t r i n g c a n h a v e a n d w h e t h e r
m o s t n - b i t s t r i n g s h a v e c l o s e t o t h i s m a x i m u m c o m p l e x i t y . C o n s i d e r
t h e i d e n t i t y - f u n c t i o n c o m p u t e r C w i t h C ( p ) = p f o r a l l p r o g r a m s p
T h i s s h o w s t h a t
H
b
( s ) s + s i m
C
f o r a l l s t r i n g s s . D o m o s t n - b i t s h a v e c o m p l e x i t y c l o s e t o n ? Y e s ,
b e c a u s e t h e r e a r e 2
n
n - b i t s t r i n g s s b u t o n l y
1 + 2 + 4 + + 2
n ; k ; 1
=
X
j < n ; k
2
j
= 2
n ; k
; 1
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
35/238
3 . T h e \ H a l t i n g P r o b a b i l i t y "
b
I n S e c t i o n 2 w e s a w t h a t m o s t n i t e b i t s t r i n g s a r e c o m p l e x . H o w a b o u t
c o n s t r u c t i n g a n i n n i t e b i t s t r i n g w i t h c o m p l e x i n i t i a l s e g m e n t s ?
L e t
P
n
2
; f ( n )
1 , e . g . , f ( n ) = 2 d l o g
2
n e + 1 = O ( l o g n )
D e n e
b
=
X
n
# f p r o g r a m s p o f s i z e n s u c h t h a t U ( p ) h a l t s g 2
; n ; f ( n )
T h e n 0
b
1 b e c a u s e t h e r e a r e 2
n
n - b i t p r o g r a m s p . I . e . ,
b
X
n
2
n
2
; n ; f ( n )
=
X
n
2
; f ( n )
1
H e n c e t h e b l a n k - e n d m a r k e r c o m p l e x i t y o f t h e r s t n + f ( n ) b i t s o f
b
i s g r e a t e r t h a n o r e q u a l t o n ; c
F r o m t h i s i t c a n b e s h o w n t h a t
b
i s w h a t B o r e l c a l l e d a n o r m a l
r e a l n u m b e r .
T h e d e s c r i p t i o n i n t h i s s e c t i o n i s v e r y c o n c i s e . F o r m o r e d e t a i l s , s e e
t h e a n a l o g o u s d i s c u s s i o n f o r L I S P i n 2 , S e c t i o n s 4 , 7 a n d 9 ] .
4 . P r o v i n g L o w e r B o u n d s o n H
b
N o w l e t ' s d o s o m e m e t a m a t h e m a t i c s u s i n g t h e c o m p l e x i t y m e a s u r e H
b
W e c o n s i d e r a x e d s e t o f r u l e s o f i n f e r e n c e F t o b e a r e c u r s i v e l y
e n u m e r a b l e s e t o f o r d e r e d p a i r s o f t h e f o r m A T i n d i c a t i n g t h a t t h e
t h e o r e m T f o l l o w s f r o m t h e a x i o m A . ( W e m a y c o n s i d e r t h e a x i o m A
t o b e r e p r e s e n t e d a s a b i t s t r i n g v i a s o m e s t a n d a r d b i n a r y e n c o d i n g . )
T h e o r e m A : C o n s i d e r a f o r m a l s y s t e m F
A
c o n s i s t i n g o f a l l t h e o -
r e m s T d e r i v e d f r o m a s i n g l e a x i o m A n b i t s i n s i z e b y a p p l y i n g t o i t a
x e d s e t o f r u l e s o f i n f e r e n c e . T h i s f o r m a l s y s t e m F
A
o f s i z e n c a n n o t
p r o v e t h a t a s p e c i c s t r i n g h a s b l a n k - e n d m a r k e r c o m p l e x i t y > n + c
P r o o f : C o n s i d e r a s p e c i a l - p u r p o s e c o m p u t e r C t h a t d o e s t h e f o l -
l o w i n g w h e n g i v e n t h e a x i o m A o f a f o r m a l s y s t e m F
A
f o l l o w e d b y a 1
a n d a n y n u m b e r o f 0 ' s :
C ( A 1
k 0 s
z } | {
0 0 0 0 0 0 ) =
(
T h e r s t s p e c i c s t r i n g s
?
t h a t c a n b e s h o w n i n F
A
t o h a v e
c o m p l e x i t y > A + 2 k + 1
2 8 P a r t I | S u r v e y
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
36/238
H o w d o e s C a c c o m p l i s h t h i s ? G i v e n t h e p r o g r a m p , C c o u n t s t h e
n u m b e r k o f 0 ' s a t t h e r i g h t e n d o f p . I t t h e n r e m o v e s t h e m a n d t h e
r i g h t m o s t 1 b i t i n o r d e r t o o b t a i n t h e a x i o m A . N o w C k n o w s A a n d
k C t h e n s e a r c h e s t h r o u g h a l l p r o o f s d e r i v e d f r o m t h e a x i o m A i n s i z e
o r d e r , a n d a m o n g t h o s e o f t h e s a m e s i z e , i n s o m e a r b i t r a r y a l p h a b e t i c a l
o r d e r , a p p l y i n g t h e p r o o f - c h e c k i n g a l g o r i t h m a s s o c i a t e d w i t h t h e x e d
r u l e s o f i n f e r e n c e t o e a c h p r o o f i n t u r n . ( M o r e a b s t r a c t l y , C e n u m e r a t e s
F
A
= f T : A T g . ) I n t h i s m a n n e r C d e t e r m i n e s e a c h t h e o r e m T
t h a t f o l l o w s f r o m t h e a x i o m A C e x a m i n e s e a c h T u n t i l i t n d s o n e o f
t h e f o r m
\ H
b
( s
?
) > j "
t h a t a s s e r t s t h a t a s p e c i c b i t s t r i n g s
?
h a s b l a n k - e n d m a r k e r c o m p l e x i t y
g r e a t e r t h a n a s p e c i c n a t u r a l n u m b e r j t h a t i s g r e a t e r t h a n o r e q u a l
t o A + 2 k + 1 C t h e n o u t p u t s s
?
a n d h a l t s . T h i s s h o w s t h a t
A + 2 k + 1 < H
b
( s
?
) A 1
k 0 s
z } | {
0 0 0 0 0 0 + s i m
C
I . e . ,
A + 2 k + 1 < H
b
( s
?
) A + 1 + k + s i m
C
T h i s i m p l i e s
k n + c
P r o o f : I n s t e a d o f b e i n g g i v e n A d i r e c t l y , C i s g i v e n a n H
b
( A ) b i t
p r o g r a m p
A
f o r U t o c o m p u t e A . I . e . , C ' s p r o g r a m p i s n o w o f t h e f o r m
p
0
= p
A
1
k 0 s
z } | {
0 0 0 0 0 0
B l a n k - E n d m a r k e r P r o g r a m s 2 9
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
37/238
i n s t e a d o f
p = A 1
k 0 s
z } | {
0 0 0 0 0 0
H e r e
p
A
= H
b
( A )
a n d
U ( p
A
) = A
S o n o w w e h a v e
p
0
= H
b
( A ) + 1 + k
i n s t e a d o f
p = A + 1 + k
A n d n o w
C ( p
0
) = s
?
a n d
H
b
( s
?
) > H
b
( A ) + 2 k + 1
H e n c e w e h a v e
H
b
( A ) + 2 k + 1 < H
b
( s
?
) H
b
( A ) + 1 + k + s i m
C
T h i s y i e l d s a c o n t r a d i c t i o n f o r k = s i m
C
Q . E . D .
T h e o r e m s A a n d B a r e s h a r p h e r e i s t h e c o n v e r s e .
T h e o r e m C : T h e r e i s a f o r m a l s y s t e m F
A
w i t h n - b i t a x i o m s A t h a t
e n a b l e s u s t o d e t e r m i n e :
( a ) w h i c h b i t s t r i n g s h a v e b l a n k - e n d m a r k e r c o m p l e x i t y n , a n d
( b ) t h e e x a c t b l a n k - e n d m a r k e r c o m p l e x i t y o f e a c h b i t s t r i n g w i t h
b l a n k - e n d m a r k e r c o m p l e x i t y < n
P r o o f : H e r e a r e t w o a x i o m s A f r o m w h i c h w e c a n d e d u c e t h e d e -
s i r e d t h e o r e m s :
( a ) T h e n - b i t s t r i n g t h a t i s t h e b a s e - t w o n u m e r a l f o r t h e n u m b e r o f
p r o g r a m s p o f s i z e < n t h a t h a l t .
3 0 P a r t I | S u r v e y
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
38/238
( b ) p 1 0 0 0 0 0 0 , t h e p r o g r a m p o f s i z e < n t h a t t a k e s l o n g e s t t o h a l t
( t h e r e m a y b e s e v e r a l ) p a d d e d o n t h e r i g h t t o e x a c t l y n b i t s w i t h
a 1 b i t a n d t h e r e q u i r e d ( p o s s i b l y z e r o ) n u m b e r o f 0 b i t s .
Q . E . D .
H e r e i s a c o r o l l a r y o f t h e i d e a s p r e s e n t e d i n t h i s s e c t i o n . A n n +
O ( 1 ) b i t f o r m a l s y s t e m i s n e c e s s a r y a n d s u c i e n t t o s e t t l e t h e h a l t i n g
p r o b l e m f o r a l l p r o g r a m s o f s i z e l e s s t h a n n b i t s . F o r a d e t a i l e d p r o o f ,
s e e 3 , T h e o r e m 4 . 4 ] .
5 . E n u m e r a t i o n C o m p l e x i t y H
b e
F o l l o w i n g 3 ] , w e e x t e n d t h e f o r m a l i s m t h a t w e p r e s e n t e d i n S e c t i o n 1
f r o m n i t e c o m p u t a t i o n s w i t h a s i n g l e o u t p u t t o i n n i t e c o m p u t a t i o n s
w i t h a n i n n i t e a m o u n t o f o u t p u t . S o l e t ' s n o w c o n s i d e r c o m p u t e r s
t h a t n e v e r h a l t , w h i c h w e s h a l l r e f e r t o a s e n u m e r a t i o n c o m p u t e r s , o r
e - c o m p u t e r s f o r s h o r t . A n e - c o m p u t e r C i s g i v e n b y a c o m p u t a b l e
f u n c t i o n t h a t m a p s t h e p r o g r a m p a n d t h e t i m e t i n t o t h e n i t e s e t o f
b i t s t r i n g s t h a t i s t h e o u t p u t C ( p t ) o f C a t t i m e t w i t h p r o g r a m p . T h e
t o t a l o u t p u t C ( p ) p r o d u c e d b y e - c o m p u t e r C w h e n r u n n i n g p r o g r a m p
i s t h e n d e n e d t o b e
C ( p ) =
1
t = 0
C ( p t )
T h e c o m p l e x i t y H
C
( S ) o f t h e s e t S b a s e d o n t h e e - c o m p u t e r C i s t h e
s i z e i n b i t s p o f t h e s m a l l e s t p r o g r a m p f o r e n u m e r a t i n g S w i t h C :
H
C
( S ) = m i n
C ( p ) = S
p
D e n e a u n i v e r s a l e - c o m p u t e r U
e
a s f o l l o w s :
U
e
( p 1
i 0 s
z } | {
0 0 0 0 0 0 ) = C
i
( p )
H e r e C
i
i s t h e e - c o m p u t e r w i t h G o d e l n u m b e r i , i . e . , t h e i t h e - c o m p u t e r .
H e n c e
H
U
e
( S ) H
C
i
( S ) + ( i + 1 )
B l a n k - E n d m a r k e r P r o g r a m s 3 1
f o r a l l S . T h e g e n e r a l d e n i t i o n o f a u n i v e r s a l e - c o m p u t e r U i s t h a t
7/29/2019 World Scientific - Information-Theoretic Incompleteness [Chaitin] - 1992 - (by Laxxuss)
39/238
i t i s o n e t h a t h a s t h e p r o p e r t y t h a t f o r e a c h e - c o m p u t e r C t h e r e i s a
c o n s t a n t s i m
C
( t h e c o s t i n b i t s o f s i m u l a t i n g C ) s u c h t h a t
H
U
( S ) H
C
( S ) + s i m
C
f o r a l l S . T h e u n i v e r s a l e - c o m p u t e r U
e
w e d e n e d a b o v e s a t i s e s t h i s
d e n i t i o n w i t h s i m
C
i
= i + 1 . W e p i c k t h i s p a r t i c u l a r u n i v e r s a l e -
c o m p u t e r U
e
a s o u r s t a n d a r d o n e a n d d e n e t h e b l a n k - e n d m a r k e r e -
c o m p l e x i t y
1
H
b e
( S ) t o b e H
U
e
( S ) :
H
b e
( S ) = H
U
e
( S )
I n s u m m a r y , t h e b l a n k - e n d m a r k e r e - c o m p l e x i t y H
b e
( S ) o f a
r e c u r s i v e l y - e n u m e r a b l e s e t S i s t h e s i z e i n b i t s p o f t h e s m a l l e s t c o m -
p u t e r p r o g r a m p t h a t m a k e s o u r s t a n d a r d u n i v e r s a l e - c o m p u t e r U
e
e n u -
m e r a t e t h e s e t S
6 . P r o v i n g L o w e r B o u n d s I I
N o w w e r e f o r m u l a t e T h e o r e m B u s i n g t h e c o n c e p t s o f S e c t i o n 5 .
T h e o r e m D : C o n s i d e r a f o r m a l s y s t e m c o n s i s t i n g o f a r e c u r s i v e l y
e n u m e r a b l e s e t T o f t h e o r e m s . S u p p o s e t h a t H
b e
( T ) n . T h i s f o r m a l
s y s t e m T o f b l a n k - e n d m a r k e r e - c o m p l e x i t y n c a n n o t p r o v e t h a t a
s p e c i c s t r i n g h a s b l a n k - e n d m a r k e r c o m p l e x i t y > n + c . M o r e p r e c i s e l y ,
i f a t h e o r e m o f t h e f o r m \ H
b
( s ) > n " i s i n T o n l y i f i t i s t r u e , t h e n
\ H
b
( s ) > n " i s