A Comparative Analysis of Evolutionary Algorithms for Function ion

8/2/2019 A Comparative Analysis of Evolutionary Algorithms for Function ion

1/4

A C o m p a r a t i v e A n a l y s i s o f E v o l u t i o n a r y

A l g o r i t h m s f o r F u n c t i o n O p t i m i s a t i o n

I . D e F a l c o R . D e l B a l i o

R e s e a r c h I n s t i t u t e o n P a r a l l e l I n f o r m a t i o n S y s t e m s

N a t i o n a l R e s e a r c h C o u n c i l o f I t a l y

v i a P . C a s t e l l i n o 1 1 1 , N a p l e s , I t a l y , 8 0 1 3 1

f i v a n , r e n a t o , d e a n , e r n e s t o g @ i r s i p . n a . c n r . i t

A . D e l l a C i o p p a E . T a r a n t i n o

A b s t r a c t | I n t h i s p a p e r t h e B r e e d e r G e n e t i c A l g o r i t h m s

a r e c o m p a r e d a g a i n s t b o t h s e r i a l a n d p a r a l l e l G e n e t i c

A l g o r i t h m s b y u s i n g a w i d e r a n g e o f o p t i m i s a t i o n f u n c t i o n s

t a k e n f r o m t h e l i t e r a t u r e . T h e a i m i s t o i n v e s t i g a t e h o w

t h e c h a n g e o f t h e t n e s s f u n c t i o n i n u e n c e s t h e i r p r o b l e m {

s o l v i n g c a p a b i l i t i e s . T h e e x p e r i m e n t a l n d i n g s s h o w t h a t

t h e B r e e d e r G e n e t i c A l g o r i t h m s o u t p e r f o r m t h e G e n e t i c

A l g o r i t h m s c o n s i d e r e d i n t e r m s o f n u m b e r o f e v a l u a t i o n s

a n d r o b u s t n e s s .

I . I n t r o d u c t i o n

A w i d e v a r i e t y o f h e u r i s t i c t e c h n i q u e s h a s b e e n p r o p o s e d

t o s o l v e d i e r e n t k i n d s o f o p t i m i s a t i o n p r o b l e m s . A m o n g

t h e s e , t h e G e n e t i c A l g o r i t h m s ( G A s ) 1 ; 2 ] a n d t h e i r

p a r a l l e l v e r s i o n s 3 ] s h o u l d b e m e n t i o n e d . T h e y h a v e

p r o v e d t o b e a b l e t o e c i e n t l y s o l v e d i c u l t o p t i m i s a t i o n

p r o b l e m s . R e c e n t l y a n o v e l t e c h n i q u e , t h e B r e e d e r G e n e t i c

A l g o r i t h m s ( B G A s ) 4 ; 5 ] , p a r t i c u l a r l y s u i t a b l e t o d e a l w i t h

c o n t i n u o u s o p t i m i s a t i o n p a r a m e t e r s , h a s b e e n i n t r o d u c e d .

B G A s a r e b a s e d o n t h e e v o l u t i o n m o d e l t y p i c a l o f G A s ,

h o w e v e r t h e y d i e r f r o m t h e ` t r a d i t i o n a l ' G A s i n s o m e

c o n c e p t s b o r r o w e d f r o m p o p u l a t i o n g e n e t i c s l i k e s e l e c t i o n

i n t e n s i t y a n d r e s p o n s e t o s e l e c t i o n . B e s i d e s n e w g e n e t i c

o p e r a t o r s c a p a b l e o f d e a l i n g w i t h c o n t i n u o u s v a r i a b l e s

h a v e b e e n d e n e d . S i n c e i t i s r e a s o n a b l e t o a s s u m e t h a t

s t r u c t u r a l c h a n g e s i n a g e n e t i c a p p r o a c h w i l l a e c t i t s

a b i l i t y a t s o l v i n g p r o b l e m s , a n a p p r o p r i a t e s e t o f t e s t

f u n c t i o n s h a s b e e n t a k e n f r o m t h e l i t e r a t u r e i n t h e a t t e m p t

t o e s t a b l i s h t h e e e c t i v e n e s s o f t h i s n e w t e c h n i q u e . T h e

p e r f o r m a n c e o f B G A s i s c o m p a r e d w i t h t h a t o b t a i n e d b y

m e a n s o f d i e r e n t v e r s i o n s o f e x i s t i n g s e r i a l a n d p a r a l l e l

m o d e l s o f G A s o n t h i s s e t o f f u n c t i o n s .

T h e p a p e r i s o r g a n i s e d a s f o l l o w s . I n S e c t i o n 2 t h e B G A s

a r e d e s c r i b e d w h i l e i n S e c t i o n 3 a b r i e f r e v i e w o f t h e p a r a l l e l

a p p r o a c h e s t o G A s i s r e p o r t e d . I n S e c t i o n 4 a n o u t l i n e o f

t h e t e s t f u n c t i o n s i s p r e s e n t e d . S e c t i o n 5 i s d e d i c a t e d t o

t h e a n a l y s i s a n d t h e e x p l a n a t i o n o f t h e e x p e r i m e n t a l r e s u l t s

a c h i e v e d . T h e l a s t S e c t i o n c o n t a i n s t h e n a l r e m a r k s a n d

f u t u r e w o r k .

I I . T h e B r e e d e r G e n e t i c M o d e l

T h e B G A s a r e b a s e d o n t h e c o n c e p t s o f e v o l u t i o n o f

s p e c i e s a n d s e l e c t i o n t y p i c a l o f G A s ; h o w e v e r t h e y d i e r

i n t h e f a c t t h a t t h e e v o l u t i o n o f t h e p o p u l a t i o n i s ` d r i v e n '

b y t h e b r e e d i n g m e c h a n i s m . T h i s c o n s i s t s i n t h e s e l e c t i o n ,

a t e a c h g e n e r a t i o n , o f t h e T % b e s t e l e m e n t s w i t h i n t h e

c u r r e n t p o p u l a t i o n o f N e l e m e n t s ( T % i s c a l l e d t r u n c a t i o n

r a t e a n d i t s t y p i c a l v a l u e s a r e w i t h i n t h e r a n g e 1 0 % t o

5 0 % ) . T h e s e e l e m e n t s a r e l e t f r e e t o m a t e r a n d o m l y ,

w i t h o u t r o u l e t t e w h e e l s e l e c t i o n , s o t h a t t h e y g e n e r a t e

a n e w p o p u l a t i o n o f N ? 1 e l e m e n t s . T h e f o r m e r b e s t

e l e m e n t i s t h e n i n s e r t e d i n t h i s n e w p o p u l a t i o n , a n d t h e

c y c l e o f l i f e c o n t i n u e s . B y d o i n g s o , t h e b e s t e l e m e n t s a r e

t r e a t e d a s ` s u p e r - i n d i v i d u a l s ' a n d m a t e d t o g e t h e r , h o p i n g

t h a t t h i s c a n l e a d t o a t t e r p o p u l a t i o n . T h e s e c o n c e p t s

a r e t a k e n f r o m o t h e r s c i e n c e s a n d m i m i c a n i m a l b r e e d i n g .

A n o t h e r v e r y i m p o r t a n t f e a t u r e o f B G A s i s t h e f a c t t h a t

t h e y r e p r e s e n t s o l u t i o n s a s s e q u e n c e s o f r e a l n u m b e r s ,

r a t h e r t h a n s e q u e n c e s o f b i t s o r i n t e g e r s , s o t h e y a l l o w

a r e p r e s e n t a t i o n o f c o n t i n u o u s p r o b l e m s m u c h b e t t e r t h a n

n o r m a l G A s . A B G A c a n b e f o r m a l l y d e s c r i b e d b y :

B G A = ( P

0

N T ? A )

w h e r e P

0

i s t h e i n i t i a l r a n d o m p o p u l a t i o n , N t h e

p o p u l a t i o n s i z e , T t h e t r u n c a t i o n t h r e s h o l d , ? t h e

r e c o m b i n a t i o n o p e r a t o r , t h e m u t a t i o n o p e r a t o r , A t h e

t n e s s f u n c t i o n a n d t h e t e r m i n a t i o n c r i t e r i o n .

T y p i c a l r e c o m b i n a t i o n o p e r a t o r s a r e t h e D i s c r e t e

R e c o m b i n a t i o n ( D R ) , t h e E x t e n d e d L i n e R e c o m b i n a t i o n

( E L R ) a n d t h e E x t e n d e d I n t e r m e d i a t e R e c o m b i n a t i o n

( E I R ) 5 ] . D R m i x e s t h e a l l e l e s i n t h e s e q u e n c e s a n d

c a n o n l y g e n e r a t e c o r n e r s i n t h e h y p e r c u b e d e n e d b y t h e

s e q u e n c e s , w h e r e a s E L R a n d E I R g e n e r a t e a n e w a l l e l e

b y m e a n s o f a l i n e a r c o m b i n a t i o n o f t h e c o r r e s p o n d i n g

a l l e l e s a n d c a n g e n e r a t e r e s p e c t i v e l y a n y p o i n t o n t h e l i n e s

c o n n e c t i n g t h e c o r r e s p o n d i n g v e r t i c e s a n d i n t h e v o l u m e o f

t h e h y p e r c u b e d e n e d b y t h e s e q u e n c e s . T y p i c a l m u t a t i o n

o p e r a t o r s a r e d i s c r e t e a n d c o n t i n u o u s B G A m u t a t i o n

s c h e m e s ( D M S a n d C M S ) .

W i t h t h e a i m t o d e n e f o r m a l l y t h e s e o p e r a t o r s , l e t

x = ( x

1

; : : : ; x

n

) a n d y = ( y

1

; : : : ; y

n

) b e t h e p a r e n t

s e q u e n c e s t h e n t h e o s p r i n g z i s c o m p u t e d a c c o r d i n g t o

t h e f o l l o w i n g r e c o m b i n a t i o n a n d m u t a t i o n s c h e m e s :

R e c o m b i n a t i o n :

8

:

C M S : z

i

= x

i

r a n g e

i

k 1

X

j = 0

j

2

j

D M S : z

i

= x

i

r a n g e

i

2

( k )

w h e r e a n d

i

a r e r a n d o m l y c h o s e n i n t h e i n t e r v a l

? 1 + ] , r a n g e

i

i s t h e m u t a t i o n r a n g e f o r t h e i ? t h

a l l e l e ,

j

i s r a n d o m l y c h o s e n i n t h e s e t f 0 1 g i s r a n d o m l y


2/4

c h o s e n i n t h e i n t e r v a l 0 0 1 0 ] a n d k i s a p r e c i s i o n c o n s t a n t .

A w i d e r e x p l a n a t i o n c a n b e f o u n d i n 5 ] .

W i t h t h e s e d e n i t i o n s i n m i n d , w e m a y s k e t c h t h e

s k e l e t o n o f a B G A a s f o l l o w s :

P r o c e d u r e B r e e d e r G e n e t i c A l g o r i t h m

b e g i n

r a n d o m l y i n i t i a l i s e a p o p u l a t i o n o f N i n d i v i d u a l s

w h i l e ( t e r m i n a t i o n c r i t e r i o n n o t f u l l l e d ) d o

e v a l u a t e g o o d n e s s o f e a c h i n d i v i d u a l

s a v e t h e b e s t i n d i v i d u a l i n t h e n e w p o p u l a t i o n

s e l e c t t h e b e s t T % i n d i v i d u a l s

f o r i = 1 t o N ? 1 d o

r a n d o m l y s e l e c t t w o e l e m e n t s a m o n g T %

r e c o m b i n e t h e m s o a s t o o b t a i n o n e o s p r i n g

p e r f o r m m u t a t i o n o n t h e o s p r i n g

o d

u p d a t e v a r i a b l e s f o r t e r m i n a t i o n

o d

e n d

I I I . P a r a l l e l G e n e t i c A l g o r i t h m m o d e l s

A v a r i e t y o f p a r a l l e l G e n e t i c A l g o r i t h m s h a s a p p e a r e d

i n t h e l i t e r a t u r e . S o m e o f t h e p a r a l l e l i m p l e m e n t a t i o n s

i n t r o d u c e a v e r y s t r o n g m o d i c a t i o n i n t h e c l a s s i c a l

G A s , e s p e c i a l l y w i t h r e g a r d t o p o p u l a t i o n s t r u c t u r e a n d

s e l e c t i o n m e c h a n i s m . M o r e o v e r , b y m e a n s o f s o m e o f

t h e m , i t i s p o s s i b l e t o s i m u l a t e b i o l o g i c a l m e c h a n i s m s

t h a t i n t h e c l a s s i c a l ( s e q u e n t i a l ) s c h e m e a r e n o t e a s y t o

t a k e i n t o a c c o u n t . T h i s l e a d s t o d e n e n e w ( p a r a l l e l )

i m p l e m e n t a t i o n s o f g e n e t i c m o d e l s w i t h d i e r e n t s t r u c t u r a l

c h a r a c t e r i s t i c s a n d a b i l i t y a t s o l v i n g p r o b l e m s .

C u r r e n t l i t e r a t u r e o n p a r a l l e l g e n e t i c a l g o r i t h m s s u b d i -

v i d e s t h e s e m o d e l s i n t o t h r e e c a t e g o r i e s : g l o b a l 3 ] , c o a r s e {

g r a i n e d 6 ] a n d n e { g r a i n e d 7 ] . I n t h e r s t c l a s s o f p a r a l l e l

G A s , t h e e v a l u a t i o n o f i n d i v i d u a l s a n d s o m e t i m e s t h e a p -

p l i c a t i o n o f g e n e t i c o p e r a t o r s a r e e x p l i c i t l y p a r a l l e l i s e d i n

s u c h a w a y t h a t t h e s e q u e n t i a l s c h e m e r e m a i n s u n c h a n g e d .

A m o r e s o p h i s t i c a t e d i d e a i s u s e d i n c o a r s e { g r a i n e d p a r -

a l l e l G A s . T h e p o p u l a t i o n i s s p l i t i n t o a f e w s u b p o p u -

l a t i o n s k e e p i n g t h e m r e l a t i v e l y i s o l a t e d f r o m e a c h o t h e r .

T h i s m o d e l o f p a r a l l e l i s a t i o n i n t r o d u c e s a m i g r a t i o n p r o -

c e s s b y m e a n s o f w h i c h s o m e i n d i v i d u a l s a r e e x c h a n g e d

a m o n g s u b p o p u l a t i o n s . T w o p o p u l a t i o n g e n e t i c s m o d e l s

f o r p o p u l a t i o n s t r u c t u r e s a r e u s e d i n d i e r e n t i m p l e m e n -

t a t i o n s o f c o a r s e { g r a i n e d G A s : t h e i s l a n d m o d e l a n d t h e

s t e p p i n g s t o n e m o d e l . T h e p o p u l a t i o n i n t h e i s l a n d m o d e l

i s p a r t i t i o n e d i n t o s m a l l s u b p o p u l a t i o n s a c c o r d i n g t o t h e

g e o g r a p h i c i s o l a t i o n c o n c e p t a n d i n d i v i d u a l s c a n m i g r a t e

t o a n y o t h e r s u b p o p u l a t i o n . I n t h e s t e p p i n g s t o n e m o d e l ,

t h e p o p u l a t i o n i s d i v i d e d i n t h e s a m e w a y , b u t m i g r a t i o n i s

r e s t r i c t e d t o n e i g h b o u r i n g s u b p o p u l a t i o n s . T h e t h i r d a p -

p r o a c h i n p a r a l l e l i s i n g G A s u s e s n e { g r a i n e d p a r a l l e l i s m .

I n t h e n e { g r a i n e d p a r a l l e l G A s t h e p o p u l a t i o n i s p a r t i -

t i o n e d i n t o a l a r g e n u m b e r o f v e r y s m a l l s u b p o p u l a t i o n s .

T h e i d e a l c a s e i s t o h a v e j u s t o n e i n d i v i d u a l f o r e v e r y p r o -

c e s s i n g e l e m e n t a v a i l a b l e . A n e x a u s t i v e r e v i e w o n p a r a l l e l

G A a p p r o a c h e s c a n b e f o u n d i n 3 ] .

I V . T h e t e s t f u n c t i o n s e m p l o y e d

W e h a v e t a k e n i n t o a c c o u n t t h e s a m e s e t o f o p t i m i s a t i o n

p r o b l e m s a s i n 8 ] : D e J o n g ' s t e s t s F 1 { F 5 9 ] , R a s t r i g i n ' s ,

S c h w e f e l ' s a n d G r i e w a n g k ' s f u n c t i o n s 6 ] . D e J o n g ' s F 1

f u n c t i o n i s a u n i m o d a l f u n c t i o n , F 2 i s a h a r d e r m u l t i m o d a l

f u n c t i o n a n d F 3 i s a d i s c o n t i n u o u s ` s t e p { l a d d e r ' . F 4

i n v o l v e s g a u s s i a n n o i s e , s o w e c o n s i d e r i t s o l v e d w h e n

t h e b e s t s t r i n g i n t h e p o p u l a t i o n r e a c h e s ? 2 5 . F 5 i s

c h a r a c t e r i s e d b y t h e p r e s e n c e o f s e v e r a l l o c a l m i n i m a .

R a s t r i g i n ' s ( F 6 ) , S c h w e f e l ' s ( F 7 ) a n d G r i e w a n g k ' s ( F 8 )

f u n c t i o n s a r e r e p o r t e d i n t h e f o l l o w i n g :

F 6 f ( x ) = n A +

n

X

i = 1

x

2

i

A c o s ( 2 x

i

) x

i

2 5 1 2 5 1 2

F 7 f ( x ) = V +

n

X

i = 1

x

i

s i n (

p

x

i

) x

i

2 5 1 2 5 1 2 ]

F 8 f ( x ) =

n

X

i = 1

x

2

i

4 0 0 0

n

Y

i = 1

c o s (

x

i

p

i

) + 1 x

i

2 5 1 2 5 1 2 ]

A s a t t a i n s t h e f u n c t i o n s i z e s w e h a v e u s e d v a l u e s o f 2 0

f o r F 6 a n d o f 1 0 f o r F 7 a n d F 8 . T h e v a l u e o f A i n F 6 i s

1 0 . 0 . A s r e g a r d s F 7 , t h e v a l u e o f V d e p e n d s o n t h e m a c h i n e

u s e d ; i n o u r c a s e w e h a v e c o m p u t e d i t a s 4 1 8 9 . 8 2 9 1 0 1 .

V . P e r f o r m a n c e m e a s u r e m e n t

T h e p e r f o r m a n c e o f t h e B G A i s c o m p a r e d w i t h t h a t

o b t a i n e d i n 8 ] b y m e a n s o f n i n e c o d e s o f p a r a l l e l G A s . I n

t h a t p a p e r , f o u r g l o b a l m o d e l s , f o u r i s l a n d m o d e l s a n d o n e

n e { g r a i n e d m o d e l a r e c o n s i d e r e d . N a m e l y , t h e S G A 2 ] ,

t h e E l i t i s t { S G A , t h e C H C 1 0 ] a n d t h e G e n i t o r 1 1 ]

a l g o r i t h m s a r e t a k e n i n t o a c c o u n t b o t h a s g l o b a l a n d

i s l a n d m o d e l . T h e C e l l u l a r { G A 1 2 ] i s c o n s i d e r e d a s n e {

g r a i n e d m o d e l . S i n c e a g l o b a l p a r a l l e l m o d e l i s , f r o m t h e

e v o l u t i o n p o i n t o f v i e w , a b s o l u t e l y i d e n t i c a l t o a n o r m a l

s e q u e n t i a l G A , i n t h i s w a y w e c o m p a r e o u r B G A a g a i n s t

s e v e r a l v a r i a n t s o f b o t h s e r i a l a n d p a r a l l e l G A s , t h e r e f o r e

t h e r e s u l t s o f t h i s t e s t w i l l h o p e f u l l y a s s e s s t h e d e g r e e o f

e e c t i v e n e s s o f t h e B G A f o r f u n c t i o n o p t i m i s a t i o n .

O u r a l g o r i t h m h a s b e e n e x e c u t e d o n a l l t h e t e s t f u n c t i o n s

f o r 3 0 t i m e s a s i n 8 ] . A s r e g a r d s t h e p a r a m e t e r s e t

w e h a v e u s e d f o r c o m p a r i s o n p u r p o s e s t h e s a m e v a l u e s

a s i n 8 ] f o r t h e p o p u l a t i o n s i z e ( N = 4 0 0 ) a n d f o r t h e

m a x i m u m n u m b e r o f g e n e r a t i o n s ( 1 0 0 0 ) . W e k n o w f r o m

o u r e x p e r i e n c e , h o w e v e r , t h a t t h i s p o p u l a t i o n s i z e i s t o o

l a r g e f o r t h e B G A t o b e h a v e a t i t s b e s t , a n d t h a t f o r t h e

p r o b l e m s a t h a n d a p o p u l a t i o n r a n g i n g b e t w e e n 3 0 a n d 1 0 0

i s m o r e s u i t e d . B e f o r e w e e x a m i n e o u r r e s u l t s , i t m u s t b e

p o i n t e d o u t t h a t t h e c o n g u r a t i o n s p a c e f o r t h e B G A i s

m u c h w i d e r t h a n t h a t o f a n y o f t h e d i s c r e t e t e c h n i q u e s .

I n f a c t , b y u s i n g B G A s w e c a n d e a l w i t h c o n t i n u o u s

r e p r e s e n t a t i o n o f e a c h r e a l v a r i a b l e , a n d t h e p r e c i s i o n

f o r t h e r e p r e s e n t a t i o n o f a v a r i a b l e d e p e n d s o n l y o n t h e

p h y s i c a l r e p r e s e n t a t i o n o f t h e r e a l v a r i a b l e i n t h e m a c h i n e

u s e d , w h i c h i s , f o r t h e h a r d w a r e u t i l i s e d , 2 2 2 1 0

1 6

. W i t h

r e f e r e n c e t o t h e d i s c r e t e a l g o r i t h m s , i n s t e a d , t h e p r e c i s i o n

i s r e l a t e d t o t h e n u m b e r o f b i t s c o n s i d e r e d f o r t h e e n c o d i n g .


3/4

F 1 F 2 F 3 F 4 F 5 F 6 F 7 F 8

G A s 1 0

9

1 0

7

1 0

1 5

1 0

7 2

1 0

1 0

1 0

6 0

1 0

5 1

1 0

7 2

B G A s 1 0

4 9

1 0

3 2

1 0

8 3

1 0

4 8 1

1 0

3 5

1 0

3 3 3

1 0

1 8 6

1 0

1 8 6

T a b l e 1 . T h e c o n g u r a t i o n s p a c e s f o r t h e d i s c r e t e G A s a n d c o n t i n u o u s B G A s .

A l g o r i t h m F 1 F 2 F 3 F 4 F 5

G e n S t d G G e n S t d G G e n S t d G G e n S t d G G e n S t d G

B G A 3 . 1 0 . 3 1 0 . 9 8 . 6 1 1 . 9 1 . 5 9 . 3 1 . 4 2 . 0 0 . 0

S G A 3 0 . 7 7 . 4 2 8 4 1 9 8 1 6 . 7 4 . 2 1 6 1 4 0 1 4 . 6 4 . 4

E S G A 2 8 . 9 6 . 8 8 3 5 5 1 5 . 3 4 . 1 1 5 3 4 9 1 4 . 3 4 . 4

p C H C 2 8 . 4 6 . 5 1 5 3 1 3 9 1 6 . 9 3 . 7 2 2 3 1 0 4 1 6 . 0 3 . 9

G e n i t o r 1 7 . 0 4 . 1 1 9 0 1 6 0 8 . 2 2 . 1 1 3 5 6 7 7 . 9 2 . 5

I { S G A 4 1 . 3 1 1 . 2 4 1 7 2 5 3 2 2 . 0 5 . 3 4 0 5 1 9 2 2 0 . 3 6 . 9

I { E S G A 3 2 . 3 7 . 6 8 1 4 0 1 8 . 3 5 . 0 3 7 5 1 9 7 1 3 . 8 4 . 7

I { p C H C 3 3 . 2 7 . 4 7 8 5 7 1 8 . 8 4 . 4 4 9 5 2 3 9 1 6 . 3 5 . 3

I { G e n i t o r 2 3 . 2 5 . 3 1 1 2 9 4 1 2 . 3 3 . 6 2 0 8 1 6 2 1 1 . 2 3 . 7

C e l l u l a r 3 2 . 5 8 . 0 1 0 5 9 4 1 7 . 9 4 . 6 3 9 7 2 0 4 1 5 . 3 4 . 3

T a b l e 2 . T h e p e r f o r m a n c e o f t h e B G A a g a i n s t n i n e G A s o n D e J o n g ' s t e s t f u n c t i o n s .

T a b l e 1 r e p o r t s t h e c o n g u r a t i o n s p a c e s i n b o t h c a s e s ; i t

c a n b e s e e n t h a t t h e B G A s p a c e s a r e w i d e r t h a n t h e o t h e r s

b y a n u m b e r o f o r d e r s o f m a g n i t u d e r a n g i n g f r o m 2 5 t o

4 0 9 .

F o r t h e T a b l e s 2 a n d 4 o u r s t o p c r i t e r i o n f o r B G A i s

t h e s a m e a s i n 8 ] . I n i t i s r e l a t e d t o t h e p r e c i s i o n

x e d b y t h e b i t r e p r e s e n t a t i o n . T h e v a l u e o f i s e q u a l

t o 0 . 0 1 e x c e p t f o r t h e F 3 f u n c t i o n w h i c h i s a s t e p { l a d d e r

w i t h s t e p s i z e e q u a l t o 1 . 0 , f o r F 4 w h e r e = ? 2 5 d u e t o

t h e G a u s s i a n n o i s e a n d f o r F 8 , w h e r e t h e r e s u l t s h a v e b e e n

o b t a i n e d w i t h a p r e c i s i o n o f 1 0

4

I n T a b l e 2 i t i s r e p o r t e d t h e a v e r a g e n u m b e r o f

g e n e r a t i o n s ( G e n ) a n d i t s s t a n d a r d d e v i a t i o n ( S t d G ) t h a t

e a c h a l g o r i t h m t a k e s t o s o l v e t h e D e J o n g ' s f u n c t i o n s

( t h e p r e x { i n d i v i d u a t e s t h e i s l a n d m o d e l s ) . T h e

t a b l e e v i d e n c e s t h a t t h e a v e r a g e n u m b e r o f g e n e r a t i o n s

t a k e n b y t h e B G A i s s m a l l e r b y a t l e a s t o n e o r d e r o f

m a g n i t u d e t h a n t h a t r e q u i r e d b y d i s c r e t e p a r a l l e l G A s ,

a p a r t f r o m t h e F 3 f u n c t i o n . T h i s p r o p e r t y h o l d s e v e n f o r

t h e s t a n d a r d d e v i a t i o n . F o r t h e s a k e o f c o m p l e t e n e s s w e

r e p o r t i n T a b l e 3 t h e p e r f o r m a n c e o f B G A w i t h i n 1 0 0 0

g e n e r a t i o n s ( t h e s a m e n u m b e r a s i n 8 ] ) w h e n a m u c h

t i g h t e r c o n v e r g e n c e c r i t e r i o n i s u s e d i n t e r m s o f t h e a v e r a g e

n u m b e r o f g e n e r a t i o n s , t h e a v e r a g e n a l v a l u e s o b t a i n e d

( A v g V ) a n d t h e r e l a t i v e s t a n d a r d d e v i a t i o n s ( S t d V ) ;

t h i s l e a d s t o v a l u e s e x t r e m e l y d i c u l t t o a c h i e v e w i t h

d i s c r e t i s a t i o n , u n l e s s a h u g e n u m b e r o f b i t s i s e m p l o y e d .

T h e s a m e c o n s i d e r a t i o n s c a n b e m a d e f o r t h e f u n c t i o n s F 6 {

F 8 . T a b l e 4 c o n t a i n s t h e p e r f o r m a n c e o f t h e B G A a g a i n s t

t h e p a r a l l e l G A s i n t e r m s o f n u m b e r o f r u n s a c h i e v i n g t h e

b e s t ( N R ) a n d o f t h e a v e r a g e v a l u e o f t h e n a l v a l u e s

o b t a i n e d ( A v g V ) . F r o m t h e t a b l e t h e e x c e l l e n t r e s u l t s

o b t a i n e d b y t h e B G A c a p a b l e o f a c h i e v i n g i n a l l c a s e s

t h e g l o b a l b e s t a p p e a r e v i d e n t . I t i s a l s o r e m a r k a b l e t h a t

F 1 F 2 F 4

G e n 1 4 . 7 2 7 5 . 6 1 2 . 7

A v g V 5 0 1 0

1 1

5 3 1 0

1 1

3 3 2

S t d V 2 6 1 0

1 1

2 3 1 0

1 1

0 2 1

T a b l e 3 . T h e p e r f o r m a n c e o f t h e B G A w i t h = 1 0

1 0

f o r F 1 a n d F 2 a n d

= 3 0 f o r F 4 .

n o n e o f t h e d i s c r e t e t e c h n i q u e s i s a b l e t o s y s t e m a t i c a l l y

r e a c h t h e o p t i m u m i n a l l t h e 3 0 r u n s , a n d t h i s h o l d s f o r a l l

t h e p r o b l e m s ; e s p e c i a l l y f o r F 8 t h e n u m b e r o f s u c c e s s f u l

r u n s i s q u i t e l o w f o r a l l G A s . S G A , i n p a r t i c u l a r , n e v e r

a c h i e v e s t h e o p t i m u m f o r a n y p r o b l e m . T a b l e 5 e x p r e s s e s

t h e c o n v e r g e n c e v e l o c i t y o f o u r B G A i n t e r m s o f a v e r a g e

n u m b e r o f g e n e r a t i o n s , w i t h i n t h e 1 0 0 0 g e n e r a t i o n s , t o

o v e r c o m e t h e n a l s o l u t i o n s o f t h e o t h e r i m p l e m e n t a t i o n s .

T h u s , b y u s i n g B G A s w e c a n r e a c h b e t t e r s o l u t i o n s i n a

l o w e r n u m b e r o f g e n e r a t i o n s . T a b l e 6 r e p o r t s t h e a v e r a g e

n a l v a l u e s a n d t h e r e l a t i v e s t a n d a r d d e v i a t i o n s o b t a i n e d

b y o u r B G A l e t f r e e t o e v o l v e f o r a l l t h e 1 0 0 0 g e n e r a t i o n s .

A s c o n c e r n s t h e e v o l u t i o n p r o c e s s o f o u r B G A i n F i g u r e 1

a t y p i c a l t r e n d i s r e p o r t e d f o r F 6 , F 7 a n d F 8 . F r o m t h e

g u r e i t c a n b e o b s e r v e d a q u a s i { l i n e a r s l o p e i n t h e r s t

p h a s e ( u n t i l v a l u e s o f a b o u t 1 0

5

) , i n a c c o r d a n c e w i t h t h e

t h e o r y o f B G A s 1 3 ] .

V I . C o n c l u s i o n s

I n t h i s p a p e r w e h a v e c o m p a r e d t h e B r e e d e r G e n e t i c

A l g o r i t h m s a g a i n s t b o t h s e r i a l a n d p a r a l l e l G e n e t i c

A l g o r i t h m s b y u s i n g a w i d e r a n g e o f o p t i m i s a t i o n f u n c t i o n s .

E x p e r i m e n t a l n d i n g s i n d i c a t e t h a t t h e f o r m e r a p p r o a c h

o u t p e r f o r m s a l l t h e o t h e r a p p r o a c h e s c o n s i d e r e d f o r a l l t h e


4/4

A l g o r i t h m F 6 F 7 F 8

N R A v g V N R A v g V N R A v g V

B G A 3 0 0 3 0 0 3 0 0

S G A 0 6 . 8 0 1 7 . 4 0 0 . 1 6 1

E S G A 2 1 . 5 1 6 1 7 . 3 1 0 . 1 0 7

p C H C 2 3 0 . 3 1 5 5 . 9 0 0 . 0 7 2

G e n i t o r 0 7 . 9 2 0 1 3 . 2 3 0 . 0 5 3

I { S G A 0 3 . 8 9 6 . 5 7 0 . 0 5 0

I { E S G A 1 3 0 . 6 1 3 2 . 6 3 0 . 0 6 6

I { p C H C 1 0 0 . 9 2 8 0 . 2 3 0 . 0 4 7

I { G e n i t o r 2 3 0 . 2 2 4 0 . 9 6 0 . 0 3 5

C e l l u l a r 2 4 0 . 2 2 6 0 . 7 1 0 . 1 0 6

T a b l e 4 . T h e p e r f o r m a n c e o f t h e B G A a g a i n s t n i n e G A s o n F 6 , F 7 a n d

F 8 w i t h = 1 0

2

F 6 F 7 F 8

G e n 1 9 1 . 6 7 6 . 6 4 1 . 9

A v g V 5 7 1 0

3

7 6 1 0

3

7 7 1 0

5

S t d V 2 9 1 0

3

1 4 1 0

3

1 4 1 0

5

T a b l e 5 . T h e p e r f o r m a n c e o f t h e B G A w i t h t h e s a m e s t o p c r i t e r i o n a s f o r

d i s c r e t e G A s ( = 1 0

2

f o r F 6 a n d F 7 a n d = 1 0

4

f o r F 8 ) .

F 6 F 7 F 8

G e n 6 8 5 . 4 6 6 0 . 9 5 5 5 . 7

A v g V 4 8 8 1 0

6

4 6 6 1 0

6

2 7 9 1 0

6

S t d V 0 9 1 1 0

6

1 3 0 1 0

6

0 6 3 1 0

6

T a b l e 6 . T h e p e r f o r m a n c e o f t h e B G A w i t h = 1 0

6

1e-06

1e-05

0.0001

0.001

0.01

0.1

1

10

100

1000

10000

0 100 200 300 400 500 600 700 800 900 1000

f(x)

Generations

GriewangkSchwefelRastrigin

F i g . 1 . T y p i c a l B G A e v o l u t i o n s o n t h e F 6 , F 7 a n d F 8 f u n c t i o n s .

t e s t f u n c t i o n s i n t e r m s o f b o t h t h e n u m b e r o f g e n e r a t i o n s

a n d t h e r o b u s t n e s s . M o r e o v e r , s i n c e o u r B G A v e r s i o n i s n o t

t h e b e s t p o s s i b l e i n t e r m s o f t h e p a r a m e t e r v a l u e s u s e d , i t

i s r e a s o n a b l e t o e x p e c t f u r t h e r i m p r o v e m e n t s i n t h e n a l

v e r s i o n . T h e e x c e l l e n t n d i n g s r e p o r t e d i n t h i s s t u d y l e a d

t o t e s t t h e B r e e d e r G e n e t i c A l g o r i t h m s o n p r o b l e m s w i t h

v e r y l a r g e r s e a r c h s p a c e .

A c k n o w l e d g e m e n t

A l l t h e r e s u l t s i n t h i s p a p e r r e l a t i v e t o t h e d i s c r e t e G A s

h a v e b e e n o b t a i n e d b y V . S c o t t G o r d o n a n d D . W h i t l e y

a n d p u b l i s h e d i n 8 ] .

R e f e r e n c e s

1 ] J . H . H o l l a n d , A d a p t a t i o n i n N a t u r a l a n d A r t i c i a l

S y s t e m s . M I T P r e s s , 1 9 7 5 .

2 ] D . E . G o l d b e r g , G e n e t i c A l g o r i t h m s i n S e a r c h ,

O p t i m i z a t i o n a n d M a c h i n e L e a r n i n g . A d d i s o n {

W e s l e y , R e a d i n g , M a s s . , 1 9 8 9 .

3 ] E . C a n t u { P a z , \ A s u m m a r y o f r e s e a r c h o n p a r a l l e l

g e n e t i c a l g o r i t h m s , " T e c h . R e p . 9 5 0 0 7 , I l l i G A L

R e p o r t , J u l y 1 9 9 5 .

4 ] H . M u h l e n b e i n a n d D . S c h l i e r k a m p { V o o s e n , \ A n a l y s i s

o f s e l e c t i o n , m u t a t i o n a n d r e c o m b i n a t i o n i n g e n e t i c

a l g o r i t h m s , " N e u r a l N e t w o r k W o r l d , v o l . 3 , p p . 9 0 7 {

9 3 3 , 1 9 9 3 .

5 ] H . M u h l e n b e i n a n d D . S c h l i e r k a m p { V o o s e n , \ P r e d i c -

t i v e m o d e l s f o r t h e b r e e d e r g e n e t i c a l g o r i t h m I . C o n -

t i n u o u s p a r a m e t e r o p t i m i z a t i o n , " E v o l u t i o n a r y C o m -

p u t a t i o n , v o l . 1 , n o . 1 , p p . 2 5 { 4 9 , 1 9 9 3 .

6 ] H . M u h l e n b e i n , M . S c h o m i s c h a n d J . B o r n , \ T h e

p a r a l l e l g e n e t i c a l g o r i t h m a s f u n c t i o n o p t i m i z e r , "

P a r a l l e l C o m p u t i n g , v o l . 1 7 , p p . 6 1 9 { 6 3 2 , 1 9 9 1 .

7 ] B . M a n d e r i c k a n d P . S p i e s s e n s , \ F i n e { g r a i n e d p a r a l l e l

g e n e t i c a l g o r i t h m s , " i n P r o c . o f t h e 3 r d I n t e r n a t i o n a l

C o n f e r e n c e o n G e n e t i c A l g o r i t h m s , ( J . D . S c h a e r ,

e d . ) , p p . 4 2 8 { 4 3 3 , M o r g a n { K a u f m a n n , 1 9 8 9 .

8 ] V . S c o t t G o r d o n a n d D . W h i t l e y , \ S e r i a l a n d

p a r a l l e l g e n e t i c a l g o r i t h m s a s f u n c t i o n o p t i m i z e r s , " i n

P r o c . o f t h e 5 t h I n t e r n a t i o n a l C o n f e r e n c e o n G e n e t i c

A l g o r i t h m s , ( S . F o r r e s t , e d . ) , p p . 1 7 7 { 1 8 3 , M o r g a n {

K a u f m a n n , 1 9 9 3 .

9 ] K . D e J o n g , \ A n a n a l y s i s o f t h e b e h a v i o r o f a c l a s s o f

g e n e t i c a d a p t i v e s y s t e m s , " P h D t h e s i s , U n i v e r s i t y o f

M i c h i g a n , 1 9 7 5 .

1 0 ] L . E s h e l m a n , \ T h e C H C A d a p t i v e S e a r c h A l g o r i t h m , "

F o u n d a t i o n s o f G e n e t i c A l g o r i t h m s a n d C l a s s i e r

S y s t e m s , M o r g a n { K a u f m a n n , 1 9 9 1 .

1 1 ] D . W h i t l e y a n d T . S t a r k w e a t h e r , \ G E N I T O R I I : a

d i s t r i b u t e d g e n e t i c a l g o r i t h m , " J o u r n a l E x p t . T h e o r .

A r t i f . I n t e l l . , v o l . 2 , p p . 1 8 9 { 2 1 4 , 1 9 9 0 .

1 2 ] V . S c o t t G o r d o n , D . W h i t l e y a n d A . B o h m , \ D a t a o w

p a r a l l e l i s m i n g e n e t i c a l g o r i t h m s , " P a r a l l e l P r o b l e m

S o l v i n g f r o m N a t u r e 2 , N o r t h H o l l a n d , 1 9 9 2 .

1 3 ] H . M . V o i g t , H . M u h l e n b e i n a n d D . C v e t k o v i c , \ F u z z y

r e c o m b i n a t i o n f o r t h e c o n t i n u o u s b r e d e e r g e n e t i c a l g o -

r i t h m , " i n P r o c . o f t h e 6 t h I n t e r n a t i o n a l C o n f e r e n c e

o n G e n e t i c A l g o r i t h m s , M o r g a n { K a u f m a n n , 1 9 9 5 .

Documents

A Comparative Analysis of Evolutionary Algorithms for Function ion