Connexions Module: m11240

8/14/2019 Connexions Module: m11240

1/4

C o n n e x i o n s m o d u l e : m 1 1 2 4 0 1

O p t i m i z a t i o n T h e o r y

V e r s i o n 1 . 4 : M a r 2 2 , 2 0 0 8 4 : 2 4 p m G M T - 5

D o n J o h n s o n

T h i s w o r k i s p r o d u c e d b y T h e C o n n e x i o n s P r o j e c t a n d l i c e n s e d u n d e r t h e

C r e a t i v e C o m m o n s A t t r i b u t i o n L i c e n s e

O p t i m i z a t i o n t h e o r y i s t h e s t u d y o f t h e e x t r e m a l v a l u e s o f a f u n c t i o n : i t s m i n i m a a n d m a x i m a . T o p i c s

i n t h i s t h e o r y r a n g e f r o m c o n d i t i o n s f o r t h e e x i s t e n c e o f a u n i q u e e x t r e m a l v a l u e t o m e t h o d s b o t h a n a l y t i c

a n d n u m e r i c f o r n d i n g t h e e x t r e m a l v a l u e s a n d f o r w h a t v a l u e s o f t h e i n d e p e n d e n t v a r i a b l e s t h e f u n c t i o n

a t t a i n s i t s e x t r e m e s . I n t h i s b o o k , m i n i m i z i n g a n e r r o r c r i t e r i o n i s a n e s s e n t i a l s t e p t o w a r d d e r i v i n g o p t i m a l

s i g n a l p r o c e s s i n g a l g o r i t h m s . A n a p p e n d i x s u m m a r i z i n g t h e k e y r e s u l t s o f o p t i m i z a t i o n t h e o r y i s e s s e n t i a l

t o u n d e r s t a n d o p t i m a l a l g o r i t h m s .

1 U n c o n s t r a i n e d O p t i m i z a t i o n

T h e s i m p l e s t o p t i m i z a t i o n p r o b l e m i s t o n d t h e m i n i m u m o f a s c a l a r - v a l u e d f u n c t i o n o f a s c a l a r v a r i a b l e

f(x) t h e s o - c a l l e d o b j e c t i v e f u n c t i o n a n d w h e r e t h a t m i n i m u m i s l o c a t e d . A s s u m i n g t h e f u n c t i o n i s d i e r e n t i a b l e , t h e w e l l - k n o w n c o n d i t i o n s f o r n d i n g t h e m i n i m a l o c a l a n d g l o b a l a r e

1

d

dxf(x) = 0

d2

dx2f(x) > 0

A l l v a l u e s o f t h e i n d e p e n d e n t v a r i a b l e x s a t i s f y i n g t h e s e r e l a t i o n s a r e l o c a t i o n s o f l o c a l m i n i m a .

W i t h o u t t h e s e c o n d c o n d i t i o n , s o l u t i o n s t o t h e r s t c o u l d b e e i t h e r m a x i m a , m i n i m a , o r i n e c t i o n p o i n t s .

S o l u t i o n s t o t h e r s t e q u a t i o n a r e t e r m e d t h e s t a t i o n a r y p o i n t s o f t h e o b j e c t i v e f u n c t i o n . T o n d t h e

g l o b a l m i n i m u m t h a t v a l u e ( o r v a l u e s ) w h e r e t h e f u n c t i o n a c h i e v e s i t s s m a l l e s t v a l u e e a c h c a n d i d a t e

e x t r e m u m m u s t b e t e s t e d : t h e o b j e c t i v e f u n c t i o n m u s t b e e v a l u a t e d a t e a c h s t a t i o n a r y p o i n t a n d t h e s m a l l e s t

s e l e c t e d . I f , h o w e v e r , t h e o b j e c t i v e f u n c t i o n c a n b e s h o w n t o b e s t r i c t l y c o n v e x , t h e n o n l y o n e s o l u t i o n o f

ddx

(f) = 0 e x i s t s a n d t h a t s o l u t i o n c o r r e s p o n d s t o t h e g l o b a l m i n i m u m . T h e f u n c t i o n f(x) i s s t r i c t l y c o n v e x i f , f o r a n y c h o i c e o f x1 , x2 , a n d t h e s c a l a r a, f(ax1 + (1 a) x2) < af(x1) + ( 1 a) f(x2) . C o n v e x o b j e c t i v e f u n c t i o n s o c c u r o f t e n i n p r a c t i c e a n d a r e m o r e e a s i l y m i n i m i z e d b e c a u s e o f t h i s p r o p e r t y .

W h e n t h e o b j e c t i v e f u n c t i o n

f ()d e p e n d s o n a c o m p l e x v a r i a b l e

z, s u b t l e t i e s e n t e r t h e p i c t u r e . I f t h e

f u n c t i o n f(z) i s d i e r e n t i a b l e , i t s e x t r e m e s c a n b e f o u n d i n t h e o b v i o u s w a y : n d t h e d e r i v a t i v e , s e t i t e q u a l t o z e r o , a n d s o l v e f o r t h e l o c a t i o n s o f t h e e x t r e m a . H o w e v e r , t h e r e a r e m a n y s i t u a t i o n s i n w h i c h

t h i s f u n c t i o n i s n o t d i e r e n t i a b l e . I n c o n t r a s t t o f u n c t i o n s o f a r e a l v a r i a b l e , n o n - d i e r e n t i a b l e f u n c t i o n s o f

a c o m p l e x v a r i a b l e o c c u r f r e q u e n t l y . T h e s i m p l e s t e x a m p l e i s f(z) = (|z|)2

. T h e m i n i m u m v a l u e o f t h i s

f u n c t i o n o b v i o u s l y o c c u r s a t t h e o r i g i n . T o c a l c u l a t e t h i s o b v i o u s a n s w e r , a c o m p l i c a t i o n a r i s e s : t h e f u n c t i o n

f(z) = z i s n o t a n a l y t i c w i t h r e s p e c t t o z a n d h e n c e n o t d i e r e n t i a b l e . M o r e g e n e r a l l y , t h e d e r i v a t i v e o f a

h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 1 . 0

1

T h e m a x i m u m o f a f u n c t i o n i s f o u n d b y n d i n g t h e m i n i m u m o f i t s n e g a t i v e .

h t t p : / / c n x . o r g / c o n t e n t / m 1 1 2 4 0 / 1 . 4 /


2/4


f u n c t i o n w i t h r e s p e c t t o a c o m p l e x - v a l u e d v a r i a b l e c a n n o t b e e v a l u a t e d d i r e c t l y w h e n t h e f u n c t i o n d e p e n d s

o n t h e v a r i a b l e ' s c o n j u g a t e . S e e C h u r c h i l l [ 2 ] f o r m o r e a b o u t t h e a n a l y s i s o f f u n c t i o n s o f a c o m p l e x v a r i a b l e .

T h i s c o m p l i c a t i o n c a n b e r e s o l v e d w i t h e i t h e r o f t w o m e t h o d s t a i l o r e d f o r o p t i m i z a t i o n p r o b l e m s . T h e

r s t i s t o e x p r e s s t h e o b j e c t i v e f u n c t i o n i n t e r m s o f t h e r e a l a n d i m a g i n a r y p a r t s o f

za n d n d t h e f u n c t i o n ' s

m i n i m u m w i t h r e s p e c t t o t h e s e t w o v a r i a b l e s .

2

T h i s a p p r o a c h i s u n n e c e s s a r i l y t e d i o u s b u t w i l l y i e l d t h e

s o l u t i o n . T h e s e c o n d , m o r e e l e g a n t , a p p r o a c h r e l i e s o n t w o r e s u l t s f r o m c o m p l e x v a r i a b l e t h e o r y . F i r s t ,

t h e q u a n t i t i e s z a n d z c a n b e t r e a t e d a s i n d e p e n d e n t v a r i a b l e s , e a c h c o n s i d e r e d a c o n s t a n t w i t h r e s p e c t

t o t h e o t h e r . A v a r i a b l e a n d i t s c o n j u g a t e a r e t h u s v i e w e d a s t h e r e s u l t o f a p p l y i n g a n i n v e r t i b l e l i n e a r

t r a n s f o r m a t i o n t o t h e v a r i a b l e ' s r e a l a n d i m a g i n a r y p a r t s . T h u s , i f t h e r e a l a n d i m a g i n a r y p a r t s c a n b e

c o n s i d e r e d a s i n d e p e n d e n t v a r i a b l e s , s o c a n t h e v a r i a b l e a n d i t s c o n j u g a t e w i t h t h e a d v a n t a g e t h a t t h e

m a t h e m a t i c s i s f a r s i m p l e r . I n t h i s w a y ,

z

(|z|)

2

= z a n d

z

(|z|)

2

= z . S e e m i n g l y , t h e n e x t s t e p t o

m i n i m i z i n g t h e o b j e c t i v e f u n c t i o n i s t o s e t t h e d e r i v a t i v e s w i t h r e s p e c t t o e a c h q u a n t i t y t o z e r o a n d t h e n

s o l v e t h e r e s u l t i n g p a i r o f e q u a t i o n s . A s t h e f o l l o w i n g t h e o r e m s u g g e s t s , t h a t s o l u t i o n i s o v e r l y c o m p l i c a t e d .

T h e o r e m 1 :

I f t h e f u n c t i o n

f(z, z)i s r e a l - v a l u e d a n d a n a l y t i c w i t h r e s p e c t t o

za n d

z, a l l s t a t i o n a r y p o i n t s c a n

b e f o u n d b y s e t t i n g t h e d e r i v a t i v e ( i n t h e s e n s e j u s t g i v e n ) w i t h r e s p e c t t o e i t h e r z o r z t o z e r o [ 1 ] .

T h u s , t o n d t h e m i n i m u m o f (|z|)2

, c o m p u t e t h e d e r i v a t i v e w i t h r e s p e c t t o e i t h e r z o r z . I n m o s t c a s e s ,

t h e d e r i v a t i v e w i t h r e s p e c t t o z i s t h e m o s t c o n v e n i e n t c h o i c e . 3 T h u s , z

(|z|)

2

= z a n d t h e s t a t i o n a r y

p o i n t i s z = 0 . A s t h i s o b j e c t i v e f u n c t i o n i s s t r i c t l y c o n v e x , t h e o b j e c t i v e f u n c t i o n ' s s o l e s t a t i o n a r y p o i n t i s i t s g l o b a l m i n i m u m .

W h e n t h e o b j e c t i v e f u n c t i o n d e p e n d s o n a v e c t o r - v a l u e d q u a n t i t y x, t h e e v a l u a t i o n o f t h e f u n c t i o n ' s

s t a t i o n a r y p o i n t s i s a s i m p l e e x t e n s i o n o f t h e s c a l a r - v a r i a b l e c a s e . H o w e v e r , t e s t i n g s t a t i o n a r y p o i n t s a s

p o s s i b l e l o c a t i o n s f o r m i n i m a i s m o r e c o m p l i c a t e d [ 3 ] . T h e g r a d i e n t o f t h e s c a l a r - v a l u e d f u n c t i o n f(x) o fa v e c t o r x ( d i m e n s i o n N) e q u a l s a n N- d i m e n s i o n a l v e c t o r w h e r e e a c h c o m p o n e n t i s t h e p a r t i a l d e r i v a t i v e o f

f() w i t h r e s p e c t t o e a c h c o m p o n e n t o f x.

x (f(x)) =

x1f

(x

).

.

.

xN

f(x)

F o r e x a m p l e , t h e g r a d i e n t o f xTAx i s Ax + ATx. T h i s r e s u l t i s e a s i l y d e r i v e d b y e x p r e s s i n g t h e q u a d r a t i c

f o r m a s a d o u b l e s u m (

i j (Aijxixj)) a n d e v a l u a t i n g t h e p a r t i a l s d i r e c t l y . W h e n A i s s y m m e t r i c , w h i c h

i s o f t e n t h e c a s e , t h i s g r a d i e n t b e c o m e s 2Ax.T h e g r a d i e n t " p o i n t s " i n t h e d i r e c t i o n o f t h e m a x i m u m r a t e o f i n c r e a s e o f t h e f u n c t i o n f(). T h i s f a c t

i s o f t e n u s e d i n n u m e r i c a l o p t i m i z a t i o n a l g o r i t h m s . T h e m e t h o d o f s t e e p e s t d e s c e n t i s a n i t e r a t i v e

a l g o r i t h m w h e r e a c a n d i d a t e m i n i m u m i s a u g m e n t e d b y a q u a n t i t y p r o p o r t i o n a l t o t h e n e g a t i v e o f t h e

o b j e c t i v e f u n c t i o n ' s g r a d i e n t t o y i e l d t h e n e x t c a n d i d a t e .

, > 0 : (xk,xk1 x (f(x)))

I f t h e o b j e c t i v e f u n c t i o n i s s u c i e n t l y " s m o o t h " ( t h e r e a r e n ' t t o o m a n y m i n i m a a n d m a x i m a ) , t h i s a p p r o a c h

w i l l y i e l d t h e g l o b a l m i n i m u m . S t r i c t l y c o n v e x f u n c t i o n s a r e c e r t a i n l y s m o o t h f o r t h i s m e t h o d t o w o r k .

T h e g r a d i e n t o f t h e g r a d i e n t o f f(x), d e n o t e d b y 2x

(f (x)), i s a m a t r i x w h e r e jth c o l u m n i s t h e g r a d i e n t o f t h e jth c o m p o n e n t o f f' s g r a d i e n t . T h i s q u a n t i t y i s k n o w n a s t h e H e s s i a n , d e n e d t o b e t h e m a t r i x o f

a l l t h e s e c o n d p a r t i a l s o f f(). 2x

(f(x))ij

=2

xixjf(x)

2

T h e m u l t i - v a r i a t e m i n i m i z a t i o n p r o b l e m i s d i s c u s s e d i n a f e w p a r a g r a p h s .

3

W h y s h o u l d t h i s b e ? I n t h e n e x t f e w e x a m p l e s , t r y b o t h a n d s e e w h i c h y o u f e e l i s " e a s i e r " .



3/4


T h e H e s s i a n i s a l w a y s a s y m m e t r i c m a t r i x .

T h e m i n i m a o f t h e o b j e c t i v e f u n c t i o n f(x) o c c u r w h e n

x (f(x

)) = 0

a n d

2x

(f(x)) > 0

i . e . , p o s i t i v e d e n i t e . T h u s , f o r a s t a t i o n a r y p o i n t t o b e a m i n i m u m , t h e H e s s i a n e v a l u a t e d a t t h a t p o i n t

m u s t b e a p o s i t i v e d e n i t e m a t r i x . W h e n t h e o b j e c t i v e f u n c t i o n i s s t r i c t l y c o n v e x , t h i s t e s t n e e d n o t b e

p e r f o r m e d . F o r e x a m p l e , t h e o b j e c t i v e f u n c t i o n f(x) = xTAx i s c o n v e x w h e n e v e r A i s p o s i t i v e d e n i t e a n d s y m m e t r i c .

4

W h e n t h e i n d e p e n d e n t v e c t o r i s c o m p l e x - v a l u e d , t h e i s s u e s d i s c u s s e d i n t h e s c a l a r c a s e a l s o a r i s e . B e c a u s e

o f t h e c o m p l e x - v a l u e d q u a n t i t i e s i n v o l v e d , h o w t o e v a l u a t e t h e g r a d i e n t b e c o m e s a n i s s u e : i s z o r z m o r e a p p r o p r i a t e ? . I n c o n t r a s t t o t h e c a s e o f c o m p l e x s c a l a r s , t h e c h o i c e i n t h e c a s e o f c o m p l e x v e c t o r s i s u n i q u e .

T h e o r e m 2 :

L e t f(z, z) b e a r e a l - v a l u e d f u n c t i o n o f t h e v e c t o r - v a l u e d c o m p l e x v a r i a b l e z w h e r e t h e d e p e n d e n c e o n t h e v a r i a b l e a n d i t s c o n j u g a t e i s e x p l i c i t . B y t r e a t i n g z a n d z a s i n d e p e n d e n t v a r i a b l e s , t h e

q u a n t i t y p o i n t i n g i n t h e d i r e c t i o n o f t h e m a x i m u m r a t e o f c h a n g e o f f(z,z) i s z (f(z))[ 1 ] .

T o s h o w t h i s r e s u l t , c o n s i d e r t h e v a r i a t i o n o f f g i v e n b y

f =i

zi(f) zi +

zi(f) zi

= (z (f))

Tz + (z (f))

Tz

T h i s q u a n t i t y i s c o n c i s e l y e x p r e s s e d a s f = 2

(z (f))H

z

. B y t h e S c h w a r z i n e q u a l i t y , t h e m a x i m u m

v a l u e o f t h i s v a r i a t i o n o c c u r s w h e n z i s i n t h e s a m e d i r e c t i o n a s ( z (f)) . T h u s , t h e d i r e c t i o n c o r r e s p o n d i n g t o t h e l a r g e s t c h a n g e i n t h e q u a n t i t y f(z, z) i s i n t h e d i r e c t i o n o f i t s g r a d i e n t w i t h r e s p e c t t o z. T o i m p l e m e n t t h e m e t h o d o f s t e e p e s t d e s c e n t , f o r e x a m p l e , t h e g r a d i e n t w i t h r e s p e c t t o t h e c o n j u g a t e m u s t b e u s e d .

T o n d t h e s t a t i o n a r y p o i n t s o f a s c a l a r - v a l u e d f u n c t i o n o f a c o m p l e x - v a l u e d v e c t o r , w e m u s t s o l v e

z (f(z)) = 0 ( 1 )

F o r s o l u t i o n s o f t h i s e q u a t i o n t o b e m i n i m a , t h e H e s s i a n d e n e d t o b e t h e m a t r i x o f m i x e d p a r t i a l s g i v e n

b y z (z (f(z))) m u s t b e p o s i t i v e d e n i t e . F o r e x a m p l e , t h e r e q u i r e d g r a d i e n t o f t h e o b j e c t i v e f u n c t i o n zHAz i s g i v e n b y Az, i m p l y i n g f o r p o s i t i v e d e n i t e A t h a t a s t a t i o n a r y p o i n t i s z = 0 . T h e H e s s i a n o f t h e

o b j e c t i v e f u n c t i o n i s s i m p l y A, c o n r m i n g t h a t t h e m i n i m u m o f a q u a d r a t i c f o r m i s a l w a y s t h e o r i g i n .

4

N o t e t h a t t h e H e s s i a n o f xTAx i s 2A.



4/4


R e f e r e n c e s

[ 1 ] D . H . B r a n d w o o d . A c o m p l e x g r a d i e n t o p e r a t o r a n d i t s a p p l i c a t i o n i n a d a p t i v e a r r a y t h e o r y . I E E P r o c . ,

P t s . F a n d H , 1 3 0 : 1 1 1 6 , 1 9 8 3 .

[ 2 ] R . V . C h u r c h i l l a n d J . W . B r o w n . C o m p l e x V a r i a b l e s a n d A p p l i c a t i o n s . M c G r a w - H i l l , 1 9 8 9 .

[ 3 ] D . G . L u e n b e r g e r . O p t i m i z a t i o n b y V e c t o r S p a c e M e t h o d s . W i l e y , 1 9 6 9 .


Documents

Connexions Module: m11240