8/10/2019 DYNAMIC PROGRAMMING AND LAGRANGE MULTIPLIERS.pdf

1/3

DYNAMIC PROGRAMMING AND LAGRANGE MULTIPLIERS

BY R I C H A R DBELLMAN

RAND CORPORATION, SANTA MONICA, CALIFORNIA

C o m m u n i c a t e db y E i n a r H i U e ,A u g u s t1 3 ,1 9 5 6

1 . I n t r o d u c t i o n . - T h e p u r p o s eo f t h i sn o t e i s t o i n d i c a t eh o w a s u i t a b l ec o m b i n a -t i o n o ft h e c l a s s i c a lm e t h o do f t h e L a g r a n g em u l t i p l i e ra n d t h e f u n c t i o n a l - e q u a t i o nm e t h o do f t h e t h e o r y o f d y n a m i cp r o g r a m m i n g 'c a n b e u s e dt o s o l v en u m e r i c a l l y ,a n d t r e a t a n a l y t i c a l l y ,a v a r i e t yo f v a r i a t i o n a lp r o b l e m st h a t c a n n o t r e a d i l yb et r e a t e db y e i t h e rm e t h o da l o n e .

A s e r i e so f a p p l i c a t i o n so f t h e m e t h o d p r e se n t ed h e r ew i l la p p e a r i n f u r t h e rp u b l i c a t i o n s .

2 . F u n c t i o n a l E q u a t i o n A p p r o a c h . - C o n s i d e rt h e p r o b l e mo f m a x i m i z i n gt h ef u n c t i o n

N

F ( x , ,X 2 ,. . . , X N ) = E g 9 x i , ( 2 . 1 )

s u b j e c tt o t h e c o n s t r a i n t sN

a i j x j < c i , i 1 , 2 Y.... , M ,j=1

( 2 . 2 )

b x s > O ,w h e r et h e f u n c t i o n sa i j x ,g j ( x )a r e t a k e n t o b e c o n t i n u o u sf o rx > 0 a n d m o n o t o n ei n c r e a s i n g .F o r c j . 0 , d e f i n et h e s e q u e n c eo f f u n c t i o n s

f l c l ,C 2 , . . . , C M ) Max F ( x , ,X 2 ,. . . , X N ) ( 2 . 3 ){ x }

f o rN > 1 .T h e nf . c l ,C 2 ,. . . , C m )i s d e t e r m i n e di m m e d i a t e l y ,a n d ,e m p l o y i n gt h e p r i n c i p l e

o f o p t i m a l i t y , lw e o b t a i n t h e r e c u r r e n c e r e l a t i o n

f k + l ( c l ,C 2 , * , C M ) = Max [ g k + l ( X ) f k ( c , a , , k + l ( X ) ,* . . , CM a M , k + ( X ) )] ,O < a i . k 1 ( X ) < C i ( 2 . 4 )

f o rk = 1 , 2 , . . . , N 1 .D u e t o t h e l i m i t e dm e m o r y o f p r e s e n t - d a yd i g i t a lc o m p u t e r s , t h i s m e t h o d

f o u nd e r s o nt h er e e fo f d i m e n s i o n a l i t yw h e nM > 4 . I f w e w i s h t o t r e a t a p p l i e dp r o b l e m so f g r e a t e ra n d g r e a t e rr e a l i s m ,w e m u s t d e v e l o p m e t h o d sc a p a b l e o fh a n d l i ng p r o b l e m si n v o l v i n gh i g h e rd i m e n s i o n s .

I n t h i sp a p e r w e s h a l lp r e s e n t o n e m e t h o do f o v e r c o m i n gt h e s ed i m e n s i o n a l i t yd i f f i c u l t i e s .

3 . u n c t i o n a lE q u a t i o n s a n d L a g r a n g e M u l t i p l i e r s . - T h e m e t h o d o f t h e L a -

g r a n g e m u l t i p l i e ri n c l a s s i c a lv a r i a t i o n a lt h e o r y c o n s i s t so f f o r m i n gt h e f u n c t i o nN M N

4 0 x ,X 2 ,. . X N 1= I g i ( x i ) x ~t a i j ( x j ) ) 3 . 1

w h e r et h e X ia r e p a r a m e t e r sd e t e r m i n e ds u b s e q u e n t l yb y means o f r e l a t i o n s 2 . 2 ,a n d t h e n u t i l i z i n ga d i r e c tv a r i a t i o n a la p p r o a c ho n t h i sn e w f u n c t i o n .

7 6 7

8/10/2019 DYNAMIC PROGRAMMING AND LAGRANGE MULTIPLIERS.pdf

2/3

MATHEMATICS: R . BELLMAN

We s h a l le m p l o ya n a p p r o a c hi n t e r m e d i a t eb e t w e e nt h i sm e t h o d a n dt h e m e t h o ds k e t c h e d i n s e c t i o n2 .

C o n s i d e r t h e f u n c t i o nN K N \

F ( x i ,X 2 ,. . . , X N ; X I ,X 2 ,. . . . , = A R g i ( X ) a j a ( x J ) 3 . 2

w h e r e 1 < K < M - 1 . We w i s h t o m a x i m i z et h i sf u n c t i o no v e r t h e r e g i o nd e f i n e db y t h ec o n s t r a i n t s

N

a Z a j ( x j )< c i , i = K 1 , . . . M,j = 1

( 3 . 3 ) b x i > O .

F o r f i x e dv a l u e s o f t h e X i ,we h a v e a p r o b l e mo f p r e c i s e l yt h e t y p e d i s c u s s e di ns e c t i o n2 , w i t h t h ea d v a n t a g et h a twe n o w r e q u i r ef u n c t i o n so f d i m e n s i o nM Kf o r a c o m p u t a t i o n a ls o l u t i o n .

O n c et h e s e q u e n c e{ O N ( C K + 1 ,. . . , C N ;X 1 ,X 2 ,. . . , ) K ) } , N = 1 , 2 , . . . ,

4 5 N ( C K + 1 ,. . . , C N ; X 1 ,X 2 ,. . . , X K ) Max F ( x 1 ,X 2 ,. . . , X N ; X I ,X 2 ,. . . RK ) ( 3 . 4 )t x

h a s b e e n c o m p u t e d ,w e v a r y t h e p a r a m e t e r sX it o d e t e r m i n e t h e r a n g e o f t h e

p a r a m e t e r sc 1 ,C 2 ,. . . , C K RWe h a v e t h u s p a r t i t i o n e dt h ec o m p u t a t i o no f t h e o r i g i n a ls e q u e n c eo f f u n c t i o n so f M v a r i a b l e si n t ot h ec o m p u t a t i o no f a s e q u e n c eo f f u n c t i o n so f K v a r i a b l e s ,f o l l o w e db y t h e c o m p u t a t i o no fa s e q u e n c eo ff u n c t i o n so fM - K v a r i a b l e s .T h ec h o i c eo f K w i l ld e p e n du p o n t h e p r o c e s s .

T h e r e a r e a n u m b e ro f r i g o r o u sd e t a i l sw h i c hw e w i l ld i s c u s se l s e w h e r e .4 . S u c c e s s i v eA p p r o x i m a t i o n s . - S i n c et h eL a g r a n g em u l t i p l i e r sa r e i n t i m a t e l y

c o n n e c t e dw i t h m a r g i n a l r e t u r n s ,o r p r i c e s ,i n a n u m b e ro f a p p l i e dp r o b l e m s ,w e b e g i nw i t h a c e r t a i nh o l do n t h ep r o c e s sa s f a r a s a p p r o x i m a t es o l u t i o n sa r ec o n c e r n e d .I t e r a t i v et e c h n i q u e sb a s e d u p o n t h i so b s e r v a t i o n ,a n d t h ec o n n e c t i o nw i t h o p t i m a ls e a r c hp r o c e d u r e s ,w i l lb e d i s c u s s e de l s e w h e r e .

5 . A p p l i c a t i o nt o t h e C a l c u l u so f Va r i a t i o n s . - I n t h e t h e o r y o f c o n t r o lp r o c -e s s e s , 3o n e e n c o u n t e r sa p r o b l e ms u c h a s t h a to f m i n i m i z i n ga n o n a n a l y t i cf u n c -t i o n a ls u c h a s

J j ( u ) f o T1 1 u ldt 5

o v e r a l l f u n c t i o n sv t s a t i s f y i n gt h ec o n s t r a i n t s

( a ) - k i < v t < k 2 , 0 < t T .

( 5 . 2 ) b f o O| v t d t < c i sw h e r eu a n d v a r e c o n n e c t e db y a r e l a t i o n

d u = 9 u ,t , v , u ( O )= a . ( 5 . 3 )d t

P R O C .N . A . S .6 8

8/10/2019 DYNAMIC PROGRAMMING AND LAGRANGE MULTIPLIERS.pdf

3/3

MATHEMATICS: F . E . BROWDER

R e p l a c i n gJ i ( u )b y

J 2 ( u )= f j ' u ld t X f A JI v t ) Id t , 5 . 4X > 0 , w e c a n e m p l o yf u n c t i o n so f t w o v a r i a b l e si n d e t e r m i n i n gt h e a n a l y t i co rn u m e r i c a ls o l u t i o n ,r a t h e rt h a n f u n c t i o n so f t h r e ev a r i a b l e s c f .a n e a r l i e rp a p e r 2 ) .T h i s r e d u c t i o nb y o n e i n d i m e n s i o n a l i t yr e s u l t ss i m u l t a n e o u s l yi n a t r e m e n d o u ss a v i n g i n c o m p u t i n gt i m e a n d i n a g r e a ti n c r e a s ei n a c c u r a c y o f t h e n u m e r i c a lr e s u l t s .

I R . B e l l m a n , T h e T h e o r yo f D y n a m i cP r o g r a m m i n g ,B u l l .Am . M a t h . S o c . ,6 0 ,5 0 3 - 5 1 6 ,1 9 5 4 .

2 R . B e l l m a n , D y n a m i cP r o g r a m m i n ga n d a Ne w F o r m a l i s mi n t h e C a l c u l u so f Va r i a t i o n s ,t h e s eP R O C E E D I N G S ,4 0 ,2 3 1 - 2 3 5 , 1 9 5 4 .

3 R . B e l l m a n ,I . G l i c k s b e r g ,a n d 0 . G r o s s , On Some Va r i a t i o n a l P r o b l e m sO c c u r r i n gi n t h eT h e o r yo f D y n a m i cP r o g r a m m i n g ,R e n d . P a l e r m o ,S e r .I I , 3 , 1 - 3 5 ,1 9 5 4 .

EIGENFUNCTION EXPANSIONS FOR FORMALLY SELF-ADJOINTPARTIAL DIFFERENTIAL OPERATORS. I

BY F E L i xE . BROWDER

DEPARTMENTOF M AT H E M AT I C S ,YALE U N I V E R S I T Y

C o m m u n i c a t e db y M a r s h a l lH . S t o n e ,A u g u s t1 6 ,1 9 5 6

L e t A b e a f o r m a l l ys e l f - a d j o i n td i f f e r e n t i a lo p e r a t o r d e f i n e do n a d o m a i nG o fE u c l i d e a nn - s p a c e .I n 1 9 5 3 ,G r d i n ga n d t h ea u t h o r , f o l l o w i n ga g e n e r a ll i n eo fa r g u m e n td u e t o M a u t n e r , 2i n d e p e n d e n t l yp r o v e d t h e e x i s t e n c eo f e x p a n s i o n so ft h e W e y lt y p e i n e i g e n f u n c t i o n so f ( A X ) f o re l l i p t i cA , c o r r e s p o n d i n gt o e v e r ys e l f - a d j o i n tr e a l i z a t i o no fA i n L 2 ( G ) . 3An e x t e n s i o nt o s e l f - a d j o i n tr e a l i z a t i o n so fC - e l l i p t i cd i f f e r e n t i a lo p e r a t o r sw i t h c o n s t a n t c o e f f i c i e n t sw a s g i v e n b y L . H o r -m a n d e r i n 1 9 5 5 . 4A m o r e g e n e r a lr e s u l to n e x p a n s i o n s i n e i g e n f u n c t i o n so f

( A

X B )f o rA m e r e l yf o r m a l l ys e l f - a d j o i n ta n d B p o s i t i v eh a s b e e n a n n o u n c e dr e c e n t l yb y G e l f a n da n d K o s t y u c e n k o , 6who s k e t c h e da p r o o fb a s e du p o na t h e o r e mo fG e l f a n do n t h ed i f f e r e n t i a t i o na n d i n t e g r a t i o no f B a n a c hs p a c e - v a l u e df u n c t i o n so n t h e l i n e . I n t h e i rr e s u l ti t i s a s s u m e dt h a tB-1A h a s a s e l f - a d j o i n tr e a l i z a t i o ni n a s p e c i a lH i l b e r ts p a c e w i t h i n n e r p r o d u c t ( B f ,g ,a n d t h e e i g e n f u n c t i o n so b -t a i n e da r e d i s t r i b u t i o n si n t h e s e n s e o f L . S c h w a r t z .

I t i s t h e p u r p o s eo f t h i sn o t e t o p r e s e n ta p r o o f ,u s i n g t h e G e l f a n dd i f f e r e n t i a t i o nt h e o r e m ,o f t h ee i g e n f u n c t i o ne x p a n s i o nt h e o r e mf o rA f o r m a l l ys e l f - a d j o i n ta n d Bp o s i t i v ew i t h o u ta n y a s s u m p t i o no n t h e e x i s t e n c eo fs e l f - a d j o i n tr e a l i z a t i o n s w h i c hm ay n o t e x i s tf o rA a n d B w i t h c o m p l e xc o e f f i c i e n t s ) .I n t h ef o l l o w i n gn o t e w ee s t a b l i s he x i s t e n c ea n d r e g u l a r i t yo f t h ee i g e n f u n c t i o ne x p a n s i o nf o r ( A X B )w i t h e l l i p t i cA u n d e r w e a k e rd i f f e r e n t i a b i l i t yc o n d i t i o n so n t h e c o e f f i c i e n t sb y u s eo f t h e R a d o n - N i k o d y mt h e o r e m . T h e p r o o f sg o o v e r t o t h e c a s e o f s y s t e m sw i t hp u r e l yf o r m a l a l t e r a t i o n s .

L e t A a n d B b e d i f f e r e n t i a lo p e r a t o r sw i t h c o m p l e xc o e f f i c i e n t so n G o f o r d e r ss a n d 2 r , , t h ei n n e r p r o d u c ti nL 2 ( G ) ,C J ( G )t h ej - t i m e sc o n t i n u o u s l yd i f f e r e n t i a b l e

V O L .4 2 ,1 9 5 6 7 6 9