6.3 用变分法求解最优控制问题引言：

1 、动态最优控制中目标函数是一个泛函数，最优控制问题就是求泛函数的极值问题。

2 、对无约束的最优控制：通常用变分法求解；

对有约束的最优控制：通常用以变分法为基础的极小值原理求解。以上两种最优控制，都可以用动态规划法求解。

3 、无约束是指控制 u(t)不受不等式的约束，可以在整个 r维向量空间 Rr 任意取值。

一、变分法的基本概念变分法－－求泛函极值的方法

1 、泛函定义：对某一类函数集合中的每一个函数y(x)，有一个确定的数 J与之对应，就称 J为依赖于函数 y(x)的泛函，记 J=J[y(x)]。

讨论：

（ 1）性能指标 J取决于向量函数 x(t)及 u(t)的选取而定，称指标泛函，记作 J[u(t),x(t)] 。 （ 2）因为 x(t)和 u(t)必须满足一定的关系（状态方程）， u(t)的选取又影响到 x(t)的选取，一般又将指标泛函记作 J[u(t)]

（ 3）函数 u(t)称为泛函 J[u(t)]的宗量。（或自变量）

（ 4）泛函与函数的区别：

泛函宗量是函数，而函数的宗量是变数。

（ 5）求最优控制 u*(t)，就是求使 J[u(t)]取极小值的 u(t)。

2 、泛函的极值

曲线上达到极小值。在则称，－

接近的曲线，有或对于任何一条与

，或写成

定义：如果泛函

)()]([

0)]([)]([

)()(

],,[)]([

],,[)]([

0

0

00

0

xyxyJ

xyJxyJ

txxxyy

dttxxLtxJ

dxxyyLxyJ

f

b

a

t

t

x

x

曲线上达到极大值。在则称，－反之，若

)()]([

0)]([)]([

0

0

xyxyJ

xyJxyJ

阶接近度。称两个函数具有

，且若

具有零阶接近度；与称两个函数

，若

，的一切接近度：对于定义域中

1

)()()()(

)()(

)()(

00

0

0

xyxyxyxy

xyxy

xyxy

xxxx ba

数的接近程度越好。接近度的阶次越高，函

3 、泛函的变分（相当于函数的微分）

)]([)]()([)]([

1

xyJxyxyJxyJ ）泛函的增量（

22

2

0

])[!2

1][][

)(

yyydy

Jdyyy

dy

dJyJ

xy

（）（

点展开，得应用泰勒公式在

的高阶无穷小。是主部），的线性连续泛函（线性是

的变分。为宗量＝其中：

yR

yL

xyxyxyxy

)()()()( 0

)](),([

2

xyxyLJ

L

＝记作量的线性主部）泛函的变分：泛函增（

](),([)](),([

)]([!2

1)( 2

2

2

）xyxyRxyxyL

xydy

Jdxy

dy

dJ

的变分。试求泛函－例 dxxyJ )(]36[1

0

2

dxxyxy

dxxyaxya

dxxyaxya

xyaxyJa

J

a

a

a

)()(2

)]()([

)]()([

)]()([

1

1

0

0

21

0

0

1

0

2

0

解：根据引理

）（证明见

的变分也可定义为泛函引理

223)]()([

)]([:1

0pxyaxyJ

aJ

xyJ

a

的变分。求泛函－例 1

0

]),(),([]46[x

xdxxxyxyLJ

1

0

1

0

]),,(),,(

[

],,[

][

0

0

x

x

a

x

x

a

dxyy

xyyLy

y

xyyL

dxxyayyayLa

yayJa

J

解：

yydx

d

x

xyxy

导数变分的性质，即

了宗量变分的导数等于。在证明过程中，应用而不是，和式。这里泛函的宗量这是计算泛函的普遍公 )()(

4 、泛函极值定理：

的导数为零。极值点值存在的必要条件：在类比：连续光滑函数极

。（证明略）＝的必要条件是值）上达到极小值（或极大在：泛函定理

0

)()]([1 0

J

xyxyJ

ft

t

ff

dtttxtxLtxJ

xtx

xtxtx

0

]),(),([)]([

,)(

)()( 00

则使性能泛函，终点为的始点为定理：设曲线

二、端点固定时的 Euler 方程

至少应两次连续可微。应有连续的二阶导数其中],,[

,)(

txxL

tx

的解。为二阶微分方程

取极值的必要条件是：

0)(

x

L

dt

d

x

Ltx

0

0

0

],,[

)](),([

0

a

t

t

a

f

dttxaxxaxLa

txatxJa

J

J

＝在的必要条件是证明：因为泛函极值存

0)(0

0

f

ft

t

t

t

xdtx

L

dt

d

x

Lx

x

L

，

ff

f t

t

t

t

t

txdt

x

L

dt

dx

x

Lxdt

x

L0

00

ft

tdtx

x

txxLx

x

txxLJ

J

0

]),,(),,(

[

的线性主部表示：用泛函增量

00)(

01

00

f

f

t

t

t

tx

x

Lxdt

x

L

dt

d

x

L

和

的必要条件是：使上式推论

0

0)(20

x

L

dt

d

x

L

xdtx

L

dt

d

x

Lft

t

的必要条件是：使推论

（横截条件））（

分方程）（欧拉方程）（二阶微）（

条件是即：泛函取极值的必要

02

01

0

xxL

ft

t

x

L

dt

d

x

L

讨论：

0)(0)(

)(,)(1

0

00

f

ff

txtx

xtxxtx

，可求得

，）固定端点问题中：（

00

00

0)(0)(

)2(

0

0

0

f

f

tt

tt

f

x

L

x

L

xx

Lx

x

L

txtx

Euler

，

得横截条件为：，可由

，或或两个端点为自由时，点截条件确定。若一个端积分常数待定，可由横

程，求解时有两个方程是一个二阶微分方

分条件。充所以，一般不需要使用以判断是极大或极小。可题而言，仅从概念上就要条件，对多数工程问

只是泛函极值存在的必）欧拉方程和横截条件（3

ft

f

dtuxJ

tuxx

ux

0

22

*0

)(

)(

]56[

小值。，使下列性能泛函取极为边界条件，求和以

为设受控对象的状态方程例

ff tt

dtxxdtuxJ

ux

0

22

0

22 )()(

代入性能泛函解：将状态方程

022

],[ 22

xxx

L

dt

d

x

L

xxxxL

，故欧拉方程为在此

ff ttf

tt

eCeCx

CCx

eCeCtx

21

210

21)(

将边界条件代入得可解得

ff

f

ff

f

tt

ft

tt

tf

ee

xexC

ee

exxC

0

20

1 ，

解出积分常数

f

ff

ttt

ft

ttt

tf

t

ttxtx

eee

xexe

ee

exxtx

ff

f

ff

f

sinh

)sinh(sinh

)(

0

00*

故极值曲线为

f

ff

ttt

ft

ttt

tf

t

ttxtx

eee

xexe

ee

exxtxtu

ff

f

ff

f

sinh

)cosh(cosh

][)()(

0

00**

极值控制曲线为

三、多元泛函的极值条件（变量为向量的情况）

（边界条件）

（欧拉方程）写成向量形式：

ff

ii

ffT

n

xtxxtxX

L

dt

d

X

L

x

L

dt

d

x

L

xtxxtxxxxX

)(,)(

0

0

)(,)(,

00

0021

为常数。横截条件。为极小值的欧拉方程和

试写出为使

自由。给定，已知系统状态方程例

ra

dturxxJ

txtxxuaxx

ft

ff

,

)(2

1)(

)(,)0(,

]76[

0

222

0

])([2

1

])([2

1)(

,

222

0

222

axxrxL

dtaxxrxxJ

uJ

ft

其中，

得消去解：将状态方程代入

0)]([))((

:0

22

axxrdt

daaxxrx

x

L

dt

d

x

L

得根据

0)()( 22 xaxxarxaxr

为故极值条件的欧拉方程

0))(2(

0)(

)0()1(

2

0

f

f

f

t

tt

axx

axxrx

L

xx

得由

边界条件为

联立求解上述方程可求得 x*(t),u*(t)

四、求解连续系统最优控制

思路：由于泛函 J所依赖的函数总要受到受控系统状态方程的约束，应用拉格朗日乘子法，将有约束泛函极值问题转化为无约束的泛函极值问题。

0)(]),(),([

]),(),([

)(,)(

],[],),(),([)(

1

0

00

0

txttutxf

dtttutxLJ

txxtx

tttttutxftx

ft

t

f

f

程式得：将状态方程写成约束方

自由终端状态初始状态

对系统式、拉格朗日法求极值公

维拉格朗日乘子向量为待定的

构造增广泛函：

nt

dttxttutxftttutxLJft

t

T

)(

)](]),(),([)[(]),(),([0

ft

t

T

T

dttxtuxHJ

tuxftuxLtuxH

Hamilton

0

)(],,,[:

],,[],,[),,,(

则

）函数顿（定义纯量函数，哈密尔

ff

fff

tt

Tt

t

T

tt

t

t

TTt

t

T

txdttxtuxHJ

txdttxdttx

00

000

)()(],,,[

)()()(

其中

fft

t

Tt

t

TT xdtu

Hu

x

HxJ

Jxuxu

txtutxtu

00

)()]()()()[(

,

)()()()( **

的变分为引起和则由、为的变分、相对于最优控制的和设

）横截条件（

为任意时））控制方程（（

伴随方程

必有不受约束）（即，，取＝由

30

20

)1(0

,000

0

t

t

uu

Hx

H

uuxJ

2 、求解最优控制的步骤

],[~3

2

),(~01

*****

**

*

*

xuux

x

u

xuuu

H

＝代入得，）再将（

，求

程解两点边值，代入伴随方程和状态方）将（

，解出）由控制方程（

）状态方程（即

又由

4)(],,,[),(

)(],,[

],,[],,[],,,[

00

xtxtuxfxtxH

txtuxfH

tuxftuxLtuxH T