第８回輪講2011.06.28

(火 ) 慶應義塾大学 理工学部 管理工学科４年 曹研究室　60803571遠藤 健司

今週やったこと

非線形計画法 ラグランジュ緩和問題 双対問題 不等式制約のある最適化問題最適性 KKT 条件 制約条件のない最適化問題の最適性 最急降下法

参考にした書籍 「数理計画法の基礎」

坂和正敏　著 森北出版（株）（ 1999, 初版）

「数理計画法」～最適化の手法 森哲夫　著 共立出版（株）（ 1994, 初版）

　　　　を　で最適化したもの→ 双対関数

非線形計画問題

n

j

i

R

ljh

migts

f

x

x

x

x

　 　 　

　　 　 　

　　 　

　

,...,2,1,0)(

,...,2,1,0)(..

)(min

主問題

lj

mi

j

i

,...,2,1

,...,2,1)0(

　

　

　

　

ラグランジュ乗数

ラグランジュ乗数と、対応する主問題の制約関数との積の和に、目的関数を加える。→ ラグランジュ関数

l

jjj

m

iii hgfL

11

)()()()( xxxμλ,x,

ラグランジュ関数

)( μλ,x,L x

n

m

i

l

ijjii

X

Rts

hgf

L

x

xxx

μλ,x,x

　 　

　

　

..

)()()(min

)(min

1 1

双対関数

主問題の目的関数をラグランジュ関数に置き換えることで、満足すべき制約条件が緩くなり、解き易くなる。（緩和問題）→ ラグランジュ緩和問題

)(min)( μλ,x,μλ,xLd

X　

ラグランジュ緩和問題

双対問題双対問題（ラグランジュ双対問題）

0λ

μλ,

　 　

　

..

)(max

ts

d

主問題が与えられた場合、これとペアになる問題である、双対問題が必ず存在する。しかし、主問題の最適解に対する最適値と、双対問題の最適解に対する最適値が等しくなるとは限らない。→ 弱双対定理

:,

:

x 主問題の最適解

双対問題の最適解

l

jjj

m

iii hgfL

11

)()()()( xxxμ,λ,x

mi

ljh

mig

i

j

i

,...,2,1,0

,...,2,1,0)(

,...,2,1,0)(

　 　

　

　

x

x

これらの値をラグランジュ関数に代入する。

但し、

)()( xμ,λ,x fL

)()(

)(min)(

μ,λ,xμ,λ

μλ,x,μλ,x

Ld

LdX

　　また、双対関数の定義より、

・・・①

・・・②

式①、②より、)()( μ,λx df → 弱双対定理

)()( μ,λx df　※ 　　　　　　　　の場合、双対ギャップが存在する。

凸計画問題双対ギャップが存在しない非線形計画問題→ 凸計画問題

凸計画問題

n

j

i

R

lih

migts

f

x

x

x

x

　 　

　　 　

　

　

,...,2,1,0)(

,...,2,1,0)(..

)(min → 凸関数→ 凸関数→ 一次関数

→ 凸集合

定理：局所的最適性の２次必要条件　　　　　のとき、　が制約条件のない最適化問題の局所的最適解であるための必要条件は　　　　　で、しかも　　におけるヘッセ行列　　　　が半正定　　　　となることである。

制約条件のない最適化問題に対する最適性の条件

nRts

f

x

x

　

　

..

)(min

制約条件のない非線形計画問題

大域的最適解nRff xxx 　 　)()(

局所的最適解

)()(

}|||||{),(0

00

xx

xyyx

ff

RN n

　

x

0x

定理：局所的最適性の必要条件　　　　　のとき、　が制約条件のない最適化問題の局所的最適解であるための必要条件は　　　　　　　　が成立することである。

1)( Cf x 0x

0)( 0 xf

2)( Cf x 0x

0)( 0 xf0x)( 02 xf

nT Rf ddxd 　,0)( 02定理：凸関数の最適性の必要十分条件　　　が　　上で微分可能な凸関数とするとき、　が制約条件のない最適化問題の大域的最適解であるための必要十分条件は、　　　　　が成立することである。　　

)(xf

0)( 02 dxd fT

nRd

nR x0)( xf

不等式制約条件のある最適化問題に対する最適性の条件

不等式条件のある非線形計画問題

mi

gts

f

i

,...,2,1

,0)(..

)(min

　 　

　

　

x

x

不等式制約式による制約集合

},...,2,1,0)(|{

,...,2,1

},0)(|{

1

mixgR

XX

mi

xgRX

in

i

m

i

in

i

x

x

　 　 　

　

定理：凸計画問題の最適性の条件不等式条件のある非線形計画問題の制約集合が凸集合で、目的関数が凸関数であれば、その局所的最適解は大域的最適解であり、最適解の集合は凸集合である。

　　　が全て凸関数であれば、　は凸集合となる。

)(xigX

:Xx

不等式条件のある非線形問題の実行可能解

:}0)(|{)( xx igiI

活性制約式（　　　　　）の添字集合0)( xig

Kuhn-Tucker, KKT 条件定義：線形独立制約想定（正規条件）先述の非線形計画問題の制約関数　　　　は全て　　級の関数で、　　　とする。このとき、　　　　における勾配ベクトル　　　　　　　　　が線形独立であれば、制約関数　　　は　　　　で線形独立制約想定を満たすという。

)(xig 1CXx

Xx)(),( xx Iigi

)(xigXx

→ ラグランジュ乗数の存在を保証する。

1:)(),( Cgf i xx 級の関数

:0 Xx局所的最適解

Kuhn-Tucker, KKT 条件

mi

g

g

gfL

i

ii

i

m

iii

,...,2,1,0

0)(

0)(

0)()(),(

0

00

0

1

00000

　 　 　

x

x

xxλxx

→ 相補条件

定理：凸計画問題に対する最適性の十分条件不等式条件のある非線形計画問題において、　　　　　　　　　　　が全て凸関数の時、（つまり、凸計画問題の時）　　　　において、 KKT 条件を満たしていれば、　は大域的最適解　　となる。

migf i ,...,1),(),( xx

X0x0x x

KKT 条件を満たすラグランジュ乗数　　が存在すると仮定した場合、 KKT条件を満たす　　はラグランジュ関数　　　　の最小値を与える。→ ラグランジュ緩和問題の最適解となる。（凸計画問題の場合）

0i

0x )( 0λx,L

降下法

では、非線形計画問題が凸計画問題ではなかった場合は・・・ある初期点から出発して、目的関数　　の値を次々と減少させるようなの点列、　　　　　　　　　　となるような点列　　を系統的に生成する。→ 降下法

)(xfnR

)()()( 21 lfff xxx }{ lx

:

:

:

:1

l

l

l

l

d

x

x

現在の点

次の新しい点方向ベクトルステップ幅

更新公式,...2,1,:1 lllll 　dxx

方向ベクトル　はあるステップ幅に対して、　　　　　　　　を満たす必要がある。（　　：降下方向）またステップ幅　　　　は一次元探索問題　　　　　　　　　　　を解くことで求められる。

ld 0la)()( llll ff xdx

ld0l)()(min

0

lll

af dx

最急降下法 降下法のアルゴリズム1. 初期点　　を選び、　　とする。2. 現在の点　　において停止基準

をみたせば終了、そうでない場合は降下方向　をもとめる。

3. 一次元探索問題を解き、ステップ幅　　をもとめ、

　　として、手順 2. へ戻る。

目的関数の微分可能性を仮定すると、テイラーの定理より、

であるため、方向ベクトル　は　　　　　　を満たせば降下方向になる。

dxxdx )()()( fff lll d

0)( dxf

降下方向　を勾配ベクトル　　　を用いて、　　　　　　とすることにより、　の近傍で　　を最も急激に減少させる最急降下方向に選ぶ手法→ 最急降下法

ld )( lf x)( lTl f xd

lx )( lf x

lx 1:llx

ld

l1:,:1 llllll 　dxx

※ 　停止基準： ||)(|| lf x

一次元探索問題の最小値が正確に求められた場合

0)(

)(

1

ll

llll

f

fl

dx

ddx

　 　 　 　

　は　　　　と直交するので、新しい方向ベクトル　　　　　　　はこれまでに得られている全ての方向ベクトルと直交する。

ld )( 1 lf x

)( 11 lTl f xd

等高線が超球（二次元の場合は円）となる関数の場合、一回の探索で最小点に到達できる。しかし、それ以外の等高線が偏心しているよう一般の関数では、最小点の近傍での探索でジグザグになり、効率のよい探索方法とは言えない。

初期点を　　　　とする。

2変数の 2 次関数に対する最急降下法

0,0

0,

41

14

222

1)( 2

22121

aQ

xxxxQaf T

　　 b

xxxbx T

0)()(

0})({

0)()(min

(

0

lTlllTT

llllT

llll

TT

QQ

Q

f

Qf

l

dddxb

ddxb

ddx

xbx)

　より、

となるので、 α に関する式に変換すると、最適ステップ幅が解析的に与えられる。

,...2,1,)(

)(

l

Q

qlTl

lll 　 　

dd

dx

)3,2(1 x

)4,4()(

20)(

2121

1

xxxxQf

fT

xx

x

なので、

)10,5()(

)10,5()(11

1

xd

x

f

fT

二次関数に対する一次元探索問題の最適ステップ幅は、

16

5

10

5

41

14)10,5(

10

5)10,5(

)(

)(11

11

　

dd

dx

Q

qT

l

1250.0

4375.0

2

7

16

1

10

5

16

5

3

2

1112

　 　

　 　

dxx

よって、

同様にして x3 を求めると、

0703.0

0469.0

3

2

128

1

2223

　 　

dxx

となり、点列　　は右図のように２つの直線

上の値を交互に取りながら、最適解　　　　　に近づいていく。

}{ lx

1212 2

7,

2

3xxxx 　

T)0,0(0 x

次回論文に戻る

「 A Paradigm for the Scheduling of a Continuous Walking Beam Reheat Furnace Using a Modified Genetic Algorithm」

Jonathan S. Broughtona, Mahdi Mahfoufb* & Derek A. LinkensbMaterials and Manufacturing Processes

Volume 22, Issue 5, 2007 An Optimal Scheduling Algorithm for Reheating Furnace in Steel Production

NING Shu-shi,WANG Wei,LIU Control and Decision 　 2006-10