11

Click here to load reader

Nonlinear Optimazation

  • Upload
    khoa-vo

  • View
    11

  • Download
    0

Embed Size (px)

DESCRIPTION

This is simply an essay related to nonlinear optimization that the authors were taking into account during the course.

Citation preview

Page 1: Nonlinear Optimazation

LÝ THUYẾT QUY HOẠCH PHI TUYẾN

Đào Mạnh Khang - Võ Anh Khoa

Ngày 17 tháng 11 năm 2013

Page 2: Nonlinear Optimazation

2

Page 3: Nonlinear Optimazation

Chương 1

ĐỊNH NGHĨA VÀ TÍNH CHẤT

CỦA NÓN

Trong phần trình bày này, nhóm sẽ giới thiệu dãy nón tiếp tuyến Bouligand (sequential Bouligand tangentcone), còn được gọi là “contingent cone” và chứng minh một số tính chất cơ bản liên quan được tríchra từ quyển Introduction to the Theory of Nonlinear Optimization (3rd Edition), JohannesJahn, Springer, 2007.

Đầu tiên, ta sẽ định nghĩa về nón.

Định nghĩa 1.0.1. Cho C là một tập con khác rỗng của không gian vector X.a) Tập C được gọi là nón nếu

x ∈ C, λ ≥ 0 =⇒ λx ∈ C. (1.0.1)

b) Nón C được gọi là nhọn nếu

x ∈ C,−x ∈ C =⇒ x = 0X . (1.0.2)

Ví dụ 1.0.2.

a) Tập hợpC :=

{(x, y,

√x2 + y2

)| (x, y) ∈ R2

}là nón nhọn trong R3.

b) Một không gian vector con M bất kì của X đều là nón.c) Tập hợp

C :={x ∈ C [0, 1] | x (t) ≥ 0 với mọi t ∈ [0, 1]

}là nón nhọn trong C [0, 1].

Trong lý thuyết tối ưu, nón lồi có một số tính chất đặc biệt. Đặc điểm của nó ta sẽ thấy rõ qua địnhlí sau

Định lý 1.0.3. Nón C trong không gian vector là lồi nếu và chỉ nếu với mọi x, y ∈ C thì x+ y ∈ C.

Chứng minh.Nếu C lồi thì với mọi x, y ∈ C, ta có

1

2x+

1

2y ∈ C,

3

Page 4: Nonlinear Optimazation

4 CHƯƠNG 1. ĐỊNH NGHĨA VÀ TÍNH CHẤT CỦA NÓN

suy ra

2

(1

2x+

1

2y

)= x+ y ∈ C.

Đảo lại, với mọi t ∈ [0, 1], vì C là nón nên tx và (1− t) y thuộc C với mọi x, y ∈ C. Kết hợp với giảthiết C đóng dưới phép tính +, ta có

tx+ (1− t) y ∈ C.

Vậy C lồi.

Nhận xét 1.0.4. Qua những định nghĩa và định lý trên, ta thấy được sự liên hệ giữa không gian vectorvà nón như sau.

không gian vector ⊂ nón lồi ⊂ nón.

Tiếp theo, cũng như không gian vector, ta sẽ định nghĩa nón sinh bởi tập hợp.

Định nghĩa 1.0.5. Cho S là tập khác rỗng của không gian vector X. Tập hợp

cone (S) :={λs | λ ≥ 0 và s ∈ S

}, (1.0.3)

được gọi là nón sinh bởi S.

Nhận xét 1.0.6. Từ định nghĩa trên ta dễ dàng thấy nếu S1 ⊂ S2 thì cone (S1) ⊂ cone (S2) và nếu C lànón thì C = cone (C).

Ví dụ 1.0.7.

a) Cho B′ (0, 1) là quả cầu đóng trong không gian định chuẩn (X, ‖.‖X), khi đó hình nón sinh bởiB′ (0, 1) bằng chính cả không gian X.

b) Cho S là đồ thị của hàm f : R→ R với

f (x) =

x sin1

xvới x 6= 0,

0 với x = 0.

Khi đó hình nón sinh bởi S có dạng

cone (S) ={(x, y) ∈ R2 | |y| ≤ |x|

}.

Thật vậy, dễ thấy

cone (S) ={(λx, λf (x)) | λ ≥ 0 và x ∈ R

}⊂{(x, y) ∈ R2 | |y| ≤ |x|

},

vì |λ| |x|∣∣∣∣sin 1

x

∣∣∣∣ ≤ |λ| |x| = |λx| với mọi λ ≥ 0, x ∈ R\ {0}.

Đảo lại, cho (x, y) với |y| ≤ |x|. Nếu x = 0 thì y = 0, hiển nhiên (x, y) ∈ cone (S). Vậy ta xét x 6= 0,khi đó hệ phương trình x = λs,

y = λs sin1

s.

Page 5: Nonlinear Optimazation

5

sẽ có nghiệm

(s, λ) =

1

arcsin|y||x|

, x arcsin|y||x|

,

dẫn đến (x, y) ∈ cone (S). Vậy

cone (S) ={(x, y) ∈ R2 | |y| ≤ |x|

}.

Ta tiếp tục với khái niệm nón tiếp tuyến.

Định nghĩa 1.0.8. Cho S là tập khác rỗng của không gian định chuẩn (X, ‖.‖X) .

a) Cho x ∈ cl (S). Vector h ∈ X được gọi là vector tiếp tuyến tới S tại x nếu có dãy {xn} trong S vàdãy số thực dương {λn} thỏa

x = limn→∞

xn, (1.0.4)

vàh = lim

n→∞λn (xn − x) . (1.0.5)

b) Tập hợp T (S, x) gồm tất cả những vector tiếp tuyến tới S tại x được gọi là dãy nón tiếp tuyếnBouligand tới S tại x hoặc là contingent cone của S tại x.

Nhận xét 1.0.9.

a) Ở định nghĩa trên, ta cần x thuộc bao đóng của S, tuy nhiên sau này ta sẽ giả sử x ∈ S.b) Hiển nhiên, 0 luôn là vector pháp tuyến của S và contingent cone của S tại x là nón.

Ví dụ 1.0.10. Cho f : R→ R là hàm khả vi, đặt S = E (f), x = (x, f (x)) ∈ cl (S), khi đó h = (1, f ′ (x))

là một vector tiếp tuyến tới S tại x. Thật vậy, vì f liên tục nên(x+

1

n, f

(x+

1

n

))−→ (x, f (x)) ,

và với λn = n , ta có

1 = limn→∞

λn.1

n,

f ′ (x) = limn→∞

λn.

[f

(x+

1

n

)− f (x)

].

Nhận xét 1.0.11. Cho x thuộc bao đóng của S khác rỗng trong không gian định chuẩn (X, ‖.‖X).

a) Tập hợp

TCl (S, x) :={h ∈ X | với mọi {xn} ⊂ S thỏa xn → x và với mọi R+ ⊃ {λn} → 0,

tồn tại {hn} để hn → h và xn + λnhn ∈ S với mọi n ∈ N}.

được gọi là (dãy) nón tiếp tuyến Clarke tới S tại x.

b) Hiển nhiên, nón tiếp tuyến Clarke TCl (S, x) cũng là nón. Thật vậy, cho h ∈ TCl (S, x) và λ ≥ 0,ta sẽ chứng minh λh ∈ TCl (S, x) .

Page 6: Nonlinear Optimazation

6 CHƯƠNG 1. ĐỊNH NGHĨA VÀ TÍNH CHẤT CỦA NÓN

Cho dãy {xn} ⊂ S thỏa limn→∞

xn = x và dãy {λn} ⊂ R+ hội tụ về 0. Khi đó, dãy {λλn} ⊂ R+ cũng

hội tụ về 0. Vì h ∈ TCl (S, x) nên tồn tại {kn} để limn→∞

kn = h và xn + λnλkn ∈ S.

Chọn hn = λkn thì {hn} thỏa limn→∞

hn = λh và xn + λnhn = xn + λnλkn ∈ S.

Vậy λh ∈ TCl (S, x) .

c) Nếu x ∈ S thì nón tiếp tuyến Clarke TCl (S, x) sẽ chứa trong contingent cone T (S, x). Ta chứngminh điều này như sau:

Cho h ∈ TCl (S, x), ta chọn dãy {xn} thỏa xn = x ∈ S và dãy {λn} ⊂ R+ bất kì hội tụ về 0. Khi đó,có {hn} thỏa hn → h khi n→∞ và x+ λnhn ∈ S với mọi n. Khi đó, đặt

yn := x+ λnhn, ∀n ∈ N,

vàtn :=

1

λn, ∀n ∈ N,

thì ta có yn ∈ S với mọi n và yn → x khi n→∞. Hơn nữa,

limn→∞

tn (yn − x) = limn→∞

1

λn(x+ λnhn − x) = lim

n→∞hn = h.

Vậy h là vector tiếp tuyến tới S tại x.

d) Nón tiếp tuyến Clarke TCl (S, x) là tập lồi đóng. Ta sẽ không chứng minh mà thừa nhận kết quảnày. Kết quả này rất đặc biệt vì nó vẫn đúng mà không cần tính chất đặc biệt nào của S.

Tiếp theo, ta sẽ tìm hiểu sự liên hệ của contingent cone T (S, x) và nón sinh bởi S − {x}.

Định lý 1.0.12. Cho S là tập con khác rỗng trong (X, ‖.‖X) . Nếu S là tập hình sao với x thì ta có

cone (S − {x}) ⊂ T (S, x) .

Chứng minh. Cho x bất kì thuộc S. Khi đó, đặt

xn := x+1

n(x− x) = 1

nx+

(1− 1

nx

), ∀n ∈ N.

Vì S là tập hình sao ứng với x nên xn ∈ S với mọi n ∈ N. Suy ra

limn→∞

xn = x,

vàlimn→∞

n (xn − x) = x− x.

Vậy x− x là vector tiếp tuyến, dẫn đến

S − {x} ⊂ T (S, x) .

Từ đó ta cócone (S − {x}) ⊂ cone (T (S, x)) = T (S, x) .

Page 7: Nonlinear Optimazation

7

Định lý 1.0.13. Cho S là tập khác rỗng trong (X, ‖.‖X) . Khi đó, với mọi x ∈ S thì

T (S, x) ⊂ cl (cone (S − {x})) .

Chứng minh. Cho x bất kì thuộc S và h thuộc T (S, x) . Khi đó, tồn tại dãy {xn} ⊂ S và {λn} ⊂ R+

thỏalimn→∞

xn = x,

vàh = lim

n→∞λn (xn − x) .

Mà λn (xn − x) ∈ cone (S − {x}) nên h ∈ cl (cone (S − {x})).

Nhận xét 1.0.14. Qua hai định lý trên, ta thấy nếu S là tập hình sao tại x ∈ S thì

cone (S − {x}) ⊂ T (S, x) ⊂ cl (cone (S − {x})) .

Định lý 1.0.15. Cho S là tập khác rỗng của (X, ‖.‖X). Với mọi x ∈ S thì contingent cone T (S, x) làđóng.

Chứng minh. Cho dãy {hn} vector tiếp tuyến đến S tại x và

limn→∞

hn = h ∈ X.

Với mọi hn, có dãy {xni} ⊂ X và {λni

} ⊂ R+ sao cho

x = limi→∞

xni,

vàhn = lim

i→∞λni (xni − x) .

Dẫn đến với mọi n ∈ N, có i (n) ∈ N để

‖xni − x‖ ≤1

n, ∀i ≥ i (n) ,

và‖λni

(xni− x)− hn‖ ≤

1

n, ∀i ≥ i (n) .

Ta đặt {yn} ⊂ S và {tn} ⊂ R+ thỏa

yn := xni(n)∈ S, ∀n ∈ N,

vàtn := λni(n)

> 0, ∀n ∈ N,

thì ta có limn→∞

yn = x và

‖tn (yn − x)− h‖ =∥∥λni(n)

(xni(n)

− x)− hn + hn − h

∥∥ ≤ 1

n+ ‖hn − h‖ .

Page 8: Nonlinear Optimazation

8 CHƯƠNG 1. ĐỊNH NGHĨA VÀ TÍNH CHẤT CỦA NÓN

Suy rah = lim

n→∞tn (yn − x) .

Vậy h ∈ T (S, x) nên ta có điều phải chứng minh.

Từ Nhận xét 1.0.14, và kết quả Định lý 1.0.15, ta suy ra kết quả sau.

Hệ quả 1.0.16. Cho S là tập khác rỗng của (X, ‖.‖X). Nếu S là tập hình sao tại x ∈ S thì ta có

T (S, x) = cl (cone (S − {x})) .

Ta nhận thấy nếu S là tập hình sao tại x ∈ S thì theo Hệ quả 1.0.16, muốn xác định contingent conecủa S tại x thì ta chỉ cần quan tâm đến các tia phát từ x qua S.

Cuối cùng, ta sẽ chứng minh contingent cone tại x của tập lồi khác rỗng thì cũng lồi.

Định lý 1.0.17. Nếu S là tập lồi khác rỗng của (X, ‖.‖X) thì contingent cone T (S, x) lồi với mọi x ∈ S.

Chứng minh. Cho x ∈ S và h1, h2 6= 0 bất kì thuộc T (S, x), khi đó có dãy {xn} , {yn} ⊂ S và{λn} , {µn} ⊂ R+ thỏa

x = limn→∞

xn, h1 = limn→∞

λn (xn − x) ,

vàx = lim

n→∞yn, h2 = lim

n→∞µn (yn − x) .

Tiếp theo, đặt {νn} và {zn} thỏaνn := λn + µn, ∀n ∈ N,

vàzn :=

1

νn(λnxn + µnyn) , ∀n ∈ N.

Do S lồi nên ta cózn =

λnλn + µn

xn +µn

λn + µnyn ∈ S, ∀n ∈ N.

Từ đó, dẫn đến

limn→∞

zn = limn→∞

1

νn(λnxn + µnyn)

= limn→∞

1

νn(λnxn − λnx+ µnyn − µnx+ λnx+ µnx)

= limn→∞

[λnνn

(xn − x) +µn

νn(yn − x) + x

],

limn→∞

νn (zn − x) = limn→∞

(λnxn + µnyn − νnx)

= limn→∞

(λn (xn − x) + µn (yn − x))

= h1 + h2.

Vậy h1 + h2 ∈ T (S, x) , ta lại có T (S, x) là nón, từ Định lý 1.0.3 ta suy ra T (S, x) là lồi.

Page 9: Nonlinear Optimazation

Chương 2

BÀI TẬP

Bài 1. Cho C là nón lồi trong (X, ‖.‖X) và int (C) 6= ∅. Chứng minh

int (C) = int (C) + C.

Chứng minh. Hiển nhiên int (C) ⊂ int (C) + C vì 0 ∈ C. Ta sẽ chứng minh int (C) + C ⊂ int (C). Thậtvậy, cho x ∈ int (C), khi đó có r > 0 để B (x, r) ⊂ C hay nói cách khác, với mọi x thỏa ‖x− x‖ ≤ r thìx ∈ C. Dẫn đến với mọi y ∈ C và với mọi z ∈ X thỏa

‖x+ y − z‖ = ‖x− (z − y)‖ ≤ r,

thì z − y ∈ C. Hơn nữa C là nón lồi, áp dụng Định lý 1.0.3 ta có

z = (z − y) + y ∈ C.

Vậy B (x+ y, r) ⊂ C nên x+ y ∈ int (C). Vậy int (C) + C ⊂ int (C).

Bài 2. Cho X là không gian định chuẩn. Chứng minh hàm f : X → R là dưới tuyến tính khi và chỉkhi E (f) là nón lồi.

Chứng minh. Cho f : X → R là hàm dưới tuyến tính. Khi đó với mọi a, b ∈ X và t ∈ R+ thì ta cóf (a+ b) ≤ f (a) + f (a)

f (ta) = tf (a).

Hiển nhiên E (f) là nón do nếu (x, α) ∈ E (f) thì f (x) ≤ α, dẫn đến với t > 0 thì

f (tx) = tf (x) ≤ tα.

Suy rat (x, α) = (tx, tα) ∈ E (f) .

9

Page 10: Nonlinear Optimazation

10 CHƯƠNG 2. BÀI TẬP

Ta sẽ chứng minh E (f) là tập lồi. Thật vậy, cho (x, α) và (y, β) thuộc E (f), khi đóf (x) ≤ α

f (y) ≤ β.

Suy ra, với mọi t ∈ [0, 1] thì

f (tx+ (1− t) y) ≤ f (tx) + f ((1− t) y)

= tf (x) + (1− t) f (y)

≤ tα+ (1− t)β.

Dẫn đến (tx+ (1− t) y, tα+ (1− t)β) ∈ E (f). Vậy ta chứng minh xong chiều thuận.

Đảo lại, cho E (f) là nón lồi, ta sẽ chứng minh f là dưới tuyến tính. Thật vậy, vì (a, f (a)) ∈ E (f)

với mọi a ∈ X và do E (f) là nón nên với mọi t ∈ R+ thì

t (a, f (a)) = (ta, tf (a)) ∈ E (f) ,

tức là f (ta) ≤ tf (a). Tương tự, ta có (ta, f (ta)) ∈ E (f), suy ra

1

t(ta, f (ta)) =

(a,

1

tf (ta)

)∈ E (f) ,

dẫn đến f (a) ≤ 1

tf (ta), nghĩa là tf (a) ≤ f (ta). Vậy

tf (a) = f (ta) ∀a ∈ X, t ∈ R+.

Tiếp theo, với mọi a, b ∈ X thì (a, f (a)) , (b, f (b)) ∈ E (f). Mà E (f) là nón lồi, kết hợp với Định lý 1.0.3thì

(a+ b, f (a) + f (b)) = (a, f (a)) + (b, f (b)) ∈ E (f) .

Vậyf (a+ b) ≤ f (a) + f (b) .

Bài 3. Cho S là tập lồi khác trống của (X, ‖.‖X). Chứng minh cone (S) là lồi.

Chứng minh. Cho a, b là hai phần tử bất kì trong cone (S), ta sẽ chứng minh a+ b ∈ cone (S). Thật vậy,có x, y ∈ S và α, β ∈ R+ sao cho a = αx và b = βy. Khi đó vì S lồi nên

α

α+ βx+

β

α+ βy =

(1− β

α+ β

)x+

β

α+ βy ∈ S

suy ra

a+ b = αx+ βy

= (α+ β)

α+ βx+

β

α+ βy

)∈ cone (S) .

Page 11: Nonlinear Optimazation

11

Theo Định lý 1.0.3 ta có điều phải chứng minh.

Bài 4. Cho S là tập con khác trống của không gian (X, ‖.‖X) với phần trong int (S) khác trống. Vớimọi x ∈ int (S), chứng minh T (x, S) = X.

Chứng minh. Cho x ∈ int (S), khi đó có r > 0 để B (x, r) ⊂ S. Cho h ∈ X, chọn

xn = x− 1

n.h

thì với n đủ lớn thì xn ∈ B (x, r) ⊂ S, hơn nữa thì xn −→ x khi n→∞. Chọn λn = n, suy ra

λn (x− xn) = h.

Vậy ta có h ∈ T (x, S) hay nói cách khác, T (x) = X.