Modul Optimisasi

8/16/2019 Modul Optimisasi

http://slidepdf.com/reader/full/modul-optimisasi 1/35

TUGAS MODUL OPTIMISASI

METODE KONJUGASI LANGSUNG

KELOMPOK 10:

IMAM PRIHATNO (1137010027)

IQBAL IMAMUL MUTTAQIEN (1137010029)

MATEMATIKA 2013 A

JURUSAN MATEMATIKA

FAKULTAS SAINS DAN TEKNOLOGI

UNIVERSITAS ISLAM NEGERI SUNAN GUNUNG DJATI

BANDUNG

201



KATA PENGANTAR

Alhamdulillah puji dan syukur selalu saya panjatkan kepada

Allah SWT., yang telah melimpahkan berkah dan karunianya.

Tidak lupa shalawat serta salam selalu terlimpah curahkan kepada

junjungan Nabi besar kita, Muhammad SAW., kepada

keluarganya, sahabatnya, beserta para tabiin-tabiinya.

Modul ini dibuat untuk menyeslesaikan tugas ptimisasi

mengenai Metode Konjugasi Langsung. Adapun Materi-materidiambil dari hasil pembelajaran penulis terhadap re!erensi-

re!erensi yang penulis dapatkan, baik berupa buku pembelajaran,

internet, dan sumber-sumber lainnya.

"enulis sadari bahwa masih modul yang dibuat masih jauh dari

sempurna. Maka penyusunan ini dibuat semata-mata untuk

membagi ilmu yang penulis dapatkan kepada para pembaca. Serta

saya ucapkan terima kasih kepada teman-teman yang telah

membantu dalam proses pembuatan modul ini dan penulis

harapkan modul yang dibuat ini bias membantu pembaca dalam

pembelajaran yang berkenaan.

#andung, $% April $&'(

"enulis

DAFTAR ISI



)ATA "*N+ANTA.....................................................................i

ATA /S/..................................................................................ii

A. Standar )ompetensi...........................................................'

#. 0raian Materi.....................................................................'

'. Metode )onjugasi 1angsung.......................................'

'.'.................................................................. "endahuluan

....................................................................................2

'.$............................................ Algoritma Arah )onjugasi

..................................................................................'$

'.3....................................... Algoritma +radien )onjugasi

..................................................................................'3

'.4..... Algoritma +radien )onjugasi untuk "ermasalahan

Tak-)uadrat..............................................................'5

6. angkuman......................................................................$5

. Suggested eading...........................................................$(

*. 1atihan.............................................................................$%

ATA /ST/1A7......................................................................iii

A! S"#$%#& K'*"*$+,



1! Mahasiswa mampu mengetahui konsep dari Metode

)onjugasi 1angsung.

2! Mahasiswa mampu mengetahui mengetahui konsep

algoritma-algoritma pada Metode )onjugasi

1angsung.

3! Mahasiswa mampu mengetahui konsep penyelesaian

algoritma-algoritma pada Metode )onjugasi

1angsung baik !ungsi kuadrat maupun nonkuadrat.

-! Mahasiswa mampu mengetahui konsep dasar dari

rumus-rumus pada Algoritma +radien )onjugasi.

B! U&#,#$ M#"*&,

M*"'%* K'$./#+, L#$+/$

1! P*$%#//#$

)elas dari metode konjugasi langsung dapat dilihat sebagai

penengah antara metode +"**+" %*+*$" dan metode Newton.

Metode konjugasi langsung mempunyai si!at-si!at berikut8

a. Memecahkan kuadrat dari n 9ariabel dalam n

langkah.

b. "elaksanaan biasa, algoritma gradient konjugasi, tidak membutuhkan e9aluasi matriks 7essian.

c. Tidak ada matriks in9ersi dan tidak ada penyimpanan

n ×n matriks yang diperlukan.

Metode arah konjugasi lebih baik dari pada metode steepest

descent, tetapi tidak sebaik metode newton. Seperti yang kita



lihat dari metode steepest dan metode newton, !aktor penting

dalam e!isiensi metode pencarian berulang adalah arah pencarian

pada setiap perulangan. 0ntuk !ungsu kuadratik 9ariabel n

f ( x )=1

2 x

T Qx− x

T b , xϵ R

n,Q=Q

T >0 , pencarian arah terbaik,

seperti yang akan kita lihat, arah konjugasi- Q . "ada dasarnya,

dua arah d(1

) dan d (2

) di Rn

dikatakan konjugasi- Q

apabila d(1)T

Q d(2)=0. Secara umum, kita memiliki de!inisi

berikut 8

D*4,$,+, 1!1 Misalkan Q simetris real matriks n x n. Arah

d(0 )

, d(1 )

, d(2 )

, … , d(m )

Q-conjugate apabila untuk semua i ≠ j

, kita punya d(i )T

Q d( j)=0 .

L*# 1!1 Misalkan : de!inite positi9e simetris matriks n ; n.

Apabila arah d(0 )

, d(1 )

, … , d(k )

ϵ Rn

, k ≤ n−1, tak nol dan :-

conjugate, maka bebas linier.

Bukti . Misalkana

0, … , ak menjadi skalar sehingga

a0

d(0 )+a

1d(1)+…+ak d

(k )=0

Setara dengan d( j ) T

Q , 0≤ j ≤ k , sehingga



a j d( j)

Q d( j)=0,

)arena semua hal lainnya d ( j ) T Q d( i)=0,i ≠ j , dimana :-

konjugasi. Tetapi Q=QT >0∧d

( j )≠0 ; oleh karena itu

a j=0, j=0,1, … , k . )arena itu, d(0 ), d

(1 ),… ,d

(k ), k ≤ n−1,

bebas linear.

5'$"' 1!1

Misalkan

Q=[3 0 1

0 4 2

1 2 3]

6atatan Q=QT >0. Matriks : de!inite positi! karena

∆1=3>0, ∆2=det [3 0

0 4]=12>0, ∆3=detQ=20>0.

Tujuannya untuk membuat sebuah himpunan 9ektor :-konjugate

d(0 )

, d(1 )

, d(2 )

.

Misalkan

d(0 )=[ 1, 0, 0 ]T

, d(1)=[d1

(1 )d

2

(1)d

3

(1)]T

, d(2)=[ d

1

(2)d

2

(2)d

3

(2)]T

.



Mengharuskan d(0 )T

Q d(1)=0. )ita punya

d(0 )Qd

(1)=[ 1 0 0 ] [3 0 1

0 4 2

1 2 3] [d1

(1)

d2

(1)

d3

(1)]=3d1

(1)+d3

(1)

.

Misalkan d1

(1)=1, d2

(1)=0, d3

(1)=−3 . <adi d(1)=[ 1 0 −3 ]T

,

dan demikian d(0 )T

Qd(1)=0.

Tentukan 9ektor ketiga d(2)

yang akan :-konjugate dengan

d(0 )

dan d(1)

, kita perlu d(0 )T

Qd(2)=0 dan

d(1 )T

Qd(2 )=0

. )ita punya

d(0 )T

Q d(2)=3 d

1

(2)+d3

(2)=0 ,

d(1 )T

Q d(2 )=−6 d

2

(2)−8 d3

(2)=0 .

<ika kita ambil d(2)=[ 1, 4, −3 ]T

, kemudian himpunan yang

dihasilkan dari 9ektor yang saling konjugat.

Metode ini menemukan 9ektor konjugasi- Q tdak e!isien.

Sebuah prosedur yang sistematis untuk menemukan 9ektor

konjugate dapat diturunkan dengan menggunakan proses +ram-



Scmidt dari trans!ormasi diberikan basis dari Rn

basis

orthonormal dari Rn

.

2! A'&,"# A&# K'$./#+,

)ita akan menunjukkan algoritma arah konjugasi untuk

meminimasi !ungsi kuadrat dari n 9ariabel

f ( x )=12

x⏉Qx− x⏉ b ,

di mana Q=Q⏉>0, x∈ R

n

. 6atat bahwa karena Q>0 ,

!ungsi f mempunyai minimasi global yang dapat ditemukan

dengan memecahkan Qx=b .

A'&,"# A&# K'$./#+, D#+#&! iberikan titik awal

x(0)

dan Q -arah konjugasi d(0 )

, d(1 )

, .. , d(n−1)

, untuk

k ≥ 0 ,

g(k )=∇f ( x (k ) )=Q x

(k )−b ,

α k =−g

( k )d

( k )

d(k )⏉

Qd(k ) ,

x(k +1 )= x

(k )+α k d(k )

.



T*'&*# 1!1 Untuk tiap titik aal x(0)

algoritma arah

konjugasi dasar kon!ergen ke nilai tunggal x¿

"yang

dipecahkan Qx=b # dalam n langah$ yakni, x(n)= x

¿.

%ukti. "erhatikan x¿− x

(0 )∈ R

n

. )arena d(i)

adalah bebas

linier, terdapat konstanta β i , i=0, … , n−1 , sedemikian

sehingga

x¿− x

(0 )= β0

d(0 )+…+ βn−1

d(n−1)

.

Sebelum mengalikan kedua sisi dari persamaan ini dengan

d(k )⏉

Q , 0 ≤ k ≤ n , untuk memperoleh

d(k )

Q ( x¿− x(0) )= βk d

( k )Q d

(k ),

di mana kondisi d(k )⏉

Q d(i)=0, k ≠ i , dengan si!at konjugasi-

Q . engan demikian,

βk =d

(k )

Q ( x¿

− x

( 0)

)d(k )⏉

Qd(k ) .

Sekarang, kita dapat tuliskan

x(k )= x

( 0)+α 0

d(0)+…+α k −1

d(k −1)

.

leh karena itu,



x(k )− x

(0)=α 0 d(0)+…+α k −1d

(k −1 ).

<adi tuliskan

x¿− x

(0 )=( x¿− x(k ) )+( x (k )− x

( 0))

dan sebelum mengalikan persamaan di atas dengan d(k )⏉

Q .

)ita peroleh

x¿− x (k )=−d (k ) g(k )

d(k )⏉

Q ( x¿− x(0) )=d

(k )⏉Q ¿ ,

karena g(k )=Q x

(k )−b dan Q x¿=b demikian,

βk =−d

( k )⏉g

( k )

d(k )⏉

Qd(k )=α k

5'$"' 1!2 Temukan minimasi dari

f ( x1 , x2 )=1

2 x⏉ [4 2

2 2] x− x⏉ [−1

1 ] , x∈ R2

,

menggunakan metode arah konjugasi dengan titil awal

x(0)= [0,0 ]⏉ , dana rah kinjugasi- Q d(0 )=[ 1,0 ]⏉ dan

d1=arah konjugai−Q d

( 0)=[ 1,0 ]⏉ dan d(1)=[−3

8, 3

4 ]⏉

.

)ita mempunyai



g(0 )=−b= [1,−1 ]⏉ ,

dan dengan demikian

α 0=−g

( 0)⏉d

(0 )

d(0 )⏉

Q d(0 )=

[ 1,−1 ][1

0][ 1, 0 ] [4 2

2 2][1

0]=−1

4.

emikian,

x(1)= x(0 )+α 0d

(0 )=[0

0 ]−1

4 [1

0]=[−1

4

0 ] .

0ntuk menemukan x(2)

kita hitung

g(1)=Q x

(1 )−b=[ 4 2

2 2] [−1

4

0 ]−[−1

1 ]=[ 0−3

2 ]

dan

α 1=−g

(1 )⏉d

(1)

d( 1)⏉

Q d(1)=

−[0,−

3

2

] [−3

8

3

4 ][−3

8,

3

4 ] [4 2

2 2][−3

8

3

4 ]=2 .



leh karena itu,

x(2)= x

(1 )+α 1 d(1)=[

−1

4

0 ]+2−3

8

3

4

=[−1

3

2 ] .

)arena f adalah !ungsi kuadrat dalam dua 9ariabel,

x(2)= x

¿.

0ntuk !ungsi kuadrat dari n 9ariabel, metode arah

konjugasi meraih solusi setelah n langkah. Seperti yang akan

kita lihat di bawah, metode juga metode ini juga memiliki sebuah

si!at tertentu yang diinginkan dalam langkah-langkah menengah.

0ntuk melihat hal ini, anggap bahwa kita memulai pada x(0)

dan mencari dalam arah d(0 )

untuk memperoleh

x(1)= x

(0 )−( g( 0)⏉

d(0 )

d( 0)⏉

Q d(0 ))d

(0)

.

)ita tetapkan bahwa

g(1 )⏉

d(0)=0.

0ntuk melihat ini,

g(1 )⏉ d(0)=(Q x (1 )−b)⏉d

(0)



¿ x (0)⏉Qd(0)−( g

(0 )⏉d

(0)

d(0 )⏉

Qd( 0) )d (0 )⏉Qd (0 )−b

⏉d(0)

¿g(0 )⏉

d(0)−g

(0)⏉d

( 0)=0 .

"ersamaan g⏉d(0)=0 mengimplikasikan bahwa α

0

mempunyai si!at yakni α 0=argmin⏀0(α ) , di mana

⏀0 ( α )=f ( x (0 )+α d (0 )) . 0ntuk melihat ini, gunakan aturan

rantai untuk memperoleh

d∅0

dα ( α

0 )=g(1 )⏉

d(0)=0 .

)arena

⏀0

adalah !ungsi kuadrat dari

α

, dan koe!isien

dari α 2

kondisi dalam⏀

0 adalah d(0 )

Q d(0)>0 ,

persamaan di atas mengimplikasikan bahwa

α 0=arg min

α ∈ R

⏀0(α )

.

Menggunakan argument yang sama, kita dapat menunjukkan

bahwa untuk semua k ,

g(k +1)

d(k )=0

an dengan demikian



α k =arg min f ( x (k )+α d( k ) ) .

aktanya, bahkan kondisi terkuat ditetapkan, sebagaimana

diberikan oleh lema berikut.

L*# 1!2 &alam algoritma arah konjugasi,

g(k +1)

d(i)=0

Untuk semuak , 0 ≤ k ≤ n−1,

dan0 ≤ i ≤ k

.

%ukti. 6atat bahwa

Q ( x( k +1 )− x(k ) )=Q x

(k +1)−b−(Q x(k )−b )=g

( k +1)−g(k )

,

karena g(k )=Q x

(k )−b . Sehingga,

g(k +1)=g(k )+α k Q d(k ).

)ita buktikan lema dengan induksi. 7asilnya adalah benar

untuk k =0 karena g(1 )

d(0)=0 , sebagaimana ditunjukkan

sebelumnya. Sekarang akan ditunjukkan bahwa jika hasilnya

benar untuk k −1 =contoh., g(k ) d(i)=0,i ≤ k −1¿ , maka hal

ini benar untuk k =contoh., g(k +1)

d(i)=0,i ≤ k >. Sudah pasti

k >0 dan 0 ≤i<k . engan hipotesis induksi, g(k )

d(i)=0 .

)arena



g(k +1)=g

(k )+α k Q d(k )

,

dan d (k ) Q d(i)=0 dengan konjugasi- Q , kita punya

g(k +1)

d(i)=g

(k )d( i)+α k d

(k )Q d

(i)=0 .

Setelahnya menyisakan untuk ditunjukkan bahwa

g(k +1)⏉

d(k )=0 .

"ada akhirnya,

g(k +1)⏉ d(k )=(Q x (k +1 )−b )⏉d

(k )

¿( x ( k )− g

(k )⏉

d( k )

d(k )⏉

Q d( k )

d ( k ))⏉

Q d( k )−b⏉

d ( k )

¿ (Q x ( k )−b)⏉d(k )−g( k )⏉ d

(k )

¿0 ,

)arena Qx(k )−b=g

(k ).

leh karena itu, dengan induksi, untuk semua 0 ≤ k ≤ n−1

dan 0 ≤i<k ,

g(k +1)

d(i)=0 .



engan lema '.$ kita lihat bahwa g(k +1)

adalah ortogonal

terhadap tiap 9ektor dari subruang yang dibentangkan oleh

d(0 )

, d(1 )

, … , d(k )

G#6#& 1!1 menggambarkan pernyataan ini.

G#6#& 1!1 G#6#&#$ %#&, L*# 1!2!

1ema dapat digunakan untuk menunjukkan si!at optimal yang

menarik dari algoritma arah konjugasi. Secara khusus, kita

tunjukkan bahwa tidak hanya f ( x (k +1) ) memenuhi

f ( x (k +1) )=minα

f ( x (k )+α d(k )) , sebagaimana diindikasikan

sebelumnya, tetapi juga

f ( x (k +1) )= minα 0 , … , α k

f ( x (0 )+∑i=0

k

α i d(i)) .



engan kata lain, jika kita tulis

!k = x

(0)

+"an [ d(0 )

, d

(1 )

, … , d

(k )

] ,

Maka kita dapat ekspresikanf ( x (k +1) )=min

x∈! k

f ( x ). Sebagaimana

k meningkat, subruang span [ d (0 ), d

(1 ), … , d

(k ) ] ?diperluas,@

dan akhirnya akan mengisi keseluruhan dari Rn

=tersedia

9ektor d(0 )

, d(1 )

, … , adalah bebas linier>. leh karena itu, untuk

cukup beberapa k , x¿

akan bergantung dalam !k . 0ntuk

alasan ini, hasil di atas kadang-kadang disebut dengan teorema

perluasan subruang .

0ntuk membuktikan teorema perluasan subruang, de!inisikan

matriks #(k )

dengan

#(k )=[ d (0 )

, … , d( k ) ]

yakni, d(i)

adalah kolom ke- i dari #(k )

. 6atat bahwa

x(0)+ R ( #( k ) )=!k . <uga,

x(k +1 )= x

(0)+∑i=0

k

α i d(i)

¿ x(0)+ #(k )α ,



di mana α =[ α 0

, … , α k ]⏉

. engan demikian,

x(k +1)∈ x ( 0)+ R ( #(k ) )=!k .

Sekarang, perhatikan 9ektor x∈!k . Terdapat 9ektor a

sedemikian sehingga x= x(0)+ #(k )a . Misal

⏀k ( a )= f ( x( 0)+ #( k )

a ) . 6atat bahwa ⏀k adalah !ungsi

kuadrat dan mempunyai minimasi tunggal yang memenuhi

N6. engan aturan rantai,

#∅k (a )=∇ f ( x (0 )+ #( k )a)⏉ #(k )

x(k +1 )⏉

#(k )

¿∇ f ¿

¿g(k +1)⏉

#(k )

.

engan lema '.$, g(k +1)⏉

#(k )=0

⏉. leh karena itu, α

memenuhi N6 untuk !ungsi kuadrat ⏀k , dan dengan

demikian α adalah minimasi dari ⏀k yakni,

x(0)+ #

(k )a

f (¿)=min x∈! k

f ( x)

f ( x ( k +1) )=mina

¿,



yang melengkapi pembuktian dari hasil kita.

Algoritma arah konjugasi sangat e!ekti!. #agaimanapun, untuk

menggunakan algoritma, kita membutuhkan arah konjugasi- Q

khusus. 0ntungnya, terdapat suatu jalan untuk menghasilkan arah

konjugasi- Q sebagaimana kita tunjukkan iterasi. alam

bagian selanjutnya kita akan membahas algoritma yang

menggambungkan generasi dari arah konjugasi- Q

.

3! A'&,"# G&#%,*$ K'$./#+,

Algoritma gradient konjugasi tidak menggunakan arah

konjugasi yang sudah ada, tetapi menghitung arah langsung

sebagai proses algoritma. "ada setiap tahap dari algoritma, arah

dihitung sebagai kombinasi linier dari arah sebelumnya dan

gradien saat ini, sedemikian rupa bahwa semua arah adalah saling

Q -konjugasi-demikian dinamakan algoritma gradient

konjugasi. "erhitungan ini meman!aatkan !akta bahwa untuk

!ungsi kuadrat dari n 9ariabel, kita dapat menemukan !ungsi

minimiBer dengan melakukann

pencarian bersama arah saling

konjugasi.

Seperti sebelumnya, kita perhatikan !ungsi kuadrat

f ( x )=1

2 x

T Qx− xT

b ,x∈ Rn

,



di mana Q=QT >0 . Arah pencarian pertama kita dari titik awal

x(0)

adalah dalam arah dari +"***+" %*+*$" yakni,

d(0 )=−g

(0 ).

emikian,

x(1)= x

(0 )+α 0 d(0 )

,

di mana

α 0=arg min

α 0 ≥ 0

f ( x ( 0)+α d( 0))=

−g( 0) T

d(0 )

d (0) T Q d (0 ) .

"ada tahap selanjutnya, kita mencari dalam suatu arah d(1 )

yakni adalah Q -konjugasi terhadap d (0 ) . )ita pilih d (1 )

sebagai suatu kombinasi linier dari g(1 )

dan d(0 )

. "ada

umumnya, pada langkah (k +1) , kita pilih d(k +1)

untuk

menjadi kombinasi linier dari g(k +1)

dan d(k )

. Secara khusus,

kita pilih

d(k +1)=−g

( k +1)+ βk d(k )

, k =0,1,2, … .

)oe!isien βk , k =1,2, … , adalah dipilih sedemikian rupa

sehingga d(k +1)

adalah Q -konjugasi terhadap



d(0 )

, d(1 )

, … , d(k )

. 7al ini terselesaikan dengan memilih βk

menjadi

βk =g

(k +1)Qd

( k )

d (k )T Qd ( k )

Algoritma gradien konjugasi telah diringkas sebagai berikut8

'. Atur k ≔0 pilih titik awal x(0)

.

$. g(0 )=∇ f ( x (0 )) jika g(0 )=0 berhenti lainnya, atur

d(0 )=−g

(0).

3. α k =−g

(k )T d

(k )

d (k )T Qd ( k ) .

4. x(k +1 )= x

(k )+α k d(k )

.

5. g(k +1)

=∇ f ( x(k +1)

) . <ika g(k +$ )

=0 , berhenti.

(. βk =g

(k +1)T Qd

(k )

d (k )T Qd (k ) .

%. d(k +1)=−g

( k +1)+ βk d(k )

.

C. Atur k ≔k +1 menuju langkah 3.

P&''+,+, 1!1 &alam algoritma gradien konjugasi, arah

d(0 ), d

(1 ),… ,d

(n−1 ) adalah Q -kojugasi.

%ukti. dengan menggunakan cara induksi. "ertama akan

ditunjukkan bahwa d(0 )

Q d(1 )=0 . "ada akhirnya bisa

dituliskan sebagai berikut



d(0 )⏉

Q d(1 )=d

(0 )⏉Q (−g

( 1)+ β0

d( 0) ) .

Substitusikan untuk

β0=g

(1 )⏉Qd

(0 )

d(0 )⏉

Qd(0 )

dalam persamaan di atas, kita lihat bahwa d(0 )⏉

Q d(0)=0 .

Sekarang kita asumsikan bahwa d(0 ), d(1 ), … , d (k ) , k <n−1 ,

adalah arah Q - konjugasi. ari 1ema '&.$ kita peroleh

g(k +1)⏉

d( j)=0, j=0,1,… , k . emikian, g

(k +1) adalah

ortogonal terhadap setiap arah d(0 ), d

(1 ),… ,d

(k ). Sekarang akan

ditunjukkan bahwa

g(k +1)⏉

g( j)=0, j=0,1,… , k .

Sudah dipastikan j∈{0,… ,k } . )ita peroleh

d( j)=−g

( j )+ β j−1d( j−1 )

.

Substitusikan persamaan ini ke dalam lapangan sebelumnya.

g(k +1)

d( j)=0=−g

(k +1)g

( j)+ β j−1g

(k +1 )d( j−1)

.

)arena g(k +1)

d( j−1)=0 , maka berlaku juga g

(k +1)g( j)=0 .



Sekarang kita sudah siap untuk membuktikan bahwa

d(k +1)⏉

Q d( j )=0, j=0,… , k

. )ita peroleh

d (k +1)⏉ Q d( j )=(−g( k +1)+ βk d

(k ))⏉

Q d( j )

.

<ika j<k , maka d(k )

Q d( j)=0 , dengan virtue dari hipotesis

induksi. )arenanya, kita peroleh

d (k +1)⏉

Q d( j )=−g (k +1)⏉

Q d( j) .

Tetapi g( j+1)=g

( j )+α j Q d( j )

. karena g(k +1)⏉

g(i)=0,i=0, … , k ,

d(k +1)⏉

Q d( j )=−g

(k +1)⏉ ( g( j+1)−g

( j ))α j

=0 .

emikian,

d(k +1)

Q d( j )=0, j=0,… , k −1 .

Menyisakan persamaan yang masih harus ditunjukkan yakni

d(k +1)

Q d(k )=0 . )ita peroleh

d (k +1)⏉ Q d(k )=(−g (k +1)+ βk d

( k ) )⏉

Qd(k )

.

Menggunakan ekspresi dari βk , kita dapatkan

d(k +1)

Q d(k )=0 yang menyelesaikan pembuktian.



5'$"' 1!3 "erhatikan !ungsi kuadrat

f ( x1 , x2 , x3 )=3

2 x1

2

+2 x2

2

+3

2 x3

2

+ x1 x3+2 x2 x3−3 x1− x3 .

)ita temukan pemerkecil menggunakan algortima gradien

konjugasi, menggunakan titik awal x(0)= [0,0,0 ]⏉ .

)ita bisa menjadikan f sebagai

f ( x )=1

2 x⏉

Qx− x⏉

b ,

di mana

Q=

[

3 0 1

0 4 2

1 2 3

], b=

[

3

0

1

].

)ita peroleh

g ( x )=∇ f ( x )=Qx−b=[ 3 x1+ x

3−3, 4 x

2+2 x

3, x

1+2 x

2−1 ]⏉ .

emikian,

g(0 )=[−3,0,−1 ]⏉ ,

d(0 )=−g

(0),

α 0=−g

( 0)⏉d

( 0)

g (0 )⏉Q d (0 ) =

10

36=0.2778



dan

x

(1)

= x

(0 )

+α 0 d

(0 )

=[ 0.8333, 0,0.2778 ]

⏉

.

1angkah selanjutnya

g(1)=∇ f ( x( 1) )= [−0.2222, 0.5556,0.6667 ]⏉ ,

β0=

g(1)⏉

Q d(0 )

d (1)⏉Q d (0 )=0.08025 .

)ita sekarang dapat menghitung

d(1 )=−g

(1)+ β0

d(0)= [0.4630,−0.5556,−0.5864 ]⏉ .

emikian,

α 1= −g

( 1)

d(1)

d( 1)⏉Q d (1)=0.2187

dan

x(2)= x

(1 )+α 1

d(1 )=[ 0.9346,−0.1215, 0.1419]⏉ .

0ntuk menunjukkan iterasi ke tiga, kita hitung

g(2 )=∇ f ( x (2) )= [−0.04673,−0.1869,0.1402 ]⏉ ,

β1=g

(2)Qd

(1)

d(1)⏉

Qd(1)=0.07075 ,



d(2 )=−g

(2)+ β1

d( 1)=[ 0.07948, 0.1476,−0.1817 ]⏉ .

emikian,

α 2=

−g( 2)⏉

d(2 )

d (2)⏉ Q d (2) =0.8231

dan

x(3)= x

( 2)+α 2

d(2 )=[ 1.000,0.000, 0.000 ]⏉

.

6atat bahwa

g(3 )=∇ f ( x (3) )=0 ,

Seperti yang diperkirakan, karena f adalah !ungsi kuadrat dari

tiga 9ariabel. emikian, x¿= x (3 ) .

-! A'&,"# G&#%,*$ K'$./#+, /$"/8 P*&#+###$

T#8K/#%&#"!

)ita telah ditunjukkan bahwa algoritma gradien konjugat

adalah suatu metode langsung konjugat, dan karena itu minimasi

suatu !ungsi kuadrat de!init positi! dari n 9ariabel dalam n

langkah. Algoritma dapat diperluas menjadi !ungsi umum non

linier dengan mena!sirkan f ( x )=1

2 x⏉

Qx− x⏉

b sebagai



pendekatan deret Taylor kedua dari !ungsi objekti!. Mendekati

solusi !ungsi seperti berperilaku kurang lebih sebagai kuadrat,

seperti yang disarankan oleh deret Taylor. 0ntuk kuadrat, matriks

Q , 7essian dari kuadrat, adalah konstan. #agaimanapun,

untuk !ungsi umum non linier 7essian adalah mahal. engan

demikian, implementasi yang e!isien dari algoritma gradien

konjugat yang menghilangkan e9aluasi 7essian pada tiap langkah

yang diinginkan.

Mengamati bahwa Q muncul hanya dalam perhitungan

skalar α k dan βk . )arena

x(k )

minα ≥0

f (¿+α d(k ))

α k =arg¿

,

rumus bentuk tertutup untuk α k dalam algoritma dapat diganti

oleh prosedur pencarian garis numerik. leh karena itu, kita

hanya perlu ber!okus diri dengan rumus untuk βk . 0ntungnya

penghapusan dari Q dari rumus adalah mungkin dan hasil

dalam algoritma yang bergantung hanya pada !ungsi dan nilai

gradien pada tiap iterasi. )ita sekarang membahas modi!ikasi

algoritma gradien konjugat untuk !ungsi kuadrat untuk kasus di

mana 7essian tidak diketahui, tetapi yang mana nilai !ungsi

objekti! dan gradient tersedia. Modi!ikasi semuanya berdasarkan



manipulasi aljabar rumus βk sedemikian sehingga Q

dihilangkan. )ita membahas tiga modi!ikasi terkenal.

R//+ H*+"*$*+S",*4*! Sebut kembali bahwa

βk = g

(k +1)⏉Q d (k )

d(k )⏉

Q d(k ) .

umus 7estenes-Stie!el adalah berdasarkan pada pergantian

kondisi Q d(k )

oleh kondisi ( g(k +1)−g

( k )

α k ) . )edua kondisi

adalah sama dalam kasus kuadrat, seperti kita tunjukkan

sekarang. Sekarang, x(k +1 )= x

(k )+α k d(k )

. Sebelum pengalian

kedua sisi dengan Q , pengurangan b dari kedua sisi, dan

mengenali bahwa g(k )=Q x

(k )−b , kita dapatkan

g(k +1)=g

(k )+α k Q d(k )

, yang mana kita dapat tulis ulang

Q d(k )=(

g(k +1)−g

( k )

α k

). Substitusikan ke dalam persamaan asal

untuk βk yang diketahui 'umus (estenes-)tie*el.

βk =g

(k +1) [ g(k +1)−g

( k )]

d( k )⏉ [g

( k +1 )−g(k )] .



R//+ P'#8R,6,*&*! imulai dari rumus 7estenes-Stie!el,

kita kalikan keluar penyebut untuk mendapatkan

βk = g

( k +1 ) [g(k +1 )−g

(k ) ]

d(k )⏉

g(k +1 )−d

(k )⏉g

(k ) .

engan lema '.$, d(k )⏉

g(k +1 )=0 . <uga, karena

d(k )=−g

(k )+ βk −1d(k +1)

, dan sebelum pengalian oleh g(k )

,

kita dapatkan

g(k )

d(k )=−g

(k )g

( k )+ βk −1g

( k )d

(k −1 )=−g(k )

g(k )

,

sekali lagi kita gunakan 1ema '.$. emikian, kita dapatkan

umus "olak-ibieDre

βk =g (k +1)

⏉

[ g(k +1)−g( k )]g

( k )⏉g

( k ) .

R//+ F*"*&R**;*+! imulai dengan umus "olak-

ibieDre, kita kalikan keluar pembilang untuk mendapatkan

g(k +1)

g(k +1)−g

( k +1 )g

( k )

βk =¿ ¿

g(k )⏉ g (k ) .

)ita gunakan !akta bahwa g(k +1)⏉

g(k )=0 , yang kita peroleh

dengan menggunakan persamaan

g(k +1)⏉

d(k )=−g

(k +1)⏉g

(k )+ βk −1g

(k +1)⏉d

(k −1 )



dan mengaplikasian 1ema '.$. 7al ini menyebabkan terhadap

umus letcher-ee9es

g( k +1 )

g( k )

βk =¿ ¿g

(k )⏉g

( k ).

umus di atas memberikan kita algoritma gradien konjugat

yang tidak memerlukan pengetahuan eksplisitdari matriks

7essian Q . Semua yang kita butuhkan adalah !ungsi objekti!

dan nilai gradien pada tiap iterasi. 0ntuk kasus kuadrat tiga

ekspresi untuk βk persis sama. Namun, hal ini bukan kasus

untuk !ungsi objekti! umum nonlinier.

)ita membutuhkan beberapa sedikit modi!ikasi untuk

menerapkan algoritma untuk !ungsi nonlinier. "ertama, seperti

yang disebutkan dalam bahasan tentang algoritma steepest

descent, kriteria penghentian ∇ f ( x (k +1 ) )=0 adalah tidak

praktis. Maka dibutuhkan sebuah kriteria penghentian praktis

yang cocok.

0ntuk permasalahan nonkuadrat, algoritma biasanya tidak

akan kon9ergen dalam n langkah, dan sebagai

keberlangsungan algoritma. ?konjugasi- Q @ dari 9ektor arah

akan cenderung memburuk. engan demikian, praktik umum

adalah untuk inisialisasi ulang 9ektor arah untuk gradient



negati9e setelah setiap beberapa iterai =misal, n atau n+1 >

dan berlanjut hingga algoritma memenuhi kriteria penghentian.

Masalah paling penting dalam permasalahan minimasi !ungsi

non kuadrat adalah pencarian garis. Tujuan dari pencarian garis

adalah untuk meminimasi ∅k ( α )= f ( x (k )+α d(k ) ) dengan

perhatian terhadap α ≥ 0 . "endekatan khas adalah untuk

kurung atau kotak dalam peminimasi dan kemudian diperkirakan.

)etepatan dari pencarian garis adalah !aktor penting dalam

menunjukkan algoritma gradient konjugasi. <ika pencarian garis

diketahui tidak akurat, rumus 7estenes-Stie!el untuk βk

dianjurkan.

Secara umum, pilihan rumus untuk βk untuk digunakan

tergantung pada !ungsi objekti!. Sebagai contoh, rumus "olak-

ibieDre diketahui untuk menunjukkan jauh lebih baik daripada

rumus letcher-ee9es dalam beberapa kasus tetapi tidak untuk

yang lain. aktanya, terdapat kasus dalam g(k )

, k =1,2,… ,

adalah dibatasi jauh dari nol ketika rumus "olak-ibieDre

digunakan. alam pembelajarannya oleh "owell dalam analisis

kon9ergensi global menyarankan rumus letcher-ee9es untuk

βk adalah superior. "owell lanjut menyarankan rumus lain

untuk βk 8



βk =max {0, g

( k +1 )⏉ [ g( k +$ )−g

( k ) ]g

(k )⏉g

(k ) } .

Algoritma gradien konjugasi berkaitan terhadap Metode

Krylo! subruang . Metode-iterasi-)rylo9-subruang, dimulai oleh

Magnus 7estenes, *duard Stie!el, dan 6ornelius 1ancBos, telah

dinyatakan satu dari '& algoritma dengan pengaruh besar dalam

pengembangan dan latihan sains dan teknik pada abad kedua

puluh. 0ntuk mengendalikan perspekti! pada algoritma gradient

konjugasi, diperoleh dari proportional-plus-deri9ati9e =">

pengendali arsitektur.

5! R#$8/#$

D! S/*+"*% R*#%,$

E! L#",#$



' Tentukan nilai´ % ={ x1 , x2 } yang meminimalkan

& { x1, x2 }=−12 x1+4 x12+4 x2

2−4 x1 x2 dengan

menggunakan metode arah konjugasi.

$ Min f ( x )=2 x1

2+ x2

2+ x1− x2+2 x1 x2 .

engan +radien )onjugasi dimulai dari titik =&,&>.

3 Selesaikan model matematika berikut denga metode

+radien )onjugasi = 3 iterasi > dimulai dari titik =&,&>

Min x

1

2

+2 x

2

2

+2 x

1

x2−

x1+

2 x2+

4.

4 iberikan !ungsi tujuan sebagai berikut 8

& = % 2+2'

2+ %'

6arilah nilai minimum dari !ungsi ini dan nilai % dan

' pada nilai minimum, mulai dari % =2 dan

' =2 .

5 Tampilkan ulang !ungsi

f ( x1 , x2 )=5

2 x1

2+ x2

2−3 x1 x2− x2−7

alam bentuk f ( x )=1

2 %

T Qx− x

T b+( . )emudian

gunakan algoritma gradient konjugasi untuk membangun

9ektor d(1) konjugasi- Q dengan d(0 )=∇ f ( x(0)) ,

dimana x(0)=0 .

( Misalkan f ( x ) , x= [ x1, x

2 ]T ∈ R

2

, diberikan

f ( x )=5

2 x

1

2+1

2 x

2

2+2 x1 x

2−3 x1− x

2 .



a Nyatakan f ( x) dalam bentuk

f ( x )=1

2 x

T Qx− x

T b .

b Tentukan minimasi f menggunakan algoritma

conjugate gradient. imulai dari titik awal

x(0)= [0,0 ]T

.

% Misalkan system linear

)x= *

diberikan oleh8

)x=[4 1

1 3] [ x1

x2]=[1

2]an

x0=[2

0 ]6arilah nilai x

1 dan x2 menggunakan metode

gradient konjugasi.

DAFTAR ISTILAH

Metode )onjugasi 1angsung8

Algoritma +radien )onjugasi8

Steepest escent8

"roses +ram-Schmidt8

Teorema "erluasan Subruang8



7estenes-Stie!el8

"olak-ibieDre8

letcher-ee9es8

eret Taylor8

Documents

Modul Optimisasi