Metode Komputasi 3
Metode Gradient untuk masalah optimasi: Regresi linear dan non
linear
Jumlah Penduduk IndonesiaTahun 2000 2001 2002 2003 2004 2005
Jumlah (dalam ribuan) 205,132.00 207,927.50 210,736.30 213,550.50 216,381.60 219,204.70 Sumber: datastatistik-indonesia.com
Bila jumlah penduduk diasumsikan bertambah secara linear terhadap waktu (tahun), maka jumlah penduduk dapat diprediksi dengan menggunakan persamaan linear
Y = 1x + 0, x menyatakan tahun setelahtahun 2000
Bagaimana menaksir parameter 1 dan 0?
Definisi: Jarak vertikalJarak vertikal antara garis Y = 1x + 0 ke titik Pi(xi, yi)Ji = |yi – (1xi + 0)| = |yi – 1xi –0 |
tahun
Jumlah
Garis Y = 1x + 0 dipilih sehingga jumlah kuadrat jarak vertikal terkecil
Garis Jumlah Kuadrat TerkecilGaris kuadrat terkecil Y = 1x + 0 untuk himpunan titik (x1,y1), (x2,y2),…,(xn,yn) dapat diperoleh dari masalah peminimuman
Bagaimana menentukan nilai 1 dan 0 yang memenuhi masalah optimasi?
1 0
21 0
( , )1
( )N
i ii
Min J y x
Berdasarkan kalkulus, syarat perlu agar J(1, 0) mencapai minimum
0J Atau
1 0
0 0J J
dan
Maka, titik kritis
21 0 1 0
1 1 1 11
2( ) 2 0N N N N
i i i i i i ii i i i
Jy x x x y x x
1 0 1 01 1 10
2( ) 2 0N N N
i i i ii i i
Jy x y x N
Dengan asumsi J fungsi yang terdifferensialkan
21 0
1 1 1
N N N
i i i ii i i
x x x y
1 01 1
N N
i ii i
x N y
Aturan Cramer
1 1
11
2
1 1
1
N N
i i ii i
N
ii
N N
i ii i
N
ii
x y x
y N
x x
x N
2
1 1
1 10
2
1 1
1
N N
i i ii i
N N
i ii i
N N
i ii i
N
ii
x x y
x y
x x
x N
Contoh:Carilah garis kuadrat terkecil untuk himpunan titik (1,2),(3,2),(4,3)
1 3 4 8ix 2 2 2 21 3 4 26ix 2 2 3 7iy 1.2 3.2 4.3 20i ix y
1
3.20 8.7 2
3.26 8.8 7
0
7.26 8.20 11
3.26 8.8 7
Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)
Jika hubungan antara Y dan X diasumsikan
Y = eX lnY = ln +XMakaY = lnY0 = ln
1 =
Nonlinear FittingContoh:Data set: (1,2),(2,4),
(3,9)Y=(2,4,9)Y = ln(2,4,9)XY = … dst
Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)
Jika hubungan antara Y dan X diasumsikan
Y = x lnY = ln +lnXMakaY = lnY X = lnX0 = ln
1 =
Nonlinear FittingJika diasumsikan
XY
X
( )X Y X
Y XY X Y
YX
Grad. Descent utk Reg. Linear
ekivalen dengan1 0
21 0
( , )1
( )N
i ii
Arg Min J y x
Berangkat dari (1(0), 0
(0)) , arah pergerakan yang memberikan penurunan paling besar : -J (1
(0), 0(0))
1 0
21 0
( , )1
1( )
2
N
i ii
Arg Min J y x
Sehingga, iterasi (1
(k+1), 0(k+1))=(1
(k), 0(k)) -J (1
(k), 0(k)) konvergen ke nilai minimum ‘lokal’
dari J untuk suatu nilai yang cukup kecil.
Ulangi proses sampai konvergen1 = 1 +(yi- 1xi - 0)xi
0 = 0 +(yi- 1xi - 0)
Grad. Descent utk Reg. Linear(Perumuman)
Berangkat dariarah pergerakan yang memberikan penurunan paling besar : -J ((0))
2
1
1( )
2
NT
i ii
Arg Min J y x
Sehingga, iterasi
(k+1) = (k) -J(k), konvergen ke nilai minimum ‘lokal’
dari J untuk suatu nilai yang cukup kecil.
Ulangi proses sampai konvergenk = k +(yi- Txi)xik, k=1,2,…,MXi0 = 1 untuk semua i=1,2,…,N
(0)
Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)
Jika Y bernilai biner {0,1} dan diasumsikan
dengan Z = 0 + 1X
Maka nilai 0, 1 diperoleh
Logistic Fitting
Student id Outcome Quantity of Study Hours
1 0 3
2 1 34
3 0 17
4 0 6
5 0 12
6 1 15
7 1 26
8 1 29
9 0 14
10 1 58
11 0 2
12 1 31
13 1 26
14 0 11
1
1 zY
e
0 10 1
2
( ),1
1 1
2 1 i
N
i xi
MinR ye
Gradien Descent:1= 1-R/1
0= 0-R/0
0 1
0 1
0 12
10
1
1
1
i
i
i
xi xN
xi
y eR e
e
0 1
0 1
0 12
11
1
1
1
i
i
i
xi ixN
xi
y x eR e
e
Diberikan sekumpulan data: (x1,y1),(x2,y2),…,(xn,yn)
Jika Y bernilai biner {0,1} dan diasumsikan
dengan Z = TX
Logistic Fitting (Generalization)
1
1 zY
e
Gradien Descent:k= k-R/k
2
( )1
1 1
2 1Ti
N
i xi
Min R ye
21
1
1
1
Ti
Ti
Ti
xi iN x
xik
y x eR e
e