Upload
others
View
17
Download
0
Embed Size (px)
Citation preview
Minggu, 06 Juli 2014 11
IMPLEMENTASI PENGGABUNGAN ALGORITMA SUPPORT
VECTOR MACHINE DAN SIMULATED ANNEALING PADA
PERMASALAHAN KLASIFIKASI POLA
PRESENTASI TUGAS AKHIR
Penyusun Tugas Akhir :
Astris Dyah Perwita
(NRP : 5110.100.178)
Dosen Pembimbing I
Dr.Chastine Fatichah, S.Kom., M.Kom.
Dosen Pembimbing II
Rully Soelaiman, S.Kom., M.Kom..
Minggu, 06 Juli 2014 22
UJI KINERJA PENGGABUNGAN ALGORITMA SUPPORT
VECTOR MACHINE DAN SIMULATED ANNEALING PADA
PERMASALAHAN KLASIFIKASI POLA
PRESENTASI TUGAS AKHIR
Penyusun Tugas Akhir :
Astris Dyah Perwita
(NRP : 5110.100.178)
Dosen Pembimbing I
Dr.Chastine Fatichah, S.Kom., M.Kom.
Dosen Pembimbing II
Rully Soelaiman, S.Kom., M.Kom..
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 3
Agenda
Pendahuluan
PerancanganPerangkat
lunak
Kesimpulandan Saran
Uji Cobadan Analisis
Hasil
Pendahuluan
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 4
Kelebihan SVM:• Error klasifikasi yang relatif kecil• Cocok untuk permasalahan berdimensi
tinggi
• Memiliki landasan teori yang dapatdianalisis dengan jelas
• Dapat diimplementasikan relatif mudah
Kekurangan SVM:• Sulit dipakai dalam permasalahan
berskala besar• Kualitas tergantung dengan parameter
dan fungsi-fungsi yang digunakan
Kelebihan SA:• Dapat mengatasi model permasalahan
nonlinier• Dapat mengatasi data yang memiliki
banyak batasan• Fleksibel, tidak bergantung pada
ketentuan atau model tertentu
Kekurangan SA:• Kualitas ditentukan oleh presisi nilai-
nilai variabel pada proses• Menambah waktu komputasi
Permasalahan Pola Klasifikasi Metode Klasifikasi SVM
LatarBelakang
TujuanBatasanMasalah
Pendahuluan
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 5
Support Vector Machine Simulated Annealing
Menghasilkan metode klasifikasi yang:• Memiliki nilai error dari klasifikasi yang relatif kecil• Cocok untuk permasalahan berdimensi tinggi
• Dapat diimplementasikan dengan mudah• Memiliki kualitas klasifikasi dari SVM yang baik karena
parameter dioptimasi dengan SA
• SA bekerja maksimum karena variabel pada prosesnya
telah disesuaikan dengan SVM
LatarBelakang
TujuanBatasanMasalah
PendahuluanTujuan
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 6
ImplementasialgoritmaSimulated
Annealing untukmengoptimasi
parameter SVMyaitu C dan σ.
ImplementasialgoritmaSimulated
Annealing padaSVM dengankernel yang
telahdimodifikasi.
Melakukan ujicoba dan
analisis kinerjadari algoritma
yang telahdiimplementasi-
kan.
LatarBelakang
TujuanBatasanMasalah
PendahuluanBatasan Masalah
• Dataset yang digunakan adalah Hepatitis danBreast Cancer dari UC Irvine Machine Learning Repository (UCI).
• Implementasi dilakukan pada Matlab 2008a
• Parameter yang dioptimasi parameter C dan σ.
• Kernel yang digunakan adalah kernel RBF
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 7
LatarBelakang
TujuanBatasanMasalah
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 8
Agenda
PerancanganPerangkat
lunak
Pendahuluan
Kesimpulandan Saran
Uji coba dananalisis hasil
Perancangan Perangkat Lunak
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 9
Data
Metode
Gambaran Aplikasi
Hasil Aplikasi
Perancangan Perangkat Lunak
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 10
Data
Data hepatitis
• 21 fitur
• Class: Die & Live
• Total data: 155
• Data yang memiliki missing value: 75
• Data yang digunakan: 80
• Distribusi class:
• 13 Die
• 67 Live
Data Breast Cancer
• 10 fitur
• Class: Benign & Malignant
• Total data: 699
• Data yang memiliki missing value: 16
• Data yang digunakan: 683
• Distribusi class:
• 444 Benign
• 239 Malignant
Perancangan Perangkat Lunak
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 11
Data
Nomor Atribut Keterangan
1 Class Die, Live
2 Age 10, 20, 30, 40, 50, 60, 70, 80
3 Sex Male, Female
4 Steroid No, Yes
5 Antivirals No, Yes
6 Fatique No, Yes
7 Malaise No, Yes
8 Anorexia No, Yes
9 Liver Big No, Yes
10 Liver Firm No, Yes
11 Spleen
Palpable
No, Yes
12 Spiders No, Yes
13 Ascites No, Yes
14 Varices No, Yes
15 Bilirubin 0.39, 0.80, 1.20, 2.00, 3.00,
4.00
16 Alk Phosphate 33, 80, 120,160, 200, 150
17 Sgot 13, 100, 200, 300, 400, 500
18 Albumin 2.1, 3.0, 3.8, 4.5, 5.0, 6.0
19 Protime 10, 20, 30, 40, 50, 60, 70, 80,
90
20 Histology No, Yes
Nomor Atribut Keterangan
1 Sample Code Number Id number
2 Clump Thickness 1 – 10
3 Uniformity of Cell Size 1 – 10
4 Uniformity of Cell
Shape
1 – 10
5 Marginal Adhesion 1 – 10
6 Single Ephitelial Cell
Size
1 – 10
7 Bare Nuclei 1 – 10
8 Bland Chromatin 1 – 10
9 Normal Nucleoli 1 – 10
10 Mitoses 1 – 10
11 Class 2 untuk Benign, 4
untuk Malignant
Keterangan Variabel Data Hepatitis Keterangan Variabel Data Breast Cancer
Perancangan Perangkat Lunak
Support Vector Machine
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 12
Metode
• Support Vector Machine diperkenalkan oleh Vladimir N.Vapnik pada tahun 1992
• Prinsip dasar SVM adalah linear classifier. Kemudiankonsep ini dikembangkan dengan kernel trick sehinggadapat bekerja pada permasalahan berdimensi tinggi.
• Konsep SVM adalah pengambilan keputusan berdasarkanhyperplane yang terbentuk
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 13
.:WEIGHTED KERNEL:.
• Pembobotan pada data dilakukan untuk memberikan
penekanan sesuai dengan tingkat kandungan informasi
pada suatu data.
• Pembobotan dilakukan pada fungsi kernel RBF yang
dimodifikasi :
Tugas Akhir – CI1599 13
2
2
2
)(exp),(
ji
jiSW
xxSxxK (1)
Perancangan Perangkat Lunak
Simulated Annealing
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 14
Metode
• Simulated Annealing adalah metode metaheuristikyang mengadaptasi konsep metalurgi besi yangdipanaskan pada suhu tertentu.
• Simulated Annealing merupakan metodepencarian nilai optimal global yang dilakukansecara bertahap sesuai dengan prinsip hubunganantara suhu dengan energi yang dibutuhkan besi.
Perancangan Perangkat Lunak
Gambaran Aplikasi
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 15
Simulated Annealing
PenentuanParameter
Akurasiterbaikdengan
parameter optimal
SVMCross
ValidationPelatihan
PengujianAkurasi
Kernel danpembobotan
Konfigurasi
Penentu
Optimasi
Fungsi
Objektif
Representasi
Solusi
Perancangan Perangkat Lunak
Simulated Annealing (Bag. Pertama)
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 16
Inisialisasi kondisi
awal dan iterasi
Estimasi parameter
dengan nilai random
Aplikasi
parameter
pada SVM
• Parameter C
Merupakan parameter untukmengkondisikan nilai soft marginpada SVM
• Parameter σMerupakan parameter untuk kernelRBF pada SVM
(sigma)
SA Bag. 2
Perancangan Perangkat Lunak
SVM
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 17
Cross Validation
Membagidataset menjadi nbagian untukpelatihan danpengujian
Parameter
dari SA
Dataset
Pelatihan
• Membutuhkan: data latih, jeniskernel, & parameter C
• Menghasilkan α Kernel
Membutuhkan: nilai data danfitur, jeniskernel,
parameter σ,
danpembobotan
Pengujian
• Kembalikannilai akurasiterbaik dari n-folds cross validation ke SA
• Membutuhkan: data latih, data uji, jenis kernel, pembobotan, dan α
• Menghasilkanakurasi
Perancangan Perangkat Lunak
Simulated Annealing (Bag. Kedua)
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 18
Nilai
akurasi
SVM
Akurasi
lebih
baik?
Hitung nilai probabilitas
(Probabilitas Boltzman)
Simpan nilai akurasi dan
konfigurasi parameter
tidak
tidak
Ya
Ya
Tolak konfigurasi
Nilai
random >
probabilitas
?
Iterasi
selesai
Estimasi parameter
dengan nilai random
Kembalikan nilai akurasi dan
konfigurasi parameter terbaiktidak
Ya
Perancangan Perangkat Lunak
Hasil Program
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 19
Hasil Aplikasi
Iterasi
Nilai
parameter C
Nilai
parameter σ
Folds
Akurasi
terbaik SVM
Keputusan SA
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 20
Agenda
Uji Cobadan Analisis
Hasil
Pendahuluan
Kesimpulandan Saran
PerancanganPerangkat
Lunak
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 21
Uji CobaUji Coba Awal
Percobaan dilakukan pada data Hepatitis dan Breast Cancer dengan
menggunakan parameter yang dianggap paling optimal oleh
literatur utama.
C = 16,6
σ = 0,31342Percobaan dilakukan dengan variasi 5-folds cross validation dan 10
folds cross validation
Uji Coba Awal
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 22
Validasi ke Data Latih Data Uji Akurasi
1 63 17 96,25
2 64 16 96,25
3 64 16 96,25
4 64 16 97,50
5 65 15 97,50
Validasi ke Data Latih Data Uji Akurasi
1 72 8 98,75
2 72 8 98,75
3 72 8 98,75
4 73 7 98,75
5 72 8 98,75
6 72 8 97,50
7 71 9 97,50
8 72 8 97,50
9 72 8 97,50
10 72 8 97,50
Validasi Ke Data Latih Data Uji Akurasi
1 546 137 98,98
2 546 137 99,41
3 547 136 99,12
4 547 136 99,27
5 546 137 99,27
Validasi Ke Data Latih Data Uji Akurasi
1 615 68 99,71
2 615 68 98,98
3 615 68 99,71
4 615 68 99,71
5 615 68 99,56
6 614 69 99,27
7 615 68 99,27
8 615 68 99,41
9 614 69 99,71
10 614 69 99,56
Tabel Hasil Percobaan Awal pada Data
Hepatitis 5 Folds Cross Validation
Tabel Hasil Percobaan Awal pada Data Breast
Cancer 5 Folds Cross Validation
Tabel Hasil Percobaan Awal pada Data Breast
Cancer 10 Folds Cross Validation
Tabel Hasil Percobaan Awal pada Data
Hepatitis 10 Folds Cross Validation
Uji Coba
Analisis Hasil Uji Coba SVM-SA
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 23
Percobaan C σ Folds Akurasi
1 32 0,1179 5 97,5
2 32 0,1 5 97,5
3 32 0,36 5 97,5
4 32 0,1 5 97,5
5 32 0,1467 5 97,5
6 32 0,2392 10 98,75
7 32 0,1 10 98,75
8 32 0,1 10 98,75
9 32 0,1 10 98,75
10 32 0,3782 10 98,75
Folds Akurasi terbaik percobaan awal
5 97.5
10 98.75
Percobaan C Folds Akurasi
1 0,9 0,4 5 99,41
2 1,5 0,4 10 100
Folds Akurasi terbaik percobaan awal
5 99.41
10 99.71
Tabel Hasil Percobaan SVM-SA pada Data
Hepatitis
Tabel Hasil Percobaan SVM-SA pada Data
Breast Cancer
Tabel Hasil Percobaan Awal pada Data Breast
Cancer
Tabel Hasil Percobaan Awal pada Data
Hepatitis
Hasil akurasi pada data Hepatitis sama
akurat dibandingkan dengan percobaan awal.
Namun ada beberapa parameter yang dapat
menghasilkan akurasi terbaik.
•Akurasi maksimum untuk 5 folds cross validationdata Breast Cancer sama dengan uji coba awalnamun didapatkan dari pasangan parameter yang berbeda. • Akurasi yang dihasilkan 10 folds cross validation 0,29% lebih baik daripada percobaan awal
Uji Coba
Analisis Hasil Uji Coba SVM-SA
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 24
Grafik A. Hasil Percobaan SVM-SA 5 folds Cross Validation
Grafik B. Hasil Percobaan SVM-SA 10 folds Cross Validation
0-0,5
0-0,5
• Pada grafik, tampak bahwa
wilayah puncak yang
merupakan representasi dari
akurasi yang baik berada di
wilayah parameter σ yang
sempit (antara 0–0,5) untuk
berbagai variasi nilai
parameter C. Hal ini sesuai
dengan hasil akurasi pada
tabel hasil akurasi baik
dengan 5 folds cross
validation maupun 10 folds
cross validation.
Uji Coba
Analisis Hasil Uji Coba SVM-SA
• Pada grafik 5 folds cross validation, hanyabeberapa pasangan parameter saja yang bisa mencapai titik puncak atau akurasiterbaik.
• Parameter yang menghasilkan akurasiterbaik berada pada wilayah parameter C = 0,9 dan σ = 0,4
• Pada uji coba ini terdapat 8 dari 100 pasangan parameter yang menghasilkanakurasi di atas rata-rata.
• Uji coba 10 folds cross validation menunjukkan bahwa akurasi yang tinggidapat dicapai dengan parameter kernel RBF atau parameter σ antara 0-0,5 danparameter C antara 0-15.
• Pada uji coba ini, 43 dari 80 pasanganparameter menghasilkan akurasi di atasrata-rata.
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 25
Grafik C. Hasil Percobaan SVM-SA 5 folds Cross Validation
Grafik D. Hasil Percobaan SVM-SA 10 folds Cross Validation
Uji Coba
SVM-SA-Pembobotan Kernel
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 26
Tabel Hasil Percobaan SVM-SA-Pembobotan
Kernel Pada Data Hepatitis
Percobaan C Folds Akurasi
1 32 1,1989 5 97,50
2 32 0,7975 5 97,50
3 32 0,1 5 97,50
4 32 0,5028 5 97,50
5 32 0,3810 5 97,50
6 31,2915 2,1294 10 100
7 32 2,7103 10 98,75
8 32 0,1 10 98,75
9 32 1,6308 10 98,75
10 32 0,2758 10 98,75
Percobaan Folds Akurasi terbaik
Awal 5 97.5
Awal 10 98.75
SVM – SA 5 97.5
SVM - SA 10 98.75
Percobaan C Folds Akurasi
1 4,2 0,1 5 96,49
2 7,921 0,3544 10 98,54
Percobaan Folds Akurasi terbaik
Awal 5 99,41
Awal 10 99,71
SVM – SA 5 99,41
SVM - SA 10 100
Tabel Hasil Percobaan SVM-SA-Pembobotan
Kernel pada Data Breast Cancer
Tabel Hasil Uji Coba Data Breast Cancer
Tabel Hasil Uji Coba Data Hepatitis
• Hasil akurasi percobaan pada data
Hepatitis menjadi lebih akurat 1.25%daripada percobaan awal pada variasi 10folds cross validation
• Hasil akurasi percobaan pada data Breast
Cancer menurun daripada percobaan-percobaan sebelumnya pada kedua variasicross validation
Uji CobaAnalisis Hasil SVM-SA-Pembobotan Kernel
• Jangkauan parameter kernel RBF yang menghasilkan akurasimaksimum menjadiantara 0 sampai 1,5 dengan berbagai nilaiparameter C darisebelumnya yang berkisar antara antara0–0,5
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 27
Grafik hasil percobaan SVM-SA 5 folds CV
Grafik hasil percobaan SVM-SA 10 folds CV
0-1,5
0-3
Uji CobaAnalisis Hasil SVM-SA-Pembobotan Kernel
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 28
Grafik hasil percobaan SVM-SA 5 folds CV
Grafik hasil percobaan SVM-SA 10 folds CV
• Jangkauan dari pasangan
parameter yang dapat
menghasilkan akurasi tinggi
ada pada jangkauan
parameter σ antara 0-0,5 dan
C antara 0-6
• Dengan parameter yang
terbatas, sistem dapat
menghasilkan akurasi yang
tinggi. Hal ini dibuktikan
dengan 56 dari 85 pasangan
parameter yang mencapai
akurasi di atas rata-rata
0-0,5
0-0,5
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 29
Agenda
Kesimpulandan Saran
Pendahuluan
Uji Cobadan Analisis
Hasil
PerancanganPerangkat
Lunak
Kesimpulan dan SaranKesimpulan
• Algoritma Simulated Annealing (SA) dapatdiimplementasikan untuk mengoptimasi parameter SVM
• Metode pembobotan kernel Gradient Descent dapatdiaplikasikan pada SVM untuk memperbaiki hasilklasifikasi.
• Sistem SVM dengan optimasi parameter menggunakan SA lebih akurat hingga 1,25% lebih baik daripada tanpamenggunakan optimasi parameter SA pada dataset Hepatitis.
• Jangkauan nilai parameter dapat diperluas hingga 2 kali lipat dengan menerapkan metode pembobotan kernel.
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 30
Kesimpulan dan Saran
Saran
• Membuat antarmuka yang baik sehingga dapatdioperasikan dengan mudah oleh pengguna.
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 31
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 32
Terima Kasih
Perancangan Perangkat LunakPembobotan Kernel Gradient Descent
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 33
Algoritma optimasi untukmenemukan local minimum darisejumlah jangkauan nilai darisuatu fungsi denganmenggunakan langkah yangproporsional
Membutuhkan e sebagaisearching speed dan n sebagaibatas iterasi
Diterapkan pada kernel untukmendapatkan nilai margin yangpaling maksimum sehinggaakurasi lebih baik
Gradient Descent
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 34
Perancangan Perangkat LunakSupport Vector Machine
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 35
Vladimir N. Vapnik
(1992)
Pengambilan keputusanberdasarkan bidang-bidang terbatas0 0.5 1 1.5 2 2.5 3 3.5 4 4.5
1.5
2
2.5
3
3.5
4
4.5
5Traning Dataset
0 0.5 1 1.5 2 2.5 3 3.5 4 4.51.5
2
2.5
3
3.5
4
4.5
5Decision Boundary
Pengelompokan class dengan
decision boundary
Perancangan Perangkat Lunak
Optimal Separating Hyperplane
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 36
Hyperplane ideal = margin
maksimal untuk memisahkan data
Margin maksimal nilai ||w|| minimal
Hyperplane dinotasikan
dengan
Jarak antara hyperplane
dengan support vector
Optimasi dengan Lagrange Multiplier
𝐿 𝑤, 𝑏, 𝛼 =1
2| 𝑤 |2 −
𝑖=1
𝑙
𝛼𝑖 𝑦𝑖 𝑥𝑖 . 𝑤 + 𝑏 − 1
𝑤 ∙ 𝑥 − 𝑏 = 0
𝛾 =1
| 𝑤 |
Kernel Trick
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 38
Data tidak dapat dipisahkan
dengan batas linear
Transformasi data ke ruang-ruang
baru untuk membentuk batas linier
Disesuaikan dengan kondisi data.
Mengandalkan dot product data.
Dapat digantikan oleh
fungsi kernel
RBF KernelKernel Trick - Metode untuk
menghitung kesamaandari ruang yang ditransformasimenggunakan atribut set awaldan nilai dot product dari data Optimasi variabel σ untuk
memaksimalkan kinerja fungsi
kernel
Kernel Trick
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 39
Klasifikasidengan kernel trick:
𝑓 ∅ 𝑥 = 𝑤. ∅ 𝑥 + b
𝑓 ∅ 𝑥 =
𝑖=1,𝑥𝑖∈𝑆𝑉
𝑙
𝛼𝑖𝑦𝑖∅ 𝑥 . ∅(𝑥𝑖) + 𝑏
𝑓 ∅ 𝑥 =
𝑖=1,𝑥𝑖∈𝑆𝑉
𝑙
𝛼𝑖𝑦𝑖𝐾 𝑥. 𝑥𝑖 + 𝑏
Nama Kernel Inner Product Kernel
Polinomial (𝑥𝑇𝑥𝑖 + 1)𝑝dengan nilai p
ditentukanolehpengguna
Radial-basis
function
(RBF/Gaussian)
𝑒𝑥𝑝 −| 𝑥−𝑥′ |2
2
2𝜎2dengan nilai σ
ditentukanolehpengguna
Two Layer
Perceptron
tan ℎ(𝛽0𝑥𝑇𝑥𝑖 + 𝛽1)
Kernel yang biasa dipakai pada SVM
Diagram Alir Perangkat Lunak
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 40
Inisialisasi State dan Max-Score
Pilih nilai random untuk parameter
Bagi data menjadi k-bagian
SVM dengan pembobotan
kernel
Semua bagian terpilih menjadi data test?
Dataset
Pilih satu bagian untuk menjadi
testing
NewScore = CVScore
NewScore >Pre-Score
PreScore = NewScore
PreScore >= MaxScore
Kurangi Iterasi dan jangkauan
nilai
Kembalikan parameter terbaik dan Score terbaik
Cross Validation
Tida
k
Ya
Ya
Tida
k
Simulated Annealing
Probability Boltzman
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 41
𝑃 = 𝑒𝑥𝑝−∆𝐸
𝑘𝑏𝑇= 𝑒
−∆𝐸 𝑘𝑏𝑇
Digunakan sebagai penentu diterimanya solusi dari fungsi objektif.
Persamaan ini menandakan hubungan antara T (Temperatur/suhu)
dengan E (energi). Pada permasalahan SVM – SA, E adalah fungsi
SVM dengan hasil akurasi dari klasifikasi.
Pada sistem ini, Probabilitas Boltzman digunakan untuk mengetahui
Akurasi yang sering muncul
Simulated Annealing
• Kelebihan:
• dapat mengatasi model permasalahan nonlinier yang memiliki tingkat tinggi, data yang kacau, data memilikibanyak noise, dan data yang memiliki banyak batasan
• Fleksibel sehingga banyak digunakan untukmenyelesaikan banyak permasalahan
• Kekurangan
• Perlu banyak penyesuaian
• Nilai atas variabel menentukan kualitas optimasi
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 42
Uji CobaUji Coba Awal Data Hepatitis
Validasi ke Data Latih Data Uji Akurasi
1 63 17 96,25
2 64 16 96,25
3 64 16 96,25
4 64 16 97,50
5 65 15 97,50
K = 5; C = 16,6; σ = 0.31342
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 43
Validasi ke Data Latih Data Uji Akurasi
1 72 8 98,75
2 72 8 98,75
3 72 8 98,75
4 73 7 98,75
5 72 8 98,75
6 72 8 97,50
7 71 9 97,50
8 72 8 97,50
9 72 8 97,50
10 72 8 97,50
K = 10; C = 16,6; σ = 0.31342
Percobaan dilakukan pada
data hepatitis dengan
menggunakan parameter yang
dianggap paling optimal oleh
literatur utama.
C = 16,6
σ = 0,31342Percobaan dilakukan dengan
variasi 5-folds cross validation
dan 10 folds cross validation
Uji CobaUji Coba Awal
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 44
Validasi Ke Data Latih Data Uji Akurasi
1 546 137 98,98
2 546 137 99,41
3 547 136 99,12
4 547 136 99,27
5 546 137 99,27
K = 5, C = 10, σ = 0,4
Validasi Ke Data Latih Data Uji Akurasi
1 615 68 99,71
2 615 68 98,98
3 615 68 99,71
4 615 68 99,71
5 615 68 99,56
6 614 69 99,27
7 615 68 99,27
8 615 68 99,41
9 614 69 99,71
10 614 69 99,56
K = 10; C = 10; σ = 0,4
Percobaan dilakukan pada
data Breast Cancer dengan
menggunakan parameter yang
tetap
C = 10
σ = 0,4Percobaan dilakukan dengan
variasi 5-folds cross validation
dan 10 folds cross validation
Uji CobaSVM-SA
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 45
Nomor C σ Folds Akurasi
1 32 0,1179 5 97,5
2 32 0,1 5 97,5
3 32 0,36 5 97,5
4 32 0,1 5 97,5
5 32 0,1467 5 97,5
6 32 0,2392 10 98,75
7 32 0,1 10 98,75
8 32 0,1 10 98,75
9 32 0,1 10 98,75
10 32 0,3782 10 98,75
• Percobaan data hepatitis
• parameter hasil optimasi SA
• Percobaan dilakukan dengan
variasi 5-folds cross validation dan
10 folds cross validation,
• Masing-masing minimal 5 kali
percobaan
Folds Akurasi terbaik percobaan awal
5 97.5
10 98.72
Hasil akurasi untuk percobaan ini sama
akurat dibandingkan dengan percobaan
awal. Namun ada beberapa parameter
yang dapat menghasilkan akurasi
terbaik.
Uji Coba
Analisis Hasil Uji Coba SVM-SA
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 46
• Pada grafik, tampak bahwa
wilayah puncak yang
merupakan representasi dari
akurasi yang baik berada di
wilayah parameter σ yang
sempit (antara 0–0,5) untuk
berbagai variasi nilai
parameter C. Hal ini sesuai
dengan hasil akurasi pada
tabel hasil akurasi baik
dengan 5 folds cross
validation maupun 10 folds
cross validation.
Grafik hasil percobaan SVM-SA 5 folds CV
Grafik hasil percobaan SVM-SA 10 folds CV
0-0,5
0-0,5
Uji Coba
SVM-SA-Pembobotan Kernel
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 47
Percobaan C Folds Akurasi
1 32 1,1989 5 97,50
2 32 0,7975 5 97,50
3 32 0,1 5 97,50
4 32 0,5028 5 97,50
5 32 0,3810 5 97,50
6 31,2915 2,1294 10 100
7 32 2,7103 10 98,75
8 32 0,1 10 98,75
9 32 1,6308 10 98,75
10 32 0,2758 10 98,75
• Percobaan data hepatitis
• Parameter hasil optimasi SA
• Implementasi pembobotan kernel
Gradient Descent
• Percobaan dilakukan dengan variasi
5-folds cross validation dan 10
folds cross validation,
• Masing-masing minimal 5 kali
percobaanPercobaan Folds Akurasi
terbaik
Awal 5 97.5
Awal 10 98.72
SVM – SA 5 97.5
SVM - SA 10 98.75
• Hasil akurasi menjadi lebih
akurat 1.25% daripada percobaanawal pada variasi 10 folds cross validation
Uji CobaSVM-SA
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 48
Percobaan C Folds Akurasi
1 0,9 0,4 5 99,41
2 1,5 0,4 10 100
Percobaan dilakukan pada
data Breast Cancer dengan
menggunakan parameter hasil
optimasi SA
Percobaan dilakukan dengan
variasi 5-folds cross validation
dan 10 folds cross validation,
masing-masing minimal 1 kali
percobaan
Folds Akurasi terbaik percobaan awal
5 99.41
10 99.71
• Akurasi maksimum untuk 5 folds cross validation sama dengan uji coba awal
namun didapatkan dari pasangan parameter yang berbeda.
• Akurasi yang dihasilkan 10 folds cross validation 0,29% lebih baik daripada
percobaan awal.
Uji Coba
SVM-SA-Pembobotan Kernel
Minggu, 06 Juli 2014 Tugas Akhir – CI1599 49
Percobaan C Folds Akurasi
1 4,2 0,1 5 96,49
2 7,921 0,3544 10 98,54
Percobaan dilakukan pada
data Breast Cancer dengan
menggunakan parameter hasil
optimasi SA
Percobaan dilakukan dengan
variasi 5-folds cross validation
dan 10 folds cross validation,
masing-masing minimal 1 kali
Percobaan
Percobaan Folds Akurasiterbaik
Awal 5 99,41
Awal 10 99,71
SVM – SA 5 99,41
SVM - SA 10 100