Teknik Pengklasifikasi :Bayesian, JST (ANN)
BertalyaUniversitas Gunadarma
2009
Masalah Pengklasifikasian
• Klas suatu record yg diuji tidak selalu dapat diprediksidisebabkan oleh– faktor2 penentu tidak terdapat dalam analisis– Contoh : memprediksi resiko terkena penyakit
jantung berdasarkan diet seseorang atau frekuensipekerjaannya. Walaupun seseorang sehat dan ber-olahraga, bisa saja terkena penyakit tsb dari faktorketurunan, merokok dan minum alkohol.
– Berarti ada ketidakpastian keterhubungan antaraatribut2 dengan klas.
Teknik Pengklasifikasi ... 2
Masalah Pengklasifikasian (lanj.)• Pendekatan utk memodelkan keterhubungan
probabilistik antara atribut dan klas adalah denganprinsip statistik; Theorema Bayes.
• Utk masalah pengklasifikasian ada 2 theorema Bayesyakni naïve Bayes & Bayesian belief network
• Contoh :Permainan sepakbola Tim0 & Tim1. Misalkan Tim0 menang65% & Tim1 memenangkan sisa permainan 35%. Kemenangan utk Tim0 hanya 30% di tempat Tim1. Sedangkan kemenangan 75% dari Tim1 diperoleh di tempatsendiri. Jika Tim1 merupakan host utk permainan berikutnya, maka tim yg mana yg mungkin menjadi pemenang ?
Teknik Pengklasifikasi ... 3
Theorema Bayes
• P(Y|X)=P(X|Y)P(X) X : tim host {0,1}P(X) Y : pemenang {0,1}
• Probabilitas Tim0 menang P(Y=0) = 0.65• Probabilitas Tim1 menang P(Y=1) = 1 – P(Y=0) = 0.35• Probabilitas Tim1 sbg host & menang P(X=1|Y=1) = 0.75• Probabilitas Tim1 sbg host & Tim0 menang P(X=1|Y=0) = 0.3• Maka• P(Y=1|X=1) = 0.5738 (Tim1)• Sedangkan P(Y=0|X=1) = 0.4262 (Tim0)
Teknik Pengklasifikasi ... 4
Theorema Bayes Untuk Pengklasifikasian• Misalkan X=atribut2, Y=klas• Jika var klas mempunyai keterhubungan yg tidak pasti
(non-deterministic) dg atribut2 maka dpt dinyatakanP(Y|X) sbg probabilitas posterior sedangkanP(Y) sbg probabilitas prior
• Record X’ dpt diklasifikasikan dgn menemukan klas Y’yg memaksimalkan probabilitas posterior P(Y’|X’).
• Probabilitas class-conditional P(X|Y) dpt diestimasi dgnpengklasifikasi naïve Bayes & Bayesian belief network.
Teknik Pengklasifikasi ... 5
ContohJika record yg diujiX=(A1=No,A2=Married,A3=120K)Maka hrs dihitungP(Yes|X) dan P(No|X) dari tabelJika P(Yes|X) > P(No|X) maka
klas X = Yes, selain itu X=No
Probabilitas class-conditionalP(X|Y) dpt diestimasi dgnpengklasifikasi naïve Bayes & Bayesian belief network.
Tid Atr-1 Atr-2 Atr-3 Class
1 Yes Single 125K No
2 No Married 100K No
3 No Single 70K No
4 Yes Married 120K No
5 No Divorced 95K Yes
6 No Married 60K No
7 Yes Divorced 220K No
8 No Single 85K Yes
9 No Married 75K No
10 No Single 90K Yes 10
Teknik Pengklasifikasi ... 6
Pengklasifikasi Naïve Bayes• Mengestimasi probabilitas class-conditional dgn
berasumsi bahwa atribut2 adalah conditional independence, misal label klas y maka
d
P(X|Y=y) = Π P(Xi |Y = y); X={X1,X2,…,Xd}
i=1
Teknik Pengklasifikasi ... 7
Pengklasifikasi Naïve Bayes (lanj.)• Contoh conditional independence misalkan
keterhubungan antara panjang lengan seseorang dgnkemampuan membaca. Seseorang dgn lengan ygpanjang memiliki tingkat kemampuan membaca ygtinggi. Hal ini dijelaskan dgn faktor lain yakni usia. Anakkecil dgn lengan yg pendek, tingkat kemam-puanmembaca tidak sama dgn dewasa. Jika usia itu tetapmaka tidak ada keterhubungan antara lengan danmembaca. Itu berarti panjang lengan & kemampuanmembaca adalah conditionally independence pada saatvariabel usia itu tetap.
• Variabel X dikatakan conditionally independence pada Y, dengan Z :
P(X|Y,Z) = P(X|Z)
Teknik Pengklasifikasi ... 8
Lanj.
P(X|Y,Z) = P(X|Z)
P(X,Y|Z) = P(X,Y,Z)P(Z)
= P(X,Y,Z) x P(Y,Z)P(Y,Z) P(Z)
= P(X|Y,Z) x P(Y|Z)= P(X|Z) x P(Y|Z)
Teknik Pengklasifikasi ... 9
Jaringan Syaraf Tiruan/JST(Artificial Neural Network/ANN)
• Mengikuti struktur dari otak manusia, diharapkan ANN pun dapat meniru kemampuan otak manusia seperti utkmengingat, menghitung, beradaptasi dll sehingga dapatmenggantikan beberapa pekerjaan manusia.
• Terdiri atas node2 dan link yang saling terhubung• Model jaringan syaraf tiruan a.l:
– Perceptron, model yang sederhana– Multilayer ANN, model yang kompleks
Teknik Pengklasifikasi ... 10
PerceptronTabel ini terdiri atas 3 variabel bolean (x1, x2, x3) & variabel output y yg bernilai -1 jika paling sedikit duainput = 0, dan +1 jika paling sedikit dua input lebihbesar dari 0.
Teknik Pengklasifikasi ... 11
Perceptron (lanj.)• Perceptron terdiri atas 2 nodes : input node utk me-
representasikan atribut input, dan output node utk me-representasikan output model.
• Setiap input node dihubungkan ke output node dgn link bobot. Bobot ini digunakan utk menggbrkan kekuatanantara input node.
• Digunakan utk menyelesaikan kasus klasifikasi utk duaklas saja.
• Model utk menghitung output :1, jika 0.3x1 + 0.3x2 + 0.3x3 – 0.4 > 0
y = -1, jika 0.3x1 + 0.3x2 + 0.3x3 – 0.4 < 0
Teknik Pengklasifikasi ... 12
Multilayer ANN
• Model jaringan syaraf tiruan yg kompleks daripadaperceptron disebut multilayer ANN, dikarenakan padajaringan terdapat beberapa layer perantara antara layer input & output, seperti pada gambar di bawah ini.
Teknik Pengklasifikasi ... 13
Teknik Pengklasifikasi ... 14