Teknik Pengklasifikasi :Bayesian, JST (ANN)

BertalyaUniversitas Gunadarma

2009

Masalah Pengklasifikasian

• Klas suatu record yg diuji tidak selalu dapat diprediksidisebabkan oleh– faktor2 penentu tidak terdapat dalam analisis– Contoh : memprediksi resiko terkena penyakit

jantung berdasarkan diet seseorang atau frekuensipekerjaannya. Walaupun seseorang sehat dan ber-olahraga, bisa saja terkena penyakit tsb dari faktorketurunan, merokok dan minum alkohol.

– Berarti ada ketidakpastian keterhubungan antaraatribut2 dengan klas.

Teknik Pengklasifikasi ... 2

Masalah Pengklasifikasian (lanj.)• Pendekatan utk memodelkan keterhubungan

probabilistik antara atribut dan klas adalah denganprinsip statistik; Theorema Bayes.

• Utk masalah pengklasifikasian ada 2 theorema Bayesyakni naïve Bayes & Bayesian belief network

• Contoh :Permainan sepakbola Tim0 & Tim1. Misalkan Tim0 menang65% & Tim1 memenangkan sisa permainan 35%. Kemenangan utk Tim0 hanya 30% di tempat Tim1. Sedangkan kemenangan 75% dari Tim1 diperoleh di tempatsendiri. Jika Tim1 merupakan host utk permainan berikutnya, maka tim yg mana yg mungkin menjadi pemenang ?

Teknik Pengklasifikasi ... 3

Theorema Bayes

• P(Y|X)=P(X|Y)P(X) X : tim host {0,1}P(X) Y : pemenang {0,1}

• Probabilitas Tim0 menang P(Y=0) = 0.65• Probabilitas Tim1 menang P(Y=1) = 1 – P(Y=0) = 0.35• Probabilitas Tim1 sbg host & menang P(X=1|Y=1) = 0.75• Probabilitas Tim1 sbg host & Tim0 menang P(X=1|Y=0) = 0.3• Maka• P(Y=1|X=1) = 0.5738 (Tim1)• Sedangkan P(Y=0|X=1) = 0.4262 (Tim0)

Teknik Pengklasifikasi ... 4

Theorema Bayes Untuk Pengklasifikasian• Misalkan X=atribut2, Y=klas• Jika var klas mempunyai keterhubungan yg tidak pasti

(non-deterministic) dg atribut2 maka dpt dinyatakanP(Y|X) sbg probabilitas posterior sedangkanP(Y) sbg probabilitas prior

• Record X’ dpt diklasifikasikan dgn menemukan klas Y’yg memaksimalkan probabilitas posterior P(Y’|X’).

• Probabilitas class-conditional P(X|Y) dpt diestimasi dgnpengklasifikasi naïve Bayes & Bayesian belief network.

Teknik Pengklasifikasi ... 5

ContohJika record yg diujiX=(A1=No,A2=Married,A3=120K)Maka hrs dihitungP(Yes|X) dan P(No|X) dari tabelJika P(Yes|X) > P(No|X) maka

klas X = Yes, selain itu X=No

Probabilitas class-conditionalP(X|Y) dpt diestimasi dgnpengklasifikasi naïve Bayes & Bayesian belief network.

Tid Atr-1 Atr-2 Atr-3 Class

1 Yes Single 125K No

2 No Married 100K No

3 No Single 70K No

4 Yes Married 120K No

5 No Divorced 95K Yes

6 No Married 60K No

7 Yes Divorced 220K No

8 No Single 85K Yes

9 No Married 75K No

10 No Single 90K Yes 10

Teknik Pengklasifikasi ... 6

Pengklasifikasi Naïve Bayes• Mengestimasi probabilitas class-conditional dgn

berasumsi bahwa atribut2 adalah conditional independence, misal label klas y maka

d

P(X|Y=y) = Π P(Xi |Y = y); X={X1,X2,…,Xd}

i=1

Teknik Pengklasifikasi ... 7

Pengklasifikasi Naïve Bayes (lanj.)• Contoh conditional independence misalkan

keterhubungan antara panjang lengan seseorang dgnkemampuan membaca. Seseorang dgn lengan ygpanjang memiliki tingkat kemampuan membaca ygtinggi. Hal ini dijelaskan dgn faktor lain yakni usia. Anakkecil dgn lengan yg pendek, tingkat kemam-puanmembaca tidak sama dgn dewasa. Jika usia itu tetapmaka tidak ada keterhubungan antara lengan danmembaca. Itu berarti panjang lengan & kemampuanmembaca adalah conditionally independence pada saatvariabel usia itu tetap.

• Variabel X dikatakan conditionally independence pada Y, dengan Z :

P(X|Y,Z) = P(X|Z)

Teknik Pengklasifikasi ... 8

Lanj.

P(X|Y,Z) = P(X|Z)

P(X,Y|Z) = P(X,Y,Z)P(Z)

= P(X,Y,Z) x P(Y,Z)P(Y,Z) P(Z)

= P(X|Y,Z) x P(Y|Z)= P(X|Z) x P(Y|Z)

Teknik Pengklasifikasi ... 9

Jaringan Syaraf Tiruan/JST(Artificial Neural Network/ANN)

• Mengikuti struktur dari otak manusia, diharapkan ANN pun dapat meniru kemampuan otak manusia seperti utkmengingat, menghitung, beradaptasi dll sehingga dapatmenggantikan beberapa pekerjaan manusia.

• Terdiri atas node2 dan link yang saling terhubung• Model jaringan syaraf tiruan a.l:

– Perceptron, model yang sederhana– Multilayer ANN, model yang kompleks

Teknik Pengklasifikasi ... 10

PerceptronTabel ini terdiri atas 3 variabel bolean (x1, x2, x3) & variabel output y yg bernilai -1 jika paling sedikit duainput = 0, dan +1 jika paling sedikit dua input lebihbesar dari 0.

Teknik Pengklasifikasi ... 11

Perceptron (lanj.)• Perceptron terdiri atas 2 nodes : input node utk me-

representasikan atribut input, dan output node utk me-representasikan output model.

• Setiap input node dihubungkan ke output node dgn link bobot. Bobot ini digunakan utk menggbrkan kekuatanantara input node.

• Digunakan utk menyelesaikan kasus klasifikasi utk duaklas saja.

• Model utk menghitung output :1, jika 0.3x1 + 0.3x2 + 0.3x3 – 0.4 > 0

y = -1, jika 0.3x1 + 0.3x2 + 0.3x3 – 0.4 < 0

Teknik Pengklasifikasi ... 12

Multilayer ANN

• Model jaringan syaraf tiruan yg kompleks daripadaperceptron disebut multilayer ANN, dikarenakan padajaringan terdapat beberapa layer perantara antara layer input & output, seperti pada gambar di bawah ini.

Teknik Pengklasifikasi ... 13

Teknik Pengklasifikasi ... 14