Upload
ana-maulida
View
116
Download
0
Embed Size (px)
Citation preview
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 1/41
Jaringan Syaraf Tiruan
PKB - Antonie
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 2/41
Biological Inspiration
� Animals are able to react adaptively to
changes in their external and internal
environment, and they use their nervoussystem to perform these behaviours.
� The nervous system is build by relatively
simple units, the neurons, so copying their
behavior and functionality should be the
solution.
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 3/41
Human Brain
� Bertugas untuk memproses informasi
� Seperti prosesor sederhana
� Masing-masing cell tersebut berinteraksi
mendukung kinerja otak� Setiap sel (neuron) memiliki satu nukleus
(soma), bertugas memproses informasi,informasi diterima oleh dendrit, dan disebarkan
melalui akson� Pertemuan informasi antar syaraf berada disinapsis
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 4/41
Human Brain
� Manusia memiliki krg lbh 10^12 neuron! Dan6x10^18 sinapsis!
� Informasi yang dikirimkan berupa rangsangan
dengan sebuah batas ambang (threshold) ± Pada batas tertentu, syaraf lain akan teraktifasi dan
merespon
� Hubungan antar syaraf terjadi secara dinamis
� Otak manusia memiliki kemampuan untukbelajar dan beradaptasi ± Mampu mengenali pola, wajah, mengkontrol organ
tubuh!
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 5/41
Human Neuron
Dendrites
Soma (cell body)
Axon
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 6/41
Human Neuron (Detail)
synapses
axondendrites
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 7/41
Human Brain
� Neuron merupakan sistem yang faulttolerance
± Dapat mengenali sinyal input yang berbeda
dari sebelumnya� Dapat mengenali orang yg blm pernah ditemui
hanya dengan melihat dari foto
� Dapat mengenali orang yang berubah krn tua
misalnya ± Tetap dapat bekerja walau beberapa
neuronnya rusak, neuron lain dapat tumbuhdan dilatih
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 8/41
Learning in biological systems
Learning = learning by adaptation
The young animal learns that the green fruits are sour,
while the yellowish/reddish ones are sweet. The learning
happens by adapting the fruit picking behavior.
At the neural level the learning happens by changing of the
synaptic strengths, eliminating some synapses, and
building new ones.
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 9/41
Learning as optimisation
The objective of adapting the responses on the basis of the
information received from the environment is to achieve a
better state. E.g., the animal likes to eat many energy rich, juicy fruits that make its stomach full, and makes it feel
happy.
In other words, the objective of learning in biological
organisms is to optimise the amount of available resources,
happiness, or in general to achieve a closer to optimal state.
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 10/41
JST
� Suatu sistem pemrosesan informasi yang mencobameniru kinerja otak manusia
� Merupakan generalisasi model matematis denganasumsi: ± Pemrosesan informasi terjadi pada elemen sederhana (=neuron)
± Sinyal dikirimkan diantara neuron-neuron melalui penghubung(=dendrit dan akson)
± Penghubung antar elemen memiliki bobot yang akan menambahatau mengurangi sinyal
± Untuk menentukan output, setiap neuron memiliki fungsi aktivasi(biasanya non linier) yang dikenakan pada semua input
± Besar output akan dibandingkan dengan threshold
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 11/41
JST
� Baik tidaknya suatu model JST ditentukanoleh:
± Pola antar neuron (arsitekur jaringan)
± Metode untuk menentukan dan mengubahbobot (disebut metode learning)
± Fungsi aktivasi
� JST disebut juga: brain metaphor,computational neuroscience, paralleldistributed processing
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 12/41
JST
� JST dapat belajar dari pengalaman!
� Biasanya berhubungan dengan angka (numerik)sehingga data yang tidak numerik harus dibuatke numerik
� Tidak ada rumus yang tetap (fixed) sehinggadisebut dengan free-estimator!
� JST disebut black box atau tidak transparankarena tidak mampu menjelaskan bagaimana
suatu hasil didapatkan!� JST mampu menyelesaikan permasalahan yang
tidak terstruktur dan sulit didefinisikan!
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 13/41
Kelebihan JST
� Mampu mengakuisisi pengetahuan walau tidakada kepastian
� Mampu melakukan generalisasi dan ekstraksidari suatu pola data tertentu
� JST dapat menciptakan suatu pola pengetahuanmelalui pengaturan diri atau kemampuan belajar (self organizing)
� Memiliki fault tolerance, gangguan dapat
dianggap sebagai noise saja� Kemampuan perhitungan secara paralel
sehingga proses lebih singkat
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 14/41
JST mampu:
� Klasifikasi: memilih suatu input data ke dalam
kategori tertentu yang sudah ditetapkan
� Asosiasi: menggambarkan suatu obyek secara
keseluruhan hanya dengan bagian dari obyeklain
� Self organizing: kemampuan mengolah data-
data input tanpa harus mempunyai target
� Optimasi: menemukan suatu jawaban terbaik
sehingga mampu meminimalisasi fungsi biaya
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 15/41
Kelemahan JST
� Kurang mampu untuk melakukan operasi
operasi numerik dengan presisi tinggi
� Kurang mampu melakukan operasialgoritma aritmatik, operasi logika dan
simbolis
� Lamanya proses training yang mungkin
terjadi dalam waktu yang sangat lama
untuk jumlah data yang besar
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 16/41
Aplikasi JST
� Pengenalan pola (pattern recognition) ± Huruf, tanda tangan, suara, gambar yang sudah
sedikit berubah (mengandung noise)
± Identifikasi pola saham
± Pendeteksian uang palsu, kanker
� Signal Processing ± Menekan noise pada saluran telepon
� Peramalan
± Peramalan saham� Autopilot dan simulasi
� Kendali otomatis otomotif
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 17/41
Aplikasi JST
Tasks to be solved by artificial neural networks:
� controlling the movements of a robot based on self-
perception and other information (e.g., visual
information);
� deciding the category of potential food items (e.g.,
edible or non-edible) in an artificial world;
� recognizing a visual object (e.g., a familiar face);
� predicting where a moving object goes, when a robot
wants to catch it.
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 18/41
Sejarah
� Model JST formal pertama diperkenalkan olehMcCulloch dan Pitts (1943)
� 1949, Hebb mengusulkan jaringan Hebb
� 1958, Rosenblatt mengembangkan perceptronuntuk klasifikasi pola
� 1960, Widrow dan Hoff mengembangkan ADALINE dengan aturan pembelajaran LeastMean Square (LMS)
� 1974, Werbos memperkenalkan algoritmabackpropagation untuk perceptron banyaklapisan
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 19/41
Sejarah
� 1982, Kohonen mengembangkan learning unsuperviseduntuk pemetaan
� 1982, Grossberg dan Carpenter mengembangkan Adaptive Resonance Theory (ART, ART2, ART3)
� 1982, Hopfield mengembangkan jaringan Hopfield untukoptimasi
� 1985, Algoritma Boltzmann untuk jaringan syaraf probabilistik
� 1987, dikembangkan BAM (Bidirectional AssociativeMemory)
� 1988, dikembangkan Radial Basis Function
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 20/41
Model Neuron JST
X1
X2
X3
Y1
Y2
Y3
W1
W2
W3
Fungsi aktivasi
Masukkan Keluaran
Bobot
Y1 = X1.W1 + X2.W2 + X3.W3; dst«
)(;1
z H y xw z n
i
ii!!§
!
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 21/41
Model Neuron
� Pada JST, neuron-neuron akan dikumpulkan
dalam lapisan lapisan yang disebut dengan
layers
� Neuron dalam satu lapisan akan dihubungkandengan neuron pada lapisan lainnya
� Kadang muncul juga layer tersembunyi (hidden
layer) untuk menambah keakuratan pelatihan
� Informasi tersebut bisa dirambatkan secara
forward ataupun backward
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 22/41
Istilah dalam JST
� Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST
� Jaringan: bentuk arsitektur JST, kumpulan neuron yang salingberhubungan dan membentuk lapisan
� Input: sebuah nilai input yang akan diproses menjadi nilai output
� Output: solusi dari nilai input
� Hidden layer: lapisan yang tidak terkoneksi secara langsung denganlapisan input atau output, memperluas kemampuan JST
� Bobot: nilai matematis dari sebuah koneksi antar neuron
� Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilaibobot per-iterasi dari semua nilai input. ± Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya
dan kemudian menjumlahkannya (disebut penjumlahan sigma) ± Berbentuk linier atau tidak linier, dan sigmoid
� Paradigma pembelajaran: bentuk pembelajaran, supervisedlearning, atau unsupervised learning
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 23/41
JST dengan 3 layer
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 24/41
Arsitektur Jaringan
� Single Layer ± Hanya memiliki satu lapisan dengan bobot-bobot terhubung.
± Langsung menerima input dan mengolahnya menjadi outputtanpa menggunakan hidden layer
� MultiL
ayer ± Memiliki satu atau lebih lapisan input, satu atau lebih lapisanoutput, dan lapisan tersembunyi
± Dapat menyelesaikan masalah yang lebih kompleks karena lebihakurat
± Fungsi pembelajarannya lebih rumit
� Kompetitive Model / Recurrent Model ± Hubungan antar neuron tidak diperlihatkan secara langsung
pada arsitektur
± Hubungan antar neuron dapat digambarkan sebagai jaring yangrumit
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 25/41
Model JST
� Single Layer � Multi Layer
� Competitive Layer /
Recurrent
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 26/41
Pengelompokkan JST
� JST Feed Forward
± Tidak mempunyai loop
± Contoh: single layer perceptron, mutilayer perceptron, radial basis function
� JST Feed Backward (Recurrent)
± Memiliki loop, lapisan output akan memberi
input lagi bagi lapisan input
± Contoh: competitive networks, kohonen,
hopfield, ART
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 27/41
Paradigma pembelajaran
� Supervised Learning ± Kumpulan input berusaha membentuk target output yang sudah
diketahui sebelumnya
± Perbedaan antara output yang masih salah dengan output yangdiharapkan harus sekecil mungkin
± Biasanya lebih baik daripada unsupervised ± Kelemahan: pertumbuhan waktu komputasi eksponensial, data
bnyk berarti semakin lambat
� Unsupervised Learning ± JST mengorganisasikan dirinya untuk membentuk vektor-vektor
input yang serupa tanpa menggunakan data atau contoh-contohpelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu
� Hibrida Learning ± Gabungan antara unsupervised dan supervised
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 28/41
Algoritma Pembelajaran Umum
� Dimasukkan n data pelatihan
� Inisialisasi bobot-bobot jaringan, set i = 1
� Masukkan contoh ke-i ke dalam input
� Cari tingkat aktivasi unit output menggunakanalgoritma yang ditetapkan ± If memenuhi kriteria output then exit
else:
� Update bobot2 menggunakan fungsi galat error,Bobot baru = bobot lama + delta
� If i=n then reset i=1, else i=i+1
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 29/41
JST dan Aplikasi
� Klasifikasi: ADALINE, Backpropagation
� Pengenalan Pola: ART, Backpropagation
� Peramalan: ADALINE, MADALINE,Backpropagation
� Optimasi: ADALINE, Hopfield, Boltzman,
Backpropagation
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 30/41
Fungsi Aktivasi
� Fungsi undak biner (hard limit)
� Fungsi undak biner (threshold)
U
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 31/41
Fungsi Aktivasi
� Fungsi bipolar
� Fungsi bipolar dengan threshold
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 32/41
Fungsi Aktivasi
� Fungsi Linier (identitas)
� Fungsi Sigmoid biner
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 33/41
McCulloch Pitts
� Fungsi aktivasi biner
� Besar bobotnya sama
� Memiliki threshold yang sama
Contoh buat fungsi logika ³and´, input X1 dan X2, dan Y =1 jika dan hanya jika inputan 1
X1 X2 Y
1 1 11 0 0
0 1 0
0 0 0
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 34/41
Jawab
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 00 1 0.1+1.1=1 0
0 0 0.1+0.1=0 0
Ternyata BERH ASIL mengenali pola
X
1
X2
Y
2
1
1
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 35/41
Problem ³OR´
X1 X2 net Y, 1 jika net >=1, 0 jika net < 1
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 10 1 0.1+1.1=1 1
0 0 0.1+0.1=0 0
Ternyata BERH ASIL mengenali pola
X1
X2
Y
1
1
1
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 36/41
Problem ³X1 and not(X2)´
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.2+1.-1=1 0
1 0 1.2+0.-1=2 10 1 0.2+1.-1=-1 0
0 0 0.2+0.-1=0 0
Ternyata BERH ASIL mengenali pola
X1
X2
Y
2
2
-1
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 37/41
Problem ³XOR´
X1 X2 Y
1 1 0
1 0 10 1 1
0 0 0
GAGAL!
F(1,1) = 0
F(1,0) = 1F(0,0) = 0
F(0,1) = 1
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 38/41
Solusi
� XOR = (x1 ^ ~x2) V (~x1 ̂ x2)
� Ternyata dibutuhkan sebuah layer
tersembunyi
X1
X2
Z1
Z2
Y
2
2
-1
-1
1
1
2
2
1
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 39/41
Tabel
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 40/41
Jaringan HEBB
� Menggunakan iterasi untuk menghitung bobot dan bias
� Dalam setiap iterasi, bobot dan bias diubah berdasarkanrumus tertentu
� W = bobot
� Wbaru = Wlama + X1Y1
� Algoritma: ± Init, semua bobot wi = 0
± Untuk semua input:
� Set fungsi aktivasi xi = si� Set output y=t
� Perbaiki bobot: w(baru) = w(lama) + delta w, dengan delta w = xi*y
� Perbaiki bias, b(baru) = b(lama) + y
5/7/2018 Jaringan Syaraf Tiruan - slidepdf.com
http://slidepdf.com/reader/full/jaringan-syaraf-tiruan-559abb3336c41 41/41
To Be Continued
� Jaringan HEBB
� Jaringan Perceptron
� Jaringan Back Propagation� Hybrid JST