1

Architecture Net, Simple Neural Net

2

Materi

1. Model Neuron JST

2. Arsitektur JST

3. Jenis Arsitektur JST

4. MsCulloh Pitts

5. Jaringan Hebb

3

Model Neuron JST

X1

X2

X3

Y1

Y2

Y3

W1

W2

W3

Fungsi aktivasi

Masukkan Keluaran

)(;1

zHyxwzn

i

ii

Bobot

Y1 = X1.W1 + X2.W2 + X3.W3; dst…

4

Model Neuron JST

Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers

Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya

Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan

Informasi tersebut bisa dirambatkan secara forward ataupun backward

5

Istilah dalam JST

Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST

Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisan

Input: sebuah nilai input yang akan diproses menjadi nilai output

Output: solusi dari nilai input Hidden layer: lapisan yang tidak terkoneksi secara

langsung dengan lapisan input atau output, memperluas kemampuan JST

Bobot: nilai matematis dari sebuah koneksi antar neuron Fungsi aktivasi: fungsi yang digunakan untuk mengupdate

nilai-nilai bobot per-iterasi dari semua nilai input. Fungsi aktivasi sederhana adalah mengakalikan input dengan

bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)

Berbentuk linier atau tidak linier, dan sigmoid

Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning

6

JST dengan 3 Layer

7

Arsitektur Jaringan

Pola di mana neuron-neuron pada JST disusun berhubungan erat dengan algoritma belajar yang digunakan untuk melatih jaringan.

Secara umum arsitektur jaringan dapat dibagi menjadi empat, yaitu:

Single layer feedforward networks

Multi layer feedforward networks

Recurrent Networks

Lattice Structure

8

Single layer Feedforward Net

Suatu JST biasanya diorganisasikan dalam bentuk lapisan-lapisan (layer).

Pada bentuk paling sederhana hanya terdapat input layer dan output layer, seperti pada gambar di samping

9

Multilayer Feedforward Net

Kelas kedua dari feedforward neural network adalah jaringan dengan satu atau lebih lapis tersembunyi (hidden layer).

10

Recurrent Networks

Recurrent neural network adalah jaringan yang mempunyai minimal satu feedback loop.

Sebagai contoh, suatu recurrent network bisa terdiri dari satu lapisan neuron tunggal dengan masing-masing neuron memberikan kembali outputnya sebagai input pada semua neuron yang lain

11

Recurrent Networks

12

Recurrent Networks

13

Lattice Structure

Sebuah lattice (kisi-kisi) terdiri dari array neuron berukuran satu dimensi, atau dua dimensi, atau lebih.

Berikut adalah lattice satu dimensi dengan 3 neuron yang mendapatkan masukan dari 3 node sumber.

14

Lattice Structure

Berikut adalah lattice dua dimensi dengan 3 kali 3 neuron yang mendapatkan masukan dari 3 node sumber

15

Pengelompokan JST

JST Feed Forward

Tidak mempunyai loop

Contoh: single layer perceptron, mutilayer perceptron, radial basis function

JST Feed Backward (Recurrent)

Memiliki loop, lapisan output akan memberi input lagi bagi lapisan input

Contoh: competitive networks, kohonen, hopfield, ART

16

McCulloch Pitts

Fungsi aktivasi biner Besar bobotnya sama Memiliki threshold yang sama

Contoh buat fungsi logika “and”, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1 X1 X2 Y 1 1 1 1 0 0 0 1 0 0 0 0

)(;1

zHyxwzn

i

ii

17

McCulloch Pitts

Contoh buat fungsi logika “or”, input X1 dan X2, dan Y = 0 jika dan hanya jika inputan 0 X1 X2 Y 1 1 1 1 0 1 0 1 1 0 0 0

)(;1

zHyxwzn

i

ii

18

Learning

Proses belajar dalam konteks JST dapat didefinisikan sebagai berikut:

Belajar adalah suatu proses di mana parameter-parameter bebas JST diadaptasikan melalui suatu proses perangsangan berkelanjutan oleh lingkungan di mana jaringan berada.

Metode belajar, yaitu:

Supervised learning (belajar dengan pengawasan)

Unsupervised learning (belajar tanpa pengawasan)

Hibrida learning (Gabungan Supervised dan Unsupervised)

19

Supervised Learning

Supervised learning adalah proses belajar yang membutuhkan guru, yaitu sesuatu yang memiliki pengetahuan tentang lingkungan.

Guru bisa direpresentasikan sebagai sekumpulan sampel input-output.

Pembangunan pengetahuan dilakukan oleh guru dengan memberikan respons yang diinginkan kepada JST.

Parameter-parameter jaringan berubah-ubah berdasarkan vektor latih dan sinyal kesalahan, yaitu perbedaan antara keluaran JST dan respons yang diinginkan.

Proses perubahan dilakukan dalam bentuk iterasi.

20

UnSupervised Learning

Unsupervised Learning atau self-organized learning tidak membutuhkan guru untuk membantu proses belajar.

Dengan kata lain, tidak ada sekumpulan sampel input-output atau fungsi tertentu untuk dipelajari oleh jaringan.

JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu

Salah satu contoh unsupervised learning adalah competitive learning, di mana neuron-neuron saling bersaing untuk menjadi pemenang.

21

Algoritma Pembelajaran Umum

Dimasukkan n data pelatihan

Inisialisasi bobot-bobot jaringan, set i = 1

Masukkan contoh ke-i ke dalam input

Cari tingkat aktivasi unit output menggunakan algoritma yang ditetapkan

Jika memenuhi kriteria output then

exit

else:

Update bobot2 menggunakan fungsi galat error, Bobot baru = bobot lama + delta

If i=n then reset i=1, else i=i+1

22

Simple Neuron

Arsitektur dasar dari semua kemungkinan model JST sederhana (single-layer) ditunjukkan pada gambar disamping

Terdiri dari sebuah layer input dan sebuah output

23

Bias dan Threshold

Bias

Threshold

24

Linear Separability

Output “yes” 1

Output “no” -1

Decision Boundary

25

Hebb Net

Hebb mengusulkan pembelajaran dengan memodifikasi bobot sedemikian shg dua hubungan neuron “on” dalam waktu yang bersamaan, kemudian bobot diantara kedua neuron tersebut bertambah

26

Algoritma Hebb Net

1. Inisialisasi bobot

2. Untuk setiap input training dan target output, s:t 1. Set aktifasi untuk input

2. Set aktifasi untuk output

3. Hitung bobot dan bias dengan

27

Fungsi AND (biner input & target)

State Perhitungan bobot

Decision Boundary

Proses

28

Fungsi AND (biner input & bipolar target)

State Perhitungan bobot

Decision Boundary

Proses

Pemilihan pola pembelajaran memberikan peranan penting!

29

Fungsi AND (bipolar input & target)

State Perhitungan bobot

Decision Boundary

Proses

Latihan

Buatlah manual atau implementasi dari pengenalan kedua pola berikut:

30