JST - Materi 1

PowerPoint Presentation

Jaringan Syaraf Tiruan

Dwi Marisa Midyanti, ST, M.Cs

Aturan PerkuliahanToleransi keterlambatan 15 menit dari Jadwal perkuliahan di mulaiSelama perkuliahan HP SilentMahasiswa wajib menggunakan pakaian berkerah dan bersepatuMahasiswa wajib membawa DHK

Aturan UTS dan UASTidak di berikan ujian susulan baik UTS dan UAS (kecuali menyertakan surat keterangan orang tua, wali/sakit)Tidak diberikan tugas susulan, maupun penerimaan tugas yang terlambat dikumpul sesuai jadwalBila terdapat kecurangan/nama terdaftar dalam berita acara ujian langsung diberikan nilai EWajib membawa buku kuning selama melangsungkan ujian

Etika Mahasiswa

Sistem PenilaianAbsen : 10 %Tugas /Quiz: 20 %UTS :30 % * Ujian* PresentasiUAS:40 %* Ujian* Program

Buku ReferensiPuspaningrum, D., 2006, Pengantar Jaringan Syaraf Tiruan, Yogyakarta: Andi.

Fausett, L., Fundamentals Of Neural Networks, Architectures, algorithms, and applications

Jaringan Syaraf TiruanApa yang dimaksud dengan Jaringan Syaraf Tiruan (JST) ???

JST adalah suatu sistem pemrosesan informasi yang mempunyai karakteristik menyerupai jaringan syaraf manusia/Biologis (JSB).

Jaringan Syaraf Biologis

Merupakan kumpulan dari sel-sel saraf (neuron)Neuron bertugas untuk mengolah informasiNeuron bekerja berdasarkan impuls/sinyal Tiap neuron dihubungkan dengan sel syaraf lain (sinapsis)Komponen neuron terdiri dari 3 bagian :Dendrit, untuk menerima informasiBadan Sel (Soma), sebagai tempat pengolahan informasiAkson (Neurit), mengirimkan impuls-impuls ke sel saraf lainnya.


Cara kerja Jaringan Syaraf Biologis (JSB) :Dendrit menerima sinyal dari neuron lainSinyal berupa impulse elekrik dikirim melalui celah sinaptikSinyal dapat diperkuat/diperlemah di celah sinaptikSoma menjumlahkan semua sinyal-sinyal yang masukJika kuat dan memenuhi batas tertentu (nilai ambang/ threshold) akan diteruskan ke sel lain melalui axonKekuatan sinapsis bisa menurun / meningkat tergantung seberapa besar tingkat propagasi (penyiaran) sinyal yang diterimanya.


Neuron merupakan sistem yang fault toleranceDapat mengenali sinyal input yang berbeda dari sebelumnyaDapat mengenali orang yg blm pernah ditemui hanya dengan melihat dari fotoDapat mengenali orang yang berubah krn tua misalnyaOtak manusia tetap mampu bekerja meskipun beberapa neuronnya tidak mampu bekerja dengan baikSebuah neuron rusak, neuron lain dpt dilatih menggantikan fungsi sel yang rusak.



Cara kerja Jaringan Syaraf Tiruan (JST) :Pemrosesan informasi terjadi pada elemen sederhana (=neuron)Sinyal dikirimkan diantara neuron-neuron melalui penghubung (=dendrit dan akson)Penghubung antar elemen memiliki bobot yang akan menambah atau mengurangi sinyalUntuk menentukan output, setiap neuron memiliki fungsi aktivasi (biasanya non linier) yang dikenakan pada semua inputBesar output akan dibandingkan dengan threshold

Kelebihan JST

Mampu mengakuisisi pengetahuan walau tidak ada kepastianMampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentuJST dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing)Memiliki fault tolerance, gangguan dapat dianggap sebagai noise sajaKemampuan perhitungan secara paralel sehingga proses lebih singkat

13

Kekurangan JST

Kurang mampu untuk melakukan operasi operasi numerik dengan presisi (ketepatan) tinggiKurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolisLamanya proses training yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar

JST

Klasifikasi: memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkanAsosiasi: menggambarkan suatu obyek secara keseluruhan hanya dengan bagian dari obyek lainSelf organizing: kemampuan mengolah data-data input tanpa harus mempunyai targetOptimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biaya

Aplikasi JST

Pengenalan pola (pattern recognition)Huruf, tanda tangan, suara, gambar yang sudah sedikit berubah (mengandung noise)Identifikasi pola sahamPendeteksian uang palsu, kankerSignal ProcessingMenekan noise pada saluran teleponPeramalanPeramalan sahamAutopilot dan simulasiKendali otomatis otomotif

Sejarah JST

TahunKeterangan1943Model JST formal pertama diperkenalkan oleh McCulloch dan Pitts 1949Hebb mengusulkan jaringan Hebb1958Rosenblatt mengembangkan perceptron untuk klasifikasi pola1960Widrow dan Hoff mengembangkan ADALINE dengan aturan pembelajaran Least Mean Square (LMS)1974Werbos memperkenalkan algoritma backpropagation untuk perceptron banyak lapisan1982Kohonen mengembangkan learning unsupervised untuk pemetaan1982Grossberg dan Carpenter mengembangkan Adaptive Resonance Theory (ART, ART2, ART3)1982Hopfield mengembangkan jaringan Hopfield untuk optimasi1985Algoritma Boltzmann untuk jaringan syaraf probabilistik1987dikembangkan BAM (Bidirectional Associative Memory)1988dikembangkan Radial Basis Function

Istilah dalam JST

Neuron : sel syaraf tiruan yang merupakan elemen pengolah JSTJaringan : bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisanInput : sebuah nilai input yang akan diproses menjadi nilai outputOutput : solusi dari nilai inputHidden layer : lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan JSTBobot : nilai matematis dari sebuah koneksi antar neuronFungsi aktivasi : fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input.Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)Berbentuk linier atau tidak linier, dan sigmoidParadigma pembelajaran : bentuk pembelajaran, supervised learning, atau unsupervised learning

Arsitektur Jaringan JST

Single LayerHanya memiliki satu lapisan dengan bobot-bobot terhubung.Langsung menerima input dan mengolahnya menjadi output tanpa menggunakan hidden layer


Multi LayerMemiliki satu atau lebih lapisan input, satu atau lebih lapisan output, dan lapisan tersembunyiDapat menyelesaikan masalah yang lebih kompleks karena lebih akuratFungsi pembelajarannya lebih rumit


Kompetitive Model / Recurrent Model

Hubungan antar neuron tidak diperlihatkan secara langsung pada arsitektur

Hubungan antar neuron dapat digambarkan sebagai jaring yang rumit

Pengelompokkan JST

JST Feed ForwardTidak mempunyai loopContoh: single layer perceptron, mutilayer perceptron, radial basis function

JST Feed Backward (Recurrent)Memiliki loop, lapisan output akan memberi input lagi bagi lapisan inputContoh: competitive networks, kohonen, hopfield, ART

Paradigma Pembelajaran JST

Supervised Learning (Terawasi)Kumpulan input berusaha membentuk target output yang sudah diketahui sebelumnyaPerbedaan antara output-output aktual dengan output-output yang diinginkan digunakan untuk mengoreksi bobot JST agar JST dapat menghasilkan jawaban sedekat (semirip) mungkin dengan jawaban yang benar yang telah diketahui oleh JST Biasanya lebih baik daripada unsupervisedKelemahan: pertumbuhan waktu komputasi eksponensial, data bnyk berarti semakin lambatContoh : Hebbian, Perceptron, Adaline, Back Propagation, LVQ (Learning Vector Quantization)

Paradigma Pembelajaran JST

Unsupervised Learning (Tidak Terawasi)JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu.Struktur menggunakan dasar data atau korelasi antara pola-pola data yang dieksplorasi.Contoh : Kohonen, ART

Hibrida LearningGabungan antara unsupervised dan supervisedSebagian dari bobot-bobotnya ditentukan melalui pembelajaran terawasi dan sebagian lainnya melalui pembelajaran tak terawasiContoh : RBF

Paradigma Pembelajaran Terawasi

Aturan PembelajaranArsitekturAlgoritma PembelajaranBidang KerjaPengkoreksian errorPerceptron lapis tunggal/ multilapisPerceptronBackpropagationAdaline & MadalineKlasifikasi PolaAproksimasi fungsiPrediksi, KontrolBoltzmannRecurrent (Berulang)BoltzmannKlasifikasi PolaHebbianUmpan maju multilapis (Multilayer feedforward)Analisis Diskriminan linearAnalisa DataKlasifikasi PolaKompetitifKompetitif

Jaringan ARTLVQ (Learning vector Quantization)

ARTMapKategor KelasKompresi Data

Klasifikasi PolaKategori Kelas

Paradigma Pembelajaran Tidak Terawasi

Aturan PembelajaranArsitekturAlgoritma PembelajaranBidang KerjaPengkoreksian errorMultilayer feedforwardProyeksi SammonAnalisa DataHebbianUmpan maju atau kompetitif

Hopfield netAnalisa Komponen Prinsipal

Aturan memori AsosiatifAnalisa DataKompresi Data

Memori AsosiatifKompetitifKompetitif

Kohonen SOM

Jaringan ARTKuantisasi vektor

Kohonen SOM

ART1, ART2KategorisasiKompresi Data

KategorisasiAnalisis Data

Kategorisasi

Paradigma Pembelajaran Hybrid

Aturan PembelajaranArsitekturAlgoritma PembelajaranBidang KerjaPengkoreksian error dan kompetitifJaringan RBFAlgoritma RBFKlasifikasi polaAproksimasi fungsiPrediksiKontrol

Fungsi Aktivasi

Dipakai untuk menentukan keluaran suatu neuronMerupakan fungsi yang menggambarkan hubungan antara tingkat aktivasi internal (summation function) yang mungkin berbentuk linier atau nonlinear. Beberapa fungsi aktivasi JST diantaranya hard limit, purelin, dan sigmoid.

Fungsi Aktivasi

Fungsi undak biner (hard limit)

Fungsi undak biner (threshold)

Fungsi Aktivasi

Fungsi bipolar

Fungsi bipolar dengan threshold

Fungsi Aktivasi

Fungsi Linier (identitas)

Fungsi Sigmoid biner

Fungsi Aktivasi

Fungsi Linier (identitas)

Fungsi Sigmoid biner

McCulloch PittsFungsi aktivasi binerBesar bobotnya samaMemiliki threshold yang sama

Contoh buat fungsi logika and, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1

X1X2Y111100010000

JawabX1X2net Y, 1 jika net >=2, 0 jika net < 2111.1+1.1=21101.1+0.1=10010.1+1.1=10000.1+0.1=00

BERHASIL mengenali pola

X1X2

Y

2

11

Problem ORX1X2net Y, 1 jika net >=1, 0 jika net < 1111.1+1.1=21101.1+0.1=11010.1+1.1=11000.1+0.1=00


X1X2

Y

1

11

Problem X1 and not(X2)X1X2net Y, 1 jika net >=2, 0 jika net < 2111.2+1.-1=10101.2+0.-1=21010.2+1.-1=-10000.2+0.-1=00


X1X2

Y

2

2-1

Problem XORX1X2Y110101011000

GAGAL!

F(1,1) = 0F(1,0) = 1F(0,0) = 0F(0,1) = 1

SolusiXOR = (x1 ^ ~x2) V (~x1 ^ x2)Ternyata dibutuhkan sebuah layer tersembunyi

X1X2Z1Z2Y

22-1-111221

Tabel

Documents

JST - Materi 1