Pengenalan Tanda Tangan Menggunakan Metode Jaringan Saraf ...dinus.ac.id/repository/docs/ajar/Learning_03.pdfJARINGAN SARAF TIRUAN (JST) oOtak terdiri dari neuron-neuron dan penghubung

  • View
    216

  • Download
    1

Embed Size (px)

Text of Pengenalan Tanda Tangan Menggunakan Metode Jaringan Saraf...

  • LEARNINGARTIFICIAL INTELLIGENT

  • OUTLINE Decision tree learning

    Jaringan Syaraf Tiruan

    K-Nearest Neighborhood

    Nave Bayes

  • JARINGAN SYARAF TIRUAN (JST)

    Intro

    Definisi ANN

    Model Matematis Neuron

    Fungsi Aktivasi

    Arsitektur ANN

    Proses Belajar (Learning)

    Perceptron

    ANN dengan Supervised Learning

    ANN dengan Unsupervised Learning

    Permasalahan pada ANN

  • JARINGAN SARAF TIRUAN (JST)

    oOtak terdiri dari neuron-neuron dan penghubung yang disebut sinapsis

    oNeuron bekerja berdasarkan sinyal/impuls yang diberikan pada neuron

    oNeuron memiliki 3 komponen penting yaitu dendrit, soma dan axon

    Treshold

    Dendrit Badan Sel

    Akson

  • o jaringan saraf tiruan adalah paradigma pengolahan informasi yangterinspirasi oleh sistem saraf secara biologis

    o JST dibentuk sebagai generalisasi model matematika dari jaringan syarafbiologi, dengan asumsi bahwa :

    1. Pemrosesan informasi terjadi pada panyak elemen sederhana (neuron).

    2. Sinyal dikirim diantara neuron-neuron melalui penghubung-penghubung.

    3. Penghubung antar neuron memiliki bobot yang akan memperkuat ataumemperlemah sinyal.

    4. Untuk menentukan output, setiap neuron menggunakan fungsi aktivas.Besarnya output ini selanjutnya dibandingkan dengan suatu batas ambang.

    o JST juga ditentukan oleh 3 hal :

    a. Pola hubungan antar neuron (disebut aritektur jaringan).

    b. Metode untuk menentukan bobot penghubung (disebut metodetraining/learning).

    c. Fungsi aktivasi, yaitu fungsi yang digunakan untuk menentukan keluaransuatu neuron.

  • KOMPONEN JST

    oJaringan saraf tiruan memiliki komponen yang digunakan dalam membangunsuatu arsitektur-arsitektur jaringan

    oNeuron dikelompokkan ke dalam beberapa lapisan yang mana saling memilikihubungan satu dengan yang lainnya yang disebut dengan lapisan (layer)

    1. Lapisan Masukan (Input Layer), berisi node-node yang masing-masingmenyimpan sebuah nilai masukan

    2. Lapisan Tersembunyi (Hidden Layer), proses pada fase pelatihan dan fasepengenalan dijalankan di lapisan ini

    3. Lapisan Keluaran (Output Layer), menampilkan hasil perhitungan sistem

  • ARSITEKTUR JST

    oJaringan dengan lapisan tunggal (single layer network)

  • oJaringan dengan banyak lapisan (Multi layer network)

  • PERCEPTRON

    Neuron: Sel syaraf biologis

    Perceptron: Sel syaraf buatan

    Input function

    Activation function

    Output

  • Perceptron

    w

    w

    x1

    xp

    x2.

    .

    .

    y

  • PERCEPTRON

    Jika manusia punya 10 milyar neuron, apa yang bisa dilakukan?

    Sangat banyak hal bisa dilakukan

    Apalagi jika Multiple Intelligence

    Perceptron = MODEL SEDERHANA dari neuron

    Apa yang bisa dilakukan oleh satu perceptron?

    Klasifikasi

    Prediksi

    Optimasi,

  • AND

    0 1

    1

    x1

    x2

    x1 x2 y

    0 0 0

    0 1 0

    1 0 0

    1 1 1

    x1 + x2 1,5 = 0

    w1.x1 + w2.x2 1,5 = 0

  • AND

    x1 x2 y

    0 0 0

    0 1 0

    1 0 0

    1 1 1

    1

    0v

    vif

    vifv

    0

    1)(

    )(v

    = 1,5

    w = 1

    w = 1

    x1

    x2

    y

    p

    i

    ii xwv1

    y

  • OR

    0 1

    1

    x1

    x2x1 x2 y

    0 0 0

    0 1 1

    1 0 1

    1 1 1

    x1 + x2 0,5 = 0

  • OR

    x1 x2 y

    0 0 0

    0 1 1

    1 0 1

    1 1 1

    = 0,5

    w = 1

    w = 1

    x1

    x2

    y

    1

    0v

    vif

    vifv

    0

    1)(

    )(v

    p

    i

    ii xwv1

    y

  • XOR

    0 1

    1

    x1

    x2

    x1 x2 y

    0 0 0

    0 1 1

    1 0 1

    1 1 0

    x1 - x2 - 0,5 = 0

    x1 - x2 + 0,5 = 0

  • XOR

    = 0,5

    w = -1x1

    y

    w = -1x2

    w = 1

    w = 1 = 0,5

    w = 1

    w = 1

    y

    = 0,5

    y

    y

    x1 x2 y

    0 0 0

    0 1 1

    1 0 1

    1 1 0

  • PERCEPTRON NETWORK

    y

    y

    y

    w

    w

    x1

    xp

    x2.

    .

    .

  • LEARNING

    Bagaimana menemukanweights yang tepat?

    Meminimumkan error

  • x1

    x2

    w1x1 + w2x2 - = 0

  • x1

    x2

  • ACTIVATION FUNCTIONS

    Hard Limit

    Threshold

    Linear (Identity)

    Sigmoid

    Radial Basis Function (RBF)

  • 1

    0v

    00

    01)(

    vif

    vifv

    )(v

    HARD LIMIT

  • 1

    0v

    vif

    vifv

    0

    1)(

    )(v

    THRESHOLD

  • SYMETRIC HARD LIMIT

    1

    -1

    v

    01

    00

    01

    )(

    vif

    vif

    vif

    v

    )(v

    0

  • BIPOLAR THRESHOLD

    1

    0v

    )(v

    vif

    vif

    vif

    v

    1

    0

    1

    )(

    -1

  • LINEAR (IDENTITY)

    1

    -1

    v

    vv )()(v

    0 1-1

  • PIECEWISE-LINEAR

    5,0jika0

    5,05,0jika5,0

    5,0jika1

    )(

    v

    vv

    v

    v

    1

    0v

    0,5-0,5

    )(v

  • SYMETRIC PIECEWISE-LINEAR

    1jika1

    11jika

    1jika1

    )(

    v

    vv

    v

    v

    1v

    )(v

    1

    -1

    -1

  • SIGMOID

    avev

    1

    1)(

    1

    0v

    )(v

  • SYMETRIC (BIPOLAR) SIGMOID

    av

    av

    e

    ev

    1

    1)(

    1

    0v

    )(v

    -1

  • RADIAL BASIS FUNCTION (RBF)

    2

    )( avev

    1

    0v

    )(v

  • ARSITEKTUR ANN

    Para ahli memodelkan sel syaraf otak manusia ke dalam berbagai arsitektur ANN (susunan neuron) yang berbeda-beda.

    Masing-masing arsitektur menggunakan algoritma belajar khusus.

  • Input layer

    of source node

    Output layer

    of neurons

    SINGLE-LAYER FEEDFORWARD NETWORKS

  • Input layer

    of source

    node

    Layer of

    hidden

    neurons

    Layer of

    output

    neurons

    MULTI-LAYER FEEDFORWARD NETWORKS

  • PROSES BELAJAR (LEARNING)

    Learning process

    Learning algorithm (rules) Learning paradigms

    Supervised

    learning

    Reinforcement

    learningSelf-organized

    (unsupervised)

    learning

    Error-correction

    learning

    Bolzman

    learningThorndike's

    law of

    effect

    Hebbian

    learning

    Competitive

    learning

  • PERCEPTRON: MODEL

  • PERCEPTRON: SIGNAL-FLOW GRAPH

    p

    i

    iixwv1

    01

    p

    i

    iixw Decision boundary

  • x1

    x2

    w1x1 + w2x2 - = 0

    Decision boundary

  • Pelamar IPK Psikologi Wawancara Diterima

    P1 Bagus Tinggi Baik Ya

    P2 Bagus Sedang Baik Ya

    P3 Bagus Sedang Buruk Ya

    P4 Bagus Rendah Buruk Tidak

    P5 Cukup Tinggi Baik Ya

    P6 Cukup Sedang Baik Ya

    P7 Cukup Sedang Buruk Ya

    P8 Cukup Rendah Buruk Tidak

    P9 Kurang Tinggi Baik Ya

    P10 Kurang Sedang Buruk Tidak

    P11 Kurang Rendah Baik Ya

  • Pelamar IPK Psikologi Wawancara Diterima

    P1 3 3 2 1

    P2 3 2 2 1

    P3 3 2 1 1

    P4 3 1 1 0

    P5 2 3 2 1

    P6 2 2 2 1

    P7 2 2 1 1

    P8 2 1 1 0

    P9 1 3 2 1

    P10 1 2 1 0

    P11 1 1 2 1

  • 01

    23

    4 0

    1

    2

    3

    4

    0

    1

    2

    3

    IPK

    Psikologi

    Waw

    ancara

  • PolaPix

    1

    Pix

    2

    Pix

    3

    Pix

    4

    Pix

    5

    Pix

    100

    E1 0 0 1 1 1 0

    F1 0 0 1 1 1 0

    G1 0 1 1 1 1 1

    O1 0 1 1 1 1 1

    ..

    O5 0 1 1 1 1 1

  • MULTI-LAYER PERCEPTRON (MLP)

  • ALGORITMA BELAJAR PROPAGASI BALIK

    Definisikan masalah

    Matriks pola masukan (P)

    matriks target (T)

    Inisialisasi parameter jaringan

    Arsitektur jaringan (misalkan I-H-O)

    Synaptic weights acak (atau dengan metode tertentu)

    Learning rate (lr) laju belajar

    Threshold MSE untuk menghentikan learning

  • ALGORITMA BELAJAR PROPAGASI BALIK

    Pelatihan Jaringan

    Perhitungan Maju

    )1*1(1

    11

    BPWeA

    21*22 BAWA

    2ATE

    N

    EMSE

    2

  • ALGORITMA BELAJAR PROPAGASI BALIK

    Pelatihan Jaringan

    Perhitungan Mundur

    EAD *)21(2 2 )2*2(*)11(12 DWAD

    )*1*(11 PDlrdWdW )1*(11 DlrdBdB

    )*2*(22 PDlrdWdW )2*(22 DlrdBdB

  • ALGORITMA BELAJAR PROPAGASI BALIK

    Pelatihan Jaringan

    Perhitungan Mundur

    111 dWWW 111 dBBB

    222 dWWW 222 dBBB

  • ALGORITMA BELAJAR PROPAGASI BALIK

    Langkah-langkah di atas adalah untuk satu kali siklus pelatihan (satu epoch).

    Biasanya, pelatihan harus diulang-ulang lagi hingga jumlah siklus tertentu atau telah tercapai MSE yang diinginkan.

    Hasil akhir dari pelatihan jaringan adalah bobot-bobot W1, W2, B1 dan B2.

  • PolaPix

    1

    Pix

    2

    Pix

    3

    Pix

    4

    Pix

    5

    Pix

    100

    E1 0 0 1 1 1 0

    F1 0 0 1 1 1 0

    G1 0 1 1 1 1 1

    O1 0 1 1 1 1 1

    E2 0 0 1 1 1 0

    O5 0 1 1 1 1 1

    PENGENALAN KARAKTER E, F, G, O

    N1 N2 N3 N4 Kelas

    1 0 0 0 E

    0 1 0 0 F

    0 0 1 0 G

    0 0 0 1 O

    1 0 0 0 E

    0 0 0 1 O

    Matriks P Matriks T

  • 0.71

    -0.21

    0.33

    0.97

    -0.18

    0.62

    0.55

    -0.12

    0.75

    W1

    -0.52

    0.91

    0.29

    0.97

    -0.18

    0.62