Wykład 6Wykład 6 Neuropsychologia komputerowa Neuropsychologia komputerowa

Uczenie IISamoorganizacja i korekcja błędów

Włodzisław DuchUMK Toruń

Google: W Duch

Uczenie: rodzajeUczenie: rodzaje

1. Jak powinien wyglądać idealny system, który się uczy?

2. Jak uczy się człowiek?

Detektory (neurony) mogą zmieniać lokalne parametry ale chcemy osiągnąć zmianę działania całej sieci przetwarzającej informację.

Rozważymy dwa rodzaje uczenia, wymagające innych mechanizmów:

• Uczenie się wewnętrznego modelu środowiska (spontaniczne).

• Uczenie się zadania, postawionego przed siecią (nadzorowane).

• Połączenie jednego i drugiego.

Uczenie działańUczenie działań

Jeden neuron wyjściowy niewiele może się nauczyć.

Działanie = transformacja sensomotryczna, percepcja-działanie.

Stymulacja i wybór odpowiedniego działania, interpretacji, oczekiwań, planu ...

Jakiego rodzaju formy uczenia pozwala to wyjaśnić?

Jakie formy uczenia wymagają dodatkowych mechanizmów?

SymulacjaSymulacjaWybieramy Self_org.proj z Ch4.

Na siatce 5x5 mamy albo jedną linię poziomą lub pionową (10 wzorców), albo kombinację dwóch linii (45 wzorców).

Korelacja pomiędzy wszystkimi pikselami dla całej bazy wzorców da jednakową wartość.

Uczenie jest możliwe tylko dla poszczególnych linii.

Cud: reguła Hebba + kWTA wystarcza by sieć nauczyła się tworzyć prawidłowe reprezentacje wewnętrzne!

SymulacjaSymulacja4x5 = 20 neuronów ukrytych, kWTA.

Po nauczeniu (ok. 30 epok prezentacji wszystkich par linii), pojawiają się jednostki selektywnie działające dla pojedynczych linii, a więc tylko 2 dla dwóch, kombinatoryczna reprezentacja!

Początkowe reakcje jednostek na wzorce są przypadkowe, ale zwycięzca się szybko wzmacnia. Zostaje trochę (5) nieaktywnych jednostek, potrzebnych do nauczenia się nowych wzorców.

Jest samoorganizacja, nie ma jednak reprezentacji topograficznej, bo sąsiednie jednostki reagują na całkiem inne cechy.

Dodatkowe okienko: ile unikalnych wzorców wewnętrznych dla pojedynczych linii: 10 to znaczy, że wszystkie prawidłowe.

Mapy senso-motoryczneMapy senso-motoryczneSamoorganizację modeluje się na wiele sposobów; proste modele pomocne są w wyjaśnieniu jakościowych cech map topograficznych.

Rys za:

P.S. Churchland, T.J. Sejnowski,

The computational brain.

MIT Press, 1992

Mapy motoryczne i somatosensoryczneMapy motoryczne i somatosensoryczneMapy motoryczne i somatosensoryczneMapy motoryczne i somatosensoryczne

To bardzo uproszczony obraz, w rzeczywistości większość neuronów jest wielomodalna, neurony w korze ruchowej reagują na bodźce czuciowe, słuchowe i wzrokowe (neurony lustrzane), wiele wyspecjalizowanych obwodów percepcji-działania-nazywania.

Reprezentacja palców: plastycznośćReprezentacja palców: plastycznośćReprezentacja palców: plastycznośćReprezentacja palców: plastyczność

Ręka

Twarz

Przed Po stymulacjistymulacją

Najprostsze modeleNajprostsze modele

SOM lub SOFM (Self-Organized Feature Mapping) – self-organizing feature map, jeden z najbardziej popularnych modeli.

Jak mapy topograficzne mogą się utworzyć w mózgu?

Lokalne połączenia neuronów tworzą grupy silnie ze sobą oddziaływujących, słabiej na większe odległości i hamujących pobliskie grupy.

Historia:

von der Malsburg i Willshaw (1976), uczenie konkurencyjne, Hebbowskie z potencjałem „Mexican hat”, głównie układ wzrokowy.Amari (1980) – modele warstwowe tkanki neuronowej.Kohonen (1981) – uproszczenie bez hamowania; tylko dwa niezbędne czynniki: konkurencja i kooperacja.

SOMSOM: idea: ideaSOMSOM: idea: idea

Dane: wektory XT = (X1, ... Xd) z d-wymiarowej przestrzeni.

Siatka węzłów z lokalnymi procesorami (neuronami) w każdym węźle.

Lokalny procesor # j ma d parameterów adaptacyjnych W(j).

Cel: dostosuj parametry W(j) tak by modelować klastry w p-ni X.

Trenowanie SOMTrenowanie SOMTrenowanie SOMTrenowanie SOM

o

o

oox

x

xx=dane

siatka neuronów

N-wymiarowa

xo=pozycje wag neuronów

o

o o

o

o

o

o

o

przestrzeń danych

wagi wskazująna punkty w N-D

w 2-D

Demonstracje uczenia konkurencyjnego w Java: http://www.neuroinformatik.ruhr-uni-bochum.de/

ini/VDM/research/gsn/DemoGNG/GNG.html

SOMSOM algorithm: competition algorithm: competition

Nodes should calculate similarity of input data to their parameters.Input vector X is compared to node parameters W. Similar = minimal distance or maximal scalar product.

Competition: find node j=c with W most similar to X.

2( ) ( )

( )arg min

i

j ji

i

j

j

X W

c

X W

X W

Node number c is most similar to the input vector X It is a winner, and it will learn to be more similar to X, hence this is a “competitive learning” procedure.

Brain: those neurons that react to some signals pick it up and learn.

SOMSOM algorithm: cooperation algorithm: cooperation

Cooperation: nodes on a grid close to the winner c should behave similarly. Define the “neighborhood function” O(c):

2 20( , , ) ( )exp / ( )c c ch r r t h t r r t

t – iteration number (or time);

rc – position of the winning node c (in physical space, usually 2D).

||r-rc|| – distance from the winning node, scaled by c(t).

h0(t) – slowly decreasing multiplicative factor

The neighborhood function determines how strongly the parameters of the winning node and nodes in its neighborhood will be changed, making them more similar to data X

SOMSOM algorithm: dynamics algorithm: dynamics

Adaptation rule: take the winner node c, and those in its

neighborhood O(rc), change their parameters making them more

similar to the data X

( ) ( ) ( )

,

For

1 ,i i ii c

i O c

t t h r r t t t

W W X W

Select randomly new sample vector X, and repeat.

Decrease h0(t) slowly until there will be no changes.

Result:

• W(i) ≈ the center of local clusters in the X feature space

• Nodes in the neighborhood point to adjacent areas in X space

Mapy i zniekształceniaMapy i zniekształcenia

Initial distortions may slowly disappear or may get frozen ... giving the user a completely distorted view of reality.

Demonstracje za pomocą GNGDemonstracje za pomocą GNG

Growing Self-Organizing Networks demo

Parametery programu SOM:

t – iteracje

(t) = i (f / i )t/tmax określa krok uczenia

(t) = i (f / i )t/tmax określa rozmiar sąsiedztwa

2 2( , , , , ) ( )exp / ( )c ch r r t t r r t

Mapy 1x30 pokazują formację krzywych Peano.Można spróbować odtworzyć mapy Penfielda.

Mapowanie kWTA CPCAMapowanie kWTA CPCA

Niestety uczenie Hebbowskie nie wystarczy by nauczyć się dowolnej relacji pomiędzy wejściem i wyjściem.

Przykład z Rozdziału 5,opisany w 5.2.

Ch5, pat_assoc.proj

Symulacje dla 3 zadań, od łatwego do niemożliwego, bo wszystkie korelacje <xiyj> są identyczne.

Takie zadanie jest nieseparowalne.

Uczenie zadańUczenie zadańZ takim zadaniem nie mamy trudności, a uczenie Hebbowskie nie wystarczy by się go nauczyć; nie można się nauczyć dowolnej relacji pomiędzy wejściem i wyjściem.

Może to zrobić uczenie oparte na korekcji błędów.

Skąd bierze się cele? Od „nauczyciela”, lub konfrontując z przewidywaniami modelu wewnętrznego.

a) jawny sygnał wyjściowy i jego korekta (typowe);

b) wewnętrzne oczekiwanie i korekta;

c) oczekiwania rezultatów ruchu

d) rekonstrukcja wewnętrzna

Niezgodność modalności

Reguła DeltaReguła Delta

Idea:

wagi wik należy tak korygować by zmieniały się mocno dla dużych błędów i nie ulegały zmianie jeśli błędu nie ma, więc

wik ~ ||tk – ok|| si

Zmiana wagi jest proporcjonalna do wielkości pobudzenia przez wejścia si

Faza + jest prezentacją celu, faza – wynikiem sieci.

To jest reguła Delta.Oczekiwania mają się zrównać z generowanymi sygnałami.

Przypisywanie zasługPrzypisywanie zasług

Credit/blame assignment

wik = ||tk – ok|| si

Błąd jest lokalny, dla wzorca k.

Jeśli powstał duży błąd i wyjście ok jest znacznie mniejsze niż oczekiwane to neurony wejściowe o dużej aktywności jeszcze ją zwiększą. Jeśli wyjście ok jest znacznie większe niż oczekiwane to neurony wejściowe o dużej aktywności znacznie ją zmniejszą.

Np. wejścia si to ilość kalorii w różnym pożywieniu, wyjście to umiarkowana waga; za dużo to trzeba zmniejszyć wysokokaloryczne wagi (spożycie), za mało to trzeba zwiększyć.

Reprezentacje tworzone przez proces minimalizacji błędu są wynikiem najlepszego przypisania zasług do wielu jednostek, a nie największej korelacji (jak w modelach Hebbowskich).

Uczenie zadańUczenie zadań

Chcemy: uczenie Hebbowskie i uczenie wykorzystujące korekcję błędów, jednostki ukryte i biologicznie uzasadnione modele.

Kombinacja korekcji błędów i korelacji da się uzgodnić z tym co wiadomo o LTP/LTD

wij = [ xi yj + xi yj

]

Hebbowskie sieci modelują stany świata ale nie percepcje-działanie.

Korekcja błędu może się nauczyć mapowania stanów na działania.Niestety reguła delta dobra jest tylko dla jednostki wyjściowej, a nie ukrytej, bo trzeba jej podać cel.

Metoda wstecznej propagacji błędu potrafi uczyć jednostki ukryte.Ale nie ma dla niej dobrego uzasadnienia biologicznego ... .

SymulacjeSymulacje

Wybieramy z Ch5 pat_assoc.proj,

Opis: Rozdz. 5. 5

Reguła Delta potrafi się nauczyć trudnych odwzorowań, przynajmniej teoretycznie ...

Na początku jest CPCA; można sprawdzić, że żadne parametry nie pomagają; ale po przełączeniu na Delta też się nie udaje ...

Co robić? Trzeba się nauczyćpropagacji błędów.