Vybrané kapitoly z „machine learning“

Mária Markošová

Stochastické metódy vyhľadávania

-simulované žíhanie (simulated annealing)

-evolučné algoritmy (adaptive search by evolution)

Simulované žíhanie (simulated annealing)

Žíhanie: Technika pomalého chladenia roztoku . Napr. pri vytvrdzovaní ocele sa jej teplota zvýši až k bodu topenia a potom sa pomaly znižuje.

Cieľ: dosiahnuť stav s najnižšou možnou energiou

Cieľ v analýze dát: Nájsť globálne minimum funkcie bez uviaznutia v lokálnom minime.

Autori metódy: Kirkpatrick, Gellat, Vecchi, Černý

Trochu fyziky

Ako najúspornejšie nasypať kocky cukru do krabice?

1. Nasypeme kocky do krabice

2. Trasieme krabicou, kým nedosiahneme stav s minimálnou

potenciálnou energiou.

Čo je trasenie krabice?

Ak sa kocky majú správne uložiť, treba pripustiť , aby sa ich energia dočasne zvýšila.

To je princíp simulovaného žíhania.

Rozdelenie konfigurácií s systému častíc pri teplote T je dané Boltzmanovou distribúciou.

s kT

sEn

kT

sE

nsTp

exp

exp1

,

E – voľná energia

T – teplota

K- Boltzmanova konštanta

voľná energia

poče

t kon

fig.

s d

anou

v.

ene

rgio

u

Boltzmanovo rozdelenie

Predpoklad: systém sa pri teplote T s časom vyvíja ku stavom s nižšou energiou.

Metropolisov algoritmus: Nech je v čase t systém v stave s s voľnou energiou E(s) a teplotou T. V čase t+1 vznikne nová konfigurácia

, ktorá má inú energiu .

Rozdiel energií starej a novej konfigurácie: s

news

sEsEE new

Ak potom novú konfiguráciu prijmeme.

Ak potom novú konfiguráciu prijmeme s

pravdepodobnosťou

0E

0E

Tk

Ep

.exp

Čo robí Metropolisov algoritmus?

1. Opakovaním Metropolisovho algoritmu pre danú teplotu T dostávame systém v tepelnej rovnováhe.

2. Stavy systému majú Boltzmanovu distribúciu

Čo to znamená pre analýzu dát?

1. Dáta nafitujeme nejakou funkciou, napr. .

symbolizuje konfiguráciu s.

2. Nech je tá funkcia veľmi zložitá, s množstvom maxím a miním. Potrebujeme nájsť globálne minimum.

3. Použijeme Metropolisov algoritmus, ktorý implementuje náhodné prehľadávanie . Akceptuje taký krok, kde s pravdepodobnosťou 1.

4. Taký krok, kde akceptuje s pravdepodobnosťou

xf

0f

0f

T

fp

exp

.....),,( 321 xxxx

Proces simulovaného žíhania

1. Urobíme krát Metropolisovu procedúru.

2. Tým dostaneme systém do tepelnej rovnováhy s Boltzmanovskou distribúciou stavov.

3. Vypočítame priemernú “energiu”, to bude energia pre stav s teplotou T.

4. Zmenšíme teplotu tak, že pre z intervalu

. To spôsobí, že pravdepodobnosť prijatia kroku v “zlom” smere sa zníži.

4. Opakujeme procedúru od bodu 1.

100m

01 TT 10

1. Metropolisova procedúra

Nastavíme počiatočnú teplotu tak, aby sme z počiatočného stavu akceptovali temer každý prechod. Ako?

a) Zadáme náhodnú teplotu, náhodne porušujeme počiatočný stav tak, aby sme dostali stav s horšou “energiou” a nastavíme teplotu tak, aby prijatie tohto stavu bolo dostatočne blízke k jednotke.

b) Metropolisov algoritmus:

0i mi

niereturn

ano

poru

š f

f akc. novy stav

ano

newff

1: iinie

c) , pri teplote mffff .....210 0T

2. Vypočítame priemernú “energiu” pre 0T

Je to vlastne priemerná hodnota

m

iifm

f0

1

3. Chladenie

101

ii TT

So zmenšovaním teploty sa chladenie môže spomaľovať, tak, že obmadzíme interval

4. Opakovanie od bodu jedna s nižšou teplotou

18.0

Algoritmus simulovaného žíhania

0

0

xx

TT

inicializácia

finalTT Return xnie

ano

),,(: mTxMetropolisx výsledný stav pri teplote T

TT : chladenie

Varianta simulovaného žíhania

TA- threshold accepting: Horšie riešenia sa neakceptujú s istou pravdepodobnosťou, ale s pravdepodobnosťou 1, pokiaľ nepresiahne dopredu stanovený prah.

Prah sa po každom teplotnom zmenšení zmenšuje tiež, až nakoniec sú akceptované len kroky k minimu.

f

Konkrétny príklad – problém obchodného cestujúceho.

12

3

4

5

6

s=(1,2,5,4,3,6,1)

počiatočná konfigurácia

12

3

4

5

6

porušená počiatočná konfigurácia

f(s) – funkcia, ktorú minimalizujeme, celková dĺžka trasy medzi mestami

1) Zvolíme poradie miest (konfiguráciu)

2) Spočítame dĺžku trasy medzi nimi.

3) Porušíme trochu počiatočnú konfiguráciu, ak je porucha taká, že trasa sa predĺži, nastavíme teplotu T tak, aby pravdepodobnosť prijatia tejto konfigurácie bola blízka k jednej.

4) Opakujeme m krát pri danej teplote a spočítame priemernú dĺžku pri teplote T.

5) Znížime teplotu, čím znižujeme pravdepodobnosť prijatia dlhšej trasy a proces opakujeme pri novej teplote.

Evolučné algoritmy a evolučné stratégie

Evolučné algoritmy simulujú proces kolektívneho učenia sa indivíduí.

Príklad: Každý živý tvor sa evolučnými krokmi snaží zlepšiť svoju šancu prežiť. Môžeme si ho predstaviť ako bod na hyperpovrchu (fittness landscape), ktorý definuje jeho “fittness”, silu. Organizmus sa snaží zlepšiť svoj stav tak, aby sa po hyperploche pohyboval k lokálnemu maximu.

1. Inicializujeme populáciu bodov na hyperploche.

2. Necháme populáciu vyvíjať sa, čiastočne náhodne, pričom okolie poskytuje spatnú informáciu (fitness).

a) selekcia – indivíduá s lepšou fittness sa reprodukujú častejšie

b) mutácia - inovácia štruktúry indivíduí

c) rekombinácia – zmiešavanie rodičovskej genetickej informácie pri predávaní potomkom

Siete malého sveta

Siete malého sveta sú grafy, ktoré interpolujú medzi náhodnosťou a usporiadanosťou.

Modelujú

- www sieť

- komunikačné siete

- sociálne siete

- neurónové siete v mozgu

- ľudský jazyk

….

novinár Blava

kamarát novinára, Brno

kamarát kamaráta novinára, Praha

kamarát osobnosti, Praha

osobnosť

Efekt malého sveta

Milgram r. 1967, zákon šesťstupňovej separácie

Reťaz známych, ktorá spája dvoch náhodne zvolených obyvateĺov Zeme má v priemere 6 ohniviek.

Vlastnosti sietí malého sveta:

1. dobrá konektivita

2. usporiadanosť

3. klasterizácia

Príklad: sociálna sieť

Konektivita: Dvaja ľudia sa dokážu cez sociálnu sieť rýchlo zoznámiť, aj keď sú fyzicky vzdialení.

Usporiadanosť: Človek žije v istom usporiadanom lokálnom klastri vzťahov.

Klasterizácia: Je veľmi pravdepodobné, že moji priatelia sú priateľmi aj navzájom ( omnoho pravdepodobnejšie ako keď vyberieme náhodne dvoch ľudí v danej sieti)

Krajné prípady

Náhodný graf:

-dobrá konektivita

-malá usporiadanosť

-malá klasterizácia

Usporiadané mriežky

-vysoká usporiadanosť

-slabá konektivita

-môže byť klasterizácia

Siete malého sveta:

-dobrá konektivita (ako v náh. grafoch)

-môže byť vysoká usporiadanosť

-môže byť klasterizácia

Efekt malého a efekt veľkého sveta

Nl

Nl

log Priemerná najkratšia vzdialenosť medzi dvoma náhodne vybranými uzlami rastie pomaly s počtom uzlov siete.

Priemerná najkratšia vzdialenosť medzi dvoma náhodne vybranými uzlami rastie rýchlo s počtom uzlov siete.

Klasterizácia

bod i

2

1

12

2.3

21

ii

ii zz

EC Koef. klasterizácie pre

bod i

N

iiCNC

1

1 Koeficient klasterizácie grafu

Newmanov - Wattsov model

p- pravdepodobnosť vzniku krátkeho spojenia na uzle

Dva režimy:

, režim v.s

, režim m.s1

0

p

p Nl

Nl

log

prechod medzi režimamicpp

Numerické výsledky pre N-W model

Parametre modelu: N=1000, z=1

---------------------------------------------------------------------

Náhodný graf: l=3.2

---------------------------------------------------------------------

N-W model: p=0 l=50

p=1/4 l=3.6

p=1/64 l=7.4

Čo počítame v sieťach malého sveta?

1. Priemernú najkratšiu vzdialenosť.

2. Klasterizáciu.

3. Režimy a kritickú pravdepodobnosť pri ktorej sa režim veľkého

sveta mení na režim malého sveta

4. Dynamické vlastnosti siete: je pripájanie nových uzlov náhodné

alebo preferenčné?

Aplikácie

- www sieť a jej vlastnosti

- komunikačné siete (cestné siete, železničné siete, linky elektrického

vedenia)

- sociálne siete

- charakter ľudského jazyka