Paralelní algoritmy ve zpracování dat

Bc. Jan Hofta2006 - 2007

Výzkumný úkol:

• cíle práce:– získat základní přehled v oblastech genetických

algoritmů, neuronových sítí a paralelizace– seznámit se s projektem NNSU– provést paralelizaci části kódu NNSU

• části práce:– 1.kapitola: Genetické algoritmy– 2.kapitola: Neuronové sítě– 3.kapitola: Projekt NNSU a jeho paralelizace

2/9

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Osnova práce

• vycházejí z Darwinovy evoluční teorie, v matematice představují silný optimalizační nástroj

• hrubá idea:– máme množinu (generaci) přípustných řešení

úlohy (jedinců), každý jedinec je ohodnocený hodnotou fitness (jak moc je dobrým řešením úlohy)

– tvoříme novou generaci, jedinci v ní vznikají:• křížením jedinců z minulé generace s vysokou fitness• náhodnými změnami těchto jedinců (mutacemi)

– s přibývajícími generacemi průměrná hodnota fitness roste

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Genetické algoritmy

3/9

• vycházejí z nervových soustav živočichů, široké uplatnění, např. jako separátor množin

• sestávají z výpočetních jednotek (neuronů)

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Neuronové sítě

Ano

Váhy jednotlivých vstupů

Vážená Σ vstupů

Perceptron

Ne

Vstupy

Vícevrstvá síť

4/9

• projekt UI AV ČR, řízený panem Ing. F. Haklem, CSc. s účastí mnoha doktorandů z naší katedry

• univerzální separační nástroj, nejvhodnější neuronová síť k separaci se hledá pomocí genetických algoritmů

• aplikace např. při detekci Higgsova bosonu v CERNu

• nastavování a ohodnocování neuronových sítí, tedy jedinců v GA, výpočetně náročné => prostor pro paralelizaci

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Projekt NNSU

5/9

• celý program se skládá z pluginů, tedy modulů s částmi projektu

• plugin GA od Ing. R. Kalouse zajišťuje fungování genetických algoritmů

• je v něm vyřešeno:– kódování neuronových sítí pro GA– jejich ohodnocování– operace GA (výběr, křížení, mutace)

• snaha vytvořit jeho paralelní verzi (použití jeho metod při paralelním nastavování a ohodnocování neuronových sítí)

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Plugin GA

6/9

• univerzální komunikační rozhraní pro paralelní programy s distribuovanou pamětí, od roku 1992

• v současnosti standardy MPI 1.1 (častěji používané) a MPI 2.1 (více funkcí)

• spouští program ve více kopiích, každou ovládá jeden proces, ty si spolu navzájem vyměňují zprávy

• standard nezávislý na programovacím jazyce, použito OpenMPI pro C/C++

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

MPI

7/9

• jeden proces master, ostatní slavy• master v každé generaci pošle

jedince slavům k naučení a ohodnocení, ti mu vrací jejich fitness

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Návrh paralelizace

Slave 1

MpopMem

MdtbFit

MdtbProt

Učící a test. data

SpopMem

SpopMem

SpopMem

SdtbFit

SdtbFit

SdtbFit

Slave struktury masteru

Učící a testovací data

Učící a testovací data

Master

Slave 2

Archiv m

Archiv f

8/9

• děkuji Vám za pozornost

Paralelní algoritmy ve zpracování dat Bc. Jan Hofta

Osnova práce

Genetické alg.

Neuronové sítě

Projekt NNSU

Plugin GA

MPI Návrh paralelizace

Konec

Konec

9/9