GRIDY OBLICZENIOWEGRIDY OBLICZENIOWE

PiotrPiotr MajkowskiMajkowski

WstWstęępp

PodziaPodziałł „„komputerkomputeróóww””Co to jest Co to jest gridgrid??RRóóżżne sposoby patrzenia na ne sposoby patrzenia na gridgridJak zmierzyJak zmierzyćć moc?moc?TroszkTroszkęę dokdokłładniej o adniej o gridachgridachProjekt EGEEProjekt EGEE

Klasyfikacja Klasyfikacja FlynnFlynn’’aa (1972)(1972)

MIMDMIMDSIMDSIMD

MISDMISDSISDSISD

DaneDane

InstrukcjeInstrukcje

GGłłóówny podziawny podziałł

SuperkomputerySuperkomputery –– wieloprocesorowe wieloprocesorowe maszyny (dumaszyny (dużże centra obliczeniowe)e centra obliczeniowe)

KlastryKlastry –– zespozespołły homogenicznych y homogenicznych maszyn, pomaszyn, połąłączonych dedykowanczonych dedykowanąą siecisieciąą

GridyGridy -- ……

Definicja Definicja GriduGridu

GridGrid –– skoordynowane, bezpieczne, skoordynowane, bezpieczne, wspwspóółłdzielenie zasobdzielenie zasobóów oraz w oraz rozwirozwiąązywanie problemzywanie problemóów w w w dynamicznych, obejmujdynamicznych, obejmująących wiele cych wiele instytucji wirtualnych organizacjachinstytucji wirtualnych organizacjachGrid(2)Grid(2) –– zbizbióór lur luźźno powino powiąązanych, zanych, rozproszonych geograficznie, rozproszonych geograficznie, heterogenicznych zasobheterogenicznych zasobóów w komputerowychkomputerowych

Trzy podejTrzy podejśścia do cia do GriduGridu (1)(1)

UUżżytkownikytkownik ::Wirtualny komputer ktWirtualny komputer któóry minimalizuje czas ry minimalizuje czas wykonywania obliczewykonywania obliczeńń oraz zapewnia dostoraz zapewnia dostęęp p do zasobdo zasobóóww

ProgramistaProgramista::Zestaw narzZestaw narzęędzi i interfejsdzi i interfejsóów zapewniajw zapewniająący cy przezroczysty dostprzezroczysty dostęęp do danychp do danych

Trzy podejTrzy podejśścia do cia do GriduGridu (2)(2)

AdministratorAdministrator ::ŚŚrodowisku umorodowisku umożżliwiajliwiająące monitorowanie, ce monitorowanie, administrowanie i bezpieczne uadministrowanie i bezpieczne użżywanie ywanie rozproszonych zasobrozproszonych zasobóów obliczeniowych, w obliczeniowych, dyskowych oraz sieciowychdyskowych oraz sieciowych

wwwwww a a gridgrid

WWWWWW

Zunifikowany dostZunifikowany dostęęp p do informacjido informacji

GRIDGRID

Zunifikowany dostZunifikowany dostęęp p do zasobdo zasobóóww

CzCzęęsto przytaczana analogia:sto przytaczana analogia:

FlopsFlops

JednostkJednostkąą w ktw któórej podaje sirej podaje sięę moc moc komputera jest z regukomputera jest z regułły :y :

FlopsFlops ((FloatingFloating point point OperationsOperations Per Per SecondSecond))

-- iloilośćść operacji operacji zmiennnoprzecinkowychzmiennnoprzecinkowych na na sekundsekundęę

Dygresja Dygresja –– problemy miaryproblemy miary

Jak obliczyJak obliczyćć ile ile ‘‘flopflopóóww’’ ma czma człłowiek?owiek?„„Czysty matematyczny test (Czysty matematyczny test (npnp. uk. ukłładu adu rróównawnańń + papier + o+ papier + ołłóówek) wykazawek) wykazałłby moc by moc czczłłowieka na poziomie owieka na poziomie miliFlopsmiliFlops, jednak z , jednak z drugiej strony czdrugiej strony człłowiek takowiek takżże przetwarza e przetwarza zapachy, dzapachy, dźźwiwięęki, ma koordynacjki, ma koordynacjęę ruchowruchowąąco daje co daje śśredniredniąą moc obliczeniowmoc obliczeniowąą na na poziomie 10PFlopspoziomie 10PFlops””

www.wikipedia.orgwww.wikipedia.org

TOP500TOP500

http://www.top500.orghttp://www.top500.orgLista najszybszych maszyn na Lista najszybszych maszyn na śświeciewiecieObecnie na I miejscu :Obecnie na I miejscu :

IBM IBM –– BlueGeneBlueGene/L/L (131072 procesor(131072 procesoróów, 280600 w, 280600 GFlopsGFlops, , teorteor: 367000 : 367000 GFlopsGFlops, 32768GB ), 32768GB )

6 pierwszych miejsc dla USA ( w tym 3 6 pierwszych miejsc dla USA ( w tym 3 poczpocząątkowe dla IBM)tkowe dla IBM)

Kontratak JapoKontratak Japońńczykczykóów ??w ??

Problemy z Problemy z gridamigridami na TOP500na TOP500

MotywacjeMotywacje

Prawo Prawo MooreMoore’’aa i starzenie sii starzenie sięęsuperkomputersuperkomputeróóww

Bits_per_square_inchBits_per_square_inch = 2^(T= 2^(T--1962)1962)SpeedSpeed = Price*1.53^(T= Price*1.53^(T--1973)1973)

CenaCenaSkalowalnoSkalowalnośćść

Wymogi poWymogi połłoożżone na one na GridGrid (1)(1)

GridGrid nie monie możże :e :NaruszaNaruszaćć bezpieczebezpieczeńństwa oraz stwa oraz autonomicznoautonomicznośści podlegci podległłych mu jednostekych mu jednostekPowodowaPowodowaćć problemproblemóów z istniejw z istniejąącym cym oprogramowaniemoprogramowaniemNarzucaNarzucaćć uużżytkownikom jytkownikom jęęzykzykóów w programowania, narzprogramowania, narzęędzi, bibliotek, dzi, bibliotek, sposobsposobóów programowania itd..w programowania itd..

Wymogi poWymogi połłoożżone na one na GridGrid (2)(2)

GridGrid powinien :powinien :UmoUmożżliwialiwiaćć rozproszenie geograficzne zasobrozproszenie geograficzne zasobóówwObsObsłługiwaugiwaćć heterogenicznoheterogenicznośćść sprzsprzęętowtowąą i i programowprogramowąąByByćć odporny na zawodny sprzodporny na zawodny sprzęęttPozwalaPozwalaćć na dynamikna dynamikęę dostdostęępu do sprzpu do sprzęętutuZrzeszaZrzeszaćć rróóżżne organizacje (wirtualne) z ich ne organizacje (wirtualne) z ich wwłłasnymi politykami bezpieczeasnymi politykami bezpieczeńństwa i doststwa i dostęępu do pu do zasobzasobóówwByByćć popołąłączony poprzez heterogenicznczony poprzez heterogenicznąą siesiećć

ZastosowaniaZastosowania GridGridóóww

DDłługotrwaugotrwałłe obliczenia operuje obliczenia operująące na ce na olbrzymiej iloolbrzymiej ilośści danychci danych

Symulacje zjawisk fizycznych (pogoda)Symulacje zjawisk fizycznych (pogoda)Testowanie nowych lekTestowanie nowych lekóówwGoogleGoogle

Rozproszone bazy danychRozproszone bazy danychProjekty Projekty ……@@homehome ((SETI@homeSETI@home, , FightAIDS@homeFightAIDS@home))

UUżżytkownicyytkownicy GridGridóóww

Dawniej CERN i inne duDawniej CERN i inne dużże jednostki e jednostki badawcze badawcze –– stastałłe zapotrzebowanie na e zapotrzebowanie na moc obliczeniowmoc obliczeniowąąObecnie dodatkowo : indywidualni Obecnie dodatkowo : indywidualni naukowcy oraz firmy prywatne naukowcy oraz firmy prywatne –– co jakico jakiśśczas potrzebujczas potrzebująą na krna króótko dutko dużżej mocy ej mocy obliczeniowejobliczeniowej

GridGrid –– z punktu widzenia z punktu widzenia uużżytkownikaytkownika

Jedna wirtualna maszynaJedna wirtualna maszynaJedno logowanie do Jedno logowanie do gridugriduNastawienie na wykonanie zadania, a nie Nastawienie na wykonanie zadania, a nie technologietechnologieAutomatyczna alokacja zadaAutomatyczna alokacja zadańń i transferu i transferu danychdanychProsty interfejs wyznaczania zadaProsty interfejs wyznaczania zadańńBrak koniecznoBrak koniecznośści wprowadzania zmian ci wprowadzania zmian w swoich aplikacjachw swoich aplikacjach

Model klepsydrowyModel klepsydrowy

WWąąska szyjka to ska szyjka to zbizbióór kluczowych r kluczowych protokoprotokołłóów i APIw i APITu mieszczTu mieszcząą sisięęmechanizmy mechanizmy uwierzytelniania i uwierzytelniania i dostdostęępu do danych pu do danych

NarzNarzęędzia (1)dzia (1)

Tradycyjne narzTradycyjne narzęędzie do pisania aplikacji dzie do pisania aplikacji rróównolegwnoległłychych

MPIMPIOpenMPOpenMPGniazdaGniazdaPVMPVMJava RMIJava RMI

Ich ograniczenia ?Ich ograniczenia ?

NarzNarzęędzia (2)dzia (2)

Globus Globus ToolkitToolkitArgonneArgonne NationalNational Lab, BerkeleyLab, Berkeleywww.globus.orgwww.globus.orgWiWięększokszośćść projektprojektóów w gridowychgridowych opartych jest na opartych jest na globusieglobusiePowstaPowstałł jako przykjako przykłład implementacji standardad implementacji standardóów a w a de facto sam stade facto sam stałł sisięę standardemstandardem

UNICOREUNICOREMOSIXMOSIX

EGEE (1)EGEE (1)

EEnablingnabling GGridsrids for for EE--sciencescience inin EEuropeurope

Cele:Cele:Stworzenie europejskiej sieci naukowejStworzenie europejskiej sieci naukowejWspWspóółłpraca z innymi projektami praca z innymi projektami gridowymigridowymiZorientowanie na usZorientowanie na usłługiugiUdostUdostęępnienie pnienie „„gridugridu produkcyjnegoprodukcyjnego””Otwarcie na wiele organizacji wirtualnychOtwarcie na wiele organizacji wirtualnych

EGEE (2)EGEE (2)

UsUsłługi ugi gridowegridowe zostanzostanąą uruchomione na uruchomione na Ponad 20 000 Ponad 20 000 CPUCPU’’ssPonad 50 rPonad 50 róóżżnych onych ośśrodkachrodkachPonad 5 Ponad 5 PetaBajtPetaBajtóóww miejsca dyskowegomiejsca dyskowegoPonad 3000 uPonad 3000 użżytkownikytkownikóóww

Projekt pochProjekt pochłłonie ok. 32 miliony euro onie ok. 32 miliony euro (b(bęędzie to rozdzie to rozłłoożżone na 70 instytucji w one na 70 instytucji w 27 krajach)27 krajach)

EGEE (3)EGEE (3)

Priorytetem jest :Priorytetem jest :LCGLCG –– LargeLarge Hadron Hadron ColliderCollider ComputingComputingGridGrid –– eksperyment przeprowadzany w eksperyment przeprowadzany w CERN ktCERN któóry bry bęędzie generowadzie generowałł 66--8 8 PetaBajtPetaBajtóóww na rok, ok. 10^8 na rok, ok. 10^8 „„zdarzezdarzeńń””/rok, /rok, ok. 1000 uok. 1000 użżytkownikytkownikóóww

Czy na pewno nie ma drugiego dna caCzy na pewno nie ma drugiego dna całłej ej inicjatywy ? inicjatywy ? ☺☺

PodsumowaniePodsumowanieDziDzięękujkujęę za uwagza uwagęę !!