19
1 SCL © 2004 - 2017 Grid računarstvo i računarstvo visokih performansi 1 Vladimir Slavnić Laboratorija za primenu računara u nauci InsFtut za fiziku u Beogradu Univerzitet u Beogradu 13th Interna+onal Masterclasses 2017 Fizički fakultet Univerzitet u Beogradu 06. mart 2017. INSTITUTE OF PHYSICS BELGRADE

Grid računarstvo i računarstvo visokih performansi

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Grid računarstvo i računarstvo visokih performansi

1 SCL©2004-2017

Gridračunarstvoi

računarstvovisokihperformansi

1

VladimirSlavnićLaboratorijazaprimenuračunaraunauci

InsFtutzafizikuuBeograduUniverzitetuBeogradu

13thInterna+onalMasterclasses2017FizičkifakultetUniverzitetuBeogradu06.mart2017.

INSTITUTE OF PHYSICS

BELGRADE

Page 2: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20172

§  Mo+vacija§  Mogućnos+iGridkaorešenje§  Gridarhitekturaimiddleware

§  Računarstvovisokihperformansi§  GridiHPCinicija+ve§  Nacionalnainfrastruktura

Pregled

Page 3: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20173

§  Naukapostajesvevišedigitalna§  Numeričkesimulacije

§  Fizikaelementarnihčes+cajejednaodvažnihnaučnihdisciplinakojakoris+velikekoličineračunarskihresursa§  Velikemeđunarodnekolaboracije§  Velikekoličinepodatakaizeksperimenata§  LargeHadronCollider(LHC)uCERN-u

§  Višeod600milionasudarausekundi§  ~50PB/god(čakikadseisfiltrira99%podataka)

Mo+vacija[1/2]

Page 4: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20174

§  Zasimulacijujednogsudara(događaja)unekomodLHCdetektorapotrebnoje~15min.nadanašnjimPCprocesorima

§  Zadobruanalizujednograspadapotrebnojeuproseku100,000

događaja§  Zapotpunusimulacijusamojednograspadapotrebnojeuproseku

3godineprocesorskogvremena§  AnalizapodatakanaLHCzahteva

kompjuterskusnaguekvivalentnu100,000današnjihPCprocesora

Mo+vacija[2/2]

Page 5: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20175

§  WorldWideWeb–jednostavnakomunikacija;omogućenojednostavnopredstavljanjeipovezivanjedokumenatanasvetskomnivoupomoćuhiperlinkova

§  Linux–pouzdanopera+vnisistem§  Switchtehnologija–brzakomunikacijaizmeđuračunara§  Klaster–mnoštvoračunarapovezanihujedinstvenucelinu

Mogućnos+

Page 6: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20176

§  Gridračunarstvo§  Geografskidistribuiran

kompjuterskisistem§  Bazirannadeljenjuprocesorskihi

skladišnihresursa§  Analogonelektričnojmreži

§  Zajedničkaupotrebadistribuiranihračunarskihresursa(CPU,podaci,itd.)nasigurannačin,takodakorisnicimogudasarađujuuokviruvirtuelnihorganizacija(VO)

Rešenje–Gridračunarstvo

Page 7: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20177

Gridarhitektura

Page 8: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20178

§  Gridpočivananaprednomsoiveru,kojizovemomiddlewareIkojipovezujeresurseiaplikacije

§  Gridmiddleware§  Nalaziodgovarajućeklasterenakojimaaplikacijemogudabudu

izvršene§  Op+mizujeupotreburesursa§  Organizujeefikasanpristuppodacima§  Vodiračunaoauten+fikacijikorisnikanarazliči+mklasterima§  Obezbeđujeizvršavanjesimulacijainadgledanjenjihovog

statusa§  Isporučujerezultatesimulacijanaučnicima

§  NajrasprostranjenijijegLitemiddleware

Gridmiddleware

Page 9: Grid računarstvo i računarstvo visokih performansi

SCL©2004-20179

UI

UI

WMS

BDII

CE

UI

SE

WN WN WN WN WN

CE

SE

WN WN WN WN

Gridračunarstvo

Page 10: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201710

KorisničkipoglednaGrid

Page 11: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201711

Gridresursi

Page 12: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201712

Računarstvovisokihperformansi(HPC)

§  Capacityvs.Capabilitycompu+ng§  Uveknamjepotrebnovišeračunarskesnage§  Želimodasmanjimovremeizvršavanjanašihaplikacija§  HPCsistemipokušavajudasimultanomaksimizujuperformanseutrivažna

aspekta:§  Računanje(numbercrunching)–brojoperacijausekundi§  Pristuppodacima–brzineprenosapodatakaunutariliizmeđuračunara§  Skladištenjepodatka–kapacite+uređajazaskladištenje:keš,RAM,diskovi…

§  Smanjivanjevremenaizvršavanjaprogramasedobijaparalelizacijom§  HPCzajednočine:

§  Brziračunarskisistemi§  Brzeračunarskemreže(interconnect)§  Soiverskiala+§  Paralelneprogramskeparadigmekojiomogućavajuranijenezamislivaračunanjamogućim

Page 13: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201713

top500.org

Page 14: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201714

GridiHPCinicija+ve

§  Grid:§  WorldwideLHCCompu+ngGrid(WLCG)

§  Preko40država,~170sajtova§  EuropeanGridInfrastructure(EGI)

§  ~300sajtova,~730,000CPU,~300PB§  EGIFederatedCloud

§  Gridakademskihcloudinfrastrukturaivirtualizovanihresursa§  Superračunari:

§  PRACE-EvropskaHPCinicija+va§  PRACETier-0superračunari(Rmax)

-  CURIE(1.7PFlop/s),MARCONI(13PFlop/s),HazalHen(7.4PFlop/s),JUQUEEN(5.9PFlop/s),MareNostrum(1.0PFlop/s),PizDaint(9.8PFlop/s),SuperMUC(3.2PFlop/s)

§  Regionalneinicija+ve§  VI-SEEMprojekat§  Dosadašnjiprojek+

§  SEE-GRIDserijaprojekata§  HP-SEE-HPCinicija+vaujugoistočnojevropi

§  Ins+tutzafizikuBeogradkoordiniraGridiHPCak+vnos+mauSrbiji

Page 15: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201715

VI-SEEM

§  VI-SEEMprojekat-VirtualResearchEnvironment(VRE)forinterdisciplinarycommuni+esinSoutheastEuropeandtheEasternMediterranean

§  Ciljjekreiranjevirtualnogokruženjazaistraživanjenamenjenognaučnimzajednicamaizregionaizoblas+:

§  klimatologije§  bionauka,naukaoživimsistemima(lifesciences)§  digitalnogkulturnognasleđa

§  Projekatintegrišerazličiteregionalneresurse:§  Mreže§  Računarskee-Infrastukture

§  Grid§  HPC§  Cloud(IaaS)

§  e-Infrastrukturezaskladištenjepodataka

Page 16: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201716

§  AEGIS-AkademskaiobrazovnaGridinicija+vaSrbije

§  Formirana2005.godine(~1000CPUs,40TB)

§  Ins+tutzafiziku:

§  PARADOXIII(AEGIS01-IPB-SCL)

§  CoreGridservisi

NacionalnaGridinfrastruktura

Page 17: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201717

§  PARADOXIVinstalacija

§  Rekovisavodenimhladjenjem

§  106mašina,1696CPUs

§  2x8-coreIntelSandyBridge

[email protected]

§  32GBofRAM

§  106GPUNVIDIATeslaM2090

§  96TBskladišnogprostora

§  Lustreparalelnifajlsistem

§  QDRInfiniband40Gbps

NacionalnaHPCinfrastruktura[1/2]

Page 18: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201718

§  BioIRCHPCsistem

§  LociranuBioIRC-BioengineeringR&DCentruuKragujevcu

§  2management/storageservera-12TBskladišnogprostora,

LustreFS

§  22WNs

§  2xIntelXeonE5-2670,16cores,64GBRAM

§  4TeslaM2090

§  InfinibandQDRinterconnect

NacionalnaHPCinfrastruktura[2/2]

Page 19: Grid računarstvo i računarstvo visokih performansi

SCL©2004-201719

?

Pitanja