Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni Introduzione Workshop del 21 Febbraio 2008 Almerico

Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni

Introduzione

Workshop del 21 Febbraio 2008

Almerico Murli

Obiettivi del progetto S.Co.P.E. Realizzazione di un Sistema di Calcolo ad Alte Prestazioni,

orientato ad applicazioni scientifiche multidisciplinari, che operi secondo il paradigma GRID, dedicato alla modellistica computazionale … per ricerche nelle aree applicative di interesse del progetto (Scienze del Microcosmo e del Macrocosmo, Scienze della Vita, Scienze dei Materiali e dell'Ambiente, …)

…sviluppare simulazioni computazionali relative alle applicazioni in tali settori,… realizzando codici innovativi, … al fine di fornire un significativo avanzamento della conoscenza nei vari settori

Computational Science

L’ obiettivo principale del WP4 è:

Sviluppare applicazioni che possonosfruttare efficientemente l’infrastruttura

S.Co.P.E. anche attraverso la definizione di un opportuno middleware

Infrastruttura S.Co.P.E.

Applicazioni

Middleware

Architettura del progetto S.Co.P.E.

WP 2/3

WP 4

WP 1

Le applicazioni e la griglia

Per classificare le applicazioni rispetto all’ambiente di

esecuzione è necessario rispondere alla domanda:

I.Foster, C. Kesselmann

“What types of applications will grids be used for?”

Classi di applicazioni per GRID

High performance computing (HPC) o supercomputing: applicazioni che utilizzano la griglia per trattare problemi su larga scala. Tali applicazioni sono caratterizzate da:

un insieme elevato di task “fortemente” collegati,

necessità di molte risorse (CPU, Memoria, ecc…)

necessità di ottenere un risultato in un tempo fissato , realtime (molti calcoli nel più breve tempo possibile – pochi minuti)

Esempi:

Chimica computazionale ab initio, inquinamento elettromagnetico …

0


High-throughput computing (HTC): applicazioni che utilizzano la griglia per trattare problemi su larga scala. Tali applicazioni sono caratterizzate da:

un insieme elevato di task “scarsamente” collegati o addirittura indipendenti

necessità di molte risorse (CPU, Memoria, ecc…)

necessità di ottenere un risultato che richiede un elevato numero di esecuzioni in un tempo non necessariamente fissato (la massima quantità di calcoli in un tempo non necessariamente breve – anche alcuni mesi)

Esempi:

Fisica delle alte energie, studi parametrici, …


Data intensive computing: applicazioni che interagiscono con grosse quantità di dati. Tali applicazioni sono caratterizzate da:

enormi flussi di dati memorizzati su risorse geograficamente distribuite

necessità di risorse di storage elevate

necessità di accedere ai dati in maniera rapida ed efficiente

Esempi:

Fisica delle alte energie, Astronomia, Bioinformatica, …

On demand computing: “Paghi quello che usi”

Utilizzazione di risorse della griglia (hardware, software, sensori, ecc…), per breve tempo e all’occorrenza

Collaborative computing:

Tale utilizzo si concretizza con la realizzazione del “Laboratorio Virtuale”


tale utilizzo della griglia “emula” l’attuale accesso alle informazioni via Web

Classificazione delle applicazioni

Scienze dei materiali (V. Barone)

Fisica subnucleare (L. Merola)

Astrofisica (G .Longo)

Astrofisica (L. Milano)

Scienze della vita (G. Paolella)

Elettrom. e Telecom.(G. Franceschetti)

Scienze dei materiali (D. Ninno)

Elettrotecnica(G. Rubinacci)

Scienze dei materiali (A. Coniglio)

Scienze soc. e stat.(C. Lauro)

Ingegneria chimica (P. Maffettone)

Misure elet. e elettron. (L. Angrisani)

Matematica Numerica(A.Murli)

High performance computing

High-throughput computing

Data Intensive computing

On demand computing

Collaborative computing

Il middleware LCG/gLite, nato in ambito CERN/INFN è, naturalmente, particolarmente adatto ad applicazioni data-intensive computing e high-throughput computing tipiche di alcuni campi della Fisica

carente relativamente alle applicazioni di high performance computing, verso le quali gran parte della comunità scientifica del progetto mostra interesse.

MA

Necessità di adeguare il middleware per applicazioni di supercomputing

Introduzione di strumenti per la realizzazione di applicazioni parallele multi-sito, ad es:

PACX-MPI, MPICH-G2,

…

Strumenti per il mantenimento di prestazioni e la gestione dei guasti su macchine parallele multi-sito

…

L’interoperabilità

Lo IEEE definisce l’interoperabilità come:

“The capability to communicate, execute programs, or transfer data among various functional units in a manner that requires the user to have little or no knowledge of the unique characteristics of those units”

Institute of Electrical and Electronics Engineers. IEEE Standard Computer Dictionary: A Compilation of IEEE Standard Computer Glossaries. New York, NY: 2004

Capacità di macchine diverse con sistemi HW/SW diversi di interagire grazie a

specifiche e procedure generali e standard

“Interoperation” vs. “Interoperability”

Interoperation

“Just make it work together”

Whatever it takes, could be ad-hoc, undocumented, fragile

Low hanging fruit, future interoperability

Charlie Catlett (Director, NSF TeraGrid) and Satoshi Matsuoka (Sub Project Director, NAREGI Project) “From Interoperation to Interoperability” - GGF16 “Grid Interoperations Now”

Capacità di macchine diverse con sistemi HW/SW diversi di interagire sulla base di soluzioni

ad-hoc e non standard

Interop{eration, erability}

CIOÈ

Charlie Catlett (Director, NSF TeraGrid) “Multi-Grid Interoperation Planning and Exploration of Production Interoperation Opportunities”, Multi-Grid Interoperation Planning Meeting, 2005

“Perfect Interoperability is the enemy

of Interoperation”

“Il meglio è nemico del bene”

Proposte di arricchimento del middleware per l’interoperabilitá

Introduzione di meccanismi per l’interoperabilità tra middleware differenti:

GRelC (Grid Relational Catalog Project)• http://grelc.unile.it/home.php

GridWay Metascheduler• http://www.gridway.org/doku.php

…

Costruzione del Middleware applicativo Attività svolte

Si è provveduto a formare un gruppo di lavoro, costituito dai referenti delle applicazioni e da referenti dei WP 2, 3 e 4 per:

Censire le applicazioni di interesse della comunità scientifica della Federico II

Definire il middleware applicativo

Individuare le modalità di integrazione delle applicazioni nell’infrastruttura GRID SCoPE

Componenti gruppo di lavoro Dipartimento di Scienze Fisiche:

P. Coraggio, F. Conventi, M. Biglietti, P. Doria, F. Trani, L. Milano, G. Longo, G. D’Angelo, A. Coniglio, M. Pica Ciamarra

Dipartimento di Ingegneria Chimica: P.L. Maffettone, G. D'Avino, S. Crescitelli, A. Brasiello

Dipartimento di Matematica e Statistica: R. Miele

Dipartimento di Elettronica e Telecomunicazioni: R. Guida, P. Imperatore, A. Capozzoli, P. Vinetti

Dipartimento di Informatica e Sistemistica: F. Moscato

Dipartimento di Biochimica e Biotecnologie Mediche: G. Busiello, M. Petrillo

Componenti gruppo di lavoro Dipartimento di Chimica:

O. Crescenzi, M. Pesole, C. Garzillo, P. Caruso

Dipartimento di Matematica ed Applicazioni: G. Laccetti, D. Romano

Misure Elettriche ed Elettroniche: L. Angrisani, A. Napolitano, R. Schiano Lo Moriello

Dipartimento di Ingegneria Elettrica: G. Rubinacci, A. Chiarello, D. Assante

ICTP-CNR: L. Carracciuolo

CSI: G. Barone, S. Pardi

Costruzione del middlewaredi riferimento del progetto SCoPE

?

Grid Services + LCG/gLite

Applicazioni

Applicazioni

Astrofisica

Grid Services

LCG/gLite

GSL

Astrofisica

Low Level

Medium Level

Applicazioni

Low Level

Medium Level

Grid Services

LCG/gLite

GSL

Astrofisica

Fisicasubnucleare

EGEE VO ATLAS Toolkit

Fisica Subnucleare

Applicazioni

Matematica Numerica

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


MPI BLAS LAPACK

PETSc

Matematica Numerica

Low Level

Medium Level

Astrofisica

Applicazioni

Elettromagnetismo e telecomunicazioni

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


BLAS LAPACK

PETSc

Matematica Numerica

Elettromagnetismotelecomunicazioni

IDL

Low Level

Medium Level

Astrofisica

MPIMPI

Applicazioni

Scienze dei materiali e dell’ambiente

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


PETSc

Matematica Numerica


IDL Espresso

FFTW

GAUSSIAN GROMACS

Scienze dei materialie dell’ambiente

Low Level

Medium Level

Astrofisica

MPI BLAS LAPACKMPI BLAS LAPACK ScaLAPACK

Applicazioni

Ingegneria Chimica

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


PETSc

Matematica Numerica


IDL Espresso

FFTW

GAUSSIAN GROMACS


PARDISO MUMPS

BLACS

Ingegneria Chimica

Low Level

Medium Level

Astrofisica

MPI BLAS LAPACKMPI BLAS LAPACK

GROMACS

ScaLAPACKScaLAPACK

FFTW

Misure Elettriche ed Elettroniche

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


MPI BLAS LAPACK

PETSc

Matematica Numerica


IDL Espresso GAUSSIAN GROMACS


PARDISO MUMPS

ScaLAPACK BLACS

Ingegneria Chimica

Misure elettricheed elettroniche

MATLAB

Low Level

Medium Level

Astrofisica

FFTWFFTW

Elettrotecnica

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


MPI BLAS LAPACK

PETSc

Matematica Numerica


IDL Espresso

FFTW

GAUSSIAN GROMACS


PARDISO MUMPS

ScaLAPACK BLACS

Ingegneria Chimica


MATLAB

Elettrotecnica

IMSL

Low Level

Medium Level

Astrofisica

Scienze della vita

Grid Services

LCG/gLite

GSL

Fisica

Fisicasubnucleare


MPI BLAS LAPACK

PETSc

Matematica Numerica


IDL Espresso

FFTW

GAUSSIAN GROMACS


PARDISO MUMPS

ScaLAPACK BLACS

Ingegneria Chimica


Elettrotecnica

Low Level

Medium Level

Astrofisica

Scienze della vita

BLASTIMSL

MATLAB

Composizione attuale del middleware

Grid Services

LCG/gLite

GSL


MPI BLAS LAPACK

PETSc IDL Espresso

FFTW

GAUSSIAN GROMACS

PARDISO MUMPS

ScaLAPACK BLACS

Low Level

Medium LevelBLASTIMSL

MATLAB

Per consentire a tutte le applicazioni di utilizzare l’infrastruttura di progetto è necessario rendere fruibile alla VO scope l’insieme del middleware applicativo

Costruzione del toolkit relativo al middleware applicativo

Definizione della composizione del toolkit della VO SCOPE mediante censimento delle librerie utilizzate dalle applicazioni

Individuazione delle procedure di costruzione, installazione e validazione del toolkit (in collaborazione con WP 2 e 3 e “gruppo operativo per l’interoperabilità”)

Diffusione del toolkit sulle infrastrutture degli altri PON

Prospettive di progetto

Completare il “porting” delle applicazioni censite sull’infrastruttura SCoPE e in modo che possano usufruire anche delle infrastrutture degli altri 3 PON

Integrare le applicazioni e il middleware con i meccanismi necessari a renderle grid-aware cioè capaci di “adattarsi” alla struttura dinamica delle griglie computazionali.

Realizzare il “laboratorio virtuale”

Programma Operativo Nazionale 2000-2006“Ricerca Scientifica, Sviluppo Tecnologico, Alta Formazione”

Misura II.2 “Società dell’Informazione per il Sistema Scientifico Meridionale”Azione a – Sistemi di calcolo e simulazione ad alte prestazioni

Conferenza Nazionale Italian e-Science 2008

IES08

27-29 maggio 2008Universita’ degli di Studi di Napoli Federico II

Aula Magna, Complesso Universitario Monte S. Angelo, via Cintia, Napoli

Convegno sui progetti Avviso 1575/2004



Il termine “e-Science” caratterizza la ricerca scientifica che utilizza risorse di calcolo ad alte prestazioni geograficamente distribuite e grandi quantità di dati. Con tale termine ci si riferisce anche alla ricerca scientifica su larga scala condotta attraverso collaborazioni distribuite via Internet.

In tal senso un esempio significativo e’ costituito dalla fisica delle particelle, che utilizza una infrastruttura di e-Science per accedere ad adeguate risorse di calcolo per l’analisi dei risultati e di immagazzinamento dei dati prodotti dall’esperimento LHC del CERN. Altri esempi riguardano, la scienza dei materiali, la chimica computazionale, l’astrofisica, le scienze della terra, le scienze sociali, le scienze della vita , etc.

La grid rappresenta quindi l’infrastruttura indispensabile per la realizzazione di una tale visione della scienza.

Scopo del convegno è condividere i risultati ottenuti dai 4 progetti cofinanziati nell’ambito dell’Avviso 1575/2004 con le altre realtà italiane in varie aree dell’e-Science, quali lo sviluppo di nuovi frameworks applicativi di e-Science, tecnologie grid per l’e-Learning, la possibilita’ di accesso trasparente ad archivi digitali, grid computing, etc.

Verranno presentati i risultati dei progetti finanziati dal PON su queste aree, nonché i progressi nel campo delle tecnologie grid per l’e-Science al fine di contribuire all’integrazione dei progetti stessi in un unico sistema virtuale per il sud Italia, con strette relazioni con i progetti nazionali ed europei.

La conferenza costituirà, da una parte un forum per i progetti cofinanziati nell’ambito del programma e per la comunità italiana di e-Science con il fine di mostrare i risultati ottenuti, e dall’altra rappresenta un’ occasione in cui gli esperti delle comunità scientifiche di e-Science italiane potranno incontrare, in particolare, quelli dell’e-infrastruttura meridionale.

Data la presenza attiva di responsabili del Ministero, la conferenza sara’ anche un momento di confronto per delineare le linee guida per le future strategie nazionali in questo settore.

Comitato di Programma:Prof. F. Beltrame, Università degli Studi di Genova e MiURProf. A. Camurri, Università degli Studi di GenovaDr.ssa Claudia Galletti, AdG del PON Ricerca (MiUR)Dr. D. Laforenza, CNRProf. G. Marrucci, Università degli Studi di Napoli Federico IIDr. A. Masoni, INFN Sez. di CagliariProf. M. Mazzucato, INFN – CNAFIng. S. Migliori, EneaProf. A. Murli, Universita’ degli Studi di Napoli Federico IIProf. G. Pappalardo, Università degli Studi di CataniaProf. P. Ritrovato, Università degli Studi di SalernoProf. S. Salerno, Università degli Studi di Salerno



Comitato Organizzatore:Prof. V. Barone, Università degli Studi di Napoli Federico IISig.ra E. Cesaro, Università degli Studi di Napoli Federico II Dr. M.R. Fario, Università degli Studi di Napoli Federico IIProf. G. Franceschetti, Università degli Studi di Napoli Federico IIDr. P. Mastroserio, INFN Sez. di NapoliProf. N. Mazzocca, Università degli Studi di Napoli Federico IIProf. L. Merola, Università degli Studi di Napoli Federico II e INFN Sez. di NAProf. A. Murli, Università degli Studi di Napoli Federico II (CHAIRMAN)Prof. G. Paolella, Università degli Studi di Napoli Federico IIProf. G. Russo, Università degli Studi di Napoli Federico II e ARPAProf. S. Salerno, Università di degli Studi di SalernoProf. F. Salvatore, Università degli Studi di Napoli Federico II e CEINGEProf. G. Ventre, Università degli Studi di Napoli Federico II e CRIAI



Sito web: http://www.scope.unina.it

Date importanti: Apertura registrazione e sottomissione Poster Abstract:

25 Febbraio 2008 Chiusura sottomissione Poster Abstract: 15 Aprile 2008 Comunicazione accettazione Poster Abstract: entro il 10

Maggio 2008 Chiusura delle iscrizioni: 13 Maggio 2008



Programma degli Interventi

Prof. Barone ( Dott. Brancato )

Prof. Franceschetti Prof. Laccetti Prof. Maffettone Prof. Ninno ( Dott. Trani ) Prof. Longo Prof. Merola Prof. Milano (Dott. Garufi ) Prof. Paolella

Documents

Progetto S.Co.P.E. – WP4 Progettazione e sviluppo di middleware applicativo e sviluppo delle applicazioni Introduzione Workshop del 21 Febbraio 2008 Almerico