Chapitre 2: Architecture d’une grille de calcul · EGSO (European Grid of Solar Observations) GEODISE (Grid Enabled Optimisation & Design Search for Engineering) GRIA (Grid Resources

1. Architecture en couches des grilles de calcul

2. Protocoles et algorithmes dédiés aux grilles de calcul

3. Middlewares (fonctionnalités, protocoles, quelques exemples)

4. globus

1

2

ApplicationsRecherche scientifique, ingénierie, finance, portails, …

Environnements et outils de programmation

Langages, interfaces, librairies, compilateurs …

Intergiciels (Middlewares)Soumission et ordonnancement des tâches, découverte de services, gestion des ressources …

SécuritéAuthentification, autorisation, cryptage …

Infrastructure matérielle (fabrique)PC’s, stations de travail, équipements réseau, logiciels …

3

Modèle en couches.

Couches hautes axées sur l'utilisateur.

Couches basses plus orientées vers les ordinateurs et les réseaux.

4

Couche réseau :

◦ Connectabilité des ressources sur la grille.

◦ Niveau matériel

5

Couche ressources :

◦ Constituée des ressources

de la grille,

◦ Ordinateurs, systèmes demémoire, catalogues dedonnées électroniques,capteurs, télescopes…

6

Couche intergiciel : ◦ Ensemble de fonctions

permettant aux ressources(serveurs, mémoires,réseaux, etc.) de participerà un contexte de grilleunifié.

◦ le cerveau de la grille !◦ Gestion de ressources◦ Ordonnancement

(scheduling)◦ Réservation◦ Services d’information.

7

Couche application :

située au niveau le plus élevéqui comprend:

◦ Types d’applications:scientifiques, techniques,gestion, financières,portails…

◦ C'est la couche desutilisateurs de la grille.

8

9

Access Grid

DISCOM

DOE Science Grid

Condor

ESG (Earth System Grid)

Fusion Collaboratory

Globus

GrADSoft (Grid Application

Development Software)

Grid Canada

GRIDS (Grid Research

Integration Development &

Support Center)

GriPhyN (Grid Physics

Network)

iVDGL (International Virtual

Data Grid Laboratory)

Music Grid

NASA Information Power Grid

NCSA Alliance Access Grid

AstroGrid

AVO (Astrophysical Virtual

Observatory)

Comb-e-chem

CrossGrid

DAME (Distributed Aircraft

Maintenance Environment)

DAMIEN (Distributed Applications and

Middleware for Industrial Networks)

DataTAG

Discovery Net

DutchGrid

EDG (European DataGrid)

EGSO (European Grid of Solar

Observations)

GEODISE (Grid Enabled Optimisation

& Design Search for Engineering)

GRIA (Grid Resources for

Industrial Applications)

Grid-Ireland

GridLab (Grid Application

Toolkit and Testbed)

GridPP

LCG (LHC Computing Grid)

MyGrid

NGIL (National Grid for

Learning Scotland)

NorduGrid (Nordic Testbed for Wide

Area Computing and Data Handling)

PIONIER Grid

Reality Grid

ScotGrid

AMaster 2 rid

ApBioNet

Grid Forum Korea

PRAGMA (Rim Applications and Grid Middleware Assembly)

Grid Datafarm for Petascale Data Intensive Computing

Gridbus Project

OSG

◦ Open Science Grid (Etats-Unis)

Nordugrid

◦ Nordic Testbed for Wide Area Computingand Data Handling (pays nordique européenne)

DEISA

◦ Distributed European Infrastructure for Supercomputing Applications (européenne)

EGEE puis EGEE II

◦ Enabling Grids for e-Science (mondial)

LCG

◦ LHC Computing Grid (mondial)10

EDG European Data Grid Project

2000-2003

Projet de recherche et développement pluridisciplinaire

11

LCG LHC Computing Grid project2002-2008Déploiement des moyens de calcul pour le LHC

EGEE :Enabling Grids for E-science2004-2008 (2 x 2 ans)Projet de déploiement d’une infrastructure de grille européenne pluridisciplinaire

EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds

répartis à travers le monde (80 aujourd’hui) et d’un logiciel (actuellement LCG-2).

Organisations virtuelles:Les utilisateurs sont regroupés par expérience scientifique, laboratoire,

région ou projet

Expériences : Biomed, Alice, Atlas, Babar, LHCb, ESR, EGEODE,Auger

Laboratoires, régions : vo.dapnia.cea.fr, vo.lal.in2p3.fr, vo.grif.fr

Projets : Ambrace, infngrid, GridPP, auvergrid, ...

https://cic.in2p3.fr/index.php?id=vo

◦ 90+ enregistrées

(https://edms.cern.ch/document/722131/2)

12

https://edms.cern.ch/document/722131/2




Domaines :

◦ Physique des hautes énergies, Biologie

◦ Science de la terre, fusion

◦ Astrophysique, « Computational Chemistry »

◦ Finance, bibliothèques numériques,

◦ nanotechnologie, …

13

Globus Toolkit: Développé par Globus

alliance

Les différentes modules de GT

GSI : pour gérer la sécurité

GRAM: pour gérer l’allocation et la supervision des taches

MDS: répertorier les nœuds

FTP: pour transférer les données d’un site à un autre

14

o NorduGrid et Glite :sont basés sur Globus. Chacun d'eux comprend un choix de modules de Globusassociés à des modules spécifiques adaptés en vue d'une forme d'utilisation particulière de la grille

o Unicore:est le concurrent européen de GlobusToolkit. Il est supporté par un consortium d'industriels et par le gouvernement allemand. Il est entièrement écrit en Java.

15

16

17

ApplicationsRecherche scientifique, ingénierie, finance, portails, …

Environnements et outils de programmation

Langages, interfaces, librairies, compilateurs …

Intergiciels (Middlewares)Soumission et ordonnancement des tâches, découverte de services, gestion des ressources …

SécuritéAuthentification, autorisation, cryptage …

Infrastructure matérielle (fabrique)PC’s, stations de travail, équipements réseau, logiciels …

Globus est un projet qui vise à fournir desenvironnements de développement open sourceavec l’intégration de plusieurs projetsindépendants .◦ Anciens favorits tels que : GridFTP, GRAM

Globus Toolkit est une génération coordonnéed’un sous-ensemble de ces projets qui seconcrétise par des documentations, des testsainsi que des agréments de fonctionnement.

Globus: technologie (projet)

Globus toolkit: Outil (plate-forme)

Il s’agit du standard des middlewares18

19

20

20

Java Services in Apache Axis

Plus GT Libraries and Handlers

Your

Java

Service

Your

Python

Service

Your

Java

Service RF

T

GR

AM

Dele

gatio

n

Index

Trig

ge

r

Arc

hiv

er

pyGlobus

WS Core

Your

C

ServiceC WS

Core

RLS

Pre

-WS

MD

SCA

S

Pre

-WS

GR

AM

Sim

ple

CA

MyP

roxy

OG

SA

-DA

I

GT

CP

Gri

dF

TP

C Services using GT

Libraries and HandlersSERVER

CLIENT

Interoperable

WS-I-compliant

SOAP messaging

Your

Java

Client

Your

C

Client

Your

Python

Client

Your

Java

Client

Your

C

Client

Your

Python

Client

Your

Java

Client

Your

C

Client

Your

Python

Client

Your

Java

Client

Your

C

Client

Your

Python

Client

X.509 credentials =

common authentication

Python hosting,

GT Libraries

Globus propose des outils :

pour la sécurité,

pour gérer les accès aux ressources,

pour permettre leur découverte,

pour assurer le transport et l’accès des données

et toutes autres techniques nécessaires pour implémenter une architecture sécurisée et robuste.

Une telle « boîte à outils » a été adoptée par de nombreux projets de grilles de calcul à travers le monde.

21

22Data MgmtSecurityCommonRuntime

Execution Mgmt

Info Services

GridFTPAuthenticationAuthorization

ReliableFileTransfer

Data Access& Integration

Grid ResourceAllocation &Management

Index

CommunityAuthorization

DataReplication

CommunitySchedulingFramework

Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement

Grid Telecontrol Protocol

Globus Toolkit v4www.globus.org

CredentialMgmt

Globus Toolkit: Open Source Grid Infrastructure(1)

Data Mgmt

SecurityCommonRuntime

Execution Mgmt

Info Services


ReliableFile

Transfer

OGSA-DAI


Index


DataReplication

Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement


CredentialMgmt

Globus Toolkit: Open Source Grid Infrastructure(2)

MPICH G2

23

Supporte à la fois le GT (GRAM, RFT, Delegation, etc.) & les services développés par l’utilisateur.

Augmente le passage à l’échelle, la modularité, la performance et l’utilisation.

Réutilise les WS standards existants:◦ WS-I Basic Profile: WSDL, SOAP, etc.◦ WS-Security, WS-Addressing

Ajoute des supports pour l’émergence de WS standards◦ WS-Resource Framework, WS-Notification

Java, Python, & C hosting environments◦ Java is standard Apache 24

Globus Toolkit: Open Source Grid Infrastructure (3)

Data Mgmt


Execution Mgmt

Info Services


ReliableFile

Transfer

OGSA-DAI


Index


DataReplication

MPICH G2Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement


CredentialMgmt

25


Contrôle l’accès aux services partagés:◦ Gestion autonome: e.g., different policy in

different work-groups

Supporte les collaborations multi-users◦ Federate through mutually trusted services◦ Local policy authorities rule

Permet aux utilisateurs et applications d’établir des domaines de confiancedynamiques.◦ Personal/VO collection of resources working

together based on trust of user/VO26


Authentication basée sur Public-key

Niveau d’Authentication de type Transport-and message

framework d’autorisation extensible basé surles Web services standards◦ SAML-based authorization callout◦ Integrated policy decision engine XACML policy language, per-operation policies,

pluggable

27


Basic Grid Security Mechanisms

Certificate Generation Tools

Certificate Management Tools◦ Getting users “registered” to use a Grid◦ Getting Grid credentials to wherever they’re

needed in the system

Authorization/Access Control Tools◦ Storing and providing access to system-wide

authorization information

Credential management service◦ MyProxy (One time password support)

28


Data Mgmt


Execution Mgmt

Info Services


ReliableFile

Transfer

OGSA-DAI


Index


DataReplication

MPICH G2Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement


CredentialMgmt

29


Utilisé pour la soumission des jobs distants et la gestion de ressources.

Désigné pour résoudre les problèmessuivants en metacomputing:◦ Autonomie des sites (gestionnaires de

ressources)◦ Co-allocation (co-allocateurs)◦ Contrôle Online (RSL and resource brokers:

courtier de ressources)30


31

Une interface de services unifore pour le contrôle et les soummissions de jobs à distance◦ Inclue le transfert de fichiers et la

gestion des I/O

◦ Inclue les dépendances

◦ Supporte les mécanismes de sécurité

GRAM n’est pas un ordonnanceur.◦ Pas d’ordonnancement

◦ Pas d’affectation de ressources

◦ Souvent utilisé avant ou aprés les ordonnanceurs.

32


2nd-generation WS implementation optimized for performance, flexibility, stability, scalability

Streamlined critical path◦ Use only what you need

Flexible credential management◦ Credential cache & delegation service

GridFTP & RFT used for data operations◦ Data staging & streaming output

◦ Eliminates redundant GASS code 33


Data Mgmt


Execution Mgmt

Info Services


ReliableFile

Transfer

OGSA-DAI


Index


DataReplication

MPICH G2Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement


CredentialMgmt

34


Stage/move large data to/from nodes◦ GridFTP, Reliable File Transfer (RFT)◦ Alone, and integrated with GRAM

Locate data of interest◦ Replica Location Service (RLS)

Replicate data for performance/reliability◦ Distributed Replication Service (DRS)

Provide access to diverse data sources◦ File systems, parallel file systems, hierarchical

storage: GridFTP◦ Databases: OGSA DAI

35

Data Mgmt


Execution Mgmt

Info Services


ReliableFile

Transfer

OGSA-DAI


Index


DataReplication

MPICH G2Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement


CredentialMgmt

36


Système de pilotage souvent utilisé pour la sélection deressources.

◦ Aide les users/agents pour identifier les noeuds surlesquelles ils peuvent exécuter une application

Utilise des Interfaces standards pour l’affichage, ladécouverte et l’accès aux données.

◦ WS-ResourceProperties, WS-BaseNotification, WS-ServiceGroup

37

Information Providers◦ Interface to data sources with standard publish/subscribe

interfaces◦ Info from other tools, scripts, file scraping, etc.

Index Service is both registry and cache◦ Data type and provider info, like a registry (UDDI)◦ Last value of data, like a cache

Trigger Service◦ Subscribe to a set of resource properties◦ Evaluate that data against a set of pre-configured

conditions (triggers)◦ When a condition matches, email is sent

WebMDS◦ Uses standard resource property queries and XSLT

transforms

38

Data Mgmt


Execution Mgmt

Info Services


ReliableFile

Transfer

OGSA-DAI


Index


DataReplication

MPICH G2Delegation

ReplicaLocation

Trigger

Java Runtime

C Runtime

Python Runtime

WebMDS

WorkspaceManagement


CredentialMgmt

40

Globus Toolkit: Open Source Grid Infrastructure

41

Documents

Chapitre 2: Architecture d’une grille de calcul · EGSO (European Grid of Solar Observations) GEODISE (Grid Enabled Optimisation & Design Search for Engineering) GRIA (Grid Resources