StratusLab is co-funded by theEuropean Community’s Seventh

Framework Programme (Capacities)Grant Agreement INFSO-RI-261552

StratusLab : Les applications scientifiques sur le cloud

Calcul intensif pour la biologie (Lille)14 juin 2011

2

Le mot « cloud »

Très chic et très utilisé Utiliser pour vendre les logiciels et services préexistants Plusieurs définitions, souvent incompatibles Comme même, les idées intéressantes au cœur

Cloud

Computing

3

Le cloud 

Tentatives dans la direction cloud : Commodity Computing (Sun, 2005) Utility Computing (IBM, HP, Microsoft, …) Amazon EC2 (2006), EBS (2008)

La convergence des plusieurs idées La technologie de la virtualisation est mature L’arrivé des APIs simplifiées (REST, XMLRPC, …) Excès des ressources informatiques commerciales

4

Qu’est-ce qu’un cloud ?

Meilleures définitions viennent du NIST : http://csrc.nist.gov/publications/PubsDrafts.html#SP-800-145

Infrastructure as a Service (IaaS)

Platform as a Service (PaaS)

Software as a Service (SaaS)

Vend

or L

ock-

In

Flex

ibili

té

Taxonomie Cloud

5

StratusLab Project

Goal Créer un logiciel « open-source » et

complet pour un cloud IaaS Tester avec les services grilles

Informations 1 juin 2010—31 mai 2012 (2 ans) 6 partenaires de 5 pays Budget : 3.3 M€ (2.3 M€ EC)

Contacts Site web: http://stratuslab.eu/ Twitter : @StratusLab Supporte : support@stratuslab.eu

CNRS (FR) UCM (ES)

GRNET (GR) SIXSQ (CH)

TID (ES) TCD (IE)

6

Architecture Accès aux machines

virtuelles à la distance

Avantages Environnement personnalisée Accès rapide et simple Accès « root » Modèle « pay-as-you-go »

Inconvénients Interfaces non standardisées Création des images pour les

machines virtuelles est difficile

Infrastructure as a Service (IaaS)

Infrastructure as a Service (IaaS)

Platform as a Service (PaaS)

Software as a Service (SaaS)

7

Les principes du projet

Les technologies grille et cloud sont complémentaires Modèle de sécurité uniforme (grille) Partage des ressources, algorithmes et expertise (grille) Allocation dynamique de ressources (cloud) Environnement personnalisé (cloud)

Faire le développement uniquement si nécessaire Intégrer des solutions existantes si possible Développer d’une façon pragmatique

Qualité production avec évolution rapide Utiliser les méthodologies « agile » et « scrum » Intégration itérative : maintenir toujours une distribution qui fonctionne Une release publique chaque 6 semaines environ

8

Intégration du cloud et la grille

Grid Resource Center

StratusLabDistribution

Private/PublicCloud

Cloud API and Service Manager API

Grid Services

PublicClouds

users

La grille peut être considéré comme un PaaS !

9

Architecture du StratusLab v1.0

IaaS Cloud

VM Manager (OpenNebula)

XML-RPC OCCI

Physical Computing Resources

Service Manager (Claudia)

TCloud

Storage Manager

REST CDMI

iSCSIKVM …

Physical Storage Resources

…

Appliance Management

StratusLab Marketplace

HTTP(S) REST Interface

Appliance Storage (Web, Grid, Cloud)

users

Physical Network

Network Services

10

Services de calcul et réseau

OpenNebula (opennebula.org) Gestionnaire des machines virtuelles au cœur de la distribution Peut gérer la cycle de vie entier (démarrer, arrêter, tuer) Architecture permet l’utilisation de plusieurs « hypervisors »

Fournir 3 classes des adresses IP Publiques : Services accessible via l’internet Locales : Systèmes de batch ou calculs parallèles Privées : Les esclaves dans les systèmes maître/esclave

11

Services de stockage

Disques Persistants (Lecture/Ecriture) Permettre le stockage des données des utilisateurs ou des services Apparaisse comme un disque normal dans les VMs Disques sont persistants et ont un cycle de vie indépendant d’une VM Une seule VM peut utiliser le disque a la fois Accessible uniquement dans un cloud

Disques Statiques (Lecture Uniquement) Intéressante pour la distribution des bases de données statiques Gérer comme les images des VMs via le MarketPlace

Stockage des fichiers Pour le court terme, utiliser les services grilles existants StratusLab va fournir une solution native dans la 2ème année

12

MarketPlace

La création des images empêche l’utilisation du cloud La création des VM prend beaucoup d’effort Vérification que les machines sont sécurisées est difficile La partage des VMs existantes facilite l’utilisation du cloud

Le MarketPlace facilite le partage des images Base des métadonnées pour les images disques et machines Les images sont stocké dans le cloud, la grille, ou le web Engendre la confiance entre les créateurs, utilisateurs, et administrateurs

Avantages Utilisateurs : chercher et utiliser les images existantes Créateurs : publier leurs images et attirer plus des utilisateurs Administrateurs : évaluer la fiabilité des images avec les métadonnées

13

Les acteurs et des workflows

14

Autres services

Claudia: Service Manager Gérer des services (ensemble de machines) « autoscaling » des services

Authentification et autorisation Supporte pour les mot de passe, certificats grilles, proxys VOMS

Service d’enregistrement

Service comptables et surveillance

15

Pourquoi utiliser un cloud ?

Environnement personnalisée Déploiement des logiciels avec beaucoup ou difficiles dépendances Utiliser un environnement déjà valider

Développements et tests des logiciels Accès facile a plusieurs systèmes d’exploitation Changer l’environnement sans impacter les autres développeurs Tester des systèmes qui contiennent plusieurs machines

Déploiement des services Monter les services sans l’intervention d’un administrateur du système Créer les plateformes (PaaS) pour les communautés scientifiques

Accès aux grandes ressources d’une façon dynamique

16

Test d’essai

Infrastructure de référence Ouverte au grand publique (après enregistrement) Envoyer un courriel à support@stratuslab.eu Un site grille certifié sur le cloud StratusLab est gérer par GRNET

Client StratusLab Interface a la ligne de commande écrite en python Compatible avec Mac OSX, Windows, and Linux

« Appliances » Images de base: ttylinux, CentOS 5.5, Ubuntu 10.04, OpenSuSE (?) Grilles : CE, SE, WN, APEL/BDII, UI Bioinformatiques : Serveur des données et machine pour analyses

17

Conclusions

Distribution cloud du StratusLab Release de production (v1.0) va apparaître très bientôt Simplifier le déploiement des applications et des environnements

personnalisées Bien adapter pour créer les PaaS pour les communautés scientifiques

Test d’essai Une infrastructure de référence est ouverte au grand publique Supporte via support@stratuslab.eu

Copyright © 2011, Members of the StratusLab collaboration: Centre National de la Recherche Scientifique, Universidad Complutense de Madrid, Greek Research and Technology Network S.A., SixSq Sàrl, Telefónica Investigación y Desarrollo SA, and The Provost Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth Near Dublin.

This work is licensed under the Creative CommonsAttribution 3.0 Unported Licensehttp://creativecommons.org/licenses/by/3.0/