Upload
vudiep
View
216
Download
0
Embed Size (px)
Citation preview
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Vers l’orchestration des grilles de PCs par lesmecanismes de publication-souscription
issus des technologies du WEB
Presente parLeila Abidi
sous la direction deChristophe Cerin & Mohamed Jemni
Universite de Paris 13, LIPN UMR CNRS 7030, France
Universite de Tunis, LaTICE ENSIT, Tunisie
Vichy, 3 juin 2014
1/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Outline
1 Contexte
2 Problematiques
3 Contributions
4 Travaux en cours & travaux futurs
2/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Outline
1 Contexte
2 Problematiques
3 Contributions
4 Travaux en cours & travaux futurs
3/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Nous etudions les Grilles de PC, lecalcul volontaire... pour aller vers lesorganisations de type Clouds ;Nous sommes partis d’une certainesituation (plus de 15 ans de travauxdans le domaine)Nous cherchons a repenser lesinteractions entre les composantstraditionnels d’une grille de PCs :- en terme de technologies liees auWEB- en terme formel (a l’aide des outilsde CPN) pour acquerir de laconfiance dans les protocolesd’interaction
4/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Outline
1 Contexte
2 Problematiques
3 Contributions
4 Travaux en cours & travaux futurs
5/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Faits et questions cles
Les systemes deviennent assez complexes qu’il faut les verifierformellement : Besoin de consolider le protocole existant(BonjourGrid dans notre cas)
Le paradigme de communication (pour la coordination, non paspour l’echange de donnees) doit avoir un haut niveaud’asynchronisme afin d’assurer la scalabilite
Les technologies Web sont l’avenir de la conception dessystemes distribues. Comment les technologies du Web et lestechnologies des grilles peuvent-elles fusionner ?
Le nombre croissant d’appareils mobile intelligents pousse lesapplications de grille existantes a s’integrer dans ces nouvellesplateformes a base de technologies du Web
6/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Faits et questions cles
Les systemes deviennent assez complexes qu’il faut les verifierformellement : Besoin de consolider le protocole existant(BonjourGrid dans notre cas)
Le paradigme de communication (pour la coordination, non paspour l’echange de donnees) doit avoir un haut niveaud’asynchronisme afin d’assurer la scalabilite
Les technologies Web sont l’avenir de la conception dessystemes distribues. Comment les technologies du Web et lestechnologies des grilles peuvent-elles fusionner ?
Le nombre croissant d’appareils mobile intelligents pousse lesapplications de grille existantes a s’integrer dans ces nouvellesplateformes a base de technologies du Web
6/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Faits et questions cles
Les systemes deviennent assez complexes qu’il faut les verifierformellement : Besoin de consolider le protocole existant(BonjourGrid dans notre cas)
Le paradigme de communication (pour la coordination, non paspour l’echange de donnees) doit avoir un haut niveaud’asynchronisme afin d’assurer la scalabilite
Les technologies Web sont l’avenir de la conception dessystemes distribues. Comment les technologies du Web et lestechnologies des grilles peuvent-elles fusionner ?
Le nombre croissant d’appareils mobile intelligents pousse lesapplications de grille existantes a s’integrer dans ces nouvellesplateformes a base de technologies du Web
6/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Faits et questions cles
Les systemes deviennent assez complexes qu’il faut les verifierformellement : Besoin de consolider le protocole existant(BonjourGrid dans notre cas)
Le paradigme de communication (pour la coordination, non paspour l’echange de donnees) doit avoir un haut niveaud’asynchronisme afin d’assurer la scalabilite
Les technologies Web sont l’avenir de la conception dessystemes distribues. Comment les technologies du Web et lestechnologies des grilles peuvent-elles fusionner ?
Le nombre croissant d’appareils mobile intelligents pousse lesapplications de grille existantes a s’integrer dans ces nouvellesplateformes a base de technologies du Web
6/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Champs disciplinaires et communautes
Specification formelle : les CPN sont un outil qui guident ledeveloppement et qui permettent de verifier de ”bonnesproprietes”
La communaute qui developpe des intergiciels de grilles (HPC...evoluant vers les organisations de type Clouds)
Architecture des systemes : la structure generale inherente a unsysteme informatique (grille de PCs), l’organisation desdifferents elements et des relations entre eux.
Service computing : discipline transversale qui couvre lessciences et les technologies de l’information afin de combler lefosse entre les services aux entreprises et les servicesinformatiques plus classiques (serveur Web...).
7/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Difficultes majeures
Comment reconsiderer les intergiciels de grille de PC pour lescloudifier ?L’utilisateur du cloud est au centre des preoccupations : il doitpouvoir deployer une application sans avoir besoin d’unadministrateur systemeLes interactions entre :
les composants ”traditionnels” (master/worker, certification desresultats, monitoring...)et ”nouveaux” : la facturation (en n’oubliant pas que lestechnologies pour l’implementation sont issues du Web - on ne faitplus du ad-hoc comme par le passe)
8/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Histoire des grilles de PCs : premiere generation
! "#$%&!'()*+,-!-)(./ 0
!"#$%&'()&*#+,"%(+%-#(
!"
!"
!#$#%&'&$(
")*&+',#--)*.#'*/+,!#$#%(0,1$&(2)'(0
3&(2)'(
"//$4*+#'/$13&(/2$.&,5*(.0
!"#$%&'()"*+&%,-($",$.%" /0#0'1$-(2."+&%,-($",$.%"3
45"%+3+6*7(#+(#$"%8&,"
9(%":&'';<6=
6>>'(,&$(0#
?,-"*.'"%=&5@+3+A&$&+3+<"$+
B?+3+?&#*C0D
E%0$0,0'5
9/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Histoire des grilles de PCs : deuxieme generation
! "#$%&!'()*+,-!-)(./ &
!"#$%&'("%')*#+,-"#-.*"
!"#$%&'()"*+&%,-($",$.%"/01'($+$&0203*&$&+45#$67#$"%+#8*"+,8409
:8#8';$-(<."+&%,-($",$.%"=
>0"%+=+?*4(#+(#$"%@&,"
?11'(,&$(8#
A,-"*.'"%B&02+=+C&$&+=+D"$+
EA+=+A&#*F8G
H%8$8,8'0!"!#$#%&'&$(
")*&+',#--)*.#'*/+,!#$#%(0,1$&(2)'(0
3&(2)'(
"//$4*+#'/$15.6&42)&$,78#(9(:
I(%"J&''3D?B
;#'#,<#+#=&$5.6&42)&$,78#(9(:
10/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Histoire des grilles de PCs : BonjourGrid
11/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
BonjourGrid : comment ca marche ?
L’utilisateur lance une requete pour le calcul ;
L’utilisateur fournit le graphe du controle du flux, lesbinaires et les donnees en entree ;
L’utilisateur deploie localement un coordinateur et lesrequetes pour les participants ; Nous assurons lesupport de XtremWeb, Condor et Boinc.
Le coordinateur selectionne un ensemble de machines
A la fin, le coordinateur retourne a l’etat ”idle”
Les machines esclaves sont liberees et
Le protocole de coordination :- gere et controle les ressources, les services et leselements de calcul ;- ne depend d’aucune machine en particulier ou d’unelement central.
12/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Outline
1 Contexte
2 Problematiques
3 Contributions
4 Travaux en cours & travaux futurs
13/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Plan theorique et methodologique
Assurer une confiance dans le protocole grace aux methodes deverification formelleModeliser et verifier un protocole pour les grilles de PCs basesur le paradigme de publication-souscriptionRepenser les interactions entre les composants d’une grille dePCs par rapport aux technologies modernes du WebAssurer un degre de securite en implementant des mecanismespour la verification/certification des resultats
Developpement logiciel
Developper un nouveau middleware de grille pour les PCs, maisaussi pour smartphones et tablettesIntegration du nouveau middleware dans le cloud
14/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Plan theorique et methodologique
Assurer une confiance dans le protocole grace aux methodes deverification formelleModeliser et verifier un protocole pour les grilles de PCs basesur le paradigme de publication-souscriptionRepenser les interactions entre les composants d’une grille dePCs par rapport aux technologies modernes du WebAssurer un degre de securite en implementant des mecanismespour la verification/certification des resultats
Developpement logiciel
Developper un nouveau middleware de grille pour les PCs, maisaussi pour smartphones et tablettesIntegration du nouveau middleware dans le cloud
14/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Publication-Souscription : Adequat pour la scalabiliteEvent Service
Notify()Subscribe()
Unsubscribe()
Storageand managementof subscriptions
Publish
Publish
Publisher
Publisher
Publisher
Publisher
Subscribe
Un-subscribe
Notify
SubscriberNotify()
SubscriberNotify()
SubscriberNotify()
SubscriberNotify()
Mode de communication : multi-point, anonyme, implicite, etasynchroneDecouplage total entre les evenements :- Spatial (les entites en interaction ne se connaissent pas)- Temporel (pas besoin d’interagir en meme temps)
15/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Modelisation formelle du paradigme depublication-souscription
16/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Modelisation formelle de BonjourGrid
17/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Resultats
Proprietes generales
Pas de deadlocks : toutes les transitions sont executables (toutles evenements peuvent se produire)L’espace d’etats est construit a partir d’une seule composantefortement connexe (la propriete de vivacite est verifiee)
Proprietes specifiques
Chaque evenement publie est recu par tous les souscripteursinteressesUn coordinateur commence l’execution de son application s’ilexiste au moins une machine acceptant de participerSi un coordinateur finit l’execution de son application alors toutles ”Workers” associes doivent etre liberesUn ”Worker” ne peut etre attache qu’a un seul coordinateur
18/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Resultats
Proprietes generales
Pas de deadlocks : toutes les transitions sont executables (toutles evenements peuvent se produire)L’espace d’etats est construit a partir d’une seule composantefortement connexe (la propriete de vivacite est verifiee)
Proprietes specifiques
Chaque evenement publie est recu par tous les souscripteursinteressesUn coordinateur commence l’execution de son application s’ilexiste au moins une machine acceptant de participerSi un coordinateur finit l’execution de son application alors toutles ”Workers” associes doivent etre liberesUn ”Worker” ne peut etre attache qu’a un seul coordinateur
18/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Evolution de BonjourGrid
19/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Proposition d’un nouvel intergiciel (incluant lestechnologies du Web)
Base sur le paradigme de publication-souscription –Co-developpement entre code et specificationAspects requis :
Stocker le code d’executionStocker les donnees d’entree et de sortieOffrir un mecanisme de publication-souscription
Etat de l’art : Redis peut satisfaire tous les aspects requis
20/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Redis : fait partie de la mouvance NoSQL
Un systeme de gestion de base de donneesclef-valeur scalable,Propose differents types de donnees :chaines de carcteres, listes, ensemblesordonnes, hashes...Offre differentes options pour la persistancede donneesOffre de tres hautes performancesFacile a integrer dans differentesarchitecturesSupporte le paradigme depublication-souscription
21/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
RedisDG : schema d’interaction
WaintingTasks
TasksToDo
TasksInProgress
TasksToCheck
FinishedTasks
VolunteerWorkers
SelectVolunteer
Emergency
Monitor
Checker
Broker
Workers
Coordinator
22/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Feedback
Notre systeme est operationnel : leger en termes de codeEntierement specifie en termes de notification d’evenements :non conventionnel mais pertinent pour un middleware de grillede PCsCapable de gerer des graphes series-parallelesCertification des resultatsLe Monitoring vise a remonter de l’information sur l’etat dusysteme (verifier si tous les workers attaches a une applicationsont vivants)
23/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Outline
1 Contexte
2 Problematiques
3 Contributions
4 Travaux en cours & travaux futurs
24/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Travaux en cours
RedisDG est en cours d’integration dans le Cloud SlapOS del’universiteRemontee des informations de monitoringEvaluation des performances sur Grid5000
25/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Travaux futurs : long terme
Objectif (contribution au FUI Resilience) : pousser et montrer leslimites de la technologie SlapOS en cherchant a integrer desintergiciels qui ne sont pas architecturer comme les logiciels dufond de commerce de SlapOS (Blogs, serveurs Apache, suitebureautique en ligne...)Objectif moins lie a Resilience : montrer que l’architectureSlapOS est ou n’est pas tres conforme a ce que propose lesstandards (NIST...) pour architecturer un Cloud.
26/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Travaux futurs : moyen terme
Depasser les limites en termes de scalabilite pourl’implementation actuelle du sous-systeme de monitoringMener des experimentations sur des clusters a large echelleRendre accessible les technologies des DG pour la communauted’E-science a travers l’automatisation des deploiements (sansintervention d’un administrateur systeme)
27/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub
ContexteProblematiques
ContributionsTravaux en cours & travaux futurs
Publications
2013 : Grid and Pervasive ComputingLeila Abidi, Christophe Cerin, Mohamed Jemni : Desktop GridComputing at the Age of the Web.2013 : ACM Symposium On Applied ComputingLeila Abidi, Christophe Cerin, Jean-Christophe Dubacq,Mohamed Jemni : A Publication-Subscription Interaction Schemafor Desktop Grid Computing.2012 : Grid and Pervasive ComputingLeila Abidi, Christophe Cerin, Kais Klai : Design, Verification andPrototyping the Next Generation of Desktop Grid Middleware.2011 : IEEE Services Computing ConferenceLeila Abidi, Christophe Cerin, Sami Evangelista : A Petri-NetModel for the Publish-Subscribe Paradigm and Its Application forthe Verification of the BonjourGrid Middleware.
28/28 L.ABIDI Vers l’orchestration des grilles de PCs pas les mecanismes de pub-sub