Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de production WISDOM

Plateforme de Calcul pour les Sciences du Vivant

L’environnement de production WISDOM


2

• WISDOM (World-wide In Silico Docking On Malaria) est à l’origine une organisation qui a pour but de prouver la pertinence de l’utilisation de la grille dans la recherche de médicaments contre les maladies négligées

2005 2006 2007 2008Wisdom-I

Malaria Plasmepsin

DataChallengeGrippe aviaire

Neuraminidase

Wisdom-IIMalaria 4 targets

DataChallengeDiabetes

Alpha-amylase

EGEE, Auvergrid,TwGrid, EELA,

EuChina,EuMedGrid

EmbraceEGEE

BioInfoGrid

SCAI, CNUAcademica Sinica of Taiwan

ITB, Unimo Univ,, LPC, CMBA CERN-Arda, Healthgrid, KISTI

GRIDS EUROPEAN PROJECTS INSTITUTES


L’initiative WISDOM

Univ. Los Andes:Biological

targets, Malaria biology

LPC Clermont-Ferrand:

Biomedical grid

SCAI Fraunhofer:Knowledge extraction,

Chemoinformatics

Univ. Modena:Biological targets,

Molecular Dynamics

ITB CNR:Bioinformatics,

Molecular modelling

Univ. Pretoria:Bioinformatics, Malaria biology

Academica Sinica:Grid user interface

HealthGrid:Biomedical grid, Dissemination

CEA, Acamba project:

Biological targets, Chemogenomics

Chonnam Nat. Univ.

In vitro tests

KISTIGrid technology


Les activités de WISDOM

• Activités de calcul montrer la pertinence de la grille pour la bioinformatique développer un environnement capable de monitorer les

déploiements sur grille: l’Environnement de Production Wisdom

Fournir la grille aux non-experts

• Activités biologiques Etablir un workflow de criblage virtuel sur grille Trouver de nouveaux médicaments pour lutter contre les

maladies négligées


L’environnement de Production Wisdom

• Déployer un environnement de monitoring des jobs sur grille de calcul

Produire de grandes quantités de données pendant les data challenges

dans un temps minimal et en utilisant un minimum de moyens

humains

Gérer le fait que la grille est hétérogène et dynamique un workflow de grille: soumission de job automatique, gestion des statuts de

jobs, récupération des erreurs utiliser les modes push et pull https://sourceforge.net/projects/wisdom-pe/


Wisdom Production environment

AMGA2. Post-

Processing

WMSWMS

3. Lab Validation

User Interface

WISDOM production

system

WISDOM production

system

Job submissionCE & WNsCE & WNs

Job

SEsSEs

Software

Protein

Compounds

Results

Statistics

Job status / Resubmission

Statistics

WMS: Workload Management SystemCE: Computing ElementSE: Storage ElementDMS: Data Management SystemSRM: Storage Resource ManagementInputsOutputs

DMS

DMS

SRM

SRM


Push-WPE ->> Pull-WPE

AMGA

PUSHPUSH

WISDOM production

system

WISDOM production

system

CE & WNsCE & WNs

JobPULLPULL

WISDOM production

system

WISDOM production

system

Génération des jobs avec un ensemble de

tâches

Génération de jobs sans tâches

Retrouve les informations des

tâches

Retroube les tâches et leurs informations

Changer le WPE pour améliorer: Flexibilité Efficacité


Performances


Apporter la grille aux non-experts

WISDOM ENVIRONMENT • Complexe et inflexible• Pour les gens familiers avec la grille• Application de recherche de médicaments

• Utilisateurs Non-experts• Plusieurs outils bioinfos

UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE

STOCKAGE DE LA GRILLE

UTILISE LES AVANTAGES DES RESSOURCES DE CALCUL ET DE

STOCKAGE DE LA GRILLE

2005-2008

2008-…


Implémentation

MIDDLEWARE DE GRILLEMIDDLEWARE DE GRILLE

RESSOURCES DE GRILLERESSOURCES DE GRILLE

SERVICES WISDOMSERVICES WISDOM

INTERFACE WEB SERVICESINTERFACE WEB SERVICES

Moteur de Workflow Portail Web WS Client


Wisdom Production environment

File IS

File IS

Bio IS

Bio IS

WISDOM Information

System

AMGA AMGA

WISDOM Information

System

Client Services

Client Services

Local Data

Repository

Data Manager

Local Data Repository

Database Service

Database Service

Data Manager

Data Management APIs

Transfer ManagerTransfer Manager

FTP HTTP

EGEE EGEE

SESE

CECE DIGITAL

RIBBONDIGITAL RIBBON

SESE

EGEE

EGEESESE

CECE SESECECE

OSG

Data

Metadata

Job Manager Job Submitter

Job Submitter

Jobs

Task Manager

Tasks Management APIs


Infos Biologiques

Infos Biologiques

Infos sur les fichiers

Infos sur les fichiers

• WISDOM data manager Services de haut-niveau pour gérer les données et les

métadonnées reliées aux applications et aux tâches Services qui peuvent être utilisés pour déployer et synchroniser

des données sur la grille (BD incluses) ensemble d’APIs permettant d’accéder et de requêter les données

• WISDOM information system Basé sur AMGA


Data Manager

File ISFile IS

Bio ISBio IS

WISDOM Information System

File ISFile IS

Bio ISBio IS

WISDOM Information System

Local Data

Repository

Biodata APIs

Database Service

Database Service

Data Manager

File APIs


Local Data

Repository

Biodata APIs

Database Service

Database Service

Data Manager

File APIs


FTP

HTTP

FTP

HTTP Data Metadata

Data Metadata

EGEE EGEE

SESE

CECE

DIGITAL RIBBONDIGITAL RIBBON

SESE

CECE

Data Metadata

Data Metadata

EGEE EGEE

SESE CECE

OTHER GRIDOTHER GRID

SESE CECE

Upload ServiceUpload ServiceUpload ServiceUpload Service


Système de soumission des jobs

Retroube les informations du BDII concernant les CD (nombre de CPU, nombre de CPU libres,…)

Définit le lancement en fonction des infos du CE Initialise the voms proxy Génère les JDL Soumet les jobss en utilisant la soumission multithreadée Jusqu’à ce que tous les jobs soient done (success):

Récupère le statut des jobs en utilisant le checking multithreadé Resoumet les jobs si besoin est Réinitialise le voms proxy si besoin est Met à jour les informations sur AMGA


Interactions du task manager1

1

2

2


Processus de soumission de tâches

Information System(AMGA)

Tool WEB SERVICE Tool WEB SERVICE

Task Task ManagerManager

Task Task ManagerManager

Crée etgère lestâches

Storage ElementStorage Element

Computing Element

Computing Element

Prend les packages de programmes

correspondant et récupère les

données correspondantes

Prend une tâche(info sur les programmes et les paramètres)

11

33

22Prend les informations

correspondantes

44 Exécute la tâche

55Stocke les données

résultats66 Supprime la tâche



Exemple

• Nom du service : blast.tar.gz– ~/blast/ répertoire du nom du service– ~/blast/createTask exécutable de création de tâche– ~/blast/scripts.tar.gz scripts d’utilisation d’AMGA– ~/blast/blast.sh shell du service

• Création d’une tâche– ~/createTask –s BLAST –u <username> –c <contrainte> –a

<paramètres>– les paramètres sont séparés par :– ~/createTask –s BLAST –u reichma–c gilda –a seq.fasta:db.fasta

• Basé sur un fichier shell

Documents

Plateforme de Calcul pour les Sciences du Vivant Lenvironnement de production WISDOM