View
25
Download
2
Category
Preview:
DESCRIPTION
L’assimilation de données dans le contexte du calcul intensif et du calcul massivement parallèle au CERFACS. Sophie Ricci , Global Change Team. Journée HPC Total, 25 Mars 2008. EDF Neutronique Prévision saisonnière Mécanique. CNES Océanographie Chimie atmosphérique. Météo-France - PowerPoint PPT Presentation
Citation preview
L’assimilation de données dans le contexte du calcul intensif et du calcul massivement parallèle au CERFACS.
Sophie Ricci , Global Change Team
Journée HPC Total, 25 Mars 2008
Assimilation de données
1- Les collaborations
EDFNeutroniquePrévision saisonnièreMécanique
CNESOcéanographieChimie atmosphérique
Météo-FranceOcéanographieChimie atmosphériqueHydrologie (SHAPI-SPC)
Partenaires CERFACS
ALGOMinimiseurs performantsMéthodes d’assimilation
OUTILS LOGICIELSCouplages de codes (PALM, OASIS- PRISM)
Equipes CERFACS
GLOBCOcéanographie, Hydrologie, Prévision saisonnière, Neutronique
PAEChimie atmosphérique
Moyens de calcul
PartenariatsNEC SX8R (Météo-France)IBM p575 (ECMWF)NEC SX6 (Earth Simulator)
CERFACSIBM BlueGene (5.7 peak Tflops)IBM Blade Center(2.2 peak Tflops)
Compétences Méthodes d’assimilation (variationnelle, Kalman)Méthodes avancées(4D-Var, Ensembles)Algorithmie opérationnelle
ProjetsFP’6 (ENSEMBLES), FP’7 (MACC),MERCATOR(GMMC),EDF(ARTEMIS), CNES(TOSCA),CNRS(LEFE)ANR (ADONIS, NEMOVAR)
Production et expertise
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Océanographie
Neutronique
A. Weaver,
I. Mirouze,
S. Ricci
B. Bouriquet,
S. Ricci,
S. Massart
D. Cariolle,
S. Massart,
A. Piacentini
Chimie atmosphérique
J. Munoz,
S. Massart,
S. Ricci,
B. Bouriquet
Hydrologie
2- Les domaines d’application de l’assimilation de données au CERFACS
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Equipe Cerfacs/Mercator
: observations
: ébauche
: état estimé
temps
3- Le principe de l’assimilation de données
Modèle MOpérateur d’observation H
Physique
Matrice B : ébaucheMatrice R : observationMatrice Q : modèle
Modélisation erreurs
PréconditionneursMinimiseursCalcul matriciel
Librairie de calcul
3D/4D-VAR(psas/fgat)Filtre KALMANEnsembles
Méthodes
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Identification du vecteur de contrôle sur lequel doit porter la correction
Stratégie d’assimilation:-choix de la méthode d’assimilation-choix de la plateforme de calcul-choix d’un algorithme d’implémentation
4- Des calculs coûteux, des besoins considérables
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Intégration de modèles physiques à haute résolution: • Modèle d’océan (NEMO: 2º, 1/2 º, 1/4 º, 1/12º) • Modèle de chimie atmosphérique (MOCAGE: 2 º à 1/2 º)complexes:• Neutronique (statique, dynamique)
Calculs algébriques ou analytiques:• Inversion de matrices• Minimisation de fonction coût complexes
Taille du système:• Taille du vecteur d’état (~106 pour NEMO 2 º )• Taille du vecteur de contrôle
Coûts directement liés à la méthode d’assimilation• Intégration des modèles adjoints • Réalisation d’ensembles• Propagation des matrices d’erreurs• Prise en compte des diagnostiques d’erreurs
Besoin de calculateurs puissants (massivement parallèles) à grande capacité de stockage
5- L’assimilation dans le contexte du groupe Mercator
SGi –Altix 4700
1,23 peak Tflops
96 nœuds (processeurs dual core Itanium2)
192 cœurs de calcul
960 Go RAM
NEC-SX8R (Meteo-France)
Groupement d'Intérêt Public dont la mission est de mettre en œuvre un système permettant de décrire à tout instant l'état de l'océan.L'assimilation de données d'observation dans un modèle permet ainsi la description et la prévision de l'océan jusqu'à 14 jours.
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Intégration sur 1 semaine du modèle direct NEMO(1/12 º) avec modèle de glacejpi=4322, jpj=3059, jpk=502h20 elapsed (136h CPU) sur NEC – 8 nœuds de 8 procs
Analyse (1/4 º) avec modes d’erreur au 1/6º (1 mode = 775 mégas)20 minutes sur 158 procs SGI
Inside
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
6- Le système couplé océan-atmosphère avec assimilation
IBM Blue Gene1024 nœuds de calcul soit 2048 cœurs Power PC440
Modèle océan NEMOavec glace de mer1/2º, 31 niveaux verticaux10 ans en 3 joursSurcoût de 150 % par rapport à NEC :
Modèle atmosphérique ARPEGEavec modèle de glacetl159 (1º), 31 niveaux verticaux10 ans en 3 jours
Couplage par OASIS NEMOVAR
Chaine
d’assimilation
variationnelle
1 nœud: 2 cœurs Power PC440 700 Mhz512 MO de mémoire par processeur
Système d’assimilation océanique
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
7- La chaine d’assimilation variationelle océanique NEMOVAR
Optimisation de la chaine d’assimilation variationelleautour du code océan NEMO :Distribution MPP efficace des
observations
Chaine d’assimilation avancée performante (opérationnel prévu par ECMWF)
8- Expériences d’ensembles avec la chaine d’assimilation océanique
Réalisation d’un ensemble avec la chaine d’assimilation variationnelle océanique 3D-FGAT sur IBM p575 (ECMWF) (Thèse N. Daget)• Estimation statistique des covariances d’erreur d’ébauche et d’observation• Génération d’un jeu de conditions initiales océaniques pour le projet de prévision saisonnière ENSEMBLES.10 ans en 15 jours (temps elapsed) soit 100 jours temps CPU + 1,1 To de stockage
IBM p575 (ECMWF)2240 cœurs Power PC440 a 1.9 GHz7.6 GFlops par processeur
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Prévision à t Analyse Prévision à t+1
Observations + δ1
P1
Prévision à t Analyse Prévision à t+1
Observations + δ2
P2
Prévision à t Analyse Prévision à t+1
Observations + δ3
P3
Traitement statistique et/ou
Initialisation modèle
9- D’autres approches ensemblistes en assimilation de données au CERFACS
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
IBM Blue Gene1024 nœuds de calcul soit 2048 cœurs Power PC440
Modèle océanique simplifié Shallow waterMise en place d’un Filtre de Kalman d’ensemble sur Blue Gene CERFACS (stage à venir)
Réalisation d’une chaine d’assimilation autour du code neutronique EDF-N3CV2• Calage de paramètres physiques• Reconstitution de champs d’activité
Les méthodes d’ensembles pourront être envisagées (estimation erreurs B, R)
Inside
NEC SX8R (Météo-France)
Réalisation d’un ensemble avec la chaine d’assimilation de chimie atmosphérique avec le modèle MOCAGE (S. Massart)Perturbations des jeux d’observations assimilées1 jour en 30 minutes + 160 Go de stockage pour 5 mois Inside
10- Gestion du parallélisme via le logiciel PALM
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Palm est un logiciel destiné à coupler des unités de calcul (élémentaires ou complexes)• Couplage de modèle (océan-atmosphère, combustion-rayonnement)• Echanges de données• Calculs intermédiaires sur les données• Interpolation entre maillages• Redistribution des structures de données
Couplage dynamique: ressources informatiques, mémoire et nombre de processeurs du calculateur gérées par PALM.Parallélisme:Interne au niveau d’une unité de calcul De tache au niveau de la distribution des unités
Une application en assimilation de données peut être conçue via PALM comme un couplage dynamique d'un modèle et de quelques unités de traitement des observations et des statistiques d'erreur,
plus des traitements algébriques.
Gestion efficace et modulaire d’une chaine de calcul complexe type assimilation de données
Interface graphique PrePalmBoite à outils d’algèbreMonitorage en cours d’exécutionAnalyse des performances
Différentes tactiques de couplage Équilibrage des charges sur le calculateur
Sophie Ricci, CERFACS - Journée HPC Total, 25 Mars 2008
Vers l’utilisation croissante des moyens de calcul intensif massivement parallèle au CERFACS pour l’assimilation de données
Augmentation des ressources de calcul du CERFACS• Acquisition de l’IBM Blue Gene Novembre 2007• Partenariat avec d’autres organismes équipés de gros calculateurs (Météo-France, ECMWF, PRACE…)
Intensification des besoins pour des applications coûteuses• Augmentation de la résolution des modèles • Méthodes avancées (4D-Var, ensembles)
Expertise en assimilation de données au CERFACS• Océanographie• Hydrologie• Chimie atmosphérique• NeutroniqueBon nombre de ces applications implique l’utilisation de ressources en calcul intensif massivement parallèle et d’un espace de stockage important
Un environnement de calcul favorable pour des applications coûteuses en assimilation de données
Recommended