Grids: Actividades en Curso y Grids: Actividades en Curso y Plan Futuro de InvestigaciónPlan Futuro de Investigación

Javier JaénJavier Jaén

Grupo de Ingeniería del Software y Sistemas de Grupo de Ingeniería del Software y Sistemas de Información (ISSI)Información (ISSI)

Departamento de Sistemas Informáticos y ComputaciónDepartamento de Sistemas Informáticos y Computación

Universidad Politécnica de ValenciaUniversidad Politécnica de ValenciaCamí de Vera s/n E-46022 ValenciaCamí de Vera s/n E-46022 Valencia

fjaen@dsic.upv.esfjaen@dsic.upv.es

ContenidosContenidos

►Presentación del ISSIPresentación del ISSI

►Experiencia en GridsExperiencia en Grids

►Plan Futuro Investigación ISSIPlan Futuro Investigación ISSI

►Plan Futuro Investigación Plan Futuro Investigación GridsGrids

Presentación ISSIPresentación ISSI

►Director: Isidro Ramos SalavertDirector: Isidro Ramos Salavert►Composición: Composición:

1 Catedrático1 Catedrático 1 TU1 TU 3TEUs3TEUs 1 ASO1 ASO 5 Becarios5 Becarios Colaboradores (México, Castilla-La Colaboradores (México, Castilla-La

Mancha,...)Mancha,...)

Presentación ISSIPresentación ISSI

►Líneas de InvestigaciónLíneas de Investigación Métodos Formales para Ingeniería de Métodos Formales para Ingeniería de

Requisitos y Prototipación AutomáticaRequisitos y Prototipación Automática Sistemas WorkflowsSistemas Workflows Sistemas de Cultura DigitalSistemas de Cultura Digital Arquitecturas DinámicasArquitecturas Dinámicas Grids Grids

Experiencia en GridsExperiencia en Grids

►Staff del CERN Staff del CERN División IT, Grupo PDP , Sección I+D División IT, Grupo PDP , Sección I+D I+DI+D

►Monitorización de ClustersMonitorización de Clusters►Gestión de Clusters mediante agentes JMXGestión de Clusters mediante agentes JMX►Miembro del proyecto europeo Datagrid Miembro del proyecto europeo Datagrid

Deputy Manager del WP2 (“Data Management”)Deputy Manager del WP2 (“Data Management”) Setup del primer testbed Globus CERNSetup del primer testbed Globus CERN Participante subproyecto “SpitFire” (Seguridad)Participante subproyecto “SpitFire” (Seguridad)

Del LEP al LHCDel LEP al LHC

Cada experimento LHC requiere una capacidad de uno a dos ordenes de magnitud mayor que la capacidad TOTAL

existente en el CERN en la actualidad

Parameter LEP COMPASS LHC

Raw data rate 1MB/sec 35MB/sec 100MB/sec

Number of events/year <107 ~1010 ~109

Raw data volume/year 0.2-0.3 TB 300TB 1 PB

Event size 20 – 50 kB 30kB 1 MB

Event reconstruction time 2–8 Si95-secs 2 Si95-secs 500 Si95-secs

Number of users 400 - 600 ~200 ~2000

Number of institutes 30-50 ~35 ~150

tape servers

disk servers

application servers

to external network

local network servers

Colaboración MundialColaboración Mundial

CMS: 1800 physicists150 institutes32 countries

La Metáfora GridLa Metáfora Grid► Análogo a la red eléctricaAnálogo a la red eléctrica

► Computación distribuida con Computación distribuida con capacidad ilimitadacapacidad ilimitada

► Acceso transparente a bases Acceso transparente a bases de datos distribuidas con de datos distribuidas con petabytes de informaciónpetabytes de información

► Complejidad de la Complejidad de la infraestructura ocultainfraestructura oculta

Ian Foster and Carl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids

Proyecto Data Grid EuropeoProyecto Data Grid EuropeoComité de GestiónComité de Gestión

UK: PPARC UK: PPARC Italy: INFN Italy: INFN France: CNRS France: CNRS Netherlands: Netherlands: NIKHEFNIKHEF

ESA/ESRINESA/ESRIN CERN CERN

Industria Industria

IBM, HP (UK), Compagnie des Signaux (F), Datamat (I)IBM, HP (UK), Compagnie des Signaux (F), Datamat (I)

Partners AsociadosPartners Asociados

Istituto Trentino di Cultura (I), Helsinki Institute of Physics / Istituto Trentino di Cultura (I), Helsinki Institute of Physics / CSC Ltd (FI), Swedish Science Research Council (S), Zuse CSC Ltd (FI), Swedish Science Research Council (S), Zuse Institut Berlin (DE), University of Heidelberg (DE), CEA/DAPNIA Institut Berlin (DE), University of Heidelberg (DE), CEA/DAPNIA (F), IFAE Barcelona, CNR (I), CESNET (CZ), KNMI (NL), SARA (F), IFAE Barcelona, CNR (I), CESNET (CZ), KNMI (NL), SARA (NL), SZTAKI (HU)(NL), SZTAKI (HU)

Otras CienciasOtras Ciencias

KNMI(NL), Biology, Medicine KNMI(NL), Biology, Medicine

Programa de TrabajoPrograma de TrabajoMiddlewareMiddleware

WP 1 Grid Workload ManagementWP 1 Grid Workload Management F. Prelz/INFNF. Prelz/INFN

WP 2 Grid Data ManagementWP 2 Grid Data Management P. Kunstz/CERNP. Kunstz/CERN

WP 3 Grid Monitoring servicesWP 3 Grid Monitoring services R. Middleton/PPARCR. Middleton/PPARC

WP 4 Fabric ManagementWP 4 Fabric Management O. Barring/CERNO. Barring/CERN

WP 5 Mass Storage ManagementWP 5 Mass Storage Management J. Gordon/PPARCJ. Gordon/PPARC

Grid Fabric -- testbedGrid Fabric -- testbed

WP 6 Integration TestbedWP 6 Integration Testbed F. Etienne/CNRSF. Etienne/CNRS

WP 7 Network ServicesWP 7 Network Services P. Primet/CNRSP. Primet/CNRS

Scientific applicationsScientific applications

WP 8 HEP ApplicationsWP 8 HEP Applications F. Carminati/CERNF. Carminati/CERN

WP 9 EO Science ApplicationsWP 9 EO Science Applications L. Fusco/ESAL. Fusco/ESA

WP 10 Biology ApplicationsWP 10 Biology Applications V. Breton/CNRSV. Breton/CNRS

ManagementManagement

WP 11 DisseminationWP 11 Dissemination M. Draoli/CNRM. Draoli/CNR

WP 12 Project ManagementWP 12 Project Management F. Gagliardi/CERNF. Gagliardi/CERN

Work Package 2:Gestión de Work Package 2:Gestión de DatosDatos

Gestionar y compartir volúmenes de información del orden de Petabytes en entornos de producción de HTC.

Replicacion/caching; Gestión Metadatos; Autentificación; Optimización de Queries;

Interfaces a Mass Storage Mgmt. systems.

Plan Futuro Investigación ISSIPlan Futuro Investigación ISSI

►Arquitecturas DinámicasArquitecturas Dinámicas Proyecto CICYTProyecto CICYT

►Murcia, Cartagena, Castilla-La Mancha,Murcia, Cartagena, Castilla-La Mancha,ValenciaValencia

►Mecanismos de definición de arquitecturas Mecanismos de definición de arquitecturas software adaptativas y que evolucionen en software adaptativas y que evolucionen en función del entornofunción del entorno

►Generación automática de componentes Generación automática de componentes software dinámicassoftware dinámicas

►Aplicación a Sistemas Tele-operados, Sistemas Aplicación a Sistemas Tele-operados, Sistemas de difusión de información multimedia, Gridsde difusión de información multimedia, Grids

Plan Futuro Investigación Plan Futuro Investigación GridsGrids

► Arquitecturas adaptativas para Grid Arquitecturas adaptativas para Grid ComputingComputing

► Requisito crítico para aplicaciones Grids Requisito crítico para aplicaciones Grids (condiciones cambiantes de los recursos (condiciones cambiantes de los recursos existentes)existentes) No adaptación = Pobres prestacionesNo adaptación = Pobres prestaciones Adaptabilidad implementada en la actualidad de Adaptabilidad implementada en la actualidad de

forma ad hocforma ad hoc Alternativa: Alternativa:

► Usar modelos arquitectónicos de alto nivelUsar modelos arquitectónicos de alto nivel► Mantener versiones en tiempo de ejecución de dichos Mantener versiones en tiempo de ejecución de dichos

modelos y tomarlos como base para la adaptabilidadmodelos y tomarlos como base para la adaptabilidad

Ejemplo: Catalogo Auto-Ejemplo: Catalogo Auto-configurable “Context-Aware”configurable “Context-Aware”

Catalogue Catalogue

Catalogue Catalogue Catalogue

Centralizado Jerárquico

Catalogue

Catalogue

CatalogueCatalogue

P2P

Ejemplo: Tareas sensibles al Ejemplo: Tareas sensibles al ContextoContexto

Task Controller

Grid Nodes Grid Nodes

Context-Aware tasks

Task Controller

Polling Pushing

¿Qué se necesita?¿Qué se necesita?

►Un modelo abstracto para definir Un modelo abstracto para definir componentes software sensibles al componentes software sensibles al contexto y evolutivascontexto y evolutivas

►Mecanismos de generación automática Mecanismos de generación automática de código para obtener “context-de código para obtener “context-aware” componentes ejecutables (J2EE aware” componentes ejecutables (J2EE JavaBeans, CORBA, .NET Web JavaBeans, CORBA, .NET Web Services...)Services...)

ColaboraciónColaboración► Impulsar el uso de infraestructuras GridsImpulsar el uso de infraestructuras Grids

► Construir un Testbed Grid UPV-UVConstruir un Testbed Grid UPV-UV

► Obtener requisitos de adaptabilidad de las Obtener requisitos de adaptabilidad de las aplicaciones Gridaplicaciones Grid Biología, Medicina, Física de partículas...Biología, Medicina, Física de partículas...

► Construir infraestructuras Grid dinámicas y Construir infraestructuras Grid dinámicas y evolutivas a partir de componentes software evolutivas a partir de componentes software generadas semi-automáticamentegeneradas semi-automáticamente

¿Qué Ofrecemos?¿Qué Ofrecemos?

► Experiencia en implantación de GridsExperiencia en implantación de Grids

► Experiencia en generación automática de Experiencia en generación automática de componentes softwarecomponentes software

► Experiencia definición de proyecto Experiencia definición de proyecto compartido Europeocompartido Europeo

► Contactos en el proyecto EU DatagridContactos en el proyecto EU Datagrid