1

Grid Computing

2

When the network is as fast as the computer's internal links, the machine disintegrates across the net into a set of special purpose appliances.-- Gilder Technology Report, June 2000.

3

Antecedentes y Motivacion 1970s - 80s: Internet

Email, ftp, etc 1980s - 90s: Remote-, Distributed-, Meta-,

Internet-computing Comienza la idea de explotar recursos

distribuidos Programas de los Centros de USA SC

4

Antecedentes y Motivacion

SC95: I-Way Primer experimento de gran escala, en 1995, en

el cual se exploraron los conceptos de Grid computing ( 17 sitios interconectados con red de alta velocidad por un corto periodo de tiempo )

Post I-Way: Grid Explosion de la actividad , aun inmadura. La proxima revolucion tecnologica ?

5

Grid Computing: Un Nuevo Paradigma ?

Recursos distribuidos a lo largo del mundo Compute servers Handhelds File servers Networks Playstations, cell phones etc…

Como tomar ventaja de ellos para simulacionescientificas/tecnlogicas?

QuickTime™ and aPhoto - JPEG decompressor

are needed to see this picture.

QuickTime™ and a Photo decompressor are needed to see this picture.

6

Grid Computing Extensión del Paradigma “Distributed

Computing “ “ conecta los recursos de multiples

computadoras para trabajar simultaneamente en un único problema complejo “ (IEEE Computer Dec 01)

7

Grid ( cont) Protocolos, Servicios y Aplicaciones que permiten una nueva forma de colaboración. Recursos Globales disponibles para las comunidades de investigadores “Access Grid” para comunicación y colaboración

8

Grid ( cont) “ A computational grid is a hardware and software infraestructure that provides dependable , consistent , pervasive , and inexpensive access to high-end computational capabilities “

9

Grid ( cont.) Tecnología cuyo objetivo es la compartición de

recursos en Internet de forma uniforme, transparente, segura, eficiente y fiable

EL termino Grid se empezó a utilizar a mediados de los 90 en el mundo académico para denotar a Sistemas de Computación Distribuidos que pueden proveer servicios de computo bajo demanda de forma análoga a las redes de suministro eléctrico o de agua potable

10

Una definición aceptada :

A Grid is a system that...

1) ...coordinates resources that are not subject to a centralized control...

2) ...using standard, open, general-purpose protocols and interfaces...

3) ...to deliver nontrivial qualities of services.

Ian Foster

What is the Grid? A Three Point Checklist (2002)

11

Electric Power Grid /Grid

Suministro eléctrico “Implements standards for electric power

transmission that allow for the decoupling of consumer and provider

Links diverse provider into a managed utility

Grid On-demand access to computing capabilities The Federation of distributed resources and the

management of the those distributed resources to meet end-user requirements “

12

Power Grid /Grid En comun con la red electrica

Ofrecen un único punto de acceso a un conjunto de recursos distribuidos

Geográficamente en diferentes dominios de administración

13

Power Grid /Grid Suministro eléctrico

Se produce más económicamente de forma centralizada Se accede a través de una interfaz de conexión

estandarizada Se caracteriza por una métrica muy simple

Grid Los recursos computacionales son producidos más

económicamente de forma distribuida con clusters Se caracterizan por una métrica altamente compleja Se accede mediante interfaces de software en proceso

de estandarización

14

Clasificacion Computational Grid Data Grid Network Grid

15

Como implementar Grid ? Bottom-up Crecimiento Incremental

16

Ventajas

Alquiler de recursos Amortización de recursos propios Gran potencia de cálculo a precio bajo sin

necesidad de adquirir equipamiento Mayor colaboración y compartición de recursos

entre varios centros Creación de organizaciones virtuales Negocios basados en proveer recursos

17

Desafios: Recursos heterogéneos Seguridad, identidad, autenticación, ... Descubrimiento, selección, reserva, asignación, gestión y

monitorización de recursos Desarrollo de aplicaciones Desarrollo de modelos eficientes de uso Garantías de rendimiento Gestión de fallos Algoritmos distribuidos Acceso a datos remotos Comunicación lenta y no uniforme Organizativos: Dominios de administración, modelo de explotación y

costes,política de seguridad... Económicos: Precio de los recursos, oferta/demanda...

18

Infraestructura necesaria

Recursos a compartir Recursos de cálculo Recursos de almacenamiento Recursos de información

Redes de comunicaciones Middlewares

Permiten a las aplicaciones utilizar los recursos

19

Global Grid Forum

http://www.gridforum.org/ Organismo encargado de crear estándares de

servicios y protocolos para crear la infraestructura grid

Grupos de trabajo Aplicaciones y entornos de programación Arquitectura Datos Redes Peer-to-Peer Planificación y gestión de recursos Seguridad

20

Tecnología Globus

Colección de componentes software de código abierto que permite construir grids

http://www.globus.org/ Globus Toolkit permite compartir recursos

localizados en diferentes dominios de administración, con diferentes políticas de seguridad y gestión de recursos.

Globus es… Un middleware software Un conjunto de bibliotecas, servicios y APIs

Globus no es Una herramienta de usuario o planificador Una aplicación

21

Taxonomía de Globus

Aplicaciones

Servicios GlobusMetacomputing

Directory Service

GRAMGlobus

Security Interface

Replica Catalog

GASS

GridFTP

Servicios locales

LSF

Condor MPI

SGEPBS

TCP

AIXLinux

UDP

Servicios y Herramientas

Cactus Condor-GMPI Nimrod/Gglobusrun GridWay

Grid Status

I/O

Solaris

DRM

Recursos

22

Versión 2 de Globus

Componentes de Globus Seguridad: proporciona autenticación,

delegación y autorización Gestión de recursos: proporciona ejecución

remota, control y monitorización Servicios de información: información acerca

de los servicios grid Gestión de datos: acceso y gestión de datos

23

Infraestructura de seguridad

Globus Secutiry Infraestructure (GSI) Objetivos:

Comunicación segura entre elementos del grid Ofrecer seguridad a través de diversos

dominios administrativos. No debe haber un sistema de seguridad centralizado

Registro único (single sign-on) para los usuarios

24

Componentes de GSI

GSI utiliza criptografía de clave pública Cada usuario y servicio del grid se identifica

mediante un certificado Nombre del elemento Clave pública Identidad de la autoridad de certificación (CA) Firma digital de la CA

Autenticación mutua Confidencialidad e integridad de la

comunicación Delegación de certificados

25

Autenticación mutua

A B (A establece una conexión con B y le da su certificado)

El certificado le indica a B quién afirma ser A, su clave pública y el CA

B verifica que el certificado es válido comprobando la firma digital de la CA

B genera un mensaje aleatorio A y le pide que lo cifre A cifra el mensaje y se lo envía a B B descifra el mensaje utilizando la clave pública de A. Si el

mensaje es el mismo, entonces A es quién dice ser.

26

Integridad de las comunicaciones

GSI se puede utilizar para establecer claves compartidas (simétricas) que permiten cifrar la comunicación si se desea. Por defecto la comunicación no es cifrada

Proporciona integridad de en la comunicación para protegerse de manipulaciones externas. El emisor realiza un resumen del mensaje que

cifra con su clave privada.

27

Delegación de certificados

Se utiliza para reducir el número de veces que un usuario debe introducir su contraseña.

Cuanto una computación requiere varios recursos que requieren autenticación mutua se utilizan certificados delegados

28

Gestión de recursos

GRAM (Globus resource allocation manager) es el gestor de asignación de recursos

Incluye un lenguaje de especificación de recursos utilizado por los clientes para describir los recursos que se solicitan cuando se envían trabajos al grid

29

Servicios de información

Servicio de descubrimiento y monitorización (MDS)

Utiliza LDAP (lightweight directory access protocol) como interfaz

LDAP es un protocolo cliente/servidor (no una base de datos) que se utiliza para crear, modificar, recuperar y borrar datos

30

Gestión de datos

GASS: sistema de acceso global a almacenamiento secundario para la transferencia de ficheros de entrada y salida utilizando antes y después de la ejecución de un trabajo.

GridFTP: protocolo de transferencia de datos eficiente, seguro y fiable.

Servicio de catalogo de réplicas para registrar la localización de las copias de un fichero

31

Globus toolkit 3

Data Services

Domain-Specific Services

ProgramExecution

Sta

ndard

izati

on

OGSI (Open grid service Architecture)

Core Services

Web Services

32

Globus Toolkit 4

Data Services

Domain-Specific Services

ProgramExecution

Sta

ndard

izati

on

WSRF – Web Services Resource Framework

Core Services

Web Services

33

Convergencia Grid/Web

Grid

Web

WSRF

OGSI

GT2

GT1

HTTPWSDL,

WS-*

WSDL 2,

WSDM

Have beenconverging

34

Lecturas Foster, I. & Kesselman, C. (Eds). The Grid: Blueprint for a

New Computing Infrastructure. Morgan-Kaufmann (1999).

The Anatomy of the Grid: Enabling Scalable Virtual Organizations. Foster, I., Kesselman, C., Tuecke, S. www.globus.org/research/papers/anatomy.pdf

What is the Grid? A Three Point Checklist Ian FosterArgonne National Laboratory & University of Chicago http://www-fp.mcs.anl.gov/~foster/Articles/WhatIsTheGrid.pdf

Grid Computing in Research and Education . Luis Ferreira et. Al. April 2005 . Ibm.com/redbooks

Globus Toolkit 4.0: Key Concepts . Ian Foster 2005 . http://www.globus.org/toolkit/docs/4.0/key/

35

Proyectos Grid Grid Physics Network project

www.griphyn.org European Data Grid grid.web.cern.ch/grid Particle Physics Data Grid www.ppdg.net Network for Earthquake Engineering

Simulation Grid www.neesgrid.org The Globus Project www.globus.org The Global Grid Forum www.gridforum.org

36

Proyectos “ Internet Computing “ SETI@home setiathome.ssl.berkeley.edu Folding@home

www.stanford.edu/group/pandegroup/Cosm Compute-against-Cancer

www.parabon.com/cac.jsp Fight AIDS@home www.fightaidsathome.org Great Internet Mersenne Prime Search

mersenne.org Casino 21: Climate simulation www.climate-

dynamics.rl.ac.uk

37

Empresas de “Internet Computing” Entropia www.entropia.com United Devices www.uniteddevices.com Parabon www.parabon.com Popular Power www.popularpower.com