© 2004 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice

Grids Computacionais

O Projeto OurGridwww.ourgrid.org

Walfredo Cirne/Jacques Sauvé walfredo@dsc.ufcg.edu.brUniversidade Federal de Campina Grande

Drivers para grids Computacionais no domínio científico

•Cientistas e engenheiros podem usar todo o poder computacional que você pode juntar para eles

•Eles geram petabytes de informação e sempre querem ciclos, memória, ...

•Demandas mais recentes:−Mais colaboração entre sites remotos−Muito mais dados dispersos

Drivers para grids no domínio de negócios

•Demandas para o CIOs−Melhorar confiabilidade−Aumentar a relevância da TI para o

negócio−Reduzir a complexidade−Facilitar mudanças rápidas−Diminuir custos

•Grids podem servir para o que está em negrito

A missão em termos tecnológicos•Fornecer alta qualidade de serviço em sistemas distribuídos−Incluindo recursos dentro e fora da

empresa•As dificuldades

−Como agüentar largas escalas com grandes variações na demanda?

−Como cruzar domínios administrativos com segurança?

−Como lidar com o alto TCO de TI?−Como lidar com os novos provedores de

serviço (e-Utilities)?

Solução: O que queremos?•Desacoplar produção e consumo

−Funções especializadas e serviços comuns podem se transformar em commodities

•Acesso sob demanda aos recursos

•Transparência

O que é um Grid?

Grid Computacional

(Recursos)

Grid Computacional

(Recursos)

O que é um grid?•A figura anterior parece a Web??

−Sim, mas dentro da nuvem temos recursos e não informação

•Semelhante a um “Grid Elétrico”−Não preciso ter um gerador de energia

em casa para ter eletricidade−Posso fazer o mesmo com recursos

computacionais?•Forte tendência de prover uma “orientação a serviços”−Casamento com Web Services

Aplicações de grids•Supercomputação distribuída

−Para agregar recursos computacional (ao mesmo tempo) para resolver problemas que não podem sê-lo num computador único

•Computação de alta vazão(Scavenging grid)−Aproveita recursos livres (idle) para

aumentar a vazão agregada de tarefas

Aplicações de grids•Computação intensiva em dados

−Foco em sintetizar nova informação a partir de dados mantidos em repositórios, BDs e bibliotecas digitais geograficamente distribuídos

•Computação sob demanda−Uso de grid para satisfazer, no curto prazo,

demandas de recursos que não podem ser satisfeitas localmente de forma barata

•Computação colaborativa−Foco em grids que incluem formas

intensivas de interação humano-humano

Grids comerciais• Mais perto dos últimos dois tipos (on-demand,

collaborative), mas ...− Aplicações de negócio rodam de forma contínua ...− Por longos períodos de tempo ...− E possuem requisitos mais fortes de QoS, segurança

e contabilização

• Virtualização de Ativos de TI• Marketing usa várias frases

− “utility computing,” “e-business on demand,” “planetary computing,” “autonomic computing,” “enterprise grids”

• Ainda não estamos perto de chegar a “The Grid”

Obrigado.

Estão convidados à palestra de desdobramento na qual falarei do projeto OurGrid.

Solução de um problema real•Para terminar meu Ph.D., tive que rodar centenas de milhares de simulações independentes

• Já que as simulações são independentes, esta é uma aplicação perfeita para o grid

•Eu trabalhava num dos melhores laboratórios do mundo na pesquisa grid, mas não consegui usar o grid−“O grid” com todo seu middleware, ainda

não existe

A Motivação para MyGrid•Usuários de aplicações frouxamente acopladas poderiam de beneficiar do grid agora

•Porém, não usam o grid hoje porque a infraestrutura do grid ainda não está implantada em larga escala

•Que tal construirmos uma solução que não dependa de nenhuma instalação de infraestrutura grid?

MyGrid•MyGrid permite que um usuário execute aplicações paralelas do tipo Bag-of-Tasks em quaisquer recursos a que tenha acesso−Aplicações Bag-of-Tasks são formadas de

tarefas independentes

•Seu grid consiste de todos os recursos a que você tem acesso−Não precisa de middleware de grid−Middleware de grid pode ser usado se

estiver disponível

Aplicações Bag-of-Tasks•Mineração de dados

•Pesquisas massivas (como pesquisar por chaves de criptografia)

•Varreduras de parâmetros

•Simulações Monte Carlo

•Fractals (tais como Mandelbrot)

•Manipulação de imagens (ex. tomografia)

•E muitas outras…

O que é MyGrid?•Um broker (ou escalonador de aplicações)

•Um conjunto de abstrações para esconder do usuário a heterogeneidade do grid

Um Exemplo: fatoração com MyGrid

• initmg-services put $PROC ./Fat.class $PLAYPEN

•grid1java Fat 3 18655 34789789798 output-$TASK

•collectmg-services get $PROC $PLAYPEN output-$TASK

•grid2java Fat 18655 37307 34789789798 output-$TASK

Definindo seu Grid pessoal

proc:name = ostra.lsd.ufcg.edu.br attributes = lsd, linux type = user_agent

proc:name = memba.ucsd.edu attributes = lsd, solaris type = grid_script rem_exec = ssh %machine%command copy_to = scp %localdir/%file %machine:%remotedir copy_from = scp %machine:%remotedir/%file %localdir

[...]

MyGrid pode usar quaisquer recursos …

HomeMachine

Scheduler

GridMachine Interface

GlobusProxy

UAProxy

GridScript

...

Grid Machine

GlobusGRAM

Grid Machine

UserAgent

Grid Machine

...

Lidando com Firewalls, IP privados, e máquinas Space-Shared

Scheduler (Home Mac.)

User Agent

Grid Script

Globus Proxy

Grid Machine Gateway

Space-Shared Gateway

Prova de conceito•Durante um período de 40 dias, executamos 600.000 simulações usando 178 processadores localizados em 6 domínios administrativos diferentes

•Usamos apenas GridScript and escalonamento simples

•MyGrid usou 16.7 dias para terminar•Minha máquina pessoal teria levado mais de 5 anos para fazer o mesmo

•Aceleração de 116 com 178 processadores

Pesquisa em HIV com MyGrid

B,c,F

HIV-2HIV-1

M

O ABCD FGHJK

N

?prevalent in Europe and Americasprevalent in Africa

majority in the world

18% in Brazil

HIV protease + Ritonavir

Subtype B

RMSD

Subtype F

O Grid para a pesquisa HIV•55 máquinas em 6 domínios administrativos nos EUA e Brasil−Máquinas acessadas via User Agent, UA

+ Grid Machine Gateway, UA + ssh tunnel, e Grid Scripts

•Tarefa = 3.3 MB entrada, 1 MB saída, 4 a 33 minutos de execução dedicada

•Executou 60 tarefas em 38 minutos

•Aceleração de 29 usando 55 máquinas

Status do MyGrid•Projeto realizado em parceria com HP•MyGrid é open source e está disponível em http://www.ourgrid.org/mygrid−Temos 150 downloads−Versão 2.0 liberada em fevereiro 2004−Base do Grid PAUÁ, sendo desenvolvido

pela HP Brazil•Aplicações paralelas Bag-of-tasks podem se beneficiar do Grid agora−Firewalls, IP privados e outros problemas do

mundo real dificultaram muito a solução

Colaboração/Interesse em MyGrid/OurGrid

•HP Brazil R&D

•Parceiros HP−LNCC, UniSantos, UniFor, Instituto

Atlântico−CESAR/UFPE, Instituto Eldorado, IPT, AMR−PUCRS, UniSinos, UFRGS, USP

•Outros−UnB, UFBA, UCS, UniCap, UFPB, USP, ...

•Mais recursos−Pessoas querem acessar mais recursos do que

aqueles a que têm acesso

•Facilidade de depuração−Boa sinergia com Failure Spotter, um outro

projeto colaborativoentre UFCG e HP

•Mais segurança−Proteger recursos locais−Uso de uma máquina grid como plataforma de

ataque

•Modelo de programação mais rico

Demandas de Usuários MyGrid

OurGrid

GridDoc

SWAN

Outras atividades conjuntas entre HP + UFCG

•OurGrid Comunidade peer-to-peer baseada na troca de favores

•Failure Spotter se foca no projeto, implementação e uso de Detetores de falhas em sistemas distribuídos assíncronos

•Bottom Line provê soluções de baixa intrusão para a gerência de TI pela perspectiva do negócio−Business Impact Management usando

métricas de negócio−Governância de TI

© 2004 Hewlett-Packard Development Company, L.P.The information contained herein is subject to change without notice

Obrigado!

Visite www.ourgrid.org