H.-G. Hegering 1

D-G

rid

D-Grid-Initiative- Statusbericht -

H.-G. Hegering LMU / LRZ

2H.-G. Hegering

D-G

rid

„The GRID is an emerging infrastructure that will fundamentally change the way we think about and use computing...“

“The word GRID is chosen be analogy with the electric powergrid, which provides pervasive access to power…”

“We believe that by providing pervasive, dependable, consistent, and inexpensive access to advanced computational capabilities, databases, sensors, and people, computational grids will have a similar transforming effect … and impact on human capabilities and society.”

Ian Foster, Care Kesselman (1999)

3H.-G. Hegering

D-G

rid

Grid Applications Distributed Supercomputing

distributed interactive simulation computational steering, visualization

High throughput computing schedule large number of loosely-coupled tasks make use of free processor cycles

On-Demand Computing meet short-term requirements

Data-Intensive Computing high energy physics experiments digital sky survey, astronomical photographic data meteorological forecasting systems

Collaborative Computing Enabling and enhancing human-to-human interactions

4H.-G. Hegering

D-G

rid

Classes of Grid Users

5H.-G. Hegering

D-G

rid

Grids: Research Challenges

Nature of Applications Programming Models and Tools System Architecture Algorithms and Probling-Solving Methods Resource Management Security Instrumentation and Performance Analysis End systems Network Protocols and Infrastructure

6H.-G. Hegering

D-G

rid

GRID-Projekte (Auswahl) EUROGRID European Data Grid (EDG) European Grid of Solar

Observations (EGSO) Earth System Grid (ESG) Grid Resources of Industrial

Applications (GRIA) Grid Interoperability Project (GRIP) Grid Physics Network (GriPhyN) Globus International Virtual Data Grid Lab

(iVDGL)

LHC Computing Grid (LCG) NASA Information Power Grid (IPG) Open Grid Services Architecture

Database Access and Integration (OGSA-DAI)

Open Archives Initiative Unicore, Unicore plus, Unicore pro

7H.-G. Hegering

D-G

rid

Foren, Nationale Initiativen (Auswahl) Foren

Global Grid Forum (GGF): OGSA Grid Architecture European Grid Forum (EGF) Globus

Nationale Initiativen „Revolutionizing Science and Engineering Through Cyber Infrastructure“

NFS Blue-Ribbon Advisory Panel, January 2003 DOE Science Networking Challenge: Roadmap to 2008, June 2003 NSF Middleware Initiative (NMI) Dutch Grid, Virtual Lab NORDUGRID INFN-Grid

EU EGEE-Projekt im 6. Rahmenprogramm

8H.-G. Hegering

D-G

rid

Situation in Deutschland (bis 2003) (1)

UNICORE-Projekte (ausgelaufen) DFN-Entwicklungsprogramm (2001 ausgelaufen) einzelne Personen/Institute beteiligt in verschiedenen Konsortien

und Projekten LHC-Grid, Tier1-Zentrum in Karlsruhe für deutsche LHC-Gruppe bislang keine nationale Initiative (vergleichbar zu USA, GB, NL) bislang keine nationale Anstrengung für eine Grid-Infrastruktur

9H.-G. Hegering

D-G

rid

Situation in Deutschland (bis 2003) (2)

Grid macht nicht bei nationalen Grenzen halt Deutsche Wissenschaftler eingebunden in internationale

Communities Deutsche Wissenschaftler angewiesen auf Zugriff auf

internationale Ressourcen (Rechner, Daten, Experimente) Grid ohne Standardisierung (auf vielen Ebenen) funktioniert nicht Jede Community muss nicht alle Grid-Aspekte neu erfinden Deutschland sollte die Chancen des Grid nicht verschlafen

10H.-G. Hegering

D-G

rid

D-GRID: Enstehung

seit 2003 mehrere Workshops (auf Initiative des FZ KA und des HGF)

beteiligt alle bekannten relevanten Einrichtungen aus dem Wissenschaftsbereich, inkl. DFN und BMBF, sowie Industrievertreter

Konsens über Notwendigkeit der Bündelung der isolierten deutschen GRID-Aktivitäten

Konsens über die Notwendigkeit eines nationalen Förderprogramms

11H.-G. Hegering

D-G

rid

D-GRID: Ziele

Etablierung eines e-Science-Frameworks Bündeln der Aktivitäten, um Synergiepotenziale für globale,

verteilte und neuartige Wissenschaftskollaborationen auf der Basis internetgestützter Dienste freizusetzen

D-Grid Strategiepapier: http://iwrwww1.fzk.de/dgrid/intern2/D-Grid_Strategie_17-12-03b.pdf

D-Grid Grundsatzerklärung:http://iwrwww1.fzk.de/dgrid/intern2/MoU_DGRID%20v3.pdf

12H.-G. Hegering

D-G

rid

eScience-Framework

13H.-G. Hegering

D-G

rid

D-GRID: Maßnahmen

1. Etablierung eines E-Science-Kompetenznetzwerkes Bereitstellen von Ressourcen und einschlägigen Knowhow Entwicklung von Anwendungszenarien: Wissenschaft und Industrie Forschung und Entwicklung von Grid-Systemen

2. Entwicklung von Grid-Software Kooperation mit internationalen Forschungs- u. Industrieprojekten

3. Schaffung einer nachhaltigen Basisinfrastruktur4. Etablierung von e-Science-Pilotprojekten

Erzielung eines nationalen Förderprogramms als Leitinnovation

14H.-G. Hegering

D-G

rid

D-GRID: Organisation, Aufgaben

Lenkungsausschuss (LA): Hegering (LRZ), Hiller (AWI), Maschuw (FZK, GridKa), Reinefeld (ZIB), Resch (HLRZS)

Mandat: nationale und internationale Vertretung der deutschen GRID-Community

Bildung von Arbeitskreisen Organisation von Communities Erstellen des wissenschaftlich-technischen Programms bis

Sommer 2004

15H.-G. Hegering

D-G

rid

D-GRID: bisheriges Vorgehen

Freie Nennung von Themen Fragebogenaktion

getrennt nach Anbietern, Entwicklern, Nutzern Fragen nach

Communities Grid-fähigen Applikationen benötigten Basisdiensten, Ressourcen offene Problemen, Erfahrungen, Wünschen Mitwirkungsmöglichkeiten

Bildung von 5 Arbeitskreisen und 6 Communities

16H.-G. Hegering

D-G

rid

D-GRID: Arbeitskreise (1)

AK1: Kooperationsmodelle für den Betrieb Bestandsaufnahme verfügbarer Ressourcen Abrechnungsmodelle für Nutzung von Ressourcen , Ressourcenbewertung Rechte für Ressourcennutzung Weitere rechtliche und organisatorische Fragestellungen Bestandsaufnahme von Organisationsformen in Communities (im Sinne

einer virtuellen Organisation)

AK2: Middleware und Services Bestandsaufnahmen vorhandener Middleware Interoperabilitätsanforderungen an Middleware-Komponenten Bestimmung des Bedarfs für Sicherheitsinfrastrukturen für D-Grid (Security,

AAA, VC, Directory, Roaming) Resourcebroker und weitere Dienste Beschreibungssprachen, Modelling

17H.-G. Hegering

D-G

rid

D-GRID: Arbeitskreise (2)

AK3: Management-Methoden und Autonomic Computing Rahmenbetriebsstrukturen für Dienste und Middleware- und Service Ebene

(z.B. SLAs, Support- und Operationszentren, Einbindung in vorhandene Infrastrukturen wie z.B. RZ bei Anwendern), auch Forschungsaufgaben hierzu

Qualitätsmanagement Methoden für Self-Management, Self Healing… von Ressourcen und

Diensten im Netz

AK4: Netz Bestandsaufnahme existierender Netzdienste und –protokolle (G-WiN u.a.) Bestimmung neuer gridspezifischer Netzdienste Bestimmung der qualitativen und quantitativen gridspezifischen

Volumenbedarfe Performance Monitoring

18H.-G. Hegering

D-G

rid

D-GRID: Arbeitskreise (3)

AK5: Daten- und Informationsmanagement Langzeitarchivierung Metadaten, semantische Methoden und Informationsdienste verteilte gemeinsame Dateisysteme Massendatenverwaltung

LA: Lenkungsausschuss bearbeitet: Definition einer Aufgabenstellung (für das Arbeitsprogramm) zur

Verbreitung der D-Grid-Idee Maßnahmen zur Gewährleistung der Nachhaltigkeit der Grid-Entwicklungen Weiterbildungsbedarf zu Grid-Services/Middlewarediensten Erarbeitung von Vorschlägen zur Struktur des e-Science

Kompetenznetzwerkes

19H.-G. Hegering

D-G

rid

D-GRID: Communities

C1: Astro-und TeilchenphysikC2: Computational Science, Ingenieurwesen (NG)C3: Medizin und Bioinformatik (NG)C4: Klimaforschung und Earth Sciences (NG)C5: Hoch- und Höchstleistungsrechenzentren (AG)C6: Wissenschaftliches Informationswesen (NG, AG)

NG: NutzergruppeAG: Anbietergruppe

20H.-G. Hegering

D-G

rid

Sprecher der AKs und NGs

ArbeitskreisAK1: Prof. Hoffmann (DWD Offenbach), Herr Mickel (FZK)AK2: Prof. Schwiegelshohn (U Dortmund), Dr. Pattloch (DFN)AK3: Dr. Eickermann (FZJ), Dr. Schwichtenberg (FhGSCAI)AK4: Herr Ullmann (DFN), Dr. Heinke (TU Dresden)AK5: Dr. Lautenschlager (MPI HH), Dr. Hemmje (FhG IPSI Da)

Nutzer-/AnbietergruppenC1: Prof. Mättig (U Wuppertal), Herr Kasemann (DESY)C2: (noch offen) C3: Prof. Rienhoff (U Göttingen)C4: Dr. Budich (MPI HH)C5: Dr. Küster (HLRS Stuttgart)C6: Prof. Mehlhorn (MPI Saarbrücken)

21H.-G. Hegering

D-G

rid

D-GRID: Techn.-wiss. Programm

Aufbau der Erstversion des Dokumentsa. Communities: Aufgabenstellung und Bedarf für D-GRIDb. D-GRID: Dienste der ersten Realisierungsversionc. Organisatorische Fragestellungend. Forschungsaufgaben

Umfang ca. 100 Seiten, Länge und Präzisierung der Darstellung orientieren sich etwa an der Roadmap des DoE-Programms

22H.-G. Hegering

D-G

rid

D-GRID: Hintergrundpapiere

Strategiepapier: D-Grid: Auf dem Weg zur e-Science in Deutschlandhttp://iwrww1.fzk.de/dgrid/intern2/D-Grid_Strategie_17-12-03b.pdf

DoE Science Networking Challenge: Roadmap to 2008 http://www.es.net/hypertext/welcome/Roadmap/Roadmap-TOC-Sect%202.pdf

Next Generation Grids. European Grid Research 2005-2010 http://www.cordies.lu/ist/grids/index.htm

Fox, Walker: e-science GAP Analysis http://www.grid2002.org/ukescience/gapresources/GapAnalysis30June03.pdf

23H.-G. Hegering

D-G

rid

D-GRID: Weiteres Vorgehen

Febr./März/April: Sitzung der AK und NG/AG Darstellung der D-Grid Initiative auf der GGF in Berlin (10.3.04)

durch Ministerin Bulmahn Abschluss der AK-, NG/AG-Arbeiten (30.4.04) Gemeinsamer Workshop der Sprecher mit LA und externen

Experten im Mai Vorlage des Arbeitsprogramms der e-Science Initiative (Mai) Vorstellung des Arbeitsprogramms und des Förderprogramms des

BMBF durch Ministerin Bulmahn am 15.6.04 Projektauschreibung (ab Juli 04)

24H.-G. Hegering

D-G

rid

D-GRID: Position BMBF/Zeitplan

erwartet gemeinsames Commitment, gemeinsame Trägerschaft und Finanzierung durch Wissenschaft, Wissenschaftsorganisationen, Wirtschaft und Politik

Förderung von 2005 -2008 10-20 Mio€/a für Infrastruktur und Middleware

Ausschreibung Mitte 2004, Förderung ab 2005 GGF 10.3.04 Bekanntmachung durch Ministerin Bulmahn 15.6.04: 20-Jahrfeier DFN Vorstellung des Programms

25H.-G. Hegering

D-G

rid

D-GRID: Aufgaben DFN-Verein

Bereitstellung der Netzinfrastruktur G-WiN (neue Netzdienste) Aufbau und Betrieb von Basisdiensten der Middleware-Ebene, wie

z.B. PKI, AAA Mitarbeit bei Definition eines GRID-Arbeitsprogrammes

(insbesondere AK2, 3, 4)

26H.-G. Hegering

D-G

rid

GRID Infrastruktur im DFN

Aufgaben für Rechenzentren Aufbau von GRID-Know How vor Ort Support für Nutzer bei Einführung von Middlewarediensten Bereitstellen von Bausteinen für Middlewaredienste (z.B.

Nutzerverzeichnisse) Erbringung der lokalen Dienste für GRIDs