Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
Karlsruher Institut fur Technologie
1
envelope
KIT – Universitat des Landes Baden-Wurttemberg undnationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu
ENVELOPE - Effizienz und Zuverlassigkeit:Selbstorganisation in HPC-SystemenAktueller Stand
A. Brinkmann, W. Karl, S. Lankes, M. Schulz, C. Trinitis8. Oktober 2018
1
envelope
PartnerKarlsruher Institut fur Technologie
Institut fur Technische InformatikProf. Dr. Wolfgang Karl (Koordination)
Technische Universitat MunchenLehrstuhl fur Rechnerarchitektur und Parallele SystemeProf. Dr. Martin Schulz, Dr.-Ing. Carsten Trinitis
Johannes Gutenberg-Universitat MainzZentrum fur DatenverarbeitungProf. Dr.-Ing. Andre Brinkmann
RWTH Aachen UniversityInstitute for Automation of Complex Power SystemsProf. Antonello Monti, Ph.D., Dr. rer. nat. Stefan Lankes
Assoziierte PartnerLeibniz Rechenzentrum
PD Dr. rer. nat. Josef WeidendorferMEGWARE, ParTec
1 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Ziele
Erhohung der Zuverlassigkeit und Ausfallsicherheit inHPC-Systemen
Effiziente Nutzung der zur Verfugung stehenden Ressourcenim Hinblick auf
Ausfuhrungszeit
Energieeffizienz
Verbergen der Komplexitat heterogener HPC-Systeme vor demAnwender
2 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
AnsatzBetrachtung des Systems auf mehreren Ebenen
Lokale Betrachtung der RechenknotenGlobale Sichtweise des SystemsTechniken auf Anwendungsebene
Einsatz von Methoden der SelbstorganisationVergleich von system- und anwendungsbasierten Strategien
3 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Ansatz
Erhohung der Zuverlassigkeit und Ausfallsicherheit
Proaktive Vorhersage von Knotenausfallen mittelsMachine-Learning ModellenDatenhaltungskomponenten zur Migration und Checkpointing
AnwendungsgesteuertContainerbasiertUnikernels
Effiziente Nutzung der vorhandenen Ressourcen
Dynamische Abbildungsentscheidung mit unterschiedlichenOptimierungszielen
Verbergen der Komplexitat heterogener Systeme
Task-basiertes Laufzeitsystem mit Bibliotheksansatz
4 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Rechenzentrumsumfrage
5 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Pradiktor
Ziel: Erstellung eines Pradiktors zur proaktiven Vorhersage vonAusfallen der Rechenknoten
Datensammlung aus MOGON I & MOGON II an der JGU Mainz
IPMI (Spannung, Temperaturen), OS (CPU, Last, Speicher),Job-/Knotenzustande
Komprimierte Daten: ˜2 TB fur 1 Jahr und uber 500 Knoten
Tagliche Daten: ˜5 GB fur 500 Knoten
MOGON I & II benutzen Ganglia, RRD Datenbasis und CustomDaemons fur die Datensammlung
6 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Checkpointing & Migration von Unikernels
Hardware
Host Kernel
Hypervisor
GuestKernel
GuestKernel
App App App
Klassische VMs
Hardware
Host Kernel
Hypervisor
libOS libOSlibOS
App App App
Unikernels
7 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Checkpointing & Migration von UnikernelsNur eine Anwendung pro Gast
Geteilter Adressraum zwischen Anwendung und libOS
Hypervisor kennt den vollstandigen GaststatusEine SeitentabelleCheckpointing/Migration per Page-Walk im HypervisorKlassische Parallelisierung moglich (z. B. OpenMP)
Nutzung des Unikernels Hermitcore (https://hermitcore.org)
Hardware
Host Kernel
Hypervisor
GuestKernel
GuestKernel
App App App
Klassische VMs
Hardware
Host Kernel
Hypervisor
libOS libOSlibOS
App App App
Unikernels
8 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Checkpointing & Migration von Unikernels
BT CG EP SP0
5
10
15
20
GM
op/s
Laufzeitoverhead
LinuxHermitCore
BT CG EP SP0
0.2
0.4
0.6
0.8
Zeit
ins
Checkpointzeit
CRIU DMTCPHermitCore HermitCore (OMP)
9 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Checkpointing & Migration von Unikernels
256 Mi 1 Gi 4 Gi 16 Gi0
1
2
3
Gastgroße in Byte
Zeit
ins
Migration ”leerer“ Gast
128 Mi 512 Mi 2 Gi 8 Gi0
2
4
6
8
Speicherlast in ByteZe
itin
s
Migration mit Speicherlast
QEMU HermitCore HermitCore (ODP) HermitCore (free-list)
10 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Datenerhaltung auf AnwendungsebeneLAIK, eine Bibliothek zur dynamischen Datenverteilung
Ermoglicht die Repartitionierung bei Ausfallen
Einfache Portierung von existierenden Code
Bewahrt die Skalierbarkeit von Anwendungscodes
Erlaubt die inkrementielle Portierbarkeit von MPI-Code
Kontrolliert die (dynamische) Verteilung und die Kommunikation von Daten
Datenaffinitat: stellt Lokalitat benotigter Daten sicher
Deklariert, wann / welche Daten aktualisiert werden mussen
…HeterogeneousNodes / Cores
HPCapplication
…
HPCapplication
AbstractionIndex Space
11 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Anwendungsportierung: MLEM
kleiner Tier-PET-ScannerMADPET-II
1152 Detektoren, 662976 Lines-of-ResponseSichtfeld 140 x 140 x 40 voxels, insgesamt 784000 voxels
12 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Ergebnisse
LRZ LinuxCluster
Dai Yang, Josef Weidendorfer, Tilman Küstner, Carsten Trinitis and Sibylle Ziegler. Enabling Application-Integrated Proactive Fault Tolerance. Par-Co 2017, Bologna, Italy.
13 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Zusammenfassung und Ausblick
Framework zur Erhohung der FehlertoleranzAnwendungsgesteuert ⇒ LAIKAnwendungstransparent ⇒ Container, VMs, Unikernels
Verfeinerung der Techniken zur Vorhersage von AusfallenSymptombasierte FehlererkennungAuswertung der Sensoren mit Hilfe von Machine Learning
Weitere InformationenProjektseite: http://envelope.itec.kit.eduLAIK & Co.: https://github.com/envelope-project/laikMigration von Unikernels: https://hermitcore.org
14 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Backup
15 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Symptombasierte Fehlererkennung
Aktueller Stand:
Untersuchung verschiedener Fehlerfalle
Verringerung der CPU-Frequenz
Veranderung von Schleifenvariablen
Speicherleaks
Auslastung der Festplatte
Auslastung der ALU
16 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Task-basiertes LaufzeitsystemBisher: Task-Abbildungsentscheidung aufgrund vonAusfuhrungszeiten
Ziel: Betrachtung des Energieverbrauchs bei derAbbildungsentscheidung
Entscheidung uber Gewichtung
⇒ Performance-Datenbank um Energieverbrauch erweitert
RAPL-Counter fur Intel CPUs
NVML-Counter fur NVIDIA GPUs
17 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
Partitionierungsbeispiel
Allgemeine Partitionierung: mehrere Prozesse pro Index
Disjunktive Partitionierung
Benutzerdefinierte Partitionsalgorithmen werden unterstutzt
18 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018
1
envelope
MLEM Algorithmus
f (q+1)j =
f (q)jn∑
l=1alj
n∑i=1
gim∑
k=1aik f (q)k
Schritte:
Vorwartsprojektion h = Af
A = (aij) ∈ IRnxm Wahrscheinlichkeitsmatrixf ∈ IRm Bildvektor
Korrelation r = gihi
g ∈ IRn Bildvektor Scanner-AusgabeRuckwartsprojektion c = AT r
Update f (q+1)j=f (q)j cj
Erhoht die Wahrscheinlichkeit p(g|f (q)) von g mit der gegebenen aktuellenSchatzung f (q)
19 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018