Architectures of parallel computers

Daniel Schulze Zumkley

Architectures of parallel computers

Parallel Programming and Parallel Algorithms


Agenda

Motivation Grundinformationen

o Flynn‘s Taxonomy: Ideeo TOP500

Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers

Flynn‘s Taxonomy: Einordnung Ausblick

1


Agenda






Notwendigkeit

Wissenschaftlicher Bereich:o Erste parallele Rechner in den 1960ero Universitäten, Wissenschaftliche Labore, Militäro Simulationen (Klima, Flugzeuge und Windtunnel, Nuklear-Waffen…)o Hoch komplizierte Berechnungeno Supercomputer

Privater Bereich:o Dual-Core, Quad-Core Prozessoren

2


Agenda






Flynn’s Taxonomy

MIMD

SISD SIMD

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on st

ream

Klassifikation von Rechnerstrukturen:

3


Agenda






TOP500

Idee: Liste der 500 schnellsten Computersysteme der Welt Verfasser: Organisation TOP500

o Universitäten Mannheimo University of Tennesseeo National Research Scientific Computing Center

Erstellung: Seit 2003; zweimal pro Jahr Messung: Linpack-Benchmarking

o Programmbibliothek zum Lösen von linearen Gleichungssystemeno Angabe der Ergebnisse in Gleitkommaoperationen pro Sekunde (FLOPS)

Website: http://www.top500.org

4


Agenda






Processor Arrays – Aufbau

Interconnection network

P P P PP

M M M MM

CPU Memory I/O processors

Front-end computer

ProcessorArray

I/O devices

Parallel I/O devices

Global result bus

Instruction broadcast busScalar memory bus

5 Quelle: Quinn 04


Processor Array - Bewertung

Vorteile:o Skalierbarkeit (hoch)o Einzelne Prozesse sind unabhängig

Nachteile:o Skalierbarkeit (runter) o Keine bzw. ineffiziente Ausführung bei parallelem Codeo Gewöhnlich Single-User Syteme

Verlust eines Vorteils:o Kosten der Control Units ist stark gesunken

5


Processor Array & Flynn’s Taxonomy

MIMD

SISD SIMD

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on st

ream Processor arrays

6


Processor Array & TOP500

Bekanntes System: Earth Simulatoro Ermöglicht die Simulation des Erdklimaso Über 2 Jahre Nr. 1 der TOP500 (2002-2004)o 35,86 Terapflops; 5120 Prozessoren

Heutige Situation:o Nur noch ein System in den TOP500, welches auf diesem Ansatz basiert

7


Agenda






Multiprocessors

Gemeinsamer Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf die selbe Stelle im Speicher

2 Arteno UMA Multiprocessors (Uniform Memory Architecture)

• Ein zentraler Speicher für alle Prozessoren• Einheitliche Zugriffszeiten

o NUMA Multiprocessors (Non-Uniform Memory Architecture)

• Jeder Prozessor besitzt eigenen Speicher• Unterschiedliche Zugriffszeiten

8


UMA Multiprocessor - Aufbau

Bus

Cache

memory

CPU

Cache

memory

CPU

Cache

memory

CPU

Cache

memory

CPU

Primary

memoryI/O

devices

Quelle: Quinn 049


UMA Multiprocessor - Bewertung

Weitere Bezeichnungen:o centralized multiprocessoro symmetric multiprocessor (SMP)

Vorteile:o 1 Bus => Keine Netzwerkverbindung notwendigo Jeder Prozessor hat eigenen Cache => schnelle Zugriffszeiten

Nachteile:o 1 Bus => schlechte Skalierbarkeit (Flaschenhals) o Cache-Inkohärenz

9


UMA-Multiprocessors & Cache - Inkohärenz

Bus

CPU

P1

CPU

P2

Primarymemory

Bus

CPU

P1

CPU

P2

Cachememory

Primarymemory

X Y

X

Bus

CPU

P1

CPU

P2

Primarymemory

X

Cachememory

Cachememory

Cachememory

Cachememory

X X

Cachememory

Y

10


UMA-Multiprocessors & Cache - Inkohärenz

Cache Kohähernz durch Snooping:

Jeder Prozessor “schnüffelt” konstant am Bus Vergleicht Information mit eigenem Cache Reagiert entsprechend der Snoop-Logik (Lese- und

Schreibzugriffsrechte)

11


NUMA Multiprocessors: Aufbau


Cache

memory

CPU

I/O

devicesMemor

y

Cache

memory

CPU

I/O

devicesMemor

y

Cache

memory

CPU

I/O

devicesMemor

y

12 Quelle: Quinn 04


NUMA Multiprocessors: Bewertung

Vorteile:o Skalierbarkeito Meist kürzere Zugriffszeit als bei UMA

Nachteile:o Kosteno Cache-Inkohärenz

12


NUMA-Multiprocessors & Cache - Inkohärenz

Directory-based coherence:

Directory = Liste mit jeweiligem Status aller gecachten Blöcke Bei jeder Anfrage eines Prozessors wird der Status überprüft Reaktion entsprechend des Protokols (Lese- und Schreibzugriffe)

13


Multiprocessors & Flynn’s Taxonomy

MIMD

SISD SIMD

Processor arrays

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on st

ream

Multiprocessors

14


Multiprocessors & TOP500

UMA:o Keine Berücksichtigung dieser Architektur beim Bau von Supercomputern

(schlechte Skalierbarkeit)o Häufiger Einsatz dieser Technik in PCs (Multi-Core Prozessoren)

NUMA:o Bsp.: SGI HLRB-II-Altix 4700

• Platz 82 in Nov. 2009• 62 Teraflops; 9728 CPUs

15


Agenda






Multicomputers

Verteilter Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf verschiedene Stellen in unterschiedlichen Speichern

2 Arteno Asymmetrischo Symmetrisch

16


Asymmetrical Multicomputers - Aufbau

Computer

Computer

Computer

Computer


Front-end computer

Internet

User

File server

Multicomputer

17 Quelle: Quinn 04


Asymmetrical Multicomputers - Bewertung

Vorteile:o Einfacher Aufbauo Keine Cache-Inkohärenzo Nur Front-End Computer benötigt volle Funktionalität

Nachteile:o Front-End Computer ist Flaschenhalso Bei Ausfall des Front-End Computers fällt das ganze System auso Die Back-End Computer können nicht direkt mit dem User kommunizieren

17


Symmetrical Multicomputers - Aufbau

Computer Computer Computer

Computer


Internet

User

File serverComputer

Multicomputer

18 Quelle: Quinn 04


Symmetrical Multicomputers - Bewertung

Vorteile:o Keine Cache-Inkohärenzo Keine Abhängigkeit von einem Front-End Computero Alle Computer können mit dem User kommunizieren

Nachteile:o Alle Computer brauchen volle Funktionalitäto Komplexe Struktur (Vision eines Einzelcomputers, Balance der Auslastung)

18


Multicomputers & Flynn’s Taxonomy

MIMD

Multiprocessors

SISD SIMD

Processor arrays

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on st

ream

Multicomputers

19


Multicomputers & TOP500

Fast alle Systeme in den TOP500 sind Multicomputer

Schnellste Computer der Welt (Stand Nov. 2009): Cray XT5-HE Opteron Six Core 2.6 GHzo 1,75 Petaflops; 224162 CPUs

20


Agenda






Flynn’s Taxonomy

MIMD

SISD SIMD

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on st

ream Uniprocessor

Systolic arrays

Processor arrays

MultiprocessorsMulticomputers

21


Agenda






Ausblick

“Moore’s law” stark vereinfacht: “Computer chips get twice as fast every year or two”.o Entspricht nicht ganz der Realitäto Prinzip gilt noch immer

Trend ist und bleibt paralelles Rechneno Hauptsächlich MIMD Systemeo Technischer Fortschritt senkt Kosten => Technik auch im PC

22


Vielen Dank für Eure Aufmerksamkeit!

Fragen?


Dual Core

Documents

Architectures of parallel computers