CLUSTER HÍBRIDO DE SUPERCÓMPUTO

“XIUHCOATL“

AGENDA

• INTRODUCCIÓN

• SUPERCÓMPUTO

– Top500

• SUPERCÓMPUTO EN MÉXICO

• XIUHCOATL

• LANCAD

XIUHCOATL

INTRODUCCIÓN

El supercómputo (HPC) es la herramienta de cálculo mas avanzada grande y rápida hasta este momento, permite estudiar problemas de gran magnitud utilizando modelos computacionales.

– Cuando se tiene la necesidad de realizar cálculos numéricos e iterativos de manera intensiva, utilizado una PC esto podría tardar meses, años o mas tiempo en obtener algún resultado.

– En un principio las supercomputadoras eran monolíticas y de alto coste La tendencia actual en las supercomputadoras apuesta por el cómputo distribuido y tecnologías emergentes usando cientos/miles de servidores para obtener grandes desempeños a un costo mas asequible de adquisición, operación y mantenimiento.

SupercómputoDefinición

NOMBREAÑO Y

LUGARUSO CARACTERÍSTICAS FÍSICAS CARACTERÍSTICAS LÓGICAS

Colossus

ó

Mark I

1944,

Bletchley Park,

Londres.

Descifrar mensajes, interceptados en

comunicaciones de la Alemania Nazi.

• 1500 tubos de vacío

• Uso de cinta de papel para el ingreso de datos.

• Procesaba 5000 caracteres por segundo

• Utilizaba valores booleanos

• Contraparte de la máquina de Lorenz

ENIAC

1946,

Universidad

de

Pennsylvania

Calculo de trayectoria de nuevos

cañones y misiles.

• 18,000 tubos de vacío

• Reconexión de cables para realizar nuevos cálculos.

• Resolvía 5000 operaciones aritméticas

básicas/segundo.

•Sistema de numeración decimal.

EDVAC

1951

Universidad

de

Pennsylvania

Resolución de problemas navales en

laboratorio militar.

•6,000 tubos de vacio

• 12,000 diodos

• Lector-grabador de cinta magnética.

•Unidad de control y memoria

• Basada en sistema de numeración base 2

• El primer programa almacenado en memoria

UNIVAC

1951, Oficina

de Censos de

los EUA

• Censo de los EUA, en 1951

•Predicción (elección presidencial 1952)

•Diseñada (administración /negocios)

•5000 tubos de vacío

•Sin interfaz para leer y escribir en tarjetas perforadas

•Lector de cinta magnética

•1000 cálculos por segundo

•100,000 sumas por segundo

CRAY-I

1976,

Laboratorio

Nacional de

Los Álamos,

Nuevo México

Industria, ciencia y tecnología

•Arquitectura de 64 bits

•Utilizó circuitos integrados

•Procesadores vectoriales a 80 MHz

•Sistema de refrigeración por freón

•100 Mflops (80 X 106)

Intel

IPSC/8601990 Industria, ciencia y tecnología

•64 nodos RX

•Transferencia de datos entre nodos de 2.8 MB

•12 GB de Disco duro local

•Conexiones Ethernet a estación de trabajo SUN-670 MP

•40 Mflops (80 X 10 a la 6 flops), por nodo

•Más de 2.5 Gflops en conjunto

•Programación con C y Fortran

IBM

SP21990 Industria, ciencia y tecnología

•24 nodos (120 MHz C/U)

•128 MB de Memoria RAM

•40 GB de disco duro

•Conexión a una estación de trabajo PowerPC RS/6000

•480 Mflops (80 X 10 a la 6 flops), por nodo

•12 Gflops en conjunto

•Programación con C, C++ y Fortran 77/90

SupercómputoUn poco de Historia

Resolver problemas complejos del mundo real, de la ciencia y de la ingeniería en todas sus ramas, usando modelos computacionales (experimentación numérica), a lo cual se le considera otra rama para aprender y obtener información nueva, sumándose a las metodologías tradicionales de la teoría y la experimentación.

• El uso de supercómputo ha creado nuevas líneas de investigación científica en áreas ya establecidas como son la Astronomía, Ciencias de la atmósfera, Ciencias nucleares, Física, Geofísica, Geografía, Ingeniería, Medicina, Química, entre otras.

– Cálculos numéricos de enormes cantidades de datos.

– Reconocimiento de imágenes.

– Gráficas computacionales, rendering, texturización.

– Modelación de redes.

– Análisis de datos (medicina, farmacología, genómica, bio-informática, etc… )

– Desarrollo de nuevas medicinas y vacunas.

– Modelación de comportamientos biológicos de poblaciones.

– Simulación de reacciones atómicas y explosiones.

– Simulaciones de modelos mecánicos, físicos, químicos por ejemplo:

Supercómputo¿Para qué sirve?

Huracanes Tormentas.

Flujos hidráulicos. Fenómenos de transporte.

Comportamiento molecular. Diseño aeroespacial.

Industria automotriz. Diseño de nuevos materiales.

Pronóstico del clima y predicción de los cambios climáticos globales.

SupercómputoArquitecturas mas usadas

ARQUITECTURA DESCRIPCIÓN

MPP

Massive Paralell Processor es un solo equipo con muchos procesadores conectados . • Características similares a las arquitecturas clúster• Se han especializado en la interconexión de redes de CPUs.• Tienden a ser más GRANDES que los clúster• Cada CPU contiene su propia memoria y copia del sistema operativo y de las aplicaciones• Cada subsistema se comunica con los demás con una conexión de alta velocidad.

Clúster

Conjuntos o cúmulo de computadoras.• Pueden ser construidos mediante la utilización de hardware común. • Se comportan como si fuesen una única computadora.• Debe utilizarse redes de alta velocidad y baja latencia.

SMP

Multiprocesamiento simétrico (Dos o más procesadores idénticos están conectados).• Comparten el acceso a la memoria principal y están controladas por una única instancia de S.O. .• Los sistemas multiprocesador más común hoy en día utilizan una arquitectura SMP.• En los procesadores multi-core, la arquitectura SMP aplica a los núcleos/cores (procesadores separados).

Constellations

Es un clúster de SMPs (También llamados CLUMP o máquinas jerárquicas). • Cada nodo de este clúster está compuesto por un SMP. • Tiene microprocesadores independientes y usan un bus compartido para comunicase con la memoria. • Dicho bus debe ser arbitrado para que solamente un microprocesador lo use en cada instante de tiempo. • En esta arquitectura se tiende a gastar un tiempo considerable esperando a obtener los datos desde la memoria ya que no es el único en espera.

Los investigadores de la NASA Thomas Sterling y Don Becker, son quienes

utilizando computadoras caseras, desarrollaron una clase de

supercómputadora (Cluster).

Supercómputo Arquitectura tipo Clúster (BEOWULF)

• Beowulf, es el nombre de un héroe de

un poema épico anglosajón, de gran

fuerza y valor quien derrotó a un

poderoso monstruo llamado Grendel

SupercómputoElementos básicos de un clúster

1. Nodo maestro.

2. Cientos/Miles de Nodos esclavos/cómputo.

3. Conexión de red alta velocidad.

4. Sistema de archivos paralelo.

5. Sistema operativo, multitarea y multiusuario.

6. Ambientes de Programación Paralela: Soporte

para el desarrollo de software que trabaje con

recursos paralelos y/o distribuidos.

7. Software administrador de los recursos del

clúster,

8. Usuarios.

9. Administrador del Cluster.

Top500Introducción y Definiciones

High Performance Computing Linpack Benchmark.

Rendimiento máximo alcanzado bajo prueba de Linpack.

Rendimiento teórico.

Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión

64bits, en computadoras de memoria distribuida.

Megaflops 106

Gigaflops 109

Teraflops 1012

Petaflops 1015

Exaflops 1018

Flops=Operaciones de

punto flotante por segundo

PROCESADOR #C VR (GHz) #OpPf=[Número de Operaciones de Punto Flotante DP] RT=(#C)*(VR)*(#OpPF)

Westmere 6 3.06 4

Interlagos 16 2,2 4

SandyBridge 8 2,6 8

¿Qué es la Lista Top500?Origen

• Desde Junio de 1993 se publica una listasemestral de las 500 supercomputadoras con elíndice de rendimiento más alto obtenidoutilizando un benchmark de solución deecuaciones lineales llamado LINPACK.

Objetivo

• El principal objetivo es

proporcionar un ranking desistemas de propósito general queestén en uso común paraaplicaciones high end.

Actualización

• Las listas son publicadas en eventos de

supercómputo en los meses de Junio y

Noviembre de cada año.

• Sitio Web: http://www.top500.org

Top500Introducción y Definiciones

High Performance Computing Linpack Benchmark.

Rendimiento máximo alcanzado bajo prueba de Linpack.

Rendimiento teórico.

Software que resuelve un denso sistema lineal aleatorio, en una aritmética de doble precisión

64bits, en computadoras de memoria distribuida.

Megaflops 106

Gigaflops 109

Teraflops 1012

Petaflops 1015

Exaflops 1018

Flops=Operaciones de

punto flotante por segundo

PROCESADOR #C VR (GHz) #OpPf=[Número de Operaciones de Punto Flotante DP] RT=(#C)*(VR)*(#OpPF)

Westmere 6 3.06 4 73.44 GF

Interlagos 16 2,2 4 140 GF

SandyBridge 8 2,6 8 166,4 GF

¿Qué es la Lista Top500?Origen

• Desde Junio de 1993 se publica una listasemestral de las 500 supercomputadoras con elíndice de rendimiento más alto obtenidoutilizando un benchmark de solución deecuaciones lineales llamado LINPACK.

Objetivo

• El principal objetivo es

proporcionar un ranking desistemas de propósito general queestén en uso común paraaplicaciones high end.

Actualización

• Las listas son publicadas en eventos de

supercómputo en los meses de Junio y

Noviembre de cada año.

• Sitio Web: http://www.top500.org

Top500Tendencias: Arquitectura/Fabricantes

LAS ARQUITECTURAS DOMINANTES SON CLÚSTER Y MPP.

IBM Y HP DOMINAN EL MERCADO DE LAS SUPERCOMPUTADORAS

Top500Sistemas Operativos

Desde 2003 las supercomputadoras han incrementado el uso de Linux como S.O.

Top500Las primeras 10 del mundo

TOP500 LIST – NOVIEMBRE 2012

Top500Performance #1 vs #500 (TF)

LA ENTRADA AL TOP 500 CERRÓ EN 50.94 EN NOVIEMBRE DEL 2011

LA ENTRADA AL TOP 500 CERRÓ EN 60.82 PARA JUNIO DEL 2011

(20% DE AUMENTO DEL ANTERIOR)

15720

60.820

10000

20000

1 500

TOP500 – JUNE-2012 (1 & 500)

10510

50.940

5000

10000

15000

1 500

TOP500 NOV-2011 (1 & 500)

17590

76.40

10000

20000

1 500

TOP500 NOV-2012 (1 & 500)

LA ENTRADA AL TOP 500 CERRÓ EN 76.4 PARA NOVIEMBRE DEL 2012

(25% DE AUMENTO DEL ANTERIOR)

Supercómputo en México¿Quién lo usa?

Supercómputo en MéxicoHistorico de México en el top500

México había figurado en el top500 cada año desde 1993 hasta el año 2009

UNAM

UNAM

UNAM

UNAM

UNAM

UNAM

Pemex GasUNAM

Banco Internacional

IMP

Telcel Radiomovil Dipsa

Telcel Radiomovil Dipsa

Gedas N.A. (VW)

Telcel Radiomovil Dipsa

Telcel Radiomovil Dipsa

Telcel Radiomovil Dipsa

Telcel Radiomovil Dipsa

IMP

Pemex Gas

SAT/ISOSA

Geoscience (D)

Geoscience (D)

Geoscience (D)

Geoscience (D)

Geoscience (D)

UNAM

UNAM

UAM

UAM

0

50

100

150

200

250

300

350

400

450

500

01

/06

/19

93

01

/11

/19

93

01

/06

/19

94

01

/11

/19

94

01

/06

/19

95

01

/11

/19

95

01

/06

/19

96

01

/06

/19

97

01

/11

/19

97

01

/06

/19

98

01

/11

/19

98

01

/06

/19

99

01

/11

/19

99

01

/06

/20

00

01

/11

/20

00

01

/06

/20

01

01

/11

/20

01

01

/06

/20

02

01

/11

/20

02

01

/06

/20

03

01

/11

/20

03

01

/06

/20

04

01

/11

/20

04

01

/06

/20

05

01

/11

/20

05

01

/11

/20

06

01

/06

/20

07

01

/11

/20

08

"01

/06

/20

09

"

México en el Top500

Supercomputo en MéxicoMéxico reaparece en el top500 NOV-2012

XIUHCOATL

CLUSTER HIBRIDO DE SUPERCÓMPUTO “XIUHCOATL”(Serpiente de Fuego)

LFS

(OSS)

LFS

(OSS)

LFS

(MDS/OSS)N.C.G

N.M. N.L. SW

InfiniBandN.C.A. N.C.A. N.C.I. N.C.I. N.C.I.

XiuhcoatlDistribución

ABREVIATURA SIGNIFICADO

N.C.I. NODO DE COMPUTO INTEL

N.C.G NODO DE COMPUTO GPGPU

N.M. NODO MAESTRO (INTEL)

N.L. NODO DE LOGIN (INTEL)

ABREVIATURA SIGNIFICADO

N.C.A NODO DE COMPUTO AMD

LSF LUSTRE FILE SYSTEM (INTEL)

OSS OBJECT STORAGE SERVER (INTEL)

MDS META DATA SERVER (INTEL)

STORAGE PROCESAMIENTOGPU NET

SISTEMA DE ALMACENAMIENTO

Sistemas de 40 TB y 20TB (Usables)

Basado en Lustre File System

Discos duros de 600GB, SAS 2.0 de 15000 RPM en RAID 6.

Capacidad de crecimiento de hasta ~120TB.

GPGPU

10 WS INTEL

• 120 Cores.

• 20 Tarjetas NVIDIA

(Fermi 2070/2075)

Capacidad de crecimiento de 20 Tarjetas más.

COMUNICACIONES

Red Gigabit Ethernet

(Administración shell).

Red Gigabit Ethernet

(Administración de Escritorio remoto).

Red InfiniBand 40Gb/s

(Full-non-Blocking)

CPU

3480 Cores

*AMD

(Interlagos 6274)

(2304)

*INTEL

(Xeon® Processor X5675)

(1056)

XIUHCOATTecnologías

HARDWARE

SISTEMA OPERATIVO

Linux x86_64 CentOS ver. 6.2.

COMPILADORES

GNU (gcc, fortran) Intel Clúster Studio XE 2012 Open64 ACML (AMD) CUDA SDK 4.1.

XIUHCOATLLaboratorio de visualización

FUNCIONES

El servicio se presta a los investigadores que tengan la necesidad de visualizar modelos, con la capacidad de poder visualizar los con una resolución de hasta 98.3Mpixeles.

XIUHCOATLCapacidad de cómputo

XIUHCOATLOferta de Servicios

ACADEMICO

• Cómputo en Paralelo

• Administración

• Seguridad

• Soporte

• Capacitación en Supercómputo

GUBERNAMENTAL

• Hospedaje de Aplicaciones.

• Almacenamiento de Datos.

• Desarrollo de Aplicaciones

• Capacitación Virtual.

• Cloud.

EMPRESARIAL

• Renta de Servidores

• Desarrollo de Aplicaciones

• Capacitación Virtual.

• Cloud.

• Factibles de solución utilizando supercómputo.

• Creación y/o utilización de ModelosPROBLEMAS

• Investigadores/usuarios con necesidad de usar poder de computo intensivo.

USUARIOS

XIUHCOATL”NO TODO SON COMPUTADORAS”

•Compiladores. •Librerías/Bibliotecas.Aplicaciones escritas en para su uso en clúster que resuelven ciertos problemas.

APLICACIONES

• Suministro de Energía

• Energía de Respaldo UPS

• Disipación de calor

• Redundancias

INFRAESTRUCTURA DE SOPORTE

• Administradores de Clúster, Administradores del Sistema almacenamiento, Administradores de seguridad, Desarrolladores de aplicaciones paralelas… etc.

GRUPO DE TRABAJO

CONCEPTO CGSTIC

ÁREA DEL CENTRO DE DATOS (SITE, CUARTO DE UPS Y CENTRO DE OPERACIONES). 140 m2

PLANTA DE EMERGENCIA ELÉCTRICA. (250 + 200) KW

CAPACIDAD DE ENFRIAMIENTO Y HUMIDIFICACIÓN. 50 TR (4 SISTEMAS)

CAPACIDAD DE SUMINISTRO DE ENERGÍA REGULADA (UPS). 286 KVA (8 EQUIPOS)

EQUIPOS DE AIRE ACONDICIONADO DE CONFORT (MINISPLIT) PARA CUARTOS DE UPS. 3 TON

SISTEMA DE DETECCIÓN Y DE EXTINCIÓN DE INCENDIOS.GAS FM-200

(10 SENSORES)

SISTEMA DE TIERRA FÍSICA. 100 AMP

PROTECCIÓN CONTRA DESCARGAS AMBIENTALES. DIPOLO (50 M RADIO)

CIRCUITOS ELÉCTRICOS 120 VAC. 60

CIRCUITOS ELÉCTRICOS 220 VAC. 24

CUARTO DE CONTROL. 22m2

DISPLAY DE 4 PANTALLAS DE 24” PARA MONITOREO. 1

SWITCH ADMINISTRATIVO GIGA BIT ETHERNET EN CUARTO DE CONTROL. 48 PUERTOS

XIUHCOATLInfraestructura del SITE en la CGSTIC

El Laboratorio Nacional de cómputo de alto desempeño permite resolver

en primera instancia los problemas científicos más demandantesmediante una GRID de capacidades excepcionales en la zonametropolitana de la Ciudad de México conformada por las tresinstituciones académicas de mayor importancia en el cómputo científicode alto desempeño.

LANCADObjetivo General

DISTANCIAS Y EMPALMES

• DISTANCIAS SIN INTEGRAR LA ULTIMA MILLA» DISTANCIA FUSION MECANICO

• UNAM – UAM-I 34,325m 21 2

• UNAM – CINVESTAV 27,544m 20 1

• CINVESTAV – UAM-I 31,588m 20 2

• DISTANCIAS INTEGRANDO LA ULTIMA MILLA» DISTANCIA FUSION MECANICO

• UNAM – UAM-I 39,325m 21 2

• UNAM – CINVESTAV 32,544m 20 1

• CINVESTAV – UAM-I 36,588m 20 2

• Fusión Empalme por fusión

• Mecánico Empalme mecánico en patch panel

Rack con empalme por fusión

Rack con empalme mecánico

LANCADTendido de Red de FO dentro del Metro

Longitud total de la red de fibra óptica 108.4 km

LANCAD Equipo Activo (Red de FO)

NODO ROBUSTO

CLÚSTER TECNOLOGÍACORES CPU

CUDA CORESPERFORMANCE

REAL (CPU)PERFORMANCE TEÓRICO

CINVESTAV Xiuhcóatl HIBRIDA

•3480 (CPU)[2304 (AMD)]

[1176 (INTEL) ]•8960 (GPGPU-FERMI)

[20 Tarjetas]

24.97 TF

AMD (20.28 TF)INTEL (13.08 TF)GPU (10.3 TF)

Total 43.65TF

UAM Aitzaloa INTEL 2160 CPU 18.49 TF 25.44 TF

UNAM Miztli INTEL 5616CPU 92.3 TF 116.8TF

1 TERAFLOP = 1012 operaciones de punto flotante por segundo

LANCADClúster académicos

LAS 3 INSTITUCIONES INTEGRANTES DEL PROYECTO LANCAD, CONFORMAN UNA GRID DE CÓMPUTO DE ALTO DESEMPEÑO, COMPARTIENDO EN PRINCIPIO CADA INSTITUCIÓN 1000 CORES DE PROCESAMIENTO SOBRE UNA RED DE FIBRA ÓPTICA DE 10GB/S .

“Ofrecer y desarrollar servicios de cómputo de altodesempeño a las comunidades de usuarios deSupercómputo del CINVESTAV, UNAM, UAM y engeneral al sector empresarial y gobierno; con el finde impulsar el desarrollo científico, la formación derecursos humanos especializados en cómputo dealto desempeño, así como el desarrollo tecnológicoen la realización de proyectos de alto impactosocial y económico”.

LANCAD Nodo Cinvestav: Misión

Héctor Oliver

Administrador de la infraestructura de Supercómputo en la CGSTIC.

holiver@cinvestav.mx

Cluster Híbrido de Supercómputo “XIUHCOATL”

http://clusterhibrido.cinvestav.mx/

XIUHCOATLContactos

CLUSTER HÍBRIDO DE SUPERCÓMPUTO

“XIUHCOATL“