Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva

http://www.cica.eshttp://www.cica.eshttp://www.cica.eshttp://www.cica.es

CICA: Supercomputación y Cloud Computing CICA: Supercomputación y Cloud Computing

Juan Antonio Ortega Ramírez – Director de CICA

Marceliano Marrón Báez – Responsable área HPC

Juan Carlos Rubio Pineda – Jefe de Desarrollo, Mantenimiento de Sistemas y HPC

http://www.cica.eshttp://www.cica.es


Índice

• Presentación de CICA

• Supercomputación

• Virtualización y Cloud Computing

• Próximos Objetivos / Futuros proyectos



Presentación de CICA

● El Centro Informático Científico de Andalucía (CICA) se creó en el año 1989. Actualmente depende de la Dirección General de Invest-igación ,Tecnología y Empresa de la Junta de Andalucía, que da ser-vicio a la comunidad investigadora de Andalucía.

● Las actividades que se realizan en el CICA persiguen:

● Potenciar y proporcionar herramientas para la investigación

● El fomento de la e-Ciencia

● Tratar de acercar estas tecnologías al mayor número posible de usuarios, tanto en lo relativo al recursos físicos como en servicios y actividades formativas o de divulgación




Centro Informático Científico de Andalucía

• Funciones principales:

• Coordinación, implantación y mantenimiento de la red RICA

• Explotación y mantenimiento de SICA

• Apoyo e infraestructura a la comunidad Científica y Universitaria

• Eciencia• Servicios FTP, mirrors (Guadalinex, Ubuntu, etc.), Forja, Correo, etc. • Hosting/Housing de proyectos de investigación• Diseven2• CBUA• Virtualización y Cloud (reCarta)




RICA+Red Informática Científica de Andalucía

· Primera conexión Granada-Málaga-CICA en 1993 a 2Mbps

· Implantación Tecnología ATM en 1998 a 155Mbps

· Implantación FCoE para RICA+ (1Gbps y 2Gbps sobre varios

nodos)

· Conexión CICA-RedIRIS a 10Gbps

· Futuro con fibra óptica e interconexión nacional e internacional

(RicaNova)




Beneficiarios de RICA+:

● Investigadores intercambian grandes volúmenes de datos para su explotación.

● La Docencia virtual rica en contenidos multimedia, se podrá realizar usando herramientas y plataformas basadas en la web, ya que RICA+ ofrece una capacidad suficiente para desarrollar en Campus Virtual Andaluz.

● La administración electrónica de las universidades andaluzas (rápida comunicación para los ESB's)

● El proyecto de supercomputación autonómico basado en tecnología GRID y conocido como RASCI (Red Andaluza de Supercomputación Científica).

● El proyecto Acces-GRID, que interconecta distintas salas de videoconferencia de altas prestaciones para recrear una sala de reuniones real en el mundo virtual.






Índice

• ¿Qué es CICA?






Supercomputación

• Capacidad de resolver cálculos muy complejos en un tiempo razonable• Tuvo sus comienzos en los años 80• Se basó en sus inicios en diseños arquitéctonicos de procesadores

muy específicos.• Aplicación militar, física cuántica, meteorología, química, …• MUY caros



Supercomputación

• CERN (Francia & Suiza)

• CERN - the European Organization for Nuclear Research

• Análisis investigaciones física nuclear

• TianHe (China) ● supercomputadora ubicada en el National Super Computer Center en Tianjin, China.

● En octubre de 2010 se presentó una nueva versión denominada Tianhe-IA, hasta el momento la supercomputadora más potente del mundo, llegando a alcanzar los 2.507 petaflops.

● Earth Simulator (Japan)

● superordenador desarrollado por las agencias japonesas NASDA, JAERI y JAMSTEC y en operación desde finales del año 2001, para aplicaciones de carácter científico. Es utilizado principalmente en simulaciones climáticas y de convección en el interior terrestre.

● Hasta finales del año 2003, ostentó el título de superordenador más rápido del mundo, con una capacitad computacional de más de 35 Teraflops.



Supercomputación

• En España:

• Barcelona Supercomputing Center (BSC)

• CESGA (Galicia)

• CeSViMA (Madrid)

• CICA (Andalucía)• …•

• BSC: 5º Ordenador más potente en el mundo (2006)



Supercomputación• Tipos de Supercomputación

• HPC (High Performance Computing)● Uso de superordenadores y clusters de ordenadores para resolver

problemas de computación avanzada.● Cortos periodos de tiempo (horas o días)

• HTC (High Throughput Computing)● Término para describir el uso de muchos recursos de computación

durante largos periodos de tiempo para llevar a cabo una tarea de

cálculo intensivo.● Largos periodos de tiempo (meses o años)

• Aproximaciones:

• HTC: Servidores «Superdome 2» (Superdome 2 tiene entre 2-32 sockets

(esto es, hasta128 cores) y 4 TB de memoria.• HPC: Sistema distribuido de computación: clusters de equipos baratos

• Servidores conectados entre sí• ¿Cómo? ¿Qué hacen?



Supercomputación

Cluster Distribuido CICA Cluster Distribuido CICA

- Cluster de Memoria distribuida.

- 220 nodos biprocesadores (440 cores).

- 4 Gb de RAM por nodo.

- Arquitectura de 64 bits.

- Sistema de almacenamiento de ~12 Teras

...Y CRECIENDO

Servidores de Servidores de Memoria Memoria

CompartidaCompartida– Sun x4600

– 16 Cores.

– 64 GB RAM.

– Almacenamiento de ~12 TB

– Cluster NovaScale BULL:

– [16x2]x4x2 Intel Xeon quadcore de 3.0 GHz

– 256 Cores.

– 2 GB RAM/Core

– Conexión Infiniband

– Servidor IBM pSeries 550 :4 x POWER6 dual core modelo P550, a 4.2 Ghz.16 GB RAM



Supercomputación



Supercomputación

• Administración simultánea de cientos de servidores:

• Gestión de la Conectividad• Gestión del Almacenamiento• Gestión de colas• Gestión de usuarios• Mantenimiento servidores• Herramientas para el cálculo



Supercomputación

¿Por qué no con Software Libre?

• Sistema Operativo

• CentOS (basado en RedHat)

• Software de soporte a la infraestructura:

• Cobbler (para despliegues, o instalación a través de red)

• Puppet (Mantenimiento de configuraciones)

• OpenNebula: para infraestructura de Cloud (reCarta)



Supercomputación

• Almacenamiento?

• Lustre

• Recientemente, disponible la versión 2.0

• Gestión de usuarios?

• LDAP

• Gestión de colas?

• Sun Grid Engine (SGE)

• Comunicaciones entre nodos?

• OpenMPI



Supercomputación



Supercomputación

• SOFTWARE: relación 70 – 30 (libre vs No libre)• Matemáticas

● FreeFem (Eq. Diferenciales), Scilab (C. Numérico), R (Cálculo

estadístico), Sage (alternativa open source ta Magma, Maple,

Mathematica y Matlab), Octave (cálculo Numérico)...

• Química• OpenFOAM (dinámica de fluidos), NwCHEM (biomoléculas),

Gamess (estructura electrónica molecular y atómica)

• Física, Minería de Datos, Meteorología, …



Supercomputación

• Distribución de los trabajos?

• Sun Grid Engine (ahora bajo Oracle licencia SISSL)

• Organización automática de prioridades

• Múltiples entornos (paralelo, memoria compartida)

• Ejecución a través de scripts → Facilidad de uso

• Varias colas de ejecución, dependiendo de las necesidades del usuario



Supercomputación

● Colas de ejecución disponibles en CICA:

● eca: esta cola está compuesta por servidores de 2 y 4 cores con 4GB y 8GB de RAM respectivamente e interconexión 1G Ethernet , su uso es principalmente para trabajos que no tengan requisitos hardware muy elevados (1 ó 2 cores o con poca comunicación entre ellos, máximo 4 GB de RAM/servidor).

● ibnodes: servidores de 8 cores, 16GB de RAM e interconexión mediante red de baja latencia Infiniband. Esta cola está destinada a trabajos que requieran de al menos 8 cores y comunicación entre ellos.

● smnodes: en esta cola se incluyen varios servidores de memoria compartida, destinada a trabajos que requieran de gran capacidad RAM en los servidores.

● nh_ib: dispone de 4 servidores Nehalem de con 8 cores cada uno, 24GB de RAM e intereconexión de baja latencia. Trabajos que requieran gran cantidad de RAM y mucha potencia de procesador.



Supercomputación

• Nuestra experiencia:

• Cálculos Científicos muy delimitados (áreas y

herramientas)• Investigadores ya utilizan una aplicación libre / no libre.

Desean seguir usándola.• Usuarios ya experimentados. Know-how aprendido,

aunque estático.• Un número importante de investigadores solicitan software

propietario• Posible desconocimiento de alternativas mejores en determinados

casos...



Supercomputación

● Ejemplo de soluciones alternativas: servidores que agregan tarjetas gráficas (NVIDIA Tesla, con CUDA)

● En determinados problemas, presentan rendimientos altísimos.

● Ya no es necesario aprender CUDA para todos los escenarios:

– HMPP: Te permite portar directamente código hecho en C y Fortran a GPU. En septiembre 2011 se puede disponer de version para C++.

– Jacket de Accelereyes: aceleración para problemas enfocados mediante MATLAB

● Otras posibilidades que sacan provecho de CUDA:

– Numerix, CompatibL, MATLAB, PyCUDA, Pegasys, BadaBOOM, S3FotoPro, SciFinance, B-spline, Parallel Computing Toolbox, Datafeed Toolbox , Fixed-Income, Toolbox, Financial Toolbox [...]



Supercomputación

27,2

24 20,8

16,8

6,4

3,21,6

Áreas de Investigación

Porcentaje de áreas

QuímicaEstadística / Investigación Operativa / Mineria de DatosMatemáticasFísica

Ing. MecánicaBiotecnología

Genética



Supercomputación

% Tareas por Universidad

Tareas con duración < 24 horasHuelvaSevillaJaénCórdobaOtros



Supercomputación

· Desde el año 2007, ha habido un crecimiento constante en usuarios y ejecuciones.

· Ejecuciones de tipo– Minería de datos (45%)– Químico (35%)– Físico (10 %)– Matemático (7 %)– Otras (3 %)

Ejecuciones0

50000

100000

150000

200000

250000

300000

350000

10000

25212

137460

294473

2007200820092010



¿Supercomputación?

● ¿Cómo empezar?

● http://eciencia.cica.es (Área Documentación)

● Recursos?

● Cluster looking glass: https://cube.cica.es/clg-web/

● Ver el estado de las colas (ver el estado de las tareas) http://cube.cica.es/sge/sge.php

● Consulta el estado de los nodos: http://cube.cica.es/sge/hostStatus.php

● Proyecto RECARTA: http://cloudserv.recarta.cica.es:8080

● Monitorización con Ganglia de los recursos HPC de CICA http://cube.cica.es/


http://eciencia.cica.es/

https://cube.cica.es/clg-web/

http://cube.cica.es/sge/sge.php

http://cube.cica.es/sge/hostStatus.php

http://cloudserv.recarta.cica.es:8080/

http://cube.cica.es/


Cluster looking glass









Sun Grid Engine: comandos básicos

● Tendremos credenciales de acceso a la máquina pool.cica.es por SSH

● Comandos básicos:● qsub: Para el envío de tareas a la cola.

● qstat: Para monitorizar el estado de las tareas, así como de lacola en general.

● qdel: Para eliminar las tareas que están ejecutándose en ese momento o estén a la espera de ejecución.

● qhost, qmod, qconf, etc: Estos comandos están reservados aladministrador para la configuración de las colas y del sistema SGE.



Sun Grid Engine: qmon

● Necesitamos entrar a pool.cica.es tunelizando las X windows

● Putty+Compresión SSH + X-Forwarding + Xming

● Sesión FREE NX de tipo “Custom” (mucho más rápido)

● Ejemplo:




● Envío de trabajos (Submit jobs)




● Borrado y estado de los trabajos:




● … Y mucho, mucho más.● Incluso labores de administración de

nodos si disponemos del perfil adecuado.

● Ver nuestros trabajos, borrarlos, ver los trabajos de otros usuarios, ver estado de las colas, etc. etc.



Índice







Virtualización y cloud computing

● Proyecto reCarta (pre-Alpha)

● Permite la creación de infraestructura de cloud a medida

● Elegimos cores, memoria y número de máquinas.

● Interfaz web:http://cloudserv.recarta.cica.es:8080

● Actualmente: OpenNebula + Xen

● Alternativas: virtualización de sistema operativo (openvz, linux vserver)

– En vías de estudio.



Índice







Próximos Objetivos / Futuros proyectos

● Dar a conocer nuestros servicios en todas las universidades de Andalucía.

● Establecer lazos de colaboración

● Difundir las ventajas del housing de cómputo como modelo de ahorro de costes, eficiencia energética, bien común y parcelado de responsabilidades



Housing de infraestructura de cálculo

● Housing: Cesión de una máquina de nuestra propiedad a un tercero, para que la aloje en sus instalaciones

● CICA os permite utiliza este servicio si os interesa, conforme a un acuerdo de colaboración.

● Se establecen unas bases de beneficios propios y ajenos, y se os mantiene la infraestructura física (frío, electricidad, seguridad, comunicaciones) y lógica (S.O., software, creación de colas, etc.) conforme a dicho acuerdo.




● El acuerdo de colaboración, establece que:● El cedente puede comenzar y finalizar la cesión

con CICA cuando quiera● CICA se compromete a:

– Dar suministro eléctrico.

– Proporcionar refrigeración adecuada

– Albergar los equipos en un entorno controlado, con personal de seguridad 24 horas en el centro.

– Instalación del entorno e infraestructura




● Instalación de infraestructura. ¿Cómo?● CICA instala el S.O.

● CICA instalamos las herramientas que el cedente demande

● CICA creamos una cola de trabajos con prioridad absoluta para el cedente sobre las máquinas que cede

● CICA aporta el direccionamiento de red e infraestructura de comunicaciones adecuada.

● CICA crea los usuarios necesarios para lanzar tareas




● ¿Obligaciones del cedente?● Responsabilidad del buen uso del servicio, de

manera adecuada y respetuosa con los demás● No obtener beneficios económicos directos de

los recursos mantenidos por CICA (no se puede “revender” el servicio de cómputo a otros aunque las máquinas sean nuestras, si CICA alimenta, refrigera y mantiene las máquinas)




● ¿Ventajas?

● El cedente tiene la máxima prioridad sobre la cola que gestione sus equipos. Sus trabajos se encolan directamente en su equipo, sin esperas.

● El cedente puede tener sus trabajos en otras colas existentes aparte de la suya. Sus trabajos pueden así terminar antes que si tuviese sólo sus máquinas.

● Otros investigadores pueden usar la cola de su infraestructura si esta se encuentra desaprovechada para trabajos de corta duración (< 24H).

● El investigador usa todo su tiempo en su campo, mientras que CICA invierte los esfuerzos necesarios en mantener la infraestructura lógica y física.

– El investigador se despreocupa del hardware y del software, sólo se centra en realizar su investigación.




● ¿Existe? ¿Quién lo ha hecho hasta ahora?

● Prestamos este servicio desde Marzo del 2011

● Dos grupos de investigación ya lo están utilizando

● GRUPO 1: Un rack completo con nodos de cálculo y un rack adicional que está en camino incluyendo electrónica de red infiniband y switch ethernet convencional para gestión.

● GRUPO 2: Un rack completo de cálculo, y otro que se recibe en Junio, donde CICA aporta la electrónica de comunicaciones



Más información




• Próximos Objetivos / Futuros Proyectos

• MÁS INFORMACIÓN:

• Mail: [email protected]• Web: eciencia.cica.es


mailto:[email protected]

Technology

Supercomputación y Cloud computing en CICA. Jornadas Universidad de Huelva