Суперкомпьютерные системы МГУ "ЛОМОНОСОВ", СКИФ МГУ "ЧЕБЫШЁВ"

Суперкомпьютерные системы МГУ "ЛОМОНОСОВ",

СКИФ МГУ "ЧЕБЫШЁВ"

Антонов Александр Сергеевичк.ф.-м.н., с.н.с. лаборатории

Параллельных информационных технологий НИВЦ МГУ[email protected]

Московский государственный университет имени М.В.ЛомоносоваМосковский государственный университет имени М.В.ЛомоносоваНаучно-исследовательский вычислительный центрНаучно-исследовательский вычислительный центр

Московский государственный университет имени М.В.ЛомоносоваМосковский государственный университет имени М.В.ЛомоносоваНаучно-исследовательский вычислительный центрНаучно-исследовательский вычислительный центр

Создан МГУ, ИПС РАН и компанией “Т-Платформы” при поддержке компании Интел в рамках суперкомпьютерной программы СКИФ-ГРИД Союзного государства

Суперкомпьютер СКИФ МГУ «Чебышёв»

Характеристики СКИФ МГУ «Чебышёв»

• Пиковая производительность: 60 TFlop/s

• Производительность на Linpack: 47.32 TFlop/s (79% пиковой), матрица 740000х740000

• 625 вычислительных узлов, 1250 процессоров, 5000 процессорных ядер

• 42 стойки: 14 вычислительных, 28 инфраструктурных

• Помещение 98 м2

• Общий вес оборудования: более 30 тонн

Характеристики СКИФ МГУ «Чебышёв»

• Энергопотребление вычислительной части 330 КВт, всего комплекса в пике до 720 КВт

• Система бесперебойного электропитания

• 10 минут автономной работы

• Система охлаждения

• Звукоизоляция

• Система автоматического газового пожаротушения

Вычислительные узлы• Процессоры:

– 1250 Intel E5472 3.0 ГГц Harpertown

• Блэйд-шасси:– T-Blade («Т-Платформы»)– Форм-фактор 5 U– До 10 вычислительных узлов

• Оперативная память:– 529 x 8 ГБ, бездисковые– 64 x 8 ГБ, 160 ГБ HDD– 32 x 16 ГБ, 160 ГБ HDD– 8 x 32 ГБ, 160 ГБ HDD

Коммуникационная сеть• DDR InfiniBand

– Mellanox MT25418 NIC – FatTree– SilverStorm 9120 – базовые

коммутаторы– Flextronix F-X430046 –

листовые коммутаторы

• Характеристики– 1.3 – 1.95 µs латентность– 1.7 ГБ/с пропускная

способность

Коммуникационная сеть

Схема построения Fat Tree в СКИФ МГУ «Чебышёв»

Вспомогательные сети и хранилище данных

• Вспомогательные сети:– Gigabit Ethernet: коммутаторы Force10 C300 и

Force10 S2410 – Управляющая сеть ServNet + IPMI

• Хранилище данных:– 60 ТБ распределённое отказоустойчивое

сетевое хранилище T-Platforms ReadyStorage ActiveScale Cluster

– 15 ТБ локальных дисков на узлах– Ленточное хранилище Quantum Scalar i500

Компоновка системы

Системы охлаждения

Вычислительные узлы, система хранения, коммуникационная сеть

Батареи

UPS

PDU

Газовые баллоны

Горячий коридор

Ряд 3

Ряд 2

Ряд 1

Ряд 4

Система охлаждения

• 8 кондиционеров APC InfraStruXure ACR502, уровень резервирования N+2

• Холодильные машины Liebert-Hiross SLH 023, одновременно работают 2 из 3

• Горячий коридор:– Меньший объём охлаждаемой

части помещения– Более тесная компоновка– До 24 КВт на стойку– Встречные воздушные потоки



Холодильные машины

Система пожаротушения

• Возможность ручного отключения всего комплекса

• Инертный газ

• 3 месяца тестирования на ложные срабатывания

• При входе в помещение автоматическая система отключается

Электрическое оборудование

• 1-ый и 4-ый ряды стоек

• PDU: APC AP9565

• UPS: APC Symmetra PX

• Мониторинг: ISX Manager

• Уровень резервирования N+1

Программное обеспечение• Операционная система

– ALT Linux HPC

• Параллельная среда

– mvapich

• Система управления

– Cleo

• Разработка программ

– Компиляторы GCC, Intel, PGI, PathScale

– Intel Cluster and Development Toolkit

Суперкомпьютер МГУ Суперкомпьютер МГУ ““ЛомоносовЛомоносов””


Всего в системе 10т гликоля и 40т воды






Вес оборудования машзала – 57 т, СБЭ – 92 т


Общая длина кабелей более 80 км


Презентация суперкомпьютера "Ломоносов" (25.11.2009)


420 Тфлопс350 Тфлопс83%4 4468 892 35 776T-Blade2, T-Blade 1.1, PowerXCell 8iIntel Xeon 5570, 2.93 GHz56,5 ТБайтQDR Infiniband1,35 ПБайтClusrtx T-Platforms Edition252 м2

1.5 МВт

Пиковая производительностьРеальная производительность

ЭффективностьЧисло вычислительных узлов

Число процессоровЧисло процессорных ядер

Типы вычислительных узловОсновной процессорОперативная память

Коммуникационная сетьСистема хранения данных

Операционная системаЗанимаемая площадь

Энергопотребление вычислителя

12-я редакция списка Top50 самых мощных суперкомпьютеров СНГ12-я редакция списка Top50 самых мощных суперкомпьютеров СНГ

http://www.supercomputers.ruhttp://www.supercomputers.ru

Работа на СКИФ МГУ «ЧЕБЫШЁВ»• Вход на головную машину

Вход по ssh версии 2 на адресskif-mgu.parallel.ru, IP-адрес: 212.192.244.31

ssh, SSH Secure Shell Client, PuTTY, Teraterm

На вычислительные узлы вход запрещён.

Передача файлов: протокол SFTP

• Хранение файлов

/home/<имя пользователя> - на системе хранения данных, доступны по сети на всех узлах, ограничено квотой.

• Компиляторы– Intel Compilers 11.0. (C,C++,Fortran77/90,95)

Команды: icc, ifort – Portland Group Inc. Compilers 7.2-3 (C,C+

+,Fortran77/90,95) Команды: pgcc, pgCC, pgf77, pgf90, pgf95

– PathScale Compiler Suite: Version 3.2 (C,C++,Fortran90/95) Команды: pathcc, pathCC, pathf90, pathf95

– GNU 4.1.2 (C,C++,Fortran) Команды: gcc, gfortran

Работа на СКИФ МГУ «ЧЕБЫШЁВ»

• Компиляция программкоманды mpicc/mpicxx (С и С++) и mpif77/mpif90

(Фортран 77/90). Автоматически подключают заголовочные файлы и библиотеки MPI. Для программ на С++ нужно использовать расширение .C или .cpp, для программ на Фортран 90 - .f90

• Выбор компилятора и реализации MPI

утилита mpi-selector:--list

--set <name>

По умолчанию - компилятор Intel и mvapich


• Опции компиляции-c

-o <имя>

-O3

при компиляции mpicc/mpicxx и mpif77/mpif90 не должны использоваться опции -static и -fast

• Компиляция с OpenMPgcc/gfortran: -fopenmp

icc/ifort: -openmp

pgcc/pgCC/pgf77/pgf90: -mp

export OMP_NUM_THREADS=8


• Запуск приложений (Cleo)mpirun -np N program <параметры программы>

mpirun -np 1 -as single program.e

-q <очередь> –название очереди

-maxtime <время> - максимальное время работы задачи в минутах

• Просмотр состояния задачиtasks

-q <очередь>

-l просмотр расширенной информации о задачах


• Очереди на СКИФ МГУ «ЧЕБЫШЁВ»regular (4152 ядрa) - без локальных дисков, 8 ГБ ОП,

hdd (520 ядер) - с локальными дисками, 8 ГБ ОП,

hddmem (256 ядер) - с локальными дисками, 16 ГБ ОП,

bigmem (64 ядра) - с локальными дисками, 64 ГБ ОП,

test (80 ядер) - без локальных дисков, 8 ГБ ОП.

Для очереди test лимит времени на одну задачу - 15 минут. Разрешено не более 10 задач одного

пользователя в очереди, включая запущенные.


• Просмотр результатовПо окончании работы - сообщение на терминал.

В рабочей директории создаются файлы:

<задача>.out-<номер> и <задача>.rep-<номер>

• Удаление задачиtasks [-q <очередь>] -d ID

tasks [-q <очередь>] -d all


Спасибо за внимание!

Documents

Суперкомпьютерные системы МГУ "ЛОМОНОСОВ", СКИФ МГУ "ЧЕБЫШЁВ"