Файловые системы для вычислительных кластеров

Краткий обзор

Файловые системы для HPC

Зачем нужны?

Чем различаются?

Какие самые известные?

Сколько стоят?

2

Распределенные файловые системы

Нет монополизации LUN конкретным сервером •сохраняются возможности блокировки

отдельных файлов на чтение и запись

Высокая масштабируемость •по данным и метаданным

Высокая надёжность

Относительная дешевизна

3

Особенности масштабируемых ФС

Производительность ? single-thread (GB/s)

? multi-thread (GB/s)

? обработка коротких

операций ввода-вывода

? метаданные

Совместимость ? операционные системы и

их версии

Масштабируемость ? по данным

? по метаданным

Надёжность ? kernel space / user space

? репликация данных

? снэпшоты

Функциональность ? снэпшоты

? пулы ресурсов и HSM

? дедупликация

Стабильность ? количество внедрений

? SLA службы поддержки

Стоимость

4

Самые известные масштабируемые ФС

IBM GPFS

Lustre File System

Hadoop Distributed File System (HDFS)

Fraunhofer File System (BeeGFS)

----

Panasas File System (PanFS)

Quantum StorNext File System

5

IBM GPFS

6

IBM GPFS — архитектура

7

IBM GPFS — сильные и слабые стороны

Сильные стороны: •высокая производительность •мгновенные снимки, пулы ресурсов

Слабые стороны: •сложность настройки •множество недокументированных параметров •отсутствие графической консоли управления •дороговизна лицензий и техподдержки •перегрузка служб техподдержки

8

GPFS --- клиенты в нефтегазовом секторе

Petrobras

Exxon Mobil

ENI

British Petroleum

Подробности недоступны!

9

IBM GPFS --- стоимость (List Price)

Сервер: •лицензия + 1 год поддержки — 184 USD •доп. 1 год поддержки — 36.75 USD

Клиент: •лицензия + 1 год поддержки — 2.20 USD •доп. 1 год поддержки — 0.45 USD

Все цены — за 10 PVU •в типичном современном Intel Xeon

--- 70 PVU на 1 ядро

10

LUSTRE (IEEL)

11

Lustre --- архитектура

12

Lustre — сильные и слабые стороны

Сильные стороны: •высочайшая производительность •высочайшая масштабируемость •графическая консоль управления •бесплатность лицензий и дешевизна

коммерческой техподдержки •возможность работы с любыми массивами

Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха

в нефтегазовой отрасли

13

Масштабируемость Lustre — 1.5 ТБ/с

14

Внутри инсталляции LLNL --- NetApp E5400

15

Lustre + ZFS --- потеря производительности

16

Lustre --- клиенты в нефтегазовом секторе

DownUnder Geosolutions (Australia) •Сluster size: 12’000 cores •Storage size: 1.5 PB • I/O performance: 10 GB/s

Total S. A. (France) •Сluster size: 110’592 cores •Storage size: 7 PB •Pangea --- крупнейший коммерческий

суперкомпьютер в мире!

17

Lustre File System — история и команда

1999 --- Университет Карнеги-Мелон

2003 — Cluster File Systems, Inc.

2007 --- Sun Microsystems, Inc.

2010 --- Oracle Corporation

2010 --- Whamcloud

2012 --- Intel Corporation

18

Peter Braam

Eric Barton Andreas Dilger Brent Gorda

«СетьПроект» — партнёр Intel в России

19

Intel Lustre --- стоимость (List Price)

Сервер (OSS): •1 год поддержки — 7000 USD

Клиент: •бесплатно

20

APACHE HDFS

21

HDFS --- архитектура

22

HDFS — сильные и слабые стороны

Сильные стороны: •широкая распространенность

•социальные сети, поисковые машины •масса вариантов коммерческой поддержки •возможность работы с любыми массивами •бесплатность лицензий и дешевизна

коммерческой техподдержки

Слабые стороны: •плохая производительность по операциям

записи •плохая масштабируемость •множество несовместимых версий •нет историй успеха в нефтегазовой отрасли

23

HDFS --- крупнейшие внедрения

24

FRAUNHOFER GFS (BEEGFS)

25

BeeGFS --- архитектура

26

BeeGFS --- сильные и слабые стороны

Сильные стороны: •универсальность (полностью в user space) •распределенные серверы метаданных •высочайшая производительность

•особенно single-thread •графическая консоль управления •бесплатность лицензий и дешевизна

коммерческой техподдержки •возможность работы с любыми массивами

Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха

в нефтегазовой отрасли

27

BeeGFS--- клиенты в нефтегазовом секторе

Det norske oljeselskap (Норвегия)

RockSolidImages (США)

Lundin (Норвегия)

Подробности недоступны!

28

BeeGFS --- типичная инсталляция

29

BeeGFS --- производит-сть Single-Thread

30

Оборудование: •5 storage servers по 36 дисков RAID60

Тест: • iozone 1-thread, 1-node

Результаты BeeGFS: •2’484’441.50 Kbytes/sec, Sequential Write •1’087’680.75 Kbytes/sec, Sequential Read

Результаты Lustre (для сравнения): •465’339.94 Kbytes/sec, Sequential Write •378’283.56 Kbytes/sec, Sequential Read

BeeGFS --- производит-сть Multi-Thread

31

Оборудование: •5 storage servers по 36 дисков RAID60

Тест: • IOB_5 (8 threads on 8 nodes)

Результаты BeeGFS: •5’623’611.31 Kbytes/sec, Sequential Write •7’913’005.2 Kbytes/sec, Sequential Read

Результаты Lustre (для сравнения): •3’494’379.44 Kbytes/sec, Sequential Write •2’750’521.81 Kbytes/sec, Sequential Read

BeeGFS --- стоимость (List Price)

Сервер (multi-target): •1 год поддержки — 1600 EUR

Сервер (single-target): •1 год поддержки — 1100 EUR

Клиент: •бесплатно

32

Услуги «СетьПроекта»

Помощь в постановке задачи •уточнение

исходных данных •выявление

неочевидных ограничений •организация

тестовых стендов

Внедрение СХД •проектирование •поставка •развертывание

Сопровождение СХД

33

34

Знаем и умеем --- проверено!

Интернет: http://www.netproject.ru

Электр. почта: info@netproject.ru

Телефон: (495) 969-24-30

Факс: (499) 969-80-63

Адрес: 119334, Москва, 5-й Донской проезд, 15 стр. 8

Дешевизна масштабируемых ФС

Задача --- файловая система для вычислительного кластера:

•200 ТБ полезной емкости •6 ГБ/с скорость последовательной записи

Расчет в ценах List Price

NetApp FAS (IO size = 32К): •FAS8060

•8 узлов, 576 дисков 900 ГБ SAS 10K --- $4.4М

NetApp E-Series + Lustre (IO size = 256K): •E2700

•6 узлов, 247 дисков 2 ТБ SATA --- $350K

35