Файловые системы для вычислительных кластеров
Краткий обзор
Файловые системы для HPC
Зачем нужны?
Чем различаются?
Какие самые известные?
Сколько стоят?
2
Распределенные файловые системы
Нет монополизации LUN конкретным сервером •сохраняются возможности блокировки
отдельных файлов на чтение и запись
Высокая масштабируемость •по данным и метаданным
Высокая надёжность
Относительная дешевизна
3
Особенности масштабируемых ФС
Производительность ? single-thread (GB/s)
? multi-thread (GB/s)
? обработка коротких
операций ввода-вывода
? метаданные
Совместимость ? операционные системы и
их версии
Масштабируемость ? по данным
? по метаданным
Надёжность ? kernel space / user space
? репликация данных
? снэпшоты
Функциональность ? снэпшоты
? пулы ресурсов и HSM
? дедупликация
Стабильность ? количество внедрений
? SLA службы поддержки
Стоимость
4
Самые известные масштабируемые ФС
IBM GPFS
Lustre File System
Hadoop Distributed File System (HDFS)
Fraunhofer File System (BeeGFS)
----
Panasas File System (PanFS)
Quantum StorNext File System
5
IBM GPFS
6
IBM GPFS — архитектура
7
IBM GPFS — сильные и слабые стороны
Сильные стороны: •высокая производительность •мгновенные снимки, пулы ресурсов
Слабые стороны: •сложность настройки •множество недокументированных параметров •отсутствие графической консоли управления •дороговизна лицензий и техподдержки •перегрузка служб техподдержки
8
GPFS --- клиенты в нефтегазовом секторе
Petrobras
Exxon Mobil
ENI
British Petroleum
Подробности недоступны!
9
IBM GPFS --- стоимость (List Price)
Сервер: •лицензия + 1 год поддержки — 184 USD •доп. 1 год поддержки — 36.75 USD
Клиент: •лицензия + 1 год поддержки — 2.20 USD •доп. 1 год поддержки — 0.45 USD
Все цены — за 10 PVU •в типичном современном Intel Xeon
--- 70 PVU на 1 ядро
10
LUSTRE (IEEL)
11
Lustre --- архитектура
12
Lustre — сильные и слабые стороны
Сильные стороны: •высочайшая производительность •высочайшая масштабируемость •графическая консоль управления •бесплатность лицензий и дешевизна
коммерческой техподдержки •возможность работы с любыми массивами
Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха
в нефтегазовой отрасли
13
Масштабируемость Lustre — 1.5 ТБ/с
14
Внутри инсталляции LLNL --- NetApp E5400
15
Lustre + ZFS --- потеря производительности
16
Lustre --- клиенты в нефтегазовом секторе
DownUnder Geosolutions (Australia) •Сluster size: 12’000 cores •Storage size: 1.5 PB • I/O performance: 10 GB/s
Total S. A. (France) •Сluster size: 110’592 cores •Storage size: 7 PB •Pangea --- крупнейший коммерческий
суперкомпьютер в мире!
17
Lustre File System — история и команда
1999 --- Университет Карнеги-Мелон
2003 — Cluster File Systems, Inc.
2007 --- Sun Microsystems, Inc.
2010 --- Oracle Corporation
2010 --- Whamcloud
2012 --- Intel Corporation
18
Peter Braam
Eric Barton Andreas Dilger Brent Gorda
«СетьПроект» — партнёр Intel в России
19
Intel Lustre --- стоимость (List Price)
Сервер (OSS): •1 год поддержки — 7000 USD
Клиент: •бесплатно
20
APACHE HDFS
21
HDFS --- архитектура
22
HDFS — сильные и слабые стороны
Сильные стороны: •широкая распространенность
•социальные сети, поисковые машины •масса вариантов коммерческой поддержки •возможность работы с любыми массивами •бесплатность лицензий и дешевизна
коммерческой техподдержки
Слабые стороны: •плохая производительность по операциям
записи •плохая масштабируемость •множество несовместимых версий •нет историй успеха в нефтегазовой отрасли
23
HDFS --- крупнейшие внедрения
24
FRAUNHOFER GFS (BEEGFS)
25
BeeGFS --- архитектура
26
BeeGFS --- сильные и слабые стороны
Сильные стороны: •универсальность (полностью в user space) •распределенные серверы метаданных •высочайшая производительность
•особенно single-thread •графическая консоль управления •бесплатность лицензий и дешевизна
коммерческой техподдержки •возможность работы с любыми массивами
Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха
в нефтегазовой отрасли
27
BeeGFS--- клиенты в нефтегазовом секторе
Det norske oljeselskap (Норвегия)
RockSolidImages (США)
Lundin (Норвегия)
Подробности недоступны!
28
BeeGFS --- типичная инсталляция
29
BeeGFS --- производит-сть Single-Thread
30
Оборудование: •5 storage servers по 36 дисков RAID60
Тест: • iozone 1-thread, 1-node
Результаты BeeGFS: •2’484’441.50 Kbytes/sec, Sequential Write •1’087’680.75 Kbytes/sec, Sequential Read
Результаты Lustre (для сравнения): •465’339.94 Kbytes/sec, Sequential Write •378’283.56 Kbytes/sec, Sequential Read
BeeGFS --- производит-сть Multi-Thread
31
Оборудование: •5 storage servers по 36 дисков RAID60
Тест: • IOB_5 (8 threads on 8 nodes)
Результаты BeeGFS: •5’623’611.31 Kbytes/sec, Sequential Write •7’913’005.2 Kbytes/sec, Sequential Read
Результаты Lustre (для сравнения): •3’494’379.44 Kbytes/sec, Sequential Write •2’750’521.81 Kbytes/sec, Sequential Read
BeeGFS --- стоимость (List Price)
Сервер (multi-target): •1 год поддержки — 1600 EUR
Сервер (single-target): •1 год поддержки — 1100 EUR
Клиент: •бесплатно
32
Услуги «СетьПроекта»
Помощь в постановке задачи •уточнение
исходных данных •выявление
неочевидных ограничений •организация
тестовых стендов
Внедрение СХД •проектирование •поставка •развертывание
Сопровождение СХД
33
34
Знаем и умеем --- проверено!
Интернет: http://www.netproject.ru
Электр. почта: [email protected]
Телефон: (495) 969-24-30
Факс: (499) 969-80-63
Адрес: 119334, Москва, 5-й Донской проезд, 15 стр. 8
Дешевизна масштабируемых ФС
Задача --- файловая система для вычислительного кластера:
•200 ТБ полезной емкости •6 ГБ/с скорость последовательной записи
Расчет в ценах List Price
NetApp FAS (IO size = 32К): •FAS8060
•8 узлов, 576 дисков 900 ГБ SAS 10K --- $4.4М
NetApp E-Series + Lustre (IO size = 256K): •E2700
•6 узлов, 247 дисков 2 ТБ SATA --- $350K
35