View
343
Download
1
Embed Size (px)
Citation preview
Технологии GRID на примере проекта ARC NorduGridУстановка и настройка вычислительного кластера,
подключенного к ARC NorduGrid
Макаров Алексей
Санкт-Петербургский Государственный Университет, Физический Факультет Кафедра Вычислительной Физики
Научный руководитель:
кандидат физ.-мат. наук, доцент
Степанова Маргарита Михайловна
V Всероссийская межвузовская конференция молодых ученых – Апрель – 2008 – Санкт-Петербург
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Почему ARC?
Стабильность работы
Поддержка ПО и продолжающаяся разработка
сообществом NorduGrid
Простая интеграция с кластерным и прикладным ПО
Легкая и простая в использовании клиентская часть
Компоненты ARC
Рисунок взят из “NorduGrid, the middleware and related projects”, NDGF/Lund University GRID06 - June 26, 2006 – Dubna, Oxana Smirnova
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Создание вычислительного кластера
Настройка операционной системы (sshd, NFS, firewall) Установка и настройка менеджера ресурсов и системы очередей PBS
(TORQUE-2.1.6) на front-end сервере и вычислительных нодах Установка и настройка ПО, поддерживающего технологии параллельного
программирования MPI2 и OpenMP (MPICH-2.0 и gcc-4.2.0) Тестирование производительности вычислительного кластера
High Performance Linpack Benchmark – система тестирования производительности вычислительных кластеров
Top500 – список наиболее производительных кластеров в мире. Создается на основе тестирования системой HPL.
Производительность нашего кластера 5.136e+01 Gflops
Оборудование
GigEthernet LAN: CiscoCatalyst 2960G
Front-end сервер (ap8.gridzone.ru): Intel Pentium 4 Dual Core 3.2GHz2 x 1024MB DDR2 ECC
Вычислительные ноды (w3,w4,w7,w8): 2 x Intel Xeon Dual Core 3.0GHz 2 x 2048MB DDR ECC REG
OS: ScientificLinux 4.4
Структура сайта
ap8.gridzone.ru
Grid ManagerGrid InfosysGridFTPSSEGrid MonitorLocalCA
External DependencesARC MiddlewareSimpleCA
GPTGlobus Toolkit® packages VOMSPython, MySQL, libxml2 libraries
PBS ServerPBS SchedulerGanglia
Cluster 32 CPU
PBS ClientMPICH-2.0Gcc-4.2.0Ganglia client
Менеджер ресурсов и кластерное ПО устанавливается независимо от ПО ARC
ПО ARC Middleware устанавливается только на front-end сервер
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Локальный центр авторизации
Пользовательские сертификаты для локально поддерживаемых пользователей
Сертификаты хоста предоставляющие возможность создавать локальную инфраструктуру Грид
Простота работы с локальными сертификатами (выдача, отзыв, продление)
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Тестирование ARC front-end сервера
Информационная система
(LdapBrowser, ldapsearch, grid-monitor, ngtest)
Система передачи данных
(ngls, ngcp, ngrm, ngcat, ngtest)
Система работы с задачами
(ngsub, ngstat, ngget, ngresub, ngkill, ngrenew, ngtest)
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Данные информационной системы через Ldap Browser
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Системы мониторинга
Grid Monitor вэб-интерфес для информационной системы ARC NorduGrid
Ganglia масштабируемая система мониторинга для высокопроизводительных вычислительных систем, таких как кластеры
Nagios система мониторинга сервисов, состояния сети, серверов
Logger независимо разработанная система сбора статистической информации о задачах
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Грид монитор
Спасибо за внимание.
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Список использованной литературы
1. I. Foster, C. Kesselmann, S. Tuecke, «The Anatomy of the Grid», 2000
2. I. Foster, C. Kesselmann, S. Tuecke, J.M.Nick «The Physiology of the Grid», 2002
3. Oxana Smirnova, «NorduGrid, the middleware and related projects», NDGF/Lund University GRID06 - June 26, 2006 – Dubna
4. M. Ellert, A.Konstantinov, B. Kónya, O.Smirnova, A.Wäänänen. Architecture Proposal, NORDUGRID-TECH-1, 2002.
5. http://www.globus.org
6. http://www.nordugrid.org
7. http://www.gridcomputing.com
8. http://www.gridclub.ru
СПбГУ-Физический Факультет-Кафедра Вычислительной Физики
Ganglia