Строим корпоративный ЦОД:как обменять 80% рисков на 5% бюджета

Тбилиси, 2011 г.

Геннадий КарповДиректор по технологиям

2 ПРОЕКТИРОВАНИЕ 3 СТРОИТЕЛЬСТВО 4 ЭКСПЛУАТАЦИЯ 5 ПЕРЕРОЖДЕНИЕ1 ИДЕЯ

СТ

РО

ИТ

ЕЛ

ЬН

ЫЕ

РА

БО

ТЫ

ВН

ЕД

РЕ

НИ

Е И

НФ

РА

СТ

РУ

КТ

УР

Ы

ПН

Р И

ВВ

ОД

В Э

КС

ПЛ

УА

ТА

ЦИ

Ю

ЭС

КИ

ЗН

ЫЙ

ПР

ОЕ

КТ

ТЕ

НД

ЕР

НЫ

Е П

РО

ЦЕ

ДУ

РЫ

РА

БО

ЧИ

Й П

РО

ЕК

Т

КО

НЦ

ЕП

ЦИ

Я

СТ

АР

ЕН

ИЕ

ПЕ

РЕ

РО

ЖД

ЕН

ИЕ

ЭК

СП

ЛУ

АТ

АЦ

ИЯ

ЭК

СП

ЛУ

АТ

АЦ

ИЯ

Этапы жизненного цикла ЦОДИ

ДЕ

Я

1,5-2 года 7-12 лет

В Р Е М Я

2

Создание ЦОД: три пика рисков

• Идея нереализуема, технические требования к ЦОД неадекватны потребности

Организационные• Проект не соответствует ТЗ,

противоречив или нереализуем

Эксплуатационные• Созданный объект не

соответствует проекту

3

2 ПРОЕКТИРОВАНИЕ 3 СТРОИТЕЛЬСТВО ЭКСПЛУАТАЦИЯ1 ИДЕЯ

Ве

ро

ятн

ос

ть с

ра

ба

тыв

ан

ия

ри

ско

в

4

Пики рисковна жизненном цикле ЦОД

1,5-2 года 7-10 лет

ВРЕМЯ4

DC ТОЧКА НЕВОЗВРАТА

1 ИДЕЯ 2 ПРОЕКТИРОВАНИЕ 3 СТРОИТЕЛЬСТВО

Ве

ро

ятн

ос

ть с

ра

ба

тыв

ан

ия

ри

ско

в

DC SHAKE DOWN

ВРЕМЯ

Продукты De Novo группы DC EXPERT: концентрированный опыт в нужных местах

5

ИНСТРУМЕНТ УПРАВЛЕНИЯ РИСКАМИЭтапы “ИДЕЯ / ПРОЕКТИРОВАНИЕ”

DC Точка невозврата /Оценка реализуемости проекта/Независимая экспертная оценка реализуемости проекта и необходимости внесения корректировок до начала основных капиталовложений (ТОЧКА НЕВОЗВРАТА).

Специалисты De Novo:• оценят адекватность прогноза емкости ЦОД, определят степень

соответствия целевых характеристик ЦОД прогнозу• проанализируют технические решения на непротиворечивость,

эффективность и соответствие целевым характеристиками• сбалансируют лимитирующие факторы• разработают рекомендации по изменению проектных решений в

контексте оптимизации CAPEX, OPEX и рисков имплементации• проведут термальное моделирование для проверки

правильности ключевых технических решений (CFD-анализ)

6

DC Точка невозврата: логика проекта

Опыт & Лучшие мировые практики,стандарты TIA-942,

ANSI:BICSI 2011

7

Заключение о площадке

Опрос Заказчика

Установочная встреча

Инициация

Обследование площадки

Обследование

Опрос ИТ-служб

Техническая концепция

Мониторинг рынка & Предварительные ценовые запросы

Финансовая модель

Отчет об обследование(AS IS + Прогноз)

Операционная модель

Управление проектом и календарный план

DC Shake Down /Стресс-испытания датацентра/Комплексные тестовые испытанияинженерной инфраструктуры ЦОД и аварийных регламентов при проектной нагрузке с целью подтверждения готовности к регулярной эксплуатации

Специалисты De Novo при помощи профессиональных инструментов:• выполнят стресс-тестирование основных инженерных систем при

проектной нагрузке с целью выявления ошибок проектирования, дефектов монтажа и оборудования

• смоделируют аварийные ситуации и переходные процессы, исследуют динамическую устойчивость подсистем ЦОД

• проверят работоспособность аварийных регламентов, готовность персонала ЦОД к их исполнению в условиях стресса

• подготовят итоговое заключение о выявленных ошибках и дефектах, сформулируют рекомендации по их устранению

ИНСТРУМЕНТ УПРАВЛЕНИЯ РИСКАМИЭтап “СТРОИТЕЛЬСТВО”

8

Ве

ро

ятн

ос

ть с

ра

ба

тыв

ан

ия

ри

ско

в

DC HEALTH CHECK

4 ЭКСПЛУАТАЦИЯ

ВРЕМЯ

Новые продукты De Novo: концентрированный опыт в нужных местах

9

DC Health Check / «Профосмотр» ЦОД/Health Check – регулярная процедура (раз в 1.5-2 года), направленная на поддержание эксплуатационных рисков на приемлемом уровне и превращающая развитие ЦОД в осознанный и управляемый процесс

Специалисты De Novo:• выполнят обследование инженерной инфраструктуры и

процессов эксплуатации ЦОД с целью идентификации основных эксплуатационных рисков

• разработают перечень «быстрых изменений», направленных на минимизацию идентифицированных рисков

• сформулируют рекомендации по дальнейшему развитию ЦОД с учетом текущих и перспективных потребностей

ИНСТРУМЕНТ УПРАВЛЕНИЯ РИСКАМИЭтап “ЭКСПЛУАТАЦИЯ”

10

Ценность применения продуктов на практике

или Галерея Неочевидностей

11

12

ЦОД De Novo: большой объект …. … реально большой• Мощность: общая 3.3 МВт, ИТ – 1.65 МВт• Общая площадь – 2117 м² (+720 м² на кровле)• ~240 серверных стоек (суммарная емкость модулей и MDA)• 80 прецизионных кондиционеров APC по 40 КВт• ~ 80 км. оптоволоконных пар OM-3, ~50 км. витой пары STP• 600 оптических и 200 медных пассивных портов в MDA• ~800 м гидромагистралей (d>300мм)• 96 видеокамер системы наблюдения• 35 датчиков VESDA (раннее обнаружение дыма)• 120 тонн воды (внутренний контур), 36 м3 гликоля

(внешний контур)• Служба эксплуатации – 29 сотрудников, физическая охрана

– 8 человек + группа быстрого реагирования

DC Точка Невозврата(экспертиза идеи и эскизного проекта)

13

Планирования потребности в ресурсах ЦОД:случай из нашей практики

14

0 кВт

200 кВт

400 кВт

600 кВт

800 кВт

1 000 кВт

1 200 кВтЗаявленная мощность Скорректированная мощность Медиана

Интегральный энергобаланс ЦОД

Полное потребление @40˚C: 3170 kW

•S & L модули

1260 kW

•H модуль

400 kW

•MDA 1, 2

25 kW

IT нагрузка UPS

1685 kW

•Кондиционеры модулей и UPS

130 kW

•Водяные насосы

70 kW

•Система безопасности

10 kW

Non-IT нагрузка UPS

210 kW

•Чиллеры и гликолевые насосы

820 kW

•Освещение и бытовые розетки

75 kW

•Подогрев ДГУ

25 kW

•Увлажнители и вентиляция

135 kW

•Потери

220 kW

Non-UPS нагрузка

1275 kW

Планирование площадей

Модули :S (4 racks,30/40kW) - 20 штL (8 racks, 60/80kW) - 11 шт

Центр управленияДиспетчерская безопасностиБытовая частьКлиентские комнаты

H-модуль (облако)50 racks, 400kW

Энергоснабжение (2N):Транформаторы 2х4MVAГРЩ и АВР 1&2 UPS и батареи (2x5x500KVA)

Холодоснабжение:Чиллерная ферма на крыше (5x590kW)Гликолевые и водяные насосыТермальные аккумуляторы (2x40m3)

ДГУ:Дизели (4x1300kW)Топливные баки

MDA 1&2

Грузовой терминал

Лимитирующие факторы и их балансировка

Емкость ЦОДЭнергия

Холод

Площадь

Пути распределе-ния ресурсов

Бюджет

ЦОД De Novo: балансировка лимитирующих факторов на этапе экспертизы эскизного проекта позволила увеличить

емкость с 1200 КВт до 1650 КВт в рамках бюджета 17

Контрольный выстрел илитермальное моделирование

Тип модуля

Максимальная нагрузка на модуль Максимальная нагрузка на стойку

без InRow с InRow без InRow с InRow

S 30 KW 40 KW 20 KW 25 KW

L 60 KW 80 KW 20 KW 25 KW

H 400 KW 500 KW 20 KW 25 KW

Выбор теплоносителя внешнего контура

Вода

Раствор этанола

Раствор этиленгликоля

Раствор пропиленгликоля

риск замерзания

пары этанола взрывоопасны

этиленгликоль токсичен

самый дорогой, но единственно приемлемый вариант

1

ЭСКИЗНЫЙ ПРОЕКТ

Холодоноситель системы охлаждения

-«ЭТИЛЕНГЛИКОЛЬ»

ЭКСПЕРТИЗА ПРОЕКТА

Рекомендовано заменить холодоноситель

-«ПРОПИЛЕНГЛИКОЛЬ»

СТОИМОСТЬ Р Е Ш Е Н И Я

~100 000$

СТОИМОСТЬ Р Е Ш Е Н И Я

~75 000$

2

«ЭТИЛЕНГЛИКОЛЬ»

CAPEX: дешево!

OPEX: +$12K/год (высокая токсичность)

скрытый CAPEX: + $50K

«ПРОПИЛЕНГЛИКОЛЬ»

CAPEX: + $25K

OPEX: отсутствие минусов

ЭФ

ФЕ

КТ

«DC ТОЧКА НЕВОЗВРАТА» ПОМОГАЕТ ПРИНЯТЬ ПРАВИЛЬНОЕ РЕШЕНИЕ!

Выбор теплоносителя В ЦИФРАХ

20

Точка невозврата: отзыв Заказчика

DC ShakeDown(стресс-тестирование)

22

Как это было…

DE NOVOPRESENTS

23

Топология охлаждения –эффект перетока

4 m

0.8 m

2-2.4 m

1.7 m 0.92 m

CRAH

гравитационные жалюзи

24

DC ShakeDown

Рекомендовано установить гравитационные жалюзи

СТОИМОСТЬ Р Е Ш Е Н И Я

~24 000$

2

«Оставить как есть»

CAPEX: 0

OPEX: + $74К/год (ухудшения PUE на 3%)

«Установить жалюзи»

CAPEX: + 24 000$

OPEX: 0

ЭФ

ФЕ

КТ

«DC SHAKE DOWN» ПОЗВОЛЯЕТ ВЫЯВИТЬ СКРЫТЫЕ ДЕФЕКТЫ!

Эффект перетока В ЦИФРАХ

25

26

Скрытые дефекты

Индукционный разогревсиловых магистралей

27

Возможные убытки события:• Стоимость восстановления от $200 тыс.• Срок восстановления – от 1 суток до 2 месяцев• Штрафные санкции по SLA

«DC SHAKE DOWN» ВЫЯВЛЯЕТ СКРЫТЫЕ ДЕФЕКТЫ!

Эффект проявляется при выходе ЦОД на максимальную проектную нагрузку

~ 1,5-2 года

Вызывает износ изоляции →→ короткое замыкание → пожар

Индукционный разогрев В ЦИФРАХ

28

Динамическая нестабильностьсистемы ИБП-ДГУ

29

DC HealthCheck(«профосмотр» ЦОД)

30

Разбалансированный ЦОД

Тепловыделение ИТ нагрузки ~200 кВт

30% ИТ ОБОРУДОВАНИЯ ПЕРЕГРЕВАЕТСЯCчета за энергопотребление ~ 500 000$ в год.

Для установки нового ИТ оборудования не хватает электроэнергии.

Общая мощность кондиционеров ~400 кВт

«DC HEALTH CHECK» УКАЗЫВАЕТ НА ВЫХОД ИЗ ЗАМКНУТОГО КРУГА! 31

ИТОГО - Сколько это стоит?

DC Точка Невозврата + DC ShakeDown:

меняем 80% рисков на 3-5% бюджета

32

Спасибо за внимание

www.de-novo.biz