Облачный Росомаха

XII международная конференция

CEE-SECR / РАЗРАБОТКА ПО28 - 29 октября, Москва

Евгений Анастасиев

Облачный Росомаха

О чем речь?

● Блочные СХД● Локальные и

распределенные

Слайд 1

Какие проблемы есть

● Масштабируемость● Быстродействие● Отказоустойчивость

Слайд 2

Важные термины

● Блок (чанк)● Страйп● Синдром● Empty-блок

Слайд 3

Отказоустойчивость в системах изнескольких компонент

RAID Кластер

Слайд 4

Восстановление изконтрольных сумм

● Для восстановления нужно прочитать контрольные суммы

● Меньше чтений — больше скорость восстановления

Слайд 5

LRC и Regenerating Codes

Local Reconstruction Codes

● Деление на локальные группы с контролем четности

● Мало чтений● Повышенная избыточность

Regenerating Codes

● XOR-кодирование● Минимальное количество

чтений● Нестандартный расчет

синдромов

Слайд 6

LRC

Слайд 7

LRC: проблема «колокола»

Слайд 8

LRC: проблема «колокола»

Слайд 9

Butterfly-схемаh i=∑

k

a ik i2[j] = i

2[j-1] => a

ij — black

Слайд 10

Butterfly-схема: проблема масштабирования

● Строгое ограничение по соотношению узлов и кодирующих символов

● Нужно выбирать между:• Расширением малым числом дисков• Скоростью работы • Максимальным размером кластера

Слайд 11

Butterfly-схема: проблема масштабирования

Слайд 12

Рандомизация в LRC

Слайд 13

Рандомизация: решение проблемы «колокола»

● Чтение блока с каждого диска равновероятно

● Уже на 100000 страйпов разность максимума и минимума менее 1%

● Проблемы «колокола» не возникает

Слайд 14

Применение локальных групп для масштабирования Butterfly-схемы

Слайд 15

Рандомизация в Butterfly-схеме

● Дает те же преимущества, что и в LRC

● Не только минимальное количество чтений, но и равномерное их распределение

Слайд 16

Результаты: производительность

Слайд 17

Результаты: избыточность

Слайд 18

Спасибо за внимание!

www.raidix.rurequest@raidix.com