Upload
rusbase
View
2.060
Download
3
Embed Size (px)
Citation preview
Как хранить миллионы файлов сейчас и миллиард файлов в будущем?
Защита данных нового поколенияОсновано на технологии Acronis AnyData Engine
Александр Киров, PM
Виды систем хранения
Block Storageкак жесткий диск хранит
последовательность байт
iSCSI
Виртуализация
Базы данных
Shared Storageкак shared-папка
хранит набор файлов
NFS, CIFS/SMB
Файловая шара
Бекапы
Виртуализация
Shared hosting
Object Storageкак большая библиотека
хранит миллиарды файлов
Amazon S3, Swift
Хранилище для приложений
Статический web-контент
Хранилище для Online-сервисов
Бекапы
2015 2
Рост данных велик! Надо к нему готовиться!
облачных ЦОД
14Новый 4Tb-диск каждые 4 часа
USAUKFranceGermanyRussiaJapanSingaporeAustralia
10+Petabyte данных
2015 3
Новые данные — это объекты
IDC оценивает, что в 2013 году объектные хранилища занимали 37% рынка, отдавая большую часть рынка файловым хранилищам. К 2017 году размер рынка объектных хранилищ будет уже 21.7 миллиарда долларов
* Worldwide File- and Object-Based Storage 2013–2017 Forecast (IDC #242287) https://www.idc.com/getdoc.jsp?containerId=253055
Файловое хранилищеОбъектное хранилище
Миллиардыдолларов
0
5
10
15
20
25
30
35
40
$8.5
$21.7
$14.5 $16.3
2013 2017
Роств 2,5 раза
2015 4
Изменение в ПО диктуют новые интерфейсы
Block StorageДоступ к блочному
хранилищу ограничен
Хорош для высокой производительности и локального доступа
Строгая консистентность
Shared StorageХорош для одновременного
доступа к небольшому объему данных
Ограниченная масштабируемость
Неспособен эффективно работать с миллиардами
файлов
Object StorageМасштабируемость
на миллиарды файлов
Пользователи все больше запрашивают данные через
HTTP, чем через другие протоколы
Современный подход
Консистентность в конечном счете
2015 5
Пример: Open Xchange
Open Xchange — самый популярный почтовый сервер в мире Online-share и редактирование документов.
OX рекомендует использование объектного хранилища.
NFS становится не эффективным на десятках тысяч почтовых ящиках.
2015 6
Amazon S3 объектное хранилище
1. Высокомасштабируемое хранилище с доступом через HTTP.
2. Обеспечивает лёгкий и удобный API.
3. Объекты могут быть запрошены обычным интернет браузером.
2015 7
Пример: Slideshare.netSlideshare.net — web-сервис для хранения презентаций. Пользователи могут сохранять файлы публично или приватно.
Slideshare.net хранит загружаемые документы, презентации, видео в Amazon S3.
Slideshare.net не занимается хостингом файлов.
Slideshare.net просто предоставляет ссылки на контент, но сам контент хранится в Amazon.
Slideshare.net концентрируется на развитии портала и не заботится о 99.99 % доступности миллионов загруженных файлов с необходимой производительностью.
2015 8
Сценарий 1 из 3: Backend для приложений
История: сервис-провайдер хочет запустить почтовый сервис на Open Xchange. Сервис требует backend хранилище. Это может быть SAN, NAS или объектное хранилище.
S3 имеет большую масштабируемость и меньшую цену.
Для чего? Backend для приложений, поддерживающих S3.
Примеры Open Xchange, RushFiles, Acronis Backup, и др.
Зачем нужен S3?Для легкого масштабирования и удешевления инфраструктуры при использовании приложений, способных работать с S3.
Почему?Альтернатива в виде использования NAS дороже и хуже масштабируется.
2015 9
Сценарий 2 из 3: S3 public storage
История: интернет-магазин готовится к “Черной пятнице” и подготовил новый каталог товаров. Компания арендует хостинг и хочет пережить возросшие
потребности в период “Черной пятницы”. Существует 2 решения:1. перейти на более дорогой тариф хостинга;
2. положить каталог в объектное хранилище. S3 дешевле и лучше масштабируется.
Для чего? Хранение и раздача статического web-контента.
Примеры Хранение фотографий, видео, документов, Java-script, HTML.
Зачем нужен S3?Для хранение больших объемов данных. Для обеспечения глобального присутствия данных. Для масштабируемости и обработки больших объемов трафика.
Почему?Позволяет не заботиться о возможных нагрузках. S3 масштабируемо и может “переварить” практически любой объем данных. Легко контролировать доступ к данным.
2015 10
Применение TokenРазработчики приложений могу задавать доступ к файлам:
1. Для конкретного пользователя, передавая ему ссылку
2. С ограничением времени действия ссылки
ПользовательОграничение по времениПодпись
Пример:
http://s3.amazonaws.com/ppt-download/acronis.pptx?
Signature=vYEfaAL6GjVDmPg%2F%2FHVTMZoPKCk%3D
&Expires=1442399748&AWSAccessKeyId=AKIAIA7QTBOH2LDUZRTQ
2015 11
Сценарий 3 из 3: S3 for an ISV
История: online-игра Minecraft имеет множество текстур, которые запрашивают пользователи со всего мира. Размещение их на NAS привело бы к удорожанию
инфраструктуры и проблемам с масштабируемостью.
Для чего? Хранилище для online-сервисов.
ПримерыКомпании с online-бизнесом, такие как Minecraft, SlideShare, Netflix, социальные сети, крупные торговые площадки, и др.
Зачем нужен S3?Для публикации общедоступного контента online.Хранения данных в соответствии с политиками безопасности компании.
Почему?Предоставляет хороший API и возможность управления доступом к объектам. Существует множество библиотек для работы с S3 на многих языках программирования.
2015 12
Самые крупные S3-провайдерыНазвание Технология API
Количество объектов
Регион Базовая цена
Amazon S3 Amazon S3 Amazon S3 >2 триллионаСША, Европа,
Сингапур, Япония, Бразилия, Австралия
34-85 / TB в месяц + трафик + операции
AT&T Synaptic Storage as a Service
EMC Atmos + client/server soft
EMC REST + own clients
100 миллиардов США100-150 / TB в месяц
+ трафик
Google Cloud StorageGoogle Object
StorageGoogle REST нет данных США, Европа
54-85 / TB в месяц + трафик + операции
HP Cloud Object Storage
OpenStack Swift Swift 100 миллиардовСША, Европа,
Сингапур, Япония110-200 / TB в месяц
WABS: Windows Azure Blob Storage
Microsoft Object Storage
Microsoft REST >8 триллионовСША, Европа,
Сингапур, Япония, Бразилия, Китай
41-85 / TB в месяц + трафик + операции
Internap AgileFILES OpenStack Swift Swift 100 миллиардовСША, Европа,
Сингапур80-100 / TB в месяц + трафик + операции
Rackspace Cloud Files OpenStack Swift SwiftНесколько
миллиардовСША, Европа
75-100 / TB в месяц + трафик
SoftLayer Object Storage — “CloudLayer”
OpenStack Swift SwiftНесколько
миллиардовСША, Европа,
Сингапур100 / TB в месяц +
трафик
* According to Gartner report
2015 13
Преимущества локального объектного хранилища перед
Amazon S3Некоторые данные имеют требования по месту хранения. Например:
— В определенной стране — 152-ФЗ “О персональных данных”— Внутри компании
Объектное хранилище должно располагаться ближе к месту работы с данными:
— Низкая latency— Меньше ограничений по пропускной способности— Более дешевый трафик. Не надо платить Amazon за трафик
Позволяет сохранить деньги на NAS при использовании приложений, которые уже поддерживают S3
При политике импортозамещения очень важно сохранять контроль над хранилищем данных
2015 14
Доступные продукты для построения S3 “у себя дома”
НазваниеХранение
виртуальных машин
NFS SMB iSCSIТип объектного
хранилища
Acronis Storage Да В планах В планах Да REST S3
CleverSafe Нет Да Да Нет Swift + REST S3
CEPH + S3proxy Да Да Нет Нет REST S3
Cloudian Нет Нет Нет Нет REST S3
Scality Нет Да Да НетHTTP/REST S3, CDMI, Hadoop
Swift Нет Нет Нет Нет REST Swift
2015 15
Выводы
Рост данных велик. Необходимо к нему готовиться.
Уже сейчас перед внедрением хранилища необходимо задумываться над масштабируемостью.
Объектное хранилище с Amazon S3 интерфейсом может быть применимо к широкому спектру задач.
Объектное хранилище способно решить проблему масштабируемости.
Объектное хранилище легко построить у себя дома.
2015 16
acronis.com
twitter.com/acronisfacebook.com/acronisblog.acronis.com
Защита данных нового поколенияОсновано на технологии Acronis AnyData Engine