Обновленный SQL Server 2008 R2: новые возможности платформы управления данными и бизнес

анализа

Совместный семинар Microsoft и HP,

посвященный выходу новых продуктов

17 июня 2010 г.

Программа семинара

10:00 — 10:50

Платформа управления данными Microsoft SQL Server 2008 R2 –

готовность к критическим нагрузкам. Представление новой версии

продукта

Олег Буравцов, Microsoft

10:50 – 11:20

Новые возможности решений бизнес анализа на SQL Server 2008 R2:

самостоятельные BI решения, аналитика в реальном времени,

богатые возможности визуализации данных,

Максим Войцеховский, Microsoft

11:20 – 12:00

Пример построения комплексной системы бизнес-анализа в ОАО

«Меткомбанк»

Андрей Понкин, ИТ Директор, ОАО «Меткомбанк»

12:00 — 12:30 Кофе

12:30 — 13:30

Платформы HP для решений бизнес-аналитики на основе SQL

Server 2008 R2

Александр Светлаков, HP

13:30 — 14:30 Обед

Платформа управления данными Microsoft SQL Server 2008 R2 –

готовность к критическим нагрузкам.

Представление новой версии продукта Совместное мероприятие HP и Microsoft

17 июня 2010

Олег Буравцов

менеджер по продукции Microsoft

i-olegb@microsoft.com

Содержание

Что мы объявляем

Готовность R2 к высоким нагрузкам

Масштабируемость

Рекомендованные конфигурации Fast Track

Параллельное хранилище данных

Аналитика в потоке данных: StreamInsight

Управление нормативно-справочной информацией Master

Data Services

Централизованное управление серверами БД в организации

Облачная СУБД

Редакции , ценность R2 для бизнеса

Вопросы и ответы

Немного истории

R2

SQL 6.0

1995

SQL 7.0

1998 SQL 2000

2000

SQL 2005

2005

SQL 2008

2008

SQL 6.5

1996 SQL CE

2000

64-bit

2001

Small Server

SQL-CE Device and Desktop

64-bit Megaserver +

Relational

OLAP and ETL

XML (SQL-XML) XML

Objects

Files

Data Tier

Applications

Multi Server

Management

CLR Functions,

Procedures in DBMS Engine

Enterprise Class ETL

Backup/Restore

Data Mining

Managed Reporting

Replication

XQuery

Пл

атф

ор

ма

дл

я

En

terp

rise

Ти

пы

д

анны

х

Разр

аб

от-

ка

ПО

B

I

Data Warehousing

BLOB

Ad-hoc Reporting

DW Scale Data Profiling Data Visualizations

VS Integration KPIs Multiple sources Office Integration

Scripting GUI Management Studio Policy-Based

Management

Auditing Log Shipping Failover Clustering Database Mirroring

Partitioning

ADO.NET

Entity Framework

ADO.NET Data Services ODBC

OLE DB

SQL 2008

2008 R2

Scalability to

256 cores

Datacenter Edition

Parallel Data

Warehouse

Spatial

Self Service BI

StreamInsight

Master Data

Services

Надежность, проверенная временем

Финансовая компания PREMIER Bankcard, кредитные карты Хранилище данных 4 TB, аналитические кубы OLAP

4 million кредитных карт, поддерживаемые SQL Server

16 – процессорный сервер HP Integrity

ERP Монолит Всего узлов: 6 рабочих, 4 сервера отчетов

Общий объем ERP-данных: 2 терабайта

Военно-страховая компания (ВСК) Платформа консолидации данных и бизнес-аналитики для отслеживания всей

цепочки взаимодействия с клиентом

Размер базы: 1 Тбайт, в перспективе до 5 Тбайт

1,4 млн страховых договоров за год

5 лет назад немногие предприятия могли поддерживать терабайтные БД с

помощью SQL Server в критических приложениях. Сегодня сотни предприятий

имеют 10 Тб и более транзакционные СУБД на SQL Server. Отчет Forrester , 2009 г.

Социальная

SQL Server - не только СУБД

Конечные бизнес-пользователи

Бизнес-

приложения

Приложения

MS Office

Интренет -

браузер КПК

LOB Файлы СУБД

Платформа для Управления Данными и Бизнес-анализа

SQL Server Reporting Services

SQL Server Analysis Services

SQL Server Database Engine (СУБД)

SQL Server Integration Services

SQL Server Master Data

Services StreamInsight

СУБД в облаке

Что мы представляем с появлением R2

СУБД класса Enterprise для жизненно важных приложений

Параллельная обработка данных

Новые возможности администрирования

УПРАВЛЕНИЕ нормативно-справочными данными

Новые возможности визуализации

Stream Insight – BI в реальном времени

Самостоятельное создание BI решений

Далее …

Готовность R2 к высоким нагрузкам

Задачи обработки данных , стоящие перед заказчиками

• Увеличивающиеся объемы данных

• Снижение стоимости

• Необходимо иметь гибкое решение для разного типа нагрузок

• Желателен анализ данных real-time

• Качество данных имеет важное значение

11

Сегодня Через 3 года

< 500 GB

500 GB – 1 TB

1 – 3 TB

3 – 10 TB

> 10 TB

Не знаю

21%

5%

20%

12%

21%

18%

19%

25%

17%

34%

2%

6%

Примерный объем Хранилища

Данных

Источник: TDWI Report – Next Generation DW

Возможности масштабирования платформы СУБД

Возможности SQL Server 2008 R2

Проблемы согласования производительности

• Разные принципы оптимизации под OLTP и DataWarehouse

• Не сбалансированы(CPU, IO, HDD)

• Нет гарантии положительного результата масштабирования (1Тб 20ТБ)

FC

HBA A B

FC

HBA A B

FC

SW

ITC

H

STORAGE

CONTROLLER A B

A B

CA

CH

E

SE

RV

ER

CA

CH

E

SQ

L S

ER

VE

R

WIN

DO

WS

C

PU

CO

RE

S

CPU Feed Rate HBA Port Rate Switch Port Rate SP Port Rate

A

B

DIS

K

DIS

K

LUN

DIS

K

DIS

K

LUN

SQL Server

Read Ahead Rate

LUN Read Rate Disk Feed Rate

Архитектура Fast Track DataWarehouse

• Метод разработки оптимальных по цене, сбалансированных систем для задач ХД

• Рекомендованные конфигурации аппаратного обеспечения, разработанные совместно с партнерами

• Лучшие практики организации данных, загрузки и управления

Преимущества Fast Track

Сбалансированы между всеми компонентами

Подробно описаны

Основаны на последовательном вводе/

выводе и нагрузке, характерной для ХД

Ниже стоимость владения (TCO)

Масштабируемость и производительность

Путь

дан

ны

х

Кубы

Analysis Services

PerformancePoint

Выделенный

SAN, Массив

хранения

Reporting Services

Инструменты веб-

анализа

Пакеты

загрузки

Integration

Services

SharePoint Services

Microsoft Office

SharePoint

Хранилище данных,

Промежуточная

область,

Пакетная загрузка

Поддерживаю

щие системы

Системы хранения

аналитических

данных

Системы

презентационного

уровня

Область действия

рекомендованных архитектур

(пунктиром) Excel Services

Дан

ны

е д

ля

ото

бр

аж

ен

ия

Конфигурации Fast Track для серверов HP

Сервер Процессор Ядра

CPU SAN

Количество

жестких

дисков

Начальн

ая

емкость*

Максима

льная

емкость

**

HP Proliant

DL 385 G6

(2) AMD Opteron Istanbul

six core 2.6 GHz

12 (3) HP

MSA2312

(24) 300GB

15k SAS

6TB 12TB

HP Proliant

DL 385 G6

(2) AMD Opteron Istanbul

six core 2.6 GHz

12 (3) EMC

AX4

(24) 300GB

15k FC

6TB 12TB

HP Proliant

DL 585 G6

(4) AMD Opteron Istanbul

six core 2.6 GHz

24 (6) HP

MSA2312

(48) 300GB

15k SAS

12TB 24TB

HP Proliant

DL 585 G6

(4) AMD Opteron Istanbul

six core 2.6 GHz

24 (6) EMC

AX4

(48) 300GB

15k FC

12TB 24TB

HP Proliant

DL 785 G6

(8) AMD Opteron Istanbul

six core 2.8 GHz

48 (12) HP

MSA2312

(96) 300GB

15k SAS

24TB 48TB

HP Proliant

DL 785 G6

(8) AMD Opteron Istanbul

six core 2.8 GHz

48 (12) EMC

AX4

(96) 300GB

15k FC

24TB 48TB

* Core-balanced compressed capacity based on 300GB 15k SAS not including hot spares and log drives. Assumes 25% (of raw disk space) allocated for tempdb. ** Represents storage array fully populated with 300GB15k SAS and use of 2.5:1 compression ratio. This includes the addition of one storage expansion tray per enclosure.

Scale out : Parallel Data Warehouse (доступность во 2 половине 2010 г)

• Масштабируемость от 10 до 100-тен TB

• Принцип Massively Parallel Processing (MPP)

• Выбор поставщика аппаратуры

• Стандартные серверы с невысокой стоимостью

• Глубокая интеграция с Microsoft BI

Parallel Data Warehouse - архитектура

Серверы БД

Du

al In

fin

iban

d

Управляющие узлы

Active / Passive

Серверы ETL

Резервный

укел

Узлы СХД

Запасной сервер БД

Du

al Fib

er

Ch

an

nel

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Серверы

мониторинга

Corporate Network Частная сеть

SQL

SQL

Client Drivers

Data Center

Monitoring

ETL Load Interface

Corporate Backup

Solution

Пример проекта : First Premier Bankcard

Существующее

хранилище

Hardware 16 CPU HP 8620 Itanium

Hitachi Storage 27TB Raw

SATA 21 LUNS

Software Windows 2003 SP2

SQLServer 2008

SSIS/SSRS

Data Warehouse 18 Terabytes

Star Schema

80 Fact Tables

500 + Dimensions

Трудности

Скорость загрузки

данных

Объемы данных

Скорость

обработки OLAP

Смешанные типы

нагрузки

Стоимость

владения (ТСО)

Параллельное

хранилище

Ускорение на 300%

30TB/160 Cores

Ускорение

запросов в 70 раз

Concurrency Mixed

Workload

Снижение ТСО на

50%

Технология StreamInsight

Платформа для анализа событий Complex Event Processing (CEP)

Аналитические результаты должны отражать изменения бизнеса и допускать реакцию на них с минимальной временной задержкой

СУБД Приложения, упр. событиями

(CEP)

Парадигма

запросов

Запросы выполнятся по

требованию

Запросы обрабатываются

непрерывно

Задержка Секунды, часы, дни Милисекунды или меньше

Пропускная

способность

Сотни записей/сек Десятки тысяч записей/сек или

больше

запрос

ответ

Событие

выходной

поток

входной

поток

Бизнес аналитка в режиме Online. Технология StreamInsight

Подсистема MSFT CEP

Справочные данные

ПРИЛОЖЕНИЕ

Вхо

дн

ые а

дап

тер

ы

ИСТОЧНИКИ СОБЫТИЙ

Устройства, датчики

Веб-серверы

Хранилища событий и базы данных

Биржевые телеграфные аппараты и каналы

новостей

Вы

ход

ны

е а

дап

тер

ы

ПРИЕМНИКИ СОБЫТИЙ

Хранилища событий и базы данных

Пейджеры и устройства мониторинга

Панели мониторинга KPI, интерфейс

SharePoint

Торговые посты

Демонстрация технологии StreamInsight

Сценарии использования StreamInsight

Архитектура решения Baltic Soft для телеком

операторов с использованием StreamInsight

Маршру-

тизатор

Было : типовое решение для

оператора на основе

Linux/MySQL

Тарификация 1 раз в минуту

100 тыс транзакций в минуту

Стало: Непрерывный поток

данных из маршрутизатора в

SQL Server 2008 R2

Учет потребленных услуг 1 раз в

секунду

1 млн. транзакций в минуту

Точный учет трафика на канале

в 40 Мб/с

Абонент

Сниженные требования к аппаратным ресурсам решения

Пятьдесят 2x-процессорных серверов для традиционной архитектуры

Два 4x-процессорных сервера с архитектурой StreamInsight

Управление нормативно-справочной информацией Master Data Services

Управление основными данными

СЛИЯНИЕ/СОПОСТАВЛЕНИЕ

УПРАВЛЕНИЕ ВЕРСИЯМИ

УТВЕРЖДЕНИЕ РАБОЧИХ ПРОЦЕССОВ

ПАРАМЕТРЫ РОЛЕВОГО ДОСТУПА

УПРАВЛЕНИЕ ИЕРАРХИЕЙ

CRM

Кадровые документы

ERP Управление активами

Приобретение БД

Пример управления НСИ в ГК «Роснано»

Потребители НСИИсточники НСИ

Домен

Портал

OIM

Почта

PowerPivot

Отчеты

НСИ

Система Управления НСИMaster Data Services

1СCRM

Роснано, НСИ

Администратор Бизнес подразделение

Централизованное управление серверами БД в организации

Тенденции

1990 2000 2010

Неиспользованные

вычислительные

мощности

Перегруженные

администраторы

Единая Точка Контроля

Utility Control Point (UCP)

Единая точка управления

Единая стратегия оценки,

распространения,

действия и анализа

производительности

Просто установить и

использовать

DBA

SQ

L02

SQ

L03

SQ

L04

SQ

L01

Управляемые

экземпляры

SQL сервера

SQ

L05

UCP

Демо – единая точка контроля (UCP), регулятор ресурсов (resource governor)

СУБД в Облаке как сервис: SQL Azure

• Доступность сервиса:

• Более чем в 40 странах мира

• в России пока не доступен: ждите новостей в течение года

• Преимущества перед «своим» SQL Server:

• нет оборудования и необходимости его поддержки

• «автоматическое» администрирование, отказоустойчивость

• масштабирование по запросу

• оплата по мере роста

• Что нужно иметь в виду:

• Размер облачной СУБД пока ограничен 50 Гб

• SQL Azure почти такой же как SQL Server 2008 R2, однако

некоторые свойства не поддерживаются (http://azure.com)

• Например , гео пространственные данные

• Переход на SQL Azure может означать маленький проект миграции

Особенности редакций R2 Standard Enterprise Datacenter

Оперативная

память

64GB RAM 2TB RAM OS Max

Поддержка

процессоров 4 до 8

>8

До 256 логических

Лицензирование

виртуализации 1 ВМ на лицензию 4 ВМ на лицензию Не ограничено

Поддержка

виртуализации Hyper-V Live Migration Hyper-V Live Migration Hyper-V Live Migration

OLTP

Управление

Сжатие резервных

копий

Управление до 25

экземплярами

Управление более 25

экземплярами

Новый

функционал

Расширение функций

службы отчетов (SSRS,

картография)

PowerPivot для SharePoint

Master Data Services

Сжатие в Unicode

PowerPivot для SharePoint

Master Data Services

Сжатие в Unicode

Stream Insight Базовый Базовый Расширенный

Лицензирование Server+CAL или

по процессорам

Server+CAL или

по процессорам

Только по процессорам

Ценность для бизнеса

SQL Server 2008 R2 обеспечивает прогнозируемый уровень

производительности при росте нагрузки на критически важные

приложения

Повышение эффективности управления за счет быстрой реакции

на изменяющиеся условия

Повышает эффективность обработки данных в организации

(качество данных) за счет унификации и централизованного

изменения данных.

Снижение расходов на ИТ- поддержку за счет использования

единого централизованного средства администрирования всех

СУБД в организации

Возможность снизить или исключить затраты на оборудование

при гарантированном времени отклика СУБД.

Спасибо за внимание! Вопросы …

http://technet.microsoft.com/ru-ru/sqlserver/default.aspx

http://www.microsoft.com/sqlserver/2008/ru/ru/default.aspx

http://www.microsoft.com/sqlserver/2008/en/us/white-papers.aspx

http://www.techdays.ru/