Zolotarev 1 telco_future_keynote

1 © Copyright 2012 EMC Corporation. All rights reserved.

Большие Данные Многие в них уже поверили,

но пока лишь немногие на них зарабатывают....

Сергей Золотарев Руководитель направления

Большие Данные ЕМС


Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.

В 2000 ГОДУ ВО ВСЁМ МИРЕ СОЗДАЁТСЯ

ДВА ЭКЗАБАЙТА НОВЫХ ДАННЫХ


В 2000 ГОДУ ВО ВСЁМ МИРЕ СОЗДАЁТСЯ

ДВА ЭКЗАБАЙТОВ

НОВЫХ ДАННЫХ В ДЕНЬ

Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.


Новый бизнес на Больших Данных

290,000,000 Обновлений / День

250,000,000 Новых фото / День

1,000,000,000 Запросов / День

4,000,000 Обращений / День

2,800,000,000 Сделок / День

31,000,000,000 Итерраций / День


Лидеры рынка первыми начинают и выигрывают….

http://www.t-mobile.com/

http://3.bp.blogspot.com/_0uHWT61vkUY/S85WCMJOwSI/AAAAAAAAAJE/VRsqnONf-xk/s1600/Boeing+Logo.jpg

http://www.moodys.com/

http://www.tcsbank.ru/


Типовые бизнес-задачи в телекоме для решения которых используются Большие Данные

Клиентская аналитика Target marketing\churn\campaign management\loyalty programs etc.

Отчетность и статистика

Противодействие мошенничеству

Оптимизация настроек оборудования


Телеком: Снижение оттока абонентов

Моделирование поведения

абонентов осуществляется на

основе математической теории

и практики анализа социальных

сетей


American Express выбирает Hadoop

• Формирование профиля клиента на базе информации о платежах • Повышение лояльности клиентов за программ поощрения • Расширение методов борьбы с мошенничеством

Бизнесс-задачи:

Выбор : После 6 месяцев тестирования открытых и коммерческих релизов

в финал вышли Cloudera и Greenplum MR

Причины:

Поддержка корпоративного уровня Отказоустойчивость платформы Скорость обработки в 2 раза выше

2PB


Банк «Тинькофф Кредитные Системы»

Проект: Онлайн Банк (Аналитика в реальном времени на растущих объёмах данных)

Производительность задач повысилась в среднем в 11 раз

Экономичное по стоимости линейное масштабирование серверных мощностей

Создание инфраструктуры, работоспособность которой не зависит от типов данных, их объема и темпов роста

Переход к обновлению данных в режиме онлайн в хранилище и аналитических витринах

Полный спектр аналитических решений для работы со сверхбольшими объемами данных, как структурированных, так и неструктурированных


Медицина:распространение диабета в США


Энергетика: «Умные электросети»

Предотвращение веерных отключений электроэнергии

Нужно знать, каким будет потребление электроэнергии завтра… и на следующей неделе… и в следующем месяце.


«Умные сети» и EMC Greenplum

Сетевое межсоединение

... ...

... ... Мастер - серверы

Планирование запросов и координация

Сегментные серверы

Обработка запросов и хранение данных

Массово-параллельная архитектура без разделения ресурсов


Обслуживание на основе контроля состояния Причинно-следственный анализ происшествий

Причинно-следственный анализ происшествий позволяет «перемотать

назад» время и восстановить контекст на момент события

«Перемотка назад» позволяет визуализировать удары молний, явившиеся причиной деградации

оборудования.


Визуализация c наложением на обслуживаемую

территорию

50 датчиков показывают напряжение

ниже минимального

уровня. Найдено

исключительно через

Greenplum


Фильтрация

Анонимизация

обогащение

Преобразование

Проверка

Загрузка

Прогноз

Клиентская аналитика

Анализ рисков

Обнаружение мошенничества

Клиентские впечатления

CHURN

Бизнес-правила

Сложные события

(CEP)

Триггеры

Актуальные данные

Сохранение

Предикативная

аналитика

Исторические

данные

Внутренние источники

•CRM

• ABS

• Billing •…

Внешние источники

•Facebook

•Twitter

•Weather

•Google •…

Сеть оператора

IT системы

(1) Загрузка в реальном времени

(2) Аналитика реального времени

(3) Действия в реальном времени

Платформа

EMC G²

Аналитические приложения

Универсальная Аналитическая Платформа Pivotal


Как работает Pivotal

1

Внешние таблицы

Внешние таблицы

В реальном времени

Глубокая аналитика

В реальном времени

Загрузка данных

Пакетная

Неструктурированные данные, архив

По архиву

Аналитика


Архитектура shared-nothing на которой построена Greenplum линейно масштабируема

• Т.е. мы можем вдвое увеличить количество узлов, и вдвое же увеличить скорость работы запросов

• Так же мы можем вдвое увеличить емкость системы, просто удвоив количество узлов, при этом оставляя скорость обработки все такой же быстрой…

• Все это благодаря тому что мы масштабируем одновременно вычислительную мощность, объем и скорость вввода-вывода

• При этом система работает на недорогом X86 оборудовании

Segment Segment Segment Segment Segment

…

МПП архитектура


Почему нас выбирают клиенты

Высочайшая скорость загрузки и выполнения запросов

Линейная многократная масштабируемость

Интеграция c инструментами ETL,BI и аналитики

Наличие отработанных методик и инструментов миграции с традиционных платформ и СУБД

Универсальная платформа обработки всех

типов данных и запросов

Адекватные и предсказуемые затраты на

построение и развитие системы

Documents

Zolotarev 1 telco_future_keynote