Big Data as Service

diciembre 2010

Big data

Architectures and Practical use casesjuantomas@aspgems.com

@juantomas

Data Everywhere

Big DataBig data es el análisis de la información para identificar tendencias, patrones y

conocimientos que nos permitan tomar mejores decisiones de negocio

La oportunidadLas nuevas tecnologías para el tratamiento de datos hacen posible gestionar y analizar todos los datos disponiblesen su forma nativa:

no estructurada

estructurada

streaming

Impacto en el negocioAgilidad Operativa

Analizar todos los datos operativos disponibles, reaccionar en tiempo real y optimizar los procesos.

Conocer todo acerca de nuestros cliente Analizar todas las fuentes de datos para conocer a nuestros clientes y personalizar la oferta de productos y servicios de las interacciones de canal, a los medios de comunicación social.

Prevención del Fraude y Riesgo Desarrollar mejores modelos de fraude / riesgo mediante el análisis de todos los datos disponibles, y detectar el fraude en tiempo real con el análisis de las transacciones de streaming.

Impulsar y escalar la innovación Captura todas las fuentes de datos retroalimentación y análisis de grandes cantidades de datos para el desarrollo de nuevos productos y servicios.

ASP Value addDescubrimiento, visualización y navegación de datos.

Analisis Agil de los datos para mejorar la visión de negocio e identificar nuevas oportunidades.

Analisis en streaming de los datos para la toma de decisones en tiempo real.

Soluciones ágiles en base a tecnologías abiertas

Analisis ÀgilNecesidad del cliente

Ingerir datos tal y como son en Hadoop y obtener una visión de ella Proceso de grandes volúmenes de datos diversos dentro de Hadoop Combinar conocimientos con el almacén de datos Analis nálisis ad-hoc para probar nuevas hipótesis

Proposición de Valor Adquirir nuevos conocimientos a partir de una variedad y combinación de fuentes de datos Superar el costo prohibitivo de la conversión fuentes de datos no estructurados a un formato estructurado Extender el valor del almacén de datos mediante la incorporación de nuevos tipos de datos y la conducción de nuevos tipos de análisis Experimentar con el análisis de diferentes combinaciones de datos para modificar los modelos analíticos en el almacén de datos

Ejemplos de clientes Oferta personalizada de servicos financieros en Monty

Streaming de datosNecesidad del cliente

Captura y proceso de datos en tiempo real, selección y agregación de información valiosa de negocio para su posterior procesamiento Proceso y analice de los datos perecederos, para la toma las decisiones oportunas.

Proposición de Valor Se ha reducido significativamente el tiempo de procesamiento y costo - proceso y luego almacenar lo que es valioso Reaccionar en tiempo real para capturar oportunidades antes de que caduquen

Ejemplos de clientes Pedro Sanz - Generación automatica de oferttas personalizadas para captar y retener los clientes.

Descubrimiento y Navegación

Necesidad del cliente Comprender las fuentes de datos existentes Exponer los datos dentro existente sistemas de archivos de gestión de contenidos y para nuevos usos, sin copiar el datos a una ubicación central Buscar y navegar por grandes datos de orígenes multicana

Proposición de Valor Póngase en marcha rápidamente ydescubrir y recuperar grandes datos relevantes Utilizar fuentes de datos grandes en nuevo aplicaciones centradas en la información

Ejemplos de clientes Telefonica MSS SAQQRA - Generacíon de una vista 360 ° de las amenazas y vulnerabilidades de seguridad de sus clientes

Soluciones Àgiles

Necesidad del cliente Comprender las fuentes de datos existentes Exponer los datos dentro existente sistemas de archivos de gestión de contenidos y para nuevos usos, sin copiar el datos a una ubicación central Buscar y navegar por grandes datos de orígenes multicana

Proposición de Valor Póngase en marcha rápidamente y descubrir y recuperar grandes datos relevantes Utilizar fuentes de datos grandes en nuevo aplicaciones centradas en la información

Ejemplos de clientes Telefonica MSS SAQQRA - Generación de una vista 360 ° de las amenazas y vulnerabilidades de seguridad de sus clientes

Es el momento

¿Preparado?

1. Define your Goals

Proceso tradicional

Convergencia de datosDivergencia analítica

DescubreRecopila

FiltraIntegra Aumenta

AnalizaActúa

3-6 meses 2 meses 2-4 meses

Proceso ágil

Convergencia de datosDivergencia analítica

DescubreRecopila

FiltraIntegra Aumenta

AnalizaActúa

3-6 meses 2 meses 2-4 meses

MPV, con un simple modelo de frecuencia

Mide el uso actual y sus beneficios

Aprende y evoluciona hacia una mejor comprensión

80/20

Un ejemplo

¿Qué características tienen los clientes que nos están dejando?

¿Qué comportamientos de compra tienen

los clientes que se están yendo?

¿Cómo podemos retener a clientes de alto valor que

están a punto de abandonarnos?

¿Qué están diciendo los clientes que están a punto de irse en las RRSS?

¿Podemos determinar el sentimiento denuestros clientes antes de irse?¿Podemos determinar el sentimiento de

nuestros clientes antes de irse?

¿Podemos determinar el sentimiento denuestros clientes antes de irse?

¿Qué secuencia de eventos parece que es la anima a nuestros clientes

a quedarse?

¿Qué secuencia de eventos parece que es la anima a nuestros clientes

a quedarse?

Escalando la solución

Nuestra arquitectura de referencia

Arquitectura Lambda

Arquitectura Lambda

Batch-Hadoop (MR1)

Batc-MapReduce

Batch-Cascading

Batch-Spark

Batch-MPP database

Velocidad

Batch

Speed

Serving Query

query = function(all data)

All Data

Velocidad. Storm

Servicio.

Batch

Speed

Serving Query

query = function(all data)

All Data

Pull-based Batch Loads

EnterpriseData Models

Complex ETL Logic

Poorly Suited to Non-Relational Data

El diseño emergente es difícil

Arquitecturas convencionales

Drive Towards in memory Processing

https://www.tele-task.de/archive/lecture/overview/5721/

In memory Computing

https://www.tele-task.de/archive/lecture/overview/5721/

https://www.tele-task.de/archive/lecture/overview/5721/

Apache Spark

Data Structures

Algorithmshttps://www.flickr.com/photos/herrolsen/7645876896/

Raw Data Data Structure Algorithm Insight

Estructura

Traditional Data Flow

Streaming Data Flow

aspgems.com@aspgems

Gracias