Datawarehouses Distribuidos

Datawarehouses Distribuidos

Por: Alisandro MontoyaAlejandro ChacónDarwin Martínez

Agenda

• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD o DW local/globalo DWD tecnológicamenteo DWD evolucionan

independientemente • Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

· Sistema de Información:

Componentes interrelacionados que colaboran para reunir, procesar, almacenar y distribuir información que apoya la toma de decisiones, la coordinación, el control, el análisis y la visualización en una organización.

Proporcionar la información necesaria a la persona adecuada en el momento oportuno

La información reduce nuestra incertidumbre (sobre algún aspecto de la realidad) y, por tanto, nos permite tomar mejores decisiones

Definición de S.I

• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda

Proceso transaccional (OLTP)

(ON-LINE TRANSACTIONAL PROCESSING )

Proceso analítico (OLAP)

(ON-LINE ANALYTICAL PROCESSING )

Orientado hacia las operaciones diarias

Orientado hacia el negocio

Surgen las BD

Surgen los Almacenes deDatos (DW)

Finalidad de los S.IAgenda


Sistemas de Procesamiento de transacciones en línea (OLTP): Aplicaciones que ejecutan operaciones del día a día (compras, inventario, nominas …) Define el comportamiento habitual de un entorno operacional de gestión: Consultas rápidas y escuetas Poco volumen de información Transacciones rápidas Gran nivel de concurrencia

Sistemas de Procesamiento analítico en línea (OLAP): Aplicaciones que se encargan de analizar el negocio, interpretar lo que ha ocurrido y tomar decisiones ( para mejorar los servicios al cliente, incrementar ventas, ... ) Define el comportamiento de un sistema de análisis de datos y elaboración de información: Sólo Consulta Consultas pesadas y no predecibles Gran volumen de información histórica Operaciones lentas

OLTP vs OLAPAgenda


Almacén de Datos (Data Warehouse)

disponer de Sistemas de Información de apoyo a la toma de decisiones

disponer de bases de datos que permitan extraer conocimiento de la información histórica almacenada en la organización

motivación

análisis de la organización

previsiones de evolución

diseño de estrategias

objetivos

Introducción a los DWAgenda


“Conjunto de datos integrados orientados a materia que varían con el tiempo y que no son transitorios, los cuales soportan el proceso de toma de decisiones de una administración.“ [Inmon]

Definición y característicasde los DW

Características

orientada hacia la información relevante de la organización

integrada variable en el tiempo

no volátil

Agenda


Características de los DW

Orientado hacia la información relevante de la organización

se diseña para consultar eficientemente información relativa a las actividades (ventas, compras, producción, ...) básicas de la organización, no para soportar los procesos que se realizan en ella (gestión de pedidos, facturación, etc).

Información Necesaria

Base de Datos Transaccional

PRODUCTO...

GAMA...

VENTA...

PAÍS...CURSO

...

REUNION...

Agenda


Base de Datos Transaccional 1

Fuente de Datos 1

Fuentes ExternasFuentes

Internas

Fuente de Datos 2

Fuente de Datos 3

HTML

Almacén de Datos

texto

Base de Datos Transaccional 2

Integradointegra datos recogidos de diferentes sistemas operacionales de la organización (y/o fuentes externas).

Características de los DWAgenda


READ

Carga

INSERT READ

UPDATE

DELETE

Bases de datos operacionales Almacén de Datos

No volátil los datos almacenados no son actualizados, sólo son incrementados.

El periodo de tiempo cubierto por un AD varía entre 2 y 10 años.

Características de los DWAgenda


Características de los DW

Los datos son almacenados como fotos (snapshots) correspondientes a periodos de tiempo.

DatosTiempo

01/2003

02/2003

03/2003

Datos de Enero

Datos de Febrero

Datos de Marzo

Variable en el tiempo

los datos son relativos a un periodo de tiempo y deben ser incrementados periódicamente.

Agenda


Reunir y Consolidar las bases de datos diferentes que se mantienen en los diferentes departamentos o áreas funcionales de la empresa.

Soportar Necesidades Cambiantes de Negocio Mejorar la Productividad de las Empresas. Asegurar Calidad y Eficiencia en las Decisiones que se toman

dentro de las Organizaciones. Un Acceso Fácil y Flexible a la Información.

¿Por qué usar un Data Warehouse ?

Para planear mejor y más rápido las conductas y actividades a seguir.

Ayuda a la alta dirección de la organización a comprender el valor de la información recogida, mejorando la toma de decisiones.

Objetivos de un DWAgenda


BD Almacén de Datos

Actualizaciones mayoritariamente Consultas principalmente

Miles de usuarios (ej usuariosadministrativos)

Muchas transacciones pequeñas Consultas largas y complejas

Mb - Gb de información Gb - Tb de información

Instantáneas actuales Historia

Cientos de usuarios (ej usuarios

que toman decisiones)

BD vs DWAgenda


BD vs DWUso de Base de Datos Operacionales

Uso deData Warehouse

Muchos usuarios concurrentes Pocos usuarios concurrentes

Consultas predefinidas y actualizables

Consultas complejas, frecuentementeno anticipadas.

Cantidades pequeñas de datos detallados

Cantidades grandes de datos detallados

Requerimientos de respuesta inmediata

Requerimientos de respuesta no críticos

Agenda


La Arquitectura de un DW viene determinada por su situación central como fuente de información para las herramientas de análisis.

Base de Datos Transaccional

Fuentes Internas

Fuentes Externas

Fuente de Datos

Fuente de Datos 3HTML

Fuente de Datos 1

texto

Almacén de Datos

ETL Interfaz y Operadores

Herramientas de consultas e informes

Herramientas EIS

Herramientas OLAP

Herramientas de Minería de Datos

Copias de Seguridad

Arquitectura de un DWAgenda


Muchas organizaciones construyen y mantienen un solo datawarehouse centralizado, lo cual tiene mucho sentido cuando:

Los datos en el datawarehouse están integrados a lo largo de toda la corporación y una vista integral/central es utilizada solamente en la matriz/headquarters. La organización opera en un modelo de negocio centralizado. El volumen de datos en el datawarehouse es tal, que un repositorio central tiene sentido. Si los datos están dispersos y se tratara de generar un reporte accediendo a todos los repositorios, puede ser demasiado lento el acceso.En otros casos, lo más adecuado seria un DW distribuido.

Razones de usar un DW centralizadoAgenda


DW DistribuidosAgenda


¿Cuándo podemos implementar un Data Warehouse Distribuido?

Para entender cuando es necesario un datawarehouse distribuido, consideraremos algunas topologías básicas de procesamiento, aquí se presenta una muy común topología de procesamiento en las empresas

La mayor parte del procesamiento se realiza en la central. En el nivel local o geográficamente distribuido solo se realizan operaciones básicas, En este tipo de topología no es necesario un datawarehouse distribuido.

AgendaDW Distribuidos


Agenda

En este escenario muchas operaciones básicas suceden en el nivel local. Y una vez que la transacción ha sido capturada, esta es enviada a la central para un mayor procesamiento.

Desde el punto de vista de la organización localmente no ocurre gran cantidad de transacciones y las decisiones que se puedan tomar no justifican un datawarehouse distribuido.

Topología de bajo procesamiento a nivel local

Topologías • Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Topologías

En este caso gran cantidad del procesamiento de las transacciones diarias se realizan localmente (ventas, pago de facturas, recolección de dinero, etc.). Tan rápido como el procesamiento operacional es delegado al nivel local estos pasan a ser autónomos. Ya que pocas veces y para cierto tipo de operaciones estos envían data y actividades a la central para que sea procesada. Para este tipo de organización un data warehouse distribuido tiene sentido.


Agenda

Topología de alto procesamiento a nivel local

Tipos de DW Distribuidos

Los tres tipos de data warehouses distribuidos son los siguientes:

El Data Warehouse Local/Global.

Data Warehouse distribuidos tecnológicamente.

Data Warehouse distribuido que evoluciona independientemente.


Agenda

DW Local/GlobalData Warehouse Local

Es una forma de data warehouse, se dice que es local, porque contiene datos que solo interesan a ese nivel.

Su alcance es local, y no existe coordinación de datos, ni estructuras de datos de un DW a otro.

• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWDo DW Loca/Global • Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda

Data Warehouse Local

DW Local/Global• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWDo DW Loca/Global • Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda

Data Warehouse Global

El alcance de un DW Global es la corporación o la empresa, mientras que cada DW local solo tiene alcance a la localidad donde está ubicado.


Agenda


El alcance de un DW Global es el negocio que es integrado a través de la corporación.

Un DW global contiene datos históricos, como lo hacen también los DW locales. Pero las fuentes de datos del DW local son sus sistemas operacionales y las de un DW global son los DW locales o en algunos casos la actualización directa en el DW global.


Agenda


El DW Global contiene información que debe ser integrada en el nivel corporativo. En muchos casos, esto consiste solo en información financiera. En otros casos, significa integración de información de los clientes, productos, etc.

Mientras una considerable cantidad de información sólo es de interés en el nivel local, otra parte de la información común debe ser compartida y manejada corporativamente. Los DW Globales contienen este tipo de datos para manejarlos globalmente


Agenda

Comunicación entre los Data Warehouse Locales

Cada DW local tiene sus propias estructuras y datos.

Mucha de la información contenida en cada una de ellos no es de interés para los otros.

Cada intersección o parecido entre los datos de un DW local y otro es pura coincidencia.

No hay coordinación de los datos.


Agenda



Agenda


Sin embargo, es razonable asumir que una corporación tendrá al menos una intersección natural de los datos de un local a otro.Si existen muchas intersecciones, lo mejor es contenerlas en el DW global.


Agenda



Agenda

Intercepción entre Data Warehouses Locales y Globales

Mapeo de Datos

Es una de las actividades más importantes dentro del ambiente de un data warehouse distribuido, y se realiza desde los sistemas operacionales locales a las estructuras de los DW globales.


Agenda

Intercepción entre Data Warehouses Locales y Globales

Mapeo de Datos

Este mapeo es diferente para cada sistema operacional local y determina que data debe ir al DW global, la estructura y las conversiones necesarias.

Sin embargo se muestra que para algunos tipos de datos existen estructuras comunes en el DW global. Esto se debe a que los DW globales son diseñados y definidos centralmente, basados en la definición común de la data corporativa, pero el mapeo existente en los sistemas operacionales locales son una decisión del desarrollador local.


Agenda DW Local/Global

Variación en la estructura de un DW Local / Global

Esta estructura consiste en colocar un DW global ó staging area en el nivel local, encargado de presentar datos globales y con quien se comunicará el DW local antes de que los datos sean pasados a la central.


Agenda

Variación en la estructura de un DW Local / Global


Agenda

Redundancia

Se tiene como política que solo se tiene el mínimo nivel de redundancia entre los niveles locales y globales de datos

Una gran cantidad de redundancia de datos entre los ambientes warehouse local y global indica que los enlaces entre los diferentes DW no ha sido definida apropiadamente


Agenda

Redundancia


Agenda

Acceso a la data global y local

Dependiendo de la data que se esté solicitando puede ser o no apropiado el uso del contenido del DW

Si el análisis local es para mejorar el negocio local, el acceso a la data global del nivel local es probablemente una buena política.

Si la data global esta siendo usada a manera de información en bases a “one-time-only” para mejorar las prácticas de negocio locales, el acceso a la data global desde el nivel local es aceptable.

En un principio, la data local debe ser usada localmente y la data global, globalmente


AgendaDW Local/Global

Acceso a la data global y local• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWDo DW Loca/Global • Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

AgendaDW Local/Global

DW distribuido tecnológicamente

DWD Tecnológicamente • Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWDo DWD Tecnológicamente • Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda


Ventajas

El costo de entrada es más económico.

No hay restricciones teóricas para la cantidad de data que se puede colocar en un DW.


Agenda


Desventajas

Comienza a aparecer tráfico en la red Cuando se solapan peticiones de data de un procesador a

otro. Cuando una gran cantidad de datos necesita ser

transportada desde un solo procesador.

A medida que pasa el tiempo, los servidores, la data y su procesamiento son más difíciles de manejar.


Agenda

• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWDoDWD evolucionan Independiente • Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda

DWD EvolucionanIndependientemente

En poco tiempo, la arquitectura del DW ya tenía que manejar y coordinar múltiples esfuerzos en conjunto con la organización

Esfuerzo de desarrolloNaturaleza del esfuerzo de desarrollo

Primer caso

Segundo caso

Tercer caso

Cuarto caso

Diferentes DW para cada línea de negocio sin ninguna integración

Mismo DW pero en partes distribuidas

Mismo DW pero con diferentes niveles de datos

Partes centralizadas diferentes del nivel de detalle del DW


Agenda

DW AisladosDW completamente aislados

No hay integración de ningún tipo entre las líneas de negocio

Franquicia de comida

rápida

Fabrica de acero

Banca minorista

Gestión de campos de

golf


Agenda

DW completamente aislados

DW financiero que se alimenta de una serie de DW locales

DW Aislados• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda

A diferencia de los almacenes de datos completamente aislados, la mayoría de los negocios mantienen algún grado de integración entre sus diferentes negocios ubicados en diferentes ubicaciones geográficas.

Por ejemplo: Un negocio esta establecido en Estados Unidos, Sudamérica, Lejano Oriente y África y cada uno posee un DW.

Desarrollo de DWD• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Conclusiones

Agenda

Cada DW posee sus datos y no hay intersección de los datos porque cada sucursal maneja sus propias transacciones.

Problema: La compañía desea crear un data warehouse, teniendo como base los data warehouse locales; esto como un primer paso para desarrollar una arquitectura de almacén de datos para toda la compañía.

El primer paso para lograr esto consiste en crear los DW locales.


Desarrollo de DWDAgenda

Modelo Distribuido de Datos Corporativos

Refleja la integración del negocio a nivel corporativo.

Lógicamente, el modelo se intercepta con los modelos locales.

Debe determinarse la necesidad global de datos y la capacidad local de proveerlos.

Los datos que van hacia el Almacén de Datos Corporativo puede llegar desde los Almacenes Locales o desde los sistemas operacionales.


Agenda

El diseño es muy similar al de los Almacenes de Datos completamente aislados.La diferencia es que el Modelo Distribuido de Datos Corporativos el diseño e implementación es similar en todos los Almacenes de Datos.


Modelo Distribuido de Datos CorporativosAgenda

Permiten la coordinación de la estructura en que se encuentran los datos a través de las diferentes ubicaciones donde se encuentran los data warehouse locales.

Aseguran la uniformidad y consistencia de los datos.

Meta datos en DWD• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Tendencias y ejemplos• Conclusiones

Agenda

Puede ocurrir cuando diferentes grupos de desarrollo se encuentran desarrollando diferentes niveles del data warehouse.

Por ejemplo: El Grupo A construye el nivel más alto de resumen de los datos. El Grupo B construye el nivel medio de resumen y el Grupo C el nivel mas bajo de detalle.

Construcción DW múltiples niveles

• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Tendencias y ejemplos• Conclusiones

Agenda

El arquitecto del DW debe coordinar los esfuerzos a través de los diferentes grupos de desarrollo.

Debe coordinarse tanto la especificación del contenido, así como los cronogramas de desarrollo. Por ejemplo: el grupo A esta más adelantado que los grupos B y C. Cuando el grupo A este listo para llenar sus bases de datos a nivel de resumen, es posible que no existan datos en los niveles de detalle para trabajar.

Debe coordinar los problemas surgidos de mantener un Datawarehouse bajo múltiples plataformas. Este punto trata acerca de los costos y las aplicaciones disponibles.

Conectividad.

• Definición de S.I • OLTP vs OLAP• Datawarehouses• DW Distribuidos• Tipos de DWD• Esfuerzo de desarrollo• DW Aislados• Desarrollo de DWD• Construcción de DWD• Tendencias y ejemplos• Conclusiones

Construcción DW múltiples nivelesAgenda

Puede suceder que múltiples grupos trabajen sobre el mismo nivel de detalle en un data warehouse no distribuido.

Múltiples Grupos mismo nivel

No existen problemas si los grupos de desarrollo trabajan sobre conjuntos de datos mutuamente exclusivos. Además, existen menos problemas si los grupos trabajan sobre plataformas similares. Es muy raro que sucedan ambas cosas.Altos costos de almacenamiento y procesamiento.


Agenda

Los volúmenes de datos pueden ser tales que la redundancia puede ser cuestionada. Entonces es necesario crear un modelo de datos que refleje el detalle de los datos comunes.


Múltiples Grupos mismo nivelAgenda

Una estrategia consiste en utilizar diferentes plataformas para los diferentes datos encontrados en el nivel de detalle. Por ejemplo: los datos locales en una plataforma, los datos comunes en otra plataforma y otro tipo de datos locales sobre otra plataforma.

Esta opción satisface las necesidades de la organización y cada grupo posee el control de sus necesidades.

Deben adquirirse múltiples plataformas y debe darse soporte y adiestramiento sobre cada una.

Las fronteras entre las tecnologías muchas veces no son fáciles de cruzar.

Otra forma de almacenar datos detallados


Agenda


Otra forma de almacenar datos detalladosAgenda

Existe software que permite cruzar las fronteras entre diferentes plataformas.

Si la cantidad de datos a transmitir es pequeña, es posible que no ocurran problemas de rendimiento.

Si la cantidad de datos es muy grande, el software puede convertirse en un cuello de botella y afectar el rendimiento.

No es posible conocer cuantos datos serán obtenidos por un único request.

Otro problema al pasar los datos consiste en crear redundancia a nivel de datos detallados en varias partes del datawarehouse, lo cual no es aceptado.


Otra forma de almacenar datos detalladosAgenda

Múltiples plataformasnivel de detalle de los datos

Aunque es una opción, no es la mejor.

Los volúmenes de datos presentan sus propios problemas de administración.

Problema al cruzar entre tecnologías.

Con esto se puede resolver necesidades y políticas de la organización.


Agenda

ConclusionesMuchos ambientes operan en un data warehouse centralizado. Pero en muchas circunstancias se hace necesario un DW distribuido. Los 3 tipos de DWD son:

DW que sirven un negocio global donde existen operaciones locales y una operación central. DW tecnológicamente distribuidos donde el volumen de datos está extendido en múltiples volúmenes físicos. DW que han crecido separadamente debido a la falta de organización dentro de la empresa.

La coordinación y administración de un DW distribuido es mucho más compleja que la de un solo DW. Existen muchos asuntos relacionados al transporte de la data desde el ambiente local al global que deben ser tomados en cuenta, como el tipo de redes a ser usadas, entre otros.


Agenda

PREGUNTAS…

Gracias por su atención,No dejen de revisar la información en nuestro blog:

http://tareadesmbdd.wordpress.com/


Agenda

http://tareadesmbdd.wordpress.com/

Datawarehouses Distribuidos

Text of Datawarehouses Distribuidos

Sistemas Distribuidos I Conceptos de Sistemas Distribuidos y Arquitectura

Sistemas Distribuidos - laurel.datsi.fi.upm.eslaurel.datsi.fi.upm.es/_media/docencia/asignaturas/sd/sd_sincro... · Sistemas Distribuidos 2 Sincronización en Sistemas Distribuidos

Oracle · DW architecture Banking data model Case study : typical functionality Oracle’s DW technology Competitive landscape. Datawarehouses Definition. Datawarehouses One of the

Sistema Distribuidos

Sistemas Operativos Distribuidos · Sistemas Operativos Distribuidos 2 Sistemas Operativos Distribuidos Arquitecturas Distribuidas •Sistema Fernando Pérez Costoya José María

Archivos Distribuidos

Procesos distribuidos Diseño de sistemas distribuidos Caso

Sesion8_sistemas distribuidos

sistemas distribuidos

08 - DW - Modelagem Dimensional para Datawarehouses

Mejorando la forma de construir datawarehouses usando Microsoft SQL Server 2008 Integration Services

Sistemas Distribuidos Sistemas Operativos Distribuidos

Automatizando la generación de Datawarehouses a través de metadatos

Sistemas Operativos Distribuidos Sistemas de ficheros distribuidos

SISTEMAS DISTRIBUIDOS DE TIEMPO REAL “ SISTEMAS DISTRIBUIDOS DE TIEMPO REAL ” Sistemas Distribuidos

Sistemas Distribuidos

Sistemas operativos distribuidos y sistemas distribuidos

Documents

Datawarehouses Distribuidos

Text of Datawarehouses Distribuidos