Upload
brasscom
View
191
Download
2
Embed Size (px)
Citation preview
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Big, Fast e Opendata Transformando dados em ouro
1
MSEE, Adriano Amaral [email protected] Big Data & Data Science
1
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
“Na era da Internet, nós não podemos confrontar os desafios do futuro, fazendo as coisas que fazíamos a 20 anos atrás”
Executivo do CaixaBank quando da implementação do “data pool” e
experiência do usuário laboratório
2
Inspiração
3
Não vim para explicar… mas sim pra confundir!
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4
Os alquimistas estão chegando….
O Alquimista…
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 6
Cidadãos Demanda de novos serviços
Governos e Empresas Adaptação para atender as necessidades
Slide, Arturo Muente-Kunigami
@n0wh3r3m4n
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 7
http://www.clickestudante.com/resultado-dos-protestos-pelo-brasil.html
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
As 3 Leis da Economia dos Dados
1. Dados advém da atividade;
2. Dados tendem a gerar mais dados;
3. Dados em plataformas, não isoladamente;
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. Oracle Confidential – Internal
Caminho dos dados!
0
20
40
60
80
100
120
140
2011 2012 2013 2014 2015 2016 2017
Milh
ares
Dados no SGBD 20%+
Dados fora do SGBD crescendo a taxas 40%+
IDC: Structured Versus Unstructured Data: The Balance of Power Continues to Shift. #247106. Table 1. Page 9
Fato: Hadoop mais usado para dados estruturados
10
E mais uma coisinha… pesquisas da TDWI e Gartner
indicam que Data Warehouses maduros, hoje, já
acomodam diversos dados não-estruturados ou semi-
estruturados!
Maior parte das aplicações em Hadoop são utilizando fontes de repositórios estruturados;
Muitos dados ditos como “não estruturados” em uso no Hadoop, na verdade são estruturados (ex.: web log analytics e analise de sentimento são tipicamente impusionados por JSON ou XML)
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Opendata Revolution Apenas começando!
11
http://www.economist.com/news/international/21678833-open-data-revolution-has-not-lived-up-expectations-it-only-getting?fsrc=scn/tw_ec/out_of_the_box
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Proximo www. Revolução 20 anos!
12
Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 13
dataLab 1.Design
2.Construção
3.Libere
4.Revise
Fonte: Adaptado Modelo Ágil
Dados
Cidadão/Cliente
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14
Inovação Aberta
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 15
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados em Valor Como extrair valor dos dados?
16
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 17
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 18
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 19
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Mais Valor… Visão G20
20
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Luta contra a corrupção… Muito além disso!
21
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados da Camara Proposição de retorno
22
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados da Educação Avaliação, acompanhamento das escolas públicas!
23
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Mexico ICMO Fraudes na Educação
24
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Prescrições Economia e desvios
25
http://www.economist.com/news/britain/21567980-how-scrutiny-freely-available-data-might-save-nhs-money-
beggar-thy-neighbour
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Triagem médica usando dados da saúde…
26
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Complicações cirúrgicas e monitoramento da qualidade dos serviços hospitalares, a partir dos Dados
27
Monitoramento de Estabelecimentos de Saúde
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Governança Caso Nigéria!
28
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Atacado Mercado de energia renovável!
29
https://piclo.uk
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Agua Dados em Agua
30
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Bigdata: Definição…
32
“Big Data é qualquer dado que é caro demais para gerenciar e extrair valor”
Michael Franklin
Thomas M. Siebel Professor of Computer Science
Director of the Algorithms, Machines and People Lab
University of Berkeley
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Dinâmico e Integral
Estático e Sistêmico
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Simplificado e Sêmantico
Modelagem e Complexidade
Orientado aos Dados
First Nat Bank of Philadelphia
Wachovia
Wells Fargo
Crocker National First Union
Norwest
Is owned by
Now known as
Now known as
Now known as Now known as
Core States
Now known as
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 35
MapReduce
No-SQL
Linked Data
Machine Learning
Real-time ingestion
} Maquina de Dados Processamento Grafo
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 36
Cadeia de Valor dos Dados
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
INTELIGÊNCIA
NECESSIDADE
Informação Dados
Decisões Insights Resultados
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 37
Compartilhando uma visão…
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados
Open Data
Big Data
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Company Confidential
Impacto de Eventos
Reservatório Dados
Fabrica de Dados
Repositório de Informações
Análise e Insights
Lab. Descoberta
Informação Ativa
Descobertas Continuas
Fluxo de Dados
Investigação
Descoberta
Saídas Descobertas
Eventos & Dados
38
Dados Conhecidos
Novos Dados
Motor Decisão
Investigação
Gestão
Governança e Controle dos Casos
Segurança dos Dados e Casos
Opendata
Inovação Rapida
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal
Descoberta dos Dados, não modelagem Virando a mesa, e criando inovação!
Aquisição
Aquisição dos dados baseados em parâmetros
investigativos pré-definidos e dinâmicos
Busca
Identificação dos dados mais
relevantes no contexto
investigativo e fácil acesso aos
mesmos
Entendimento
Enquadramento dos dados baseado em sua significância e
valor das informações contidas,
entendimento dos relacionamentos
Ajustes
Ferramentas para higienização e
enriquecimento dos dados de maneira ágil e
dinamica
Análise
Constatações e validações de
hipóteses investigativas e formulação de
novas hipóteses, primeiros resultados
Colaboração
Publicar os casos de investigação a
revisão de outros agentes e analistas,
feedback de procuradores e jurisprudências
Descoberta
Desvelar elementos
ocultos e novos no processo investigativo fomentando
novas fontes e insights
39
Tempo
Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 40
Big data vivo …. O Hadoop Visual e Fácil
Explore
Transforme Descubra
Encontre