BIG DATA – UMA QUESTÃO URGENTE A SER ENFRENTADA PELAS EMPRESAS
Prof. Dr. Edson S. Gomi Escola Politécnica – Universidade de São Paulo FECOMERCIO – 19 de Maio de 2014
SUMÁRIO
¢ O que é Big Data? ¢ Exemplos ¢ Questões técnicas, éticas e legais
O QUE É BIG DATA?
¢ São conjuntos de dados; ¢ Grandes em quantidade (petabytes); ¢ Grandes em variedade (bancos de dados,
planilhas, documentos, páginas web, etc); ¢ Grandes em velocidade (tempo real:
supermercados, bancos, cartões de crédito, redes sociais, telefonia, etc);
¢ Grandes em complexidade de análise.
MAPEANDO O UNIVERSO
THE SLOAN DIGITAL SKY SURVEY
¢ http://www.sdss.org/ ¢ Dados obtidos durante 8 anos criaram mapas
tridimensionais contendo mais de 930.000 galáxias e mais de 120.000 quasares;
¢ O projeto usa um telescópio ótico de grande angular, de 2.5 m, localizado no Observatório Apache Point, no estado do Novo México, EUA;
¢ A cada noite, o telescópio gera cerca de 200 GB de dados ou mais de 70 TB de dados por ano.
NSA – NATIONAL SECURITY AGENCY
¢ “The NSA Is Building the Country’s Biggest Spy Center (Watch What You Say)”
¢ http://www.wired.com/2012/03/ff_nsadatacenter/all/1
¢ Bluffdale – Utah ¢ Armazenamento da ordem de exabytes.
http://en.wikipedia.org/wiki/Yottabyte
PULSE PROJECT (UNITED NATIONS)
¢ http://www.unglobalpulse.org ¢ Objetivo: investigar como as novas fontes de dados
digitais e tecnologias de análise em tempo real podem ajudar a criação de políticas públicas para o bem estar das pessoas, de forma a proteger melhor as populações contra crises sócio-econômicas;
¢ Utiliza dados de: � Conteúdo on-line (web, blogs, redes sociais, e-commerce) � Dados “anonimizados” de telecomunicações, mobile
banking, online search, trânsito, etc; � Sensores fisicos: imagens de satélite, video, tráfego, etc; � Crowdsourcing: online surveys, mapas gerados por
usuários.
GLOBAL PULSE
¢ “Orange will make 2.5B anonymized records of 5 million mobile phone users in Côte d'Ivoire available for analysis by research teams from around the world”
EBAY
¢ 90 PB datawarehouse, com dados das transações e do comportamento dos clientes;
¢ http://www.itnews.com.au/News/342615,inside-ebay8217s-90pb-data-warehouse.aspx
¢ 100 milhões de usuários, que geram 100 TB de dados por dia;
WIKIPEDIA
¢ 30 milhões de verbetes em 287 idiomas; ¢ 500 milhões de usuários únicos/mês; ¢ 18 bilhões de páginas visitadas/mês; ¢ Em 2013: US$45 milhões de contribuições; ¢ GNU Free Documentation License (GFDL);
QUESTÕES TÉCNICAS DO BIG DATA
¢ Captura; ¢ Armazenamento; ¢ Pesquisa/Busca; ¢ Compartilhamento; ¢ Transferência; ¢ Análise; ¢ Visualização ¢ Veracidade; ¢ Curadoria.
HOW COMPANIES LEARN YOUR SECRETS?
¢ The New York Times (19/02/2012) ¢ Target: Andrew Pole analisou os registros do
serviço de chá de bebê ¢ Início do 2o. trimestre: compra de loção neutro ¢ 20 semanas: compra de suplementos de cálcio,
magnésio e zinco ¢ Compra de sabonetes neutros, pacotes de
cotonetes e toalhas no final da gravidez ¢ Score de gravidez: 25 produtos ¢ Envio de cupons em estágios específicos da
gravidez
MAP: WHERE ARE THE GUN PERMITS IN YOUR NEIGHBORHOOD?
¢ The Journal News:http://archive.lohud.com/interactive/article/20121223/NEWS01/121221011/Map-Where-gun-permits-your-neighborhood- (22/12/2012)
QUESTÕES ÉTICAS E LEGAIS
¢ Mundo de sensores – tênis, carros, celulares, cartões de crédito : perfil das características e do comportamento dos indivíduos
¢ Dados como commodity : entregues para outros, utilizados fora do contexto, em novas aplicações
¢ Opacidade do armazenamento dos dados : onde estão guardados, quem tem acesso?
¢ Dados em larga escala e abrangência geográfica : milhões de pessoas, em locais com culturas diferentes.
OBRIGADO PELA ATENÇÃO!
CONTATO
Edson S. Gomi E-Mail: [email protected]