Upload
thiago-gonzaga
View
67
Download
2
Embed Size (px)
Citation preview
BIG DATASeus problemas estão apenas começando
Thiago GonzagaEngenheiro de Software - Aurea Software
Agenda• No principio era o verbo
• O que é Big Data?
• Estatísticas sobre Big Data
• Soluções para Big Data
• Oportunidades na Area de Big Data
Quién soy jo?• Bacharel em ciência da computação pela UNESP
• Desenvolvedor desde 2004, em Java desde 2007
• Evangelista Java, palestrante e entusiasta de tecnologias livres e Open Source.
• Coordenador de Eventos do Grupo de Usuários Java.
• Engenheiro de Software na Aurea
No princípio era o verbo…
Dados• “Informação” não processada
• Fatos
• Números
• Afirmações
• Sem significado
• Pode ser texto, video, imagem
Informação
• Conteúdo útil
• Relevante
• Possui significado
• Processo, estudo, ensaio a partir de dados
Falemos sobre Big Data
Você já deve ter ouvido falar:
“Big Data é a solução do seu problema…”
O MAIOR PROBLEMA DE TI DA ATUALIDADE
Vamos a lógica
Dados, dados, muitos dados
• Com o aumento de quantidade de dados
• aumenta custos de processamento, logo mais gastos em infraestrutura
• armazenamento de dados não é infinito, logo mais gastos com armazenamento e backup
• Grande volume de dados aumenta consumo de banda de entrada e saída, ou seja, mais gastos…
• tornar a informação disponível requer mais gastos
• Orçamento não é infinito e geralmente é bem curto
Gastos,
gastos…
… e mais gastos
Resumindo…
O que é big data?• Do inglês dado grande (literalmente)
• Quando você muitos dados
• uma porrada de dados
• uma caralhada de dados• ou seja…
• DADOS PRA CA!@#$%ˆ&*
Thiago não pode escrever isso no slide…
Então escreve ai:
“Big Data é um termo para descrever um problema onde o fluxo de entrada de dados é maior que a capacidade de
processa-los”
Vamos ver algumas estatísticas
Boeing 787 produz meio terabyte de dados por vôo
Fonte: http://www.computerworlduk.com/news/data/boeing-787s-create-half-terabyte-of-data-per-flight-says-virgin-atlantic-3433595/
Se há problema e demanda precisa de
uma solução
Solução para BigData
• Armazenamento
• Processamento
• Análise
Solução para BigData• Armazenamento:
• HDFS (Hadoop Distributed File System)
• Banco de dados não estruturado (não relacional)
• MongoDB
• Cassandra
• Neo4j
Solução para BigData• Processamento:
• Hadoop MapReduce
• Apache Lucene
• Solr
• Elasticsearch (especialmente pra texto)
Solução para BigData
• Análise de dados:
• Pentaho
• Kibana
• Graylog
Curiosidade: Hadoop, Lucene, Solr,
elasticsearch entre outras soluções Big Data
Pra onde eu vou• Engenheiro/Arquiteto de Informação
• Cientista de dados
• Analista de dados
• Designer de BI
• Analista de BI
• Arquiteto de Cloud
• Segurança da Informação
Leituras interessantes• Uma visão universal sobre dados:
http://www.emc.com/leadership/digital-universe
• Apache Hadoop: http://hadoop.apache.org/
• Apache Lucene: http://lucene.apache.org
• Apache Solr: http://lucene.apache.org/solr/
• elasticsearch: https://www.elastic.co/products/elasticsearch
• Kibana: https://www.elastic.co/products/kibana
• Graylog: https://www.graylog.org/
• Pentaho: http://www.pentaho.com/
• Panorama de Big Data no Brasil: https://www.ibm.com/developerworks/community/blogs/bigdata/entry/entrevista_com_cezar_taurion_o_estagio_atual_do_big_data_no_brasil
• Você realmente sabe o que é Big Data: https://www.ibm.com/developerworks/community/blogs/ctaurion/entry/voce_realmente_sabe_o_que_e_big_data
Projetos do Java Noroeste• Encontros regulares
• Incentivo a contribuição da comunidade (Programa de treinamento para futuros palestrantes) (call 4 papers: http://bit.ly/javanoroeste-call-for-papers)
• Slack (convite: javanoroeste-slack.herokuapp.com.br)
• Novo Logo (votação: bit.ly/pesquisa-logo-javanoroeste)
• Novo Site
• Banco de currículos
• Sistema de gerador de certificado
• Entre outros
Obrigado!!!
Thiago GonzagaEngenheiro de Software - Aurea Software @thiguetta