Upload
media-education
View
470
Download
0
Embed Size (px)
DESCRIPTION
Novo termo para uma prática já consolidada? O que há de realmente diferente e inovador em big data? Os dados das mídias sociais podem ser minerados e cruzados com bancos de dados para enriquecer a informação das empresas. Velocidade, Volume e Variedade de dados já são abundantes nas mídias sociais: mas como gerar informação com Veracidade e Valor em tempos de automatização? Por Gustavo Arjones - Socialmetrix
Citation preview
Big Data: em busca da veracidade e valorSocial Analytics Summit
Gustavo [email protected] | @arjones
23 Novembro 2013
• NERD
• Data Lover, Curioso
• Ciências da Computação
• MBA em Marketing
• CTO & Co-founder da Socialmetrix (2008) • Brasil, Argentina e México
Caixinha de sugestões: @arjones
Gustavo Arjones
@socialmetrix | @arjones
Big Data: em busca da veracidade e valor
… como sexo na adolescência:
• Todo mundo fala sobre isso;
• Ninguém entende realmente como fazer;
• Todo mundo pensa que os demais estão fazendo;
• Então todos dizem que também estão fazendo!
Big Data é …
Big Data: em busca da veracidade e valor
http://smx.io/bigteen@socialmetrix | @arjones
Conjunto de técnicas e ferramentas para capturar,
filtrar, consolidar e visualizar informação
que permita a ação.
Big Data ~(Analytics | BI | Data warehouse | OLAP)
Big Data em nosso contexto
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
Os 5 V’s de Big Data:
Big Data: em busca da veracidade e valor
• Volume
• Variedade
• Velocidade
• Veracidade
• Valor
@socialmetrix | @arjones
Volume
Big Data: em busca da veracidade e valor
• 5Kb por atividade• 100.000 usuarios• 10 atividades por dia• 30 dias
~ 150 Gb / mês ( ~ 1.8 Tb / ano )
@socialmetrix | @arjones
Os sistemas tradicionais não acumulavam tanta informação, e o volume só tende a crescer #IoT
http://smx.io/iot
Variedade
Big Data: em busca da veracidade e valor
• Quantitativos• Demograficos• Localização (celulares)• Atividades (behavior)• Conversas• Dispositivos (Waze) • etc ….
@socialmetrix | @arjones
Velocidade
Big Data: em busca da veracidade e valor
• Quando tudo é Rápido e Fugaz, quem define o que é relevante?
Computadores e Algoritmos
@socialmetrix | @arjones
Velocidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
TED: Kevin Slavin: How algorithms shape our worldhttp://smx.io/teddata
Veracidade
Big Data: em busca da veracidade e valor
• Fonte de Informação (dataset)– Sujo (dirty) relações de alto-nivel– Limpando com hipóteses e informação de contexto– Vigencia ex: localização pode ser fugaz
• Interpretação (análise)– A história que contamos com essa informação
@socialmetrix | @arjones
Veracidade Fontes de Informação
Big Data: em busca da veracidade e valor
• Falsos Reviews & Bombardeio de comentários– Percepção é realidade!– Nossos clientes podem diferenciar?
@socialmetrix | @arjones
O impacto em nossa marca será negativo, portanto tem que ser analizado como verdadeiros.
Veracidade Correlação e Causalidade
Big Data: em busca da veracidade e valor
• Pessoas que comem nozes e castanhas vivem mais e são mais magras http://smx.io/nozes
– Fatores Socio-economicos– Acesso a Esportes e Lazer
• A causa do aquecimento global é a diminuição da população de piratas!
@socialmetrix | @arjones
Big Data: em busca da veracidade e valor
Dois eventos podem acontecer no mesmo período e não serem causa um do outro
Veracidade Zoom (Big picture vs. Detalhe)
Big Data: em busca da veracidade e valor
• É imperativo aproveitar o potencial de sumarização
• Entender o todo e se enfocar no que é importante, chama a atenção
@socialmetrix | @arjones
Veracidade Zoom (Big picture vs. Detalhe)
Big Data: em busca da veracidade e valor
http://smx.io/folha@socialmetrix | @arjones
Big Data: em busca da veracidade e valor
Big Data: em busca da veracidade e valor
Veracidade Margens de Erro
Big Data: em busca da veracidade e valor
• Aproximações são aceitáveis e bem-vindas!GA: "A amostragem (sampling) é muito utilizada … a análise de um subconjunto de dados fornece resultados semelhantes … [e] … acelera o processamento dos relatórios” http://smx.io/gas
• Facebook faz isso o tempo todoCusto de manter os contadores atualizados é muito grande devido a intensa atividade, se aproximam os números e se calcula o valor exato quando (e se) realmente necessário
@socialmetrix | @arjones
Veracidade Margens de Erro
Big Data: em busca da veracidade e valor
• Porque se usa com tanta frequencia?– Porque vale a pena!
@socialmetrix | @arjones
Com 3% de erro, reduzo o consumo de memória em 20.000+ vezes
Valor
Big Data: em busca da veracidade e valor
• Influenciadores (Followers, Klout, etc)
• Análise de sentimento, temáticas e extração automática de tópicos
• Secret cases
@socialmetrix | @arjones
Valor Análise de sentimento
Big Data: em busca da veracidade e valor
• Depende de contexto externo (cultura)
• Trade-off velocidade vs precisão
Melhores resultados: Usar ambos métodos!@socialmetrix | @arjones
Análise Resposta Precisão Custos
Automático < 1 seg ~ 68% $
Manual ~ 4 horas 95% $$$
Valor Temáticas
Big Data: em busca da veracidade e valor
• Tracking continuado de temáticas importantes permite entender tendências e realizar rápida ação
@socialmetrix | @arjones
Valor Temáticas
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
Valor Extração Automática de Tópicos
Big Data: em busca da veracidade e valor
• Veloz (< 2 segundos)
• Menor dependência de contextos externos, maior precisão
• Ajudam a entender como a conversa está variando, podem mostrar assuntos que não estavam no radar.
@socialmetrix | @arjones
Valor Extração Automática de Tópicos
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
Valor Extração Automática de Tópicos
Valor Secret Cases (sorry!)
Big Data: em busca da veracidade e valor
Valor está em encontrar como métricas de negóciosão afetadas pela atividade social/online.
• Montadora = nossos dados + Emplacamento
• Operadora Celular = nossos dados + WebAnalytics+ Compras de Plano
@socialmetrix | @arjones
Oportunidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
Oportunidade
Big Data: em busca da veracidade e valor
@socialmetrix | @arjones
• Integração / Convergência• Reduzir a Obsessão por likes, followers
• Algumas questões NÃO serão resolvidas e afetam valor percebido. Ex: “Fila no Banco”
• Predictive Analytics ?
Desafio
Big Data: em busca da veracidade e valor
• Silo de dadosTenho acesso aos dados que preciso?
– Vendas– Anuncios– Promoções– Compras– Custos
@socialmetrix | @arjones
Futurologia ...
Big Data: em busca da veracidade e valor
• Grafos Sociais• Sistemas de Recomendação• Influenciadores
“Mapear as relações”
@socialmetrix | @arjones
Muito Obrigado!
Gustavo Arjones | @arjonesCTO & Co-Founder
facebook.com/socialmetrix
www.socialmetrix.com