Upload
others
View
34
Download
0
Embed Size (px)
Citation preview
Datos Masivos IConceptos básicos
Gibran Fuentes-PinedaEnero 2020
1
Muchos más datos y a mayor velocidad
Imagen tomada de http://www.tech-dynamics.com/wp-content/uploads/2014/02/BigDataChart.png
2
Más parámetros y más datos no estructurados
Imagen tomada de https://www.datanami.com/2017/02/01/solving-storage-just-beginning-minio-ceo-periasamy/
3
Análisis menos descriptivo, más predictivo/prescriptivo
Descriptivo Diagnóstico Predictivo Prescriptivo
Complejidad
Involucramiento humano
4
Más aplicaciones (1)
•
Imagen tomada de The Washington Post
5
Más aplicaciones (2)
•
Imagen tomada de Snavely et al. Photo Tourism: Exploring Photo Collections in 3D, ACM Transactions on Graphics , 2006.
6
Más aplicaciones (3)
•
7
Mejores modelos (1)
Imagen tomada de Tang et al., Canadian Association of Radiologists Journal 69(2), 2018
8
Mejores modelos (2)
Imagen tomada de
https://hackernoon.com/memorizing-is-not-learning-6-tricks-to-prevent-overfitting-in-machine-learning-820b091dc42
9
Definición
10
Características: 3Vs
11
Características: 4Vs
12
Quizás muchas Vs
13
Retos
• Concepciones: cuestión simplemente implementacional,lo mismo pero con más datos
• Muchos retos• Algoritmos, estructuras de datos y modelos escalables• Representaciones eficientes• Dimensionalidad, diversidad y variabilidad extremas• Respuesta en línea o tiempo real• Paralelización• Modelado• Búsqueda, organización y exploración
14
El principio de Bonferroni
Calcula el número esperado de ocurrencias de un even-to bajo la suposición que es aleatorio. Si el número esmuchomayor al de las ocurrencias reales, entonces lasconclusiones que puedas sacar a partir de estos even-tos probablemente sean falsas.
15
El caso de Google Flu Trends1
1Ginsberg et al. Detecting influenza epidemics using search engine querydata, Nature, 2009.
16
Privacidad y riesgo
• Vigilancia• Sesgos• Baja exploración
17