66
Social media web e smart apps (A.A. 2014/2015) Gianluigi Cogo Lezione 12: Big Data Università degli Studi di Venezia – Corso di Laurea in Informatica Codice Insegnamento: CT0323

Anno 2014/2015 - Lezione 15 - Big Data

  • Upload
    unive

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

                                                                                                                             Social  media  web  e  smart  apps  (A.A.  2014/2015)  Gianluigi  Cogo  

Lezione  12:  Big  Data  

Università degli Studi di Venezia – Corso di Laurea in InformaticaCodice Insegnamento: CT0323

di  cosa  s3amo  parlando  

Big  Data  è  un  tormentone!    

Nell’approccio  ‘folkloris3co’  sen3amo  dire  spesso:    

‘creeranno  milioni  di  pos3  di  lavoro!’  

Ma  l’Italia  non  è  l’America!    

Quando  diciamo:  ‘tuEo  ciò  succederà  tra  poco!’  dovremmo  contestualizzare:  dove?  

Dato  e  Informazione  non  sono  sinonimi!    Il  dato  è  un  elemento  basico  (o  informazione  grezza)  ed  è  spesso  cos3tuito  da  simboli  non  ancora  elabora3.  

I  fondamentali  

     

L’informazione  è  un  elemento  più  ricco,  che  deriva  dall’elaborazione  di  più  da3  e  che  res3tuisce  un  

valore,  solitamente  consapevolezza,  comprensione  dei  faP  e  verità.  

                 

L’informazione  è  il  risultato  di  un’elaborazione  da3.      

I  fondamentali  

La  CONOSCENZA  è  l'autocoscienza  del  possesso  di  informazioni   connesse   tra   di   loro,   le   quali,   prese  singolarmente,  hanno  un  valore  e  un'u3lità  inferiori.    

I  fondamentali  

 Il  tuEo  è  maggiore  della  somma  delle  sue  par3!    

(Aristotele  –  l’inventore  dell’approccio  sistemico)  

I  fondamentali  

Il  conceEo  di  Big  Data  è  proprio  del  campo  dei  database:  il  termine  indica  grandi  aggregazioni  di  da3,  la  cui  mole  richiede  strumen3  differen3  da  quelli  tradizionali,  in  tuEe  le  fasi  del  processo  (dalla  ges3one,  alla  cura3on,  passando  per  condivisione,  analisi  e  visualizzazione).        

(Wikipedia)  

I  fondamentali  

Il   progressivo   aumento   della   dimensione   dei   dataset   è   legato   alla  necessità   di   analisi   su   un   unico   insieme   di   da3   correla3   rispeEo   a  quelle   che   si   potrebbero   oEenere   analizzando   piccole   serie   con   la  stessa   quan3tà   totale   di   da3   oEenendo   informazioni   che   non   si  sarebbero  potute  oEenere  sulle  piccole  serie.  

(Wikipedia)  

I  fondamentali  

Due  termini  rela3vamente  nuovi:  cura3on  e  dataset!  

I  fondamentali  

DEFINIZIONI  

hEp://ed.ted.com/lessons/explora3on-­‐on-­‐the-­‐big-­‐data-­‐fron3er-­‐3m-­‐smith/  

I  Big  Data  sono  l'elemento  fondamentale  per  la  creazione  di  nuovi  livelli  di  valore  per  il  business.  Grazie  a  storage  integrato,  analisi  e  applicazioni,   i   Big   Data   contribuiscono   a   migliorare   efficienza,  qualità,   prodoP   e   servizi   personalizza3,   producendo   livelli   più  eleva3  di  soddisfazione  ed  esperienza  del  cliente.    (EMC2)  

DEFINIZIONI  

I   Big  Data   sono   la   grande,   enorme  massa  di   da3  di   cui   dispongono  oggi   le   aziende,   che   cos3tuiscono   un   problema   se   non   u3lizza3   o  usa3  poco  o  male,  ma  che  possono   trasformarsi   in  una   formidabile  opportunità  quando  vengono  sfruEa3  nel  modo  correEo.  (SAS)  

DEFINIZIONI  

Le  aziende  sono  sommerse  di  da3  più  che  mai.  L’informazione  che  può  fare  la  differenza  per  il  vostro  business  è  nascosta  in  questa  mole  di  da3.    L’analisi  dei  Big  Data,  vi  aiuterà  a  trasformare  i  vostri  da3,  apparentemente  senza  significato  e  sconnessi  tra  di  loro,  in  informazioni  u3li  creando  il  vantaggio  compe33vo.  (R.  Jacobs).  

DEFINIZIONI  

DEFINIZIONI  

hEp://youtu.be/7D1CQ_LOizA/    

DEFINIZIONI  

Hot  on  the  heels  of  Web  2.0  and  cloud  compu3ng,  Big  Data  may  well  be  the  Next  Big  Thing  in  the  IT  world.  Whereas  Web  2.0  links  people  and  things  online,  and  cloud  compu3ng  is  about  the  transi3on  to  an  online   compu3ng   infrastructure,   Big   Data   generates   value   ………  (CONTINUA)  

hEp://www.explainingcomputers.com/big_data.html/    

 Oggi  le  aziende  devono  essere  in  grado  di  u3lizzare  pienamente  tuEe  le  risorse  di  da3.      Purtroppo  i  da3  non  struEura3  vengono  integra3  in  quelli  struEura3  o,  molto  spesso,  nemmeno  soggeP  a  raccolta  e  tantomeno  a  conservazione.        

RIFLESSIONI  

 L'aumento  del  volume,  velocità  e  varietà  dei  da3  spesso  supera  la  reale  capacità  delle  aziende  di  ges3rli  ed  elaborarli  con  efficacia  nei  tempi  u3li.  Una  complessità  che  rende  difficile  far  fronte  alle  sempre  più  urgen3  e  crescen3  esigenze  del  business.    Il  paradigma  delle  3V  riassume  l'impaEo  dei  big  data  sulle  aziende  (SAS)      

RIFLESSIONI  

       

3V  =  le  proprietà  dei  Big  Data  

 Volume:  la  mole  di  da3,  spesso  destruEura3,  aumenta  in  maniera  esponenziale.  Diventa  sempre  più  difficile  individuare  per  tempo  quelli  a  maggior  valore  per  il  business  (Brontobyte?).      Varietà:  la  3pologia  di  da3  non  è  più  uniforme  e  legata  solo  ai  sistemi  legacy.  Ci  troviamo  di  fronte  a  da3  in  formato  testuale,  audio,  video,    streaming,  provenien3  da  blog,  web  e  social  network  (social-­‐unstructured-­‐data  >  enterprise-­‐structured-­‐data).    Velocità:  i  da3  vengono  prodoP  con  una  velocità  e  frequenza  sempre  maggiore.  Il  "3me  to  decision"  richiesto  all'IT  si  sta  riducendo  sempre  di  più.  La  sfida  è  quella  di  riuscire  a  ges3re  ed  elaborare  informazioni  in  tempi  sempre  più  rapidi.    +  Valore  o  Veridicità:  i  modelli  anali3ci  sono  sempre  più  complessi  e  impongono  capacità  elabora3ve  fino  a  poco  tempo  fa  impensabili.  Diventa  determinante  sapere  individuare  i  da3  a  valore  rispeEo  agli  altri  .      

     

     

     

Nel  2000  il  75%  delle  informazioni  era  raccolto  sulla  carta,  sulla  plas3ca  magne3ca,  su  altri  suppor3  analogici  e  solo  il  25%  era  in  digitale.      Nel  2013,  l’analogico  è  ridoEo  al  2%  mentre  il  98%  delle  informazioni  è  registrato  in  digitale.      I  da3  digitali  raddoppiano  ogni  tre  anni.  

hEp://www.ilsole24ore.com/art/tecnologie/2013-­‐08-­‐30/grandissimi-­‐numeri-­‐192132.shtml    

Le  decisioni  che  un’organizzazione  deve  prendere,  oggi  possono  (o  meglio  devono)  essere  basate  anche  sui  feedback  dei  clien3,  sui  report  

di  stato,  sulle  valutazioni  delle  prestazioni  e  non  solo  sui  da3  demografici  e  opera3vi.  

 

MOLTI  VANTAGGI  PER  LE  AZIENDE  SONO  DUNQUE  CONSEGUENZA  DIRETTA  DELLA  LORO  CAPACITA’  DI  PREDIZIONE  

 

L'analisi  dei  da3  è  un  processo  di   ispezione,  pulizia,  trasformazione   e   modellazione   con   il   fine   di  evidenziare   informazioni   che   suggeriscano  conclusioni   e   suppor3no   le   decisioni   strategiche  aziendali.    

hEp://it.wikipedia.org/wiki/Analisi_dei_da3  

L'analisi  prediPva  permeEe  alle  aziende  (o  meglio  alle  organizzazioni)  di  capire  cosa  succederà  nel  

futuro  e  reagire  di  conseguenza.  

Prevedendo  cosa  accadrà  nel  futuro  si  potranno  pianificare  e   portare   avan3   strategie   che   suppor3no   e   migliorino   il  processo  decisionale.  

(Data  Mining  con  l’ausilio  delle  tecnologie)        è  il  processo  di  estrazione  di  conoscenza  da  banche  da3  di  grandi  dimensioni  tramite  l’applicazione  di  algoritmi  che    individuano  le  associazioni  “nascoste”  tra  le  informazioni  e  le  rendono  visibili.          Viene  anche  deEo:  ‘Knowledge  Discovery  in  Databases’  (KDD)  

L’analisi   prediPva   con   la   ‘Sen3ment   Analysis’   prevede  l’analisi   qualita3va   delle   conversazioni   in   rete   e   mira   a  comprendere   lo   stato   d’animo   degli   uten3   rispeEo   un  par3colare   brand,   prodoEo,   tema,   servizio.   Viene   anche  deEa:  ‘Opinion  Mining’    

hEp://vincos.it/2012/08/30/cose-­‐la-­‐sen3ment-­‐analysis/    

Prendendo  in  esame  le  conversazioni  degli  uten3  nei  diversi  spazi   della   rete   (blog,   forum,   social   network)   si   può  determinare  come  è  percepito  e  considerato  un  determinato  brand   o   prodoEo   e   orientare   le   strategie   di   comunicazione  future  di  conseguenza  a  queste  analisi.    

Dunque  i  da3  sono  solo  numeri?  -­‐  quan3  uten3  per  quel  servizio  -­‐  quanto  prodoP  vendu3  in  quel  luogo  -­‐  quante  chiamate  al  call-­‐center  per  assistenza  -­‐  ecc.  

Il  perimetro  dei  da3,  per  effeEo  della  consumeriza3on,  diventa  molto  più  ampio!  

E  con  il  mobile  diventa  infinito!    

Social  media  e  consumeriza3on  cambiano  tuEo!  

I  social  media  cambiano  tuEo!  

hEp://hedonometer.org/index.html    

I  social  media  cambiano  tuEo!  

hEp://www.blogsvoices.unimi.it/index.html    

I  social  media  cambiano  tuEo!  

hEps://youtu.be/0eUeL3n7fDs    

Esempio:  Staso{  (Dell)  

hEps://www.youtube.com/watch?v=Ga2jMY5nzzY/    

Esempio:  LiveHelpNow  

hEps://www.youtube.com/watch?v=N5mE-­‐LzIKCI    

Esempio:  digital  adver3sing  Se  fino  ad  oggi   il  digital  adver3sing  era  una  pra3ca  approssima3va  e   spesso   si  procedeva  per   tenta3vi,  nell’ul3mo   decennio   si   è   evoluto   in   un   metodo  scien3fico   che   permeEe   di   realizzare   campagne  personalizzate  per  un  pubblico  targePzzato.  

Ogni   azienda   dispone   ormai   di   enormi   quan3tà   di   da3  rela3vi  ai  propri  clien3:  da  quelli  delle  transazioni  raccol3  quando  un  cliente  acquista  un  prodoEo  online  o  in  store,  a  quelli   acquisi3   nel   momento   in   cui   un   cliente   contaEa   il  call   center.   Per   non   parlare   poi   dei   da3   raccol3   dalle  newsleEer,  dalle  email,  da  mobile,  ecc.  

Ques3   da3   rappresentano   una   fonte   preziosissima   di  informazioni   e   cos3tuiscono   il   punto   di   partenza   per  conoscere  a  fondo  e  meglio  il  proprio  pubblico/target.    Dunque  basta  capire  come  poter  ges3re  le  informazioni  che  si  hanno  a  disposizione  al  fine  di  oPmizzarle  e  allinearle  agli  obiePvi  di  business  per  oEenere  il  miglior  ritorno  possibile.  

L’esempio  di  Turn,  piaEaforma  leader  nel  cloud  marke3ng,  permeEe   di   riassumere   l’intero   processo   fornendo   cinque  linee   guida   u3li   a   capire   chi   sono   gli   uten3   con   cui   si   sta  interagendo   e   come   rapportarsi   con   loro   non   perdendo  d’occhio   l’obiePvo   finale   di   intraprendere   campagne   di  successo  e  replicabili.    

1.   La  consapevolezza:  prendere  aGo  dei  daH  di  cui  si  dispone  2.   La  struGura:  creare  un  ritraGo  completo  del  pubblico  3.   La  strategia:  coinvolgere  il  pubblico  con  una  comunicazione  

mirata  4.   La  replicabilità:  ampliare  il  mercato  aGraverso  un  modello  Look  

Alike  5.   La  conclusione:  analizzare,  oLmizzare,  ripetere  

hEp://3nyurl.com/BDPIONERO/    

Esempi:  Traffico  e  ordine  pubblico  

hEp://www.datainterfaces.org/2014/03/protest-­‐maps/    

Esempi:  Polizia  inves3ga3va    

hEp://www.bbc.com/news/technology-­‐22008497    

Lezione  per  le  imprese  

I  Big  Data  aiutano    •  ad  accelerare  il  marke3ng  

•  favorire  la  fidelizzazione  con  l’utente  

Cosa  serve?  

•  Capacità  di  raccogliere  da3    

•  Capacità  di  organizzare  da3    

•  Capacità  di  analizzare  da3    

•  Capacità  di  reagire  

E  tuEo  ciò  si  fa  ANCHE  con  le  tecnologie,  non  SOLO!    

Campi  applica3vi  

Chi  vincerà?  Chi  saprà  integrare  da3  struEura3  e  da3  non  

struEura3  e  coordinarli/organizzarli  per  favorire  un  miglioramento/cambiamento  

 

Tecnologie  

Dove  stanno  i  da3?    Chi  è  obbligato  a  raccoglieri?    Perchè  tenere  anche  quelli  non  obbligatori?    UNICO  DATO  CERTO  E’  CHE  I  DATI  CRESCERANNO  E  DA  QUALCHE  PARTE  VANNO  RACCOLTI    

Problemi  della  tecnologia  •  Cos3  (storage  costa  meno  ma  ne  serve  di  più)  

•  Spazi  per  i  data  center  ….  CLOUD  ECONOMY!  

•  Nuove  tecnologie  come  I  dischi  SSD  ….  

•  Consumi  di  energia?    

hEps://www.palan3r.com/products/    

PalanHr  analizza  da3  per  risolvere  i  problemi  di  sicurezza  dalla  truffa,  al  terrorismo.  I  loro  sistemi  sono  sta3  sviluppa3  con  finanziamen3  della  CIA  e  sono  ampiamente  u3lizza3  

dal  governo  degli  Sta3  Uni3  e  dalle  agenzie  di  sicurezza  federali.                                  

 Il  faEurato  dello  scorso  anno  è  stato  di  circa  418  milioni  dollari  mentre  il  valore  dell’azienda,  

in  odore  di  IPO,  è  stato  recentemente  valutato  a  $  15  miliardi.  

hEp://blog.uber.com/tag/uberdata/    

Anche  l’aPvità  di  Uber  si  basa  sull’analisi  dei  da3.                                  

   

Con  i  da3  rileva3  su  conducen3  e  passeggeri,  Uber  alimenta  un  algoritmo  per  trovare  corrispondenze  opportune  e  convenien3,  nonché  le  tariffe  più  adaEe.    

Uber  sta  tessendo  alleanze  con  catene  di  Hotel,  negozi  fashion  e  provider  musicali.  

hEp://www.fla3ron.com/    

Flaitron  usa  i  Big  Data  contro  il  cancro.                        

       

Analizzando  automa3camente  nella  sua  OncologyCloud  terabyte  di  da3  raccol3  durante  diagnosi  e  cure  dei  pazien3  affeP  da  cancro,  Flaitron  spera  di  fornire  da3  u3li  per  curare  quel  

96%  di  pazien3  sui  quali  non  vengono  raccol3  e  traEa3  da3.    

L'anno  scorso  ha  ricevuto  130  milioni  di  dollari  di  finanziamento  da  Google  

hEp://www.affec3va.com/    

AffecHva  ha  creato  una  "tecnologia  di  misura  emozionale"  che  si  basa  sul    riconoscimento  facciale  e  consente,  analizzando  foto  e  video,  di  determinare  lo  stato  d'animo  e  il  sen3mento  

delle  persone  presen3  in  un  determinato  luogo.                      

         

La  tecnologia  può  essere  u3lizzata  per  valutare  la  reazione  del  pubblico  alla  pubblicità,  misurare  lo  stato  d'animo  delle  persone  che  interagiscono  con  un  servizio,  o  giudicare  l'umore  del  pubblico  durante  un  dibaPto  poli3co.  Coca  Cola  ha  u3lizzato  Affdex  per  effeEuare  analisi  

di  marke3ng.    

Lezione  per  tuP  Mi  serve  un  dato:    -­‐  Ho  archiviato  tuEo  per  bene  e  ho  un  sacco  di  storage,  ma  quel  dato  che  cerco  non  lo  trovo;  

-­‐  Non  basta  avere  tecnologie,  spazi  e  strumen3,  è  necessario  agevolare  la  ricerca  e  per  poterlo  fare  bisogna  ripensare  i  modelli  stessi  di  ricerca  in  funzione  di  quello  che  fa  il  consumatore  e  non  a  quello  che  fanno  le  aziende;  

 -­‐  Google  è  nato  per  questo.  O  no?      

 

Si  traEa  di  un  cambiamento  nella  pragma3ca  della  conoscenza.  I  da3  sono  più  numerosi,   facili  da  trovare  e  meno  costosi  da  archiviare.  La  fine  della  scarsità  dei  da3  non  riduce   il   rispeEo  del   loro  significato  e  non   annulla   la   necessità   di   una   profonda   consapevolezza  epistemologica.   Ma   certamente   favorisce   una   pra3ca   della  sperimentazione   matema3ca   alla   ricerca   di   paEern   emergen3   e  correlazioni,   piuEosto   che   un   ricorso   all’approccio   basato   sui  campioni   sta3s3ci,   le   ipotesi   causali   a   priori,   le   teorie   in   aEesa   di  verifica.  «Meno  why  e  più  what».    Si   traEa   di   un   cambiamento   economico,   perché   lo   sfruEamento   dei  giacimen3   di   da3   è   un   grande   valore   per   le  mega   compagnie   che   li  raccolgono  ma  anche  per  le  startup  che  ne  individuano  nuovi  u3lizzi.      hEp://blog.debiase.com/2013/09/big-­‐data-­‐the-­‐book/    

Conclusioni  

@webeconoscenza                                              hEp://www.gigicogo.it