Embed Size (px)
DESCRIPTION
Citation preview
STREETFIGHTING DATA SCIENCE
Joerg Blumtritt & Benedikt Koehler
1
Michele Banko und Eric Brill 2001: http://acl.ldc.upenn.edu/P/P01/P01-1005.pdf
DATA SCIENCE
3
DATA SCIENCE
http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram
DATA SCIENTISTS?
http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist/
STREET FIGHTING DATA SCIENCE
• Umnutzen vorhandener Daten (Tweets -> Bewe-gungsgeschwindigkeit)
• Umwidmen von Methoden (BioTech ->Sozialwissenschaften)
• Agile Ad-hoc-Analysen• Improvisation
http://en.wikipedia.org/wiki/File:Fightingmanstones.jpg
DATA SCIENCE 101
1. Daten erzeugen Sammeln2. Daten ablegen / abrufen (=wiederfinden)3. Daten bereinigen4. Daten analysieren5. Daten visualisieren
7
TOOLS FINDEN
8
http://github.com
CRAWLING
• HTTrack Website Copier etc.• Simple Web Crawler in Python
9
TEXTANALYSE
Wort Limburg Stockdorf TaunussteinAar 1 2Aartalbahn 1Aartalhalle 1Abbild 1Abbildung 2aber 7 1 1Abgaben 1
abgegrenzten 1Abgeordnete 1
Abgeordneter 1abgerissen 3Abgerufen 3abgeschlossen 1abgetrennt 1Abitur 2Abschluss 1 1Abschnitt 2Abschnitten 1
Cos(Taunusstein, Stockdorf) 0,75Cos(Stockdorf, Limburg) 0,81Cos(Taunusstein, Limburg) 0,76
10
TEXTANALYSE
11
jbenno X tirsales: 0.875271765478jbenno X christiansoeder: 0.867212021813jbenno X afelia: 0.846274132298jbenno X sekor: 0.839620669666jbenno X sommercharlie: 0.798025077486jbenno X zinken: 0.762690512216jbenno X djanecek: 0.746300186002jbenno X holadiho: 0.718939291016jbenno X furukama: 0.674379861632jbenno X schlenzalot: 0.664230808291jbenno X dr_ultra: 0.627733894581jbenno X praetorius: 0.586885278055
Analyse 2012 von Benedikt Köhler ( http://blog.metaroll.de )
NETZWERKANALYSE
12
13
14
15
N-GRAMME
Google Ngram Viewer http://books.google.com/ngrams + DB http://books.google.com/ngrams/datasets
WORDNET
• WordNet:semantische und lexikalischeBedeutung vonWörtern
• Daraus z.B.Wörter mitStimmungenidentifizierbar(WN Affect)
WordNet http://wordnet.princeton.edu/ WordNet Affect http://wndomains.fbk.eu/wnaffect.html
N-GRAMME + WORDNET
• Emotionen im Zeitverlauf
Acerbi et al 2013 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0059030
FOOD PAIRINGS
Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
FOOD PAIRINGS
Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
FOOD PAIRINGS
Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html
GOOGLE CORRELATE
Google Correlate www.google.com/trends/correlate
FUNNEL PLOTS
http://www.cochrane-net.org/openlearning/html/mod15-3.htm
TWITTER TAGS
24
Item Valueid_str 356092702800105000 from_user winedanddinedtext Picking up an orange wine (Arboreus) (@ Italian Wine Merchants) [pic]:
http://t.co/u0xcPXTTSPcreated_at Sat Jul 13 16:48:10 +0000 2013time 13/07/2013 17:48:10geo_coordinates loc: 40.73580099,-73.98906051user_lang enin_reply_to_user_id_strin_reply_to_screen_namfrom_user_id_str 18657048in_reply_to_status_id_stsource <a href="http://foursquare.com" rel="nofollow">foursquare</a>profile_image_url http://a0.twimg.com/profile_images/716129754/jump_normal.jpguser_followers_count 6925user_friends_count 2754user_utc_offset -18000status_url http://twitter.com/winedanddined/statuses/356092702800105472entities_str {"symbols":[],"urls":[{"expanded_url":"http://4sq.com/15qYMPc","indices
http://mashe.hawksey.info/2013/02/twitter-archive-tagsv5/
NODEXL – NETZWERK-ANALYSE
NodeXL http://nodexl.codeplex.com/
FLICKR FÜR TOURISTEN
Eric Fischer „See something or say something“http://www.flickr.com/photos/walkingsf/5935471000/in/set-72157627140310742 and „Locals and Tourists“http://www.flickr.com/photos/walkingsf/4671578001/in/set-72157624209158632
OPENPATHS
27
http://openpaths.cc
WEATHER SIGNAL
28
FUNF.ORG
29
NOCH EIN PAAR LINKS:
http://twitter.com/jbenno/bigdatahttp://strataconf.com/http://www.r-bloggers.com/http://oreilly.com/http://iognos.com/blog-3/
30
Joerg Blumtritt@jbenno
Datarella GmbHOskar-von-Miller-Ring 36
80333 München
089/44 23 69 [email protected]
