Streetfighting datascience

STREETFIGHTING DATA SCIENCE

Joerg Blumtritt & Benedikt Koehler

1

Michele Banko und Eric Brill 2001: http://acl.ldc.upenn.edu/P/P01/P01-1005.pdf

DATA SCIENCE

3

DATA SCIENCE

http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

DATA SCIENTISTS?

http://www.forbes.com/sites/danwoods/2012/03/08/hilary-mason-what-is-a-data-scientist/

STREET FIGHTING DATA SCIENCE

• Umnutzen vorhandener Daten (Tweets -> Bewe-gungsgeschwindigkeit)

• Umwidmen von Methoden (BioTech ->Sozialwissenschaften)

• Agile Ad-hoc-Analysen• Improvisation

http://en.wikipedia.org/wiki/File:Fightingmanstones.jpg

DATA SCIENCE 101

1. Daten erzeugen Sammeln2. Daten ablegen / abrufen (=wiederfinden)3. Daten bereinigen4. Daten analysieren5. Daten visualisieren

7

TOOLS FINDEN

8

http://github.com

CRAWLING

• HTTrack Website Copier etc.• Simple Web Crawler in Python

9

TEXTANALYSE

Wort Limburg Stockdorf TaunussteinAar 1 2Aartalbahn 1Aartalhalle 1Abbild 1Abbildung 2aber 7 1 1Abgaben 1

abgegrenzten 1Abgeordnete 1

Abgeordneter 1abgerissen 3Abgerufen 3abgeschlossen 1abgetrennt 1Abitur 2Abschluss 1 1Abschnitt 2Abschnitten 1

Cos(Taunusstein, Stockdorf) 0,75Cos(Stockdorf, Limburg) 0,81Cos(Taunusstein, Limburg) 0,76

10

TEXTANALYSE

11

jbenno X tirsales: 0.875271765478jbenno X christiansoeder: 0.867212021813jbenno X afelia: 0.846274132298jbenno X sekor: 0.839620669666jbenno X sommercharlie: 0.798025077486jbenno X zinken: 0.762690512216jbenno X djanecek: 0.746300186002jbenno X holadiho: 0.718939291016jbenno X furukama: 0.674379861632jbenno X schlenzalot: 0.664230808291jbenno X dr_ultra: 0.627733894581jbenno X praetorius: 0.586885278055

Analyse 2012 von Benedikt Köhler ( http://blog.metaroll.de )

NETZWERKANALYSE

12

13

14

15

N-GRAMME

Google Ngram Viewer http://books.google.com/ngrams + DB http://books.google.com/ngrams/datasets

WORDNET

• WordNet:semantische und lexikalischeBedeutung vonWörtern

• Daraus z.B.Wörter mitStimmungenidentifizierbar(WN Affect)

WordNet http://wordnet.princeton.edu/ WordNet Affect http://wndomains.fbk.eu/wnaffect.html

N-GRAMME + WORDNET

• Emotionen im Zeitverlauf

Acerbi et al 2013 http://www.plosone.org/article/info:doi/10.1371/journal.pone.0059030

FOOD PAIRINGS

Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html

FOOD PAIRINGS

Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html

FOOD PAIRINGS

Ahn et al 2011 http://www.nature.com/srep/2011/111215/srep00196/full/srep00196.html

GOOGLE CORRELATE

Google Correlate www.google.com/trends/correlate

FUNNEL PLOTS

http://www.cochrane-net.org/openlearning/html/mod15-3.htm

TWITTER TAGS

24

Item Valueid_str 356092702800105000 from_user winedanddinedtext Picking up an orange wine (Arboreus) (@ Italian Wine Merchants) [pic]:

http://t.co/u0xcPXTTSPcreated_at Sat Jul 13 16:48:10 +0000 2013time 13/07/2013 17:48:10geo_coordinates loc: 40.73580099,-73.98906051user_lang enin_reply_to_user_id_strin_reply_to_screen_namfrom_user_id_str 18657048in_reply_to_status_id_stsource <a href="http://foursquare.com" rel="nofollow">foursquare</a>profile_image_url http://a0.twimg.com/profile_images/716129754/jump_normal.jpguser_followers_count 6925user_friends_count 2754user_utc_offset -18000status_url http://twitter.com/winedanddined/statuses/356092702800105472entities_str {"symbols":[],"urls":[{"expanded_url":"http://4sq.com/15qYMPc","indices

http://mashe.hawksey.info/2013/02/twitter-archive-tagsv5/

NODEXL – NETZWERK-ANALYSE

NodeXL http://nodexl.codeplex.com/

FLICKR FÜR TOURISTEN

Eric Fischer „See something or say something“http://www.flickr.com/photos/walkingsf/5935471000/in/set-72157627140310742 and „Locals and Tourists“http://www.flickr.com/photos/walkingsf/4671578001/in/set-72157624209158632

OPENPATHS

27

http://openpaths.cc

WEATHER SIGNAL

28

FUNF.ORG

29

NOCH EIN PAAR LINKS:

http://twitter.com/jbenno/bigdatahttp://strataconf.com/http://www.r-bloggers.com/http://oreilly.com/http://iognos.com/blog-3/

30

Joerg Blumtritt@jbenno

Datarella GmbHOskar-von-Miller-Ring 36

80333 München

089/44 23 69 99info@datarella.com