Captation Ic05 A09

Le web Crawler Autres methodes Exemple

Captation de donnees web

Camille Maussang

[email protected]

IC05 - A09

Camille Maussang [email protected] RTGI



Qui suis-je ?

I Camille Maussang (cmaussan)

I Chef du dev chez RTGI...

I ... qui fabrique des outils d’analyse du web social

I ... en captant des donnees sur le web ;)




Qui suis-je ?








Qui suis-je ?








Qui suis-je ?








Qui suis-je ?








Qu’est-ce que le web et comment le saisir ?

Le web est un corpus de documents

I ouvert,

I heterogene,

I et dynamique.






I ouvert,

I heterogene,

I et dynamique.






I ouvert,

I heterogene,

I et dynamique.






I ouvert,

I heterogene,

I et dynamique.





Le web peut etre represente par des graphes

I ou les noeuds sont :

I des pages,I des sites,I des mots,I ou des gens,

I et les arcs des liens.






I ou les noeuds sont :

I des pages,I des sites,I des mots,I ou des gens,







I ou les noeuds sont :I des pages,

I des sites,I des mots,I ou des gens,







I ou les noeuds sont :I des pages,I des sites,

I des mots,I ou des gens,







I ou les noeuds sont :I des pages,I des sites,I des mots,

I ou des gens,







I ou les noeuds sont :I des pages,I des sites,I des mots,I ou des gens,







I ou les noeuds sont :I des pages,I des sites,I des mots,I ou des gens,






Capter des donnees sur le web requiert un certain nombre deressources

I Bande passante

I Stockage

I Temps machine






I Bande passante

I Stockage

I Temps machine






I Bande passante

I Stockage

I Temps machine






I Bande passante

I Stockage

I Temps machine





Donc :

I Que cherchons-nous ?

I Que faire pour recuperer ce qui nous est important ?

I Toujours penser « heuristiques »...

I ... et « effets de bord »!





Donc :









Donc :









Donc :









Donc :









Ne jamais oublier !

Le web c’est n’importe qui (ouvert) qui publie n’importe quoi(heterogene) n’importe quand (dynamique).





Ne jamais oublier !Le web c’est

n’importe qui (ouvert) qui publie n’importe quoi(heterogene) n’importe quand (dynamique).





Ne jamais oublier !Le web c’est n’importe qui (ouvert)

qui publie n’importe quoi(heterogene) n’importe quand (dynamique).





Ne jamais oublier !Le web c’est n’importe qui (ouvert) qui publie n’importe quoi(heterogene)

n’importe quand (dynamique).





Ne jamais oublier !Le web c’est n’importe qui (ouvert) qui publie n’importe quoi(heterogene) n’importe quand (dynamique).




Definitions

Normes, recommandations et standards

I Norme (ISO/RFC) : HTTP, URL, SGML, HTML 1-2, MIME

I Recommandation W3C : HTML 3-4-5, XHTML 1, CSS, DOM

I Standards : PDF et Flash (Taux de penetration > 99%)

Web dynamique

I server-side : CGI, PHP, Perl, Python, Ruby, JSP, ASP

I client-side : Javascript, Flash, ActiveX, Applet Java




Definitions





Web dynamique






Definitions





Web dynamique






Definitions





Web dynamique






Definitions





Web dynamique






Definitions





Web dynamique






Definitions





Web dynamique






Prologue

Principe

I Telecharger une page

$ wget ’http ::// www.example.org/’ -O page.html

$ curl ’http ::// www.example.org/’ > page.html

$ perl -MLWP:: Simple -e ’print get("http :// www.example.org/")’ > page.html

Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Prologue

Principe





Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Prologue

Principe





Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Prologue

Principe





Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Prologue

Principe





Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Prologue

Principe





Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Prologue

Principe





Deja des problemes

I Type de fichier

I Encodage

I Contenu (HTML)




Crawler

Principe

I Telecharger 1 page

I Extraire les liens

I Telecharger les pages pointees par les liens

I etc. etc.




Crawler

Principe




I etc. etc.




Crawler

Principe




I etc. etc.




Crawler

Principe




I etc. etc.




Crawler

Principe




I etc. etc.




Crawler

1 use strict; use warnings;

2 use LWP:: Simple;

34 my ( $max_depth , @seed ) = @ARGV or die( ’need depth and url(s)’ );

5 my @already_visited = ();

6 my $depth = 0;

7 my @to_visit = @seed;

89 while( $depth <= $max_depth && @to_visit ) {

10 print "crawling depth $depth\n";

11 my @links = ();

12 for my $url ( @to_visit ) {

13 if( my $content = get( $url ) ) {

14 while ( $content =~ m/<a href ="([^"]+)"/gi) { push @links , $1 }

15 }

16 push @already_visited , $url;

17 print "$url visited .\n";

18 }

19 @to_visit = ();

20 for my $url_to_check ( @links ) {

21 my $to_push = 0;

22 for my $url_visited ( @already_visited ) {

23 if( $url_to_check eq $url_visited ) { $to_push = 0; last; }

24 $to_push = 1;

25 }

26 push @to_visit , $url_to_check

27 if( $to_push && !grep{ $_ eq $url_to_check } @to_visit );

28 }

29 $depth ++;

30 }

31 print "end.\n";




Crawler

I Metriques (distance, profondeur, etc.)

I Performance (goulots d’etranglement)

I Scalabilite (de 1 page a 1G pages)




Crawler







Crawler







Crawler




Crawler

De nouveaux problemes

I Politesse

I DoS (Denial of Service) : DNS, Serveurs HTTPI Blacklistage officiel (robots.txt, sitemap.xml, etc.)I Blacklistage officieux (cloaking, pieges a robot)

I Addressage

I Normalisation d’URL (doublons)I Site ou page ?I Plusieurs permaliens pour un seul contenu (GYM aide un peu)

I Autres...

I JavascriptI Deep webI Web prive




Crawler


I Politesse

I DoS (Denial of Service) : DNS, Serveurs HTTPI Blacklistage officiel (robots.txt, sitemap.xml, etc.)I Blacklistage officieux (cloaking, pieges a robot)

I Addressage


I Autres...





Crawler


I PolitesseI DoS (Denial of Service) : DNS, Serveurs HTTP

I Blacklistage officiel (robots.txt, sitemap.xml, etc.)I Blacklistage officieux (cloaking, pieges a robot)

I Addressage


I Autres...





Crawler


I PolitesseI DoS (Denial of Service) : DNS, Serveurs HTTPI Blacklistage officiel (robots.txt, sitemap.xml, etc.)

I Blacklistage officieux (cloaking, pieges a robot)

I Addressage


I Autres...





Crawler


I PolitesseI DoS (Denial of Service) : DNS, Serveurs HTTPI Blacklistage officiel (robots.txt, sitemap.xml, etc.)I Blacklistage officieux (cloaking, pieges a robot)

I Addressage


I Autres...





Crawler



I Addressage


I Autres...





Crawler



I AddressageI Normalisation d’URL (doublons)

I Site ou page ?I Plusieurs permaliens pour un seul contenu (GYM aide un peu)

I Autres...





Crawler



I AddressageI Normalisation d’URL (doublons)I Site ou page ?

I Plusieurs permaliens pour un seul contenu (GYM aide un peu)

I Autres...





Crawler



I AddressageI Normalisation d’URL (doublons)I Site ou page ?I Plusieurs permaliens pour un seul contenu (GYM aide un peu)

I Autres...





Crawler




I Autres...





Crawler




I Autres...I Javascript

I Deep webI Web prive




Crawler




I Autres...I JavascriptI Deep web

I Web prive




Crawler




I Autres...I JavascriptI Deep webI Web prive




Crawler

Astuces

I Utiliser les headers HTTP

I User-agent

I random et sleep

I Multi-agent plutot que multi-thread

Principes du Focused crawler

I Ne telecharger que les pages pertinentes

I Indicateurs topologiques

I Indicateurs semantiques




Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Crawler

Astuces


I User-agent

I random et sleep









Aggregation

Principe

Syndication ou comment renverser l’acces aux donnees

Problemes

I Atom, RSS, encore mille versions

I Flux complet / partiel / vide ...

I ... avec ou sans date, permaliens, HTML




Aggregation

PrincipeSyndication ou comment renverser l’acces aux donnees

Problemes







Aggregation


Problemes







Aggregation


Problemes







Aggregation


Problemes







Aggregation


Problemes







Scraping

Principe

Analyser une page web pour en extraire une information specifique

Problemes

I DOM ou Regexp ou les deux

I Template et dynamisme des pages scrapees

I Flash et Javascript




Scraping

PrincipeAnalyser une page web pour en extraire une information specifique

Problemes







Scraping


Problemes







Scraping


Problemes







Scraping


Problemes







Scraping


Problemes







API

Principe

Utiliser les API de certains sites pour collecter la donnee

Problemes

I Limitations

I API proprietaires




API

PrincipeUtiliser les API de certains sites pour collecter la donnee

Problemes

I Limitations

I API proprietaires




API


Problemes

I Limitations

I API proprietaires




API


Problemes

I Limitations

I API proprietaires




API


Problemes

I Limitations

I API proprietaires




Un exemple concret

Creer un corpus de documents sur un theme precis avec Google

I Creer un set de requetes

I Ecrire un robot de captation

I Module de scraping des resultats de Google(avec Web::Scraper par ex.)

I Module d’ordonnancementI Module de « crawl »

I Capter les donnees :)




Un exemple concret










Un exemple concret










Un exemple concret



I Ecrire un robot de captationI Module de scraping des resultats de Google

(avec Web::Scraper par ex.)






Un exemple concret




(avec Web::Scraper par ex.)I Module d’ordonnancement

I Module de « crawl »I Capter les donnees :)




Un exemple concret




(avec Web::Scraper par ex.)I Module d’ordonnancementI Module de « crawl »





Un exemple concret




(avec Web::Scraper par ex.)I Module d’ordonnancementI Module de « crawl »





Wikipedia est ton ami :)

I http://en.wikipedia.org/wiki/HTML

I http://en.wikipedia.org/wiki/Web_crawler

I http://en.wikipedia.org/wiki/Focused_crawler

I http://en.wikipedia.org/wiki/Web_scraping

I http://en.wikipedia.org/wiki/URL_normalization

I http://en.wikipedia.org/wiki/Cloaking

I http://en.wikipedia.org/wiki/User_agent

I http://en.wikipedia.org/wiki/Spider_trap

I http://en.wikipedia.org/wiki/Denial-of-service_attack

I etc.



http://en.wikipedia.org/wiki/HTML

http://en.wikipedia.org/wiki/Web_crawler

http://en.wikipedia.org/wiki/Focused_crawler

http://en.wikipedia.org/wiki/Web_scraping

http://en.wikipedia.org/wiki/URL_normalization

http://en.wikipedia.org/wiki/Cloaking

http://en.wikipedia.org/wiki/User_agent

http://en.wikipedia.org/wiki/Spider_trap

http://en.wikipedia.org/wiki/Denial-of-service_attack


Merci !

I http://labs.rtgi.eu/

I http://github.com/cmaussan/Picrowler

I http://github.com/cmaussan/captation-ic05-a09-tex



http://labs.rtgi.eu/

http://github.com/cmaussan/Picrowler

http://github.com/cmaussan/captation-ic05-a09-tex


Merci !

I http://labs.rtgi.eu/

I http://github.com/cmaussan/Picrowler

I http://github.com/cmaussan/captation-ic05-a09-tex



http://labs.rtgi.eu/

http://github.com/cmaussan/Picrowler

http://github.com/cmaussan/captation-ic05-a09-tex

Education

Captation Ic05 A09