Getting Data with import.io | SEO CAMPIXX 2016

Getting Data with import.io

Kerstin Reichert – SEO CAMPIXX 2016

Kerstin ReichertSEO Consultant & Trainerin

Kerstin Reichert – Getting Data with import.io

Kontakt


Mail: [email protected]: www.kerstinreichert.com

Google+: https://plus.google.com/+KerstinReichertTwitter: @Frau_ReichertSnapchat: frau_reichert

mailto:[email protected]

http://www.kerstinreichert.com/

Before we get started


Disclaimer


Crawl responsibly!

http://support.import.io/knowledgebase/articles/265497-best-practice-in-web-crawling



Zielsetzung


Welche Informationen werden benötigt und wofür?


Wie erreiche ich mein Ziel?


Mit welcher Methode kann ich die relevanten Daten erheben, aufbereiten und in mein gewünschtes Format bringen?

An intro to import.io


Web Scraping

https://en.wikipedia.org/wiki/Web_scraping

"Web scraping (web harvesting or web data extraction) is a computer software technique of extracting information from websites. Usually, such software programs simulate human exploration of the World Wide Web by either implementing low-level Hypertext Transfer Protocol (HTTP), or embedding a fully-fledged web browser, such as Mozilla Firefox.

Web scraping is closely related to web indexing, which indexes information on the web using a bot or web crawler and is a universal technique adopted by most search engines."

https://en.wikipedia.org/wiki/Web_scraping


Import.io



Wie funktioniert import.io?


• Auslesen von Websites• Extrahieren von Daten• Point and Click UI zur Auswahl der Informationen• Algorithmus transferiert Auswahl in strukturiertes

Datenformat• Real-time API• No coding

• import.io ist kostenlos


Anwendung von import.io


• Daten analysieren• Informationen visualisieren• "Easier than copy and paste"


Download import.io


https://www.import.io/download/download-windows

https://www.import.io/download/download-windows

import.io Tools


import.io Tool-Set



Magic


• Kein Setup notwendig• One-Click Funktion• Extrahiert Daten von angegebenen URLs• Erkennt Paginierung• Eingeschränkter Funktionsumfang


Magic – Crawl starten


• Per One-Click-Funktion werden Daten extrahiert• Paginierung wird erkannt und berücksichtigt


Magic – API speichern


• Abfrage kann nach Speichern im Dashboard durchgeführt werden• Single und Bulk Extract möglich


Magic – CSV Download


Download ist als CSV oder JSON verfügbar


Extractor


• Tool-Download notwendig• Point and Click UI• Bulk-Extract möglich


Extractor- URL Anagbe


Vom Browser zum Extractor (ON/OFF)


Extractor - Formatwahl


Eine vs. viele Zeilen


Extractor - Datenselektion


Datenauswahl per Click


Extractor - XPath & RegEx


Advanced Settings – Xpath & RegEx


Datenselektion per XPath


z.B. bei Drop-Downs


Copy XPath


Genaue Pfadangabe der zu extrahierenden DatenBeispiel: //*[@id="listProductSizes"]


Learning XPath


http://www.w3schools.com/xsl/xpath_intro.asp

http://www.w3schools.com/xsl/xpath_intro.asp


Datenauswahl per RegEx


Per XPath generierte Daten präzisieren / bereinigen


Learning RegEx


https://www.codeschool.com/courses/breaking-the-ice-with-regular-expressions




Xpath &RegEx Cheat Sheet


https://docs.google.com/document/d/1DJXHTqRMyaOwON_a7J9tQIFeKx5e-HNU5uyHS7GdYeE/edit#heading=h.gw71hsqkt4kw




Extractor - Bulk-Extract


Per Bulk Extract können URL-Listen für den Crawl hinterlegt werden


Crawler


• Automatisierter Extractor• Falls URL nicht bekannt• Wird trainiert• Mindestens 5 Beispiele notwendig!


Crawler – Training


Eine vs. Mehrere Zeilen (z.B. Produkt- vs. Kategorieseite)


Crawler – Datenauswahl


• Eine vs. Mehrere Zeilen (z.B. Produkt- vs. Kategorieseite)• Markieren der zu extrahierenden Informationen• Der Vorgang muss mindestens 5 Mal wiederholt werden


Crawler – Speichern


Nach abgeschlossenem Training speichern


Crawler – Einstellungen


Simple vs. AdvancedZahlreiche Einstellungen möglich:• Start-Auswahl• Crawl-Tiefe• Crawl-Geschwindigkeit• Cookies• Ausschließen von Bereichen/URLs


Crawler – Ausführen


Daten werden gemäß vorherigem Training extrahiert


Crawler – Dashboard


Erneute Abfrage kann als Single oder Bulk Extract aus Dashboard erfolgen


Crawler – Detailseite


• Crawler kann wie zuvor beschrieben für Detailseiten trainiert werden• Vorgang muss auch hier mindestens 5 Mal wiederholt werden


Crawler – XPath/RegEx


Zu extrahierende Daten können per XPath und RegEx angegeben werden


Connector


• Macro• Zeichnet Klicks auf• Diese können anschliessend im Dashboard ausgeführt

werden (z.B. Suchanfragen)


Connector – Record


Suchanfrage ausführen und per Record aufzeichnen


Connector – Train rows


1. Gewünschte Zeilen markieren um Crawler zu trainieren2. Zu selektierende Daten anwählen und in Spalten anlegen


Connector – Dashboard


Suchanfrage kann anschließend im Dashboard ausgeführt werden


Tool-Auswahl


https://www.kumu.io/AlexGimson/importio-tool-chooser

https://www.kumu.io/AlexGimson/importio-tool-chooser

Use Cases


Beobachtung Wettbewerb


• Gibt es neue Einträge in meiner Branche/Stadt?• Wie entwickeln sich die Bewertungen?


Autoren-Outreach


Wer kann zu welchem Thema für mich schreiben?1. Daten von Online-Portalen sammeln2. Nach Themen sortieren3. Autoren für gewünschte Themen finden4. Kontaktdaten erheben


Influencer unter den Autoren


Welche Autoren haben die größte Reichweite?• Social Profile: Anzahl Follower/Fans • Interaktionen bei Veröffentlichungenhttp://www.sharedcount.com/

http://www.sharedcount.com/


Media-Outreach


Wo kann ich meine Inhalte platzieren?• Welche Themen sind gefragt• Welches Format (Text/Infografik/Bild)• Welcher Redakteur ist für meinen Themenbereich der

richtige Ansprechpartner


Content-Marketing – Part 1


Beispiel: Data-Journalism

Äh, nein!




Besser: 1. Interessante/Aktuelle Themen ausfindig machen

(z.B. mit Hilfe von Google Trends)2. Daten erheben3. Auswertung visualisieren4. Für Publikation aufbereiten

Data journalism is a journalism specialty reflecting the increased role that numerical data is used in the production and distribution of information in the digital era. It reflects the increased interaction between content producers (journalist) and several other fields such as design, computer science and statistics. From the point of view of journalists, it represents "an overlapping set of competencies drawn from disparate fields".

https://en.wikipedia.org/wiki/Data_journalism

https://www.google.com/trends/

https://en.wikipedia.org/wiki/Journalism

https://en.wikipedia.org/wiki/Digital_Revolution

https://en.wikipedia.org/wiki/Journalists

https://en.wikipedia.org/wiki/Design

https://en.wikipedia.org/wiki/Computer_science

https://en.wikipedia.org/wiki/Statistics

https://en.wikipedia.org/wiki/Data_journalism




Import.io ermöglicht Visualisierung mit Hilfe von Drittanbietern:• https://www.silk.co/product• https://plot.ly/

https://www.silk.co/product



https://plot.ly/

https://plot.ly/




Beispiele: https://www.import.io/post/8-fantastic-examples-of-data-journalism/

https://www.import.io/post/8-fantastic-examples-of-data-journalism/




Kostenloser Service von import.io für Journalisten: http://import-io.github.io/enterprise-pages/data-journalism/

http://import-io.github.io/enterprise-pages/data-journalism/

http://import-io.github.io/enterprise-pages/data-journalism/


Produktvorstellung


Wo finde ich meine Zielgruppe? z.B. http://www.meetup.com/ 1. Plattform nach Themen/Ort auswerten2. Anhand von Mitgliedergröße priorisieren

http://www.meetup.com/



Speaking Opportunities


Wo gibt es Veranstaltungen zu meinem Thema? z.B. http://www.meetup.com/ 1. Plattform nach Themen/Ort sortieren2. Anhand von Mitgliedergröße priorisieren3. URLs, Ort, Thema, Organisator und Termine extrahieren




Preis- & Sortimentstrategie


Wettbewerbsvergleich• Zu welchem Preis bieten Wettbewerber Produkte an?• Welche Artikel fehlen in meinem Sortiment?

(z.B. bestimmte Marken)

Eure Ideen?


import.io Integration


https://www.import.io/partners/our-partners/




Diskussionsrunde


Wie setzt ihr import.io ein?Welche weiteren Use Cases sind denkbar?

Weitere Ressourcen


Import.io Knowledge Base


http://support.import.io/knowledgebase



YouTube


https://www.youtube.com/user/importiovideos




Facebook


https://www.facebook.com/groups/333804556787487/




Stack Overflow


http://stackoverflow.com/questions/tagged/import.io




Udemy


https://www.udemy.com/learn-web-scraping-in-minutes/




Tipp: Extract Conference


https://www.import.io/extract-conference/




Danke!

[email protected]

Kontakt: