12
dati.lazio.it datalab Cassino 14 Luglio 2015

Dati.lazio.it: il DataLab per la provincia di Frosinone

Embed Size (px)

Citation preview

datilazioit

datalab

Cassino 14 Luglio 2015

Agenda

1 Architettura del sistema e del repository dei dati

2 Interfacce CKAN

3 Esempi drsquoaccesso

4 Strumenti per lrsquoanalisi delle informazioni

5 QampA

Architettura complessiva

CKAN (Comprehensive Knowledge Archive Network)

Egrave un sistema molto diffuso per la gestione di un catalogo di dati aperti

Funzionalmente espone servizi per

bull la pubblicazione di dataset delle descrizioni e delle risorse relative (file)

bull esporre API per interfacciare da programmi le informazioni

bull CKAN egrave disponibile con licenza Affero GNU GPL v30

bull hellip

Interfacce CKAN

Il catalogo del portale datilazioit espone le interfacce (endpoint) per

Alcune interfacce richiedono autorizzazione

Per ciascuna risorsa sono pubblicate le API drsquoaccesso

Azioni Endpoint

Crea httpdatilazioitcatalogapiactiondatastore_create

Aggiorna Inserisci httpdatilazioitcatalogapiactiondatastore_upsert

Query httpdatilazioitcatalogapiactiondatastore_search

Query (via SQL) httpdatilazioitcatalogapiactiondatastore_search_sql

Interfacce CKAN ndash Esempi di Query

Un tipico utilizzo delle API di CKAN egrave quello drsquointerrogare una base dati

bull Esempio di query (primi 5 risultati) httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4amplimit=5

bull Esempio di query (risultati che dai pagamenti per lsquoConsorzio)httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4ampq=Consorzio

bull Stessa query (via SQL statement)httpdatilazioitcatalogapiactiondatastore_search_sqlsql=SELECT from

42687b97-1246-4f64-ba58-ca88997c6dd4 WHERE title LIKE lsquoConsorzio

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Agenda

1 Architettura del sistema e del repository dei dati

2 Interfacce CKAN

3 Esempi drsquoaccesso

4 Strumenti per lrsquoanalisi delle informazioni

5 QampA

Architettura complessiva

CKAN (Comprehensive Knowledge Archive Network)

Egrave un sistema molto diffuso per la gestione di un catalogo di dati aperti

Funzionalmente espone servizi per

bull la pubblicazione di dataset delle descrizioni e delle risorse relative (file)

bull esporre API per interfacciare da programmi le informazioni

bull CKAN egrave disponibile con licenza Affero GNU GPL v30

bull hellip

Interfacce CKAN

Il catalogo del portale datilazioit espone le interfacce (endpoint) per

Alcune interfacce richiedono autorizzazione

Per ciascuna risorsa sono pubblicate le API drsquoaccesso

Azioni Endpoint

Crea httpdatilazioitcatalogapiactiondatastore_create

Aggiorna Inserisci httpdatilazioitcatalogapiactiondatastore_upsert

Query httpdatilazioitcatalogapiactiondatastore_search

Query (via SQL) httpdatilazioitcatalogapiactiondatastore_search_sql

Interfacce CKAN ndash Esempi di Query

Un tipico utilizzo delle API di CKAN egrave quello drsquointerrogare una base dati

bull Esempio di query (primi 5 risultati) httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4amplimit=5

bull Esempio di query (risultati che dai pagamenti per lsquoConsorzio)httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4ampq=Consorzio

bull Stessa query (via SQL statement)httpdatilazioitcatalogapiactiondatastore_search_sqlsql=SELECT from

42687b97-1246-4f64-ba58-ca88997c6dd4 WHERE title LIKE lsquoConsorzio

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Architettura complessiva

CKAN (Comprehensive Knowledge Archive Network)

Egrave un sistema molto diffuso per la gestione di un catalogo di dati aperti

Funzionalmente espone servizi per

bull la pubblicazione di dataset delle descrizioni e delle risorse relative (file)

bull esporre API per interfacciare da programmi le informazioni

bull CKAN egrave disponibile con licenza Affero GNU GPL v30

bull hellip

Interfacce CKAN

Il catalogo del portale datilazioit espone le interfacce (endpoint) per

Alcune interfacce richiedono autorizzazione

Per ciascuna risorsa sono pubblicate le API drsquoaccesso

Azioni Endpoint

Crea httpdatilazioitcatalogapiactiondatastore_create

Aggiorna Inserisci httpdatilazioitcatalogapiactiondatastore_upsert

Query httpdatilazioitcatalogapiactiondatastore_search

Query (via SQL) httpdatilazioitcatalogapiactiondatastore_search_sql

Interfacce CKAN ndash Esempi di Query

Un tipico utilizzo delle API di CKAN egrave quello drsquointerrogare una base dati

bull Esempio di query (primi 5 risultati) httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4amplimit=5

bull Esempio di query (risultati che dai pagamenti per lsquoConsorzio)httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4ampq=Consorzio

bull Stessa query (via SQL statement)httpdatilazioitcatalogapiactiondatastore_search_sqlsql=SELECT from

42687b97-1246-4f64-ba58-ca88997c6dd4 WHERE title LIKE lsquoConsorzio

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

CKAN (Comprehensive Knowledge Archive Network)

Egrave un sistema molto diffuso per la gestione di un catalogo di dati aperti

Funzionalmente espone servizi per

bull la pubblicazione di dataset delle descrizioni e delle risorse relative (file)

bull esporre API per interfacciare da programmi le informazioni

bull CKAN egrave disponibile con licenza Affero GNU GPL v30

bull hellip

Interfacce CKAN

Il catalogo del portale datilazioit espone le interfacce (endpoint) per

Alcune interfacce richiedono autorizzazione

Per ciascuna risorsa sono pubblicate le API drsquoaccesso

Azioni Endpoint

Crea httpdatilazioitcatalogapiactiondatastore_create

Aggiorna Inserisci httpdatilazioitcatalogapiactiondatastore_upsert

Query httpdatilazioitcatalogapiactiondatastore_search

Query (via SQL) httpdatilazioitcatalogapiactiondatastore_search_sql

Interfacce CKAN ndash Esempi di Query

Un tipico utilizzo delle API di CKAN egrave quello drsquointerrogare una base dati

bull Esempio di query (primi 5 risultati) httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4amplimit=5

bull Esempio di query (risultati che dai pagamenti per lsquoConsorzio)httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4ampq=Consorzio

bull Stessa query (via SQL statement)httpdatilazioitcatalogapiactiondatastore_search_sqlsql=SELECT from

42687b97-1246-4f64-ba58-ca88997c6dd4 WHERE title LIKE lsquoConsorzio

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Interfacce CKAN

Il catalogo del portale datilazioit espone le interfacce (endpoint) per

Alcune interfacce richiedono autorizzazione

Per ciascuna risorsa sono pubblicate le API drsquoaccesso

Azioni Endpoint

Crea httpdatilazioitcatalogapiactiondatastore_create

Aggiorna Inserisci httpdatilazioitcatalogapiactiondatastore_upsert

Query httpdatilazioitcatalogapiactiondatastore_search

Query (via SQL) httpdatilazioitcatalogapiactiondatastore_search_sql

Interfacce CKAN ndash Esempi di Query

Un tipico utilizzo delle API di CKAN egrave quello drsquointerrogare una base dati

bull Esempio di query (primi 5 risultati) httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4amplimit=5

bull Esempio di query (risultati che dai pagamenti per lsquoConsorzio)httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4ampq=Consorzio

bull Stessa query (via SQL statement)httpdatilazioitcatalogapiactiondatastore_search_sqlsql=SELECT from

42687b97-1246-4f64-ba58-ca88997c6dd4 WHERE title LIKE lsquoConsorzio

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Interfacce CKAN ndash Esempi di Query

Un tipico utilizzo delle API di CKAN egrave quello drsquointerrogare una base dati

bull Esempio di query (primi 5 risultati) httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4amplimit=5

bull Esempio di query (risultati che dai pagamenti per lsquoConsorzio)httpdatilazioitcatalogapiactiondatastore_searchresource_id=42687b97-1246-

4f64-ba58-ca88997c6dd4ampq=Consorzio

bull Stessa query (via SQL statement)httpdatilazioitcatalogapiactiondatastore_search_sqlsql=SELECT from

42687b97-1246-4f64-ba58-ca88997c6dd4 WHERE title LIKE lsquoConsorzio

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Interfacce CKAN ndash da Programma

Le API di CKAN possono essere chiamate da programma

bull da JavaScriptvar data =

resource_id 42687b97-1246-4f64-ba58-ca88997c6dd4 the resource id

limit 5 get 5 results

q jones query for jones

$ajax(

url httpdatilazioitcatalogapiactiondatastore_search

data data

dataType jsonp

success function(data)

alert(Total results found + dataresulttotal)

)

bull da Pythonimport urllib

url = httpdatilazioitcatalogapiactiondatastore_searchlimit=5ampq=titlejones

fileobj = urlliburlopen(url)

print fileobjread()

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Strumenti per lrsquoanalisi delle informazioni

Le stesse interfacce possono inoltre essere utilizzate per analizzare o filtrare i

dati drsquointeresse

bull Google Fusion Map

bull httpswwwgooglecomfusiontablesdatadsrcid=implicit

bull MapStore

bull httpmapstoregeo-solutionsitmapcomposer

bull Quantum GIS

bull httpwwwqgisorgitsite

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Google Fusion Tables

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

MapStore

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

Quantum GIS

datilazioit

datalab

Cassino 14 Luglio 2015

datilazioit

datalab

Cassino 14 Luglio 2015