情報メディア工学特論A 第4回〜6回 LOD可視化の演習

情報メディア工学特論A 第4回〜6回 LOD可視化の演習

作成: v1.0 2014-‐10-‐16 山口琢、Future University Hakodate

2014-‐10-‐16 Taku Yamaguchi, Future University Hakodate 1

データのWEB

リンクをたどる

Taku Yamaguchi, Future University Hakodate 2 2014-‐10-‐16

[再掲]文書のWeb n 文章ファイル+リンク

p 異なるWebサーバにある、情報を相互にハイパーリンクで結びつけることで作られている

n 人が読むことを想定している p 同じ事柄に関することでも機械では判断できない

3

HTML HTML

HTML

リンクリンク

リンク

Taku Yamaguchi, Future University Hakodate 2014-‐10-‐16

文書のWeb

Taku Yamaguchi, Future University Hakodate 4

HTML HTML

HTML

リンクリンク

リンク

hLp://www.fun.ac.jp/ hLp://www.fun.ac.jp/ research/faculty_members/

michikooba/

hLp://www.fun.ac.jp/ research/faculty_members/

2014-‐10-‐16

Copyright ©2014, FUTURE UNIVERSITY HAKODATE.

[再掲]LODによるデータのWeb n データ(RDF)+リンク［LOD: Linked Open Data］

p 異なるデータ源のデータが相互に結びつく

n 機械が読むことを想定 p 複雑なデータ空間の中で動作させるアプリケーションを容

易に構築することができる

5

データ

データ

データ

データ

データ

データ

データ

Taku Yamaguchi, Future University Hakodate

RDF（(Resource Descripòn Framework)） 2014-‐10-‐16

LODによるデータのWeb


データ

データ

データ

データ

データ

データ

データ

RDF（(Resource Descripòn Framework)）

hLp://ja.dbpedia.org/resource/函館市

2014-‐10-‐16

スタート: 最初のデータ

データのWeb


データ

データ

文書

DBpedia Japanese


hLp://ja.dbpedia.org/resource/北斗市

函館市

hLp://www.city.hakodate.hokkaido.jp/

2014-‐10-‐16

函館市

ちょっと待て…


あれ？ #1

n データの名前って、そのままブラウザのアドレス欄に入力できるの？ hLp://ja.dbpedia.org/resource/函館市 ⇒ URI: データの識別子 ⇒ hLp:// 〜: 参照解決可能(dereferenceable)

n その操作の仕方って、それじゃぁ文書では？というか、アドレスが変わってないか？ hLp://ja.dbpedia.org/page/函館市 ⇒ Content negoàòn


URI、hLp://〜

n URI: データの識別子 n hLp:// 〜: 参照解決可能(dereferenceable)

⇒ ティム・バーナーズ=リーによるLinked Data4つの原則 1.  Use URIs as names for things 2.  Use HTTP URIs so that people can look up those names. 3.  When someone looks up a URI, provide useful

informaòn, using the standards (RDF*, SPARQL) 4.  Include links to other URIs. so that they can discover

more things. hLp://www.w3.org/DesignIssues/LinkedData.html


Content negoàòn #1

Google Chrome / Developer Tools /

Network 2014-‐10-‐16 Taku Yamaguchi, Future University Hakodate 11

データ

データ

DBpedia Japanese


hLp://ja.dbpedia.org/page/函館市

Content negoàòn #2 n  「HTMLと画像を受け付け(accept)ます」とブラウザが言ったら…

n  「では、あちらを見なさい」と別のURIをサーバに案内された


Accept: text/html,applicaòn/xhtml+xml,…

2014-‐10-‐16

Content negoàòn #3 n  案内された先のHTMLページを見ている


Content-‐Type: text/html; charset=UTF-‐8

2014-‐10-‐16

「データ」が欲しいんだけど… JSON形式でゲット


hLp://ja.dbpedia.org/data/函館市.json

DBpedia Japanese by DBpedia Community

いやいや、「最初から」データが欲しい…

$ curl -‐iLH "Accept: applicaòn/json" "hLp://ja.dbpedia.org/resource/%E5%87%BD%E9%A4%A8%E5%B8%82"

HTTP/1.1 303 See Other Vary: negoàte,accept Content-‐Type: applicaòn/json; qs=0.6

Locaòn: hLp://ja.dbpedia.org/data/%E5%87%BD%E9%A4%A8%E5%B8%82.json Content-‐Length: 0

HTTP/1.1 200 OK Server: Virtuoso/07.00.3203 (Linux) x86_64-‐unknown-‐linux-‐gnu

Content-‐Type: applicaòn/json Content-‐Length: 517744 { "hLp://ja.dbpedia.org/resource/\u5317\u6D77\u9053" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } , "hLp://ja.dbpedia.org/resource/\u65E5\u672C\u30D7\u30ED\u91CE\u7403" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } , "hLp://ja.dbpedia.org/resource/\u65E5\u672C\u306E\u5730\u7406" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } ,

… Taku Yamaguchi, Future University Hakodate 15 2014-‐10-‐16

あれ？ #2

n ところで、「%E5%87%BD%E9%A4%A8%E5%B8%82」って何？「函館市」じゃないの？ ⇒パーセントエンコーディング


パーセントエンコーディング

URIにASCII(のサブセット)以外の文字を使うとき

「URLエンコード」とも呼ばれる

Wikipediaで「函館市」の項目を表示… p ブラウザのアドレスバーでは、こう見える hLp://ja.wikipedia.org/wiki/函館市

p でも、コピーしてテキストエディターに貼り付けると… hLp://ja.wikipedia.org/wiki/%E5%87%BD%E9%A4%A8%E5%B8%82

p 「%E5%87%BD%E9%A4%A8%E5%B8%82」は、「函館市」をパーセントエンコードしたもの

エンコードした文字データを、パーセントエンコードする 2014-‐10-‐16 17 Taku Yamaguchi, Future University Hakodate

あれ？ #3

n では、スライド中の hLp://ja.dbpedia.org/resource/函館市は、図用の簡易表記？

n それは… ⇒ IRI (Internaònalized Resource Iden`fier)


IRI: 国際化したURI n URL: Uniform Resource Locator

古い用語、表現

n URI: Uniform Resource Iden`fier ASCIIのサブセット hLp://ja.wikipedia.org/wiki/%E5%87%BD%E9%A4%A8%E5%B8%82

n IRI: Internaònalized Resouce Iden`fier 多言語対応、日本語などを使うことができる LOD関連の標準はIRIを使う hLp://ja.dbpedia.org/resource/函館市


cURLでJSON形式をゲット $ curl -‐iLH "Accept: applicaòn/json" "hLp://ja.dbpedia.org/resource/函館市"

HTTP/1.1 303 See Other

Content-‐Type: applicaòn/json; qs=0.6

Locaòn: hLp://ja.dbpedia.org/data/函館市.json

Content-‐Length: 0

HTTP/1.1 200 OK

Content-‐Type: applicaòn/json

{

"hLp://ja.dbpedia.org/resource/\u5317\u6D77\u9053" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } ,

…


cURLでHTML形式を… $ curl -‐iLH "Accept: text/html" "hLp://ja.dbpedia.org/resource/函館市"



Locaòn: hLp://ja.dbpedia.org/page/函館市

HTTP/1.1 404 Not found

…


cURLでHTML形式を… $ curl -‐iLH "Accept: text/html" "hLp://ja.dbpedia.org/resource/%E5%87%BD%E9%A4%A8%E5%B8%82"



Locaòn: hLp://ja.dbpedia.org/page/%E5%87%BD%E9%A4%A8%E5%B8%82

HTTP/1.1 200 OK


<!DOCTYPE html>

<html xmlns="hLp://www.w3.org/1999/xhtml">

<head profile="hLp://www.w3.org/1999/xhtml/vocab">

<meta charset="u{-‐8" />

<`tle>About: 函館市</`tle> 2014-‐10-‐16 Taku Yamaguchi, Future University Hakodate 22

ブラウザのアドレスバー

サーバには最初から %E5%87%BD%E9%A4%A8%E5%B8%82 が伝わっているようだ。

↑

ブラウザが変換している

↑

文字を見たら、誰がいつ変換してるのか、常に注意すること


DBpedia Japanese by DBpedia Community

JSON形式 {

"hLp://ja.dbpedia.org/resource/\u5317\u6D77\u9053" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } ,

"hLp://ja.dbpedia.org/resource/\u65E5\u672C\u30D7\u30ED\u91CE\u7403" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } ,

"hLp://ja.dbpedia.org/resource/\u65E5\u672C\u306E\u5730\u7406" : { "hLp://dbpedia.org/ontology/wikiPageWikiLink" : [ { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u51FD\u9928\u5E02" } ] } ,

…


あれ？ #4

n JSONのデータに「北海道」が見当たらない。「\u5317\u6D77\u9053」って？ ⇒ バックスラッシュエスケープを使ったユニコード文字


バックスラッシュエスケープを使ったユニコード文字

A string is a sequence of zero or more Unicode characters, wrapped in double quotes, using backslash escapes. A character is represented as a single character string. A string is very much like a C or Java string. string in JSON hLp://json.org/


LOD: イラスト表現


データ

データ

DBpedia Japanese hLp://ja.dbpedia.org/resource/北斗市

隣の自治体


2014-‐10-‐16



函館市隣の自治体

北斗市

2014-‐10-‐16



函館市隣の自治体

北斗市



?

2014-‐10-‐16

JSONでシリアライズ GET hLp://ja.dbpedia.org/resource/函館市 Accept: applicaòn/json ↓ … , "hLp://dbpedia.org/ontology/neighboringMunicipality" : [

{ "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u5317\u6597\u5E02" } , { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u9752\u68EE\u770C" }

] Taku Yamaguchi, Future University Hakodate 30

北斗市

2014-‐10-‐16

JSONでシリアライズ GET hLp://ja.dbpedia.org/resource/函館市 Accept: applicaòn/json ↓ … , "hLp://dbpedia.org/ontology/neighboringMunicipality" : [

{ "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u5317\u6597\u5E02" } , { "type" : "uri", "value" : "hLp://ja.dbpedia.org/resource/\u9752\u68EE\u770C" }

] Taku Yamaguchi, Future University Hakodate 31

データ

データ

データ

北斗市

青森県

隣の自治体

2014-‐10-‐16

イラスト表現


函館市

隣の自治体北斗市



hLp://dbpedia.org/ontology/neighboringMunicipality

青森県

hLp://ja.dbpedia.org/resource/青森県

隣の自治体


2014-‐10-‐16

あれ？ #5

n プロパティ「hLp://dbpedia.org/ontology/neighboringMunicipality」が「隣の自治体」だって、どうしてわかるの？ ⇒ 語彙


語彙

n 語彙はプロパティの集合 n データセットの仕様を調べる

例) ヨコハマ・アート・LOD > 各情報に含まれるメタ情報については、それぞれのスキーマページに詳しく記載しています。 hLp://fp.ya�p.org/yokohama_art_lod

n 既存の語彙を調べる


あれ？ #6

n 「函館市」の「隣の自治体」を知るのに、「函館市」の情報全部を取得して、そこから探すのか？ ⇒ 次へ…


データセットからデータを取得

SPARQL


賢く使いたい

「函館市」の「隣の自治体」を「問い合わせ」て、それだけ知りたい。

…他のデータはいらない。


エンドポイント

問合せ窓口 = エンドポイント 1.  DBpedia Japanese

hLp://ja.dbpedia.org/sparql DBpedia Japanese by DBpedia Community

2.  函館観光情報 hLp://210.226.0.93/sparql/ 函館まちあるきマップ by 函館市; はこだてフィルムコミッション by 函館市; 函館近代化遺産ポータルサイト by 函館高専、ノース技研運営 by はこだて未来大学高度ICT演習観光系プロジェクト

2014-‐10-‐16 38 Taku Yamaguchi, Future University Hakodate

DBpedia Japanese hLp://ja.dbpedia.org/sparql



SPARQLで問い合わせ

1.  「Query Text」に、次のように入力 select dis`nct * where {

<hLp://ja.dbpedia.org/resource/函館市>

<hLp://dbpedia.org/ontology/neighboringMunicipality>

?o .

}

2.  「Run Query」をクリック



問い合わせ結果 2件 n hLp://ja.dbpedia.org/resource/北斗市 n hLp://ja.dbpedia.org/resource/青森県


文法

select dis`nct * where {



?o .

}

2014-‐10-‐16 44

WHERE { … } …というパターンに当てはまる

主語、述語、目的語の組を選んで

* 全ての変数

(?o、…他にあれば)を

SELECT 取り出しなさい

主語

述語

目的語文末、組の区切り


結果をJSONで受け取る


函館市の隣は？


函館市

hLp://ja.dbpedia.org/resource/函館市 ?o

隣の自治体


2014-‐10-‐16

問い合わせ結果 { "head": { "link": [], "vars": ["o"] },

"results": { "dis`nct": false, "ordered": true, "bindings": [

{ "o": {

"type": "uri",

"value": "hLp://ja.dbpedia.org/resource/\u5317\u6597\u5E02" }},

{ "o": {

"type": "uri",

"value": "hLp://ja.dbpedia.org/resource/\u9752\u68EE\u770C" }}

] } }


問合せの変数名受け取るプログラムの側でオブジェクトのプロパティ名にしたい名前を、クエリー中の変数名にすればよい。

n  Query: select dis`nct * where {



?o . }

n  Result: { "head": { "link": [], "vars": ["o"] },

"results": { "dis`nct": false, "ordered": true, "bindings": [

{ "o": { "type": "uri", "value": "hLp://ja.dbpedia.org/resource/\u5317\u6597\u5E02" }},

{ "o": { "type": "uri", "value": "hLp://ja.dbpedia.org/resource/\u9752\u68EE\u770C" }} ] } }


函館観光情報 hLp://210.226.0.93/test/


問合せ例

PREFIX rdf: <hLp://www.w3.org/1999/02/22-‐rdf-‐syntax-‐ns#> PREFIX rdfs: <hLp://www.w3.org/2000/01/rdf-‐schema#> SELECT * WHERE { ?s <hLp://purl.org/dc/elements/1.1/date> ?o . FILTER ( "1923" <= ?o ) } LIMIT 10

2014-‐10-‐16 50

?oが"1923"より大きい


問合せ例

PREFIX rdf: <hLp://www.w3.org/1999/02/22-‐rdf-‐syntax-‐ns#>

PREFIX rdfs: <hLp://www.w3.org/2000/01/rdf-‐schema#>

SELECT ?s ?q WHERE {

<urn:恵山山頂_20> <hLp://www.w3.org/2003/01/geo/wgs84_pos#lat> ?q .

?s <hLp://www.w3.org/2003/01/geo/wgs84_pos#lat> ?o .

FILTER (?q < ?o)

} LIMIT 250

恵山山頂よりも緯度が高いものを

2014-‐10-‐16 51 Taku Yamaguchi, Future University Hakodate

北斗市の隣の隣

(再びDBpedia Japanese) PREFIX dbpedia-‐owl: <hLp://dbpedia.org/ontology/> select dis`nct * where { <hLp://ja.dbpedia.org/resource/北斗市> dbpedia-‐owl:neighboringMunicipality ?o . ?o dbpedia-‐owl:neighboringMunicipality ?oo. } ?oは、最初の文では目的語、次の文では主語。プログラムでリンクをたどる。 2014-‐10-‐16 Taku Yamaguchi, Future University Hakodate 52

北斗市の隣の隣は？


?o

隣の自治体北斗市



?oo

隣の自治体


2014-‐10-‐16

リンクをたどる

プログラムでリンクをたどることができる 2014-‐10-‐16 Taku Yamaguchi, Future University Hakodate 54

HTML HTML

○○ ⇒

HTML

○○ ⇒

?o 北斗市 ?oo

?o dbpedia-‐owl:neighboringMunicipality ?oo

<hLp://ja.dbpedia.org/resource/北斗市> dbpedia-‐owl:neighboringMunicipality ?o

結果のアドレスバーを見てみる


hLp://ja.dbpedia.org/sparql?default-‐graph-‐uri=hLp%3A%2F%2Fja.dbpedia.org&query=select+dis`nct+*+where+%7B%0D%0A++++%3ChLp%3A%2F%2Fja.dbpedia.org%2Fresource%2F%E5%87%BD%E9%A4%A8%E5%B8%82%3E%0D%0A++++%3ChLp%3A%2F%2Fdbpedia.org%2Fontology%2FneighboringMunicipality%3E%0D%0A++++%3Fo+.%0D%0A%7D&format=text%2Fhtml&`meout=0&debug=on

パーセントデコード

n  hLp://ja.dbpedia.org/sparql?default-‐graph-‐uri=hLp%3A%2F%2Fja.dbpedia.org&query=select+dis`nct+*+where+%7B%0D%0A++++%3ChLp%3A%2F%2Fja.dbpedia.org%2Fresource%2F%E5%87%BD%E9%A4%A8%E5%B8%82%3E%0D%0A++++%3ChLp%3A%2F%2Fdbpedia.org%2Fontology%2FneighboringMunicipality%3E%0D%0A++++%3Fo+.%0D%0A%7D&format=text%2Fhtml&`meout=0&debug=on

↓パーセントデコード n  hLp://ja.dbpedia.org/sparql?default-‐graph-‐uri=hLp://

ja.dbpedia.org&query=select dis`nct * where { <hLp://ja.dbpedia.org/resource/函館市> <hLp://dbpedia.org/ontology/neighboringMunicipality> ?o . }&format=text/html&`meout=0&debug=on


query parameter strings

hLp://ja.dbpedia.org/sparql?default-‐graph-‐uri=hLp://ja.dbpedia.org &query=select dis`nct * where { <hLp://ja.dbpedia.org/resource/函館市> <hLp://dbpedia.org/ontology/neighboringMunicipality> ?o . }&format=text/html &`meout=0&debug=on

2014-‐10-‐16 57

エンドポイント

SPARQLのクエリ

出力(応答)形式


n プログラムで、このquery stringを作って、 HTTP GETすればよい

n リソースはIRI、それをパーセントエンコードしてある p 文字を見たら、誰がいつ変換…(略


AR「北海道の山」チャンネル

プログラム例


n DBpedia Japaneseから、 n 緯度・経度・標高のある、 n 北海道の山を取り出して、 n AR (拡張現実)のチャンネル

データを作る今回は遠すぎて、

面白くありませんが…


DBpedia Japaneseからゲット

{ ?s geo:lat ?lat; geo:long ?long . } UNION { ?s <hLp://dbpedia.org/ontology/wikiPageExternalLink> ?wcz . FILTER regex( ?wcz, "hLp://watchizu.gsi.go.jp/watchizu.html", "i" ) }

さまざまな段階で工夫して、まずは動かす、興味をひく。全体として敷居を低くすることが、大事だと思います。

(文書の)Webの発展と同様。


緯度

経度地図へのリンクに緯度・経度が埋まっていることも

参考資料

n リンクト・オープン・データ・イニシアティブ、 LOD連続講座、 hLp://linkedopendata.jp/?cat=17

n LODチャレンジ2014 hLp://lod.sfc.keio.ac.jp/challenge2014/


Technology

情報メディア工学特論A 第4回〜6回 LOD可視化の演習