オープンデータとLinked Open Data(LOD)＠神戸R

オープンデータとLinked Open Data(LOD)

LODチャレンジ実行委員会関西支部長

/大阪大学産業科学研究所

古崎晃司

[email protected]

R言語勉強会＠神戸2014年11月24日（月）

2014/11/24 神戸R 1

自己紹介

古崎（こざき）晃司所属：大阪大学産業科学研究所准教授

専門：情報科学（オントロジー工学）＝“かしこい”コンピュータ（ソフトウェア）を作る

→学問にとどまらず，世の中で使われる技術を作りたい

大阪生まれ・大阪育ち（茨木・高槻），大阪在住（高槻）

オープンデータとの関わり LODチャレンジ実行委員会（2011～）関西支部長

→Linked Open Dataを技術普及させたい

「LODチャレンジ2014」への応募作品を増やしたい

特に，地元「大阪（関西）」でのコミュニティを大きくしたい

2014/11/24 2

研究成果として公開中のソフト

神戸R

講演の概要

本講演のねらい

「オープンデータ」と「Linked Open Data（LOD）」の技術的な概要を知って頂く

講演内容

大阪での取り組みの紹介

オープンデータについて

「オープンデータの定義」と「国内の動向」

Linked Open Data（LOD）について

「Linked （Open） Data」の技術概要

2014/11/24 神戸R 3

大阪でのオープンデータの取り組みの経緯（去年まで）

2011- Linked Open Dataチャレンジ2011の開催

国内初の「オープンデータ活用に関するコンテスト」古崎は実行委員として活動，大阪でもイベントを開催鯖江市や横浜市が受賞

2012- Linked Open Dataチャレンジ2012の開催

鯖江市や横浜市が会津若松市などが受賞

2013- 日本各地で「インターナショナル・オープンデータデイ」(2月)が開催

関西での開催が無かったため，古崎は名古屋に参加… 大阪でも「オープンデータ（やLOD）の取り組み」を進めたいと，勉強会を開催

同じような考えのLinked Open Data Initiative（LODI）/ ATR Creativeの高橋さんと，「オープンデータ（LOD）のイベント」を大阪イノベーションハブ（OIH）で開催するように…

Linked Open Dataチャレンジ2013の開催大阪市さんが，イベント＋LODチャレンジ向けに「オープンデータ」を提供して下される！

2014- 大阪イノベーションハブ（OIH）が，オープンデータの先進国であるイギリスの

The Open Data Institute (ODI) のアジア初のCity Nodeに！（2/17）大阪（関西）初の「インターナショナル・オープンデータデイ」 LODチャレンジ2013にて，大阪市が「LODチャレンジデー賞」を受賞

2014/11/24 4

一部の自治体が開始

大阪でも急展開

神戸R

2012.7 電子行政オープンデータ戦略

2013.6 G8サミット「オープンデータ憲章」

2013.12 Data.go.jp試験運用開始

日本政府の取り組み

大阪イノベーションハブ（OIH）

大阪イノベーションハブ（OIH）大阪市のグローバルイノベーション支援拠点

The Open Data Institute (ODI)オープンデータを推進する国際機関（本部はイギリス）

2014/11/24 神戸R 5

http://www.innovation-osaka.jp/ja/ http://theodi.org/

ODIのCity Node（各地での推進拠点）へ

大阪で開催したイベントLinked Open Data ハッカソン関西

大阪イノベーションハブにて，３回のイベントを開催（2013年度）→大阪市が「イベント用にデータ提供」

第１回「提供されたデータのLOD化」（10/19）

第２回「アプリの開発」（12/6-7） → LODチャレンジへ応募

第３回「インターナショナル・オープンデータ・デイ」（2/11,22）として開催

これまでの資料・成果のまとめ http://lodosaka.jp/

2014/11/24 神戸R 6

次回のLODハッカソン関西UDC2014とLODチャレンジ2014の共催イベントとして第4回LODハッカソン関西を実施[12/7(日)＠OIH]

• LODチャレンジの応募作品，大阪市のオープンデータ等のLODを用いたアプリ開発を行うハッカソンです．

• プログラム未経験者でも簡単にアプリを開発できるツールも提供しますので，誰でも気楽にご参加頂けます．

１２／７（日）11:00～19:00開催予定

↑１０／１３（日）台風19号接近のため延期2014/11/24 神戸R 7

LODチャレンジ2014応募締切：2015年1月18日（日）http://lod.sfc.keio.ac.jp/※自由課題型

アーバンデータチャレンジ2014エントリー締切：2014年12月21日（日）作品提出締切：2015年2月1日（日）http://aigid.jp/?p=825※課題解決型

重複応募可能

2014/11/24 神戸R 8

講演の概要



講演内容






2014/11/24 神戸R 9

オープンデータの概要オープンデータの定義

誰でも自由に使える形で公開されているデータ（http://opendatahandbook.org/ja/what-is-open-data/ 参照）

２つの観点ライセンス（cf．クリエイティブコモンズ）

使用目的を限定せず（例：商用も可），再配布，改変も可

「作成者のクレジットの表示」の義務付け程度の制限はOK→“まじめな人”（※）が，安心して使える

＝より多くの人の利用が見込まれる（※悪いことをする人は，ライセンスを気にせず勝手に使う）

機械可読な形式プログラムで処理しやすいフォーマットが望まれる

→“使いたい人”が，簡単に使える＝低コストで多くのアプリ（活用事例）が作れる LOD(Linked Open Data)は，「オープンデータの５つの段階」で「５つ星」

と言われている公開方法（http://5stardata.info/ja/ 参照）2014/11/24 神戸R 10

5 ★ オープンデータ

2014/11/24 神戸R 11

★ (どんな形式でも良いので) あなたのデータをオープンライセンスでWeb上に公開しましょう

★★ データを構造化データとして公開しましょう★★★ 非独占の形式を使いましょう★★★★ 物事を示すのにURIを使いましょう，そうすることで他の人々があなたのデータ

にリンクすることができます★★★★★ あなたのデータのコンテキストを提供するために他のデータへリンクしましょう

http://5stardata.info/ja/より引用

ライセンスについて

フォーマットについて

Webの発明者でありLinked Dataの創始者でもあるティム・バーナーズ＝リーがオープンデータのために提案したスキーム※注：図中のPDF，エクセル，CSVのアイコンは，

あくまでも例示であって，そのフォーマットを推奨している訳ではない．

オープンデータとLOD オープンデータ

誰でも自由に使える形で公開されているデータ．

Open Definitionによる定義

オープンデータとは、自由に使えて再利用もでき、かつ誰でも再配布できるようなデータのことだ。従うべき決まりは、せいぜい「作者のクレジットを残す」あるいは「同じ条件で配布する」程度である。（http://opendatahandbook.org/ja/what-is-open-data/ より引用）

Linked Data 相互にリンクされたデータ．技術的にはRDFを用いて表される．

オープンデータを公開方法として，W3Cなどのコミュニティから推奨されている．

Linked Open Data ★５相当

オープンデータとして公開されている，Linked Data.2014/11/24 神戸R 12

国内でのオープンデータへの取り組みの概要

学術的な取り組み国立情報学研究所（NII）：博物館情報，文献DB，科研費DB，など

JSTバイオサイエンスデータベースセンター（NBDC）：生命科学情報

理化学研究所：生命科学情報

オープンガバメント電子行政オープンデータ戦略（2012/7/4）経済産業省

オープンガバメントラボ，ＩＴ融合フォーラム公共データワーキンググループ， Open Data METI（経産省のオープンデータ公開サイト）

総務省オープンデータ流通推進コンソーシアム

地方自治体：地域情報のオープンデータ化鯖江市，横浜市LOD，会津若松市，流山市，千葉市，．．．

世界先端IT国家宣言（案）：2013/05/24 その他：オープンデータを推進している団体

Linked Open Data Initiative Open Knowledge Foundation Japan Linked Open Data チャレンジ Japan 2011-

2014/11/24

日本ではLODに関する学術的取り組みが先行

東日本大震災以降，政府のオープンデータへの取り組みが活発化

13神戸R

日本政府のオープンデータサイト（試行版）が開設（2013年12月）

日本政府のデータカタログサイトData.go.jpの本格運用（2014年10月）

2014/11/24

http://www.kantei.go.jp/jp/singi/it2/pdf/120704_siryou2.pdf14神戸R

2014/11/24 15神戸R

2014/11/24

http://www.openlabs.go.jp/

16神戸R

2014/11/24

http://www.opendata.gr.jp/

オープンデータの流通を推進する環境を整備するために，産官学の共同で取り組む活動母体として設立されたコンソーシアム(2012年7月)

17神戸R

2014/11/24

http://datameti.go.jp/

経済産業省が保有するデータをオープンデータとして公開することを実践するための試験サイト

LODチャレンジJapan2012「オープンデータ推進賞」

18神戸R

2014/11/24 19

http://www.kantei.go.jp/jp/singi/it2/dai61/siryou2-1.pdf より

○公共データの民間開放（オープンデータ）の推進、ビッグデータの利活用促進（パーソナルデータの流通・促進等）

2013/05/24

神戸R

2014/11/24 20

http://www3.nhk.or.jp/news/html/20130524/k10014805311000.html （現在は非公開）

2013/05/24

交通や地理などについての各府省の公共データを一括検索できるサイトを立ち上げて来年から運用を開始

神戸R

次世代統計利用システム

2014/11/24 21

http://statdb.nstac.go.jp/神戸R

API機能の本格運用を開始2014年10月31日

G8サミット・首脳宣言で「オープンデータ憲章」に合意

2014/11/24 22http://www.mofa.go.jp/mofaj/gaiko/page23_000044.html

2013/06/18

我々は，オープンデータが，イノベーションと繁栄を可能にし，また，市民のニーズに合致した，強固かつ相互に繋がった社会を構築していくための大きな可能性をもった未開発の資源であることに合意する。そのため，我々は，以下の原則に合意する。• 原則としてのオープンデータ• 質と量• すべての者が利用できる• 改善したガバナンスのためのデータの公表• イノベーションのためのデータの公表

G8各国が，「オープンデータを推進する」ことに合意

神戸R

Data.go.jp：日本政府のオープンデータカタログサイト

2014/11/24 23神戸R

http://data.go.jp/

本格運用を開始2014年10月1日

2013年12月↓

2014年4月休止※コミュニティが

ミラーサイト作成

講演の概要



講演内容






2014/11/24 神戸R 24

Linked Open Dataの技術概要

LODの技術的背景

従来のWebからLinked Dataへの流れ

LODの基本的技術

RDF（Resource Description Framework）

SPARQL

2014/11/24 神戸R 25

参考文献：『Linked Data－Webをグローバルなデータ空間にする仕組み（Tom Heath, Christian Bizer（武田英明監訳），丸善，2013）』

Linked Open Data(LOD) Linked Data：Web上のデータを，つなぐ（linkする）ことで，新しい価値

を生み出そうとする取り組み．Webの創始者Tim Berners-Lee氏が提唱

※ Linked Open Data(LOD)：オープンな形で公開されたLinked Data

2014/11/24 神戸R

http://linkeddata.org/

• 誰もが同じ方法で，「データをつなぐことができる仕組み」を提供している．• 技術的には，

－データ公開の共通フォーマット（URIによる名前付け，RDFによるグラフ表現－コンピュータが，データにアクセスする共通の仕組みが提供されている．

→Web上に公開された膨大なデータを統合した１つのデータベースとして利用できる．

26

Linked Dataの技術的背景～Semantic Webの概要～

Semantic Webとは従来の「人が読む（理解する）ためのWeb」から，

「コンピュータが理解（意味処理）可能なWeb」へ技術的には，

Web上のドキュメントにコンピュータによる意味処理に用いる「メタデータ」を付与する（タグを付ける）」

その際に用いるフォーマットが「RDF」メタデータに用いる語彙を定義するのが「オントロジー」（RDFSやOWLで

書かれる） RDFで書かれたメタデータを検索するためのクエリー言語が

「SPARQL」．．．

Semantic Webの学術的流れ The Semantic Web：Tim Berners-Lee, James Hendler and

Ora Lassila，Scientific American, May 17, 2001. Semantic Web Conference

Semantic Web分野のトップカンファレンス 2002～毎年開催

2014/11/24 神戸R 27

Layer Cake

Semantic Webに必要な要素技術を階層状に表したもの

2014/11/24 神戸R

http://www.w3.org/2001/09/06-ecdl/slide17-0.html http://www.dajobe.org/talks/200905-redland/

28

Semantic Webの研究動向の変遷

研究動向（流行トピック）の変遷語彙（オントロジー）に基づいたメタデータによる意味処理の実現

誰がメタデータを？→Web2.0的共同構築

データ（インスタンス）のLinkの重視：Linked Data

2014/11/24 神戸R

リッチな意味記述

スケーラビリティ（大量データ）

Semantic Web (の理想)

すぐに使えるタグを（RSS,FOAF）

SNS利用・Web2.0

DBPedia× Linked Data

2004-2006

2007

2008-

29

TED Talk by Tim Berrners Lee (1) 2009/2

～Raw Data Now!～

2014/11/24 神戸R

http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html

データを抱え込むのでは無く，誰もが使えるように（オープンに）することを呼びかける＝Raw Data Now！（生データをすぐに！）

30

TED Talk by Tim Berrners Lee (1) 2010/2

～LODの活用事例～

2014/11/24 神戸R

http://www.ted.com/talks/tim_berners_lee_the_year_open_data_went_worldwide.html

オープンデータの活用事例を紹介・白人/黒人の住む家と水道管の整備状況

の相関を見える化→裁判で勝利へ・Where does my money go?

（税金はどこへ行った？）（英国） http://wheredoesmymoneygo.org/（横浜市） http://spending.jp/

31

Linked Dataが目指すこと

WWW(World Wide Web) 文書を公開し，相互に接続（ハイパーリンクでつなぐ）ための

革命的な仕組みを提供したことで，今日のWebの発展につながった．

Linked Data データを共有（公開）し，相互につなぐ仕組みを提供する．

Linked Dataの原理

データの構造化構造化されたデータはより洗練された処理を可能にする

分散したデータをつなぐハイパーリンク文書単位では無く，データ単位のリンクを可能にする．

データの島々から一つのグローバルデータ空間へ分散されたデータ群を１つのグローバルなデータ空間へ統合する

参考：『Linked Data－Webをグローバルなデータ空間にする仕組み（Tom Heath, Christian Bizer（武田英明監訳），丸善，2013）』 1章．はじめに

2014/11/24 神戸R 32

既に公開・リンクされているLOD～LODクラウド～

2014/11/24 神戸R

2007/5/12007/10/8

2008/9/182009/7/142010/9/22http://lod-cloud.net/

2011/9/19時点

１つの丸が個別に公開されたDBを表す．

参考：「Linked Data－Webをグローバルなデータ空間にする仕組み」 3章．データのWeb

マスメディア

地理情報

図書館・教育

ユーザ作成データ

政府情報クロス・ドメイン

ライフサイエンス

DBPedia

open.govopen.gov.uk

33

既に公開・リンクされているLOD～LODクラウド～

2014/11/24 神戸R 34

Linking Open Data cloud diagram 2014, by Max Schmachtenberg, Christian Bizer, Anja Jentzschand Richard Cyganiak. http://lod-cloud.net/

１つの丸が個別に公開されたLOD（DB）を表す

2014/08/30時点

行政関係のデータ

公開したオープンデータが他のオープンデータと「つながる」ことで「新たな価値」が生まれる

DBPedia

2014/11/24 神戸R

Wikipediaの各記事のインフォボックスの情報を抽出して自動生成されるLOD様々なデータをつなぐLODのハブ的な存在となっている．

http://dbpedia.org/

日本語版のDBPediaはhttp://jp.dbpedia.org/

インフォボックスの例

35

LOD技術の概要

RDF（Resource Description Framework）データの記述に用いるモデル

RDFのデータモデル

RDFの表現形式（シリアル化形式）

すべてのデータにURI（※）によるグローバルなIDを付与することで，統一された方法（URI）によるデータへのアクセス

データ間をリンクする仕組み

を提供※最近は，日本語などの2バイト文字が利用可能なURIを利用するツールが増えている．

SPARQL RDFへのクエリ（検索）言語

2014/11/24 神戸R 36


Web上の情報（リソースと呼ぶ）を記述するための統一的枠組み

RDFのデータモデル主語（subject），述語（predicate），目的語（object）の3つ組み（トリプル）の組み

合わせで，リソースに関する情報を表現する．

計算機表現上はXML形式をはじめ，いくつかの表現が用意されている．

リソースはURI（Uniform Resource Identifier：Web上の情報資源（リソース）の場所を示すための記述方式．URLはURIの一種）を用いて表される．

2014/11/24 神戸R 37

知識工学論

古崎担当教員

主語述語目的語

所属知識システム

研究分野

述語目的語主語

來村担当教員所属授業コード

280598







目的語には「リテラル」（文字列）を用いることができる．

2014/11/24 神戸R 38

https://koan.osaka-u.ac.jp/koan/lecture#280598

http://www.ei.sanken.osaka-u.ac.jp/~kozaki/

担当教員


所属http://www.ei.sanken.

osaka-u.ac.jp/main


http://www.ei.sanken.osaka-u.ac.jp/~kita/

担当教員所属授業コード

280598

リソース

リテラルプロパティ

：リソース間の関係







2014/11/24 神戸R 39

koan:lecture#280598 ei:kozaki/担当教員


所属ei:main


ei:kita/担当教員所属授業コード

280598ネームスペース（namespace)を用いると…koan:＝https://koan.osaka-u.ac.jp/koan/ei：＝http://www.ei.sanken.osaka-u.ac.jp/

RDFのシリアル化形式

RDFのシリアル化（serialize）

RDFは，リソースを主語，目的語，述語の形式で記述するデータモデルであって，データ形式ではない．

RDFの形式に沿ってトリプルを特定の文法に従ってファイルに書き出す（シリアル化する）必要がある．

代表的なシリアル化形式

RDF/XML：計算機向け

RDFa：HTMLにRDFを埋め込む

Turtle：プレーンテキストで人間向けに読みやすい

N-Triples：1行単位で処理できるので処理しやすい

RDF/JSON：Web開発向け

参考：『Linked Data』２．４．２ RDFのシリアル化形式

2014/11/24 神戸R 40

Turtle・N-Triplesの表現例

Turtle@prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>@prefix foaf: <http://xmlns.com/foaf/0.1/>

<http://www.ei.sanken.osaka-u.ac.jp/~kozaki/> rdf:type foaf:Person ;foaf:name “Kouji Kozaki” .

N-Triples<http://www.ei.sanken.osaka-u.ac.jp/~kozaki/>

<http://www.w3.org/1999/02/22-rdf-syntax-ns#type><http://xmlns.com/foaf/0.1/Person>.

<http://www.ei.sanken.osaka-u.ac.jp/~kozaki/> <http://xmlns.com/foaf/0.1/name> “Kouji Kozaki”.

2014/11/24 神戸R 41

http://www.ei.sanken.osaka-u.ac.jp/~kozaki/ foaf:Person

rdf:type

foaf:name Kouji Kozaki

1行

1行

ヘッダ

SPARQL

SPARQL RDFデータに対するクエリ言語

「指定したグラフ構造」に一致するトリプルを検索する

例

select distinct * where { ?s ?p ?o . } LIMIT 100

select distinct * where { <http://ja.dbpedia.org/resource/東京都> ?p ?o . } LIMIT 100

select distinct ?s where {?s <http://www.w3.org/2000/01/rdf-schema#label> ?o FILTER(regex(str(?o), "大阪")) .} LIMIT 100

2014/11/24 神戸R 42

日本語DBPediaでのクエリ検索例 http://ja.dbpedia.org/で指定したパターンに一致するトリプルを検索する．

←取得する数

↑同じパターンは除外する

↓返す要素（*は全て）

全トリプルの組み合わせ

東京都を主語（Subject）に含むトリプル

ラベルに“大阪”を含むトリプル

まとめオープンデータ

データを“誰でも，自由に使える”で公開することで，様々な活用が期待されている．

「ライセンス」と「機械可読なフォーマット」の２つの観点で議論される

Linked Open Data（LOD）データを“つなぐ（Linkする）”ことで新たな価値を生み出す

オープンデータを公開する形式としても有力視されているすべてのデータをLODとすべきかについては議論もあり

例）大規模な数値データのLOD化は非効率？

統計データのLODについての議論もあり LODとして統計データを扱えると、どうなる？

http://www.atmarkit.co.jp/ait/articles/1409/03/news002.html 統計Linked Dataの調査・研究

http://www.statld.org/2014/11/24 神戸R 43

ご静聴ありがとうございました

2014/11/7 大阪市役所オープンデータ勉強会 44

参考資料

LODチャレンジ http://lod.sfc.keio.ac.jp/ LODハッカソンin関西まとめ http://lodosaka.jp/ 古崎のSlideShare

http://www.slideshare.net/KoujiKozaki LODに関する入門資料

Linked Open Data Initiative（LODI）によるLOD連続講座のスライド

http://linkedopendata.jp/?cat=17

Technology

オープンデータとLinked Open Data(LOD)＠神戸R