39
Wikidata紹介 山本 泰智 ライフサイエンス統合データベースセンター @yayamamo

Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Wikidata紹介山本泰智

ライフサイエンス統合データベースセンター

@yayamamo

Page 2: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Wikidata

the free knowledge base with 20,010,572 data

items* that anyone can edit

open

multilingual

collaborative

free

linked

structured

https://www.wikidata.org/

* 2016/9/5 0時ころ現在

Page 3: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Free / Open

• All structured data from the main and property namespace is available under the Creative Commons CC0 License;

• text in the other namespaces is available under the Creative Commons Attribution-ShareAlike License;

• additional terms may apply.

Page 4: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Collaborative

名前が示す通りデータのwikiなので誰でも

自由に編集可能

botでも編集可能** アカウント取得に要承認

Page 5: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Andra Waagmeester @andrawaag

Page 6: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Multilingual

CC BY-SA 3.0 Merdis

Page 7: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Structured

CC BY-SA 3.0 Jeblad

全てのプロパティも一つの名前空間に含まれ、さらに統制されている。

全ての項目は、一つの名前空間に含まれ、Qで始まる連番で識別される。

Page 8: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Structured

•文(Statement)

•出典(Reference)

•修飾子(Qualifier)

•主張(Claim)

CC BY-SA 3.0 Kaganer, Kolja21, Bjankuloski06en, Lydia Pintscher, Addshore

Page 9: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

項目

文プロパティ

修飾子

主張

出典

FC東京 (Q856619)

(Q281734)

2次データであることから情報源(出典)が重要

Page 10: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

RDFの構造

Q V

V

同じプロパティに3種類の文脈• ダイレクトプロパティ(wdt)

• プロパティ(p)

• ステートメントプロパティ(ps)

p

wdt

ps

R

B ランク

主張

rdf:type

prov:wasDerivedFrom / pr

Qpqv

修飾子

出典

項目 値プロパティ

Page 11: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)
Page 12: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Wikidataで使われるprefix

PREFIX wdata: <http://www.wikidata.org/wiki/Special:EntityData/>PREFIX wdno: <http://www.wikidata.org/prop/novalue/>PREFIX prv: <http://www.wikidata.org/prop/reference/value/>PREFIX pr: <http://www.wikidata.org/prop/reference/>PREFIX pqv: <http://www.wikidata.org/prop/qualifier/value/>PREFIX psv: <http://www.wikidata.org/prop/statement/value/>PREFIX pq: <http://www.wikidata.org/prop/qualifier/>PREFIX ps: <http://www.wikidata.org/prop/statement/>

PREFIX wdv: <http://www.wikidata.org/value/>PREFIX wdref: <http://www.wikidata.org/reference/>PREFIX p: <http://www.wikidata.org/prop/>

PREFIX wds: <http://www.wikidata.org/entity/statement/>PREFIX wdt: <http://www.wikidata.org/prop/direct/>

PREFIX wd: <http://www.wikidata.org/entity/>

PREFIX wikibase: <http://wikiba.se/ontology#>

https://www.mediawiki.org/wiki/Wikibase/Indexing/RDF_Dump_Format

Page 13: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

長友佑都 FC東京

http://www.kanzaki.com/works/2009/pub/graph-draw

wdt:P54ps:P54

pqv:P582

p:P54

pqv:P580

pqv:P1350

prov:

wasDerivedFrom

所属チーム

P54: 所属チームP580: 開始日P582: 終了日P1350: 出場試合数P1351: 得点P143: 移入元

wikibase:

timeCalendarModel

先発グレゴリオ暦

wikibase:

quantityUnit

自然数

英語版ウィキペディア

pr:P143

wikibase:TiemValue

wikibase:TiemValue

wikibase:QuantityValue

pqv:P1351

wikibase:QuantityValue

wikibase:rank

Page 14: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

http://www.kanzaki.com/works/2009/pub/graph-draw

Page 15: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

プロパティ値に関する情報

•プロパティ値は次の3種類

• 具体的な値

• 値を持つことは確実だが不明

• 歴史上の人物の出生日など

• 値を持たない

• 子がいない人物の子に関するプロパティなど

Page 16: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

同じプロパティを複数持てる

•プロパティは次の3ランクに分類

• Normal

• Preferred

• 最新の統計値など

• Deprecated

• 過去の統計値など

Page 17: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

プロパティ値の型

•項目(他のWikidata項目へのリンク)

•ウィキメディアコモンズ媒体

•文字列

•日時

•位置座標(緯度、経度)

• URL(ウィキメディアを除くサイトへのリンク)

•量(数や単位付き数値)

Page 18: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

プロパティの検索

• Wikidata Propbrowse

https://tools.wmflabs.org/hay/propbrowse/

• SQID Properties Browser

https://tools.wmflabs.org/sqid/#/browse?type=properties

Page 19: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

除外方針

•存命人物の機微にかかわる事項https://ja.wikipedia.org/wiki/Wikipedia:%E5%AD%98%E5%91%BD%E4%BA%BA%E7%89%A9%E3%81%AE%E4%BC%9D%

E8%A8%98

•独自調査に基づく事項https://ja.wikipedia.org/wiki/Wikipedia:%E7%8B%AC%E8%87%AA%E7%A0%94%E7%A9%B6%E3%81%AF%E8%BC%89%

E3%81%9B%E3%81%AA%E3%81%84

Page 20: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

言語横断的に唯一のURI

様々な言語版Wikipediaのプロパティが全て集約される

Page 21: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Wikipedia ⇔ Wikidata

Page 22: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Wikipediaで利用

Wikipediaの記事内でWikidataの値を利用する方法が提供されている

• Wikipedia記述対象が項目と一致する場合

{{#property:P569}}

• Wikipedia記述対象と項目が異なる場合

{{#property:P36|from=Q183}}

https://en.wikipedia.org/wiki/Wikipedia:Wikidata

Page 23: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

WikipediaをWikidataに

Page 24: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

SPARQLエディタ

https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual

Wikidata Query Service (WDQS)

https://query.wikidata.org/

様々な拡張クエリが利用可能

サンプルクエリが充実

クエリの構築および共有を支援する機能あり

30秒以上かかる検索はタイムアウト扱い

Page 25: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

独自拡張のSPARQLエンジン

• 言語選択用のSERVICE句

• 変数名の独自仕様

• 位置座標処理用SERVICE句

など

https://www.mediawiki.org/wiki/Wikidata_query_service/User_Manual

SPARQLエンドポイントは

https://query.wikidata.org/sparqlGETのみ可

Page 26: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

独自拡張 1 ラベル周り

SELECT ?p ?pLabel ?w ?wLabel WHERE {wd:Q30 p:P6/v:P6 ?p .?p wdt:P26 ?w .SERVICE wikibase:label {bd:serviceParam wikibase:language "en" .

}}

所望の言語タグについて優先度をつけられるとともに特別な変数名を利用して結果に反映できる

Page 27: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

独自拡張 2 位置座標系

特定地点から特定の半径や範囲に含まれるポイントを探したり、特定地点間の距離を求めたり

SELECT ?place ?placeLabel ?location ?dist WHERE {wd:Q64 wdt:P625 ?berlinLoc . SERVICE wikibase:around {

?place wdt:P625 ?location . bd:serviceParam wikibase:center ?berlinLoc . bd:serviceParam wikibase:radius "100" . bd:serviceParam wikibase:distance ?dist.

} ?place wdt:P31/wdt:P279* wd:Q1248784 .SERVICE wikibase:label {bd:serviceParam wikibase:language "en" .

}} ORDER BY ASC(?dist)

Page 28: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

独自拡張 3 時間の幅

xsd:dateTimeに2900億年分、1秒単位で指定可能

Unixエポック*を基準に64bit秒分

*1970年1月1日0時UTC

Page 29: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

GUIの提供

SPARQLクエリの冒頭に下記の記述を行う

#defaultView:viewName

• Table - default view, displays the results as a table of values• Map - displays coordinate points if any present in the result• ImageGrid - displays images present in the result as a grid• BubbleChart - displays bubble chart for numbers found in the result• TreeMap - displays hierarchical tree map for numbers found in the result• Timeline - for results having dates, displays timeline placing each row at appropriate time• Dimensions - displays rows as lines between points on the scales representing each column• Graph - displays result as a connected graph, using linkTo column

http://tinyurl.com/zn4qxoc

Page 30: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

簡単な歴史

2012年10月3組織*からの寄付130万ユーロを基に始まる2013年1月 3言語†のWikipediaからWikidataにつながる2013年2月 英語版Wikipediaからつながる2013年3月 全ての言語版Wikipediaからつながる2014年4月 RDF版提供開始2016年2月 項目数が2千万件を超える

https://en.wikipedia.org/wiki/Wikidata

「地球上の誰もが、全ての人類の知識の集合に自由にアクセスできる世界」に近づくために

https://wikimediafoundation.org/wiki/%E3%83%93%E3%82%B8%E3%83%A7%E3%83%B3

† ハンガリー、ヘブライ、イタリア

* Allen Institute for Artificial IntelligenceGordon and Betty Moore FoundationGoogle

Page 31: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

経年変化(文単位)

■外部情報源への参照あり■Wikipediaへの参照あり■参照なし

20162015

1億

2013 2014

8千万

6千万

4千万

2千万

https://tools.wmflabs.org/wikidata-todo/stats.php

Page 32: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

アクセス統計

http://discovery.wmflabs.org/wdqs/#wdqs_usage

Page 33: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

毎週更新のWikidataニュース

https://www.wikidata.org/wiki/Wikidata:Status_updates

最新は2016年9月3日号

創刊号は2012年4月13日号

関連イベントの開催やシステムの開発状況、運営、メディア掲載情報など、1週間のうちに生じたWikidataにまつわる出来事をまとめてある。

https://www.wikidata.org/wiki/Wikidata:Status_updates/2016_09_03

Page 34: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

編集

プロパティは統制されている

追加には提案してコミュニティからの承認が必要

botによる編集も可だが、bot用のアカウントが必要で、botの特徴を明示してコミュニティからの承認を得て走らせる。

https://www.wikidata.org/wiki/Wikidata:Bots/ja

https://www.wikidata.org/wiki/Wikidata:Requests_for_permissions

Page 35: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

編集プロジェクト (作業部会)

特定の目的で作業部会を立ち上げ可能

https://www.wikidata.org/wiki/Wikidata:WikiProjects/ja

• 特定のテーマ

(例: 生物学)

• 特定の作業

(例: 曖昧さ回避ページへの対応)

Page 36: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

WikidataとDBpedia

http://wikidata.dbpedia.org/

DBpedia:・Wikipediaの構造化・RDF/Linked Open Data・DBpedia Associationによる運営

Wikidata:・データのWikipedia・RDF/Linked Open Dataは主眼ではない・Wikimedia財団による運営

Page 37: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

動画チュートリアル

•紹介

https://youtu.be/GFh9gVUgbuA

•編集方法

https://youtu.be/645bk8HQ4aw

• SPARQLを用いた検索方法

https://youtu.be/1jHoUkj_mKw

Page 38: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

Edit-a-thon

1. 興味のあるWikipediaのページを検索

2. 対応するWikidataのページの有無を確認

3. ある場合は内容を確認し適宜編集開始

4. ない場合は新規のページを作り編集開始

https://www.wikidata.org/wiki/Special:NewItem

適宜対応するWikipeidaへリンクする

5. 内容を確認し、SPARQLで検索してみる

Page 39: Wikidata - Amazon S3...•ウィキメディアコモンズ媒体 •文字列 •日時 •位置座標(緯度、経度) •URL(ウィキメディアを除くサイトへのリンク)

QA

そのほか、ご意見、ご質問等はこちらまで

@yayamamo

https://www.wikidata.org/wiki/Help:FAQ/ja

https://askplatyp.us/