Hadoop Conference Japan 2016 LT資料　グラフデータベース事始め

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

グラフデータベース事始め

日本オラクル株式会社ビッグデータ系の製品とか担当エンジニア

中井亮矢([email protected])

1

Hadoop Conference Japan 2016 ライトニングトーク


•以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

2

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。


3

何気に人気のグラフデータベース


グラフブーム到来

4

出典:日経コンピュータ,ITPro 出典:TechTarget Japan

出典:IT Leaders

出典:@IT


グラフデータベース構築！

5

(*´∀｀*)


グラフデータベースサンプル動かしました！映画俳優、共演、可視化！

＼(*T▽T*)／ 6


グラフデータベース性能！大規模！スケール！沢山トラバーサル (｀・ω・´)ｷﾘｯ

7


が、、、ふと立ち止まる・・・（´・ω・｀）

8

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 9

何に使えば・・・・ (ﾉω･､)


主たる（期待される）用途

いろんな非構造データの受け皿・分析

10


受け皿

スキーマレス色んなデータ

あなた色で受けとめる

（*/∇＼*） 11


分析

知る数値化,全体構造/個体の位置

見る可視化

切るクラスタ・スコアリング

12

尊敬(Level:中)

信頼(6)

便利(頻度:週一) (事例:援軍)

尊敬(Level:兄貴) 殺意(Level:MAX)

便利 [頻度：毎日] [事例：草履/殿軍]

恐怖(対象:没後) (対応:隔離)

3

1

2

2


よろしいならば分析だ

( ﾟдﾟ )ｸﾜ

13


ありがちモデリング

14

( ･∀･)

( ･ὢ･ ) (´▽`)

(๑•﹏•) (´･ε･ ̥ˋ๑)

ソーシャルデータ

(･ ิω･ ิ )


そんなデータ社内にねぇ

FBデータも買えねぇよヽ(｀Д´#)ﾉ

15


そんなあなたに

２部グラフ

16


メールなんて結構お手軽

17

( ･∀･) ( ･ὢ･ ) (´▽`)

(๑•﹏•) (´･ε･̥ˋ๑)

(･ ิω･ ิ )

メーリングリストA

スレA スレB 投稿

投稿

レスレス

レスレスレス

レス

スレ単位もよし From/Toだけもよしキーワードでもよし


( ･∀･) ( ･ὢ･ )

(´▽`) (๑•﹏•) (´･ε･̥ˋ๑)

(･ ิω･ ิ )

人間グラフも作れます

graphM %*% t(graphM)


スレのクラスターも作れます

スレB

スレC

スレD

スレA

スレE スレF

スレG

メールの全自動仕分け


Visualized by Cytepscape

可視化

そのまま可視化でもなんかわかるかも


グラフ化の前に

21

メールアーカイブ

CC: も追加投稿数で重みづけレスの多さで重みづけ投稿内容をQAと情報提供で分類投稿文書のキーワード抽出メーリングリストも対象に

少し味付けあとは結構、力技

正規化

集計(group by)

形態素解析


グラフ技

22

重要情報発信者隠れコミュニティ隠れスキルホルダー

影のメーリス王者コミュ活性化のカギハブられっ子

コミュニティ抽出コンダクタンス

巨大ファイルアタッチメント派閥座敷童情報伝達の方向

わかるかもしれないこと

スコアリング

媒介中心性近接中心性固有ベクトル中心性可視化


仕事じゃねぇヽ(｀Д´#)ﾉ

23


商品C 商品D 商品A 商品B 商品E

顧客A 顧客B 顧客C 顧客D

売上単位でもよし伝票単位でもよし商品カテゴリでもよし

売上データ・・・


可視化

25

データ出典:新潟県ITビジネスフォーラムデータ分析の勧め

でっかいオーダーは食彩鍋が基本でサイズ違いが同じ店舗で売れている

総売り上げのでかい天ぷら鍋は意外とでっかいオー

ダーに絡んでない


商品データ

グラフ化の前に

26

注文単位店舗単位売上額で重みづけ売上個数で重みづけ商品の粒度商品カテゴリ顧客の属性店舗の属性商品の属性

少し味付けあとは結局、力技

正規化

集計 (group by)

統計

技術者魂

店舗データ

売り上げデータ


グラフ技

27

売上優秀店舗の共通点

商品のクラスタ隠れ優良店舗

隠れ優良商品


店舗のクラスタ

意外な売れ線

顧客のクラスタ


スコアリング

媒介中心性近接中心性固有ベクトル中心性

新規セット販売商材への道

商品の隠れた属性

可視化


グラフ技

28

売上優秀店舗の共通点

商品のクラスタ隠れ優良店舗

隠れ優良商品


店舗のクラスタ

意外な売れ線

顧客のクラスタ


スコアリング

媒介中心性近接中心性固有ベクトル中心性

新規セット販売商材への道

商品の隠れた属性

可視化

結局やることはほとんど同じです


行形式のデータでも、、

29

伝票番号商品CD 商品名大分類名分類名売上日得意先名売上数

売上金額粗利益

1001439 2305200 Pｵｲﾙﾎﾟｯﾄ 1.2L 鍋類フライパン 2012/7/1 Ｂ配送センタ 44 15620 2640

accessログでも crawl139.tkl.iis.u-tokyo.ac.jp - - [08/Feb/2016:05:57:47 +0900] "GET /uploads/2012/03/20140530-A1-10-low.jpg HTTP/1.1" 304 - "http://www.takahiroyoshikawa.com/ja/concert/" "Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)"


たいてい関心事を絡めてグラフを興せます

30


データを探す

データを突っ込む

知る見る切る

なんか分かる

味付けを探す


さあ、データを探そう！

32


PGX Parallel Graph AnalytiX (PGX) • 並列グラフ解析エンジンPGX

– Oracle Labの成果物PGXをベースに実装されています

– 製品版(Big Data Spatial and Graph)は、これをベースに拡張されたものになります

– Apache TinkerPop対応

– 30超のアルゴリズム実装 • 中心性演算,SALSA, 頂点被覆,PageRank,コミュニティ抽出,グラフ変換,弱連結成分抽出,counting triangle...etc.

– 並列グラフ演算は昨今活発に研究開発が行われている領域になりSCなどのHPC領域でもOracle Laboratories からの論文発表も活発に行われています

• Oracle Lab版PGXはOTNのOracle Labsからダウンロードして利用可能です

33

Oracle Technology Network >> Oracle Labs >> Parallel Graph Analytics >> Overview Welcome to Parallel Graph Analytics (PGX) http://www.oracle.com/technetwork/oracle-labs/parallel-graph-analytics/overview/index.html

ロイヤリティフリー (OTN License)

このページは広告です

＞＞＞スキップする

Oracle PGX


ご清聴ありがとうございました

その他、Hadoop関連Oracle製品↓ www.slideshare.net/oracle4engineer/

oraclehadoop

34

http://www.slideshare.net/oracle4engineer/oraclehadoop





0120-155-096 （平日9:00-12:00 / 13:00-18:00）

http://www.oracle.com/jp/direct/index.html

各種無償支援サービスもございます。

Oracle Direct 検索

Oracle Direct あなたにいちばん近いオラクル

http://www.oracle.com/jp/direct/index.html


Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | 37

Software

Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め

Hadoop Conference Japan 2016 LT資料　グラフデータベース事始め