2.2 Tensor Representations

2.3 Supra-adjacency Representations

電気通信大学大学院情報システム学研究科

社会知能情報学専攻栗原研究室所属M１ 芦原佑太

1

自己紹介• 電気通信大学大学院 M1

• 卒業研究は「ある二次元波動方程式に対するRayleigh波の構成」

→数学コースの出身です．ネットワーク？知りません．

• Red Bull 中毒者

• 今年から栗原研究室，そして今年からDeep Learning の研究をします．

2

この節の目的• 池田によって紹介されたグラフ理論を，もう少し数理的に見ることを考える際に，行列による表現を行うための準備をする．

マルチレイヤネットワーク 行列表現3

序論ーそもそもテンソルー• 階数の数だけ軸の数が増えた配列と考えると分かりやすい．

• ０階のテンソルはスカラー量

• １階のテンソルはベクトル

• ２階のテンソルは行列

• ３階のテンソルは，行列の重なりのようなもの

• ３階テンソルの見た目は次スライドで

4

序論ーそもそもテンソルー• 可視化する限度は３階までが限界と思われる．

http://solid4.mech.okayama-u.ac.jp/%E3%83%86%E3%83%B3%E3%82%BD%E3%83%AB.pdfより

5

2.2テンソル表現• グラフの理論の話から，ノードの集合Ｖとアスペクト数がｄの時で，マルチレイヤネットワークがnode-aligned

であるとき，隣接テンソルは以下のように表される

• このテンソルの階数は２(ｄ+１)である．

6

2.2テンソル表現• テンソルの表記と成分が持つ値を定義する．前の節で定義したα={α1，α2，…，αｄ}，βを用いて表せば

• また，Ｗは辺の重みを成分とする隣接重みテンソルである．

7

2.2 テンソル表現• 上記で定義されたテンソルは node-aligned であるマルチレイヤネットワークにおいてのみ適切な表現であったが, によれば,空のノード (他のとのノードとも隣接しないノード) を追加することによって, それ以外のネットワークにおいても上記のテンソルを採用することか できる．

8

2.2.1 制約• テンソルの低ランク表現を可能にするために，いくつかの制約を加えてテンソルの持ついくつかの要素を０にする．

• 例えば，レイヤが同じでなければ，あるいはノード名が同じでなければ，テンソルの要素を０にする，といった制約である．

• 上記の制約を設ければ，前者のテンソル，後者のテンソルをそれぞれ

で定義できる．

9

2.2.1 制約• こうした制約を満たすテンソル毎に分けることで，全体のテンソルは制約によって分けられたテンソルの和で表現できる．

同じノード名で結ばれた辺のみ許される場合10

2.2.2テンソルの平滑化• ｉとｊの基本レイヤを新しいｈという基本レイヤに合わせることで基本レイヤの数を減らすことができる.

この時, レイヤの表現は以下のようになる

• 処理を1回行うと,基本レイヤ数ｄのネットワークに対して,平滑化後では,数を (ｄ − １) に変更することができる.

11

2.3 Supra-adjacency Representation

• グラフをテンソルによって表現し(2.2節)，制約と平滑化によって，最終的には, supra-adjacency matrixという行列による表現に落とし込むこと．

• 隣接行列から,supra-Laplacian matrix を引き出すことができる.node-layer の強さ (あるいは多重度)をＤMという行列で表現し, supra-adjacency matrix をＡM で表現すると,supra-Laplacian matrix は

で表される．

12

2.3 Supra-adjacency Representation

• 平滑化を行う関数を一般にｆとして定義して

• これにより，テンソル積を×f として

を定義する．

13

2.3 Supra-adjacency Representation

• 前のページで作られたsupra-Laplacian matrix は，一般のラプラシアン行列と同じ性質を持つので，固有値に重要な性質を持つ．まず，ラプラシアン行列についての例を述べる．

14

2.3 Supra-adjacency Representation

• について見てみると，この行列は固有値０とそれに対応する固有ベクトル(１，１，１，１，１)を持っている．

15

2.3 Supra-adjacency Representation

• 次に，非連結のグラフについて見てみると

• ラプラシアン行列は

• 二つの行列成分に分割できる．16

2.3 Supra-adjacency Representation

• 固有値を計算してみると

• 固有値０は二重根である．

つまり，グラフを部分的に分割できるかとうかは，０固

有値の数によって分かる．

17

まとめ• グラフを行列表現に落とし込むための導入と，ラプラシアン行列の固有値の持つ意味を説明した．

• 工学への応用を考える際の理論を理解するのが難しく，分からないことが多いが，この輪読会の後編で説明される内容を噛み締めながら，理解したいと思います．

18