54
深層学習と物理学 橋本幸士 (阪大理)

深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

  • Upload
    others

  • View
    10

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

深層学習と物理学

橋本幸士 (阪大理)

Page 2: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

富谷昭夫さん(理研BNL)

永井佑紀さん(原子力機構)

田中章詞さん(理研iTHEMS)

Page 3: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

3

Page 4: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

4

Page 5: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性
Page 6: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

6

Page 7: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

7

Page 8: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

8

Page 9: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

9

Page 10: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

10

Page 11: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

11

Page 12: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

12

Page 13: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

13

Page 14: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

14

Page 15: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 16: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

16http://www.asimovinstitute.org/neural-network-zoo/

多くの種類が発明されてきた

1. ニューラルネットワーク

Page 17: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

17

Page 18: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

18

パーセプトロン模型[Rosenblatt 1958]

[Rumelhart, McClelland 1986]ボルツマンマシン

[Ackley, Hinton, Sejnowski 1985]

入力: (v1 ,v2 , v3, …) 出力: f (v1 , v2 , v3 ,…)

ニューラルネットワーク=関数のアンザッツ

-万能近似定理: 多層・多ユニットのニューラルネットワークはあらゆる関数を近似できる [Cybenko 1989] [Roux, Bengio 2008]

機械学習=関数近似

1. ニューラルネットワーク

!<latexit sha1_base64="9FeMx4OJVeD/w8UjL/PXwgxtQ3k=">AAACbnichVHLSsNAFD2N7/poVRBBRLFUXJWpDxRXRTcuq7UqVClJHOvQNAmTaUWLP+BeXAiKgoj4GW78ARf9BHEjKLhx4W0aEBX1hsmcOXPPnTN3DNcSnmKsFtKamlta29o7wp1d3T2RaG/fmueUpcmzpmM5csPQPW4Jm2eVUBbfcCXXS4bF143iYn1/vcKlJxx7Ve27fKukF2yxI0xdEZXblKKwq3Qpnb18NMYSzI/RnyAZgBiCSDvRa2xiGw5MlFEChw1F2IIOj74ckmBwidtClThJSPj7HIcIk7ZMWZwydGKL9C/QKhewNq3rNT1fbdIpFg1JylHE2QO7YS/snt2yR/b+a62qX6PuZZ9mo6Hlbj5yNJh5+1dVollh91P1p2eFHcz5XgV5d32mfguzoa8cnLxk5lfi1XF2yZ7I/wWrsTu6gV15Na+W+copwvQAye/t/gnWJhPJqcTM8nQstRA8RTuGMIYJ6vcsUlhCGlm/Y8c4w3noWRvQhrWRRqoWCjT9+BLaxAff1I6Q</latexit>

f<latexit sha1_base64="w97oUmYU+2jmpuE86fFEsxS0uG0=">AAACZHichVHLSsNAFD2Nr1qrrRZBEKRYKq7K1AeKq6Ibl33YB9RSkjitoWkSkrRQiz+gW8WFKwUR8TPc+AMu+gOCuKzgxoW3aUC0qHeYmTNn7rlzZkYyVMWyGet4hKHhkdEx77hvwj85FQhOz+QsvWHKPCvrqm4WJNHiqqLxrK3YKi8YJhfrksrzUm2nt59vctNSdG3Pbhm8VBermlJRZNEmKlUpByMsxpwID4K4CyJwI6kHb7GPA+iQ0UAdHBpswipEWNSKiIPBIK6ENnEmIcXZ5ziGj7QNyuKUIRJbo7FKq6LLarTu1bQctUynqNRNUoYRZU/sjnXZI7tnL+zj11ptp0bPS4tmqa/lRjlwMpd5/1dVp9nG4ZfqT882Kth0vCrk3XCY3i3kvr55dNHNbKWj7SV2zV7J/xXrsAe6gdZ8k29SPH0JH31A/OdzD4LcSiy+GltPrUUS2+5XeDGPRSzTe28ggV0kkaVzOU5xhnPPs+AXQsJsP1XwuJoQvoWw8AnUkInt</latexit>

Page 19: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

1) {入力値, 出力値} セット(学習データ)を大量に用意2) を変更していくことで、誤差関数 を小さくする

19

“ユニット” (丸印) : ベクトル成分値

φ(x) ≡ 11 + e−x

f = W (2)i φ (W (1)

ij xj)

E ≡ ∑data

f − W (2)i φ (W (1)

ij xj)

パーセプトロンは分類を学習

1. ニューラルネットワーク

“活性化関数” (線の端) : 非線形な成分ごとの作用、固定

“重み” (線) : 線形変換、のちに最適化

W

学習の方法

Page 20: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

20

“ユニット” (丸印) : スピン値“可視ユニット” (黄色): 入力“隠れユニット” (緑色): 積分

学習の方法

1) 入力+出力 のセットを大量に用意2) を変更していくことで、誤差関数

を小さくするW

{(vi, Pex(vi))}

E ≡ DKL (Pex(vi) | |P(vi))

“重み” (線) : スピンスピン結合(のちに最適化)

ボルツマンマシンは確率分布を学習

1. ニューラルネットワーク

Page 21: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 22: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

22

yin = fn(a(n)inin−1

x(n−1)in−1

+ b(n)in

)

x(n−1)in−1

= fn−1(a(n−1)in−1in−2

x(n−2)in−2

+ b(n−1)in−1

))

x(1)i1

= f1(a1i1i0xi0 + b1

i1)

パラメータ : 定数

関数 「活性化関数」

「重み」a(1), a(k), ⋯, a(n)

b(1), b(k), ⋯, b(n)

f1(x), f2(x), ⋯, fn(x)

深層ニューラルネットワーク

2. 深層学習

パーセプトロンを何層にも重ねる

Page 23: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

23

初期層\

第一層

最終層

かくれ層

x

a(1)xa(2)x1 x2

a(1) a(2) f2f1 fn

y

f1(ax) = x1

深層学習=多層ニューラルネットワークでの学習

2. 深層学習

Page 24: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

24

目的に応じて選ぶ 学習の効率化

NNの性質…など

1) sigmoid関数

で発火しないで発火

が発火のしきい値

f(x) = 1e−x + 1

ニューロンの発火をまねて考えられた値

x = 0x > 0x < 0

0 x

f

1

活性化関数は非線形性を与える

2. 深層学習

Page 25: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

25

2) ReLu (Rectified Linear unit)

0 x

多層化による勾配消失の問題を回避できる∂E

∂a(1) = f ′�n f ′ �

n−1 f ′�n−2⋯ とかけあわされる問題)(

f(x) = {x (x ≥ 0)0 (x < 0)

f(x)

多用される標準的な活性化関数

2. 深層学習

Page 26: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 27: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

29

関数 についての問題とは?

順問題 知 知 未知

逆問題(1)初期値問題 知 未知 知

逆問題(2) システム決定問題 未知 知 知

x yf<latexit sha1_base64="w97oUmYU+2jmpuE86fFEsxS0uG0=">AAACZHichVHLSsNAFD2Nr1qrrRZBEKRYKq7K1AeKq6Ibl33YB9RSkjitoWkSkrRQiz+gW8WFKwUR8TPc+AMu+gOCuKzgxoW3aUC0qHeYmTNn7rlzZkYyVMWyGet4hKHhkdEx77hvwj85FQhOz+QsvWHKPCvrqm4WJNHiqqLxrK3YKi8YJhfrksrzUm2nt59vctNSdG3Pbhm8VBermlJRZNEmKlUpByMsxpwID4K4CyJwI6kHb7GPA+iQ0UAdHBpswipEWNSKiIPBIK6ENnEmIcXZ5ziGj7QNyuKUIRJbo7FKq6LLarTu1bQctUynqNRNUoYRZU/sjnXZI7tnL+zj11ptp0bPS4tmqa/lRjlwMpd5/1dVp9nG4ZfqT882Kth0vCrk3XCY3i3kvr55dNHNbKWj7SV2zV7J/xXrsAe6gdZ8k29SPH0JH31A/OdzD4LcSiy+GltPrUUS2+5XeDGPRSzTe28ggV0kkaVzOU5xhnPPs+AXQsJsP1XwuJoQvoWw8AnUkInt</latexit>

y = f(x)

逆問題の一般的性質

・ 直接測れない・ 結果から原因を知る・ 物理定数を決定する・ 物理法則の同定

逆問題(1)

逆問題(2)

物理学の「問題」には種類がある

3. 逆問題と物理学の革新

Page 28: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

33

逆問題 (2) システム決定問題とは:

深層学習は「f 」を求める

データ を元に、関数 を決定する問題f(x)

0 x

y

{(x1, y1), (x2, y2), ⋯}

深層学習はシステム決定問題を解く

3. 逆問題と物理学の革新

Page 29: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

35

ティコ・ブラーエ (1546-1601)

詳細な惑星観測を行なった

ティコ・ブラーエの観測データから「ケプラーの第一法則」を発見(惑星の運動は太陽を焦点とした楕円軌道である)

ヨハネス・ケプラー (1571-1630)

逆問題を解くことは物理学の革新を導く

3. 逆問題と物理学の革新

Page 30: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

36

科学の流れ

モデル 関数形

実験具体的関数データ [フィッティング] 予言

機械学習の位置づけ?

教師付き学習: 関数形の制限がないフィッティング

教師なし学習: データの自動分類

強化学習: 解けなかったモデルを解くトライアル

科学の流れと機械学習

3. 逆問題と物理学の革新

Page 31: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 32: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

38https://subarutelescope.org/Pressrelease/2019/05/29/j_index.html

Page 33: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性
Page 34: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

富谷昭夫さん(理研BNL)

田中章詞さん(理研iTHEMS)

Page 35: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

「機械学習と物理」のトピック

量子多体系の基底状態の波動関数

NNの時空解釈と物理系への応用

自己学習モンテカルロ、有効理論構築

[Carleo Troyer Science355 (2017)602]

[Behler J.Chem.Phys.145(2016)170901]

[Tanaka Tomiya Sugishita KH Phys.Rev.D98(2018)046019]

[Liu Qi Meng Fu Phys.Rev.B95(2017)]

[Ohtsuki Ohtsuki JPSJ85 (2016)123706][Tanaka Tomiya JPSJ86(2017)963001]

相図の予想、相転移の検出

物理量の関係間の写像

解の探索と分類

[Fujimoto Fukushima Murase Phys. Rev.D98(2018)]

[He Phys.Lett.B774(2017)564][Carifio Halverson Krioukov Nelson JHEP09(2017)157]

分子動力学法

Page 36: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

N個のスピンの波動関数: ψ(s1, s2, ⋯, sN)

与えられたハミルトニアンでエネルギーを最小に?

-行列積状態ψ(s1, s2, ⋯) = tr[A(s1)A(s2)⋯]

-テンソルネット状態

ψ(s1, s2, ⋯) = ∑m,n

BmnAms1s2Ans3s4

E = ∑{s1,s2,⋯,sN}

ψ†(s1, s2, ⋯, sN) H ψ(s1, s2, ⋯, sN)

基底状態のためのアンザッツ

4. 物性物理学と深層学習

Page 37: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

49

-ボルツマンマシン状態[Carleo Troyer `17], [Nomura, Darmawan, Yamaji, Imada `17], ..

-フィードフォワードニューラルネット状態[Saito `18], ..

ψ(s1, ⋯, sN) = ∑i

fi σ ∑j

Wijsj + bi

-深層ボルツマンマシン状態[Carleo, Nomura, Imada `18], ..

|ψ⟩ = limτ→∞

e−τH |any⟩ = e−ΔτHe−ΔτH⋯ |any⟩

ニューラルネットワーク状態

4. 物性物理学と深層学習

Page 38: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

50

1) ボルツマンはテンソルネット

2) テンソルネットは深層ボルツマン

3) テンソルネットは「積プーリング」のフィードフォワード

[Chen, Cheng, Xie, Wang, Xiang `18]

[Gao, Duan `17] [Huang, Moore `17]

[Cohen, Shashua `18]

例:2次元反強磁性ハイゼンベルグ模型 ボルツマン

マシン状態のエネルギー

隠れ層の数

[Carleo, Troyer `17]

様々な状態の間の関係

深層学習が勝る場合がある

4. 物性物理学と深層学習

Page 39: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 40: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

20世紀物理学の最後の宿題: 量子重力理論

レッジェ計算[Regge 1961]

力学的単体分割[Ambjorn, Loll 1998]

テンソルネットワーク

ホログラフィー原理の量子コード

[Swingle `09] [Pastawski, Yoshida,

Harlow, Preskill `15]

ミクロの時空はネットワークである

5. 量子重力理論

Page 41: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

53

1974年 米谷、ScherkとSchwarz が、弦理論が重力を含むことを発見。重力の量子論へ。

1997年 Maldacenaが AdS/CFT 対応を発見。(ホログラフィー原理の具体例。)ある量子重力理論が定義される

1976年 Hawking、ブラックホールの情報喪失問題。Hawking, Phys.Rev.D14(1976)2460.

Yoneya, Prog.Theor.Phys. 51 (1974) 1907.

Scherk, Schwarz, Nucl.Phys. B81 (1974) 118.

Maldacena, Adv.Theor.Math.Phys. 2 (1998) 231.

1988年 ループ量子重力。 Rovelli, Smoilin.

1970年 南部、Susskind、Nielsen、ハドロンの弦理論。量子重力の歴史

5. 量子重力理論

Page 42: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

54

2002年 ホログラフィックQCD。 Karch, Katz, JHEP 0206:043.

Kruczenski,Mateos,Myers,Winters JHEP 0405:041.

Sakai, Sugimoto, PTP 113 (2004) 843.

2008年 ホログラフィック超伝導。Hartnoll, Herzog, Horowitz, PRL 101(2008)031601.

2009年 量子重力を創発する条件。Heemskerk,Penedones,Polchinski,Sully, JHEP 0910:079.

2006年 笠、高柳、エンタングルメント公式の発見。Ryu,Takayanagi, JHEP 0608:045.

2014年 KitaevがSYK模型(重力双対量子力学)を発見。

2017年 アインシュタイン方程式(非線形)の導出。Faulkner,Haehl,Hijano,Parrikar,Rabideau,Van Raamsdonk, JHEP 1708:057.

量子重力の歴史

5. 量子重力理論

Page 43: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

55

[Maldacena, Adv.Theor.Math.Phys. 2 (1998) 231]

未だ証明の無い AdS/CFT対応

5. 量子重力理論

・未証明(物理的にも、いわんや数学的にも)・左が与えられた時にどうやって右を得るか?・物理量の一致が多例で知られている・Maldacenaの論文は高エネルギー物理業界で最も引用

(d+1)次元時空上の量子重力

古典アインシュタイン重力

d次元時空上の場の量子論

ラージN極限+強結合

“CFT”(量子力学側) “AdS”(重力側)

Page 44: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

辞書:分配関数の一致

5. 量子重力理論

量子力学の分配関数

=重力理論の分配関数

Z[Dq(t)]e�

RdtL[q,q]�

RdtJ(t)O[q]

<latexit sha1_base64="vzHwG0wYxhk/M/Z7LrVqI65BoyE=">AAACsXichVHLShxBFD22JuoY46gbwU3jYFBIhhoVfKxEXYgI8ZFRw0xn7O4ptZie7p7umgFt+gf8AReuFCSE7PyFbPIDgi7NLmRpIJsscvuBkkiS23TVqXPPuXWrynAt4UvGbtqU9o4nTzu7ujM9z3qf92X7B7Z8p+mZvGg6luPtGLrPLWHzohTS4juux/W6YfFto7YY5bdb3POFY7+Rhy7X6vq+LfaEqUuiKtnVsrBlKSibuqUuhY0xOa6p/F3wKqLVqlSTzGpYarxUy1VHBo1Qu0+ukDwRvCaBFlayOZZncaiPQSEFOaSx5mTfo4wqHJhoog4OG5KwBR0+fSUUwOASpyEgziMk4jxHiAx5m6TipNCJrdG4T6tSytq0jmr6sdukXSz6PXKqGGVX7AO7Y5/ZR/aV/fxrrSCuEfVySLOReLlb6Tse2vzxX1edZomDB9c/e5bYw0zcq6De3ZiJTmEm/tbRyd3m3MZo8IKds2/U/xm7YZ/oBHbru3mxzjdOkaEHKPx53Y/B1kS+MJWfXZ/KzS+kT9GFYYxgjO57GvNYxhqKtO8lrnGLL8qk8lbZVYxEqrSlnkH8FkrtFwSZpng=</latexit>

Z[Dq(t)]e�

RdtL[q,q]

<latexit sha1_base64="Wmw5Yh231V53FFk0//MDz03srBc=">AAACmXichVFNS+NAGH6M39W1Xb0IXoJFcWG3TJeCqye/DiIe1FoV2m5J0tEdTJM0mRY05A/4BwQ97YKI+CcEL7vePfgTxKOCFw++SQOisrtvyMwzz/s+7zwzozum8CRjN21Ke0dnV3dPb6Kv/8NAMvVxcMOzG67BC4Zt2u6WrnncFBYvSCFNvuW4XKvpJt/Ud+fD/GaTu56wrXW55/ByTduxxLYwNElUJZUrCUsW/ZKhmepCUJ+Qn8oq/+5/CWm1KtVWZjko1j+rpaot/XpQDiqpNMuwKNT3IBuDNOJYsVOnKKEKGwYaqIHDgiRsQoNHXxFZMDjEleET5xISUZ4jQIK0DariVKERu0vjDq2KMWvROuzpRWqDdjHpd0mpYoxdszN2z36zc3bLnv7ay496hF72aNZbWu5UkgfD+cf/qmo0S/x4Uf3Ts8Q2vkVeBXl3IiY8hdHSN/cP7/PTa2P+OPvF7sj/T3bDLukEVvPBOFnla8dI0ANk3173e7DxNZPNZaZWc+mZufgpejCCUUzQfU9iBotYQYH2PcIF/uBKGVFmlUVlqVWqtMWaIbwKJf8MLn6dcQ==</latexit>

Z[Dgµ⌫(t, z)]e

�Rdtdz(

p� det gR[g]+··· )

<latexit sha1_base64="ueVmh2huw4gXiUDVB5K8fbEk4XA=">AAACvHichVFNTxQxGH4Z/IBFZYELiZfGDWYJsOkaEtADIerBIywuS7JdNzOd7tBs54OZzibsZP4Af4CDJ0gIMf4GT178Ax44ezLoCRMvHnxndhKjRH3bmT59+j5vn7ZWoGSkKb0YM8Zv3Lx1e2KyNHXn7r3p8szsbuTHIRdN7is/3LPMSCjpiaaWWom9IBSmaynRsvrPsvXWQISR9L2X+jAQHdd0PNmT3NRIdcstJj3dThg3FXmeOt2EuTHz4rSql4eLHVISr5KVLIXY2IeEKdHTVRYdhBp5W2jipI220yFLhHHb1xELpbOvF9NuuUJrNA9yHdQLUIEitvzyOTCwwQcOMbggwAONWIEJEbY21IFCgFwHEuRCRDJfF5BCCbUxZgnMMJHt49/BWbtgPZxnNaNczXEXhV+ISgIL9CN9Q6/oB/qWfqY//loryWtkXg5xtEZaEXSnj+Z3vv9X5eKoYf+X6p+eNfRgPfcq0XuQM9kp+Eg/GB5f7TxpLCQP6Sm9RP8n9IK+xxN4g2/8bFs0XkMJH6D+53VfB7uPavXV2uPt1crm0+IpJuA+PIAq3vcabMIL2IIm7vsOPsEX+GpsGLbRN9xRqjFWaObgtzAGPwEGM6to</latexit>

e�Rdtdz(

p� det gR[g]+··· )

<latexit sha1_base64="p/0KGI8wJq0QPaensaxFUYtBkiw=">AAACnnichVFNS+NAGH6M66p1d616EbwEi4vLsmUqgh+noiBeZLVaLTS1JOk0DqZJTKYFW/oH/AMePIiCLIs/QwRPevLgTxCPCl72sG/TgKio70wyzzzzPu88M2N4tggkYzcdSuenrs/dPb2xvi9fv/XHBwbXA7fqmzxrurbr5ww94LZweFYKafOc53O9Yth8w9ieb61v1LgfCNdZk7seL1R0yxFlYeqSqGJ8JsY3G7804Ui1RL2uajYvy3Et2PEl8SUuVauZyVsF9aeqmSVXBpovrC35o1mMJ1iShaG+BqkIJBDFshv/Aw0luDBRRQUcDiRhGzoCanmkwOARV0CDOJ+QCNc5moiRtkpZnDJ0Yrfpb9EsH7EOzVs1g1Bt0i42fT4pVYyxa/aX3bMLdspu2b83azXCGi0vuzQabS33iv17w6uPH6oqNEpsPane9SxRxnToVZB3L2RapzDb+lp9/351NjPW+M6O2R35P2I37IxO4NQezJMVnjlAjB4g9fK6X4P1iWRqMjmzMplIz0VP0YMRjGKc7nsKaSxiGVna9xDnuMSVoioLypLyu52qdESaITwLJfcfVrufLw==</latexit>

古典化

t

<latexit sha1_base64="tLkLnIEoJt2U9SV8G+VBiBNRZHM=">AAACZXichVHLSgMxFD0dX3V81QciuFAsiquSSsHHqujGZR/WFlRkZkw1dF7MpIVa/AFxqy5cKYiIn+HGH3DhF4i4VHDjwtvpgKioNyQ5Obnn5iTRXVP4krGHiNLW3tHZFe1We3r7+gdig0PrvlP1DF4wHNPxSrrmc1PYvCCFNHnJ9bhm6SYv6pWV5n6xxj1fOPaarLt8y9J2bVEWhiaJyqlyOxZnCRbE5E+QDEEcYWSc2BU2sQMHBqqwwGFDEjahwae2gSQYXOK20CDOIySCfY4DqKStUhanDI3YCo27tNoIWZvWzZp+oDboFJO6R8pJTLN7ds1e2B27YU/s/ddajaBG00udZr2l5e72wOFY/u1flUWzxN6n6k/PEmUsBF4FeXcDpnkLo6Wv7Z++5Jdy040ZdsGeyf85e2C3dAO79mpcZnnuDCp9QPL7c/8E63OJZCqxmE3F08vhV0QxjinM0nvPI41VZFCgc8s4wjFOIo9KnzKijLZSlUioGcaXUCY+ACulihQ=</latexit>

J(t)

<latexit sha1_base64="K4D9wAQcEXqu7FvC84wbzAatmPI=">AAACaHichVHLSsNAFD2N7/iqulBxUyxK3ZSJFHysRDfiyldboUpJ4lSHpklIpgUt/oAblyquFETEz3DjD7jwE9RlBTcuvE0DokW9w8ycOXPPnTMzhmsJXzL2FFFaWtvaOzq71O6e3r7+6MBgxnfKnsnTpmM53pah+9wSNk9LIS2+5XpcLxkWzxrFpfp+tsI9Xzj2pjxw+U5J37NFQZi6JCqtriTkVD4aZ0kWRKwZaCGII4xVJ3qDbezCgYkySuCwIQlb0OFTy0EDg0vcDqrEeYREsM9xBJW0ZcrilKETW6Rxj1a5kLVpXa/pB2qTTrGoe6SMYYI9sltWYw/sjj2zj19rVYMadS8HNBsNLXfz/ccjG+//qko0S+x/qf70LFHAbOBVkHc3YOq3MBv6yuFpbWN+faI6ya7YK/m/ZE/snm5gV97M6zW+fgGVPkD7+dzNIDOd1FLJubVUfGEx/IpOjGEcCXrvGSxgGatI07kCJzjDeeRFiSrDymgjVYmEmiF8C2X8E9Ogis0=</latexit>

J(t) = gtt(t, z = 0)

<latexit sha1_base64="SZoPl6aIHRm9z4zqT5yKO/TdGQU=">AAACeHichVHLSsNAFD2N7/qquhHcFIvagpRbEXxAoehGXNVHVVApSZzWYJqEZFqoxR/wB1y4EAXR4me48Qdc+AniUkEQF96mAVFR7zAzZ87cc+fMjOaYhieJHkJKS2tbe0dnV7i7p7evPzIwuOHZZVcXOd02bXdLUz1hGpbISUOaYstxhVrSTLGpHSw29jcrwvUM21qXVUfsltSiZRQMXZVM5SND4eW4TKSL+ZqUR3E5eZimRD4SoyT5Ef0JUgGIIYisHbnCDvZgQ0cZJQhYkIxNqPC4bSMFgsPcLmrMuYwMf1/gCGHWljlLcIbK7AGPRV5tB6zF60ZNz1frfIrJ3WVlFGN0T3V6pju6oUd6/7VWza/R8FLlWWtqhZPvPx5ee/1XVeJZYv9T9adniQJmfa8Ge3d8pnELvamvHJ48r82vjtXG6YKe2P85PdAt38CqvOiXK2L1FGH+gNT35/4JNqaSqenk3Mp0LLMQfEUnRjCKOL/3DDJYQhY5PreKM1yjHnpTosqEkmimKqFAM4QvoUx9AA9HkEU=</latexit>

z

<latexit sha1_base64="l3CFa/5SKMkRcxZGpWgHYMTU2Tc=">AAACZXichVHLSsNAFD2Nr1qtrQ9EcGGxKK7KVAo+VkU3LvuwD6ilJHFaQ9MkJGmhLf6AuFUXrhRExM9w4w+46BeIuKzgxoW3aUC0qHeYmTNn7rlzZkYyVMWyGet4hKHhkdEx77hvYtI/FQhOz2QtvW7KPCPrqm7mJdHiqqLxjK3YKs8bJhdrkspzUnW3t59rcNNSdG3fbhq8WBMrmlJWZNEmKuVrlYJhFmFOhAZB1AVhuJHQg7c4wCF0yKijBg4NNmEVIixqBUTBYBBXRJs4k5Di7HMcw0faOmVxyhCJrdJYoVXBZTVa92pajlqmU1TqJilDWGFP7I512SO7Zy/s49dabadGz0uTZqmv5UYpcLKQfv9XVaPZxtGX6k/PNsrYdLwq5N1wmN4t5L6+0broprdTK+1Vds1eyf8V67AHuoHWeJNvkjx1CR99QPTncw+C7HokGotsJWPh+I77FV4sYhlr9N4biGMPCWTo3DJOcYZzz7PgF+aE+X6q4HE1s/gWwtInN6WKGg==</latexit>

t

<latexit sha1_base64="tLkLnIEoJt2U9SV8G+VBiBNRZHM=">AAACZXichVHLSgMxFD0dX3V81QciuFAsiquSSsHHqujGZR/WFlRkZkw1dF7MpIVa/AFxqy5cKYiIn+HGH3DhF4i4VHDjwtvpgKioNyQ5Obnn5iTRXVP4krGHiNLW3tHZFe1We3r7+gdig0PrvlP1DF4wHNPxSrrmc1PYvCCFNHnJ9bhm6SYv6pWV5n6xxj1fOPaarLt8y9J2bVEWhiaJyqlyOxZnCRbE5E+QDEEcYWSc2BU2sQMHBqqwwGFDEjahwae2gSQYXOK20CDOIySCfY4DqKStUhanDI3YCo27tNoIWZvWzZp+oDboFJO6R8pJTLN7ds1e2B27YU/s/ddajaBG00udZr2l5e72wOFY/u1flUWzxN6n6k/PEmUsBF4FeXcDpnkLo6Wv7Z++5Jdy040ZdsGeyf85e2C3dAO79mpcZnnuDCp9QPL7c/8E63OJZCqxmE3F08vhV0QxjinM0nvPI41VZFCgc8s4wjFOIo9KnzKijLZSlUioGcaXUCY+ACulihQ=</latexit>

gµ⌫(t, z)

<latexit sha1_base64="Cv5DbeDjnRvlH3a9kezPn/gf5So=">AAACdHichVHLSsNAFD2Nr1ofrboRdCGWSgUpUxF8rIpuXLbWqtCWksSxhuZFMinY0h/wB1y4UhQRP8ONP+DCTxCXFd248DYNiBb1hsmcOXPPnTNzFVvXXMHYU0jq6x8YHAoPR0ZGx8ajsYnJPdfyHJUXVEu3nANFdrmumbwgNKHzA9vhsqHofF+pbXX29+vccTXL3BUnNi8bctXUjjRVFkRVYtFqpVkyvJLptZJiqbFYicVZivkx1wvSAYgjiKwVu0EJh7CgwoMBDhOCsA4ZLn1FpMFgE1dGkziHkObvc7QQIa1HWZwyZGJr9K/SqhiwJq07NV1frdIpOg2HlHNIsEd2y9rsgd2xZ/bxa62mX6Pj5YRmpavldiV6Op1//1dl0Cxw/KX607PAEdZ8rxp5t32mcwu1q683ztr5jZ1Ec4Fdshfyf8Ge2D3dwKy/qtc5vnOOCDUg/fO5e8Heciq9klrPrcQzm0ErwpjBPJL03qvIYBtZFPyenOMK16E3aVaKS4luqhQKNFP4FlLqExQYj+8=</latexit>

ソース を導入J(t)

<latexit sha1_base64="K4D9wAQcEXqu7FvC84wbzAatmPI=">AAACaHichVHLSsNAFD2N7/iqulBxUyxK3ZSJFHysRDfiyldboUpJ4lSHpklIpgUt/oAblyquFETEz3DjD7jwE9RlBTcuvE0DokW9w8ycOXPPnTMzhmsJXzL2FFFaWtvaOzq71O6e3r7+6MBgxnfKnsnTpmM53pah+9wSNk9LIS2+5XpcLxkWzxrFpfp+tsI9Xzj2pjxw+U5J37NFQZi6JCqtriTkVD4aZ0kWRKwZaCGII4xVJ3qDbezCgYkySuCwIQlb0OFTy0EDg0vcDqrEeYREsM9xBJW0ZcrilKETW6Rxj1a5kLVpXa/pB2qTTrGoe6SMYYI9sltWYw/sjj2zj19rVYMadS8HNBsNLXfz/ccjG+//qko0S+x/qf70LFHAbOBVkHc3YOq3MBv6yuFpbWN+faI6ya7YK/m/ZE/snm5gV97M6zW+fgGVPkD7+dzNIDOd1FLJubVUfGEx/IpOjGEcCXrvGSxgGatI07kCJzjDeeRFiSrDymgjVYmEmiF8C2X8E9Ogis0=</latexit>

[Gubser, Klebanov, Polyakov, Phys.Lett.B428(1998)105]

[Witten, Adv.Theor.Math.Phys. 2 (1998) 253]

古典解

Page 45: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 46: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

深層学習

ブラックホール物理系 創発時空

ホログラフィー原理

「猫」

[Maldacena ‘97]

時空をニューラルネットワークと見る

6. AdS/CFT対応と深層学習

Page 47: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

59

ホログラフィー 深層学習

創発空間方向 層の深さ

重力場 ネットワークの重み

量子系の実験データ 入力データ

ブラックホール条件 出力データ

重力相互作用 活性化関数

[田中、富谷、杉下、橋本 `18]

時空をニューラルネットワークと見る

6. AdS/CFT対応と深層学習

Page 48: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

最も簡単化した重力側の理論を用意

60

未知の5次元時空上のスカラー場理論

f � �2, g � const.f � g � exp[2�/L]境界 ( ) でAdS :� � �

ブラックホール ( ) :� � 0

ds2 = �f(�)dt2 + d�2 + g(�)(dx21 + · · · + dx2

d�1)

辞書:運動方程式の解は量子力学の応答

������=0

= 0

境界 ( ) :� � �

ホライズン ( ) では :� � 0

[Klebanov, Witten `98]

⟨ψ ψ⟩mq

ϕ = mq e−η + ⟨ψ ψ⟩ e−3η

1802.08313

1809.10536S =

Zd⌘d4x

pdet g

⇥(@⌘�)

2 � V (�)⇤

<latexit sha1_base64="TFyvaO4nUBjzbL0k2HMZOKHqRSU=">AAACtXichVFNaxNBGH66ftX40VQvgpfBUIkHw6QfVApC0YvHtDFpIZOG2d1JMnSyu85Ogm3oH+gf6MGTgoh49w948Q94KHhVEI8VvHjwzWZBtKjvMDPPPPM+7zwz4ydGp47z4xnvzNlz5y/MXixcunzl6lxx/lozjYc2UI0gNrHd9mWqjI5Uw2ln1HZilRz4Rm35uw8n+1sjZVMdR4/dXqLaA9mLdFcH0hHVKdbq7D4TOnIsFMpJFu4sP2UifWLdWITKsd4BE0Z1XYuVRSKt09J0skSR9PWdnUV2lzXLGRZW9/qu3SmWeIVnwU6Dag5KyKMWF19BIESMAEMMoBDBETaQSKm1UAVHQlwbY+IsIZ3tKxygQNohZSnKkMTu0tijVStnI1pPaqaZOqBTDHVLSoYF/oG/5if8PX/Dv/Aff601zmpMvOzR7E+1KunMHd6of/+vakCzQ/+X6p+eHbq4l3nV5D3JmMktgql+tH90Ul/bXBjf5i/4V/L/nB/zd3SDaPQteLmhNp+hQB9Q/fO5T4PmYqW6VFnZWC6tP8i/YhY3cQtleu9VrOMRamjQuW/xEZ/w2Vv12l7odaep3kyuuY7fwot/AlMkp1I=</latexit>

6. AdS/CFT対応と深層学習

Page 49: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

運動方程式をNNで表す

61

空間を離散化ハミルトン形式 �(� + ��) = �(�) + ��

�h(�)�(�) � �V (�(�))

��(�)

��(� + ��) = �(�) + �� �(�)

Feedforward NN表現

運動方程式 �2�� + h(�)��� � �V [�]

��= 0

h(�) � ��

�log

�f(�)g(�)d�1

�メトリック

��

� � = 0� = ��

���=0

= 0

6. AdS/CFT対応と深層学習

Page 50: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

量子力学(QCD)のデータでNNを学習させる

62

学習された (AdS半径)-1 : 1/L = 237(3)[MeV]スカラー場の自己結合 : λ/L = 0.0127(6)

6. AdS/CFT対応と深層学習

Page 51: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

学習で創発した時空から、予言してみる

64

学習で創発した時空

アインシュタイン方程式の解では無い。量子重力効果? Cf [Hyakutake `14]

Cf) 人間が慮った時空

ds2 = ecz2/2

z2 ((1 − z4)dt2 + dx2i + 1

1 − z4 dz2)

[Andreev, Zakharov, `06, `07]

Volumefactor

6. AdS/CFT対応と深層学習

Page 52: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

学習で創発した時空から、予言してみる

65

Volumefactor

クォーク間ポテンシャル

Proceduresbased on

[Maldacena][Rey,Theisen,Yee]

[Petreczky, `10]

6. AdS/CFT対応と深層学習

学習で創発した時空

Page 53: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

物理学から見る深層学習

深層学習による物理学

1. ニューラルネットワーク2. 深層学習3. 逆問題と物理学の革新

4. 物性物理学と深層学習5. 量子重力理論6. AdS/CFT対応と深層学習

Page 54: 深層学習と物理学物理学から見る深層学習 深層学習による物理学 1. ニューラルネットワーク 2. 深層学習 3. 逆問題と物理学の革新 4. 物性

70

物理学における機械学習は「第3の実験」A-1

実験 理論

第1の実験 実世界での実験第2の実験 数値実験 (仮想世界での実験)第3の実験 機械学習