方向統計学における推測理論とホロノミック勾配法bayes.sigmath.es.osaka-u.ac.jp/ftanaka/workshop/r15s/sei.pdf · 方向統計学とは積分の対処法ホロノミック勾配法

方向統計学とは積分の対処法ホロノミック勾配法関連する話題

.

.

方向統計学における推測理論とホロノミック勾配法

清智也

東京大学

2015年 11月 12日RIMS研究集会「量子統計モデリングのための基盤構築」

発表後に若干修正

1 / 34


Outline

.

. .

1 方向統計学とは

.

. .

2 積分の対処法

.

. .

3 ホロノミック勾配法

.

. .

4 関連する話題

2 / 34


はじめに

方向統計学とは？狭義には「球面上のデータに対する統計学」広義には「多様体上のデータに対する統計学」

参考文献: 清水 (2006), Mardia & Jupp (2000).

.

Example

.

.

.

方向データの例風向 (2-dim)

地磁気の向き (3-dim)

星の方角 (3-dim)

形状データ (e.g. Dryden & Mardia 1998) → 次のページ成分データ (e.g. Schealy and Welsh 2011) → 今回は略

3 / 34


形状データ (shape data)

ユークリッド空間の点列データ (landmarks)．平行移動，拡大縮小，回転の違いを同一視

1

2

3

4 5

6

71

2

3 4

5

67

12

345

6

7

応用：計算解剖学

4 / 34


形状空間 (shape space)

landmarks: X ∈ Rk×m

さっきの例では k = 7, m = 2.

shape: 平行移動，拡大縮小，回転による同値類

[X] = {1kz> + βXΓ | z ∈ Rm, β > 0, Γ ∈ SO(m)}.

商空間を shape spaceと呼ぶ．m = 1の場合は球面 Sk−2．m = 2の場合は複素射影空間 CPk−2．m ≥ 3は複雑．特異点がある． (e.g. Kendall et al. 1999)

5 / 34


方向統計学に現れる確率分布方向統計学に現れる確率分布としては，次の 2つが典型的：

π φ

沈め込みの場合埋め込みの場合

「周辺分布」「条件付き分布」

全空間の分布は多変量正規分布など．6 / 34


.

Example

.

.

.

球面 Sp−1 ⊂ Rp は沈め込みとも埋め込みとも見なせる．沈め込み→ 射影正規分布（多変量正規分布を射影）

f (x) =

∫ ∞

0φ(rx |µ, Σ)dr , x ∈ Sp−1.

ただし φ(x |µ, Σ) = 1(2π)p/2|Σ|1/2 e

− 12(x−µ)>Σ−1(x−µ).

埋め込み→ Fisher-Bingham分布（多変量正規分布を制限）

f (x) =φ(x |µ, Σ)∫

Sn−1 φ(x |µ, Σ)dx, x ∈ Sp−1.

これは指数型分布族（エントロピー最大化分布族）．

7 / 34


.

Example

.

.

.

形状空間は沈め込み．

π : Rk×m → Σkm

X 7→ [X]

代表的な分布としてオフセット正規分布がある．オフセット正規分布：landmarks が多変量正規分布に従っていると仮定したときの，shapeの分布．

文献：Dryden & Mardia (1998)

8 / 34


積分計算の必要性

周辺密度と条件付き密度は，いずれも積分を含む．

f (x) =

∫uf (x , u)du, f (x |u) =

f (x , u)∫u f (x , u)du

ここで f (x , u)は同時密度．方向統計学では積分を陽に表せないケースが多い．

.

Example

.

.

.

円周上の von Mises分布

f (x) =eθ cos(x−µ)

2πI0(θ), x ∈ [0, 2π) ' S1,

ここで I0(θ) = 12π

∫ 2π0 eθ cos xdx は第 1種変形ベッセル関数．

9 / 34


対処法

このような，積分を含む確率分布のパラメータを推定したいとき，いくつかの対処法がある．（方向統計学に限らない）

.

.

.

1 頑張って積分計算する．級数法，鞍点法，モンテカルロ法，ホロノミック勾配法

.

.

.

2 積分計算しない．別の推定法を用いる．スコアマッチング推定，ベイズ推定 + MCMC

.

.

.

3 積分計算しない．別のモデルを用いる．変数変換モデル

それぞれ概観する．

10 / 34


セットアップ

「データが多様体上の点であること」を除けば標準的．

X：多様体（主に X = Sp−1）．x1, . . . , xn ∈ X：方向データ

dx：基準測度f (x |θ)：統計モデル（

∫X f (x |θ)dx = 1, f ≥ 0）

θ ∈ Θ ⊂ Rd：パラメータ

x1, . . . , xniid∼ f (x |θ0)と仮定．θ0は未知．

θ : X n → Θ ：推定量

本講演ではパラメータ推定のみ考える．リスクは漸近分散で測る． lim

n→∞nE [(θ − θ0)

2]

11 / 34


対処法 1：積分計算する場合最尤法： θ = argmax

∑ni=1 log f (xi |θ)

漸近分散は最適だが，計算が厄介．指数型分布族の場合

f (x |θ) =eθ>t(x)

Z (θ), Z (θ) =

∫X

eθ>t(x)dx ← こいつが曲者

べき級数法：Z (θ) =∑

k∈Nd0

θk

k!

∫X t(x)kdx .

鞍点法：フーリエ表示してから鞍点近似．(Kume & Wood 2005)

モンテカルロ法：Z (θ) ' 1N

∑Ni=1 eθ>t(ξi ), ξ1, . . . , ξN ∼ dx .

ホロノミック勾配法：微分方程式を利用．→ 後半で詳しく

いずれも一長一短．（例：べき級数は原点近傍で良好）12 / 34


対処法 2-1：スコアマッチング推定

簡単のため X = S1 ' [0, 2π)（円周）とする．x1, . . . , xn ∈ [0, 2π).

スコアマッチング推定量 (Hyvarinen 2005)

θ = argmin1

n

n∑i=1

S(xi , θ),

where S(x , θ) = ∂x2 log f (x |θ) +

1

2(∂x log f (x |θ))2.

指数型分布 f (x |θ) = eθ>t(x)

Z(θ) の場合，∂x log f (x |θ) = θ>t ′(x)

となり，Z (θ)が消える！漸近分散は最適ではない．

13 / 34


.

Example (von Mises 分布)

.

.

.

von Mises 分布 f (x |θ) = eθ cos x

Z(θ) , x ∈ [0, 2π).

スコアマッチング推定量：θ =

∑ni=1 cos xi∑ni=1 sin2 xi

.

リスクの比較 (最尤法 vs スコアマッチング)

0 2 4 6 8 10

02

46

810

1214

θ

Err

or

MLESME

この図の作成には後述のホロノミック勾配法を利用している．参考文献：「グレブナー教室」 (2015)

14 / 34


.

付録：スコアマッチング推定量の導出

.

.

.

次の「ダイバージェンス」を考える：

D(θ0, θ) =1

2

∫ 2π

0

f (x |θ0) {∂x log f (x |θ0)− ∂x log f (x |θ)}2 dx .

部分積分で変形（θによらない項は無視）

D(θ0, θ) ≡∫ 2π

0

f (x |θ0)

{∂2

x log f (x |θ) +1

2(∂x log f (x |θ))2

}dx .

最後に，真の分布 f (x |θ0)を経験分布に置き換える：

1

n

n∑i=1

{∂2

x log f (xi |θ) +1

2(∂x log f (xi |θ))2

}.

一般的な枠組み → local scoring rules (Parry et al. 2012)

15 / 34


対処法 2-2：ベイズ法+ MCMC

指数型分布族 f (x |θ) = eθ>t(x)

Z(θ) を仮定．事前分布 π(θ)を仮定し，マルコフ連鎖モンテカルロ法(MCMC) を用いるにしても，そのままでは積分が残る．Metropolis アルゴリズムの場合，採択率は

r = min

(1,

f (x |θ)π(θ)

f (x |θ)π(θ)

)= min

(1,

e θ>t(x)Z (θ)π(θ)

eθ>t(x)Z (θ)π(θ)

)

となり，Z (θ)が残る．exchange algorithm という方法を用いると，採択率から Z (θ)を消すことが可能．(Murray et al. 2006, Fallaize & Kypraios 2014)

M1狩野君に教わりました．

16 / 34


対処法 3：別のモデルを用いる

積分が含まれないモデルを作る．簡単な分布を変数変換すれば，必要な計算はヤコビアンのみ．円周上のコーシー分布 (McCullagh 1996)

f (z |θ) =1− |θ|2

2π|z − θ|2, z , θ ∈ C, |z | = 1, |θ| < 1.

複素数のメビウス変換（一次分数変換）を利用している．球面の場合，最適輸送写像を用いて複雑な分布を作ることもできる．詳細略．(S. 2013)

17 / 34


積分の対処法

（再掲）

.

.

.

1 頑張って積分計算する．級数法，鞍点法，モンテカルロ法，ホロノミック勾配法

.

.

.

2 積分計算しない．別の推定法を用いる．スコアマッチング推定，ベイズ推定 + MCMC

.

.

.

3 積分計算しない．別のモデルを用いる．変数変換モデル

18 / 34


ホロノミック関数

以下，ホロノミック勾配法について説明する．解析関数 h(θ) (θ ∈ Rd or Cd) がホロノミック関数であるとは，次の形の d 個の線形偏微分方程式が成り立つことであるri∑

j=0

aij(θ)

(∂

∂θi

)j

h = 0, aij(θ) ∈ C[θ1, . . . , θd ]︸︷︷︸多項式全体

, i = 1, . . . , d .

すなわち，θ1, . . . , θd のいずれの方向についても線形常微分方程式が成り立つということ．

.

Example

.

.

.

有理関数はホロノミックexp(有理関数)もホロノミック

19 / 34



次の事実が強力

.

Theorem (Zeilberger 1990)

.

.

.

h(θ1, . . . , θd)がホロノミックならば，積分∫Γh(θ1, . . . , θd)dθd

もホロノミックである．ここで Γ ⊂ Cは適当な条件を満たすパス．

さらに，D-加群のアルゴリズムによって，この積分が満たす偏微分方程式を（有限時間で）導けることが知られている．その詳細には立ち入らない．応用上は，このアルゴリズムではなく人間が工夫して導出できることも多い．

20 / 34



.

Example

.

.

.

変形ベッセル関数 Z (θ) = 12π

∫ 2π0 eθ cos xdx を考える．

被積分関数 h(θ, x) = 12π eθ cos x は次の微分方程式を満たすこ

とを直接チェックできる：

−θ2∂2θh − θ∂θh + θ2h = ∂2

xh.

この両辺を x で積分すれば

−θ2∂2θZ − θ∂θZ + θ2Z = 0.

よって Z はホロノミック関数．

発表後の追記：h(θ, x) = eθ cos x はホロノミックでない（∂nθh = (cos x)nh,

n ∈ N0, が一次独立）．変数変換して Z(θ) =R ∞−∞ eθ(1−t2)/(1+t2) 2dt

1+t2などと表せ

ば被積分関数もホロノミック．21 / 34


Pfaffian system

関数 Z (θ)がホロノミックであるとき，ある有限個の導関数の組

g(θ) = (∂α1θ1· · · ∂αd

θdZ )α∈A, ∅ 6= A ⊂ Nd

0 , |A| <∞, 0 ∈ A,

が存在して，次の形の偏微分方程式系を満たす：

∂θig(θ) = Pi (θ)g(θ).

ここで Pi (θ)は有理関数からなる行列．この偏微分方程式系を Pfaffian systemといい，g(θ)を基底関数と呼ぶ．高階微分方程式を 1階微分方程式に直すイメージ．アナロジー：時系列モデルの状態空間表現

発表後の追記：基底関数という呼び名は一般的ではない．

22 / 34


ホロノミック勾配法(Nakayama et al. 2011)

.

ホロノミック勾配法 (HGM) の 3ステップ

.

.

.

.

..

1 正規化定数 Z (θ)に関する Pfaffian systemを求める．

.

.

.

2 適当な点 θ(0)における初期値を求める．

.

.

.

3 Pfaffian system を θ(0) から θ(1) まで数値的に解く．ルンゲクッタ法など常微分方程式 (ODE) のソルバーを使う．

θ

θ(0)θ(1)

g

g(θ(0))

g(θ(1))

23 / 34


ホロノミック勾配法の利点と欠点

利点精度はODEのソルバーによってコントロールできる．べき級数のように，原点からの距離によって計算時間が大きく変わるようなことは（あまり）ない．いったん基底関数 g(θ)が求まれば，Z (θ)の任意階の導関数は有理数演算だけで実行できる．（フィッシャー情報量の計算とか）

欠点初期値計算が別途必要．Pfaffian system のサイズがパラメータ空間の次元とともに指数的に増大することが多い．微分方程式に特異点がある場合は何らかの対処が必要．

24 / 34


Bingham分布の場合

Bingham分布：平均 0の多変量正規分布を球面に制限

f (x |C ) ∝ exp(x>Cx), x ∈ Sp−1, C ∈ Rp×p.

正規化定数

Z (θ) =

∫Sp−1

exp(∑p

i=1 θix2i )dx .

このあと：Z (θ)の Pfaffian system

数値実験の結果

25 / 34


Bingham分布の場合Z (θ) =

∫Sp−1 exp(

∑i θix

2i )dx に対する基底関数

g = (g1, . . . , gp)> = (∂θ1Z , . . . , ∂θpZ )>.

.

Theorem (S. & Kume 2015)

.

.

.

Bingham 分布の正規化定数の Pfaffian systemは

∂θigj =

gi − gj

2(θi − θj), i 6= j ,

∂θigi = gi −

∑k 6=i

gi − gk

2(θi − θk).

備考g に Z が含まれていないが Z =

∑i gi が成り立つのでOK．

θi = θj (i 6= j) が特異点 (singular locus) となる．locus 上で成り立つ Pfaffian system も得られている．

26 / 34


Bingham分布の場合（数値例）

Table: べき級数法 (PS) と HGアルゴリズムの計算時間．パラメータの値は θ = (a(p − i)b)pi=1 の形とした．NAは 1時間以上かかったケース．

p a b ‖θ‖1 Z(θ)/Z(0) PS HG

5 1/20 1 1/2 1.105961 0.1 0.35 1/10 1 1 1.224897 0.2 0.35 1 1 10 9.769432 17.1 0.35 10 1 100 3.824 × 1014 NA 0.35 1/60 2 1/2 1.106713 0.1 0.35 1 2 30 5.253880 × 104 48.6 0.3

10 1/90 1 1/2 1.051360 14.0 14.810 1/45 1 1 1.105546 49.7 14.710 2/45 1 2 1.223062 386.2 14.610 1 1 45 1.757059 × 102 NA 14.610 1/570 2 1/2 1.051466 13.9 14.110 1 2 285 3.802 × 1028 NA 15.2

27 / 34


Bingham分布の場合（数値例）

Table: 鞍点近似 (SPA) と HG の比較．パラメータ θは (0,−1,−2,−κ).

κ SPA HG

5 4.237006 4.23895010 2.982628 2.98557630 1.708766 1.71191950 1.321178 1.323994

100 0.932895 0.935094200 0.659185 0.660814

28 / 34


ホロノミック勾配法に関連する話題

これまで得られている結果：

http://www.math.kobe-u.ac.jp/OpenXM/Math/hgm/ref-hgm.html

または「HGM references」で検索．

Fisher-Bingham 分布とその部分族 (Nakayama et al., Koyama et

al., S & Kume)

特殊直交上の Fisher分布 (S et al.)

Wishart 分布の最大固有値の分布関数 (Hashiguchi et al.)

多変量正規分布の象限確率 (Koyama & Takemura)

離散 A-超幾何分布 (Ogawa, Goto, Ohara & Takayama)

29 / 34


多変量正規分布の象限確率(Koyama and Takemura 2015)

−2 −1 0 1 2

−2

−1

01

2

x

y

Z (µ, Σ) =

∫ ∞

0· · ·∫ ∞

0φ(t|µ, Σ)dt1 · · · dtd .

> library(hgm)> hgm.ncorthant(matrix(c(1,0.5,0.5,1),2,2), c(0.5,0.3))[1] 0.4994881

30 / 34


離散A-超幾何分布

(Goto, Ogawa, Ohara & Takayama)

A：整数からなる d × n行列，β ∈ N0Aとして，

ZA(β; θ) =∑

Ax=β,x∈Nd0

θx

x!

離散 A-超幾何分布

θx

x!ZA(β; θ)

, Ax = β, x ∈ Nd0 .

分割表の条件付き最尤推定に使える．微分差分方程式が成り立つ．

31 / 34


今後の課題

現在進行中の研究ロバストグラフィカルモデリング：代替 t-分布 (with

Nakamoto, Ogawa)

スパース推定：lasso など (with Hirose)

これからの研究量子統計モデリング？

ありがとうございました．

32 / 34


References I

Dryden, I. L., and Mardia, K. V. (1998). Statistical Shape Analysis. Wiley.

Fallaize, C.J. and Kypraios, T. (2014). Exact Bayesian inference for theBingham distribution, Stat. Comput., online first.

Hyvarinen, A. (2005). Estimation of non-normalized statistical models by scorematching, J. Machine Learning Research, 6, 695–709.

Kendall, D.G., Barden, D., Came, T.K., and Le, H. (1999). Shape and ShapeTheory, Wiley.

Koyama, T. and Takemura, A. (2015). Calculation of orthant probabilities bythe holonomic gradient method, Japan J. Indust. Appl. Math., 32 (1), 187–204.

Kume, A. and Wood, A. T. A. (2005). Saddlepoint approximations for theBingham and Fisher-Bingham normalising constants. Biometrika, 92, 465–476.

Mardia, K. V. and Jupp, P. E. (2000). Directional Statistics. Wiley.

Murray, I., Ghahramani, Z., and MacKay, D.J.C. (2006), MCMC fordoubly-intractable distributions, Proceedings of the Twenty-Second Conferenceon Uncertainty in Artificial Intelligence (UAI2006), arxiv:1206.6848v1.

Nakayama, H., Nishiyama, K., Noro, M., Ohara, K., Sei, T., Takayama, N. andTakemura, A. (2011). Holonomic gradient descent and its application to theFisher-Bingham integral. Advances in Applied Mathematics, 47, 639–658.

33 / 34


References II

Parry, M., Dawid, A.P., and Lauritzen, S. (2012). Proper local scoring rules,Ann. Statist. 40 (1), 561–592.

Schealy, J.L. & Welsh, A.H. (2011). Regression for compositional data by usingdistributions defined on the hypersphere, J. Roy. Statist. Soc. B, 73 (3),351–375.

Sei, T. (2013). A Jacobian inequality for gradient maps on the sphere and itsapplication to directional statistics, Comm. Statist. Theory and Methods, 42(14), 2525–2542.

Sei, T. and Kume, A. (2015). Calculating the normalising constant of theBingham distribution on the sphere using the holonomic gradient method, Stat.Comput., 25, 321–332.

Zeilberger, D. (1990). A holonomic systems approach to special functionsidentities, J. Comput. Appl. Math., 32, 321–368.

清水邦夫 (2008). 方向統計学の最近の発展, 「計算機統計学」, 19 (2), 127–150.

JST CREST 日比チーム (2011). 「グレブナー道場」, 共立出版．竹村彰通, 日比孝之, 原尚幸, 東谷章弘, 清智也, 『グレブナー道場』著者一同(2015). 「グレブナー教室」, 共立出版.

ホロノミック勾配法関連の文献リスト：References for the Holonomic GradientMethod (HGM) and the Holonomic Gradient Descent Method (HGD),http://www.math.kobe-u.ac.jp/OpenXM/Math/hgm/ref-hgm.html

34 / 34

Documents

方向統計学における推測理論と ホロノミック勾配法bayes.sigmath.es.osaka-u.ac.jp/ftanaka/workshop/r15s/sei.pdf · 方向統計学とは 積分の対処法 ホロノミック勾配法

方向統計学における推測理論とホロノミック勾配法bayes.sigmath.es.osaka-u.ac.jp/ftanaka/workshop/r15s/sei.pdf · 方向統計学とは積分の対処法ホロノミック勾配法