98
非線形回帰分析の基礎 東京理科大学 浜田知久馬 24EUA 2017/10/13 1

非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

非線形回帰分析の基礎

東京理科大学

浜田知久馬

第24回EUA 2017/10/13

1

Page 2: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

発表要旨

非線形回帰分析は,薬物動態試験で薬物の血中濃度にコンパートメントモデルをあてはめる場合や,酵素反応速度にミカエリス・メンテン式をあてはめる場合等に用いられる.線形回帰分析では,最小2乗法によってパラメータの推定が行われるが,これを非線形モデルに拡張したものが,非線形最小2乗法である.最小2乗法は誤差にいくつかの条件を課すと,最良線形不偏推定量というよい推定量になるためよく用いられ,解析的に解を求めることができるが,非線形モデルでは,解を得るために反復計算が必要になる.

本発表ではチュートリアルとして,非線形回帰分析を回帰分析と対比させて解説を行う.

2

Page 3: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

内容

3

・非線形回帰モデル ・最良線形不偏推定量(BLUE)の考え方 ・最小2乗推定量 ・線形回帰モデルの一般解 ・非線形回帰の最小2乗推定 ・1-コンパーネントモデルの例 ・線形と非線形回帰モデル ・非線形変量効果モデル

Page 4: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

非線形回帰分析とは? Nonlinear Regression Model

•パラメータに関して非線形な関係の

モデルを用いた回帰分析

• 誤差平方和を最小にするパラメータを

最小2乗法によって求める

4

Page 5: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

なぜ非線形回帰?

事前の知識でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述される. –通常の線形回帰モデルでは 表現できない. –応用の世界で確立された理論モデル を用いる. –特定のパラメータの推定(消失速度定数Ke, IC50等)の推定に興味があることが多い.

5

Page 6: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

6

非線形モデル 酵素反応モデル Michaelis-Menten式

基質濃度Vと反応速度Sの関係

max,][

2max/,][

][,0][

0,0][

][

][max

0

0

VVS

VVKmS

SVS

VS

SKm

SVV

≒ショ糖のブドウ糖と果糖 への分解反応

Page 7: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

7

logistic曲線(シグモイド型)の式を用いて,非線形回帰で算出する 算出するパラメータ

max : 最大値

min : 最小値

Hill : シグモイド曲線の傾き

IC50 : 50%阻害濃度

求めるパラメータが4種類あるので,4パラメータロジスティックモデル と

呼ばれる.

minmin)(max50

HillHill

Hill

ICconc

concy

濃度(conc)

反応(

y)

max=100 min=0 Hill=-1 IC50=50

0

10

20

30

40

50

60

70

80

90

100

110

IC50

Hill

阻害大

min

max

IC50算出に際した阻害曲線イメージ

IC50算出のモデル式

非線形モデル 4パラメータ ロジスティックモデル

Page 8: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

8

非線形モデル 経口投与 1-コンパートメントモデル

• Cj :時点tj (j=1,...m )での血中濃度(gL-1)

• Vd :分布容積(L)

• ka :吸収速度定数(hr-1)

• kel :消失速度定数(hr-1)

• D :投与量(g)

jjj tkatkelVdkelka

DkatC

expexp

Page 9: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

9

回帰分析とは

回帰分析:regression analysis

回帰:サケが生まれた川に回帰する,あるいは頭上の太陽が地球の北回帰線,南回帰線まで来て戻るという意味で使われている.

回帰分析とは何が戻るのか?

Page 10: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

平均への回帰 regression to the mean

生徒たちが中間試験と期末試験を受けるとしよう.中間試験で特別に高得点だった生徒たちに注目して調べると,(たぶん期末試験でも得点は高い方だろうが)一般に中間試験のときよりは平均に近い(平均からの偏差がより小さい)結果になる.それは,中間試験で働いた「幸運」(偶然)が,期末試験では必ずしも働かなかったからである.

10

Page 11: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

11

身長は回帰する

イギリスの遺伝学者F.ゴールトン(ダーウィンのいとこ)(1822-1911)は,イギリスの1000あまりの世帯について,父親の身長と息子の身長をグラフに描いてみて,

「身長の高い父親の息子の平均身長は,その父親ほど高くない」,

「身長の低い父親の息子たちの平均は,その父親ほど低くない」

ということに気づいた.そして,これを平均への「回帰(regression)」現象と呼んだ.

「回帰係数は1より小さい」

Page 12: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

12

63.50

66.83

70.17

73.50

x 61.20

65.53

69.87

74.20

y 1.00

16.67

32.33

48.00

height

父親の身長

子供の身長

Page 13: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

13

y = 25.27995 + 0.626949×x

単位はインチ

父の身長:x

息子の身長:y

係数は1以下

Page 14: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

ゴールトン(統計学者)への手紙

「私は,オックスフォード大学に応用統計学の教授ポストか,講座のようなものを寄付したいと考えている.ついては,相談にのってほしい」

ゴールトンは後にオックスフォード大学の教授に

14

Page 15: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

15

ラブレターの主は

フローレンス・ナイチンゲール(Florence Nightingale, 1820-1910)

ナイチンゲールは伝記では 「情熱の統計家」と称せられている

Page 16: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

2015年5月26日 読売新聞:体重を継続的に量るだけで肥満が改善することが,愛知県蒲郡市の

市民3240人の調査でわかった.

• 体格指数(BMI)で肥満,普通(18.5以上25未満),やせの3群に分けて,それぞれの群でBMIがどう変化したかを調べた.

• 肥満の群では,男性の平均BMIが0.12減って27.30,女性が0.27減って27.41となり,減量に効果があった.逆に,やせの群では,男性が0.37増えて17.85,女性が0.23増えて17.83となった.普通の群は横ばいだった.

肥満 M:-0.12 F:-0.27

やせ M:+0.37 F:+0.23 16

Page 17: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

17

ダーツ投げのうまさを測る基準 精度(precision):精密 正確(accuracy):偏りなし

Page 18: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

18

偏り,正確さ,精度

不偏だけど精密でない 偏りありかつ

精密でない

不偏で精密 偏りあるけど精密

Page 19: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

19

推定量の良さの基準

• βの推定量bがあるとする.

• 推定量の良さの基準で最も一般的なのは平均二乗誤差(Mean Square Error:MSE)

期待値(平均値)計算:

)][(]][[2

])][[(]])[[(

]])[][[(

])[(

22

2

2

E

bEbEbE

bEEbEbE

bEbEbE

bEMSE

β E[b]

Page 20: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

20

MSE

V[b] bias

推定量の分散 推定量の偏り

両方を同時に最小化できるか?

分散を0 → 常にb=0 V[b]=0

])][[(]])[[( 22 bEEbEbEMSE

Page 21: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

21

推定での方法論的課題

どんな推定量Zが良い推定量? 定性的条件

不偏性=期待値が未知母数に一致

線形性=推定量がYの線形式を

満たすものの中で

ある規準量,例えば分散を最小(最良,有効)にするものを良いとする⇒最良線形不偏推定量

(BLUE: Best Linear Unbiased Estimator)

最良 線形 不偏 推定量

][ZE

2111 YaYaZ

min][ ZV

Page 22: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

22

最小二乗法の良さを示す定理

定理1 (線形推定論の基本定理)

線形模型で誤差の3条件が成り立つとき,未知母数の最小二乗推定量は最良線形不偏推定量BLUE :Best Linear Unbiased Estimatorである.

定理2 (正規推定論の基本定理)

線形模型で誤差の4条件が成り立つとき,未知母数の最小二乗推定量は最良不偏推定量である.

Page 23: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

定式化

23

2

2

22

11

][,][

][,0][

ii

ii

i

nn

YVYE

UVUE

U

UY

UY

UY

は互いに独立

0

0

0

Page 24: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

24

誤差の3(4)条件⇒BLUEにするため

条件1:独立性 ⇒ 誤差は独立

互いに影響を及ぼさない

条件2:不偏性 ⇒ 誤差の期待値が 0

モデルが正しい

E[Ui] = 0 ; i = 1, 2, …, n

条件3:等分散性 ⇒ 誤差の大きさは同じ

V[Ui] = 2 ; i = 1, 2, …, n

条件4:正規性:誤差の分布は正規分布

Ui

Page 25: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

25

代表値の考え方 代表値との差の2乗和が 最小になるAを求める

1

3

5

6

9

A

Page 26: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

26

最小2乗の意味

5:

min

8.4:

0)(2

)9()6()5()3()1(

min)(

96531

22222

2

medianA

AyS

meanyAnAy

AydA

dS

AAAAA

AyS

,,,,:y

i

i

i

i

i

Page 27: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

27

μの最小2乗推定量:算術平均

のとき最小=

次関数についてのは

Y

S

YnYY

YYY

YYY

YS

n

i

i

n

i

n

i

i

n

i

i

n

i

i

2

)()(

)()(

)(

min)(

1

22

1 1

22

1

2

1

2

Y

Page 28: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

28

μの最小2乗推定量

ynY

Yd

YYd

d

dS

YS

n

i

i

n

i

i

n

i

ii

n

i

i

1

1

1

22

1

2

022

)22(

)2(

0

min)(

谷底では勾配は

Page 29: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

単回帰分析:最小2乗法による推定

29

7

1

2

10 )(i

ii xbbyS

xbby 10

水直方向の距離の 2乗和を最小

水平方向や垂線ではない

Page 30: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

b0,b1と2乗和S

30

b0=1,b1=1.5,2乗和=27

7

1

2

10 )(i

ii xbbyS

Page 31: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

31

谷底ではb0,b1方向の傾きが0

Page 32: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

等高線プロット

32

b0=1,b1=1.5,2乗和=27

Page 33: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

最小2乗法による回帰直線

33

32

32

1.52

1.52

1.52

1.52

275.1)5.1(3)3(5.1)5.1( 222222 S

重心を通る

緑の正方形の面積の和

Page 34: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

垂線の2乗和を最少

34

XY 32

32 32

32 32

36)3(03)3(03 222222 S

緑の正方形の面積の和

Page 35: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

単回帰分析

35

xx

xy

i

i

i

ii

i

iii

i

ii

i

ii

S

S

xx

yyxx

b

xxbyxbbyxbyb

xbbyxdb

dS

xbbydb

dS

xbbyS

7

1

2

7

11

11000

7

1

2

10

1

7

1

2

10

0

7

1

2

10

)(

))((

)(,

0)(2

0)(2

)(

b0 ,b1の 2元連立 方程式

Page 36: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

36

本のページ数と値段 切片のない回帰分析

iii XY

X

Y

モデル:

ページ数

本の値段

:

:

Page 37: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

誤差平方和

37

次関数の2

)( 2

1

ii

n

i

XYS

最小点では 勾配は0

Page 38: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

切片のない回帰分析

38

YXXXTT 1

1

2

1

1

2

1

222

1

2

1

)(

022

)2(

2:)(

::

n

i

i

n

i

ii

n

i

i

n

i

ii

iiii

n

i

ii

n

i

iii

X

YX

XYX

d

XYXYd

d

dSU

XYS

XY

XY

次関数の

モデル:

ページ数本の値段,

Page 39: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

切片のない回帰分析

39

YXXX

YX

XXXX

YX

TT

T

TT

1

1

2

1

1

1

2

1

1

2

2

1

2

1

)(

1)(,

n

i

i

n

i

ii

n

i

ii

n

i

i

n

i

i

nn

X

YX

YX

X

X

Y

Y

Y

X

X

X

(n×1) (n×1)

(n×1)

(n×1) (1×n)

(1×n) 最小2乗法の一般解の行列表記

Page 40: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

切片のない回帰分析(行列表記) T:転置transpose 行と列の入れ替え

(n×1)→転置 (1×n)

40

n

i

ii

n

n

n

i

i

n

n

YX

Y

Y

Y

XXX

X

X

X

X

XXX

1

2

1

21

1

22

1

21

YX

XX

T

T

(1×n)

(1×n)

(n×1)

(n×1)

Page 41: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

41

axdx

dy

axy

2

2

切片 傾き

2次関数の勾配は直線

n

i

i

n

i

ii XYXd

dSU

1

2

1

22

勾配が0に なるβ

Page 42: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

最小2乗法の一般解

42

YXXXTT 1)(

る必要がないパラメータ毎に微分す

と任意の

解任意のデザイン行列の

乗解ベクトル行の最小:

ル行の反応変数のベクト:

列のデザイン行列行

2)

p)(

1)

)(

2p

p:

1

n

n

n

YXXX

Y

X

TT

Page 43: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

平均値のデザイン行列

43

XββyX

5

4

3

2

1

1

1

1

1

1

y

y

y

y

y

Page 44: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

44

yn

y

y

y

y

y

y

y

n

n

i

i

n

i

i

n

i

11

1

5

4

3

2

1

1

)(

111

51

1

1

1

11

11111

YXXX

YX

XX

TT

T

T

Page 45: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

単回帰分析のデザイン行列

45

xxxy SS

xby

y

y

y

y

y

y

y

x

x

x

x

x

x

x

/)(

1

1

1

1

1

1

1

11

7

6

5

4

3

2

1

7

6

5

4

3

2

1

YXXX

yX

TT

Page 46: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

1-way ANOVAのデザイン行列 3群 n=2 1 1 2 2 3 3

46

13

12

1

1

6

5

4

3

2

1

)(

101

101

011

011

001

001

yy

yy

y

y

y

y

y

y

y

YXXX

yX

TT

X1:2群であれば1 X2:3群であれば1

Page 47: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

1-コンパートメントモデル 人体を1つの容器に想定

47

Vd

XC

tkCC

0

0 )exp(

Ckdt

dC

Page 48: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

48

Page 49: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

非線形モデル 1-コンパートメントモデル

49

)008.0exp(0 tCC

初期濃度:0C

Page 50: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

非線形モデル 1-コンパートメントモデル

50

消失速度定数:

)exp(

k

tkC

Page 51: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

1-コンパートメントモデル

51 ために有用適切な初期値を求める

る線形モデルに帰着でき

の傾きが切片が

を対数変換すると血中濃度

:消失速度定数初期濃度

kC

tkCC

kC

tkCC

,log

loglog

C

:

)exp(

0

0

0

0

Page 52: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

1-コンパートメントモデル

52

0.008傾き:

)008.0exp(8.0 tC

)8.0log(切片:

tC 008.0)8.0log(log

Page 53: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

53

Page 54: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

54

Page 55: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

1-コンパートメントモデル

55 とはできない.解析的に解を求めるこ

正規方程式

0))exp()(exp(2

0))exp()(exp(2

)exp()(

))exp((

)exp(

0

1

0

10

0

2

0

1

0

ii

i

ii

ii

i

i

ii

ii

i

iii

tkCCtktdk

dS

tkCCtkdC

dS

tkCCxg

tkCCS

tkCC

)()'(2)( 2

xgxgdx

xdg

Page 56: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

56

誤差平方和 2

0

1

))exp(( ii

i

tkCCS

Page 57: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

57

0dk

dS

対数誤差平方和

(0.00842,0.8476)

00

dC

dS

2

0

1

))exp((loglog ii

i

tkCCS

Page 58: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

NLINプロシジャのプログラム

proc nlin data = a0 plots(stats=none)=all list;

parms K = 0 C_0= 0.8;

model CONC = C_0 * exp(-K * TIME);

output out = A1 p = PRED r=RESID;

run;

list:微分した結果を表記する機能

数学に自信がない人に便利な機能

58

Page 59: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

59

Listing of Compiled Program Code

Stmt

Line:Col

Statement as Parsed 微分した結果

1 346:1 MODEL.CONC = C_0 * EXP(- K * time);

1 346:1 @MODEL.CONC/@K = C_0 * - time * EXP(- K * time);

1 346:1 @MODEL.CONC/@C_0 = EXP(- K * time);

1 346:1 @@MODEL.CONC/@K/@K = C_0 * - time * - time * EXP(- K * time);

1 346:1 @@MODEL.CONC/@K/@C_0 = - time * EXP(- K * time);

1 346:1 @@MODEL.CONC/@C_0/@K = - time * EXP(- K * time);

Page 60: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

非線形最小二乗法の推定

• 解析的に解を求めることができないので反復

計算で求める.

• 初めのパラメータの値(初期値)を指定(param文).

• あるパラメータの推定値に基づき,

新しいパラメータの推定を繰り返す.

• 新しい誤差平方和とその前の誤差平方和を比較.

両者が同じ程度なら繰り返しは終了.

• うまく収束しないことがある.

60

Page 61: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

61

推定の要約

手法 Gauss-Newton

反復回数 7

R 5.656E-7

PPC(K) 5.232E-8

RPC(K) 1.59E-6

Object 3.05E-10

目的関数 0.001771

読み込んだオブザベーション数 9

使用されたオブザベーション数 9

欠損値のオブザベーション数 0

Page 62: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

62

反復計算の段階 7回で収束 (ガウス・ニュートン法)

反復 K C_0 平方和

0 0 0.8000 1.9311

1 0.00290 0.6759 0.1996

2 0.00637 0.7702 0.0166

3 0.00814 0.8358 0.00200

4 0.00841 0.8471 0.00177

5 0.00842 0.8476 0.00177

6 0.00842 0.8476 0.00177

7 0.00842 0.8476 0.00177

Page 63: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

63

等高線プロット(収束過程)

初期値(0,0.80) ★

★ ★ ★ (0.00842,0.8476)

Page 64: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

64

要因 自由度 平方和 平均平方 F 値 近似 Pr > F

Model 2 1.8942 0.9471 3742.68 <.0001

Error 7 0.00177 0.000253

Uncorrected Total

9 1.8959

パラメータ 推定値 近似標準誤差 近似 95% 信頼限界

K 0.00842 0.000295 0.00773 0.00912

C_0 0.8476 0.0152 0.8116 0.8836

近似相関行列

K C_0

K 1.0000000 0.7656120

C_0 0.7656120 1.0000000

Page 65: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

65

予測曲線と信頼区間

Page 66: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

残差プロット 残差(residual):実測値

66

外れ値等は観察されない

Page 67: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

NLINプロシジャの 収束アルゴリズム

method = gauss|marquardt|gradient

gauss: ガウス-ニュートン法(デフォルト)

marquardt: マルカート法(お勧め)

gradient: 最急降下法

67

Page 68: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

68

Page 69: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

最急降下法のプログラム

proc nlin data = a0 method=gradient

plots(stats=none)=all list;

parms K = 0 C_0= 0.8;

model CONC = C_0 * exp(-K * TIME);

output out = A1 p = PRED r=RESID;

run;

69

反復計算の段階

反復 K C_0 平方和

0 0 0.8000 1.9311

1 495.5 -2.8220 1.8959

NOTE: 収束基準は満たされましたが,モデルに何らかの問題が存在する可能性があります.

Page 70: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

初期値の変更と境界の設定

proc nlin data = a0 method=gradient

plots(stats=none)=all list;

parms K = 0.008, C_0=0.8;

bounds K>0, 2>C_0>0;

model CONC = C_0 * exp(-K * TIME);

output out = A1 p = PRED r=RESID;

run;

70

パラメータ 推定値 近似標準誤差 近似 95% 信頼限界

K 0.00776 0.000432 0.00674 0.00878

C_0 0.8017 0.0223 0.7490 0.8544

Page 71: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

グリッド(格子)サーチ

proc nlin data = a0 method=gradient

plots(stats=none)=all list;

parms K = 0.007 to 0.009 by 0.0001

C_0= 0.7 to 0.9 by 0.01;

bounds K>0, 2>C_0>0;

model CONC = C_0 * exp(-K * TIME);

output out = A1 p = PRED r=RESID;

run;

71

Page 72: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

グリッド(格子)サーチ グリッドサーチ

K 21通り C_0 21通り 平方和

0.00700 0.7000 0.0324

0.00710 0.7000 0.0335

0.00720 0.7000 0.0348

0.007 to 0.009 by 0.0001 0.7 to 0.9 by 0.01 最小のものが初期値

72

パラメータ 推定値 近似標準誤差

近似 95% 信頼限界

K 0.00846 0.000296 0.00776 0.00916

C_0 0.8499 0.0153 0.8138 0.8861

0.00850 0.8500 0.00179

ガウス-ニュートン法に一致

Page 73: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

73

反復 K C_0 平方和

0 0.00850 0.8500 0.00179

★:初期値

誤差平方和

0.7 to 0.9

★:初期値

Page 74: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

収束させるための工夫

1)収束アルゴリズムを変更

2)パラメータの初期値を変更

(グリッドサーチ)

3)パラメータの下限,上限を変更

4)収束条件の変更

5)パラメータ化の変更

6)外れ値の検討,除去

7)時点の制限 74

Page 75: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

75

モデルが正しい場合

Page 76: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

76

外れ値が存在

Page 77: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

77

等分散性が成立しない場合

Page 78: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

78

モデルが正しくない場合

Page 79: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

線形モデルと非線形モデル

101

))exp(()exp(2

))exp((

)exp(

)(2

)(

1

2

1

1

2

1

ii

i

ii

ii

i

iii

ii

i

i

ii

i

iii

xyxxd

dS

xyS

xy

xyxd

dS

xyS

xy

βについての2次関数

βについての直線式

Page 80: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

線形モデルと非線形モデル

線形モデル 非線形モデル

推定法 解析的に解が 得られる

反復計算で数値解を求める

推定可能性 初期値,アルゴリズムに依存

誤差平方和 パラメータの2次関数

パラメータの2次関数ではない

102

YXXXTT 1)( 0F(βy

β

F(β ))(

)T

d

d

.存在する

の逆行列がXXT

xy )exp( xy

Page 81: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

103

テオフリィン(抗喘息薬)の血中濃度

12人

測定時点(10点):0,15分,30分,1時間,3時間,

5時間,7時間,9時間,12時間,24時間

吸収過程のある1コンパートメントモデル

itaiei

eiaii

aieiit etktk

kkCL

kDkC

)exp()exp(

)(

Page 82: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

104

NLINのプログラム 個人(固定)ごとのパラメータの推定

proc nlin data=theoph;

parms cl=1 ka=0.1 ke=1;

model conc=dose*ke*ka*(exp(-ke*time)

-exp(-ka*time))/cl/(ka-ke);

by subject;

output out=out p=p;

run;

proc gplot uniform;by subject;

plot conc*time p*time/overlay;

symbol1 i=none c=red h=4 v=star;

symbol2 i=spline c=blue h=4 v=none;run;

Page 83: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

105

推定したパラメータ数:48

ID _SSE_(誤差) cl ke ka

1 4.2860 0.019923 0.05395 1.77742 2 8.9483 0.044765 0.10166 1.94267 3 0.4363 0.039559 0.08142 2.45357 4 5.7320 0.037400 0.08747 1.17148 5 13.4635 0.043604 0.08844 1.47149 6 2.4442 0.051137 0.09953 1.16372 7 0.9966 0.051595 0.10225 0.67974 8 3.6834 0.046462 0.09196 1.37552 9 2.4889 0.032687 0.08663 8.86557 10 1.3514 0.032443 0.07397 0.69550 11 0.4262 0.057246 0.09812 3.84905 12 2.8092 0.041997 0.10558 0.83290

Page 84: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

106

CL最小 ke最小

代謝能力 が低い

Page 85: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

107

誤差 最大

ka 最小

Page 86: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

108

ka 最大

代謝能力 が高い

ke 最大 CL最大

ke大 誤差 最小

Page 87: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

109

要約統計量

変数 平均 中央値

標準偏差

変動係数

最小値

最大値

_SSE_ 3.922 2.649 3.87 98.681 0.426 13.463

cl 0.042 0.043 0.01 24.366 0.02 0.057

ka 2.19 1.424 2.281 104.17 0.68 8.866

ke 0.089 0.09 0.015 16.316 0.054 0.106

SSE:Sum of Square Error DF=8 誤差分散:3.922/8=0.490

Page 88: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

パラメータ間の相関 CLとKaに正の相関(代謝能力)

110

r=0.84807

Page 89: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

111

NLMIXEDプロシジャ

NL:Non Linear 非線形モデル(NLIN)

MIXED:混合(変量)効果(MIXED)

パラメータの個体間変動をモデル化

GENMOD:正規分布,2項分布,ポアソン分布等

Page 90: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

112

変量効果モデル

:個体内変動の共分散と

の個体間変動:の個体間変動,

~~

2

12

2

2

2

1

2

2

212

12

2

1

2

1

32211

,:

:

),0(,,0

0

)exp(),exp(),exp(

)exp()exp()(

skCLc

ksCLs

sNesc

csN

b

b

kbkbCL

etktkkkCL

kDkC

a

a

it

i

i

eiiaiii

itaiei

eiaii

aieiit

keは個体間変動が小さいので変量効果は入れない

Page 91: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

113

NLMIXEDのプログラム

proc nlmixed data=theoph; parms ll1=-1.5 l2=0 ll3=-0.1 beta1=-3 beta2=0.5 beta3=-2.5 ls2=-0.7; s2 = exp(ls2);l1 = exp(ll1);l3 = exp(ll3); s2b1 = l1*l1*s2;cb12 = l2*l1*s2;s2b2 = (l2*l2 + l3*l3)*s2; cl = exp(beta1 + b1); ka = exp(beta2 + b2); ke = exp(beta3); pred = dose*ke*ka*(exp(-ke*time)-exp(-ka*time))/cl/(ka-ke) ; model conc ~ normal(pred,s2); random b1 b2 ~ normal([0,0],[s2b1,cb12,s2b2]) subject=subject out=random; predict pred out=out; estimate 'cl' exp(beta1);estimate 'ka' exp(beta2); estimate 'ke' exp(beta3);estimate 's2' exp(ls2); estimate 's2b1' l1*l1*s2;estimate 'cb12' l2*l1*s2; estimate 's2b2' (l2*l2 + l3*l3)*s2;run;

Page 92: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

114

Additional Estimates

Label Estimate Standard Error DF t Value Pr > |t| Alpha Lower Upper

cl 0.03968 0.002361 10 16.81 <.0001 0.05 0.03442 0.04494

ka 1.6170 0.3216 10 5.03 0.0005 0.05 0.9004 2.3336

ke 0.08551 0.004383 10 19.51 <.0001 0.05 0.07574 0.09527

s2 0.5016 0.06837 10 7.34 <.0001 0.05 0.3493 0.6540

s2b1 0.02803 0.01221 10 2.30 0.0445 0.05 0.000833 0.05523

cb12 -0.00127 0.03404 10 -0.04 0.9710 0.05 -0.07712 0.07458

s2b2 0.4331 0.2005 10 2.16 0.0560 0.05 -0.01353 0.8798

推定したパラメータ数:7

s2b1:CLの個体間分散, s2b2:kaの個体間分散 cb12:CLとkaの共分散,s2:個体内分散

固定効果モデルの誤差分散:3.922/8=0.490

Page 93: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

115

予測血中濃度曲線(変量)

Page 94: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

116

予測血中濃度曲線(変量)

Page 95: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

117

予測血中濃度曲線(変量)

Page 96: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

固定・変量効果モデル

1)モデルのあてはまりは固定と変量効果モデル

で変わらない.

パラメータ数(48→7)を減少させることで安定化.

2)変量効果モデルでは,パラメータの集団平均

とばらつきを評価できる.

3)他人の情報を利用することで,個体レベルの

推定精度の向上.

4)測定時点の違いを考慮,測定時点数の少な

い個体の情報を 適切に利用することが可能. 118

Page 97: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

b0,b1と2乗和S

119

7

1

2

10 )(i

ii xbbyS

b0=35,b1=-2,2乗和=34

Page 98: 非線形回帰分析の基礎 - 株式会社CACクロア...2018/11/24  · なぜ非線形回帰? 前の知識 でyとxの関係式が知られている 微分方程式によって,xに対するyの変化が記述

120

谷底ではb0,b1方向の傾きが0