「診断精度研究のメタ分析」の入門

診断精度研究のメタ分析－　　入　　門　　－

横光健吾公益財団法人たばこ総合研究センター

臨床疫学研究における報告の質向上のための統計学の研究会第 17 回研究集会　「診断精度研究のメタ分析」

2014/10/25( 土 ) 　 14:30 ～ 17:40東京医科歯科大学湯島キャンパス１号館西７階　

　発表の構成

■ 診断検査について■ 診断検査精度のメタアナリシス■ メタアナリシスの実際－統合と異質性－■ 診断検査精度のメタアナリシスの結果をうけて

1

　診断検査について

■ 診断検査■ 診断検査における重要な概念■ 新たな診断検査が持つ役割

診断検査について 2

　診断検査（ Diagnostic Test ）

■ history　examination （現病歴）　　　　　physical　examination （身体検査）　　 imaging　test （画像検査）　　 psychological　test （心理検査）など…　　■ 診断検査は、医療従事者のアクションにつながる　患者に特定の疾患や病気の有無に関する情報を得る　ために用いられる。　　…医療従事者のアクション　　　更なる検査、治療の開始・中断・修正

診断検査について

Bossuyt et al. (2003). Radiology, 226, 24-28; (2006). BMJ, 332, 1089-1092.

3

　診断検査

■ 求められる診断検査は…

　　・ more　accurate　　・ less　invasiveness　　・ easier　to　do　　・ less　risky　　・ less　uncomfortable　for　patients　　・ quicker　to　yield　results　　・ more　easily　interpreted


Bossuyt et al. (2006). BMJ, 332, 1089-1092.

4

　診断検査における重要な概念診断検査について

Test Indicator

感度（ Sensitivity　=　true　positive　rate:　TPR ）特異度（ Specificity　=　true　negative　rate:　TNR ）精度（ Accuracy ）陽性的中率（ Positive　predictive　value:　PPV ）陰性的中率（ Negative　predictive　value:　NPV ）陽性尤度比（ Likelihood　ratio　of　a　positive　test　result:　LR+ ）

陰性尤度比（ Likelihood　ratio　of　a　negative　test　result:　LR- ）

ヨーデン指標（ Youden’s　index ）診断オッズ比（ diagnostic　odds　ratio:　DOR ）

Glas et al. (2003). J Clin Epidem, 56, 1129 - 1135.

5

■ 感度 =　TP　/　(TP　+　FN)　対象疾患有群における、陽性結果の割合

■ 特異度 =　TN　/　(FP　+　TN)　対象疾患無群における、陰性結果の割合

■ 精度 =　(TP　+　TN)　/　(TP　+　FP　+　TN　+　FN)　対象疾患を正確に特定する割合


diseased nondiseasedpositive TP FPnegative FN TN

test　outcomedisease　status

Note.　T　=　true,　F　=　false,　　　　　　　　P　=　positive,　N　=　negative

6

■ 感度　 =　90　/　(90　+　10)　=　0.9　対象疾患有群における、陽性結果の割合

■ 特異度 =　60　/　(40　+　60)　=　0.6　対象疾患無群における、陰性結果の割合

■ 精度 =　(90　+　60)　/　(90　+　10　+　40　+　60)　=　0.75　対象疾患を正確に特定する割合


diseased nondiseasedpositive 90 40negative 10 60


7

　診断検査における重要な概念

■ 陽性的中率（ PPV ）＝ TP　/　(TP　+　FP)　　　　　陽性とみなされた群における、疾患有の割合■ 陰性的中率（ NPV ）＝ TN　/　(FN　+　TN)　　陰性とみなされた群における、疾患無の割合


diseased nondiseasedpositive TP FPnegative FN TNNote.　T　=　true,　F　=　false,　　　　　　　　P　=　positive,　N　=　negative














8

　診断検査における重要な概念

■ 陽性尤度比（ +ve　LR ）＝感度／１－特異度　　対象疾患無群における陽性結果に対する　　　　　　対象疾患有群における陽性結果の割合　　陽性尤度比＞ 10 の場合、　　　　　　　疾患を抽出することに長けている

■ 陰性尤度比（ -ve　LR ）＝１－感度／特異度　　対象疾患無群における陰性結果に対する　　　　　　対象疾患有群における陰性結果の割合　　陰性尤度比＜ 0.1 の場合、　　　　　　　疾患を除外することに長けている


Davidson. (2002). Australian J of Physiotherapy, 48, 227-232.Grimes et al. (2005). Lancet, 365, 1500-1505.

9



研究対象群の有病率に影響される

妥当性のある指標として、

確立されているわけではない

Test Indicator

感度（ Sensitivity　=　true　positive　rate:　TPR) ）

特異度（ Specificity　=　true　negative　rate:　TNR ）

精度（ Accuracy ）

陽性的中率（ Positive　predictive　value:　PPV ）

陰性的中率（ Negative　predictive　value:　NPV ）

陽性尤度比（ Likelihood　ratio　of　a　positive　test　result:　LR+ ）

陰性尤度比（ Likelihood　ratio　of　a　negative　test　result:　LR- ）

ヨーデン指標（ Youden’s　index ）（感度 + 特異度 - １）

診断オッズ比（ diagnostic　odds　ratio:　DOR ）

10


■ 診断オッズ比（ DOR ）　　対象疾患無群における陰性・陽性結果の割合と　　　　対象疾患有群における陰性・陽性結果の割合の比　　　　＝

　　数値が大きいほど、より高い識別力をもつ検査　　 DOR　<　1 は、不適切な検査　　 DOR は、有病率の影響をうけない　　※ DOR=50 は、うつ病患者群において陽性を検出する割合が、　　　うつ病のない群で陽性を検出する割合の 50 倍であることを示す


TNFP

FNTP

／／

　／特異度特異度

感度感度／

)1(

1

11


■ ROC 曲線 (receiver　operating　characteristic　curves)　　横軸に 1　–　特異度、縦軸に感度をプロットしたもの。

■ AUC　(the　area　under　the　curve)

Park et al. (2004). Korean J of Radiol, 5, 11-18.

12

　新たな診断検査の位置づけ診断検査について

■ replacement　・既存の検査に取って代わる新しい検査として開発■ triage　・既存の検査の前に使用できる検査として開発　・目的：侵襲的で、煩雑で、高価な検査の使用を減らす。

■ add-on　・既存の検査後に使用　　する検査として開発　・目的：既存の診断経路　　の感度を高める。

Bossuyt et al. (2006). BMJ, 332, 1089-1092.

13

　診断検査のまとめ診断検査について

■ 診断検査は、医療従事者のアクションにつながる　　情報を提供する。

■ 情報の一つである「精度 (accucary) 」を示すものが、　　感度、特異度…etc

■ 新しい検査が作成されるときには、既存の診断経路に　　おいて、どの位置づけにあたるかを考慮する。

Sijbrandij et al. (in press). The Cochrane Collaboration, Protocol.

14

　なぜ、診断精度のメタアナリシスをするのか

■ どの検査の診断精度が優れているか　・複数の検査の比較、どの検査がより精度が高いか

We　explored　the　diagnostic　performances　of　and　statistically　compared　the　Asthma　Control　Test　and　Asthma　Control　Questionnaire.　　…Clinicians　urgently　need　to　know　which　questionnaire　is　better　for　assessing　asthma　control　in　real-world　settings.　　(Jia et al. (2013). J Allergy Clin Immunol, 131, 695-703.)


Macaskill et al. (2010). Chapter 10 Analysing and presenting results. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.

15

　なぜ、診断精度のメタアナリシスをするのか

■ ある特定の検査の現時点における評価　　・感度と特異度の総合的な評価　　　・特定の検査が、狙いとした診断経路にあるか

The　aim　of　this　study　was　to　find　out　whether　very　simple　one　and　two　question　screening　might　prove　an　accurate　and　acceptable　screening　method　in　primary　care　using　quantitative　meta-analysis.　

(Mitchell et al. (2014). British J of General Practice, DOI: 10.3399/bjgp14x680497)


Macaskill et al. (2010). Chapter 10 Analysing and presenting results. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.

16

　なぜ、診断精度のメタアナリシスをするのか診断検査について

Sijbrandij et al. (in press). The Cochrane Collaboration, Protocol.

■ 診断精度が、対象研究の特徴とどう関係するか　　・サブグループ解析の実施　　　（参加者、研究手続き…）　 It　is　　not　clear　whether……,　or　　whether　accuracy　of　screening　　instruments　varies　between　　groups　of　trauma-exposed　　individuals.

17

　メタアナリシスの実際診断検査精度のメタアナリシス

White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4.

19

　メタアナリシスを実施するためのデータ抽出

■ 集めた論文（診断検査精度研究）から必要なデータを抽出する

診断検査精度のメタアナリシス

参加者セッティングメタ分析を実施するために必要な統計量

・年齢・性別・サンプルサイズ・罹患率 etc

・サンプリング　地域　測定時期　 etc 　　

・ TP, FP, TN, FN　　　これらの指標は掲載されていない　　こともある。→著者に直接訪ねる (失敗することも… )　 or論文に記載された情報から算出

Buntinx et al. (2009). The Evidence Base of Clinical Diagnosis: Theory and Methods of Diagnostic Research. 2nd ed. Chapter 10.White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4, 66p.

指標検査 (index test) 参照基準

・１項目の質問（例）・カットオフポイント（理由も含む）

・診断基準 (DSM)（例）

サブグループ解析を行う場合、全ての　サブグループ

で算出

20

　論文に記載されている情報から算出診断検査精度のメタアナリシス

Smith et al. (2009). J Gen Intern Med, 24 , 783 - 788

diseased nondiseasedpositivenegativetotal


diseased nondiseasedpositivenegativetotal 33


diseased nondiseasedpositivenegativetotal 33 253


■ アルコール使用障害を特定するための１項目の質問の精度に関するメタアナリシス…の研究の１つ。

21

　論文に記載されている情報から算出診断検査精度のメタアナリシス

Smith et al. (2009). J Gen Intern Med, 24 , 783 - 788

diseased nondiseasedpositivenegativetotal 33 253


　 The　single-question　screen　was　81.8　%　sensitive　and　79.3　%　specific　for　the　detection　of　unhealthy　alcohol　use.　It　was　slightly　more　sensitive　(87.9　%)　and　was　less　specific　(66.8　%)　for　the　detection　of　a　current　alcohol　use　disorder.　The　longer　AUDIT　screen　was　slightly　less　sensitive　(73.9%)　for　the　detection　of　unhealthy　alcohol　use　and　slightly　more　specific　(82.8%)　for　the　detection　of　an　alcohol　use　disorder,　but　……


diseased nondiseasedpositive 29negativetotal 33 253

disease　statustest　outcome

diseased nondiseasedpositive 29negative 169total 33 253



diseased nondiseasedpositive 29 84negative 4 169total 33 253


22

　データの統合

■ 推奨されている５ステップ■ メタアナリシスで使用される指標■ メタアナリシスの実際　　　　　　　　　　　　


Harbord et al. (2008). J Clin Epidem, 61 , 1095 - 1103

23

　推奨されている５ステップ診断検査精度のメタアナリシス

Higgins & Green. (2008). Cochran Handbook for Systematic Reviews of Interventions. Chapter 9, p281.

24

介入研究のメタアナリシスの場合，統計的統合方法の選択は statistical　test　for　heterogeneity に基づいて

なされるべきではない（ Higgins　&　Green,　2008 ）

Buntinx et al. (2009). The Evidence Base of Clinical Diagnosis: Theory and Methods of Diagnostic Research. 2nd ed. Chapter 10, p195.

■ 個々の研究結果の提示■ 異質性 and/or 閾値効果の有無を検討■ 異質性への対処■ 適切な統計的統合方法を決定■ 統計的統合の実施　　　　　　　　　　　　

異質性：個々の研究間における違い（対象者、手続き、使用尺度など）

閾値：カットオフポイントが個々の　研究間において　異なるために生

じる差異

　メタアナリシスで使用される指標

■ The summary sensitivity and specificity （ sum ）　　　　　・ simple　pooling　　　　　　・ separate　random-effects　meta　analysis　of　　　　 sensitivity　and　specificity　(based　on　their　logit- 　　　　　 transforms)　　　　　　・ Bivariate　random-effects　meta-analysis　(BRM)　　　　　・ Hierarchical　SROC　(HSROC)　model　　

■ SROC curves (sro)　　・ separate　random-effects　meta　analysis　of　　　　 sensitivity　and　specificity　　　・ Littenberg-Moses　summary　ROC　curve　(SROC)　　　　　・ Bivariate　random-effects　meta-analysis　(BRM)　　　　　・ Hierarchical　SROC　(HSROC)　model　　　



25


■ simple　pooling　(sum) 固定効果モデルを用いたメタアナリシス　　感度と特異度の相関を無視、研究間の異質性を考慮していない

■ separate　random-effects　meta　analysis　of　　　 sensitivity　and　specificity　(based　on　their　logit- 　　　　 transforms)　　　感度と特異度の相関を無視、研究間の異質性を考慮したモデル

■ Littenberg-Moses　summary　ROC　curve　(SROC)　(sro)　　感度と特異度の相関を考慮、統計量のバラつきを考慮していない　　　　　 (Mose,　Shapiro,　&　Littenberg　(1993).　Statistics　in　Medicine,　12　1293　-1316.)



26


Tang et al. (2010). J Gambl Stud, 26, 145-158.

27


■ Bivariate　random-effects　meta-analysis　(BRM)　　感度と特異度の相関を考慮、研究間の異質性を考慮　　　 (Reitsma　et　al.　(2005).　J　Clin　Epide,　58,　982　-　990.)

■ Hierarchical　SROC　(HSROC)　model　　感度と特異度の相関を考慮、研究間の異質性を考慮　　　※ BRM は感度と特異度の共分散を、　　　 HSROC は精度と閾値（ θ）の共分散をモデルに含む。　 (Harbord　et　al.(2007).　Biostatistics,　8,　239-251.)



28

　データの比較診断検査精度のメタアナリシス

Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103.Harbor et al. (2009). Stata Journal, 9, 211-229.

29

　先行研究で公表されている結果の推移診断検査精度のメタアナリシス

Wills et al. (2011). BMC Med Res Meth. http://www.biomedcentral.com/1471-2288/11/27

30

　メタアナリシスを実施する前に

■ メタアナリシスに含まれる研究からの抽出データ　　

　・研究間によって、異なる閾値を用いている可能性　　（感度と特異度のトレードオフな関係のため　・研究間の異質性が存在する　　　


Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103.

31

　メタアナリシスの実際　－データの統合―

■ Review Manager を使って　　・インストールする　


http://tech.cochrane.org/revman/download

Step 1: Download the installation fileRevMan exists in two editions based on different versions of the Java platform. The two editions have identical functionality, but the Java 6 edition is somewhat faster and has a better 'look and feel'.Download the file that matches your operating system:*** Note: We have discovered some issues running RevMan under Java 7, so you should only install this version if the Java 6 version doesn't work.

Windows Linux Mac　OS　X

Download32　bit　version　-　will　work　on　all　Windows　machinesDownload64　bit　version　-　will only work　on　64　bit　Windows　machines

Download

Download Java　7　version　for　OS　X　10.7.2　(Lion)　and　higher　with bundled Java　7 ***.Download Java　6　version　for　OS　X　10.5　(Leopard)　on　Intel　CPU　or　10.6　(Snow　Leopard).

32


■ Review Manager を使って　　・はじめる　

診断検査精度のメタアナリシス 33


■ Review Manager を使って　



■ Review Manager を使って　　　



■ Review Manager を使って　　・目的に応じたタイトルを決める



■ Review Manager を使って






























メタアナリシスの目的に応じて選択

検査の比較をする場合はMultiple tests analysis を選択

52




■ Shuetz のデータを使って… forest plot と SROC



■ Shuetz のデータを使って…


　メタアナリシスの実際－ mada パッケージ―

## パッケージの読み込みlibrary(mada)

## 記述統計量の算出（ shuetz.csv の MRI データを使用） madad(data)


ρ が負の相関の場合、閾値効果がある可能性

Forest plot

Study 1

Study 2

Study 3

Study 4

Study 5

Study 6

Study 7

Study 8

Study 9

Study 10

Study 11

Study 12

Study 13

Study 14

Study 15

Study 16

Study 17

Study 18

Study 19

0.94 [0.60, 0.99]

0.78 [0.54, 0.92]

0.83 [0.64, 0.93]

0.85 [0.73, 0.92]

0.88 [0.67, 0.96]

0.80 [0.60, 0.92]

0.64 [0.41, 0.82]

0.89 [0.77, 0.95]

0.87 [0.72, 0.95]

0.93 [0.83, 0.97]

0.89 [0.70, 0.97]

0.69 [0.50, 0.83]

0.91 [0.69, 0.98]

0.84 [0.60, 0.95]

0.97 [0.78, 1.00]

0.93 [0.80, 0.98]

0.82 [0.69, 0.90]

0.88 [0.60, 0.97]

0.93 [0.79, 0.98]

0.41 0.70 1.00


## 記述統計量のグラフ化（ MRI データを使用）forest(madad(data), type=“sens”)forest(madad(data), type=“spec”)

　メタアナリシスの実際　－ mada パッケージ―

Forest plot

Study 1

Study 2

Study 3

Study 4

Study 5

Study 6

Study 7

Study 8

Study 9

Study 10

Study 11

Study 12

Study 13

Study 14

Study 15

Study 16

Study 17

Study 18

Study 19

0.50 [0.13, 0.87]

0.30 [0.07, 0.70]

0.88 [0.40, 0.99]

0.94 [0.83, 0.98]

0.81 [0.47, 0.96]

0.71 [0.49, 0.86]

0.80 [0.65, 0.89]

0.33 [0.17, 0.53]

0.50 [0.29, 0.71]

0.42 [0.29, 0.57]

0.54 [0.35, 0.72]

0.64 [0.49, 0.77]

0.70 [0.30, 0.93]

0.57 [0.33, 0.78]

0.71 [0.59, 0.81]

0.57 [0.33, 0.78]

0.90 [0.80, 0.95]

0.83 [0.51, 0.96]

0.81 [0.64, 0.91]

0.07 0.53 0.99

57


## メタアナリシス（ simple pooling と separate Ran Effe ）madauni(data, method =“ ”, type=“ ”)


methodMH = fixed effectモデルDSL = random effectモデル

typeDOR = diagnostic odds ratio 　　　　　　　　　　　　（診断オッズ比）posLR = 陽性尤度比 ( > 10)negLR = 陰性尤度比 ( < 0.1)

58

0-40%: might not be important30-60%: may represent moderate 50-90%: may represent substantial75-100%: considerable heterogeneity

Higgins & Green. (2008). Cochran Handbook for Systematic Reviews of Interventions. Chapter 9, p278.


## Littenberg-Moses SROC を描くmslSROC(data)


59


## メタアナリシス（ Reitsma et al.(2005) ‘s BRM ）reistma(data)


60

BRM は感度と特異度の共分散を、 HSROC は精度と閾値（ θ）の共分散をモデルに含む。


## BRM を用いて２つの SROC を比較する： MRI と CT のデータ


61


## BRM を用いて２つの SROC を比較する： MRI と CT のデータ


62


■ RevMan と R の連動


　診断精度と臨床的有用性

■ 臨床的有用性とは　　診断精度を量的に評価する指標　　 Clinical　Utility　Index　calculator　　　　　　　(http://www.psycho-oncology.info/cui.html)　　 CUI＋＝感度 ×PPV　　　　　　CUI-= 特異度 ×NPV

■ 評価基準　　 excellent　utility　>=　0.81 　 good　utility　>=0.64 　fair　utility　>=0.49 　 poor　utility　<　0.49 　 very　poor　utility　<　0.36

メタアナリシスの実際－統合と異質性－

Mitchell (2012). http://www.psycho-oncology.info/cui.htmlMitchell (2011). Eur J Epidemiol, 26, 251-252.Mitchell (2014). British J Gen Prac, DOI: 10.3399/bjgp14x680497

64

　メタアナリシスの結果を評価する (qualifying)

■ メタアナリシスに含まれた研究の評価　　結果の一貫性、研究の質（ QUADAS-2 ）■ レビューそのものの評価　　文献収集、データ抽出■ 先行研究との比較　　自身のレビューとこれまでのレビューとの差異　　（質的な差異、メタアナリシスの結果の差異）　　

Bossuyt et al. (2013). Chapter 11 Interpreting results and drawing conclusions. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.

診断検査精度のメタアナリシスの結果をうけて 65

　診断検査精度のメタアナリシスの結果から

■ 実践への示唆■ 研究への示唆

診断検査精度のメタアナリシスの結果をうけて

Bossuyt et al. (2013). Chapter 11 Interpreting results and drawing conclusions. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.

66

　実践への示唆

■ 実際の診断経路において、どこに位置づけられるか　 the　initial　application　of　one　or　two　questions　followed　by　the　longer　AUDIT…,　then　the　brief　screens　are　both　accurate　and　efficient.

■ メタアナリシス結果と検査の役割の関係　a　cautious　recommendation　from　the　authors　can　be　given　for　one　or　two　verbal　question　as　a　screening　test　for　alcohol-use　disorder　in　primary　care,　but　only　when　paired　with　a　longer　screening　tool…　　

Mitchell et al. (2014). British J of Gen Practice, DOI: 10.3399/bjgp14X680497.

67診断検査精度のメタアナリシスの結果をうけて

　研究への示唆

■ 質の高い研究等の実施　　　　The　findings　highlight　the　lack　of　clinical　test　accuracy　data　to　support　the　use　of　history　and　physical　examination　to　diagnose　ALC　injury.　Most　diagnostic　studies　on　this　topic　contain　methodological　flaw　which　can　overestimate　the　diagnostic　accuracy　of　clinical　tests.　　(Swain　et　al.　(2014).　Chirop　&　Man　Thera,　http://www.chiromt.com/content/22/1/25)

　　　　The　most　promising　tasks　may　be　tested　in　large-scale　population　studies.　Irrespective　of　the　design　used,　future　studies　may　employ　independent　test　administration　and　blinding.　(Pawlowska　(2014).　J　Speech　Lang　Hear　Res　doi:　10.1044/2014_JSLHR-L-13-0189)

診断検査精度のメタアナリシスの結論 68診断検査精度のメタアナリシスの結果をうけて

　参考文献69

　参考文献・ Harbord et al. (2008). An empirical comparison of methodsfor meta-analysis of diagnostic accuracy showed hierarchical models are necessary. Journal of Clinical Epidemiology, 61, 1095-1103.・ Reitsma et al. (2005). Bivariate analysis of sensitivity and specificity produces informative summary measures in diagnostic reviews. Journal of Clinical Epidemiology, 58, 982-900.・ Wills & Quigley (2011). Uptake of newer methodological developments and the deployment of meta-analysis in diagnostic test research: a systematic review. BMC Medical Research Methodology, 11, 27.・ Gatsonis & Paliwal (2006). Meta-analysis of diagnostic and screening test accuracy evaluations: Methodologic primer. American Journal of Roentgenogy, 187, 271- 281.・ Macaskill (2004). Empirical bayes estimates generated in a hierarchical summary ROC analysis agreed colsely with those of a full bayesian analysis. Journal of Clinical Epidemiology, 57, 925-932.・ Glas et al. (2003). The diagnostic odds ratio: A single indicator of test performance. Journal of Clinical Epidemiology, 56, 1129 – 1135.

・ Meta-analysis of diagnostic accuracy with mada. (Doelbler & Holling)・ Package ‘mada’ (Doelbler)・ Package ‘HSROC’ (Schiller & Denbukuri)

70

　良い診断検査とは…

　　・ accuracy　　・ invasiveness　　・ difficulty　to　do　　・ risk　　・ discomfort　for　patients　　・ time-consuming　to　yield　results　　・ difficulty　to　interpret

Bossuyt et al. (2006). BMJ, 332, 1089-1092. を改変

71

Health & Medicine

「診断精度研究のメタ分析」の入門