Designing & Implementing Randomized Controlled Trials For Community-Based Human Service Programs: Rationale Principles &Programs: Rationale, Principles, &

Practical Guidance

Phyllis Solomon, Ph.D.Professor

School of Social Policy & PracticeSchool of Social Policy & PracticeUniversity of Pennsylvania

地域を基盤とする対人サービスプログラムの地域を基盤 する対人サ グラランダム化比較試験（RCT）：その設計と実

施の原則および実施ガイダンス施の原則および実施ガイダンス

フィリス・ソロモンペンシルバニア大学

社会政策・社会実践学部 教授社会政策 社会実践学部 教授

共催：東京大学大学院医学系研究科精神保健学分野・精神看護学分野 翻訳：園環樹（株式会社シロシベ）

Overview of WorkshopOverview of Workshop

• Introduction

• RCT Ethical ConsiderationsRCT Ethical Considerations

• Planning an RCT

• Developing Conceptual Foundation

• Designing an RCT• Designing an RCT

• Implementing an RCT

• Generalizing RCT Outcomes

3

ワ クショップの概要ワークショップの概要

• はじめに

• RCTにおける倫理的配慮RCTにおける倫理的配慮

• RCTを計画する

• 概念的基盤を構築する

• RCTをデザインする• RCTをデザインする

• RCTを実施する

• RCTの結果の一般化

4

Introduction

はじめに

What is an RCT?What is an RCT?

T i t l d i P ti i t i d• True experimental design. Participants assigned by chance, following consent, to one of at least two conditionstwo conditions

• Key features of classic experimental design:– Random assignment g

• determines who assigned to which group– Pre & post tests

t d b f & ft i t ti• outcome measured before & after intervention– Control group

• same experiences as experimental group except• same experiences as experimental group exceptno exposure to experimental stimulus

7

RCTとは?RCTとは?

真の実験デザイン 対象者は 研究参加の同意後• 真の実験デザイン。対象者は、研究参加の同意後、複数の条件の中の一つに偶然により割り付けられる。る。

• 典型的な実験デザインの重要な特徴：– 無作為割付

• 無作為に誰がどちらの群に入るか決定される– 前後の評価

アウトカムは介入の前後に評価される• アウトカムは介入の前後に評価される– 対照群

• 介入への曝露がないこと以外は 可能な限り介入群と• 介入への曝露がないこと以外は、可能な限り介入群と同じ条件

8

What is an RCT?What is an RCT?

• Can have more than two groupsCan have more than two groups

• Sometimes no pre-test measures

• Chance does not necessarily mean equal, but known probabilitybut o p obab ty

9

RCTとは?RCTとは?

• 3群以上も可能3群以上も可能

• 前後評価でないことも

• 偶然は等確率である必要はないが、既知の確率で確率で

10

Community-Based Psychosocial Interventions

P h i l I t ti i• Psychosocial Intervention – any service, program, educational curriculum, or workshop whose goal is to produce positive outcomes for individuals confronted with social &/or behavioral issues & challenges

• Community-Based -Conducted in agency/human service/health/mentalagency/human service/health/mental health settings

11

地域を基盤とした心理社会的介入

• 心理社会的介入 – 社会的 &/or 行動学的な問題や課題を抱える個人の良いアウトカムを目指すあらゆるサービス、プログラム、教育カ

プリキュラムやワークショップ

• 地域を基盤とする – 機関／対人サービス／保健／精神保健 の領域で実施される保健／精神保健 の領域で実施される

12

Community-Based Psychosocial Interventions

C it b d h i l• Community-based psychosocial intervention – reflects impact of environmental context in which interventions are imbedded, on clients and providers & interactions between both/all systems

• Less control, more complex environmental context with participants with multiplecontext with participants with multiple problems

13

地域を基盤とした心理社会的介入

• 地域を基盤とした心理社会的介入• 地域を基盤とした心理社会的介入–利用者と提供者の双方または全システムの相互作用があり 介入が行われる場の環境相互作用があり、介入が行われる場の環境的文脈の影響をうける。

• 複数の問題をかかえる対象者の場合、環境的文脈 統制が難 く 複雑的文脈は、より統制が難しく、より複雑に

14

Psychosocial Community-Based Interventions = Effectiveness Studies

• Efficacy studies occur under ideal orEfficacy studies occur under ideal or optimum conditions

Eff ti t di i “ l ld”• Effectiveness studies occur in “real world”

• Efficacy studies greater internal validitycacy stud es g eate te a a d ty

• Effectiveness studies greater external aliditvalidity

15

地域を基盤とした心理社会的介入= 効果研究

• 有効性研究は理想的で最適な条件下で行わ有効性研究は理想的で最適な条件下で行われる

効果研究は “現実世界”で行われる• 効果研究は、“現実世界”で行われる

• 有効性研究には高い内的妥当性有効性研究には高い内的妥当性

• 効果研究には高い外的妥当性

16

Examples of Community-Based Psychosocial RCTs

I A ti C it T t t• Is Assertive Community Treatment more effective than Intensive Case Management or TAU in terms of clinical outcomes socialTAU in terms of clinical outcomes, social functioning, quality of life, and arrests for adults with severe mental illness who are homelesswith severe mental illness who are homeless and exiting jail?– Exiting jail within a monthg ja a o– DSM Dx – Schizophrenia, Major Affective disorders– Eligible for County case management servicesg y g

• Randomized to: ACT, ICM, & TAU• More assigned to TAU

17

地域を基盤とした心理社会的RCTの例地域を基盤とした心理社会的RCTの例

重度精神障害をも ホ ム や刑務所出所者• 重度精神障害をもつホームレスや刑務所出所者である成人に対して、 ACT（包括型地域生活支援）は、ICM（集中的ケ スマネジメント）や通常治療よりもICM（集中的ケースマネジメント）や通常治療よりも、臨床的アウトカムや社会機能、QOL、逮捕の有無に関して効果的か？に関して効果的か？– 1ヶ月以内の刑務所を出所している

– DSMの診断 – 統合失調症、主な気分障害DSMの診断 統合失調症、主な気分障害

– 自治体のケースマネジメント加入資格を満たす• ACT、 ICM、通常治療に無作為割付

• 通常治療群に多く割付

18

Examples of Community-Based Psychosocial RCTs

I F il Ed ti W k h d F il• Is Family Education Workshop and Family Consultation more effective than a waitlist for family members of adults with severe mental illness? – Family members of adults with DSM disorder

of schizophrenia & major affective disorders– Relative diagnosed 6 months or more– Within 50 mi. radius of Philadelphiap

• Randomized to: 12 week family education workshop; family consultation; & waitlist

19

地域を基盤とした心理社会的RCTの例地域を基盤とした心理社会的RCTの例

重度精神障害を抱える成人 家族 対する• 重度精神障害を抱える成人の家族に対する教育ワークショップ・コンサルテーションは対照群より効果的か照群より効果的か? – DSMによる統合失調症、主な気分障害を抱える成人の家族

– 家族が診断されて6ヶ月以上

– フィラデルフィアから半径50マイル内• 12週の家族教育ワークショップ・コンサルテーション群とウェイティング群に無作為割付

20

Examples of Community-Based Psychosocial RCTs

I P ti AIDS Th h H lth (PATH) ff ti i• Is Preventing AIDS Through Health (PATH) effective in reducing high risk sexual behaviors among adults with severe mental illness &substance abuse problems pcompared to no educational intervention?– Randomized Cluster Design – Case managers assigned to

deliver PATH or no PATHdeliver PATH or no-PATH– Clients being served who had DSM Dx of Shiz or major affective

disorders & substance abuse problem were eligible for studyTh b i d b PATH CM i d PATH (E i t l– Those being served by PATH CM received PATH (Experimental group) while those being served by no-PATH CM did not receive intervention (control condition)

21

地域を基盤とした心理社会的RCTの例地域を基盤とした心理社会的RCTの例

イズ予防プログラム（PATH）は 教育的介入のない群に• エイズ予防プログラム（PATH）は、教育的介入のない群に比べて、重度精神障害と物質乱用の問題を抱える成人のハイリスクな性的行動を減少させるか？イリ クな性的行動を減少させるか– クラスターランダム化比較試験– ケースマネージャをPATH群と非

PATH群に割付

DSMで統合失調症もしくは主な気分障害と物質乱用の問題を抱える– DSMで統合失調症もしくは主な気分障害と物質乱用の問題を抱えるサービス利用者であることが、この研究への加入基準

– PATHを受けたケースマネージャのサービスを受ける利用者（介入群）とPATHを受けていないケ スマネ ジャのサ ビスを受ける利群）とPATHを受けていないケースマネージャのサービスを受ける利用者（対照群）

22

RCT Ethical Considerations

RCT における倫理的配慮

Justifying the RCT to DoubtersJustifying the RCT to Doubters

• Want to provide most effective services to clients

• Expectation when treated by a doctorp y

• RCTs best means to making causal inference with high degree of confidencewith high degree of confidence

• Unethical to offer untested intervention

Not denying better treatment to controls• Not denying better treatment to controls– if answer known, there would be no need for study

• Frequently those who receive services determined on a haphazard or a biased basis

25

RCT懐疑論者への反論RCT懐疑論者への反論

者 も効 的な ビ を提供• 利用者に最も効果的なサービスを提供したい

• 医師によって治療される時の期待・予測

• RCTは高い信頼性で因果の推論ができる最高の方法

• 試験されていない介入を行う非倫理性• 試験されていない介入を行う非倫理性

• 対照群より良い介入が行われているとは限らない

予め結果が分か ていれば研究する必要がない– 予め結果が分かっていれば研究する必要がない

• 受けるサービスが、でたらめと先入観で決定されるこが ば ばとがしばしば

26

Ethical Justification For Randomization

• Lack of adequate evidence of effectiveness of exp. intervention punderstudy

• Experimental intervention theoretically• Experimental intervention theoretically justified to potentially benefit target pop.

• Uncertainty of effectiveness (equipoise) –otherwise no scientific basis for RCTotherwise no scientific basis for RCT

27

ランダム化することの倫理的正当性ランダム化することの倫理的正当性

• 代わりに行われている介入の効果に関しても適切なエビデンスが欠如している

• 実験的な介入は、対象者への潜在的な便益によって理論的に正当化されるによって理論的に正当化される

• 効果に関する不確実性（equipoise） – そうでなければRCTの科学的根拠はない

28

Principle of EquipoisePrinciple of Equipoise

• Substantial degree of uncertainty /Substantial degree of uncertainty / ambiguity necessary

S ifi l ti– Specific population

– Setting

29

均衡の原理均衡の原理

• 相当な程度の不確実性 /相当な程度の不確実性 / あいまいさが必要

特定の集団– 特定の集団

– 状況

30

Integration of Practice &gResearch Ethics

P ti i t ti d i d l l t• Practice – interventions designed solely to enhance well-being of client & has reasonable chance of success (Belmont Report, 1979)

• Research – activities designed to test hypothesis, permit conclusions to be drawn, thereby contribute to generalized knowledge (Belmont Report, 1979)

• RCTs = Practice & Research

31

実践と研究倫理の統合実践と研究倫理の統合

実践 利用者のウ ビ イングを高め 正• 実践 – 利用者のウェルビーイングを高め、正当な成功の機会をもたらすためにデザインされた介入れた介入 (Belmont Report, 1979)

• 研究 – 仮説を検証し、結論を導くことを可能研究 仮説を検証 、結論を導く を可能にし、それによって知識の一般化に貢献するためにデザインされた活動 (Belmont Report,ためにデザインされた活動 (Belmont Report, 1979)

• RCT = 実践と研究RCT 実践と研究

32

Ethics of ScientificUntested Interventions

• Experimental intervention at least asExperimental intervention at least as effective as TAU

D h if l t il t• Do no harm - even if voluntarily consents

• Risks assessment for participants s assess e t o pa t c pa t– Extends to others & community-at-large

33

科学的に未試験の介入に関する倫理科学的に未試験の介入に関する倫理

• 少なくとも通常治療と同程度に効果的な実験少なくとも通常治療と同程度に効果的な実験的介入

害を与えない たとえ自発的な同意でも• 害を与えない – たとえ自発的な同意でも

• 参加者のリスクアセスメント参加者のリスクアセスメント

– 他のへ影響の広がりと地域全体

34

Ethics of Selecting Control GroupEthics of Selecting Control Group

• Justify no service comparison– Gas to no gasg

• Waitlist may be justified if agency normally has waiting list or no service offeredhas waiting list, or no service offered

• Inert intervention may be justifiedy j

• TAU may be most justifiable comparison

35

対照群の選択に関する倫理対照群の選択に関する倫理

ビ 較• サービスなし群との比較の正当な理由

– ガスあり群とガスなし群ガスあり群とガスなし群

• 通常時に該当機関がウェイティングリストを使用している場合 もしくは サ ビスが提供さ用している場合、もしくは、サービスが提供されない場合、ウェイティングリストの仕様は正

される当化される

• 治療効果のない介入は正当化され得る治療効果のない介入は正当化され得る

• 通常治療は最も正当化され得る対照群

36

Responsibilities at Termination of RCT

• Provision for ongoing care of participantsProvision for ongoing care of participants

• Experimental service to control condition

• Feedback & dissemination to agency

37

RCTの終了に関する責任RCTの終了に関する責任

• 参加者へのケアの継続提供参加者へのケアの継続提供

• 対照群への実験的サービスの提供

• 該当機関へのフィードバックと宣伝・普及

38

Planning An RCT

RCTを計画する

Determining Whether to Undertake an RCT

• Selecting a site– Pipeline of available & willing eligible p g g

participants

– Setting prepared & willing to commit &Setting prepared & willing to commit & support RCT

• Financially space & supervision• Financially, space, & supervision

• Others willing to financially support

• Sustainability of effective intervention• Sustainability of effective intervention

41

RCTを行うかどうか決定するRCTを行うかどうか決定する

• 現場を選ぶ

– 参加可能で参加意思があり、加入条件を満たす参加可能で参加意思があり、加入条件を満たす対象者とのパイプライン

– RCTの準備が整い RCTにコミットする意思があRCTの準備が整い、RCTにコミットする意思があり、RCTに対する支援がある状況

• 財源 場所 スーパービジョン• 財源、場所、ス パ ビジョン

• 財政的に支援する意思のある他者

• 効果的な介入の持続可能性• 効果的な介入の持続可能性

42

Feasibility & Pilot StudiesFeasibility & Pilot Studies

• Worthiness, practicality, feasibility & acceptability of interventionp y

• Modification of intervention for new populationpopulation

• Pilot testing recruitment, retention, & data collection

• Estimate required sample size• Estimate required sample size

43

実行可能性と予備調査実行可能性と予備調査

• 介入の価値、実用性、実行可能性、容認可能性

• 新しい集団に向けた介入の修正

リク ト 対象者 維持 デ タ収集 予• リクルート、対象者の維持、データ収集の予備試験

• 必要なサンプルサイズの推計

44

Defining Treatment / Program Manuals

• Specifies:– Intervention

– Standards for evaluating adherence

Guidance for training– Guidance for training

– Quality assurance & monitoring standards

– Facilitation or replication

– Stimulates dissemination & replicationp(Carroll & Rounsaville, 2008)

45

治療・支援の定義／プログラムのマニュアル

確• 明確にすることは、

– 介入内容介入内容

– アドヒアランス評価の基準

研修ガイド– 研修ガイド

– 質の確保とモニタリングの基準

– 促進することと複製すること

– 普及と複製の刺激となること普及 複製 刺激 なる(Carroll & Rounsaville, 2008)

46

Treatment / Program ManualsTreatment / Program Manuals

B i f lit t i• Brief literature review• Guidelines for establishing therapeutic g p

relationship• Defining & specifying interventionDefining & specifying intervention• Contrast to other approaches

S f &• Specific techniques & content• Suggestions for sequencing activitiesgg q g

(Carroll & Rounsville, 2008)

47

治療・支援／プログラムマニュアル治療・支援／プログラムマニュアル

簡単な文献レビ• 簡単な文献レビュー

• 治療的関係構築のためのガイドライン構

• 介入を定義し明確にする

• 他のアプロ チとの対比• 他のアプローチとの対比

• 具体的な技術と内容

• 一連の活動への示唆

(Carroll & Rounsville 2008)(Carroll & Rounsville, 2008)

48

Treatment / Program ManualsTreatment / Program Manuals

• Suggestions for dealing with specific problemsp

• Implementation issues

T i ti i• Termination issues

• Qualifications of providersQua cat o s o p o de s

• Training providers

• Supervising of providers(Carroll & Rounsville, 2008)

49

治療・支援／プログラムマニュアル治療・支援／プログラムマニュアル

唆• 特定の問題に対処するための示唆

• 実施上の課題実施上の課題

• 終了時の課題

• 提供者の資格・適性

• 研修の提供者• 研修の提供者

• 提供者のスーパーバイズ(Carroll & Rounsville, 2008)

50

Treatment / Program ManualsTreatment / Program Manuals

Deal with structural aspects

- CaseloadCaseload

- Staff qualifications

- Location/setting

e g spacee.g., space

- Integration into service setting

(Carroll & Rounsville, 2008)

51

治療・支援／プログラムマニュアル治療・支援／プログラムマニュアル

造構造面への対処

- ケースロードケ スロ ド

- スタッフの資格・適性

- 場所／状況

例 空間例, 空間

- サービス環境への統合

(Carroll & Rounsville, 2008)

52

Criticisms of Treatment ManualsCriticisms of Treatment Manuals

Li it d li ti t di ifi d• Limited application to diversified population with complex problems

• Overemphasis on specific techniques –rather than competenciesp

• Focus on technique rather than theoryReduction of provider competence• Reduction of provider competence

• Lack of applicability to diverse providers• Designed for highly motivated & single

problem clients53

p

治療マニュアルへの批判治療マニュアルへの批判

複雑な問題を抱える多様な人びと 応用• 複雑な問題を抱える多様な人びとへの応用に限界

• 能力や適性よりもむしろ具体的な技術が過度に強調強調

• 理論よりも技術に焦点

提供者の能力を減退• 提供者の能力を減退

• 多様な提供者への適用可能性が不足

• 単一の問題を抱える動機の高い利用者向けの設計

54

の設計

Adapting Existing ManualsAdapting Existing Manuals

• Use of qualitative methods – Focus groupsg p

– In-depth interviews

Group processes nominal group process– Group processes – nominal group process, Delphi method, & concept mapping

Eth hi th d– Ethnographic methods

55

既存マニュアルの適合既存マニュアルの適合

• 質的方法の使用

– フォーカスグループフォ カスグル プ

– In-depth （深層）インタビュー

グル ププロセス ノミナルグル ププロセス法– グループプロセス–ノミナルグループプロセス法、デルファイ法、概念マッピング

スノグラ （民族誌学）的方法– エスノグラフィー（民族誌学）的方法

56

Fidelity AssessmentFidelity Assessment

• Determining whether the intervention was conducted as planned and is consistent with service or program elements delineated in manual, including structures & goals

• Fidelity measure

– scale or tool assessing adequacy ofscale or tool assessing adequacy of implementation of service or program

- means to quantify degree to which program- means to quantify degree to which program service elements or services are implemented

57

フィデリティ・アセスメントフィデリティ・アセスメント

• 構造や目標を含め、介入が計画通りに実施されているか、マニュアルに書かれたサービスやプログラ

素と整合性があるか 定するムの要素と整合性があるか測定する

• フィデリティ尺度

– サービスやプログラムの実施の妥当性・適切性を評価する尺度やツール性を評価する尺度やツ ル

- プログラムサービスの要素やサービスの実施の程度を定量化する手法の程度を定量化する手法

58

Leakage AssessmentLeakage Assessment

• Assesses degree of contaminationAssesses degree of contamination

• Captures degree to which participants in control condition receive services planned co t o co d t o ece e se ces p a edonly for experimental intervention

59

漏洩の評価漏洩の評価

• コンタミネーションの程度の評価コンタミネ ションの程度の評価

• 実験介入群にのみ提供されるはずのサービスが対照群の参加者に届いている程度を把スが対照群の参加者に届いている程度を把握する

60

Developing & Piloting Fidelity Assessment

• Self report measures

• Chart reviewsChart reviews

• Observations

• Data extraction from billing forms

• Service logs• Service logs

• Video tapping

• Administrative data

61

フィデリティ評価の開発と予備実施フィデリティ評価の開発と予備実施

• 自記式調査票

• 記録の閲覧・確認記録の閲覧 確認

• 観察

• 会計書類からのデータ抽出

• 臨床サービス記録• 臨床サ ビス記録

• ビデオ撮影

• 経営・管理に関する情報

62

Steps in Developing a Fidelity Measure

• Define purpose of fidelity scale• Assess degree of model developmentAssess degree of model development• Identify model dimensions

D t i if i t fid lit l• Determine if appropriate fidelity scales already exist

• Formulate fidelity scale plan• Develop itemsDevelop items• Develop response scale points

63

フィデリティ尺度開発の手順フィデリティ尺度開発の手順

デ 度 確• フィデリティ尺度の目的を明確にする

• モデルの開発の程度を評価するモデルの開発の程度を評価する

• モデルの特質を同定する

適当なフ デリテ 尺度がすでにあるか確認• 適当なフィデリティ尺度がすでにあるか確認する

デ• フィデリティ尺度の計画を策定する

• 項目をつくる項目をつくる

• 各回答の得点をきめる

64

Steps in Developing a Fidelity Measure

• Choose data collection sources & methods

• Determine item orderDetermine item order

• Develop data collection protocol

• Train interviewers / raters

• Pilot Scale• Pilot Scale

• Assess psychometric properties

• Determine scoring & weighting of items(Bond et al, Nov 2000)

65

(Bond et al, Nov 2000)

フィデリティ尺度開発の手順フィデリティ尺度開発の手順

情 情• 情報源と情報収集の方法を選ぶ

• 項目の並び順を決める項目の並び順を決める

• データ収集のプロトコルを作る

• インタビュアー／レーターの研修を行う

• 予備的に使用する• 予備的に使用する

• 心理測定尺度特性を評価する

• 項目の得点化と重み付けを決定する(Bond et al Nov 2000)

66

(Bond et al, Nov 2000)

Developing ConceptualDeveloping Conceptual Foundations for RCTs

RCTの概念的基盤を構築する

Conceptual Foundations for RCTsConceptual Foundations for RCTs

• Theories for RCTs support explanatory models of process & outcomesp

• Frameworks that delineate role of intervention in affecting changeintervention in affecting change

• Empirical base justifies change over time –expected timeframe for specific levels of changechange

69

RCTの概念的基盤RCTの概念的基盤

論がプ• RCTの理論がプロセスとアウトカムを説明するモデルを裏付ける裏

• 変化への影響における介入の役割を記述する枠組みる枠組み

• 変化に必要な時間に実証的な説明がつくーあるレベルの変化に対する時間軸が予想されるれる

70

Stronger Theoretical ModelsStronger Theoretical Models

M di t• Mediators – variable that is hypothesized to help make

change happen– Conceptual link in the middle of cause &

effect argument– Sometimes referred to as intervening or

process variable– Mechanisms of change in outcomes

associated with the intervention & precede outcome

71

より強力な理論モデルより強力な理論モデル

媒介変数• 媒介変数– 変化を引き起こすだろうと仮定される変数

– 概念的には原因と結果の議論の真ん中をつなぐ

– 仲介変数、プロセス変数ともよばれる仲介変数、 変数 もよばれる

– 介入はアウトカムに先行するというアウトカム変化のメカニズム化

72

Mediation DiagramMediation Diagram

MED

X YX Y

73

媒介変数の図媒介変数の図

媒介

X YX Y

74

Stronger Theoretical ModelsStronger Theoretical Models

• Moderators– Variable that interacts with intervention in

such a way that interaction variable has a different effect or strength of the effect on the goutcome

– Moderators alter strength of causalModerators alter strength of causal relationship

• e g psychotherapy may reduce depression more• e.g., psychotherapy may reduce depression more for men than women or high risk youths do better on outcomes

75

より強力な理論モデルより強力な理論モデル

• 調整変数

– アウトカムへの効果やその大きさを変化させるよアウトカム の効果やその大きさを変化させるような形で、介入と相互作用する変数

– 調整変数は因果関係の強さを変える調整変数は因果関係の強さを変える

• 例） 心理療法は女性よりも男性でより抑うつ症状を改

善する もしくは 高リスクの若年層でよりアウトカムに善する、もしくは、高リスクの若年層でよりアウトカムに良い影響を与える

76

Stronger Theoretical ModelsStronger Theoretical Models

M d t i t d ith i• Moderators associated with service context &/or service population e.g., Police intervention program for persons with mental illness (Crisis Intervention Team) moderated by available MH treatment programs in community

• Moderator analysis assess external validity – answers question of howvalidity answers question of how universal is causal effect

77

より強力な理論モデルより強力な理論モデル

調整変数はサ ビ 文脈やサ ビ を受• 調整変数はサービスの文脈やサービスを受ける層と関係する。例） 精神障害をもつ人へ警察 介 プ グ 危機介の警察の介入プログラム（危機介入チーム）

は、利用可能な地域精神保健支援チームのプ グ 整されプログラムによって調整される

• 調整変数の分析で外的妥当性を評価する –調整変数の分析で外的妥当性を評価する因果関係がどれだけ普遍的かという問いへの回答の回答

78

Moderator DiagramModerator Diagram

MOD

X YX Y

79

調整変数の図調整変数の図

調整

X YX Y

80

Experimental Intervention Compared to What?

E f RCT ti i “C d t• Essence of RCT question is “Compared to What?”N d t id h t l i TAU• Need to consider what usual care is – TAU

• If no usual care, nothing or waitlist appropriate icomparison

• Benign intervention, such as supportive or d ti l i t ti t t d t heducational interventions, not expected to have

deep or lasting impact on outcome measureC t l diti d t t l f tt ti• Control condition used to control for attention or placebo effect as could affect outcome

81

実験的介入を何と比較する？実験的介入を何と比較する？

RCTの問いの本質は 「何と比較する？• RCTの問いの本質は、「何と比較する？」

• 通常ケアとは何かを考慮する必要性 – TAU（T t t A U l）（Treatment As Usual）

• 通常ケアがない場合、なにもしない、もしくはウェイテ ングリストが適切な比較ティングリストが適切な比較

• 支持的または教育的な介入など、良質で温和な介入は アウトカム指標に深くて持続する影響を与え入は、アウトカム指標に深くて持続する影響を与えることは期待されない

注意効果やプラセボ効果を統制するための条件が• 注意効果やプラセボ効果を統制するための条件がアウトカムにも影響を与え得る

82

Examples of ComparisonsExamples of Comparisons

• Consumer Case Management Teams compared to Non-Consumer Case pManagement Teams

Outcomes essentially same for both teams– Outcomes essentially same for both teams

– Limitation –Could be both team equally i ff ti ith t l diti thiineffective – with no control condition this alternative hypothesis could not be ruled out

83

比較の例比較の例

• 精神障害をもつ当事者によるケースマネジメントトチームと非当事者によるケースマネジメン チ 非当事者 よるケ ネジントトチームの比較

アウトカムは両チームにおいて基本的に同じ– アウトカムは両チームにおいて基本的に同じ

– 限界 –両チームが同様に非効果的なのかもしれない この対立仮説を棄却し得る対照群がないない – この対立仮説を棄却し得る対照群がない

84

Examples of ComparisonExamples of Comparison

• Problem–Solving Educational intervention compared to depression education p pmaterials & referral for antidepressant medication among elderly with depressivemedication among elderly with depressive symptoms receiving home health care for their medical problemstheir medical problems– Standard care alone not felt to be strong

comparison to determine effectiveness

– Limits external validity of study results

85

y y

比較の例比較の例

• 問題解決教育プログラムと、医学的な問題のために在宅ケアを受ける抑うつ症状がある高在宅ケアを受ける抑う 症状 ある高齢者へのうつに関する教材と抗うつ剤の紹介の比較の比較

– 効果を判定するには、通常治療のみでは弱く確固たる比較対照にならない固たる比較対照にならない

– 研究結果の外的妥当性に限界

86

Designing RCTs

RCTをデザインする

Controlling for ContaminationControlling for Contamination

• Referred to as blurring of conditions, drift, or treatment dilution

• Ways contamination may occur:C t l diti ti i t i b fit– Control condition participants gain benefit from experimental condition

– Experimental condition drifts toward control condition

– Control condition drifts toward experimental

89

コンタミネーションの制御コンタミネーションの制御

• 条件のぶれ、横滑り、治療の希薄化、などとも呼ばれる

• コンタミネーションが起こるのは、

対照群の参加者が介入群 の介入による良い– 対照群の参加者が介入群への介入による良い影響を受ける

が づ– 介入群の条件が対照群の条件に近づいてしまう

– 対照群が介入群の条件に近づいてしまう

90

Examples of DriftExamples of Drift

C d b ith id li t b h i• Caused by either provider or client behavior• Drift between ACT & individual intensive case

managers– Individual case managers from same agency began

functioning as a teamfunctioning as a team– Resulted in blurring of conditions

• Clients sharing same waiting room• Clients sharing same waiting room• Behavioral anger management intervention with

homework assignments taking place in ahomework assignments taking place in a residential treatment setting

91

横滑りの例横滑りの例

提供者 利用者 どちらの行動も原因になる• 提供者、利用者、どちらの行動も原因になる

• ACTと個別集中型ケースマネージャー間のドリフト– 同じ組織に所属する個別ケースマネージャーがチームとして機能し始める

結果として条件のぶれをもたらす– 結果として条件のぶれをもたらす

• 利用者が同じ待合室を使う

怒りの ントロ ルのための行動療法の宿題が 居• 怒りのコントロールのための行動療法の宿題が、居住型の支援施設内で行われる

92

Potential SolutionsPotential Solutions

Diff t l ti• Different locations• Different times of operationp• Different providers delivering the exp. &

control interventionscontrol interventionsBut these solutions raise additional

confoundsconfounds - result in different types of clients- providers with different qualifications

& experience93

p

あり得る解決策あり得る解決策

異なる場所で行う• 異なる場所で行う

• 異なる時期に行う

• 異なるサービス提供者が介入群と対照群への支援を行うの支援を行う

しかし、これらの解決策は別の交絡をもたらす

利用者 タイプも異なる- 利用者のタイプも異なる

- 提供者の適性や経験も異なる提供者 適性 経験も異なる

94

Design Consideration to Address Contamination

• Provider qualificationsProvider qualifications

• Training providers

• Ongoing support to providers

• Monitoring of interventions• Monitoring of interventions

95

コンタミネーションに対処するデザイン上の配慮

• 提供者の適性提供者の適性

• 研修の提供者

• 提供者への継続的な支援

• 介入のモニタリング• 介入のモニタリング

96

Changes in Intervention Environment

• History internal threat

• Policy change may affect one or both• Policy change may affect one or both conditions

• Becomes a confound when interacts with one condition differentially to outcomey

• Another is conducting continuing ongoing process assessmentprocess assessment

97

介入環境の変化介入環境の変化

• 内的妥当性の脅威としての大きな出来事（災害や大事件）害や大事件）

• 政策の変化が一方または両方の群に影響を与える与える

• 1つの条件がアウトカムに別々に相互作用する場合に交絡となる

• 他は継続的なプロセスアセスメントを実施す• 他は継続的なプロセスアセスメントを実施する

98

Biased AttritionBiased Attrition

• Biased attrition to one condition or the other is real threat to internal validityy

E C f bi d tt iti i t l• E.g., Concern of biased attrition in control condition of ACT homeless jail study

Loss also red ces po er• Loss also reduces power

99

偏った脱落偏った脱落

• 一方の条件に偏った脱落率が内的妥当性の脅威となる

例） ACTのホ ムレスや拘置所に関する研• 例） ACTのホームレスや拘置所に関する研究でコントロール群に偏った脱落率

欠損は検出力も低下させる• 欠損は検出力も低下させる

100

Potential Design Solutions to Attrition

P t l d i d t & k ti i t• Protocol designed to engage & keep participants engaged

• Pre-randomization introductory phase absorbing earlyPre-randomization introductory phase absorbing early stage attrition– Trade off – reduced external validity

• Increased incentive payment at points expect greater loss

e g Exit from prison– e.g., Exit from prison

• More participants assigned to condition with greater anticipated lossp

• Statistical procedures – require anticipation to obtain necessary data

101

脱落を解決し得るデザイン脱落を解決し得るデザイン

参加する約束をし 約束を守り続けるようにデザインされたプ• 参加する約束をし、約束を守り続けるようにデザインされたプロトコル

• 初期の脱落を吸収できる導入段階での事前ランダム化初期の脱落を吸収できる導入段階での事前ランダム化– 外的妥当性の低下とトレードオフ

• 多くの欠損が見込まれる時点での謝礼の増加– 例）刑務所からの出所時

• 多くの欠損が見込まれる群への多めの割付

統計的処理 必要なデ タが 得 きる見込 が必要• 統計的処理 – 必要なデータが取得できる見込みが必要

102

RandomizationRandomization

• Usually equal assignment to all conditions

• Unequal assignment requires justification

• Computer randomization preferred to• Computer randomization preferred to physical manipulation

103

ランダム化ランダム化

全 割• 通常、全ての群へ均等割付

• 均等でない割付には理由が必要

• 実際に手を使った操作よりコンピュータによる• 実際に手を使った操作よりコンピュ タによる割付が望まれる

104

When to Use Stratified Randomization?

R d i ti t l• Randomization may not ensure equal proportions across conditions

• When sample size small – e.g., less than 100e.g., less than 100

• Subpopulation small e g less than 20%– e.g., less than 20%

• Bigger problem of small samples – low power

• Increases complexity105

p y

層化ランダム割付はいつ使う?層化ランダム割付はいつ使う?

ダム化 各群 均等 割り付けられな• ランダム化で各群に均等に割り付けられないかもしれない

• サンプルサイズが小さい– 例） 100より小さい例） 100より小さい

• 部分母集団の割合が小さい例） 20%より小さい– 例） 20%より小さい

• サンプルサイズが小さいことのより大きな問題点 検出力の低さ題点 – 検出力の低さ

• より複雑になる106

When to Use Cluster Randomization?

• Control for contamination– e.g., same providers delivering two interventions

• Efficiency – everyone in intervention served in one location

• Cost & time-efficient – can’t feasibly gain consent from everyone & change in policy orconsent from everyone & change in policy or guideline

• Limitation – requires larger sample size to• Limitation – requires larger sample size to maintain power

107

クラスターランダム割付はいつ使う?クラスターランダム割付はいつ使う?

タ を制御す• コンタミネーションを制御する

– 例） 同じ提供者が2種類の介入を行う

• 効率性 – 全員が1つの場所で介入を受ける

• コストと時間の効率 – 全員から同意が得られないコストと時間の効率 全員から同意が得られない場合、政策やガイドラインの変化

• 限界 検出力を維持するためにより大きなサンプ• 限界 – 検出力を維持するためにより大きなサンプルサイズが求められる

108

When to Use Blocked Randomization?

• When employing group interventionsWhen employing group interventions

• Control flow into different conditions

• Assignments made for smaller units, such as in blocks of 4, 6, etc.

109

ブロックランダム割付はいつ使う?ブロックランダム割付はいつ使う?

• 集団に介入を行う場合集団に介入を行う場合

• 別の条件に流れこむことを制御する

• 4つ、6つといった小さなユニットに対して行われる割付れる割付

110

BlindingBlinding

• Controls for potential bias, specifically reactivity of client &/or providery p

Diffi lt t d i it b d• Difficult to do in community–based psychosocial interventions

Possibl blind data collectors• Possibly blind data collectors

111

盲検化盲検化

• 潜在的なバイアス、具体的には、利用者と提供者の反応性を制御

地域ベ 心理社会的介入 は実現が困• 地域ベースの心理社会的介入では実現が困難

出来る限りデ タ収集担当者の盲検化• 出来る限りデータ収集担当者の盲検化

112

Randomization in PracticeRandomization in Practice

• Assignment occur after consent & baseline assessment completedp

• Random assignment not in hands of providers or even research workersproviders or even research workers

• Procedures for random assignment centrally controlled to protect against subversionsubversion

113

実際の無作為割付実際の無作為割付

• 参加同意とベースライン評価を実施した後で割付が行われる

• 無作為割付はサービス提供者によって行われるのではなく まして研究者によって行われるのではなく、まして研究者によって行われるものではない

• ランダム割付は、ランダム化の違反から守るために、中央で管理されるために、中央で管理される

114

How to Design Recruitment & Sampling Strategy

• Need to demonstrate can consent &Need to demonstrate can consent & maintain sufficient sample size for analysis

• Need to determine at what point in pipeline eed to dete e at at po t p pe efeasible & conceptually justified to recruit

115

リクルートとサンプリングの戦略をデザインする方法

• 分析を可能にするための十分なサンプルサ分析を可能にするための十分なサンプルサイズに達する同意者数と追跡者数を明らかにする必要する必要

• ケースの流れの中のどこでリクルートすることが可能か 概念的に正当な理由があるか をが可能か、概念的に正当な理由があるか、を決定する必要

116

What Inclusion Criteria to Consider?

• Need to operationally define inclusion & exclusion criteria

• Consideration & implications of criteria, e g new intakes or current clients i ee.g., new intakes or current clients, i.e., current testing TAU + exp. int.

• Consideration of age, diagnoses, language, & geographylanguage, & geography

117

加入基準で配慮することは?加入基準で配慮することは?

• 加入基準、除外基準を操作的に定義する必要

• 基準における配慮と意味。例）新規にインテ クを行うケ スか すでに利用しているテークを行うケースか、すでに利用しているケースか。つまり、通常治療＋介入を試験するかるか。

• 年齢、診断、言語、地理への配慮年齢、診断、言語、地理 の配慮

118

What Exclusion Criteria to Consider?

• Vulnerable populations

• Co-morbid or specific disorders

• Specific system status levels• Specific system status levels

• Frequently, no exclusion criteria

119

除外基準で配慮することは?除外基準で配慮することは?

脆 び• 脆弱な人びと

• 合併症を含めるか特定の疾患のみか

• 特定のシステムの状態のレベル• 特定のシステムの状態のレベル

• 除外基準を設けないことは多い

120

Considering Sample Method & Recruitment Process

• Frequently use consecutive samples

• Combination of purposive, snowball, & t lquota samples

• Agency staff vs. research staff doing recr itmentrecruitment

121

サンプリングの方法とリクルートのプロセスにおける配慮

続 プ が が• 連続的サンプルが用いられることが多い

• 目的的サンプル、スノーボールサンプル、比例割当サンプルの併用例割当サンプルの併用

• 提供機関のスタッフによるリクルートと研究スタッフによるリクル トタッフによるリクルート

122

Determining Sample SizeDetermining Sample Size

• Determining effect size– Prior research – literature

– Pilot studies

E ti ti tt iti• Estimating attrition– Prior studies

– Pilot studies

123

サンプルサイズを決定するサンプルサイズを決定する

ズ• エフェクトサイズを決定する

– 先行研究 – 文献先行研究 文献

– パイロット研究

脱落率の見積り• 脱落率の見積り

– 先行研究

– パイロット研究

124

125

126

Operationalizing Experimental & Control Interventions

N d t l l if ll diti• Need to clearly specify all conditions– Experimental interventions – manualized/tool

kit – clearly specified intervention– Justify that exp. & control conditions truly

differ– Need to operationalize TAU & benign

interventions– If exp. longer or more intense (dosage) than

control – time &/or amount may be variables effecting outcome

127

実験群と対照群への介入の操作化実験群と対照群への介入の操作化

全ての条件を明示する必要• 全ての条件を明示する必要– 実験的介入 – マニュアル化／ツールキット – 介入の明示

– 介入群と対照群の条件が真に異なることを証明すする

– 通常治療と良性の介入の操作化の必要

– もし介入群が対照群よりも長く高密度（投与量）の場合、介入時間および、あるいは量がアウトカ

影響を与 る変数 も れなムに影響を与える変数かもしれない

128

Outcome Measures & Data PointsOutcome Measures & Data Points

• Need psychometrically sound measures –unreliable measures reduce powerp

• Valid measures for sample

S iti t t h i h t ti• Sensitive to capture change in short time frame

• Some concepts unlikely to change in short time frametime frame

• Justify time period for data points

129

アウトカム指標と時点アウトカム指標と時点

• 心理測定学的に信頼できる尺度を用いる必要– 信頼出来ない尺度は検出力を低下させる

• サンプルに対して妥当な尺度

短期間での変化を捉える鋭敏さ• 短期間での変化を捉える鋭敏さ

• 一部の概念は短期間では変化しない部の概念は短期間では変化しない

• データ取得時点の正当な理由

130

Approaches to Data AnalysisApproaches to Data Analysis

E t d t I t t t t t l i• Expected to use Intent-to-treat analysis• Avoid temptation of eliminating participants

i i li it d ireceiving limited service• Dosage effect variables – fidelity, compliance,

dh & tadherence, & engagement • Carefully conceptualize dosage effect so do not

b tit t f i i d d t i blsubstitute for main independent variable• With enough data points can estimate missing

d tdata• Statistical consultant early in design process

131

データ分析のアプローチデータ分析のアプローチ

I t t t t t 分析を想定する• Intent-to-treat 分析を想定する

• 限定されたサービスしか受けていない参加者を分析から除外する誘惑に負けない析から除外する誘惑に負けない

• 量的効果（Dosage effect）変数 – フィデリティ、コンプライアンス アドヒアランス ンゲ ジメントプライアンス、アドヒアランス、エンゲージメント

• 主な独立変数が量的効果に置き換えられないよう注意深く概念化する注意深く概念化する

• 十分なデータ収集時点があれば、欠損値の推計が可能になる可能になる

• デザインの初期段階で統計コンサルタント

132

Implementing RandomizedImplementing Randomized Designsg

無作為化デザインを実施する

Preparing Setting for RCTPreparing Setting for RCT

• Inform setting with time for preparation, but not so far in advance that forgotten

• Research & Agency jointly decide on how & when to inform personnel

• Jointly present RCT with administrators & staff

• Need to sell RCT on benefits to setting• Need to sell RCT on benefits to setting, providers, & clients

Don’t oversell what can’t be delivered• Don’t oversell what can’t be delivered

• Understand provider’s perspective

135

RCTを実施する環境を整えるRCTを実施する環境を整える

• 準備期間を含めて早目に設定を現場に伝える。しかし、早すぎても忘れられる

• 研究機関と提供機関が合同で、いつどのようにスタッフに伝えるかを決める

• 合同でRCTについて管理者、スタッフと共同でRCTに関する発表をするに関する発表をする

• 環境、提供者、利用者へのRCTの便益を売り込む

できないことは売り込まない• できないことは売り込まない

• 提供者の視点を理解する

136

Preparing Setting for RCTPreparing Setting for RCT

• Sensitivity to language & examples employ

• Turn lack of clarity into an advantagey g

• Anticipate questions & issues & raise them first

• Address random assignment in straightforward• Address random assignment in straightforward manner

Try to counter negative momentum• Try to counter negative momentum

• Positive frame of mind critical – “you need them more than they need you”

137

RCTを実施する環境を整えるRCTを実施する環境を整える

葉 例 慮す• 用いる言葉と例について配慮する

• 明確さの欠如を長所とする

• 予想される疑問や課題、まず先手をうつ

• 直接的で簡単な方法でランダム割付に取り組む• 直接的で簡単な方法でランダム割付に取り組む

• 否定的な機運に対抗を試みる

前向きな気持ちが決定的 重要 彼ら（ タ ）• 前向きな気持ちが決定的に重要 – “彼ら（スタッフ）

があなたを求めている以上に、あなたが彼らを求めるている”

138

Tracking ParticipantsTracking Participants

At ll t ti i t l t l t• At enrollment participant complete locator form – working document of all info to help find someone including:– Demographic & identifying info– Relatives, info from multiple people at

different locations– Professional contacts for contact info– Incidental contactsc de ta co tacts

• e.g., where one goes when out of money, or hungry, or where one sleeps when homeless

139

対象者を追跡する対象者を追跡する

参加者 加入時 位置入力 ムをうめる• 参加者の加入時に位置入力フォームをうめる– 誰かを見つけるための作業文書に含まれる情報はる情報は、– 人口学的情報、個人を特定できる情報

– 家族に関する情報、異なる場所の複数の情報源から得た情報

– 連絡先情報には専門職の連絡先

– 付随的な連絡先付随的な連絡先• 例） お金に困ったとき、食べ物に困ったとき、家がなく寝場所に困ったときにどこに行くか

140

Tracking ParticipantsTracking Participants

• Working document

– update every time contact participantupdate every time contact participant

- indicate helpful & unhelpful info

- offer incentive for participant to contact researchers with change of infoesea c e s t c a ge o o

• Computerized system to generate timely lists for follo p data pointslists for follow-up data points

141

対象者を追跡する対象者を追跡する

書• 作業文書

– 参加者にコンタクトするたびに更新参加者にコンタクトするたびに更新

- 役に立つ情報とそうでない情報を示す

- 情報に変更があった際に、それを研究者に連絡することへのインセンティブの提供連絡する と のインセンティブの提供

• コンピュータを用いて作成するフォローアップデ タ取得時期に関するタイムリ なリストデータ取得時期に関するタイムリーなリスト

142

Monitor RecruitmentMonitor Recruitment

• Use track system, monitor recruitment to ensure accruing sample to meet timely projections

• Big push late in study resulting in non-completers of intervention &/or outcomes

• Relying totally on providers is usually ineffective

• Creative means to control recruitment within• Creative means to control recruitment within confidentiality & legal policies

Remember providers usually do not want• Remember providers usually do not want responsibility for recruitment

143

リクルート状況のモニタリングリクルート状況のモニタリング

• 追跡システムを用いて、リクルート状況をモニタリングし、時機に応じて対象者数が増加していることを確認する確認する

• 研究における対応の遅れが、介入やアウトカムの未達成という結果につながる

• 提供者に完全に頼ることは、通常効果的でない提供者に完全に頼ることは、通常効果的でない

• 秘匿下で、合法的にリクルートをコントロールする独創的な方法創的な方法

• 提供者は通常、リクルートに責任を持ちたくないことを覚えておく

144

を覚えておく

Referral ProcessReferral Process

P id k f l b t b t th t• Providers make referrals, but best they not do eligibility determinations or consents

• Providers obtain Release of Information form from potential eligible participantsp g p p

• Provider referrals based on easily observable or obtainable criteria (usingobservable or obtainable criteria (using system categorization), & casting wide net

Lessens burden on providers– Lessens burden on providers– Providers more likely to do

145

紹介のプロセス紹介のプロセス

提供者は紹介を行うが 加入基準を満たす• 提供者は紹介を行うが、加入基準を満たすか判断したり参加同意の取得を行うのではない

• 提供者は基準を満たす参加者から、情報開提供者は基準を満たす参加者から、情報開示に関する合意を得る

• 提供者の紹介は簡単に観察でき入手できる• 提供者の紹介は簡単に観察でき入手できる基準に基づいて実施され (系統的なカテゴリー化を用いて) 網は広くはるリ 化を用いて)、網は広くはる– 提供者の負担を小さくする

提供者が実施しやすくなる146

– 提供者が実施しやすくなる

Ensuring Participant Retention in Research

• Inform participants when they will be followed upp

• Review locator information at subsequent data collection pointsdata collection points

• Offer adequate incentives

• Employ effective research data collectors

147

研究対象者の追跡保持に関する確認研究対象者の追跡保持に関する確認

追• 参加者に追跡時点を知らせる

• 次のデータ収集時に個人情報を確認する次のデ タ収集時に個人情報を確認する

• 適切なインセンティブを提供する

• 有能な研究データ収集家を雇う

148

Ensuring Participant Retentionin Research

• Document all follow-up activities in detail

• Exploit contact information obtainedExploit contact information obtained

• Reasonably accommodate participant for f ll d t ll tifollow up data collection

• Allocate enough resources for travelocate e oug esou ces o t a e

• Allow ample time for tracking down participantsparticipants

149

研究対象者の追跡保持に関する確認研究対象者の追跡保持に関する確認

• フォローアップの活動の詳細の全てを記録に残す

• 得られた連絡先情報を利用する

プ デ タ収集に関し 参加者• フォローアップのデータ収集に関して、参加者と道理にかなった形で適宜調整する

• 移動・交通に十分なリソースをあてがう

参加者の追跡に十分にゆとりのある時間を• 参加者の追跡に十分にゆとりのある時間を配分する

150

Ensuring Participant Engagement in Intervention

C i ti i t f i t ti• Communicating importance of intervention • Outlining benefits & expectations of participants

Making minor modifications• Making minor modifications– e.g., reducing # of sessions if too many dropping out

• Training providers (both conditions) in• Training providers (both conditions) in engagement, retention, & relationship building

• Building trustBuilding trust• Incorporating outreach efforts as part of

intervention• Novel thinking

– e.g., giving up professional offices

151

研究参加者の介入への関わりを確実にする研究参加者の介入への関わりを確実にする

介入の重要性を伝える• 介入の重要性を伝える

• 参加者が受ける利益と予期されることについて概要を説明するを説明する

• 微修正を行う– 例） ドロップアウトが多ければセッション数を減らす例） ドロップアウトが多ければセッション数を減らす

• （両群の）提供者に、エンゲージメント、追跡保持、関係構築に関する研修を行う

• 信頼を築く• 介入の一部としてアウトリーチの努力を盛り込む• 斬新な考え

– 例） 専門職スタッフのオフィスをやめる

152

Qualifications & Training of Providers

• Equality of qualifications for all conditions – otherwise confoundingg

• Training of Experimental Providers

T i i f C t l P id• Training of Control Providers

153

提供者の資格と研修提供者の資格と研修

全 が 資 適• 全ての群の提供者が同じ資格と適性– そうでなければ交絡

• 実験群の提供者への研修

対照群の提供者 の研修• 対照群の提供者への研修

154

Fidelity AssessmentFidelity Assessment

Ti i t d l t l & t h• Time points – developmental & mature phases of interventionP id & li t ti• Provider & client perspective

• Data sources – Billing data– Treatment/activity logs

Att d d– Attendance records– Site visits

Ethnographic methods– Ethnographic methods• e.g., shadowing

155

フィデリティ評価フィデリティ評価

時点 介入の導入開発時期と成熟期• 時点 – 介入の導入開発時期と成熟期

• 提供者と利用者の視点

• 情報源– 会計情報

– 治療／活動の記録

– 出勤簿

訪問– 訪問

– エスノグラフィー（民族誌学）的方法• 例） シャド イング（尾行）• 例） シャドーイング（尾行）

156

Assessing Environmental ContextAssessing Environmental Context

• Systematically tracking organizational changes g– e.g., policy, eligibility requirements by dates

Use of quantitative & qualitative methods• Use of quantitative & qualitative methods

• Importance as participants will be served p p pover time – not all served at same point in timetime

157

環境的文脈を評価する環境的文脈を評価する

追• 組織の変化を系統的に追跡する

– 例） 方針や有資格の条件などを経時的に例） 方針や有資格の条件などを経時的に

• 量的・質的方法を使用

参加者が 期 わた ビ を受 続• 参加者が長期にわたってサービスを受け続けることの重要性 – 全ての参加者に同時にサービスが提供されるわけではない

158

Final Note

さいごに

Final NoteFinal Note

G li bilit t th i tti• Generalizability to other service settings• Sustainability of intervention in research y

setting• Transparency of reporting RCTsTransparency of reporting RCTs

– CONSORT: checklist & flow diagram

If i t l i t ti ff ti t• If experimental intervention effective, cost effectiveness important – but need to d i t b i i f t d tdesign at beginning of study, not as an after thought

161

さいごにさいごに

他のサ ビ 環境 の 般化可能性• 他のサービス環境への一般化可能性

• 研究環境における介入の持続可能性

• RCTの結果公表の透明性CONSORT: チェックリストと流れ図– CONSORT: チェックリストと流れ図

• もし実験的介入が効果的であれば、費用対効果が重要 しかし 事後的に検討するの効果が重要 – しかし、事後的に検討するのではなく研究開始時のデザインで考慮すべき

162