Implementation of Evidence Based Practice

Jason M. Satterfield, PhDProfessor of Clinical Medicine

University of California, San Francisco

Disclosures

• None; no conflicts of interest

Objectives• Describe common variables that influence the  implementation or uptake of evidence‐based practices using the Consolidated Framework for Implementation Research (CFIR). 

• Explain domains and procedures to assess organizations and providers in order to best tailor local implementation plans.

• Illustrate implementation challenges, opportunities and solutions using an SBIRT implementation case study. 

• Draft a tailored implementation plan to promote evidence‐based practices for opioids at your home institution or clinic.

What is Implementation?

• “Implementation is the use of strategies to adopt and integrate evidence‐based health interventions and change practice patterns within specific settings.” (Schillinger, 2009)

• Although the study of implementation strategies is new, there is an emerging science that can guide what interventions will be most helpful in promoting treatment adoption and genuine changes in provider behavior.

Why do we need a module on this?

• Despite a growing evidence‐base, promising new therapies often don’t make it to the frontlines of clinical practice or only do so after years of delay. (Balas & Boren, 2000; Westfall et al., 2007 )

• NIH has recognized the need for “T3” or dissemination & implementation (DI) research to help us understand how to implement treatments.

• Initial DI research can guide the development of implementation strategies – including ways to change clinical practices around pain management and the use of opioids.

DI Science or “T3” Research is a Critical Step to Get Evidence-Based Practices into Clinical Practice

Westfall, J. M. et al. JAMA 2007;297:403-406

Copyright restrictions may apply.

Sample Implementation Research Questions(from NIH DI Science Conference 2009)

• Can effective measures be created for key implementation constructs(e.g. supervision, outcomes monitoring, turnover, leadership)?

• How does implementation of effective practice impact turnover,organizational culture and climate?

• Is there an effective model of (re)training providers in effectivepractices?

• How can capacity be built within practice settings to supportimplementation of effective practices?

• What data systems can support ongoing assessment ofimplementation? What models enhance sustainability of effective practices?

See Chambers, 2007

Other Key Definitions

• Dissemination is the targeted distribution of information and intervention materials to a specific public health or clinical practice audience.

• Adaptation refers to the modifications of the intervention itself or the necessary alterations in the supporting infrastructure.

• Adoption refers to the uptake of the desired intervention into the target population or uptake by the implementers.

• Fidelity refers to “the adherence of actual treatment delivery to the protocol originally developed” or “the degree program developers implement programs as intended by the developers.”

Schillinger et al

Implementation Models• There are a number of different implementation models to 

guide the uptake of clinical innovations– Diffusion of Innovations (Rogers)– Re‐AIM  (Glasgow)– ARC Model (Glisson)

• More recent syntheses of these models save time and improve focus (see refs and resource listings)– Consolidated Framework for Impl Res (CFIR: Damschroder)– Greenhalgh et al, 2004– Fixsen et al, 2005

• We will use the CFIR model to illustrate both content and processes to consider before trying to implement a new treatment/protocol.

Consolidated Framework for Implementation Research(CFIR)

Arising from a synthesis of 19 different implementation models, the CFIR is composed of five major domains: intervention characteristics, outer setting, inner setting, characteristics of the individuals involved, and the process of implementation. Each of these domains specify variables to be considered when developing an implementation plan.  The final domain (“process”) further specifies procedural steps to consider when planning out an implementation approach.  Although initially intended to guide research, the CFIR can also be used to guide changes to clinical practice.  

The 5 CFIR Domains

1. Intervention characteristics2. Outer setting3. Inner setting4. Characteristics of individuals involved5. Process of implementation

The 5 CFIR Domains

1. 2.

3.

4.

5.

Damschroder, 2009

CFIR: 1. Intervention Characteristics • Intervention Source:  Perception of key stakeholders about whether the 

intervention is externally or internally developed.• Evidence Strength & Quality:  Stakeholders’ perceptions of the quality and 

validity of evidence supporting the belief that the intervention will have desired outcomes.

• Relative advantage: Stakeholders’ perception of the advantage of implementing the intervention versus an alternative solution.

• Adaptability: The degree to which an intervention can be adapted, tailored, refined, or reinvented to meet local needs.

• Trialability: The ability to test the intervention on a small scale in the organization, and to be able to reverse course (undo implementation) if warranted.

• Complexity: Perceived difficulty of implementation, reflected by duration, scope, radicalness, disruptiveness, centrality, and intricacy and number of steps required to implement

• Design Quality and Packaging: Perceived excellence in how the intervention is bundled, presented, and assembled

• Cost: Costs of the intervention and costs associated with implementing that intervention including investment, supply, and opportunity costs.

CFIR: 2. Outer Setting• Patient Needs & Resources: The extent to which patient needs, as well as 

barriers and facilitators to meet those needs are accurately known and prioritized by the organization.

• Cosmopolitanism: The degree to which an organization is networked with other external organizations.

• Peer Pressure: Mimetic or competitive pressure to implement an intervention; typically because most or other key peer or competing organizations have already implemented or are in a bid for a competitive edge.

• External Policy & Incentives: A broad construct that includes external strategies to spread interventions including policy and regulations (governmental or other central entity), external mandates, recommendations and guidelines, pay‐for‐performance, collaboratives, and public or benchmark reporting.

CFIR: 3. Inner Setting• Structural Characteristics: The social architecture, age, 

maturity, and size of an organization.• Networks & Communications: The nature and quality of webs 

of social networks and the nature and quality of formal and informal communications within an organization.

• Culture:  Norms, values, and basic assumptions of a given organization.

• Implementation Climate: The absorptive capacity for change, shared receptivity of involved individuals to an intervention and the extent to which use of that intervention will be rewarded, supported, and expected.  May include communication of goals, feedback, and how new skills are typically taught/learned within an organization.

CFIR: 4. Characteristics of Individuals

• Knowledge & Beliefs about the Intervention: Individuals’ attitudes toward and value placed on the intervention as well as familiarity with facts, truths, and principles related to the intervention.

• Self‐efficacy: Individual belief in their own capabilities to execute courses of action to achieve implementation goals.

• Individual Stage of Change: Characterization of the phase an individual is in, as he or she progresses toward skilled, enthusiastic, and sustained use of the intervention.

• Individual Identification with Organization: A broad construct related to how individuals perceive the organization and their relationship and degree of commitment with that organization.

• Other Personal Attributes: A broad construct to include other personal traits such as tolerance of ambiguity, intellectual ability, motivation, values, competence, capacity, and learning style.

CFIR: 5. Process of Implementation• Planning: The degree to which a scheme or method of behavior and tasks 

for implementing an intervention are developed in advance and the quality of those schemes or methods.

• Engaging: Attracting and involving appropriate individuals in the implementation and use of the intervention through a combined strategy of social marketing, education, role modeling, training, and other similar activities.– Opinion Leaders – Formally appointed internal implementation leaders– Champions – External Change Agents

• Executing: Carrying out or accomplishing the implementation according to plan.

• Reflecting & Evaluating: Quantitative and qualitative feedback about the progress and quality of implementation accompanied with regular personal and team debriefing about progress and experience.

Implementation Challenges• Variables from any of the CFIR domains can derail 

implementation of even the strongest evidence‐based practice.  

• Examples: – Inner setting: The leadership made a unilateral decision and didn’t 

communicate consistently with staff.  – Outer: no external incentives are provided.  Changing the practice 

incurs penalties in productivity statistics.– Culture: The staff pride themselves on having decades of experience 

and believe you shouldn’t “fix something if it ain’t broke.”  • Even within the same county system, local differences should 

be taken into account and used to tailor implementation plans.

Implementation Opportunities

• Change can be disruptive but it can also ultimately improve both the work climate and clinical outcomes.  

• Constructing an explicit implementation plan decreases ambiguity and anxiety but also promotes team work and builds relationships.

• Both bottom‐up and top down interventions can be used.  Bottom‐up approaches promote empowerment and buy‐in while top down mandates provide clear direction and incentives.

Preparing Your Organization

• Implementation leaders should review the CFIR domains and do initial assessments regarding local conditions.  

• Pick the initial “inside team.” Local champions are nearly always necessary as is buy‐in (if not advocacy) from the leadership.  Select known change agents and opinion leaders.

• Prepare an analysis of costs/benefits including financial benefit and advantages for patients.

SBIRT Implementation Case Example• Screening, brief interventions, and referrals to treatment (SBIRT) is an evidence‐based practice (EBP) for addressing problematic alcohol use in primary care.  (Babor et al., 2007)

• Two suburban, outpatient family medicine clinics decided to implement SBIRT as standard practice.  All adult patients would be screened for alcohol use at least once per year and brief interventions and/or referrals would be delivered when appropriate.  

SBIRT Case ExampleClinic A

• Group practice with 8 PCP’s; nursing staff, medical assistants and receptionists

• 50% Medicare or Medicaid; 50% private insurance

• Averages rates of substance use

• SBIRT chosen by practice director and administrator

Clinic B• County health clinic with 6 

PCP’s; social work, nursing, “health coaches”, administrator

• 30% Medicare or Medicaid; 70% uninsured

• High prevalence of substance use; marginal housing, lack of resources

• SBIRT mandated by county with incentive funds attached

SBIRT Case Example

Clinic A• All staff and providers 

trained in SBIRT skills• Admin staff developed 

SBIRT clinic flow instructions

• SBIRT still not implemented 2 years after decision

Clinic B• All staff and providers 

trained in SBIRT skills• Clinic flow and algorithms 

developed (nested in EHR)• SBIRT fully implemented at 

16 months with 80% of patients now being screened

How can we understand what happened?

SBIRT Clinic A: Implementation Failure

• Despite the investment of substantial time and money, SBIRT was never launched in this family medicine group practice.  An analysis using CFIR can diagnose the problem and point to solutions.

• Reminder: The 5 CFIR Elements1. Intervention characteristics2. Outer setting3. Inner setting4. Characteristics of individuals involved5. Process of implementation

SBIRT Clinic A: Implementation Failure1. Intervention (SBIRT) characteristics are probably not at play.  They would be 

identical for both clinics.2. Outer setting differences such as external incentives and patient 

needs/resources are possible. Clinic B received county incentives to be SBIRT compliant and their patients had greater need of the service.  However, lack of patient insurance and resources might have made referrals more difficult for Clinic B along with greater psychiatric co‐morbidities.

3. Inner setting differences are likely.  Decision‐making in Clinic A is more democratic, but individual responsibility is diffused.  There is a long history of failed innovations when there is no internal champion.  Clinic A has no EHR and relied on email communication only.

4. Characteristics of individuals played a role. Many providers in Clinic A have strong interests in chronic disease management, but think alcohol and drug issues are most appropriately handled in a county free clinic.  They felt less confident and less interested in providing brief interventions despite the trainings.  Their “stage of change” was contemplative.  

5. Implementation processes were disorganized and disjointed in Clinic A due to staff turnover, lack of an internal champion, and competing demands from other clinical issues.  Clinic B had a well articulated timeline with task assignments and implementation benchmarks.

Create a Tailored Implementation Plan

CFIR Framework helps you tailor local implementation plans1. Plan: assess intervention, outer/inner settings, 

and individuals.  Consider implementation plan options and time line.

2. Engage: identify and bring key players to the table

3. Execute: push the launch button when all is in place and key players are in the “action” stage

4. Evaluate your implementation efforts

Draft Your Own Implementation PlanStep 1: Plan (Assessment)

• Intervention characteristics– Special needs or requirements?– How complex?  Timeline for training?

• Outer setting– Pt needs, resources, policies, incentives

• Inner setting– Org/Clinic structure– Management, administration

• Characteristics of individuals• Provider skills, knowledge, attitudes

Step 2: Engage Key Players

• Who are your internal champions?• Who are the change agents in your workplace?

• Who will be your biggest critics or naysayers?• Does it make sense to include patients or families in the process?

• Should public health or other official be involved?  Third party payors?

Step 3: Execute

• Select a start date, but expect adaptations to be on going.  Set dates for progress reports.

• Trouble shooting: things always go wrong.  Be prepared to take a constructive approach to find solutions to non‐compliance.

• Collecting data:  There should be a valid mechanism in place to assess compliance and fidelity – e.g. panel reviews.  

• Expect to make iterative changes to the plan.

Step 4: Evaluation• Create and use a data base that can track provider behavior (e.g. Rx, referrals) and/or patient data and outcomes.  

• Assessment of goals can include:– Utilization of the evidence‐based practice– Patient outcomes (for example: less use of opioids, greater attendance at pain support groups)

– Provider outcomes– Financial

• Closing the loop.  Team needs feedback on their performance so improvements can be ongoing.

Summary

• Having a strong treatment and an excellent training program are not enough to meaningfully change clinical practices.  Careful (and substantial) attention has to be given to implementation strategies and relevant variables.

• The CFIR identifies core domains to consider when developing implementation plans and outlines helpful processes to try.  

Online Resources for Learning

• www.ebbp.org– online modules that promote evidence‐based behavioral practice

• PCSS‐O: http://www.pcss‐o.org/ • PCSS‐B: http://www.pcssb.org/ • RE‐AIM (implementation model): http://cancercontrol.cancer.gov/is/reaim/

• Implementation journal and guides: http://www.implementationscience.com/

Please Click the Link Below to Access the Post Test for the Online Module

Upon completion of the Post Test:• You will receive an email detailing correct answers, explanations and references for each question. 

• You will be directed to a module evaluation, upon completion of which you will be emailed your module Certificate of Completion.

http://www.cvent.com/d/fcq0ms