32.1 Spring 2017 / printemps 2017

Editor’s Remarks / Un mot du rédacteur vRobert Schwartz

ARTICLES

Contribution Analysis: Th eoretical and Practical Challenges and Prospects for Evaluators 1Suman Budhwani and James C. McDavid

Comment évaluer les eff ets des évaluations d’impact sur la santé : le potentiel de l’analyse de contribution 25Jean Marie Buregeya, Astrid Brousselle, Kareen Nour et Christine Loignon

“Advocates Change the World; Evaluation Can Help”: A Literature Review and Key Insights from the Practice of Advocacy Evaluation 46Juniper Glass

Analyse d’implantation d’une recherche-intervention sur le dépistage rapide du VIH dans la communauté gaie montréalaise 65Ludivine Veillette-Bourbeau, Joanne Otis, Martin Blais, Robert Rousseau et Mark A. Wainberg

La fi délité d’implantation d’un programme probant au-delà de son implantation initiale : l’exemple de Ces années incroyables en protection de l’enfance de 2003 à 2013 90Isabelle-Ann Leclair M., Geneviève Paquette et Marie-Josée Letarte

The La Canadian Revue Journal canadienne of Program d’évaluation Evaluation de programme

RESEARCH AND PRACTICE NOTES / NOTES SUR LA RECHERCHE ET LES MÉTHODES

Finding Balance: An Evaluation Governance Model to Ease Tension between Independence and Inclusion 109Robert K. D. McLean, Kaitlyn Finner, François Dumaine, Kathryn Graham, Jocelyn E. Mackie, David Peckham, Kathryn Wehr, and Lisa Woodward

Building Evaluation Culture and Capacity in a Community-Level Program: Lessons Learned from Evaluating Youth Futures 122Vivien Runnels, Caroline Andrew, and Jennifer Rae

L’analyse logique comme outil de soutien à l’application des connaissances dans le domaine psychosocial 131Anne-Marie Ouimet et Daphné Morin

BOOK REVIEWS / COMPTES RENDUS DE LIVRES

Mixed Methods for Policy Research and Program Evaluation, by Patricia Burch and Carolyn J. Heinrich 143Reviewed by / compte-rendu par Mariane Arsenault

Evaluation Foundations Revisited: Cultivating a Life of Mind for Practice, by Th omas A. Schwandt 146Reviewed by / compte-rendu par Douglas Dollinger

Instructions to Authors 151Instructions aux auteurs 153

Editorial Team / Équipe éditoriale

Editor-in-chief / Robert Schwartz, Ph.D.Rédacteur en chef Professor, Dalla Lana School of Public Health Executive Director, Ontario Tobacco Research Unit University of Toronto 155 College Street, Room 540 Toronto, ON, M5T 3M7 <robert.schwartz@utoronto.ca> Associate Editor / Isabelle Bourgeois, Ph.D. Rédactrice associée Assistant professor, École nationale d’administration

publique (819) 771–6095 ext. 2231 <isabelle.bourgeois@enap.ca> French Language Astrid Brousselle Editor / Rédactrice Professeure titulaire, associée francophone Département des Sciences de la santé communautaire Université de Sherbrooke (450) 466-5000, ext. 3682 <astrid.brousselle@usherbrooke.ca> Book Review Editor / Jill Anne Chouinard, Ph.D. Rédactrice, Comptes Assistant Professor, University of North Carolina atrendus de livres Greensboro <jill.chouinard@uncg.edu> Editorial Assistant / Emily Taylor Adjointe à la rédaction Canadian Journal of Program Evaluation University of Toronto (416) 978-8843 <emily.taylor@camh.ca>

EDITORIAL BOARD / COMITÉ DE RÉDACTION

Courtney Amo A/Director, Evaluation and Risk Directorate; Atlantic Canada Opportunities Agency (ACOA), Government of Canada

Tim Aubry School of Psychology, University of OttawaIlsa N. Blidner Consultant, TorontoPaul Brandon College of Education, University of HawaiiBrad Cousins Faculty of Education, University of OttawaNathalie Dubois École nationale d’administration publiquePaul Favaro Chief of Assessment and Accountability, Peel Board of EducationSwee Goh School of Management, University of OttawaChristophe Kellerhals Secrétaire permanent de la Commission externe d’évaluation des politiques publiques du canton de Genève (CEPP)Marlène Laeubli Consultant, SwitzerlandChris Lovato University of British ColumbiaCharles Lusthaus Consultant, MontréalJohn Mayne Consultant, OttawaJames McDavid School of Public Administration, University of VictoriaCéline Mercier Centre de réadaptation Lisette Dupras, LachineAnita Myers Department of Health Studies, University of WaterlooMichael Obrecht Canadian Institutes of Health ResearchJohn Owen Centre for Program Evaluation, University of MelbourneBurt Perrin Consultant, FranceCheryl Poth University of AlbertaHallie Preskill Executive Director, FSG Social Impact Consultants, San FranciscoLucie Richard Faculté des sciences infi rmières, Université de MontréalValéry Ridde Faculté de médecine, Université LavalRay C. Rist Th e World Bank, Washington, D.C.Mark Seasons School of Planning, University of WaterlooRobert V. Segsworth Department of Political Science, Laurentian UniversitySouraya Sidani Faculty of Nursing, University of TorontoNick L. Smith School of Education, Syracuse UniversitySanjeev Sridharan Health Policy Management & Evaluation, University of TorontoRosalie Torres Developmental Studies Center, OaklandSue Weinstein Consultant, Toronto

PRINTED AND BOUND IN CANADAPUBLICATIONS MAIL AGREEMENT NO 40600510RETURN UNDELIVERABLE CANADIAN ADDRESSES TOUNIVERSITY OF TORONTO PRESS, JOURNALS DIVISION5201 DUFFERIN ST., TORONTO, ONTARIO, M3H 5T8EMAIL: journals@utpress.utoronto.ca

Editor’s Remarks

Articles and practice notes in this issue of the Canadian Journal of Program Evaluation ( CJPE ) cast light on the value of empirical work in advancing knowl-edge about evaluation practice. It is rewarding to see the quantity and quality of evidence informed and evidence-informing evaluation work being put forward for peer-reviewed publication. As befi ts a regular issue of CJPE , this issue covers a wide range of topics. Readers will certainly fi nd at least one topic that will con-tribute to their own thinking and practice.

Moving from the more theoretical to the more practical, the opening research article by (Suman Budhwani) off ers a critical review of contribution analysis, high-lighting some methodological challenges and suggesting potential adaptations. Jean Marie Buregeya, Astrid Brousselle, Kareen Nour, and Christine Loignon use contribution analysis to assess the use of health impact assessment impacts at the municipal level. Th eir piece exemplifi es “de-siloing” by bringing evaluation-fi eld thinking to bear on an evaluative tool developed for the healthy public policy fi eld. Th e evaluation of advocacy has been drawing increasing attention. Juniper Glass describes the results of a survey on evaluations of advocacy for systems and policy change and provides new insights to guide future evaluations of advocacy work. Th e last two articles (Veillette-Bourbeau, Otis, Blais, Rousseau, & Wainberg and LeClair, Paquette, & Letarte) focus on evaluations of implementation highlighting stakeholder roles and issues concerning the fi delity of implementation.

Th ree research and practice notes demonstrate how thoughtful evaluators have addressed challenges in particular evaluation situations. Robert K. D. Mclean and colleagues outline how the design of an evaluation governance structure has helped them to overcome the persistent challenge that we all face in producing an evaluation that is both independent and inclusionary. Bringing to the surface an underlying issue that is less discussed, Vivien Runnels, Caroline Andrew, and Jen-nifer Rae draw our attention to the challenge of sustaining evaluation interest in a partnership-led community program and propose steps to addressing it. Finally, Ouimet and Morin outline how evaluation can enhance the practices of social service organizations by making them more consistent with scientifi c knowledge.

With such a wide range of topics and such thoughtful research and analysis, readers will surely fi nd themselves browsing through many of the articles and delving into at least one, or two, or three. Remember, you can use our online discussion board to share your thoughts.

Robert Schwartz Editor-in-chief

© 2017 Canadian Journal of Program Evaluation / La Revue canadienne d'évaluation de programme32.1 (Spring / printemps), v doi: 10.3138/cjpe.32.1.v

Un mot du rédacteur

Les articles et les notes de pratique du présent numéro de la Revue canadienne d’évaluation de programme (RCÉP) mettent en relief la valeur des travaux em-piriques pour améliorer les connaissances de la pratique de l’évaluation. Il est gratifi ant de voir la quantité et la qualité des travaux d’évaluation envoyés pour publication. Comme à l’habitude pour un numéro régulier de la RCÉP, la présente édition traite d’une vaste gamme de sujets. Nos lecteurs y trouveront au moins un sujet qui contribuera à leurs propres pratique et réfl exion.

Si nous commençons par le plus théorique, le premier article de recherche par Suman Budhwani propose un examen critique de l’analyse de contribution, dans un texte qui met en relief certains défi s méthodologiques et suggère des adapta-tions possibles. Jean Marie Buregeya, Astrid Brousselle, Kareen Nour et Christine Loignon utilisent l’analyse de contribution pour évaluer l’utilisation de l’évaluation d’impact sur la santé au niveau municipal. Leur article est un exemple parfait de « démantèlement de silos », qui utilise nos connaissances en évaluation pour ana-lyser l’impact d’un outil d’évaluation créé pour le domaine des politiques publiques en santé. L’évaluation de type « advocacy » attire de plus en en plus l’attention. Juniper Glass décrit les résultats d’un sondage sur les évaluations de ce type qui visent à infl uencer les systèmes et les politiques et off re un nouvel éclairage pour orienter les futures évaluations de cette nature. Les deux derniers articles (Veillette-Bourbeau, Otis, Blais, Rousseau et Wainberg et LeClair, Paquette et Letarte) sont des analyses d’implantation qui soulignent le rôle et les défi s liés à l’implication des parties-prenantes pour analyser la fi délité de l’implantation.

Trois notes de pratique et de recherche décrivent la façon dont des évalu-ateurs ont relevé des défi s dans des situations particulières d’évaluation. Robert K. D. Mclean et ses collègues donnent un aperçu de la conception d’une structure d’évaluation de la gouvernance qui les a aidés à passer outre le défi persistant auquel nous avons tous fait face lorsqu’il est question de produire une évaluation aussi indépendante qu’inclusive. Mettant en lumière un problème sous-jacent dont il est peu question, Vivien Runnels, Caroline Andrew et Jennifer Rae at-tirent notre attention sur le défi de soutenir l’intérêt porté à l’évaluation dans un programme communautaire fondé sur un partenariat, et suggèrent des solutions au problème. Finalement, Ouimet et Morin brossent un tableau de la façon dont l’évaluation peut améliorer les pratiques d’organisations de service social en les rendant plus conformes aux pratiques scientifi ques.

© 2017 Canadian Journal of Program Evaluation / La Revue canadienne d'évaluation de programme32.1 (Spring / printemps), vi–vii doi: 10.3138/cjpe.32.1.vi

Un mot du rédacteur vii

CJPE 32.1, vi–vii © 2017doi: 10.3138/CJPE.32.1.vi

Devant un choix si vaste de sujets, de recherches et d’analyses pertinentes, vous allez certainement survoler plusieurs des articles de ce numéro et vous plonger dans plus d’un. N’oubliez pas que vous pouvez faire part de vos réfl exions dans notre forum de discussion en ligne.

Robert Schwartz Rédacteur en chef