Projektbericht des Coordination of Cancer Clinical ... · Verständnis des ADAPTE Manuals ... Tabelle 21: Appraisal of Search and Screen Module.....39 Tabelle 22: Appraisal of Assessment

Projektbericht des "Coordination of Cancer Clinical Practice Guidelines"(CoCanCPG)-Projektes

CoCanCPG Version 1.0 Stand: 09.02.2010

Projektbericht CoCanCPG

Version

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG)

1.0 09.02.2010

- i -

Dieser Projektbericht beinhaltet eine ausführliche Beschreibung der Aktivitäten des IQWiG die im Zeitraum von 2006 bis Dezember 2009 durchgeführt wurden.


Version


1.0 09.02.2010

- ii -

Inhaltsverzeichnis

Seite

Tabellenverzeichnis................................................................................................................. iv

Abbildungsverzeichnis ...........................................................................................................vii

Abkürzungsverzeichnis.........................................................................................................viii

1 Hintergrund ...................................................................................................................... 1

1.1 Projektzeitraum...................................................................................................... 1

2 Ziel des Projektes ............................................................................................................. 2

3 Aufbau und Struktur des Projektes ............................................................................... 3

3.1 Struktur................................................................................................................... 3 3.2 Der Projektmanagementprozess........................................................................... 3 3.3 Die einzelnen Arbeitspakete, ihre Arbeitsschritte und Produkte...................... 4

4 Finanzierung ..................................................................................................................... 8

5 Aktivitäten des IQWiG im Rahmen des Projektes ....................................................... 9

5.1 Aktivitäten in den Jahren 2006 bis 2007.............................................................. 9 5.2 Mitarbeit bei der Entwicklung und Validierung von methodischen

Arbeitswerkzeugen („Common Tools and Instruments“)................................ 10 5.3 Entwurf eines Fragebogens zu „Joint training activities“ (WP6; Task 6.5)... 10 5.4 Erstellung und Pilot Test des Manuals zur

Leitlinienadaptierung:„CoCanADAPTE Manual“ (WP7; Task 7.3) ............. 16 5.4.1 Befragung der Projektmitglieder zur formalen Gestaltung und zum

Verständnis des ADAPTE Manuals................................................................... 17 5.4.2 Treffen mit HAS zur Validierung der ersten Version des CoCanADAPTE

Manuals.............................................................................................................. 17 5.4.3 Fertigstellung einer vorläufigen Version des CoCanADAPTE Manuals .......... 17 5.4.4 Befragung zur formalen Gestaltung des CoCanADAPTE Manuals.................. 18 5.4.5 Pilot Testung der Anwendung des CoCanADAPTE Manuals........................... 18 5.4.6 Erstellung einer finalen Version des CoCanADAPTE Manuals ....................... 18

6 Ergebnisse ....................................................................................................................... 19

6.1 Analyse der Befragung zum ADAPTE Manual ................................................ 19 6.1.1 Ziel der Befragung ............................................................................................. 19


Version


1.0 09.02.2010

- iii -

6.1.2 Deskriptive Analyse........................................................................................... 19 6.1.3 Bivariate Analyse............................................................................................... 44

6.2 Analyse der Befragung zur formalen Gestaltung der ersten Version des CoCanADAPTE Manuals ................................................................................... 49

6.2.1 Deskriptive Analyse........................................................................................... 49 6.2.2 Zusammenfassung der Ergebnisse ..................................................................... 61

6.3 Analyse der Befragung zum Pilot Test der ersten Version des CoCanADAPTE Manuals ................................................................................... 62

6.3.1 Deskriptive Analyse........................................................................................... 62 6.3.2 Zusammenfassung der Ergebnisse ..................................................................... 75

6.4 Die finale Version des CoCanADAPTE Manuals ............................................. 77 6.4.1 Ziel des Manuals ................................................................................................ 77 6.4.2 Aufbau und Struktur........................................................................................... 77 I. Die „Preliminary Phase“ (Vorbereitungsphase) ................................................ 79

7 Zusammenfassung.......................................................................................................... 93

8 Fazit ................................................................................................................................. 95

8.1 Bewertung des Projektverlaufs........................................................................... 95

9 Literatur.......................................................................................................................... 97

Anhang A: Projektvertrag (Contract 206070)..................................................................... 98

Anhang B: Validierte Tools und Formate.......................................................................... 117

Anhang C: Konzipierter Fragebogen zur Erfassung des Bedarfs von Schulungsmaßnahmen................................................................................................. 131

Anhang D: Fragebogen zum ADAPTE Manual................................................................ 133

Anhang E: Fragebogen zur formalen Gestaltung des CoCanADAPTE Manuals ......... 138

Anhang F: Fragebogen zum Pilot Test des CoCanADAPTE Manuals........................... 141

Anhang G: Methoden der Leitlinienentwicklung der Partnerorganisationen............... 147


Version


1.0 09.02.2010

- iv -

Tabellenverzeichnis

Tabelle 1: Organisationen des CoCanCPG – Projektes ............................................................. 1

Tabelle 2: Arbeitspakete, -schritte und Produkte ....................................................................... 4

Tabelle 3: Expressed needs and offers in joint trainings.......................................................... 11

Tabelle 4: Interest in the ADAPTE process ............................................................................. 21

Tabelle 5: Number of CPGs produced by organisation during the last 5 years ....................... 25

Tabelle 6: Number of CPGs adapted by organisation during the last 5 years ......................... 26

Tabelle 7: Time data................................................................................................................. 28

Tabelle 8: Clarity and feasibility of the ADAPTE manual ...................................................... 29

Tabelle 9: Median for Clarity and feasibility of the ADAPTE manual ................................... 29

Tabelle 10: Expectation of effects from using ADAPTE in comparison with current CPG development ....................................................................................................... 30

Tabelle 11: Expected barriers in using ADAPTE .................................................................... 31

Tabelle 12: Added value of ADAPTE ..................................................................................... 32

Tabelle 13: Clarity and feasibility of ADAPTE....................................................................... 33

Tabelle 14: Clarity and feasbility of ADAPTE........................................................................ 33

Tabelle 15: Number of modules............................................................................................... 34

Tabelle 16: Number of steps .................................................................................................... 35

Tabelle 17: Overlap between modules/steps............................................................................ 36

Tabelle 18: Sequence of modules/steps ................................................................................... 36

Tabelle 19: Appraisal of Preparation Module .......................................................................... 38

Tabelle 20: Appraisal of Scope and Purpose Module .............................................................. 38

Tabelle 21: Appraisal of Search and Screen Module............................................................... 39

Tabelle 22: Appraisal of Assessment Module.......................................................................... 39

Tabelle 22 (Fortsetzung): Appraisal of Assessment Module ................................................... 40

Tabelle 23: Appraisal of Decision and Selection Module........................................................ 40

Tabelle 24: Appraisal of Customisation Module ..................................................................... 41

Tabelle 25: External Review and Acknowledgement Module................................................. 41

Tabelle 26: Aftercare Planning Module ................................................................................... 41

Tabelle 27: Further revision of ADAPTE................................................................................ 42


Version


1.0 09.02.2010

- v -

Tabelle 28: Revision for CoCanCPG....................................................................................... 43

Tabelle 29: Revisionin own context and CoCanCPG community........................................... 43

Tabelle 30: Produced and adapted guidelines .......................................................................... 44

Tabelle 31: Interest in ADAPTE.............................................................................................. 45

Tabelle 32: Interest in ADAPTE and expected effect of ADAPTE......................................... 45

Tabelle 33: Correlations between the items ............................................................................. 46

Tabelle 34: Development ......................................................................................................... 47

Tabelle 35: Development ......................................................................................................... 47

Tabelle 36: Quality Assessment ............................................................................................... 47

Tabelle 37: Monitoring............................................................................................................. 47

Tabelle 38: Monitoring............................................................................................................. 48

Tabelle 39: Indicators............................................................................................................... 48



Tabelle 42: Clarity and Comprehension of the CoCanADAPTE-Manual............................... 49

Tabelle 43: Rating scale for each item ..................................................................................... 50

Tabelle 44: Median................................................................................................................... 50

Tabelle 45: Understandability/clarity and feasibility of the modules and steps ...................... 53

Tabelle 46: Understandability / clarity and feasbility of the tools ........................................... 57

Tabelle 47: Time planning and use of manual ......................................................................... 63

Tabelle 48: Plan to follow the CoCanADAPTE manual.......................................................... 63

Tabelle 49: Topics of the planned guideline ............................................................................ 63

Tabelle 50: Expert groups in the guideline adaptation panel ................................................... 64

Tabelle 51: Target users ........................................................................................................... 65

Tabelle 52: Context of guideline adaptation ............................................................................ 65

Tabelle 53: Overall assessment ................................................................................................ 66

Tabelle 54: Rating scale for each item ..................................................................................... 66

Tabelle 55: Median of overall assessment ............................................................................... 67

Tabelle 56: Requirement of further revision of the manual ..................................................... 68

Tabelle 57: Requirement of further revision of the tools ......................................................... 69


Version


1.0 09.02.2010

- vi -

Tabelle 58: Rating scale for effects.......................................................................................... 69

Tabelle 59: Summary of the ratings ......................................................................................... 69

Tabelle 60: Barriers by using the CoCanADAPTE process .................................................... 70

Tabelle 61: Comments on barriers ........................................................................................... 70

Tabelle 62: Added value of CoCanADAPTE .......................................................................... 71

Tabelle 63: Following the steps ............................................................................................... 71

Tabelle 64: Retrieved, assessed, used guidelines..................................................................... 73

Tabelle 65: Update of the literature.......................................................................................... 73

Tabelle 66: Contextualising of the source recommendations .................................................. 73

Tabelle 67: General comments................................................................................................. 74

Tabelle 68: Zusammenfassung der Inhalte der Leitlinien........................................................ 81

Tabelle 69: Dokumentation der Leitlinienaktualität ................................................................ 83

Tabelle 70: Prozess zur Erstellung eines Evidenzreports und Auswahl der besten verfügbaren Evidenz........................................................................................... 86

Tabelle 71: Empfehlungsmatrix ............................................................................................... 89

Tabelle 72: Übersicht der Ergebnisse des Bewertungsmoduls ................................................ 90


Version


1.0 09.02.2010

- vii -

Abbildungsverzeichnis

Abbildung 1: Struktur des Projektes [www.cocancpg.eu] ......................................................... 3

Abbildung 2: Projektmanagement Prozess [www.cocancpg.eu] ............................................... 4

Abbildung 3: Pre-payments / reimbursements and reporting schedule...................................... 8

Abbildung 4: Role of primary contact of respondetns in CPG development........................... 20

Abbildung 5: Role of primary contact of respondents in CPG development by partners........ 20

Abbildung 6: Interest of all respondent in ADAPTE............................................................... 22

Abbildung 7: Combination of interest in ADAPTE by partners .............................................. 22

Abbildung 8: Combination of experiences in CPG development, implementation and adaptation by partners......................................................................................... 24

Abbildung 9: Number of CPGs produced by organisation during the last 5 years.................. 25

Abbildung 10: Anzahl der adaptierten Leitlinien innerhalb der letzten fünf Jahre.................. 26

Abbildung 11: Medians of Clarity and feasibility of ADAPTE............................................... 34

Abbildung 12: Darstellung der groben Struktur des CoCanADAPTE Manuals...................... 78

Abbildung 13: Evaluationsbogen zur Konsistenzprüfung Teil I.............................................. 84

Abbildung 14: Evaluationsbogen zur Konsistenzprüfung Teil II ............................................ 85

Abbildung 15: Bewertung der Konsistenz zwischen der Evidenz, deren Interpretation und der daraus resultierenden Empfehlungen ........................................................... 86

Abbildung 16: Bewertungsbogen für Akzeptanz und Anwendbarkeit .................................... 89



Version09.02.2010

- viii -

1.0

Abkürzungsverzeichnis

Abkürzung Bedeutung

AATRM Agència d` Avaluació de Tecnologia i Recerca Mèdiques

ACCC Vereniging van Integrale Kankercentra

AETSA Agencia de Evaluación de Tecnologias Sanitarias de Andalucía

AGREE Appraisal of Guidelines Research and Evaluation

CoCanCPG Coordination of Cancer Clinical Practice Guidelines

CSO-MOH Israeli Ministry of Health

DLCC Direction de Lutte Contre le Cancer

DSPP Lietuvos Respublikos Sveikatos Apsaugos Ministerija

EU Europäische Union

EUMIN Egeszsegugyi Ministerium

HAS Haute Autorité de la Santé

INCa Institut National du Cancer

IQWiG Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen

IOVU Vilniaus Universiteto Onkologijos Institutas

ISS Istituto Superiore di Sanita

KCE Federaal Kenniscentrum voor de Gezondheidzorg/Centre Fédéral d'Expertise des Soins de Santé

NICE National Institute for Health and Clinical Excellence

NSC Network Steering Committee

OOI Orszagos Onkologia Intézet

SIGN Scottish Intercollegiate Guidelines Network

WP Work package


Version


1.0 09.02.2010

- 1 -

1 Hintergrund

CoCanCPG (Coordination of Cancer Clinical Practice Guidelines) war eine Kooperation, bestehend aus aktuell 16 Organisationen (siehe Tabelle 1) aus 11 Ländern. Es wurde mit dem von der EU geförderten Projekt eine Kooperation für den Austausch von Erfahrungen, Wissen und Werkzeugen zum Management von relevanten Prioritäten der Entwicklung von Leitlinien zu schaffen beabsichtigt. Die Gründe für dieses Projekt sind, dass Krebs eines der häufigsten Gesundheitsprobleme mit starken Differenzen in den Überlebensraten innerhalb der EU ist. Weitere Gründe sind Diskrepanzen in der Entwicklung von Krebsleitlinien, wie doppelt vorhandene Leitlinien zu ein und demselben Thema (Duplikate) und unvollständige Leitlinien mit Evidenzlücken.

Tabelle 1: Organisationen des CoCanCPG-Projektes

Partner Nummer

Partner Name Land Namen der Teilnehmer

10 SIGN Schottland Dr. Safia Quereshi

7 ACCC Niederlande Dr. Renée Otter

18 DLCC Kanada Mrs. Louise Paquet

5 CSO-MOH Israel Dr. Benny Leshem

17 ISS Italien Dr. Cristina Morciano

2 KCE Belgien Prof. Dirk Ramaekers

8 AETSA Spanien Mrs. Belén Corbacho

3 HAS Frankreich Dr. Philippe Michel

14 (+6) IOVU (+DSPP)* Litauen Dr. Dainius Characiejus (Ms Gedmile Grinkeviciute)

15 IQWiG Deutschland Dr. Alric Rüther, Dr. Michael Kulig

4 EUMIN Ungarn

11 NICE Großbritannien Prof. Peter Littlejohns

1 InCa Frankreich Dr. Christine Bara

9 AATRM Spanien Dr. Emilia Sanchez

16 OOI Ungarn Dr. Erzsébet Podmaniczki

1.1 Projektzeitraum

Das Projekt startete im Jahr 2006 und wird nach dem Projektzeitplan am 31. Januar 2010 enden.


Version


1.0 09.02.2010

- 2 -

2 Ziel des Projektes

Das primäre Ziel war der Aufbau und die Stärkung eines kooperativen Netzwerks, um der „Zerstückelung“ und den Duplikaten bei der Entwicklung von Krebsleitlinien entgegenzuwirken und qualitativ hochwertige Leitlinien mit hochwertiger Evidenz zu entwickeln.


Version


1.0 09.02.2010

- 3 -

3 Aufbau und Struktur des Projektes

3.1 Struktur

Das Projekt wird koordiniert durch das französische Institut National Du Cancer (INCa). Das Network Steering Comnmittee (NSC) stellt dabei den wichtigsten Entscheidungsträger dar, der sich aus den Partnerorganisationen zusammensetzt, die eine direkte oder delegierte nationale Verantwortung für die Leitlinienforschungsprogramme besitzen. Das Projektkoordinationsteam ist für die Sicherstellung der Abgabe sowohl der täglichen Arbeiten des Projektmanagements als auch der übrigen Ergebnisse des Projektes verantwortlich (Abbildung 1).

Abbildung 1: Struktur des Projektes (www.cocancpg.eu)

3.2 Der Projektmanagementprozess

Das Koordinierungsteam des Projektes unterstützt die Koordinatoren und alle übrigen Partnerorganisationen, um eine erfolgreiche Implementierung des Arbeitsprogramms der gesamten CoCanCPG-Kooperation sicherzustellen. Das Projektkoordinationsteam arbeitet dabei eng mit dem „Network Steering Committee“ zusammen. Die Arbeit ist primär fokussiert auf die Bereitstellung von Anleitungen für die funktionelle und strategische Implementierung des Projektes und für die korrekte Nutzung von Projektergebnissen (Abbildung 2).


Version


1.0 09.02.2010

- 4 -

Abbildung 2: Projektmanagementprozess [www.cocancpg.eu]

3.3 Die einzelnen Arbeitspakete, ihre Arbeitsschritte und Produkte

Zum Aufbau des kooperativen Netzwerks und zur Erreichung der Zielstellung wurde das Projekt in spezifische Arbeitspakete (Work packages = WP) nterteilt. Die Arbeitspakete sind wiederum in einzelne Arbeitsschritte unterteilt. Die Produkte (Deliverables), die am Ende eines Arbeitspaketes abgeschlossen werden sollten sind unter den jeweiligen Arbeitspaketen bzw. -schritten zu finden.

Tabelle 2: Arbeitspakete, -schritte und Produkte

Arbeitspaket („Work package“ = WP) Arbeitsschritte (Task)

WP1: Project Management Task 1.1: Monitoring project advancement Task 1.2: Project management handbook Task 1.3: Administrative and financial

coordination Task 1.4: Monthly progress reports Task 1.5: Communication with the Commission Task 1.6: Procedures for conflict resolution

Deliverables: D 1.1: CoCanCPG project presentation D 1.2: Project management handbook D 1.3: Progress reports and audit certificates, wie in Task 1.5 beschrieben

(Fortsetzung)


Version


1.0 09.02.2010

- 5 -

Tabelle 2 (Fortsetzung): Arbeitspakete, -schritte und Produkte


WP2: Support for preparation and organisation of project meetings and training

Task 2.1: Preparation and organisation of kick-off meeting

Task 2.2: Preparation and organisation of annual project meetings

Task 2.3: Preparation and organisation for teleconference for work package workgroups

Task 2.4: Preparation and organisation of work package meetings

Task 2.5: Planning and centralised logistic support for short-term exchange between programme management staff

Task 2.6: Specific training for project staff Task 2.7: Preparation and organisation of

meetings of Network Steering Committee Task 2.8: Preparation and organisation of

meetings of the External Project Advisory Committee

Task 2.9: Preparation and organisation of the project symposium

Deliverables: D 2.1: Report from kick-off meeting D 2.2: Reports from annual meetings D 2.3: Reports from the working meetings organised during the project D 2.4: Report from the project symposium

WP3: External communications Task 3.1: Development and diffusion of communication packages about the project and ist results

Task 3.2: Stakeholder management Task 3.3: Identification of potential new partners Task 3.4: Liaison with other projects and

initiatives

Deliverables: D 3.1: Report on external communication activities

(Fortsetzung)


Version


1.0 09.02.2010

- 6 -



WP4: Implementation of exchange of information and best practices

Task 4.1: Benchmarking for best practices Task 4.2: Definition of information to be

exchanged Task 4.3: Definition of framework (processes and

tools) for communication and exchange of information

Task 4.4: Setting up and pilot testing of chosen communication tool for information exchange and best practices

Task 4.5: Workshop to present framework and tools to all participants

Task 4.6: Implementation and running of the communication process

Deliverables: D 4.1: Report on benchmarking of best practices, defining the standards for best practices D 4.2: Communication tool corresponding to the specifications

WP5: Definition of strategic activities for consolidating cooperation between research programmes

Task 5.1: Analysis of synergies and complementarities between programme

Task 5.2: Identification of barriers to future trans-national cooperation between research programmes and possible solutions for overcoming them

Task 5.3: Strategic workshop on barriers to sustainable cooperation and solutions to overcome them

Task 5.4: Identification of common and shared activities to be implemented

Task 5.5: Preparation of implementation of common strategic activities

Task 5.6: Improving the exploitation of results

Deliverables: D 5.1: Report on barriers and solutions to overcome them D 5.2: Position paper on joint strategic activities to be implemented D 5.3: Report on improving exploitation of results

(Fortsetzung)


Version


1.0 09.02.2010

- 7 -



WP6: Implementation of joint activities Task 6.1: Development of common procedures for management of multinational calls for proposals

Task 6.2: Implementation of common databases and mutual access to databases

Task 6.3: Protocol for clustering of projects Task 6.4: Development of mechanisms for

tailoring trans-national research results to local conditions

Task 6.5: Joint training activities Task 6.6.: Forsight exercise between all the

partners and preparation of joint action plan

Deliverables: D 6.1: Description of common procedures D 6.2: Implementation of joint databases D 6.3: Manual of common procedures D 6.4: Report on joint training activities and plan for future joint training activities D 6.5: Position paper on foresight exercise and joint action plan

WP7: Implementation of trans-nationalen research activities

Task 7.1: Joint trans-national calls for proposals Task 7.2: Implementation of clustering of projects Task 7.3: Pilot testing of transnational

exploitation of results Task 7.4: Global analysis of joint and trans-

national activities undertaken Task 7.5: Processes for prospective joint strategic

planning Task 7.6: Definition of transnational structure for

sustainable cooperation Task 7.7: Implementation of the proposed

structure

Deliverables: D 7.1: Report on the implementation of project clustering D 7.2: Report on the proposed joint strategies and programmes D 7.3: Report on the analyses of the pilot testing of joint calls D 7.4: Proposition of structure of the future transnational structure to ensure a sustainable collaboration beyond the project duration, and plan for its implementation

WP8: Dissemination of results Task 8.1: Internal dissemination Task 8.2: External dissemination Task 8.3: Publication of the proceeding from the

CoCanCPG symposium

Deliverables: D 8.1: Report on using and disseminating knowledge D 8.2: Report on raising public participation and awareness


Version


1.0 09.02.2010

- 8 -

4 Finanzierung

Abbildung 3 bezieht sich auf die Bewilligung des Haushalts, der von der Europäischen Kommission aufgestellt wird.

Die Transfers der einzelnen Budgets für die einzelnen Partnerorganisationen werden von den Projektkoordinatoren alle 6 Monate durchgeführt. Die Transfers sind an die Erfüllung der einzelnen Arbeitspakete bzw. die Erstellung der Produkte (Deliverables, siehe Tabelle 2) gebunden. Zudem müssen regelmäßige Berichte zu den einzelnen Arbeitsschritten an die Projektkoordinatoren abgegeben werden, die ebenfalls eine Bedingung für die Transfers der Budgets sind.

Abbildung 3: Pre-payments / reimbursements and reporting schedule

Das Budget des gesamten Projektes beträgt, laut Vertrag, 2550416 Euro. Der finanzielle Beitrag sollte begrenzt werden auf eine maximale Rate einer Beteiligung bezogen auf die Aktivitäten, die in Anhang 2 Teil B des Projektvertrages (Anhang A) festgehalten sind.

Durch die Kalkulation und Abrechnung gegenüber dem Projektträger mit einem Gemeinkostenzuschlag von 20 % ergab sich für das IQWiG im Jahr 2009 (aktuellster Stand) ein Förderwert für den Personalaufwand von 109931,67 Euro. Die geförderte Gesamtobergrenze beträgt für das IQWiG im Jahr 2009 131918 Euro.

Die Förderungshöhe des gesamten Projektes steht erst im Januar 2010 bei Abschluss des Projektes fest. Aus diesem Grund kann diesbezüglich noch keine Aussage getroffen werden.


Version


1.0 09.02.2010

- 9 -

5 Aktivitäten des IQWiG im Rahmen des Projektes

5.1 Aktivitäten in den Jahren 2006 bis 2007

In den Jahren 2006 bis 2007 erfolgten Vorbereitungen / Vorgespräche zur Aufnahme des IQWiG als vollwertiger Partner sowie Vor- und Nachbereitungen zum Interview und zur anschließenden Durchführung des Interviews des IQWiG. Zusätzliche wurden Vorbereitungen zu Meetings im Rahmen des Projektes und die Teilnahme an diesen geplant und durchgeführt.

Im Einzelnen wurden folgende Aktivitäten bzgl. der genannten Aspekte durchgeführt:

CoCanCPG Benchmarking individuelle Analyse / „Benchmarking for Best Practice“

Business Trip German Cancer Society (WP5)

Extern: Beratungsausschuss (Advisory Board) zur Koordination der gemeinsamen Aktivitäten (WP1)

Übernahme von Aufgaben / Verantwortlichkeiten für den Interviewfragebogen „methodologists“ und Organisation der Durchführung

Durchführung des Interviews mit Frau Ghizleni (WP5)

Validierung des Protokolls des Interviews (WP5)

Diskussion und Vorbereitung der Um- und Neustrukturierung der einzelnen Arbeitsschritte innerhalb der übergeordneten Arbeitspakete

Planung der einzelnen Arbeitspakete (WP6, WP7)

Planung und Koordinierung der einzelnen Arbeitsschritte innerhalb der Arbeitspakete

Koordinierung der Planung der Arbeitspakete und ihrer Arbeitsschritte

Kontaktaufnahme mit dem Management des Konsortiums und dem deutschen Gesundheitsministerium bezüglich der Betätigung der Umstrukturierung des gesamten Projektes

Vorbereitung der Pilotphase für die Arbeitsschritte der gemeinsamen Aktivitäten (WP5)

Review des CoCanCPG-Manuskripts „TUMORI“ (WP1)

Allgemeine administrative Planungen im Hinblick auf die anstehenden Meetings und Reisen



Version09.02.2010

- 10 -

1.0

Diese einzelnen Aktivitäten sind nicht nach Work packages geordnet, sondern möglichst nach zeitlicher Durchführung.

5.2 Mitarbeit bei der Entwicklung und Validierung von methodischen Arbeitswerkzeugen („Common Tools and Instruments“)

In den Jahren 2006 bis 2008 erfolgte eine Bestandsaufnahme der von den Partnern in der Leitlinienentwicklung verwendeten Instrumente und Werkzeuge.

Dabei handelt es sich insbesondere um (Anhang B)

Common tool PICO

Common checklists for critical appraisal

Common format for literature search

Common format for evidence table – intervention

Common format for searching literature and synthesizing the evidence

Diese Abstimmung der Partnerorganisationen erfolgte im Rahmen der Arbeitspakete WP 5. Verantwortlich dafür waren die niederländischen Partner der ACCC.

Das IQWiG hat die Partnerorganisationen in regelmäßigen Stellungnahmen zu bestimmten Instrumenten und Werkzeugen unterstützt. Da das IQWiG nicht selbst Leitlinien entwickelt, brachte es bestehende Erfahrungen nach den Allgemeinen Methoden des IQWiG ein:

Die Inhalte der konsentierten und aktuell empfohlenen Werkzeuge können auch der CoCanCPG-Website [www.cocancpg.eu] entnommen werden.

5.3 Entwurf eines Fragebogens zu „Joint training activities“ (WP6; Task 6.5)

Dieser Arbeitsschritt sollte dazu führen, dass eine Art „Schulungsnetzwerk“ (learning network) zwischen den einzelnen Organisationen entsteht, die sich gegenseitig mit ihrer Expertise unterstützen sollen. Zu diesem Zweck wurde eine Umfrage in allen Organisationen durchgeführt (Anhang C).


Version 1.0 09.02.2010

Tabelle 3: Expressed needs and offers in joint trainings

CoCanCPG Short Term Exchanges

Expressed needs Offers

Partner INCa ACCC SIGN IOVU OOI ISS IQWiG

Adaptation methodologies

needs of experience exchanges after the pilot testing of cocan adapte

We have already adapted guidelines that were developed elsewhere, but not via de ADAPTE approach. We think a training from experienced Adapte users would be necessary (or at least beneficial). Only studying the Adapte manual we believe would not provide us with enough 'gear' to convince our guideline development group members to start using Adapte, since the manual is quite large and not very easy to read (it would probably seem to them that it would take much more extra time to start using Adapte in comparison with the current guideline development handbook from ACCC). In addition, to be able to train guideline developers on Adapte, we would like to be trained first.

(Fortsetzung)

Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG) - 11 -


Version 1.0 09.02.2010

Tabelle 3 (Fortsetzung): Expressed needs and offers in joint trainings



Grading recommendations

exchange on gradation types exchange on formulating recommenda-tions

Ways to grade the quality of evidence and strength of recommendations (GRADE and/or other solutions).

implementation of guidelines

Overview of guideline programme of another partner

way to establish a programm perspective of a short or long terms program

Brief overview to learn about the scope of the partner's work

as SIGN: opportunity to compare/contrast the partner's and ISS's guidelines & discuss similarities/differences

Literature search strategies

Opportunity to meet with/job shadow information specialist to learn about how the partner develops search strategies, selects and tests filters, manages information retrieved, shares information with reviewers, documents strategies, updates searches

processes to involve patients in the development of guideline. Citizens versions of guideline. Media Involvement

offer of search strategies, documentation strategies

(Fortsetzung)



Version 1.0 09.02.2010




Guideline implementation methodologies

procedures on how to translate gaps in knowledge into research recommendations,setting up a database of reseach recommendations

Innovations and new initiatives

Discussion with relevant manager to learn about any new developments that could be used in Scotland

Management of partnership working

Discussion with relevant manager to learn about the partner's work, how partnerships are developed, what partnerships have been successful and why

(Fortsetzung)



Version 1.0 09.02.2010




Procedures on how to translate gaps in knowledge into research recommendations

For task 5.6 NICE will develop an international database of research recommendations. The participating organizations should be asked, once a guideline is finished, to transform the unresolved questions into research recommendations and put them into this international database. Training in this would be beneficial.

Guideline assessment and comparison

Opportunity to compare/contrast the partner's and SIGN's guidelines & discuss similarities/differences

Training of process managers on the guideline development process

By the ACCC, we don't have a specific training program for our process managers at this moment. To see what other partners offer to their process managers could help us in setting up a training program at the ACCC.

Opportunity to learn about, and if possible participate in, the training the partner provides to its project managers

(Fortsetzung)




Version 1.0 09.02.2010

- 15 -



CPG group management techniques

Consensus techniques

Patient involvement in CPGs

Patient versions of guidelines

Making the most of the website and Online versions of CPGs

Grading level of evidence

exchange on gradation types of level of evidence gradation by study or by clinical question?

Exchange on formats for critical appraisal checklists

examples of pragmatic checklists on RCT and meta analyses


Version


1.0 09.02.2010

- 16 -

Auf Basis der Ergebnisse der Umfrage (Tabelle 3) wurde eine Organisation identifiziert (IOVU), die im Hinblick auf die systematische Literatursuche und systematische Dokumentation einen Schulungsbedarf aufwies. Da das IQWiG in der Umfrage seine Expertise im Hinblick der systematische Literatursuche und systematische Dokumentation angegeben hatte, wurde vonseiten der Projektleiter des IQWiG ein Fragebogen (Anhang C) konzipiert, der im Detail den genauen Umfang der vom IOVU benötigten Schulungs-maßnahmen ermitteln sollte. Dieser Fragebogen wurde an die betreffende Organisation versandt mit der Bitte, diesen auszufüllen, um mögliche Schulungsmaßnahmen planen und durchführen zu können. Dies wurde vor dem Hintergrund einer vorherigen Absprache mit der Recherchegruppe des IQWiG durchgeführt. Trotz mehrmaligem Reminder an das IOVU erfolgte keine Rücksendung des Fragebogens. Aus diesem Grund liegen für die Befragung keine Ergebnisse vor.

5.4 Erstellung und Pilot Test des Manuals zur Leitlinienadaptierung:„CoCanADAPTE Manual“ (WP7; Task 7.3)

Die Entwicklung von evidenzbasierten Leitlinien ist ein umfangreicher Prozess der sowohl viel Zeit als auch personelle Ressourcen in Anspruch nimmt. Die Anwendung der klassischen Methoden der Entwicklung evidenzbasierter Leitlinien führt dazu, dass Institutionen ähnliche Leitlinien entwickeln. Dies wiederum führt zur Erstellung von Duplikaten von Leitlinien. Der Adaptierungsprozess soll diesem entgegenwirken, denn er wird als Alternative zur Ent-wicklung von de novo Leitlinien gesehen. Die Leitlinienadaptierung bietet die Möglichkeit Leitlinien eines bestimmten Settings in den eigenen spezifischen Kontext zu übernehmen. Diese Art der Leitlinienentwicklung fokussiert sich nicht nur auf Anforderungen spezifischer Nutzer einer Leitlinie, sondern auch auf Anwender mit limitierten Resourcen und einem Interesse an der Leitlinienentwicklung und -implementierung. Es wird davon ausgegangen, dass durch das schrittweise Vorgehen innerhalb des Adaptierungsprozesses die Qualität einer Leitlinie, sowohl methodisch als auch inhaltlich, gesteigert und gleichzeitig damit auch eine hohe inhaltliche Validität der Leitlinien gesichert wird.

Alle Partnerorganisationen innerhalb dieses Projektes haben ein Interesse an der Adaptierung von Leitlinien gezeigt, primär natürlich die Organisationen, die Leitlinien entwickeln und/oder bereits Erfahrungen in der Adaptierung von Leitlinien haben. Um eben die oben genannten Aspekte zu erreichen und um ein Instrument spezifisch für die Anforderungen der in dem Projekt beteiligten Organisationen zu erstellen, wird das CoCanADAPTE Manual entwickelt. Denn die organisatorischen Anforderungen innerhalb des Projektes umfassen nicht nur Leitlinienentwickler, sondern auch Leitlinien implementierende Organisationen, Leitlinienbewerter etc. Gleichzeitig lässt sich der im Manual beschriebene Prozess durchaus auch auf andere Krankheitsthemen übertragen und ist nicht ausschließlich auf Krebsleitlinien fokussiert.


Version


1.0 09.02.2010

- 17 -

Für die Erstellung des CoCanADAPTE Manuals müssen folgende Schritte durchlaufen werden:

1. Befragung der Projektmitglieder zur formalen Gestaltung und zum Verständnis des ADAPTE-Manuals (Juli / August 2008) (Abschnitt 5.4.1)

2. Treffen mit HAS zur Validierung der ersten Version des Manuals im Februar 2009 (Abschnitt 5.4.2)

3. Fertigstellung einer vorläufigen Version des CoCanADAPTE Manuals im März 2009 (Abschnitt 5.4.3)

4. Befragung zur formalen Gestaltung und zum Verständnis des CoCanADAPTE Manuals im Zeitraum von Mai bis August 2009 (Abschnitt 5.4.4)

5. Auswertung der ersten Befragung (September 2009) (Abschnitt 6.2)

6. Pilot Testphase für die Anwendung des CoCanADAPTE Manuals durch interessierte Projektmitglieder im Rahmen einer zweiten Befragung von Mai bis September 2009

7. Auswertung des Pilot Testings im September/Oktober 2009 (Abschnitt 6.3)

8. Erstellung einer finalen Version des CoCanADAPTE Manuals aufgrund der Ergebnisse der ersten Befragung und des Pilot Tests (November/Dezember 2009) (Abschnitt 6).

5.4.1 Befragung der Projektmitglieder zur formalen Gestaltung und zum Verständnis des ADAPTE Manuals

Basis für die Erstellung des CoCanADAPTE Manuals war die im September 2008 durchgeführte Befragung zum ADAPTE-Manual (Anhang D). Auf Basis der Resultate wurde das ADAPTE-Manual an die organisatorischen Bedingungen des CoCanCPG Projektes angepasst und abgeändert (Ergebnisse in Abschnitt 6.1).

5.4.2 Treffen mit HAS zur Validierung der ersten Version des CoCanADAPTE Manuals

Der Erstellung der ersten Version des CoCanADAPTE Manuals ging ein Treffen mit der HAS im Februar 2009 voraus, auf dem die erste Version des Manuals validiert wurde.

5.4.3 Fertigstellung einer vorläufigen Version des CoCanADAPTE Manuals

Im Mai 2009 wurde eine erste Version des CoCanADAPTE Manuals erarbeitet und wird von einigen Partnerorganisationen (INCa, ISS, SIGN, KCE, IOVU) anhand einer zu adaptierenden Leitlinie getestet. Die Ergebnisse der Erarbeitung einer ersten Version wurden auf dem


Version


1.0 09.02.2010

- 18 -

jährlichen Treffen der Projektmitglieder in Vilnius vorgestellt und Interessenten für die Pilot Phase gewonnen.

5.4.4 Befragung zur formalen Gestaltung des CoCanADAPTE Manuals

Die Befragung (Anhang E) zur formalen Gestaltung und zum Verständnis des CoCanADAPTE Manuals wurde Mitte Mai 2009 gestartet. Alle Projektmitglieder werden in diese Befragung einbezogen unabhängig von ihrem Wissen hinsichtlich der Adaptierung von Leitlinien. Die Antworten wurden gesammelt und für die Analyse in SPSS eingegeben (Ergebnisse in Abschnitt 6.2).

5.4.5 Pilot Testung der Anwendung des CoCanADAPTE Manuals

Die Pilot Testphase wurde ebenfalls parallel zur ersten Befragung gestartet. 4 Organisationen (INCa, ISS, KCE, SIGN) nahmen an diesem Pilot Test teil. Für die Pilot Testphase wurde ein zweiter Fragebogen (Anhang F) mit dem CoCanADAPTE Manual (Version 1.0, Mai 2009) an die Teilnehmer versandt. Die Befragung diente als Dokumentation der Ergebnisse der Pilot Testung (Ergebnisse in Abschnitt 6.3).

5.4.6 Erstellung einer finalen Version des CoCanADAPTE Manuals

Nach Auswertung der Ergebnisse der ersten (formale Gestaltung) und der zweiten Befragung (Pilot Testung) zum CoCanADAPTE Manual wurden Kommentare und Ergebnisse der Partnerorganisationen verwendet, um eine finale Version des CoCanADAPTE Manuals zu erstellen.


Version


1.0 09.02.2010

- 19 -

6 Ergebnisse

6.1 Analyse der Befragung zum ADAPTE Manual

6.1.1 Ziel der Befragung

Das Ziel der Befragung zum ADAPTE Manual [1] war es Informationen zur formalen Gestaltung und Anwendung des Manuals und seiner Instrumente zu erhalten. Diese Ergebnisse sollen als Basis für die Entwicklung einer modifizierten Fassung des ADAPTE Manual genutzt werden, um ein Instrument zu entwickeln, das an die Anforderungen der einzelnen Partnerorganisationen des CoCanCPG Projektes optimal angepasst ist.

6.1.2 Deskriptive Analyse

Der Fragebogen wurde im Zeitraum Juni/Juli 2008 durchgeführt. Von den insgesamt 18 Partnerorganisationen wurden 16 Antworten erwartet (4 Partner gaben ihre Antwort jeweils als Team ab) und 14 Antworten wurden letztendlich abgegeben.

Funktion im Rahmen des Kontakts mit Leitlinienentwicklungsgruppen

Es wurden insgesamt 9 Personengruppen aufgelistet, die als Antwortoptionen angekreuzt werden konnten:

Methodologist 8 Epidemiologist 4 Health Service Researcher 3 Non Medical Staff 2 General Practitioner 2 Pharmacist 1 Allied Professional 0 Nurse 0 Total: 20

Ergänzende Antworten, die von einer Partnerorganisation zusätzlich zu den oben aufgelisteten Anwortoptionen angegeben wurden sind

Associate director, research and development

HTA professional

Medical doctor (CoCanCPG project coordinator)


Version


1.0 09.02.2010

- 20 -

Abbildung 4: Role of primary contact of respondents in CPG development

Abbildung 5: Role of primary contact of respondents in CPG development by partners

General Practitioner

Epidemiologist

Methodologist

Non Medical Staff

Health Service Researcher

Pharmacist

General Practitioner

Epidemiologist

Pharmacist

Nurse

Allied Professional

Methodologist

Health Service Researcher

Non Medical Staff

Other


Version


1.0 09.02.2010

- 21 -

“What is your interest in the ADAPTE process?“

Einige der Partnerorganisationen (n=8) sind daran interessiert, ADAPTE bei der Leitlinienentwicklung und -implementierung einzusetzen. 6 Partnerorganisationen wollen ADAPTE nicht für die Entwicklung und / oder Implementierung von Leitlinien einsetzen (Tabelle 4, Abbildung 6)

Tabelle 4: Interest in the ADAPTE process

Item N

Development only 4

Implementation only 2

Development and implementation 2

Exploring for possible use

Missing 6

Development only 6

Implementation only 0

Development and implementation 2

Planning to use

Missing 6

General interest only 2

Personal interest only 2

Research interest only 2

Missing 10


Version


1.0 09.02.2010

- 22 -

Abbildung 6: Interest of all respondents in ADAPTE

Die folgende Abbildung zeigt das Interesse an ADAPTE von allen Partnerorganisationen. 2 Organisationen haben ausschließlich ein allgemeines Interesse am ADAPTE Prozess (die Farbzuordnung in dieser Abbildung erfolgt in Anlehnung an Abbildung 6).

Abbildung 7: Combination of interest in ADAPTE by partners

Possible use – interest development

Possible use – interest implementation

Planning to use - development

Planning to use implementation

General interest only

Personal interest only

Reseatch interest only


Version


1.0 09.02.2010

- 23 -

„Guideline development, implementation and / or adaptation experience (Experience of organisation)“

Die Mehrheit (n = 10) der Partnerorganisationen gab Erfahrungen in der Leitlinien-entwicklung, die Hälfte in der Adaptierung von Leitlinien und eine Organisation gab keine Erfahrungen in allen folgenden Gebieten an:

CPG development 10 CPG implementation 8 CPG quality assessment 8 Adapting from existing CPGs 7 CPG monitoring 5 Indicator 4 None of these 1

Die Erfahrungen in den angegebenen Fachgebieten variieren zwischen den Partnern. 3 Organisationen weisen in den gleichen Fachgebieten Erfahrungen auf (Abbildung 8).


Version


1.0 09.02.2010

- 24 -

Abbildung 8: Combination of experiences in CPG development, implementation and adaptation by partners

„Number of CPGs produced by organisation during the last 5 years”

8 Organisationen gaben an, mehr als 10 Leitlinien innerhalb der letzten 5 Jahre entwickelt zu haben, wobei 4 Organisationen angaben keine Leitlinien in diesem Zeitraum entwickelt zu haben (Tabelle 5, Abbildung 9).

CPG development

Adapting from existing CPGs

CPG quality assessment

CPG monitoring

CPG implementation

Indicator

None of these


Version


1.0 1.0 09.02.2010

- 25 -

sion 09.02.2010

- 25 -

Tabelle 5: Number of CPGs produced by organisation during the last 5 years Tabelle 5: Number of CPGs produced by organisation during the last 5 years

CPGs produced during last 5 years

Number % Cumulative % Partner Name

0 4 28,6 28,6 AETSA, CSO-MOH, IOVU (and DSSP), IQWiG

1-5 0 0 28,6 -

6-10 2 14,3 42,9 -

>10 8 57,1 100,0 AATRM, Instituto Superiore

Number

Total 14 100,0 ACCC, DLCC, EUMIN, HAS, KCE, NICE, SIGN, InCa (and FNCLCC)

Abbildung 9: Number of CPGs produced by organisation during the last 5 years

AETSA, CSO-MOH, IOVU (and DSSP), AATRM,

Instituto

ACCC, DLCC, EUMIN, HAS, KCE, NICE, SIGN, InCa (and FNCLCC)


Version


1.0 1.0 09.02.2010

- 26 -

sion 09.02.2010

- 26 -

“Number of CPGs adapted by organisation during the last 5 years” “Number of CPGs adapted by organisation during the last 5 years”

Einige der Partnerorganisationen (n = 11) adaptierten weniger als 6 Leitlinien innerhalb der letzten fünf Jahre. Ausschließlich 1 Organisation adaptierte mehr als 10 Leitlinien innerhalb des angegebenen Zeitraums (Tabelle 6).

Einige der Partnerorganisationen (n = 11) adaptierten weniger als 6 Leitlinien innerhalb der letzten fünf Jahre. Ausschließlich 1 Organisation adaptierte mehr als 10 Leitlinien innerhalb des angegebenen Zeitraums (

Tabelle 6: Number of CPGs adapted by organisation during the last 5 years Tabelle 6: Number of CPGs adapted by organisation during the last 5 years

Tabelle 6).

CPGs adapted during last 5 years

Number % Cumulative % Partner Name

Number 0 6 42,9 42,9 AETSA, DLCC, IQWiG, IOVU (and DSPP), NICE, SIGN

1-5 5 35,7 78,6 ACCC, HAS, InCa (and FNCLCC), Instituto Superiore, KCE

6-10 2 14,3 92,9 AATRM, CSO-MOH

> 10 1 7,1 100,0 EUMIN

Total 14 100,0

Abbildung 10: Number of CPG adapted by organisation during the last 5 years

AETSA, DLCC, IQWiG, IOVU (and DSPP),

ACCC, HAS, InCa (and FNCLCC), Institut

AATRM, CSO-MOH EUMIN


Version


1.0 09.02.2010

- 27 -

„Understand the purpose of the guidelines adaptation described in the manual”

Alle Partnerorganisationen fanden die Beschreibung der Zielstellung der Leitlinien-adaptierung im Manual verständlich.

Kommentare, die zu dieser Frage abgegeben wurden, waren:

aim is to reduce costs of GL development by using existing high quality GL in new context

for a new reader or beginner, it would be interesting to introduce some information on "de novo" elaboration/update/adaptation process

“Agree with the purpose of the guidelines adaptation described in the manual”

Es stimmten alle Organisationen der Beschreibung der Zielstellung der Leitlinienadaptierung im Manual zu.

Ein Kommentar, der zu dieser Frage abgegeben wurde, war:

in some steps the information for developers/adaptors is not enough. it seems as if the current manual was a short version of a complete document.

“Planning to use it”

Die Hälfte der Partnerorganisationen (n = 7) plant, den ADAPTE Prozess zu nutzen. Während einige der Organisationen ADAPTE bereits schon nutzen, sind sich andere noch unschlüssig und geben unterschiedliche Begründungen dafür an:

however we are applying a similar process

in fact, the first step in the CAHTA CPG development process is to select and appraise previous CPG on the topic of interest

piloting with development of obesity guideline

the NICE Board made a corporate decision that we were not going to adapt guidelines from other organizations

we have already adapted guidelines that were developed elsewhere, but not via ADAPTE approach. during CoCanCPG we are certainly interested in learning more about it and start using it


Version


1.0 09.02.2010

- 28 -

we have already customised the process and used it!

will use ADAPTE CoCanCPG

“If planning to use - when”

6 Partnerorganisationen gaben Zeiträume an (Tabelle 7), in denen sie ADAPTE nutzen wollten. Die übrigen 8 Organisationen machten keine Zeitangaben oder gaben ausschließlich Kommentare zu der Fragestellung an.

Tabelle 7: Time data

Number %

valid within next 3 months 2 14,3

within next 3 to 6 months 3 21,4

after 6 months 1 7,1

have no plans to use it 1 7,1

I do not know 4 21,4

Total 10 71,4

Missing 4 28,6

Total 14 100,0

Folgende Kommentare wurden von den Organisationen abgegeben, die keine klaren zeitlichen Angaben zur Nutzung des ADAPTE Prozesses machten:

already used it but does not know when will use it again!

depending on our annual program, training facilities etc.

depends upon the policy of the ministry of health

probably beginning of 2009

see above (the NICE Board made a corporate decision that we were not going to adapt guidelines from other organizations)

use currently ongoing

we are already using it

will just use it for development of new methodology


Version


1.0 09.02.2010

- 29 -

“Clarity and feasibility of the ADAPTE manual”

Insgesamt wurde das ADAPTE Manual als “gut” für die vorgegebenen Kriterien bewertet.

Tabelle 8: Clarity and feasibility of the ADAPTE manual

Items Missing N for each score

N very poor

2 3 4 5 excellent

Clarity of the ADAPTE process 0 0 0 2 4 3 5

Clarity of the ADAPTE Manual 0 0 0 3 3 5 3

Usefulness of the Manual 0 0 1 2 3 5 3

Comprehension of the ADPATE process 0 0 0 3 2 8 1

Comprehensiveness of the ADAPTE process 0 0 0 2 3 8 1

Confidence that the ADPATE process is feasible 0 0 0 4 7 2 1

Das Kriterium „Clarity of the ADAPTE process“ wurde als bestes bewertet. Das Kriterium “confidence that the ADAPTE process is feasible” wurde am schlechtesten bewertet.

Tabelle 9: Median for Clarity and feasibility of the ADAPTE manual

Items Minimum Maximum Median

Clarity of adapte-process 3 6 5

Clarity of ADAPTE manual 3 6 5

Usefulness of the manual 2 6 5

Comprehension of the adapte process 3 6 5

Comprehensiveness of the adapte process 3 6 5

Confidence that the adapte process is feasible 3 6 4

Zusätzlich zu den obigen Angaben wurden von 6 Partnerorganisationen folgende Kommentare abgegeben:

[shorted comment] manual read, not used; training of experienced ADAPTE user would be necessary,

clarity should be improved. the current version is useful only for people who already know the CPG development process in deep,

I have trouble with the preparation module. i would not prepare for the ADAPTE process before topic selection and even before defining precise health questions. when reading


Version


1.0 09.02.2010

- 30 -

the manual, it can be understood as if you defined the need of a CPG according to the possibility of doing ADAPTE,

like many methodologies/processes without having had experience of using it myself it is difficult to see how well the process and methods work and what are the issues

some of these domains still to be assessed properly by SIGN,

too many steps, too many matrices.

“Expectation of effects from using ADAPTE in comparison with current CPG development”

Es wird aus Tabelle 10 ersichtlich, dass die Organisationen keine wesentliche Veränderung in der Qualität der Leitlinien durch die Anwendung von ADAPTE erwarten. Allerdings sehen sie eine Reduktion des Zeitaufwands und des Einsatzes von Ressourcen für die Leitlinienentwicklung mit ADAPTE.

Tabelle 10: Expectation of effects from using ADAPTE in comparison with current CPG development

Items Decreased --

- no change

+ Increased ++

Missing

Quality of guidelines 0 1 8 2 3 0

Timeframe to develop guidelines 0 7 2 3 1 1

Resource to develop guidelines 0 9 1 3 1 0

„Expected barriers in using ADAPTE“

Bei dieser Frage war mehr als 1 Antwort möglich. Somit wurden insgesamt 38 Antworten abgegeben (Tabelle 11).

Die hauptsächlichen Barrieren, die bei der Anwendung von ADAPTE gesehen wurden, waren folgende:

„limited acceptance of ADAPTE process by CPG panel (n=9)”

“difficulties to adapt source CPGs to context of use”


Version


1.0 09.02.2010

- 31 -

Tabelle 11: Expected barriers in using ADAPTE

Items Number %

Limited acceptance of adapte process by guideline panel 9 64,3

Lack of appropriate source CPGs 7 50,0

Difficulties to select among large number of source CPG 1 7,1

Low quality of available CPGs 6 42,9

Difficulties to adapt source CPGs to context of use 9 64,3

Complexity of ADAPTE process 5 35,7

Other 1 7,1

Für die Antwortoption “other” wurden 3 Antworten abgegeben:

Priority of questions in different settings

No clear methodology to assess the applicability of CPGs for new contexts

The acceptability of the results. Also whether the individuals doing the CPGs adaptation have a thorough understanding of what the cultural differences were. Also in many cases the rationale for the CPGs decisions is not clear

Weitere Kommentare waren:

Amount of appropriate CPGs depends on the chosen topic

Steps 13 and 14 are very important. Even GL with a high score on rigour of development can miss/exclude important original evidence (…) as stated in the manual, these phases are time-consuming. It is therefore unsure if the ADAPTE process will be less time-consuming. Our guess is that it will be less time- and resource-consuming, but we’ll never know for sure

Hard to say since we haven’t used ADAPTE yet. Moreover, for most guidelines, we ousource the literature search and critical appraisal aspects and therefore our third parties should also be questioned

Possible difficulty in merging evidence tables with those from source organisation.


Version


1.0 09.02.2010

- 32 -

“Expectation of added value of ADAPTE to current CPG development”

8 Organisationen sehen einen zusätzlichen Nutzen in der Anwendung des ADAPTE Manuals. 5 Organisationen waren sich dagegen nicht sicher und 1 Organisation gab keine Antwort ab (Tabelle 12).

Tabelle 12: Added value of ADAPTE

Added value of ADAPTE Number %

no 0 0

yes 8 57,1

unsure 5 35,7

Missing 1 7,1

Total 14 100,0

Zusätzlich wurden folgende 4 Kommentare abgegeben:

Ensure a best understanding of the current processes and aware about the great importance of the quality and transparency of the process

Its use will provide systematization to the adaptation process

Not applicable as we are not planning it

Since we never have used it, we do not have any experience and we cannot have a judgement.

“Clarity and feasibility of ADAPTE”

Insgesamt wurde die Klarheit, der Umfang und die Realisierbarkeit des ADAPTE Prozesses von angemessen („fair“) bis ausgezeichnet („excellent“) bewertet. Die Klarheit des ADAPTE Prozesses wurde allgemein besser bewertet als dessen Realisierbarkeit (Tabelle 13, Tabelle 14, Abbildung 11).


Version


1.0 09.02.2010

- 33 -

Tabelle 13: Clarity and feasibility of ADAPTE

Items Missing N for each score

N very poor

2 3 4 5 excel-lent

Clarity of the ADAPTE process 0 0 0 2 4 3 5

Clarity of the ADAPTE Manual 0 0 0 3 3 5 3

Usefulness of the Manual 0 0 1 2 3 5 3

Comprehension of the ADPATE process 0 0 0 3 2 8 1

Comprehensiveness of the ADAPTE process 0 0 0 2 3 8 1

Confidence that the ADPATE process is feasible 0 0 0 4 7 2 1

Ein Kommentar wurde zu den angegebenen Antwortoptionen abgegeben:

In the assessment module we miss how the quality assessment…should be performed. AGREE doesn’t tell you much about the guideline content… which or how many items should be strongly agree to provide a trustworthy source guideline? How are the rigour scores calculated?… recommendation matrix is no check on quality.

Tabelle 14: Clarity and feasbility of ADAPTE

Items Minimum Maximum Median

Clarity of adapte-process 3 6 5

Clarity of ADAPTE manual 3 6 5

Usefulness of the manual 2 6 5

Comprehension of the adapte process 3 6 5

Comprehensiveness of the adapte process 3 6 5

Confidence that the adapte process is feasible 3 6 4


Version


1.0 09.02.2010

- 34 -

Abbildung 11: Medians of Clarity and feasibility of ADAPTE

“Construction of ADAPTE (Number of modules/steps)”

Tabelle 15: Number of modules

Number % Cum %

[1] too few 1 7,1 7,1

[2] 1 7,1 14,3

[3] right 8 57,1 71,4

[4] 3 21,4 92,9

[5] too many 1 7,1 100,0

Total 14 100,0


Version


1.0 09.02.2010

- 35 -

Tabelle 16: Number of steps

Number % Cum %

[1] too few 0 0 0

[2] 2 14,3 14,3

[3] right 6 42,9 57,1

[4] 5 35,7 92,9

[5] too many 1 7,1 100,0

Total 14 100,0

Die Anzahl der Module wird von den Organisationen als angemessen bezeichnet. Die Anzahl der Arbeitsschritte in den Modulen wird dagegen als zu umfangreich angesehen (Tabelle 15, Tabelle 16).

Zu diesem Abschnitt wurden 8 Kommentare von den Organisationen abgegeben:

manual contains too many modules. each guideline development organisation should use their on guideline manual. ADAPTE should only cover the modules search and screen, assessment and decision and selection

for a manual, the detailed presentation of the process and a clear description of the steps is important. sometimes one would like to find more information in the item description or an answer to the most frequent questions

it may be useful to focus on the specific modules and steps for the ADAPTION only! de novo CPGs also starts with a preparation phase and a definition of the clinical question and it ends with draft CPG and finalisation phase

maybe it should be stated or made clear which modules/steps are specific for guideline adaptation. De novo CPG development also starts with a preparation phase and a definition of the clinical questions (...)

modules that could be combined: 2.3 and 2.4 / 3.2 and 3.3

number of the modules and steps seem right. i still have trouble with the preparation module

step 17 may be considered as the core step of the process but it is not so clear. it is the same for module 2.5

we would need more advice about, how is the best to adapt recommendations to the national environment. Which viewpoints are most important to investigate applicability?


Version


1.0 09.02.2010

- 36 -

“Construction of ADAPTE (Overlap between modules/steps)”

Die Überschneidungen zwischen den Modulen und Arbeitsschritten wurden als angemessen bezeichnet. Dabei fehlten 2 Antworten bei jeder der Antwortoptionen (Tabelle 17).

Tabelle 17: Overlap between modules/steps

Item Number within each category

1 = very inappropriate

2 3 4 5 6 = very appropriate

Overlap between modules (n=12) 0 0 2 6 4 0

Overlap between steps (n=12) 0 0 2 6 4 0

Zusätzlich wurden noch 3 Kommentare abgegeben:

correct overlap for most parts. as i said, "preparation module" and "scope and purpose module" seem to overlap as i understand what is written,

difficult to evaluate for all 8 modules,

don't know.

“Construction of ADAPTE (Sequence of modules/steps)”

Tabelle 18: Sequence of modules/steps

Number within each category

1 = very inappropriate

2 3 4 5 6 = very appropriate

Sequence of modules 0 0 2 5 6 1

Sequence of steps 0 0 4 4 5 1

Zu diesem Punkt wurden 6 Kommentare angegeben.

[shorted comment] overall sequence seems logical. unclear why looking for possibilities to adapted before key questions. last steps are common in guideline development and therefore should be kept out of ADAPTE,

for example for the "preparation module": the first step would be "topic selection" then check whether the adaption is feasible, third identify skills and ressources. Then establish the organizing committee that should include people from different disciplines dealing with concerned clinical situation,


Version


1.0 09.02.2010

- 37 -

in general, we agree with the sequence. However, for some of the modules and steps the users will need more details in order to proceed, otherwise they will not be able to do so. the availability of a handbook (i.e. SIGN) may be helpful as well as some recommended reading before starting,

seems clear,

sequence of the modules and steps is well organized but some of them need to be worked out more,

step 12 can be included in step 8 by using the publication date or search data as a selection criteria.

“Appraisal of modules and steps in the ADAPTE manual”

Die Analyse beinhaltet Aspekte zur Relevanz, der Realisierbarkeit und Abgabe von Kommentaren zu den einzelnen Modulen und ihren Arbeitsschritten.

Die Module und ihre Arbeitsschritte in dem ADAPTE Manual wurden allgemein als relevant und realisierbar von der Mehrheit der Organisationen bezeichnet. Die Kommentare der Partnerorganisationen zeigen, dass Probleme primär bei dem ersten und letzten Teil und dem „Assessment Modul“ des ADAPTE Manuals auftreten. Aus diesem Grund wird grunsätzlich diskutiert, ob sich das manual ausschließlich auf adaptierungsspezifische Module und Arbeitsschritte fokussieren soll.


Version


1.0 09.02.2010

- 38 -

Tabelle 19: Appraisal of Preparation Module

Steps relevant (n) feasible/ could be planned for use (n)

comments

yes no m yes no m

Establish an organizing meeting

9 3 2 11 1 2 ... the next step is where ADAPTE should start ... only once the questions have been formulated you start looking for evidence all of the steps within the module seem relevant and feasible. since expertise in SIGN is around primary development of guidelines the relevance of each step to our organisation is under test i would change the sequence of some of the following items. i don't think it is relevant at an early stage before selecting the topic for instance in some organizations, it is possible to do this for each CPG separately it is not specific to adaptation the implementation of these steps depend on the policy of the ministry of health

Select a guideline topic 10 2 2 11 1 2 it is not specific to adaptation some organizations have specific procedures for topic selection

Check whether adaptation is feasible

12 1 1 13 0 1 it is not specific to adaptation

Identify necessary resources and skills

10 1 3 11 1 2 it is not specific to adaptation we are uncertain about the content of this step

Complete tasks for the set-up phase


Write adaptation plan 12 1 1 12 1 1

m = missing answer

Tabelle 20: Appraisal of Scope and Purpose Module


comments

yes no m yes no m

Determine the health questions

12 1 1 12 0 2 before defining the clinical question? it is not specific to adaptation

m = missing answer


Version


1.0 09.02.2010

- 39 -

Tabelle 21: Appraisal of Search and Screen Module


comments

yes no m yes no m

Search for guidelines and other relevant documents

13 0 1 13 0 1

Screen retrieved guidelines 14 0 0 13 0 1

Reduce a large number of retrieved guidelines

13 0 1 13 0 1 explicit prestated criteria are required as to how this is done. should be done on either quality or relevance basis and needs to be done after or in conjunction with the assessment module is not often necessary rarely necessary. language barrier reduces already big amount!

m = missing answer

Tabelle 22: Appraisal of Assessment Module


comments

yes no m yes no m

Assess guideline quality 13 0 1 11 2 1 need clear quality criteria

Assess guideline currency 11 2 1 11 2 1 It’s not the currency if the GL that is important - its the currency of the information in it publication or search date should already be included as a selection criterion in the search for source GL very important as publication date is very different than the literature search end date!

(Fortsetzung)


Version


1.0 09.02.2010

- 40 -

Tabelle 22 (Fortsetzung): Appraisal of Assessment Module


comments

yes no m yes no m

Assess guideline content 12 0 2 11 2 1 time-consuming! unclear, how this differs from quality and the scope of the GL? information in the manual is unclear

Assess guideline consistency 14 0 0 12 1 1 again this would depend on how you selected the GL at the screening stage. should be done earlier? time-consuming! time-consuming!++++

Assess applicability and applicability of the recommendations

13 0 1 12 0 1 how should it be done ideally? items for applicability are not explicit this step seems difficult to us, training needed very difficult to do. No standard is available!

m = missing answer

Tabelle 23: Appraisal of Decision and Selection Module


comments

yes no m yes no m

Review assessments 13 0 1 12 0 2 could be integrated in assessment module

no experience of the tools - so cannot comment

Select between guidelines and recommendations to create an adapted guideline

14 0 0 13 0 1 could be integrated in module 1 or 2 (it should be known at an early stage of recommendation or GL

yes - need to explicitly state rational

m = missing answer


Version


1.0 09.02.2010

- 41 -

Tabelle 24: Appraisal of Customisation Module


comments

yes no m yes no m

Prepare draft adapted guideline

12 1 1 12 0 2 for this step, all guideline organisations follow their own procedures. ADAPTE ... should only cover search and screen, assessment and decision and selection it is not specific to adaptation

m = missing answer

Tabelle 25: External Review and Acknowledgement Module


comments

yes no m yes no m

External review – target audience of the guideline

13 1 0 13 0 1 could be used as an optional module it is not specific to adaptation is not specific to adaptation

Consult with endorsement bodies

10 2 2 10 1 3 it is not specific to adaptation is not specific to adaptation unclear who this might be!

Consult with source guideline developers

12 1 1 12 1 1 is it necessary in every case? surely should just be on any changes to the guidelines or queries. could get very complex

Acknowledge source documents


m = missing answer

Tabelle 26: Aftercare Planning Module


comments

yes no m yes no m

Plan for aftercare of the adapted guideline


m = missing answer


Version


1.0 09.02.2010

- 42 -

“Further revision of ADAPTE needed (for its use in own context)”

Die Hälfte der Partnerorganisationen sieht eine Notwendigkeit darin, das ADAPTE Manual zu überarbeiten, um es an die jeweiligen organisatorischen Bedingungen der Partnerorganisationen anzupassen.

Tabelle 27: Further revision of ADAPTE

Number %

no 3 21,4

yes 7 50,0

Missing 4 28,6

Total 14 100,0

Zu den in Tabelle 27 aufgelisteten Antworten wurden zusätzlich 6 Kommentare von den Partnerorganisationen abgegeben:

according to the organisation existing rules either in scientific or administrative issues,

I could not answer without skill in the process,

just to clarify the first phase,

NICE is not planning to use ADAPTE,

see previous,

SIGN need to be look at which parts of the ADAPTE methodology are most useful in the context of our primary activities and are piloting this at present,

training courses, for instance. overall CoCanCPG partners know the ADAPTE process, problems arise when trying to implement it in a real situation.

“Further revision of ADAPTE needed (for its use in CoCanCPG community)”

Ein Drittel der Befragten sieht eine Notwendigkeit in der Überarbeitung des ADAPTE Prozesses, um diesen Prozess innerhalb der Kollaboration des CoCanCPG Projektes anwendbar zu machen. Ausschließlich 3 der 14 Befragten waren diesbezüglich unsicher.


Version


1.0 09.02.2010

- 43 -

Tabelle 28: Revision for CoCanCPG

Revision in CoCanCPG

Number %

no 7 50,0

yes 4 28,6

Missing 3 21,4

Total 14 100,0

Zusätzlich wurden noch 2 Kommentare abgegeben:

according to the organisation existing rules either in scientific or administrative issues,

as it stands i think the process is good for CoCan to use, but some clarification in the manual may be helpful.

“Further revision of ADAPTE needed (for its use in own context and CoCanCPG community)”

Ein Drittel der 14 Befragten sieht eine Notwendigkeit in der Überarbeitung des ADAPTE Prozesses, um diesen Prozess innerhalb der Kollaboration des CoCanCPG Projektes und seines jeweiligen organisatorischen Kontextes anwendbar zu machen.

Tabelle 29: Revision in own context and CoCanCPG community

Revision in own Context and CoCanCPG

Number %

no 5 35,7

yes 4 28,6

Missing 5 35,7

Total 14 100,0

Folgender Kommentar wurde dazu abgegeben:

not sure,


Version


1.0 09.02.2010

- 44 -

6.1.3 Bivariate Analyse

„Amount of produced and adapted CPGs”

Es besteht kein Zusammenhang zwischen der Anzahl der entwickelten und die der adaptierten Leitlinien. Leitlinienentwickler müssen nicht unbedingt auch Leitlinien adaptieren.

Tabelle 30: Produced and adapted guidelines

CPGs produced during last 5 years * CPGs adapted during last 5 years

CPGs adapted during last 5 years

0 1-5 6-10 > 10 Total

CPGs produced during last 0 3 0 1 0 4

5 years 6-10 0 1 1 0 2

> 10 3 4 0 1 8

Total 6 5 2 1 14


Version


1.0 09.02.2010

- 45 -

„Interest in ADAPTE and expected effects of ADAPTE“

Nachfolgend werden relevante Wechselbeziehungen dargestellt (statistische Tests können bei dieser Auswertung aufgrund der geringen Zahl [n = 14] der antwortenden Organisationen nicht angewendet werden):

Wenn ein Interesse an der Nutzung des ADAPTE für die Implementierung von Leitlinien gezeigt wird, dann ist der erwartete Effekt von ADAPTE bzgl. der Qualität der Leitlinien höher als dann, wenn kein Interesse in der Implementierung von Leitlinien gezeigt wird (Tabelle 31).

Tabelle 31: Interest in ADAPTE

expectation: quality of the guidelines

-1 no change 1 2 Gesamt

possible use - interest: 0 1 7 1 1 10

implementation 1 0 1 1 2 4

Gesamt 1 8 2 3 14

Wenn die Planung der Nutzung sich auf die Implementierung von ADAPTE bezieht, dann ist der erwartete Effekt von ADAPTE eine höhere Qualität, als in einer Situation, in der dieses Interesse an der Planung für eine Implementierung nicht bestünde (Tabelle 32).

Tabelle 32: Interest in ADAPTE and expected effect of ADAPTE


-1 no change 1 2 Gesamt

possible use - interest: 0 1 7 1 1 10

implementation 1 0 1 1 2 4

Gesamt 1 8 2 3 14


Version


1.0 09.02.2010

- 46 -

„Interrelations between items for clarity and feasibility of the ADAPTE process“

Zwischen den folgenden 4 Punkten bestehen mittelstarke bis starke Korrelationen. Der Punkt „Confidence that the ADAPTE process is feasible“ korreliert weniger mit den anderen 3 Punkten (Tabelle 33).

Tabelle 33: Correlations between the items

Clarity of the ADAPTE process overall

Clarity of the modules

Comprehensiveness of the ADAPTE process

Confidence that the ADAPTE process is feasible

1,000 ,863** ,848** ,561* Clarity of the ADAPTE process overall ,000 ,000 ,037

,863** 1,000 ,775** ,507 Clarity of the modules

,000 ,001 ,064

,848** ,775** 1,000 ,602* Comprehensiveness of the ADAPTE process ,000 ,001 ,023

,561* ,507 ,602* 1,000 Confidence that the ADAPTE process is feasible

,037 ,064 ,023

Persons r, p; 2-sided test

„Experience with guideline development/implementation/adaptation and expectation of ADAPTE effects“

Die folgenden Relationen bestehen unabhängig von der Randomisierung (statistische Tests können bei dieser Auswertung aufgrund der geringen Zahl [n = 14] der antwortenden Organisationen nicht angewendet werden) (Tabelle 34 bis Tabelle 40):

Tendenziell sind die Partnerorganisationen, die Erfahrungen in der Leitlienentwicklung, -implementierung und -adaptierung haben, skeptischer gegenüber der Möglichkeit durch die Anwendung von ADAPTE die Nutzung von Ressourcen und die Leitlinienqualität zu verbessern.

Besonders Partnerorganisationen, die Erfahrungen in der Leitlinienentwickung und Indikatoren haben, sind skeptischer als die übrigen Organisationen.


Version


1.0 09.02.2010

- 47 -

Tabelle 34: Development

CPG development * expectation: timeframe to develop guidelines

expectation: timeframe to develop guidelines

-1 no change 1 2 Missing Sum

CPG development 0 1 0 2 1 0 4

1 6 2 1 0 1 10

Sum 7 2 3 1 1 14

Tabelle 35: Development

CPG development * expectation: resource use to develop guidelines

expectation: resource use to develop guidelines

-1 no change 1 2 Sum

CPG development 0 1 0 2 1 4

1 8 1 1 0 10

Sum 9 1 3 1 14

Tabelle 36: Quality Assessment

CPG quality assessment * expectation: resource use to develop guidelines



CPG quality assessment 0 3 1 1 1 6

1 6 0 2 0 8

Sum 9 1 3 1 14

Tabelle 37: Monitoring

CPG monitoring * expectation: timeframe to develop guidelines


-1 no change 1 2 9 Sum

CPG monitoring 0 3 1 3 1 1 9

1 4 1 0 0 0 5

Sum 7 2 3 1 1 14


Version


1.0 09.02.2010

- 48 -

Tabelle 38: Monitoring

CPG monitoring * expectation: resource use to develop guidelines



CPG monitoring 0 4 1 3 1 9

1 5 0 0 0 5

Sum 9 1 3 1 14

Tabelle 39: Indicators

Indicator * expectation: quality of the guidelines



Indicator 0 1 4 2 3 10

1 0 4 0 0 4

Sum 1 8 2 3 14


Indicator * expectation: timeframe to develop guidelines


-1 no change 1 2 9 Sum

Indicator 0 4 1 3 1 1 10

1 3 1 0 0 0 4

Sum 7 2 3 1 1 14


Indicator * expectation: resource use to develop guidelines



Indicator 0 5 1 3 1 10

1 4 0 0 0 4

Sum 9 1 3 1 14


Version 1.0 09.02.2010

6.2 Analyse der Befragung zur formalen Gestaltung der ersten Version des CoCanADAPTE Manuals

Diese Befragung wurde durchgeführt, um Informationen zur formalen Gestaltung und zum Verständnis sowie zur Realisierbarkeit des CoCanADAPTE Manuals in seiner ersten Version (Mai 2009) zu erhalten.

Nachfolgend wird die Positionierung der ersten Befragung innerhalb des Projektes zum CoCanADAPTE Manual dargestellt.

Position of the survey within the future project steps:

1. Survey of the perception of the original ADAPTE-Manual by the partners

2. Development of the 1st draft of the CoCan-ADAPTE-Manual

3. Survey (“Perception Form”) of the recognition of the CoCan-ADAPTE-Manual by all partners

4. Pilot testing of the CoCan-ADAPTE-Manual by interested partners

5. Development of the 2nd draft of the CoCan-ADAPTE-Manual


Von den insgesamt 16 Partnerorganisationen (aktuelle Anzahl zu diesem Zeitpunkt) wurden 15 Antworten erwartet und 10 tatsächliche Antworten (2 Partner gaben ihre Antwort im Team ab) erhalten.

„Clarity and Comprehension of the CoCanADAPTE-Manual“

“For each item, please provide a score on the 6-point scale 1 indicating the worst score (very poor) and 6 indicating the best score (excellent).”

Tabelle 42: Clarity and Comprehension of the CoCanADAPTE-Manual

Item Missing N for each score

N Very poor

2 3 4 5 Excellent

Clarity for the background chapter 0 0 1 2 0 3 4

Clarity of the CoCanADAPTE Manual chapter

0 0 1 0 1 4 4

(Fortsetzung)



Version 1.0 09.02.2010

Tabelle 42 (Fortsetzung): Clarity and Comprehension of the CoCanADAPTE-Manual


N Very poor

2 3 4 5 Excellent

Clarity of the CoCanADAPTE process chapter

0 1 1 1 2 2 3

Comprehension of the CoCanADAPTE Manual

0 1 1 1 2 4 1

Tabelle 43 fasst die Bewertungsskale der Tabelle 42 in 2 Bereichen zusammen (Zone A, Zone B). Der erste Bereich umfasst die Antworten bei den Punkten 1 bis 3. Der zweite Bereich umfasst die Antworten bei den Punkten 4 bis 6. Dabei gilt: 1 = „very poor“ und 6 = „excellent“.

Tabelle 43: Rating scale for each item

Item Zone A: answers at score 1, 2 and 3

Zone B: answers at score 4, 5 and 6

Clarity of the background chapter 3 7

Clarity of the CoCanADAPTE manual chapter

1 9

Clarity of the CoCanADAPTE process chapter

3 7

Comprehension of the CoCanADAPTE manual

3 7

Tabelle 44: Median

Item Minimum Maximum Median

Clarity for the background chapter 2 6 5

Clarity of the CoCanADAPTE Manual chapter 2 6 5

Clarity of the CoCanADAPTE process chapter 1 6 4

Comprehension of the CoCanADAPTE Manual

1 6 4



Version 1.0 09.02.2010

Zusätzlich wurden folgende 6 Kommentare abgegeben:

Comment 1:

Paragraph 1.1 can be deleted

process chapter contains too many text fields

3.2.1 can be structured in a table like in questionnaire 1. Shortening the manual by using bullets

checklists and a more comprehensible structure

English language needs to be improved

Comment 2:

suggest introduction chapter with background, justification, objectives and methods

to avoid redundant information

links to describe additional information: CoCanCPG, ADAPTE, previous survey etc.

Comment 3:

the explanation in P7 Paragraph 1.

is not clear are we saying that there was negative feedback on the last part of the manual (which step? and on the Assessment module. Do we need 3.2.1. as it is repeated again in the table and in detail in 3.2.1.1 - can we not just make this "chapter 4" and start numbering as the numbers are confusing?

Comment 4:

while I appreciate that there is sufficient detail for steps 1-5, there appears to be over-repetition or each section doesn´t flow.

an overview of the steps is first indicated on pages 11-12.

a summary is provided on page 13, which is then followed by the objectives, method(s)/tool(s), decision and deliverables for each step (pages 14-20). I would suggest re-ordering them, as per steps 6-7: summary table first, followed by the description of the step (which I note are not available for steps 6-7) and then the details (objectives, method[s]/tool[s])

Comment 5:

in the paragraph 2.2 the description of the (..) definition "preliminary phase" and "second part specific adaption parts" does not math with those included in the scheme 1 "the set up phase" and "adaptation phase".

Probably "the scheme 1: summary of the adaptation process" needs to be changed.



Version 1.0 09.02.2010

Step 1 A special table will support (...)

It is not mentioned the Tool 3, the same for step 3, 4.1 and 4.2.

Comment 6:

The text should really be corrected by a native English person. There are a lot of incorrect sentences and wrong spelling

the discussion on the first questionnaire should not be included in the Manual, but rather in a background document

“For the different modules of the CoCanADAPTE process listed below; please indicate which steps feel to you understandable / clear and feasible”

Die Mehrheit der Partnerorganisationen bezeichnete das CoCanADAPTE Manual als verständlich und klar beschrieben. Ebenso wurden die einzelnen Module und ihre Arbeitsschritte als durchführbar bewertet.

Insgesamt fehlten bei dieser Fragestellung 17 Antworten bezüglich der Durchführbarkeit der einzelnen Module und Arbeitsschritte („Feasibility of the modules and steps“) (Tabelle 45). Einige Organisationen gaben Gründe dafür an, warum sie keine Antwort bezüglich der Durchführbarkeit einzelner Module und Arbeitsschritte abgaben. Ein wesentlicher Grund dafür war fehlende Erfahrung in der Adaptierung von Leitlinien. Andere Organisationen gaben wiederum keine Begründung für fehlende Antworten an.



Version 1.0 09.02.2010

Tabelle 45: Understandability/clarity and feasibility of the modules and steps

Module Step Understandable / clear

Feasible Comments

yes no m* yes no m*

Step 1: Assess guideline content

8 2 0 8 1 1 More widely, relating to the order of the steps into the assessment module, I think it could make more sense to develop another methodological algorithm as follows: Assess quality We have no experience with these tasks See our comment in the manual p-11 to add further clarity “... each defined health questions (developed in the preliminary phase)...” “...special table...” - is this a reference to a tool? do not use the term 'source guideline' here. Source guidelines are only those that are ultimately used as a source

Assessment Module

Step 2: Assess guideline quality

9 0 1 8 1 1 Assess currency (to know and to do an update or not of the selected sources guidelines) Step 1 and 2 should be integrated, both makes reference to the same objective. AGREE instrument is valid for assessing both content and quality of the guideline

(Fortsetzung)



Version 1.0 09.02.2010

Tabelle 45 (Fortsetzung): Understandability/clarity and feasibility of the modules and steps


Feasible Comments

yes no m* yes no m*

Step 3: Assess guideline currency

10 0 0 7 2 1 Assess consistency (between literature data, conclusions and recommendations) p.11is a helpful instrument - is this a reference to a tool, or the step?

Step 4: Assess guideline consistency

7 3 0 6 2 2 Assess content based on an elaboration of a matrix (as proposed in original Adapte) who take approximately the same time than the content table proposed in refined manual Do you mean in this step to check whether the recommendation is well based on the evidence? very difficult to read

Step 4.1: Evaluate search strategy and selection of evidence

7 3 0 6 3 1 It is clear if and how to do an updated search in this step Criteria are not indicated to evaluate search strategies (comprehensiveness for example) Feasibility: organizations not always make available search strategies and inclusion exclusion criteria do we need checklists for any step? I doubt the use of all these tools. This is also partly checked in step 2, so is rather step 2.1?

(Fortsetzung)



Version 1.0 09.02.2010



Feasible Comments

yes no m* yes no m*

Step 4.2: Evaluate consistency between selected evidence, its interpretation, and resulting recommendation

7 3 0 5 3 2 Why using besides the Tool number 7 also using a table and a list of 8 questions in the text? Unclear - may be a language issue - please check the changes as I may have changed the meaning Same remark. This is also a rather subjective step (but necessary to some extent). I would focus the assessment module on the evidence (+interpretation), and not on the recommendations, which are local and not necessarily the same in every guideline. On the other hand, the evidence should be the same.

Step 5: Assess acceptability and applicability of the recommendations

8 2 0 4 4 2 Assess applicability based on the recommendations matrix. Clinicians can easier assess this dimension with this presentations Is it useful to add the recommendation matrix in this step? P 19_ I would use the same definitions of acceptability and acceptability as in the Glossary as it is not clear in this objective I would first decide on which guidelines to select, and afterwards (in a separate step/module) evaluate if the recommendations are applicable, or should be updated/adapted

(Fortseztung)



Version 1.0 09.02.2010



Feasible Comments

yes no m* yes no m*

Step 6: Review assessments

8 2 0 6 2 2 Table 5 is unclear. The numbers are not corresponding to the tools. Why not using the sequence of the tools in table 2 for this step? The deliverable could be clearer

Decision and Selection Module

Step 7: Select between guidelines and recommendations to create an adapted guideline

7 3 0 5 3 2 This steps order could facilitate too the step 7 "Select between guidelines and recommendations to create an adapted guideline", because it permits at the end of the process to have all recommendations classified by health clinical questions and in a single table. That is a comment for discussion Instead of adopting and adapting recommendations, we believe it is better to adopt and adapt only the evidence tables and to formulate recommendations ourselves. We think the adapte process should concentrate on step3: accept the evidence summary Objective - 1st paragraph unclear? Where does the customization module fit in? Again confusion with numbering Difficult to read some parts It can be done, but the level of complexity will vary depending on the context to be adapted

Customization Module

Step 8: Prepare draft adapted guideline**

9 0 1 6 1 3 This is not an adaptation specific module. It should be part of the finalization phase Uses in-house I think this is good for Adaptation

** For this step each organization should use its own In-house procedures. *m = number of missing answers



Version 1.0 09.02.2010

“For different tools of the CoCanADAPTE listed below; please indicate which tools fell to you understandable / clear and feasible.”

Die Mehrheit der befragten Partnerorganisationen antwortete, dass die genannten Instrumente im CoCanADAPTE Manual verständlich, klar formuliert und durchführbar sind.

Insgesamt fehlten 11 Antworten bei dem Punkt „Feasibility“ und 2 Antworten bei dem Punkt „understandable / clear“ (Tabelle 46).

Tabelle 46: Understandability / clarity and feasibility of the tools


Feasible Comments

yes no m* yes no m*

Assessment Module

Step 1: Assess guideline content Tool 3

6 4 0 6 2 2 Check in the table: PIPOH questions are written but PICO tool is presented in tool 1 We have no experience with these tasks I don`t understand why the description of population is considered, etc. when this information is already included in the Questionnaire I´m not convinced when the health questions are developed- is it during the preliminary phase or before this? It`s not very clear. The tool needs to indicate the step to which it is associated (this would apply to all tools). Also nowhere does it state if there is a minimum or maximum number of clinical practice guidelines that can be reviewed (or make it clear that this will be as many as are found PICO is mixed with PIPOH Step 1 and 2 should be integrated, both makes reference to the same objective. AGREE instrument is valid for assessing both content and quality of the guideline

(Fortsetzung)



Version 1.0 09.02.2010

Tabelle 46 (Fortsetzung): Understandability / clarity and feasibility of the tools


Feasible Comments

yes no m* yes no m*

Step 2: Assess guideline quality Tool 4

9 1 0 7 1 2 It is the standard instrument, but I think its uses can be redundant (maybe partially) with tools 6 and 7

Step 3: Assess guideline currency Tool 5

9 1 0 6 3 1 The ideal situation could be the combination with tool 3. The important thing is which Q need an update? As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewed (or make it clear that this will be as many as are found) Is it necessary to have a tool for this?

Assessment Module

Step 4.1: Evaluate search strategy and selection of evidence Tool 6

8 2 0 5 3 1 Tools 6, 7 und 8: It could be interesting to precise in toolkit or in the text part that this 3 tools are a "deepening" of AGREE instrument domains concerning methodology and applicability There are too details. It will be very difficult to complete. Maybe for each CPG is OK, but for each Q not. CPG don`t describe so much details. The high Q CPG neither. As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewed (or make it clear that this will be as many as are found). Source? Validated?

(Fortsetzung)



Version 1.0 09.02.2010



Feasible Comments

yes no m* yes no m*

Step 4.2: Evaluate consistency between selected evidence, its interpretation, and resulting recommendation Tool 7

8 2 0 6 3 1 Tools 6, 7 und 8: It could be interesting to precise in toolkit or in the text part that this 3 tools are a "deepening" of AGREE instrument domains concerning methodology and applicability As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewed (or make it clear that this will be as many as are found). Source? Validated?

Assessment Module

Step 5: Assess acceptability and applicability of the recommendations Tool 8

8 2 0 6 3 1 Tools 6, 7 und 8: It could be interesting to precise in toolkit or in the text part that this 3 tools are a "deepening" of AGREE instrument domains concerning methodology and applicability Same notes tools 6 & 7 As per the latter paragraph above: ... nowhere does it state if there is a minimum or maximum number of CPG that can be reviewd (or make it clear that this will be as many as are found). Source? Validated?

(Forsetzung)



Version 1.0 09.02.2010



Feasible Comments

yes no m* yes no m*

Step 6: Review assessments Table 5

8 2 0 5 3 2 It will be difficult to integrate in one table the results of the previous tools. Feels too complex to me; It can be done, but the level of complexity will vary depending on the context to be adapted


Step 7: Select between guidelines and recommendations to create an adapted guideline Five decision making processes

8 1 1 6 2 2 We think the adapte process should concentrate on step 3: accept the evidence summary. Use a similar structure Sometimes, the users reject one CPG in previous steps Is this a tool?


Step 8: Prepare draft adapted guideline**(no tool available)

8 1 1 6 2 2 This should be part of the finalization phase Under step 8, state again that this is based on in-house procedures. no tool

** For this step each organization should use its own In-house procedures. *m = number of missing answers



Version 1.0 09.02.2010

6.2.2 Zusammenfassung der Ergebnisse

Insgesamt bezeichneten die Partnerorganisationen die Beschreibung des Inhalts des Manuals als gut. Ein Kommentar wurde hinsichtlich der Verständlichkeit des CoCanADAPTE Manuals, der Anordnung der Arbeitsschritte und der Instrumente abgegeben.

Die Kommentare der Partnerorganisationen sind sehr heterogen und zeigen einen allgemeinen Überarbeitungsbedarf der ersten Version des CoCanADAPTE Manuals. Allgemein wurde von allen Befragten angedeutet, dass der Adaptierungsprozess durchaus durchführbar ist.

Abgesehen von der Heterogenität der Kommentare wird sich die weitere Überarbeitung des CoCanADAPTE Manuals auf folgende Punkte beziehen:

Kürzung des Manuals

Einfügen der „Recommendation Matrix“ als ein wichtiges Instrument für den Adaptierungsprozess

Überprüfung der unterschiedlichen Instrumente und ihrer Darstellung / Beschreibung



Version 1.0 09.02.2010

6.3 Analyse der Befragung zum Pilot Test der ersten Version des CoCanADAPTE Manuals

Die zweite Befragung zum CoCanADAPTE Manual wurde durchgeführt, um Informationen zur Anwendung der ersten Version (Mai 2009) CoCanADAPTE Manuals zu erhalten. Es handelt sich hierbei um eine Pilot Testung. Die Partnerorganisationen INCa, ISS, KCE und SIGN erklärten sich bereit die Pilot Testung mit bestimmten Leitlinien durchzuführen. Dabei wählten sie unterschiedliche Vorgehensweisen. Das INCa und das SIGN lieferten Ergebnisse von aktuell laufenden Projekten. Das ISS lieferte retrospektive und KCE prospektive Daten.

Nachfolgend wird die Positionierung der Pilot Testung zum CoCanADAPTE Manual dargestellt.

Position of the survey within the future project steps:

1. Survey of the perception of the original ADAPTE manual by the partners

2. Development of the 1st draft of the CoCanADAPTE manual

3. Survey (“Perception Form”) of the recognition of the CoCanADAPTE manual by all partners

4. Pilot testing of the CoCanADAPTE manual by INCa, ISS, KCE, SIGN

5. Development of the final draft of the CoCanADAPTE manual


“Time planning and use of the manual”

Die folgende Tabelle zeigt die von den 4 Organisationen angegeben Zeiträume für die Pilot Testung:

Organisation Process start on

INCa January 2009

ISS February 2008

KCE No date / month / year (prospective)

SIGN September 2009

Die Tabelle 47 zeigt die Dauer der „Preliminary Phase“, der „Specific Adaptation Parts“, die „Finalization Phase“ und die Dauer des gesamten Adaptierungsprozesses. ISS hat keine



Version 1.0 09.02.2010

detaillierte zeitlichen Angaben für die „Finalization Phase“ im Rahmen der Pilot Testung angegeben. Der Grund dafür ist, das die Partnerorganisation noch aktuell die „Finalization Phase“ austestet und damit noch keine weiteren Daten zur Verfügung stehen. Auch die Organisationen SIGN und INCa gaben keine genauen Zeitangaben zu den „Specific Adaptation Parts“, der „Finalisation Phase“ und dem gesamten Adaptierungsprozess an, da sich die Projekte noch in Arbeit befinden und keine weiteren Daten zur Verfügung gestellt werden konnten.

Tabelle 47: Time planning and use of manual

Organisation Preliminary Phase*

Adaptation phase*

Final phase* Whole adaptation process*

INCa 0 month 0 month 0 month 0 month

ISS 1 month 14 month 0 month 0 month

KCE 1 month 7 month 1 month 9 month

SIGN 3 month 0 month 0 month 0 month

* in months

„Do you plan to follow the proposed CoCanADAPTE manual?“

Tabelle 48: Plan to follow the CoCanADAPTE manual

Organisation Plan to follow the proposed manual (if No )

skip specific steps or modules

To use another approach

INCa Yes

ISS Yes

KCE No Yes Yes

SIGN No* Yes Yes

*SIGN inserts a comment at that point: “Probably not in its entirety. Main problem is lack of suitable guidelines”; and “Will use or adapt specific modules and tools”.

“What are the topics and questions of the planned guideline?”

Tabelle 49: Topics of the planned guideline

Organisation Topic Questions

INCa Prostate cancer

ISS Women’s health- pregnancy

Antenatal care in healthy women

KCE - -

SIGN Breast cancer Combination therapy, timing and duration of bisphosponates, endocrine therapy, anti-tumour antibiotics.



Version 1.0 09.02.2010

“Who participate in the guideline adaptation panel?”

Tabelle 50 gibt die Expertengruppen an, die in der Leitlinienentwicklungsgruppe für die Adaptierung von Leitlinien einbezogen werden. SIGN hat als einzige Organisation keine spezifischen Expertengruppen benannt, sondern ausschließlich folgenden Kommentar abgegeben:

“Not currently formulated, but all SIGN groups are multidisciplinary”

Für die Antwortoption “other” hat das ISS eine weitere Personengruppe („midwifes“) angegeben, die bei der Adaptierung ihrer Leitlinien in der Aufstellung der Leitliniengruppe berücksichtigt wurde. Alle 4 Organisationen gaben an, dass sie die Angabe von Interessenkonflikten von den Personengruppen, die am Adaptierungsprozess beteiligt werden, verlangen (nicht in der Tabelle berücksichtigt).

Tabelle 50: Expert groups in the guideline adaptation panel

Expert groups INCa ISS KCE SIGN

Medical specialists X X X

General practitioner X

Epidemiologists/Public Health Physicians

X X

Pharmacists

Nurses

Professionals allied to medicine

Methodologists X X X

Health services research expert

Non medical staff X

Patient representatives X

Lay representatives from the general public

X

Other* X

*specification midwifes

“Who are the target users”

Tabelle 51 beinhaltet unterschiedliche Anwenderzielgruppen der adaptierten Leitlinien, die von den 4 Partnerorganisationen angekreuzt werden konnten. Als weitere



Version 1.0 09.02.2010

Anwenderzielgruppen nennt das KCE „all professionals involved in the care for the population addressed“.

Tabelle 51: Target users

Expert groups INCa ISS KCE SIGN

Medical specialists X X

General practitioner

Epidemiologists/Public Health Physicians

X X

Pharmacists

Nurses

Professionals allied to medicine

Methodologists X X X

Health services research expert

Non medical staff

Patient representatives

Lay representatives from the general public

Other* X X

*specification Medical staff and a documentalist

Information specialists/documentaries

„What is the context of guideline adaptation?“

Tabelle 52: Context of guideline adaptation

Organisation Answer

INCa Adaptation as an alternative to de novo guideline development

ISS Adaptation as an alternative to de novo guideline development

KCE Adaptation + update of source guidelines; de novo if for a question no source guideline is available

SIGN Adaptation as alternative or supplement to full guideline review/update

“Are guideline implementation plans included in the adaptation?”

Alle vier Organisationen beantworten diese Frage mit nein. Das SIGN gibt zusätzlich an, dass die Implementierung von Leitlinien als ein separater Prozess in seinen Methoden gekennzeichnet ist.



Version 1.0 09.02.2010

„Overall assessment of the CoCanADAPTE process, technical guide and tools“

Die allgemeine Bewertung des CoCanADAPTE Prozesses, des Handbuchs und der Instrumente erfolgte anhand der in der Befragung vorgegebenen Bewertungsskala. Dabei bedeutet der Wert 1 “worst score“ und der Wert 6 “best score“ (Tabelle 53).

Tabelle 53: Overall assessment


N Worst score

2 3 4 5 Best score

Overall satisfaction with the CoCanADAPTE manual 1 0 0 1 1 1 0

Clarity of the CoCanADAPTE process 1 0 0 0 1 2 0

Clarity of the manual in general 1 0 0 1 1 1 0

Clarity of the tools 1 0 0 0 1 2 0

Feasibility of the manual 1 0 0 1 2 0 0

Feasibility of the tools 1 0 0 1 1 1 0

Confidence in the quality of the adapted guideline 1 0 0 0 1 2 0

Confidence that the CoCanADAPTE process saves time compared with de novo guideline development

1 1 0 0 2 0 0

Confidence that the CoCanADAPTE process saves resources compared with de novo guideline development

1 1 0 0 2 0 0

Tabelle 54 fasst die Bewertungsskala aus Tabelle 53 in 2 Bereiche zusammen („Zone A, Zone B“). Der erste Bereich besteht aus den Bewertungspunkten 1 bis 3 und der zweite Bereich aus den Punkten 4 bis 6.

Tabelle 54: Rating scale for each item

Item Zone A: answers at score 1, 2 and 3

Zone B: answers at score 4, 5 and 6

Overall satisfaction with the CoCanADAPTE manual 1 2

Clarity of the CoCanADAPTE process 0 3

Clarity of the manual in general 1 2

Clarity of the tools 0 3

Feasibility of the manual 1 2

Feasibility of the tools 1 2

Confidence in the quality of the adapted guideline 1 2


1 2



Version 1.0 09.02.2010

Tabelle 55: Median of overall assessment

Item Minimum Maximum Median

Overall satisfaction with the CoCanADAPTE manual 3 5 4

Clarity of the CoCanADAPTE process 3 5 5

Clarity of the manual in general 3 5 4

Clarity of the tools 3 5 5

Feasibility of the manual 3 4 4

Feasibility of the tools 3 5 4

Confidence in the quality of the adapted guideline 3 5 5


1 4 4

Confidence that the CoCanADAPTE process saves resources compared with de novo guideline development

1 4 4

Aus den Tabellen 52 und 53 wird ersichtlich, dass die Antwortoptionen „Confidence that the CoCanADAPTE process saves time compared with de novo guideline development“ und „Confidence that the CoCanADAPTE process saves resources compared with de noco guideline development“ jeweils am schlechtesten mit nur 1 Bewertungspunkt bewertet wurden.



Version 1.0 09.02.2010

„In your opinion, does the CoCanADAPTE manual require further revision?“

Tabelle 56: Requirement of further revision of the manual

Respondent Yes No Comments

INCa - - -

ISS X Scheme 1 need to be amended since there is no correspondence between phases in the text and in the scheme. For example: preliminary phase (in the text) is named set up phase in the scheme, step 3 and 4 of the preliminary phase (define health questions, search and screen guidelines) are included in the adaptation phase. This could be little confusing. Maybe a flow chart could be included separately. Furthermore, since I consider that the scheme could be very useful in order to orient manual users in the ADAPTE process at least at the beginning, I think that the part related to the adaptation phase could expanded, including the scheme of the Specific Adaptation Part that is one of the most complicated phase. The preliminary phase could be divided in modules in order to maintain homogeneity in the organisation of the phases. The steps 6 and 7 (Review assessment and select between guideline ...) are included in the Decision and Selection Module. Then, why are these steps numbered as 6 and 7? It is confusing because they seem to be included in the assessment module. The step 5: assess acceptability and applicability of the recommendations I think is one of the most crucial and difficult part of the adaptation process. I think that should be separated from the assessment module, and included in a separated module. In fact it is a process really different from the assessment of internal validity of the source guideline.

KCE X Leave room for the possibility that update of source guidelines is very often necessary.

SIGN X Manual is wordy, reflecting a somewhat academic approach. Think about end-users – put tools up front preceded by simple algorithm (diagram of process). Those requiring lengthy explanation or interested in justifications/reasons can look up that information (ideally in an electronic document by clicking in an information icon to get a pop-up box). Manual requires some editing for grammar and idiomatic expression



Version 1.0 09.02.2010

“In your opinion, do the CoCanADAPTE tools require further revision?”

Tabelle 57: Requirement of further revision of the tools

Respondent Missing N

Yes No Comments

INCa X

ISS X

KCE X The evaluation sheets are to extensive

SIGN X Not much, as the tools are very useful. Tool 3: probably want to map key questions rather than “actual content”. PIPOH doesn’t make sense appearing below numbered list of key questions (how would one fill this out?). Tool 5- search dates may need to be mapped against key questions so that you can see update required more easily. Tool 6-snowball methods probably not needed as criterion; “local experts/societies were asked for recommendations” is not usually considered a means of searching for evidence if I understand this criterion correctly. “Bias in selection of articles” (tool 6) is particularly good.

“In your opinion which effect (benefits, limitations) did you encounter when developing a guideline using the CoCanADAPTE process?”

Tabelle 58: Rating scale for effects


N Decreased (--)

- No change

+ Increased (++)

Quality of developed guideline 3 0 0 0 1 0

Timeframe to develop guideline 2 0 2 0 0 0

Resource use to develop guideline 2 0 2 0 0 0

Tabelle 59: Summary of the ratings

Item Zone A: answers at score -- / -

Zone B: answers at score + / ++

Quality of developed guideline 0 1

Timeframe to develop guideline 2 0

Resource use to develop guideline 2 0



Version 1.0 09.02.2010

“In your opinion, what were the barriers encountered using the CoCanADAPTE process?”

Tabelle 60: Barriers by using the CoCanADAPTE process

Barriers INCa ISS KCE SIGN

Limited acceptance of CoCanADAPTE process by guideline panel

X X

Lack of appropriate guidelines available for selected topic

X X

Difficulties to select among a large number of guideline available

X

Low quality of available guidelines

X X

Difficulties to adapt source guidelines to context of use

Complexity of the CoCanADAPTE process

X X

Other

Tabelle 60 zeigt die möglichen Probleme, die bei einer Nutzung des CoCanADAPTE Manuals auftreten können. Zusätzlich haben KCE und SIGN Kommentare zur Begründung, warum Barrieren bei einer Nutzung des CoCanADAPTE Manuals auftreten können, abgegeben.

Tabelle 61: Comments on barriers

Respondent Comments

KCE In some cases, adaptation is impossible, and de novo development is necessary. In that case, time is lost. Of course, you cannot know this beforehand…

SIGN Most identified guidelines fell at early hurdles and were clearly not worth full appraisal



Version 1.0 09.02.2010

“Do you think that using the CoCanADAPTE process improved or provided added value to your de novo guideline development process?”

Tabelle 62: Added value of CoCanADAPTE

Respondent Answer

INCa -

ISS Yes

KCE No

SIGN The eight tools are very useful and it is helpful to have them all together in a single document when evaluating the source guideline. Most guidelines identified were not recent enough, clearly not evidence-based, or clearly did not provide enough detail in methods and/or description o supporting evidence to make full appraisal

“For the three modules of the CoCanADAPTE process listed below, please indicate what steps were followed. Please provide comments for steps not fully completed or skipped and provide comments on why, and what was done instead.”

Tabelle 63: Following the steps

Module Step Answer Comments

Yes Yes, but not completely

No m

Step 1: Assess guideline content

3 1 In our experience found more useful/wise to assess first the quality of the guidelines retrieved than the guideline content and currency. In this way we were able to make a first selection of the best available evidence and we did not waste our time in the screening of the health questions low quality guideline. Sometimes, it is useful to have an idea about existing guidelines covering questions other than addressed in the guideline. This can lead to new questions. In progress

Step 2: Assess guideline quality

4

Step 3:Assess guideline currency

4 If a guideline is out-of-date, we don’t do a guideline quality appraisal. So, this step comes first.

Assessment Module

Step 4:Assess guideline consistency

1 2 This is part of step 2 Is a step separate from 4.1 and 4.2 (not clear)?

(Fortsetzung)



Version 1.0 09.02.2010

Tabelle 63 (Fortsetzung): Following the steps

Module Step Answer Comments

Yes Yes, but not completely

No m

Step 4.1: Evaluate search strategy and selection of evidence

3 This was a difficult step, because search strategies were not published in the NICE website. Anyway we send via email a request to NICE specific office and the information specialist kindly send us the appropriate file. It tooks long also evaluate the NICE strategies. This is combined with an assessment of the evidence coming from the update

Step 4.2: Evaluate consistency between selected evidence, its interpretation, and resulting recommendations

1 2 This is done taking all available evidence into account. Effort required was out of proportion to benefit given conclusions from other steps.

Step 5:Assess acceptability and applicability of the recommendations

1 2 Acceptability limited-would likely want to examine evidence base first hand

Step 6: Review assessments

2 1 The update step should be placed here after Beyond scope of pilot


Step 7: Select between guidelines and recommendations to create an adapted guideline

2 1 Beyond scope of pilot


Step 8: Prepare draft adapted guideline

2 1 Step still in progress

“How many source guidelines were retrieved?”

“How many source guidelines were assessed (assessment module)?”

“How many source guidelines were actually used to formulate the adapted guideline?”

Die Ergebnisse zu den oben aufgeführten 3 Fragestellungen werden in der nachfolgenden (Tabelle 64) zusammen dargestellt.



Version 1.0 09.02.2010

Tabelle 64: Retrieved, assessed, used guidelines

Respondent CPG retrieved (N) CPG assessed (N) CPG used (N)

INCa 9 7 -

ISS 3 1 1

KCE - - -

SIGN 8 1 1

„Did you update the literature review of the source guideline(s)?”

Tabelle 65: Update of the literature

Respondent Yes No Comments

INCa X A literature monitoring process is ongoing.

ISS X

KCE X

SIGN X Pilot only, would update literature review if doing full process

“Did you require contextualising the source recommendations to your own local setting?”

Tabelle 66: Contextualising of the source recommendations

Respondent Missing N

Yes No Comments

INCa X

ISS X

KCE X

SIGN X Guideline from same country of origin



Version 1.0 09.02.2010

“General comments on the experience using the CoCanADAPTE process”

Das SIGN war die einzige Organisation, die diesbezüglich einen Kommentar abgegeben hat (Tabelle 67).

Tabelle 67: General comments

Respondent Comments

INCa -

ISS -

KCE -

SIGN Please see accompanying email. It was surprising that, upon scrutiny, the source guideline (although high quality) did not offer significant information in our key questions of interest and did not provide sufficient information to support decision making, crucially in details of the evidence base supporting the recommendations. Although the topics were the same, it was also surprising how little overlap there was in the two sets of key questions (source guideline and SIGN). Many tools are very useful and I stress again that it is helpful to have them in one document. An algorithm describing the sequence of their use and decision-making tree would be more useful than a lengthy verbal description. A initial "screening" step might be considered in which basic criteria of quality are used to screen out guidelines identified in the search that clearly will fail at later stages & to allow documentation of these decisions.



Version 1.0 09.02.2010

6.3.2 Zusammenfassung der Ergebnisse

Diese Befragung wurde durchgeführt, um Informationen zur Anwendbarkeit des CoCanADAPTE Manuals (Version 1.0 Mai 2009) zu erhalten. Die Befragung wurde in Form einer Pilot Testung durchgeführt. 4 Organisationen (INCa, ISS, KCE, SIGN) erklärten sich dazu bereit, an dieser Pilot Testung teilzunehmen.

Die Testung erfolgte nach unterschiedlichen organisatorischen Gegebenheiten und auf unterschiedlicher Datenlage:

Das INCa und das SIGN testeten das Manual auf Basis aktuell laufender Projekte und gaben daher spezifisch Daten über die „Preliminary Phase“ des CoCanADAPTE Manuals.

Das ISS testete auf retrospektiver Basis und lieferte primär Daten zur „Preliminary Phase“, „Specific Adaptation Parts“. Da die Projektarbeit ausschließlich in diesen Phasen in 2008 abgeschlossen wurden, konnte ISS noch keine Daten liefern zur „Finalization Phase“ die aktuell noch in Bearbeitung ist.

Das KCE testete das Manual auf prospektiver Basis und lieferte daher für alle 3 Teile des Manuals Daten.

Das KCE und das SIGN erklärten bestimmte Module und / oder Arbeitsschritte aus dem CoCanADAPTE Manual entweder komplett zu übernehmen oder zu adaptieren.

Hinsichtlich der Beteiligung von spezifischen Personengruppen an der Entwicklung einer adaptierten Leitlinie nannten alle vier Organisationen „Medical Specialists“ als eine wesentliche zu beteiligende Gruppe. Die übrigen angekreuzten Personengruppen variierten zwischen den 4 Partnerorganisationen.

Das INCa und das ISS sehen den Kontext der Leitlinienadaptierung als eine Alternative zur Entwicklung von de novo Leitlinien. Das KCE und das SIGN sehen die Adaptierung eher in einem anderen Kontext, der nicht näher benannt wurde.

Die allgemeine Bewertung des CoCanADAPTE Manuals fiel positiv aus. Die meisten Bewertungen befinden sich auf der Punkteskala zwischen 3 und 6 (Tabelle 54). Die beiden Antwortoptionen „Confidence that the CoCanADAPTE process saves time compared with de novo guideline development“ und „Confidence that the CoCanADAPTE process saves resources compared with de novo guideline developement“ wurden am schlechtesten bewertet (1 = very poor).

Alle 4 Partnerorganisationen sahen einen Bedarf darin die erste Version des CoCanADAPTE Manuals weiter zu verbessern, gaben aber sehr heterogene Kommentare und Begründungen dazu ab. Des Weiteren machen die Angaben zum Nutzen und den Problemen bei der Anwendung von CoCanADAPTE deutlich, dass die meisten Probleme im zeitlichen Aufwand



Version 1.0 09.02.2010

und dem Aufwand an Resourcen gesehen werden. Detaillierte Barrieren, die von 3 der 4 Organisationen gesehen werden sind:

“Lack of appropriate guidelines available for selected topic“

“Low quality of available guidelines”

“Complexity of the CoCanADAPTE process”

Das ISS war die einzige Organisation, die einen Zugewinn in der Anwendung des CoCanADAPTE Manuals sieht.

Zusätzlich gaben ISS und das SIGN an, dass mangelhafte Quellleitlinien, die zur Adaptierung herangezogen wurden, ein wesentliche Barriere für den Adaptierungsprozess darstellen.

Abschließend ist es demnach notwendig weitere Bewertungen zur Anwendung des Manuals durchzuführen, um weitere Aussagen über die Realisierbarkeit und die Verständlichkeit des Manuals zu erhalten.

Allgemein kann aber geschlossen werden, dass einige der Module, Arbeitsschritte und Instrumente des CoCanADAPTE Manuals den organisatorischen und auch methodischen Anforderungen der Partnerorganisationen entsprechen und von diesen übernommen werden.



Version 1.0 09.02.2010

6.4 Die finale Version des CoCanADAPTE Manuals

6.4.1 Ziel des Manuals

Das primäre Ziel des CoCanADAPTE Manuals ist es, Duplikate und die Fragmentierung bei der Entwicklung von Leitlinien zum Themengebiet Krebs zu minimieren bzw. zu vermeiden. Das Manual ist ein praktischer Leitfaden zur Adaptierung von Krebsleitlinien. Der Leitfaden ist daher für Leitlinienentwickler (besonders -adaptierer), Leitliniennutzer und -implementierer, wie z. B. lokale Gesundheitsorganisationen, Leitlinien entwickelnde Organisationen und internationale Organisationen der Gesundheitsversorgung hilfreich. Das Manual ist allerdings kein Leitfaden für die Entwicklung von de novo Leitlinien und beinhaltet keine detaillierten Informationen für die Disseminierung und Implementierung von Leitlinien.

6.4.2 Aufbau und Struktur

Das Manual besteht zum größten Teil aus Modulen und einzelnen Arbeitsschritten sowie speziellen Tools zu den einzelnen Modulen / Arbeitsschritten. Die Module setzen sich aus den genannten Arbeitsschritten zusammen. Im Wesentlichen besteht das Manual aus 3 großen Teilen (Abbildung 12):

1. Der Vorbereitungsphase („Preliminary Phase“)

2. Den adaptierungsspezifischen Teilen („Specific Adaptation Parts“)

3. Der Finalisierungsphase („Finalization Phase“)

Für den ersten und dritten Teil (Vorbereitungs- und Finalisierungsphase) werden kurz die wichtigsten Schritte aufgezählt, da die beiden Teile sich auf die Vorbereitung bzw. auf den Abschluss der adaptierungsspezifischen Teile beziehen.

Der zweite Teil mit den adaptierungsspezifischen Modulen beinhaltet jeweils für jedes Modul eine Darlegung der Ziele und eine detaillierte Beschreibung des Moduls und seiner Arbeitsschritte. Zusätzlich werden auch noch die Tools, die für einige der Arbeitsschritte erforderlich sind, genannt und im Anhang beschrieben. Abschließend werden am Ende jedes Arbeitsschrittes Entscheidungsprozesse zusammenfassend dargestellt.



Version 1.0 09.02.2010

Abbildung 12: Darstellung der groben Struktur des CoCanADAPTE Manuals

Der Adaptierungsprozess ist sehr umfangreich und komplex. Zusätzlich haben die Partnerorganisationen des CoCanCPG-Projektes ein unterschiedliches Verständnis von der Adaptierung von Leitlinien aufgrund ihrer unterschiedlichen organisatorischen Gegebenheiten.



Version 1.0 09.02.2010

Aus diesem Grund ist dieses Manual auf der Basis der unterschiedlichen Anforderungen der Partnerorganisationen konzipiert worden, um flexibel als eine Hilfe für den Adaptierungsprozess von Leitlinien eingesetzt werden zu können.

Das Manual wurde in Anlehnung an das ADAPTE Manual der ADAPTE-Kollaboration entwickelt.

I. Die „Preliminary Phase“ (Vorbereitungsphase)

Die Vorbereitungsphase beinhaltet wichtige Arbeitsschritte, die vor der Durchführung der adaptierungsspezifischen Prozesse abgeschlossen sein müssen. Diese Schritte sind auch mit denen der Entwicklung einer de novo Leitlinie vergleichbar.

1. Themenfindung mithilfe von folgenden optionalen Kriterien:

Intervention

Diagnosestellung

Prävalenz der Erkrankung

Qualitätssicherung

Ökonomische Betrachtungen z. B. der Interventionen

2. Einbeziehung professioneller Expertise

Experten auf dem Gebiet des ausgewählten Themas

Mit Erfahrung auf dem Gebiet des ausgewählten Themas

Mit methodischer Expertise

Mit Expertise in der Suche nach notwendigen Informationen

Mit Expertise auf dem Gebiet der Implementierung

3. Abdeckung des Anwendungsgebietes und der klinischen Fragestellungen durch Verwendung des PICO-Schemas

Beschreibung der Population

Beschreibung der Intervention



Version 1.0 09.02.2010

Vergleich („Comparison“) z. B. alternative Therapien

Outcome-Messungen

Auf Basis des PICO-Schemas wird anschließend die klinische Fragestellung formuliert.

4. Überprüfung, ob eine Adaptierung möglich ist durch eine Recherche nach Leitlinien, die relevant sind für das ausgewählte Thema.

Entwicklung einer Recherchestrategie anhand der formulierten klinischen Fragestellungen

Ist eine Adaptierung nicht möglich, da nicht ausreichend methodisch und inhaltlich hochwertige Leitlinien identifiziert werden, dann fällt die Entscheidung zugunsten der Entwicklung einer de novo Leitlinie.

5. Wenn eine Adaptierung möglich ist erfolgt die systematische Recherche nach existierenden Leitlinien

Entwicklung einer Recherchestrategie basierend auf den formulierten klinischen Fragestellungen

Die Recherche sollte ausschließlich Leitlinien berücksichtigen, die nicht älter als 3 bis 5 Jahre sind

Ein Update der Recherche sollte nach 5 Jahren erfolgen im Rahmen einer Qualitätssicherung

Screening der Leitlinie

Das Ergebnis der Recherche und des Screenings ist ein Pool von Leitlinien.

Für die Anzahl der potenziell relevanten Leitlinien in diesem Pool gibt es keine festgelegte Begrenzung. Diese Leitinien werden in den weiteren Prozess der Adaptierung eingeschlossen. Bei der Durchführung der Vorbereitungsphase kann jede Organisation ihre eigenen Methoden nutzen. Die unterschiedlichen Methoden der Leitlinien entwickelnden Organisationen in diesem Projekt befinden sich in Anhang F.

II. Die „Specific Adaptation Parts“ (adaptierungsspezifische Abschnitte)

Die adaptierungsspezifischen Teile des Manuals bestehen aus dem Bewertungsmodul („Assessment Module“), dem Entscheidungs- und Selektionsmodul („Decision and Selection Module“) und dem Anpassungsmodul („Customization Module“).



Version 1.0 09.02.2010

Das Bewertungsmodul („Assessment Module“):

Dieses Modul wird auch als Schlüsselmodul im gesamten Adaptierungsprozess bezeichnet, da es sowohl die inhaltliche als auch die methodische Bewertung der Leitlinien aus dem identifizierten Pool beinhaltet.

Die Bewertung der Leitlinien erfolgt in fünf Arbeitsschritten, die im Folgenden näher erläutert werden.

1. Bewertung des Inhalts der Leitlinie

Bei der Bewertung des Inhalts der Leitlinie wird zunächst die in den identifzierten Leitlinien enthaltenen klinischen Fragestellungen mit der(den) eigenen formulierten Fragestellung(en) (siehe Vorbereitungsphase) abgeglichen. Können die klinischen Fragestellungen der Leitlinien nicht auf die eigenen formulierten Fragestellungen übertragen werden, dann wird (werden) die Leitlinie(n) von dem weiteren Prozess ausgeschlossen. Dabei wird der Inhalt der Leitlinien parallel zur Überprüfung in einer Tabelle (Tabelle 68) dokumentiert. Die Tabelle muss für jede der relevanten klinischen Fragestellungen ausgefüllt werden. Auf Basis dieser Ergebnisse, die in der Tabelle festgehalten werden, werden anschließen Entscheidungen getroffen. Die Entscheidugnsoptionen, die dabei zur Verfügung stehen sind:

Die Leitlinie wird von dem weiteren Prozess komplett ausgeschlossen, da sie auf keine der in der Vorbereitungsphase formulierten klinischen Fragestellungen zutrifft.

Wenn eine der klinischen Fragestellungen von der Leitlinie nicht abgedeckt wird, dann muss abgewogen werden, ob:

o Die klinische Fragestellung ausgeschlossen wird, oder

o ob die klinische Fragestellung von einem de novo Kapitel oder durch eine weitere zu identifizierende Leitlinie abgedeckt werden soll.

Tabelle 68: Zusammenfassung der Inhalte der Leitlinien

Actual content of guidelines (CPG) (indicate with if included in guideline)

CPG 1 CPG 2 CPG 3 CPG 3

Health question 1

Health question 2

Health question 3

Health question 4

Population Insert definition here

(Fortsetzung)



Version 1.0 09.02.2010

Tabelle 68 (Fortsetzung): Zusammenfassung der Inhalte der Leitlinien

Actual content of guidelines (CPG) (indicate with if included in guideline)

CPG 1 CPG 2 CPG 3 CPG 3

Intervention(s) Insert definition here

Comparison Insert definition here

Outcome Insert definition here

Target user Insert definition here

Healthcare setting

Insert definition here

2. Bewertung der methodischen Leitlinienqualität

Die methodische Bewertung der Leitlinien, die nach dem ersten Arbeitsschritt nicht ausgeschlossen wurden erfolgt nach der Methodik des AGREE-Instruments. Das Ergebnis der methodischen Bewertung sind Leitlinien mit einer hohen methodischen Qualität. Das bedeutet jedoch nicht, dass ein niedriger AGREE-Score den Ausschluss einer Leitlinie begründet. Das Instrument soll im Rahmen dieses Prozesses ausschließlich als Entscheidungshilfe angesehen werden.

3. Bewertung der Leitlinienaktualität

Die Bewertung der Leitlinienaktualität ist auch gleichzeitig ein Schritt zur Bewertung der internen Validität einer Leitlinie. Weiterhin wird mit diesem Arbeitsschritt überprüft, ob ein Update der Literaturrecherche der eingeschlossenen Leitlinien notwendig ist.

Um die Aktualität einer Leitlinie überprüfen zu können, muss sowohl das Publikationsdatum der Leitlinie als auch der Zeitraum der Literaturrecherche, der von der Leitlinie abgedeckt wird, überprüft werden. Das Ergebnis der Überprüfung der genannten Aspekte gibt Aufschluss darüber, ob ein Update der Leitlinie notwendig ist. Ist der Zeitraum der Literaturrecherche nicht aktuell, dann kann die Leitlinie von dem weiteren Prozess ausgeschlossen werden. Für die Dokumentation der Bewertung wird Tabelle 69 verwendet.

Anhand der dokumentierten Ergebnisse kann dann eine teilweise neu Literatursuche für spezifische klinische Fragestellungen der Leitlinie durchgeführt oder eine komplett neue Literatursuche gestartet werden. Für das Erfordernis eines Updates der Literaturrecherche können die von den Partnerorganisationen des CoCanCPG Projektes validierten Werkzeuge für die Literaturrecherche und Synthese der Evidenz (Anhang A) verwendet werden.



Version 1.0 09.02.2010

Tabelle 69: Dokumentation der Leitlinienaktualität

Guideline currency Guideline # 1 Guideline # 2

Literature search dates Start date: MM/YYYY End date: MM/YYYY

Start date: MM/YYYY End date: MM/YYYY

An update of the literature is required? If Yes, when? Which questions are concerned?

Yes No If Yes, From : MM/YYYY Concerned questions: …………………………… …………………………... ……………………………

Yes No If Yes, From : MM/YYYY Concerned questions: …………………………… …………………………... ……………………………

4. Konsistenzprüfung der Leitlinien

Arbeitsschritt 4 ist aufgeteilt in 2 Unterpunkte:

a. Bewertung der Recherchestrategie und der Selektion der Evidenz

b. Bewertung der Konsistenz zwischen der selektierten Evidenz, deren Interpretation und den daraus resultierenden Empfehlungen

Dieser Arbeitsschritt unterstützt die Identifikation der besten verfügbaren Evidenz. Die Konsistenzprüfung ist ebenfalls ein Schritt zur Prüfung der internen Validität einer Leitlinie. Im Rahmen dieser Bewertung sind 4 Punkte von wesentlicher Bedeutung:

die Recherchestrategie,

die Selektion der Evidenz,

die Bewertung der Konsistenz der eingeschlossenen Evidenz und

die Konsistenz zwischen der Evidenz, ihrer Interpretation von Seiten des Leitlinienentwicklers und den daraus resultierenden Empfehlungen.

Die identifizierte Evidenz, auf der die Leitlinie basiert, variiert in ihrer Qualität und ihrer Art (Studientyp). Das hängt von den definierten klinischen Fragestellungen ab, die von einer Leitlinie abgedeckt werden und dem Zeitraum sowie der Methodik der Literaturrecherche. Einer der Gründe, warum starke qualitative Schwankungen in der Qualität der Evidenz vorliegen, kann sowohl die Festlegung der Ein-/Ausschlusskriterien als auch sprachliche Barrieren sein.



Version 1.0 09.02.2010

Die Bewertung der Recherchestrategie und der Selektion der Evidenz sollte die Bewertung der Relevanz der Recherche in spezifischen Datenbanken, die detaillierte Recherchestrategie (Angabe von Schlüsselwörtern, Zeitraum der Recherche und Sprache), die Referenzangabe (Methoden und Kriterien) und die Dokumentation der ein-/ausgeschlossenen Referenzen bei der Suche in spezifischen Datenbanken berücksichtigen.

Die Ergebnisse der Konsistenzprüfung der Leitlinien werden in dem Evaluationsbogen (Abbildung 13, Abbildung 14) festgehalten. Diese geben Aufschluss, ob mangelhafte Evidenz vorliegt und damit eine ergänzende systematische Literaturrecherche und / oder eine Überarbeitung der Ein-/Ausschlusskriterien notwendig ist. Dabei ist zu berücksichtigen, dass nicht alle Leitlinienautoren ihre Recherchestrategie und die Ein-/Ausschlusskriterien nachvollziehbar dokumentieren. Daher sollten Leitlinienautoren angeschrieben werden, wenn keine ausreichenden Informationen zu ihrer Methodik vorliegen.

Abbildung 13: Evaluationsbogen zur Konsistenzprüfung Teil I



Version 1.0 09.02.2010

Abbildung 14: Evaluationsbogen zur Konsistenzprüfung Teil II

Der zweite Unterpunkt der Konsistenzprüfung ist die Überprüfung der Konsistenz zwischen der selektierten Evidenz, deren Interpretation und den daraus resultierenden Empfehlungen. Es wird überprüft, inwieweit die Empfehlung als subjektive Interpretation des Leitlinienautors auf die der Empfehlung zugrunde liegende Evidenz zurückgeführt werden kann.

Die Konsistenzprüfung wird auf Basis des systematischen Reviews der Evidenz, deren Interpretation innerhalb eines spezifischen Settings, der Expertise des Leitlinienautors und der Empfehlungen für den lokalen Kontext der identifzierten Leitlinien durchgeführt. Die Ergebnisse der Literaturbewertung aus den vorherigen Schritten werden in einem für die Adaptierung genutzten Evidenzreport als ein Zwischenprodukt des Manuals festgehalten. Sie dienen zusätzlich als Basis dieser Konsistenzprüfung. Tabelle 70 verdeutlicht den schrittweisen Ablauf, der in der Leitlinie zu finden sein sollte. Als erster Punkt sollten die Resultate der Literaturrecherche und Bewertung der Leitlinie zu entnehmen und in Evidenztabellen dargestellt sein. Auf dieser Grundlage sollte die Selektion der besten verfügbaren Evidenz erfolgen und die Empfehlungen daraus formuliert werden.



Version 1.0 09.02.2010


Tabelle 70: Prozess zur Erstellung eines Evidenzreports und Auswahl der besten verfügbaren Evidenz Tabelle 70: Prozess zur Erstellung eines Evidenzreports und Auswahl der besten verfügbaren Evidenz

sion 1.0 09.02.2010

- 86 -

Defined health questions

Results of the literature search and assessment

Producing an evidence report

Selection of the most efficient evidence

Developing de novo recommendations

Health question 1

Health question 2

……

……

Im Rahmen dieser Bewertung wird sowohl die Quantiät als auch die Qualität der selektierten Evidenz aus dem Evidenzreport berücksichtigt. Es wird dabei überprüft inwieweit die Empfehlungen mit der Evidenz, auf der sie basieren übereinstimmen. Wichtig für diese Arbeit sind die Evidenztabellen der Leitlinien. Da einige Leitlinienautoren die Evidenztabellen nicht in ihren Leitlinien aufführen, sollten die Autoren kontaktiert werden, um die notwendigen Informationen zu erhalten.

Für den zweiten Schritt der Konsistenzprüfung sollte das Tool zur Bewertung der Validität von Leitlinien (Abbildung 15) verwendet werden.

Abbildung 15: Bewertung der Konsistenz zwischen der Evidenz, deren Interpretation und den daraus resultierenden Empfehlungen


Version 1.0 09.02.2010

Zusätzlich zu Abbildung 13 bis Abbildung 15 sollten folgende Fragestellungen in die Bewertung einbezogen werden:

Werden die Beschaffenheit und die klinische Relevanz der Ergebnisse der Primärstudien dargestellt oder diskutiert?

Wird die klinische und methodische Heterogenität der Studien dargestellt oder diskutiert?

Werden die Empfehlungen der Leitlinie von den Ergebnissen der Evaluation der Studien gestützt? Wenn nicht, werden dafür Gründe benannt?

Ist die Methodik der Vergabe von Evidenzleveln adäquat beschrieben?

Wird die Methodik der Vergabe der Evidenzlevel korrekt angewandt (z. B. begründet der Evidenzlevel die Empfehlung?)

Sind die Patienten und Interventionen in den analysierten Studien mit denen der Patienten und Interventionen der Empfehlungen vergleichbar?

Wurden Nutzen-und Risikoabwägungen in die Betrachtung mit einbezogen?

Wurde ein formaler Prozess angewandt, um die Empfehlungen zu formulieren (z. B. formaler Konsensprozess)?

Zusammenfassend sollte gelten, dass die Evidenz, auf der die Leitlinie basiert, eindeutig und nachvollziehbar vom Leitlinienautor dargestellt wird. Wenn die identifizierten Leitlinien die Evidenzbasis ihrer Empfehlungen nicht darstellen und auch über die Leitlinienautoren direkt keine Informationen erhältlich sind, dann muss die Leitlinie von dem weiteren Prozess ausgeschlossen werden.

5. Bewertung der Akzeptanz und Anwendbarkeit der Empfehlungen

Die Akzeptanz und die Anwendbarkeit sind 2 Wege, um Empfehlungen von Leitlinien in die klinische Praxis umzusetzen.

Die Akzeptanz ist die Möglichkeit der Realisierung einer Empfehlung in der klinischen Praxis.

Die Anwendbarkeit ist die Möglichkeit einer bestimmten Organisation, die Empfehlung in die klinische Praxis umzusetzen.

Die Akzeptanz und Anwendbarkeit sollten für jede klinische Fragestellung und jede Empfehlung einer Leitlinie durchgeführt werden. Die Anwenbarkeit von Empfehlungen in der Praxis hängt dabei von spezifischen kulturellen und organisatorischen Gegebenheiten ab. Das schließt folgende Faktoren ein:



Version 1.0 09.02.2010

Gesundheitsversorgung

Expertise

Ressourcen

Eigenschaften der Population

Werturteile

Vorstellungen, Meinungen

Der weiteren Bewertung der Akzeptanz und Anwendbarkeit dienen folgende Fragestellungen:

Stimmt die beschriebene Population mit der Population, auf die die Empfehlung abzielt, im lokalen Setting überein? (Akzeptanz)

Berücksichtigt die angegebene Intervention Patientenpräferenzen hinsichtlich des Gebrauchs? (Akzeptanz)

Ist die Empfehlung kompatibel mit den kulturellen Gegebenheiten des Settings, in dem sie angewendet werden soll? (Akzeptanz)

Macht der Nutzen, der durch die Implementierung der Empfehlung erreicht werden soll, diese schwer implementierbar? (Akzeptanz)

Sind die Interventionen und / oder die Geräte im klinischen Alltag verfügbar? (Anwendbarkeit)

Ist die notwendige Expertise (Wissen und Fachkenntnis) im klinischen Alltag verfügbar? (Anwendbarkeit)

Bestehen Bedingungen, organisatorische Barrieren, Gesetze, Grundsätze und / oder Ressourcen in der Gesundheitsversorgung, die die Implementierung einer Empfehlung behindern? (Anwendbarkeit)

Ist die Empfehlung kompatibel mit der Kultur und den Werten im Setting, in dem sie angewendet werden soll? (Anwendbarkeit)

Als ein wesentliches Tool sollte hier die Empfehlungsmatrix (Tabelle 71) angewendet werden, um einen Überblick über die relevanten zu bewertenden Empfehlungen zu haben. In die Empfehlungsmatrix werden dann z. B. alle Empfehlungen zum Brustkrebsscreening, die aus den identifzierten Leitlinien extrahiert werden, eingefügt. Zusätzlich werden die Evidenzlevel, die in den Leitlinien den jeweiligen Empfehlungen zugeordnet sind, eingefügt.



Version 1.0 09.02.2010

Tabelle 71: Empfehlungsmatrix

Guideline Guideline 1 (e.g. SIGN2006)

Guideline 2 (e.g. NICE2009

Guideline 3

AGREE score e. g. 67,62

Overall quality assessment e. g. strongly recommended (4 raters)

Recommendation:

1 Level II

2 Level III

Ein weiteres Tool zur Bewertung der Akzeptanz und Anwendbarkeit ist in folgender Abbildung dargestellt.

Abbildung 16: Bewertungsbogen für Akzeptanz und Anwendbarkeit



Version 1.0 09.02.2010

Das „Decision and Selection Modul“ (Entscheidungs- und Selektionsmodul)

Das Entscheidungs- und Selektionsmodul fasst die gesamten Ergebnisse, die im Bewertungsmodul erzielt wurden, noch einmal zusammen. Dafür wird eine Übersicht der Ergebnisse erstellt (Tabelle 72). Dieses Modul besteht insgesamt aus 2 Arbeitsschritten, von denen der erste Schritt die Ergebnisszusammenfassung des Bewertungsmoduls ist. Dies dient als Basis für den zweiten Schritt der Entscheidungsfindung.

Tabelle 72: Übersicht der Ergebnisse des Bewertungsmoduls

Assessment related to quality (Tool 4) Possible use

Overall AGREE assessment Starting point for elimination of those guidelines that are not recommended

Raw AGREE scores For the assessment rather then agreement and ensure that the panelists’ scores are reliable

Summary AGREE dimension graphs Shows how one guideline rates on each of the six AGREE domains or how all of the guidelines compare on each of the various AGREE domains.

Assessment related to currency (Tool 5, 6, 7) Possible use

Results of the currency assessment Results of an updated literature search

For the elimination of any guidelines that are out of date or that will soon undergo a major revision. Can also be used to define where updates are needed. If guidelines are not current, an updated literature search has to be undertaken

Assessment related to the recommendations Possible use

Summary of the guidelines’ content (Tool 1) For the comparison of the recommendations from all of the source guidelines with respect to the content and wording and level of evidence, if included

Assessments related to source evidence and guidelines (Tool 6, 7)

Possible use

Results of the evaluation of the search strategy and selection of evidence

Provides an indication for each guideline of the comprehensiveness of the search strategy and the evidence selected.

Results of the evaluation of consistency between evidence and its interpretation and between the interpretation and recommendation

Provides an indication of whether there are inconsistencies with the guideline developers’ interpretation of the evidence and its translation into recommendations within a guideline or between guidelines.

Assessment related to acceptability/applicability (Tool 8)

Possible use

Results of the acceptability/applicability evaluation (results of the questions)

For deciding if the recommendations are applicable, can be implemented in the user’s context, and are worth implementing

Der zweite Arbeitsschritt dieses Moduls ist ein Entscheidungsprozess, der sich aus 5 wesentlichen Fragestellungen herleitet:



Version 1.0 09.02.2010

1. Ausschluss der gesamten Leitlinie: Nach dem Review der Ergebnisse des Bewertungsmoduls erfolgt der Ausschluss der gesamten Leitlinie. Die Entscheidung sollte auf der Gewichtung der zusammengefassten Ergebnisse beruhen (z. B. die Leitlinie ist nicht aktuell, die Empfehlungen lassen sich nicht auf ein spezifisches Setting anwenden)

2. Übernahme einer Leitlinie mit allen Empfehlungen

3. Übernahme der Evidenztabelle der Leitlinie: Nach dem Review der Ergebnisse des Bewertungsmoduls wird die Darstellung der Evidenz übernommen aber die Interpretation und die Empfehlungen ausgeschlossen.

4. Übernahme spezifischer Empfehlungen: Nach dem Review der Ergebnisse des Bewertungsmoduls werden einzelne Empfehlungen übernommen und einige ausgeschlossen. Diese können aus einer einzigen Leitlinie oder mehreren Leitlinien stammen.

5. Modifizierung von Empfehlungen: Einzelne Empfehlungen werden übernommen, weisen aber einen Überarbeitungsbedarf auf.

Nach diesem Entscheidungsprozess stehen detaillierte Leitlinie und / oder Empfehlungen für die Erstellung der ersten Version einer adaptierten Leitlinie zur Verfügung.

Das „Customization Modul“ (Anpassungsmodul)

Das Modul besteht aus nur einem wesentlichen Arbeitsschritt, der Erstellung eines Entwurfs einer adaptierten Leitlinie. Zu diesem Modul gibt es keine spezifischen Tools oder Vorgaben, da die Erstellung und Herausgabe der adaptierten Leitlinie von den jeweiligen organisatorischen Gegebenheiten abhängig sind. Jede Organisation nutzt demnach ihre eigene Methodik und ihre eigenen Tools zur Erstellung einer adaptierten Leitlinie.

III. Die „Finalization Phase“ (Finalisierungsphase)

Diese Phase dient der Erstellung einer finalen Version der adaptierten Leitinie. 3 Arbeitsschritte sind dazu notwendig:

1. Externes Review

Dazu wird der Entwurf der adaptierten Leitlinie an von der Leitlinie betroffene Personenkreise versendet. Es gilt Fragen zu Stärken, Schwächen und eine erforderliche Überarbeitung der Leitlinie zu klären.

2. Aktualisierung der Leitlinie



Version 1.0 09.02.2010

Die Aktualisierung der Leitlinie macht eine Überarbeitung auf Basis aktuellster Evidenz notwendig.

3. Entwicklung einer finalen Version der adaptierten Leitlinie



Version 1.0 09.02.2010

7 Zusammenfassung

Das CoCanCPG-Projekt zur koordinierten Entwicklung von Krebsleitlinien wurde durchgeführt, um u. a. Diskrepanzen in der Entwicklung von Krebsleitlinien wie doppelt vorhandene Leitlinien zu ein und demselben Thema (Duplikate) und unvollständige Leitlinien mit Evidenzlücken zu verhindern.

Zu diesem Zweck wurden innerhalb des Aufgabenbereichs bzw. der Arbeitsschritte der einzelnen Arbeitspakete (Abschnitt 3.3) Dokumente und Arbeitsinstrumente (z. B. „Common Tools and Formats“, CoCanADAPTE Manual) entwickelt und validiert. Die Erarbeitung erfolgte in Kooperation mit anderen CoCanCPG-Partnerorganisationen.

Für das IQWiG ergaben sich hinsichtlich der Erarbeitung der unterschiedlichen Instrumente und Dokumente vielfältige Aufgabenbereiche. In regelmäßigen Stellungnahmen unterstützten die beteiligten Mitarbeiter des IQWiG die Partnerorganisationen bei der Erstellung der Dokumente und Instrumente wie der „Common tools and formats“.

In enger Zusammenarbeit mit der Partnerorganisation HAS erstellte das IQWiG das CoCanADAPTE Manual. Basis dieser Erstellung war zum einen die Befragung zum ADAPTE Manual der ADAPTE-Kollaboration, die ein generelles Interesse aller Partnerorganisationen an dem Prozess der Adaptierung von Leitlinien erkennen ließ. Gleichzeitig wurde im Rahmen dieser Befragung aber auch festgestellt, dass das ADAPTE Manual in seiner bestehenden Version nicht für die Rahmenbedingungen des CoCanCPG Projektes übernommen werden konnte und einer Überarbeitung bedurfte.

Die Überarbeitung des ADAPTE Manuals zielte nicht nur auf eine bessere Verständlichkeit, sondern auch auf eine deutliche Abgrenzung der für die Adaptierung spezifischen („Assessment Module“, „Decision and Selection Module“ und „Customization Module“) und nicht spezifischen Module („Preliminary Phase“ und „Finalization Phase“) bzw. Arbeitsschritte ab. Zusätzlich wurden auch einige der validierten „Common formats and tools“ in dieses neu erstellte Manual integriert.

Die Ergebnisse der Befragung zur formalen Gestaltung und zum Verständnis der ersten Version des CoCanADAPTE Manuals ergaben eine generelle Zufriedenheit mit dem beschriebenen Inhalt. Allerdings wurde ein weiterer Überarbeitungsbedarf hinsichtlich der Struktur und Anordnung einiger Arbeitsschritte und derer Instrumente erkennbar. Die 4 Organisationen machen deutlich, dass eine große Barriere in der Anwendung des Manuals bzw. generell des Adaptierungsprozesses in dem hohen zeitlichen Aufwand und dem Aufwand an weiteren Resourcen (u. a. personell) besteht. Weitere wichtige genannte Barrieren im Rahmen der Adaptierung von Leitlinien sind mangelhafte Leitlinien, die zu einem festgelegten Themengebiet für die Adaptierung zur Verfügung stehen.



Version 1.0 09.02.2010

Die vorliegenden Ergebnisse der einzelnen Befragungen wurden abschließend verwendet, um eine finale Version des CoCanADAPTE Manuals zu entwickeln und den Partnerorganisationen für ihre Arbeit zur Verfügung zu stellen mit entsprechendem Support der Entwickler.

Zusätzlich zu den einzelnen Validierungsmaßnahmen (Befragungen und Versendung der Dokumente) fanden jährliche Projekttreffen statt, um über die aktuellen Aktivitäten und über den aktuellen Projektstand aufzuklären.

Im Rahmen des Abschlusssymposiums im November 2009 in Paris wurden die einzelnen erarbeiteten Produkte, wie das CoCanADAPTE Manual, den Teilnehmern, u. a. der EU-Kommissarin und nicht im CoCanCPG Projekt involvierten Teilnehmern vorgestellt und diskutiert.



Version 1.0 09.02.2010

8 Fazit

8.1 Bewertung des Projektverlaufs

Das Projekt ist durch eine Vielzahl von Partnern und einer hohen Zahl von Aufgaben/ Aktivitäten, die größtenteils auch untereinander vernetzt sind, gekennzeichnet. Die Partner kannten sich zum Teil bereits aufgrund von Arbeits- oder persönlichen Kontakten zu Projektbeginn; auf dem Gebiet der Leitlinienerstellung hat der überwiegende Teil der Partner noch nicht kooperiert. Der Charakter der Mitgliedsorganisationen ist heterogen (Leitlinienerstellung speziell im Bereich Krebs, nationale HTA-Organisationen, Ministerien). Auch variierte der Arbeitsanteil der Partner an CoCanCPG signifikant.

Das Projekt ist durch ein umfangreiches Aufgabenspektrum und eine starke Heterogenität der Partner gekennzeichnet. Die Zahl der Partner variierte leicht während der Projektlaufzeit. So sind von den ehemals 18 Organisationen zurzeit noch 16 im Projekt vertreten. Die Gründe hierfür sind unterschiedlich (Veränderungen der Zuständigkeiten bei den Partnern, Austritt aus dem Verbund).

Auch die Projektleitung wechselte im Jahr 2009 aufgrund von Veränderungen der Zuständigkeiten der französischen Partner (bis Mitte / Ende 2008 Beatrice Fervers).

Die Zusammenarbeit zwischen dem IQWiG und der HAS zur Erarbeitung des CoCanADAPTE Manuals gestaltete sich konstruktiv. Auch die Kooperation der anderen Partner hinsichtlich der Erstellung dieses Manuals war sehr effektiv, zumal sich einige Partner bereit erklärt haben, die Pilot Phase mit dem Manual durchzuführen.

Aus diesem Grund würden sich auch bei einer eventuellen Fortführung des Projektes weitere Kooperationsmöglichkeiten ergeben, die in der folgenden Grafik dargestellt werden.



Version 1.0 09.02.2010



Version 1.0 09.02.2010

9 Literatur

1. ADAPTE Collaboration. Resource toolkit for guideline adaptation: version 1.0 [online]. [Zugriff: 18.12.2008]. URL: www.adapte.org.


http://www.adapte.org/


Version 1.0 09.02.2010

Anhang A: Projektvertrag (Contract 206070)



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010



Version 1.0 09.02.2010

Anhang B: Validierte Tools und Formate

Das PICO-Tool

PICO is an acronym for:

P Patient population

I Intervention (therapy or diagnostic test under investigation; presence of etiological or prognostic factor)

C Comparison (alternative therapy; index or reference test; absence of etiological or prognostic factor)

O Outcome measures

The PICO method:

The circles with the letters P, I C and O should be seen as the collection of searched literature. By combining these collections, the correct literature (shaded area in the figure) can be extracted. Combinations can be made with Boolean’s.

(source: CBO evidence based guideline development protocol)

PICO Worksheet

1. Define your question using PICO

Population:

Intervention:

Comparison:



Version 1.0 09.02.2010

Outcome:

2. Write out your question

Examples

Prognostic question

PICO

Population: patients with cervical cancer

Intervention: presence histological parameters

Comparison: absence of histological parameters

Outcome: survival

Question:

Which histological parameters predict survival in patients with cervical cancer?

Diagnostic question

PICO

Population: patients with cervical cancer

Intervention: MRI

Comparison: CT

Outcome: detecting relapsed or recurrent disease

Question:

In patients with cervical cancer, is MRI better in detecting relapsed or recurrent disease than CT?

Therapeutic question

PICO

Population: patients with rectal cancer

Intervention: abdominoperineal resection



Version 1.0 09.02.2010

Comparison: low anterior resection

Outcome: mortality and quality of life

Question:

What is the difference in mortality and quality of life by patients with rectal cancer treated with abdominoperineal resection in comparison with low anterior resection?

Checkliste zur Bewertung der Evidenz

Systematic reviews, meta-analyses

Internal validity The study addresses an appropriate and clearly focused question A description of the methodology used is included The literature search is sufficiently rigorous to identify all the relevant studies Study quality is assessed and taken into account There are enough similarities between the studies selected to make combining them

reasonable Data extraction is clearly described The most important characteristics from the original research is described Is clinical and statistic heterogeneity adequately taken into account? Is statistic pooling correctly performed? Is meta-analysis correctly performed? Can the results be extrapolated to a different situation?

Overall assessment of the study

How well was the study done to minimise bias? Code ++, + or – If coded as + or – what is the likely direction ion which bias might affect the study

results? Are the results of the systematic review valid and applicable?

Description of the study

What types of study are included in the review? How does this review help to answer your key question?

Checklist Randomised Controlled Trials

Internal validity The study addresses an appropriate and clearly focused question The assignment of subjects to treatment groups is randomized



Version 1.0 09.02.2010

An adequate concealment method is used Subjects and investigators are kept blind about treatment allocation The treatment and control groups are similar at the start of the trial The only difference between groups is the treatment under investigation All relevant outcomes are measured in a standard, valid and reliable way What percentage of the individuals or clusters recruited into each treatment arm of the

study dropped out before the study was completed? All the subjects are analyzed in the groups to which they were randomly allocated

(intention to treat) Where the study is carried out at more than one site, results are comparable for all site


How well was the study done to minimize the risk of bias or confounding, and to establish a causal relationship between exposure and effect? Code ++, +, or −

If coded as +, or − what is the likely direction in which bias might affect the study results?

Taking into account clinical considerations, your evaluation of the methodology used, and the statistical power of the study, are you certain that the overall effect is due to the study intervention?

Checklist COHORT studies

Internal validity The study addresses an appropriate and clearly focused question The two groups being studied are selected from source populations that are

comparable in all respects other than the factor under investigation The likelihood that some eligible subjects might have the outcome at the time of

enrolment is assessed and taken into account in the analysis What percentage of individuals or clusters recruited into each arm of study dropped

out before the study was completed Comparison is made between full participants and those lost to follow up, by exposure

status The outcomes are clearly defined The assessment of outcome is made blind to exposure status Where blinding was not possible, there is some recognition that knowledge of

exposure status could have influenced the assessment of outcome The measure of assessment of exposure is reliable Exposure level prognostic factor is assessed more than once The main potential confounders are identified and taken into account in the design and

analysis Confidence intervals are provided




Version 1.0 09.02.2010

How well was the study done to minimize the risk of bias or confounding, and to establish a causal relationship between exposure and effect? Code ++, +, or −

Taking into account clinical considerations, your evaluation of the methodology used, and the statistical power of the study, are you certain that the overall effect is due to the exposure being investigated?

Are the results of this study directly applicable to the patient group targeted in this guideline?

Checklist Case Control studies

Internal validity The study addresses an appropriate and clearly focused question The cases and controls are taken from comparable populations The same exclusion criteria are used for both cases and controls What percentage of each group (cases and controls) participated in the study? Comparison is made between participants an non-participants to establish their

similarities of differences Cases are clearly defined and differentiated from controls It is clearly established that controls are non-cases. Measures will have been taken to prevent knowledge of primary exposure

influencing case ascertainment Exposure status is measured in a standard, valid and reliable way The main potential confounders are identified and taken into account in the design

and analysis Confidence intervals are provided Where the study is carried out at more than one site, results are comparable for all

sites

Overall assessment of the study How well was the study done to minimize the risk of bias or confounding, and to

establish a causal relationship between exposure and effect? Code ++, +, or ? Taking into account clinical considerations, your evaluation of the methodology

used, and the statistical power of the study, are you certain that the overall effect is due to the exposure being investigated?

Are the results of this study directly applicable to the patient group targeted in this guideline?

Checklist of Diagnostic Accuracy

Internal validity The nature of the test being studied is clearly specified The nature is compared with an appropriate gold standard Where no gold standard exists, a validated reference standard is used as comparator Patients for testing are selected either as a consecutive series or randomly, from a

clearly defined study population



Version 1.0 09.02.2010

The test and gold standard are measured independently (blind) of each other The test and gold standard are applied as close together in time as possible Results are reported for all patients that are entered into the study A pre-test diagnosis is made and reported Were selection criteria clearly described? Is the reference standard likely to correctly classify the target condition Did patients receive the same reference standard regardless of the index test result? Was the reference standard independent of the index test (i.e. the index test did not

form part of the reference standard?) Was the execution of the index test described in sufficient detail to permit replication

of the test? Was the execution of the reference standard described in sufficient detail to permit

its replication? Were the same clinical data available when test results were interpreted as would be

available when the test is used in practice? Were withdrawals form the study explained? Was the selection of patients valid? Can the results be extrapolated to a different situation?


How reliable are the conclusions of this study? Code ++, +, or − Is the spectrum of patients assessed in this study comparable with the patient group

targeted by this guideline in terms of the proportion with the disease, or the proportion with severe versus mild disease?


What is the prevalence (proportion of people with the disease being tested for) in the population from which patients were selected?

What environmental or prognostic factor is being investigated in this study? What test is being evaluated in this study? What is the reference standard with which the test being evaluated is compared? Indicate whether a gold standard, or if not how this standard was validated What is the estimated sensitivity of the test being evaluated? What is the estimated specificity of the test being evaluated What is the positive predictive value of the test being evaluated? What is the negative predictive value of the test being evaluated? What are the likelihood ratios for the test being evaluated? How was this study funded? Are there any specific issues raised by this study?

Economic Evaluations



Version 1.0 09.02.2010

Internal validity There is a defined and answerable study question The economic importance of the question is clear The choice of study design is justified All costs that are relevant from the viewpoint of the study are included and are

measured and valued appropriately The outcome measures used to answer the study question are relevant to that purpose

and are measured and valued appropriately If discounting of future costs and outcomes is necessary, if should been performed

correctly Assumptions are made explicit and a sensitivity analysis is performed The decision rule is made explicit and comparisons are made on the basis of

incremental costs and outcomes The results provide information of relevance to policy makers Is there comprehensive description of alternatives Has clinical effectiveness been established? Are costs and outcomes adjusted for differential timing? Did the study examine both costs and effects of the service(s) or programme(s)? Was a viewpoint for the analysis stated and was the study placed in any particular

decision-making context? Was the effectiveness of the programmes or services established? Was a comprehensive description of the competing alternatives given (that is, can you

tell who? did what? to whom? where? and how often?)? Were any important alternatives omitted? Was (should) a do-nothing alternative (be) considered? Was the effectiveness of the programmes or services established? Was this done through a randomised, controlled clinical trial? If so, did the trial

protocol reflect what would happen in regular practice? Were observational data or assumptions used to established effectiveness? If so, what

are the potential biases in results? Were all the important and relevant costs and consequences for each alternative

identified? Was the range wide enough for the research question at hand? Did it cover all relevant viewpoints? (Possible viewpoints include the community or

social viewpoint, and those of patients and third-party payers.) Were capital costs, as well as operating costs, included? Were costs and consequences measured accurately in appropriate physical units (for

example, hours of nursing time, number of physician visits, lost work-days, gained life-years)?

Were any of the identified items omitted from measurement? If so, does this mean that they carried no weight in the subsequent analysis?

Were there any special circumstances (for example, joint use of resources) that made



Version 1.0 09.02.2010

measurement difficult? Were these circumstances handled appropriately? Were the sources of all values clearly identified? (Possible sources include market

values, patient or client preferences and views, policy-makers' views and health professionals' judgements.)

Were market values employed for changes involving resources gained or depleted? Where market values were absent (for example, volunteer labour), or did not reflect

actual values (for example, clinic space donated at reduced rate), were adjustments made to approximate market values?

Was the valuation of consequences appropriate for the question posed (that is, has the appropriate type or types of analysis - cost-effectiveness, cost-benefit, cost-utility - been selected)?

Were costs and consequences which occur in the future 'discounted' to their present values?

Was any justification given for the discount rate used? Was an incremental analysis of costs and consequences of alternatives performed? Were the additional (incremental) costs generated by one alternative over another

compared to the additional effects, benefits or utilities generated? Was allowance made for uncertainty in the estimates of costs and consequences? If data on costs or consequences were stochastic, were appropriate statistical analyses

performed? Were study results sensitive to changes in the values (within the assumed range for

sensitivity analysis, or within the confidence interval around the ratio of costs to consequences)?

Did the presentation and discussion of study results include all issues of concern to users?

Were the conclusions of the analysis based on some overall index or ratio of costs to consequences (for example, cost-effectiveness ratio)? If so, was the index interpreted intelligently or in a mechanistic fashion?

Were the results compared with those of others who have investigated the same question? If so, were allowances made for potential differences in study methodology?

Did the study discuss the generalisability of the results to other settings and patient/client groups?

Did the study allude to, or take account of, other important factors in the choice or decision under consideration (for example, distribution of costs and consequences, or relevant ethical issues)?

Did the study discuss issues of implementation, such as the feasibility of adopting the 'preferred' programme given existing financial or other constraints, and whether any freed resources could be redeployed to programmes?


Is this study an economic evaluation, or a cost analysis How well was the study conducted? Code ++, + or –



Version 1.0 09.02.2010

Are the results of this study directly applicable to the patient group targeted by this guideline?


What interventions are evaluated in this study? What type of study is it (cost-benefit analysis, cost utility study, etc)? How many patients participated in the study? What was the scale of the incremental cost/benefit? Is any statistical measure of uncertainty given? What are the characteristics of the study population? How many groups/sites are there in the study? How was this study funded? Does this study help to answer your key question?other worthwhile




Version 1.0 09.02.2010

- 126 -

Format für Evidenztabellen - Intervention

Headings Description 1. Study (trial) ID Reference, number ISCTRN

2. Study type

Specify the type of study: RCT, CCT, case control, case series.

3. Source of funding/conflicts of interest Specify the source of funding: public research funds, government, not governmental organization, healthcare industry or other (give name of organization or corporation) presence of declaration of interest.

4. Setting Numbers of centers, countries involved, healthcare setting, urban/rural/mixed.

5. Hypotheses Specify the objective, hypotheses of the study.

6. Eligibility criteria State the inclusion and exclusion criteria for population (patients and pathology).

7. Sample size Lost to follow up

Give the calculated number in each group and the actual number of patients in each group. Give the number of dropouts/withdrawals in each group.

8. Duration of the Study Start date and end date of the study, inclusion and follow up periods. Duration in months. Planned and actual periods.

9. Randomization method Describe the randomization method and the blinding method is relevant (glossary)

10. Patient characteristics and group comparability

Specify a priori characteristics (age, tumor, stage). p for group comparability.

11. Interventions and compliance Precise details of the interventions for each group (including dose, length, regimen and timing if relevant). Distinguish between planned and delivered.

12. Control/comparator (including duration, dose)

Placebo, other treatment

13. Primary Outcome Measure(s) Secondary Outcome Measure(s)

State primary measure(s), usually used for sample calculation. Brief description of secondary outcome measure(s).

14. Effect size - Primary outcome Effect size – Secondary outcome(s)

Summary of the primary outcome in each and between groups: effect size and its precision (p value, CI) Including efficacy: Absolute risk reduction, relative risk (reduction), odds ratios, confidence intervals Brief description of secondary outcome(s) and p values.

15. All other outcomes, endpoints All other outcomes, endpoints, including adverse effects, toxicity, quality of life

16. Critical appraisal of study quality Appraise internal validity: sample size (alpha and beta used for calculation), randomization and blinding, use of inappropriate statistical analysis, group comparability at baseline.

17. Level of evidence Classification of intervention studies (definition of level of evidence needed).


Version 1.0 09.02.2010

(Fortsetzung)

tudy (trial) ID (1)

Study type (2)

Source of funding/ conflicts of interest (3)

Setting (4)

Hypotheses (5)

Eligibility criteria (6)

Sample size/ Lost to follow up (7)

Duration of the Study (8)

Randomization method (9)

Patient characteristics and group comparability(10)

Interventions and compliance (11)

Control/ Comparator (including duration, dose) (12)

Primary Outcome Measure (s) Secondary Outcome Measure (s) (13)

Effect size - Primary outcome(s) Effect size – Secondary outcome (s) (14)

All other outcomes, endpoints (15)

Critical appraisal of study quality (16)

Level of evidence (17)



Version 1.0 09.02.2010

Format für Literatursuche und Synthese der Evidenz

1 Formulating the key clinical questions

Perform a multidisciplinary problem analysis .

Formulate structured key clinical questions using the PICO format Benchmark: Structured key questions are formulated using e.g. the PICO format.

Formulate these structured key clinical questions with input from clinical experts. ‘ Benchmark: Structured key clinical questions are formulated with input from clinical experts.

Document the key clinical question in the guideline and identify the excluded key questions (if present).

2 Searching studies Define selection criteria (e.g. study design, language and date) for studies a priori for each key clinical question. Benchmark: Selection criteria are defined priori for each clinical question.

Develop a search strategy for each key clinical question. Benchmark: Formulated in a step, not in a standard: Develop a search strategy for each key question

Include the selection of bibliographic databases (at least 2 databases including Medline) and websites to be searched in the search strategy. Benchmark: Combination of step and standard: Step: Select bibliographic databases and web sites to be searched. Standard: A range of bibliographic sources/databases are used (at least 2 databases including Medline) to reduce bias (e.g. covering literature from different countries, fields and study types)

Focus the search on the best available evidence to address each key clinical question, and aim for high coverage of studies at the top of the hierarchy of study types. Include the methodological filter in the search strategy.

Carry out the search strategy by qualified information specialists or experts trained in literature search. Methodological and clinical input is highly recommended. Benchmark: The search strategy is carried out by qualified information specialists.

Document the search strategy including search terms in a reproducible way. Benchmark: Search strategies are documented in a reproducible way.

Document bibliographic sources/databases. Benchmark: Bibliographic sources used are documented.

Decide on a trade-off between conducting an exhaustive search that will need additional recourses and undertaking a more modest search that may miss some small studies that would not alter the overall findings (sensitivity and specificity).

(Fortsetzung)



Version


1.0 09.02.2010

- 129 -

(Fortsetzung)

3 Selecting the evidence Make a first selection of the abstracts by sifting literature that meets the key clinical question (preferably by 2 independent members of the guideline development group)

Make a second selection of literature on full text of selected papers.

Use previously defined selection criteria to select studies. Benchmark: Previously defined selection criteria are used to select studies.

Validate the papers to be included and their classification according to clinical questions. Benchmark: The list of papers to be included is reviewed by clinical experts

Perform a double sifting of a random selection of abstracts periodically, because there is always an element of bias in selecting the evidence.

Document the study selection process, detailing reasons for inclusion or exclusion.

Document the results of the selection process. Benchmark: Results of the selection process are documented.

Consider, using consensus, to identify current best practice if no evidence was found to answer the clinical question.

4 Critical appraisal of the evidence: Methodological quality of selected studies evaluated

Base critical appraisal on full text of selected papers. Benchmark: Critical appraisal is based on full text of selected papers.

Assess the quality of studies using a pre-defined documented appraisal criteria specific to the study. Benchmark: Pre-defined documented appraisal criteria, specific to the study type, are used.

Appraise each study preferably by 2 members of the guideline development group independently. Benchmark: Each study is appraised by a minimum of two.

Discuss any differences in assessment. Where differences cannot be resolved, an independent reviewer or an experienced member of the staff will arbitrate to reach an agreed quality assessment. Document the results of the critical appraisal explicitly. Benchmark: Results of appraisal are explicitly documented.

(Fortsetzung)


Version


1.0 09.02.2010

- 130 -

(Fortsetzung)

5 Synthesising the evidence Data extraction, tables of evidence, level of evidence

Extract data from appraised studies.

Summarize all studies identified from the systematic literature review relating to each key search question into evidence tables.

Use pre-defined documented levels of evidence. Benchmark: Pre-defined documented levels of evidence are used.

Involve all those reviewing the evidence in relation to each specific question on the assignment of a level of evidence.

Use an appropriate clinical expert input into summarising the evidence tables and in defining the levels of evidence. Benchmark: There is appropriate clinical expert input into summarising the evidence-base and in defining levels of evidence.

Increase or lower the level of evidence depending on the quality of the study, where the study design is the major determinant for the level of evidence.

Increase or lower the level of evidence depending on the quality of the study, where the study design is the major determinant for the level of evidence.

Document evidence summary and levels of evidence. Benchmark: Evidence summary is documented. Benchmark: Levels of evidence are documented.

6 Analysing and interpreting the evidence Form guideline recommendations based on the evidence summary. Rate the strength of the recommendation to differentiate between recommendations based on strong evidence and weaker evidence. Where the GDG is unable to agree on a unanimous recommendation, formally record the difference of opinion and note the reasons for dissent.


Version


1.0 1.0 09.02.2010

- 131 -

rsion 09.02.2010

- 131 -

Anhang C: Konzipierter Fragebogen zur Erfassung des Bedarfs von Schulungsmaßnahmen Anhang C: Konzipierter Fragebogen zur Erfassung des Bedarfs von Schulungsmaßnahmen

Short term exchanges: expressed needsOOI




Sharing of own knowledge








ISSACCCSIGNIOVU*

INCaPartnerTraining needs *IOVU

Declared that:

“Guidelinedevelopmentactivity, is a new subjectfor us.Therefore allknowledgewould beessential.

If it could be possible I could start from gaining knowledgeson literature search”

Short term exchanges: expressed offersIQWIG


Technology to facilitate guideline development



Sharing of own knowledge








SIGNINCaISSACCCHASPartnerTraining needs

Please answer the following questions in detail, if possible!

Questions:

1. What are your detailed needs of a joint training in literature ?


Version


1.0 09.02.2010

- 132 -

2. What terms and conditions do you have when receiving a literature search by IQWiG?

3. What experiences do you have about literature search in general?


Version


1.0 09.02.2010

- 133 -

Anhang D: Fragebogen zum ADAPTE Manual


Version


1.0 09.02.2010

- 134 -


Version


1.0 09.02.2010

- 135 -


Version


1.0 09.02.2010

- 136 -


Version


1.0 09.02.2010

- 137 -


Version


1.0 09.02.2010

- 138 -

Anhang E: Fragebogen zur formalen Gestaltung des CoCanADAPTE Manuals


Version


1.0 09.02.2010

- 139 -


Version


1.0 09.02.2010

- 140 -


Version


1.0 09.02.2010

- 141 -

Anhang F: Fragebogen zum Pilot Test des CoCanADAPTE Manuals


Version


1.0 09.02.2010

- 142 -


Version


1.0 09.02.2010

- 143 -


Version


1.0 09.02.2010

- 144 -


Version


1.0 09.02.2010

- 145 -


Version


1.0 09.02.2010

- 146 -


Version


1.0 09.02.2010

- 147 -

Anhang G: Methoden der Leitlinienentwicklung der Partnerorganisationen

Name der Organization (partner number)

Land Leitlinienaktivitäten und Links zu Leitlinienhandbüchern

SIGN (10) Scotland SIGN is involved in clinical practice guideline (CPG) development and implementation strategies. In the past, SIGN worked on the AGREE tool and is currently involved in research into literature review methods, grading systems for recommendations, patient involvement and consensus techniques. SIGN delops its own CPGs. http://www.sign.ac.uk/pdf/sign50.pdf

ACCC (7) Netherlands CPG development, adaptation, implementation, evaluation, research and research into reasons of following guidelines or not in practice; research on the translation of CPG into indicators. ACCC develops its own CPGs. http://www ikcnet.nl/page.php?id=226&nav id=97#

DLCC (18) Canada DLCC’s activities are: CPG development and adaptation. DLCC develops its own CPGs.

CSO-MOH (5) Israel CPG development, CPG adaptation, CPG implementation. NCO develops its own CPGs.

IstitutoSuperiore di Sanità (17)

Italy The Clinical Epidemiology and Guidelines Unit of the CNESPS acts as a co-ordinator centre for five other collaborative centres, which are: the Documentation Service of ISS, the Livorno Local Health Authority, Zadig Publishing Agency, Laziosanità Public Health Agency of Lazio Region, Centre for Evaluation of Effectiveness of Health Care, Modena Local Health Authority

KCE (2) Belgium CPG development, adaptation, implementation, research and updating. KCE develops its own guidelines.

AETSA (8) Spain Evaluation and research of integrated care procedures (ICP), which include CPG as assistance tools. The ICP incorporates the search and assessment of the scientific evidence that exists for each care procedure, selecting the most relevant parameters and quality rules.

HAS (3) France CPG development, CPG adaptation, CPG implementation, CPG evaluation and CPG research. HAS develops its own CPGs on cancer, although, few are undertaken in HAS and some are done elsewhere with HAS endorsement. http://www has-sante.fr/portail/upload/docs/application/pdf/general m

http://www.sign.ac.uk/pdf/sign50.pdf

http://www.ikcnet.nl/page.php?id=226&nav_id=97

http://www.ikcnet.nl/page.php?id=226&nav_id=97

http://www.has-sante.fr/portail/upload/docs/application/pdf/general_method_eval_techno.pdf




Version09.02.2010

- 148 -

1.0

ethod eval techno.pdf

IOVU (14) Lithuania IO- Lith’s CPG activities are: CPG adaptation, implementation and planning to start research into CPG development methodologies.

IQWiG (15) Germany IQWiG’s activities are: CPG evaluation, research, and development of evidence reports (guidance). IQWiG does not develop its own CPGs.

NICE (11) Great Britain NICE’s CPG activities are: CPG development, implementation and research. NICE develops its own CPGs. http://www.nice.org.uk/nicemedia/pdf/guidelinecontribute how to CG.pdf

InCa (1) France CPG development, adaptation, implementation, evaluation, and research into CPG development methodologies. INCa will develop its own CPGs of which, the majority of CPG development will be externalized. Very specific topics will be undertaken within the organization i.e. guidelines focused on proper use of pharmaceutical specialities.

AATRM (9) Spain CPG development, evaluation, research and teaching activities regarding CPG development. CAHTA develops its own CPGs. http://www.gencat.cat/salut/depsan/units/aatrm/html/ca/dir252/doc7841 html

EUMIN (4) Hungary CPG development, CPG adaptation and CPG implementation.


http://www.nice.org.uk/nicemedia/pdf/guidelinecontribute_how_to_CG.pdf

http://www.nice.org.uk/nicemedia/pdf/guidelinecontribute_how_to_CG.pdf

http://www.gencat.cat/salut/depsan/units/aatrm/html/ca/dir252/doc7841.html

http://www.gencat.cat/salut/depsan/units/aatrm/html/ca/dir252/doc7841.html

Documents

Projektbericht des Coordination of Cancer Clinical ... · Verständnis des ADAPTE Manuals ... Tabelle 21: Appraisal of Search and Screen Module.....39 Tabelle 22: Appraisal of Assessment