9/24/11

Validering - datakvalitet

Jonas Ranstam, RC Syd, Lund

9/24/11

CRF Data-bas

Statistiskanalys

RapportMyndighetskontroll

Journal o.d.

Klinisk prövning - informationsflöde

9/24/11

Klinisk prövning, personal Läkare

Monitorerare

Data manager

Auditerare

Statistiker

9/24/11

Monitorerare

Kontrollerar att källdata överförs korrekt till CRF (övervakar procedurer, följsamhet med GCP, etc.)

Kontrollerar medicinsk bedömning

Kontrollerar data management

Kontrollerar statistisk analys

9/24/11

Data manager Överför CRF-information till analysdatabas

Kontrollerar att överföringen blivit korrekt

Kontrollerar medicinsk bedömning

Kontrollerar statistisk analys

9/24/11

Auditerare (intern/extern)

Utför oberoende kvalitetssäkring

Kontrollerar att instruktioner och deras efterlevande överensstämmer med GCP (good clinical practice)

Kontrollerar monitoreringen

9/24/11

Statistiker

Deltar i planläggning av studien (studiedesign, patientantal, m.m.)

Skattar behandlingseffekt

Bestämmer osäkerheten i skattningen

Redovisar resultat

9/24/11

Felkällor och ansvar

Felaktiga medicinska bedömningar (läkare)

Felaktiga eller saknade källdata (monitorerare)

Korrupt datahantering (data manager)

Inadekvat statistisk analys (statistiker)

Myndighetsövervakning och kontroll!

9/24/11

Kvalitetsregisterarbete, personal

Läkare, sjuksköterskor, sjukgymnaster, patienter, etc.

Monitorerare (?)

Data manager (?)

Auditerare (?)

Statistiker (?)

Systemutvecklare (?)

Myndighetsövervakning och kontroll?

9/24/11

ValideringsmetoderIndirekt validering m.h.a. externa registerdata

- relativt enkelt att åstadkomma med begränsad arbetsinsats- registerdata är inte alltid valida- relevant information kan saknas (t.ex. sida)

Direkt validering mot källdata

- omfattande arbete (urvalsstudier rekommenderas)- medicinsk tolkning av källdata nödvändig- urvalsosäkerhet

9/24/11

Målsättning för kvalitetsregister

1. Beslutsstöd

2. Prestationsövervakning

3. Forskning

4. Förbättringsarbete

9/24/11

Målsättning för kvalitetsregister

1. Beslutsstöd - totalmaterial

2. Prestationsövervakning - totalmaterial, urval

3. Forskning - urval

4. Förbättringsarbete - urval

9/24/11

Olika frågeställningar

Totalmaterial

- Beskrivning av vad som inträffat, utan ambition att generalisera iakttagelserna

- Resultatet beror delvis på ovidkommande tillfälligheter

Urvalsundersökning (“science = generalizable knowledge”)

- Generaliserbara resultat (till finit eller super-population)

- Urvalsosäkerhet kvantifieras urvalsosäkerhet

9/24/11

UrvalsproblematikExempel: Andelen personer med influensa

9/24/11

9/24/11

9/24/11

9/24/11

9/24/11

Osäkerhet har konsekvenser

Osäkerhetsmått

P-värdet, anger osäkerheten i form av sannolikheten för ett falskt positivt resultat

Konfidensintervallet, anger osäkerheten som en serie plausibla värden

9/24/11

9/24/11

9/24/11

9/24/11

Osäkerhet har fler konsekvenser

Mät- och registreringsfel bidrar med ytterligare osäkerhet

Differential and non-differential misclassification bias

9/24/11

9/24/11

Vad har detta för betydelse för validering och datakvalitet?

Vad som är viktigt för ett registers datakvalitet beror på dess målsättning

- Totalmaterial

- Urval

9/24/11

Datakvalitet i ett totalmaterial

För totalmaterialsfrågeställningar (beslutsstöd, och vissa former av prestationsövervakning) är detta viktigast:

- Täckningsgrad

- Registreringsgrad

9/24/11

Definitioner

Täckningsgrad

Andelen till ett register rapporterande enheter (kliniker, vårdcentraler, etc.) som uppfyller registrets inklusionskriterier, ev. uttryckt i procent patienter.

Registreringsgrad

Andelen i ett register registrerade patienter av de patienter som behandlats vid en enhet som rapporterar till registret

9/24/11

Indirekt validering

Exempel

Jämförelse av protesregister (PR) med patientregister (PAR). Vissa fall/åtgärder finns i enbart PR, andra i enbart PAR

Registreringsgrad = PR / (PR eller PAR)

Förfarandet leder till upptäckten av en blandad kompott med fel från läkare, monitorerare och datamanagers samt systemutvecklare. För att förbättra registreringssystemet krävs ofta kompletterande analys.

9/24/11

Datakvalitet i en urvalsstudie

För urvalsfrågeställningar (vissa former av prestationsövervak-ning, forskning och förbättringsarbete) är urvalsstorleken av relativt underordnad betydelse (marginalnyttan är avtagande).

För resultatens validitet är detta viktigast:

- Bortfallsproblem (selektionsbias)

- Felklassificeringssannolikheter (informationsbias)

9/24/11

Direkt validering mot källdata1) Selektionssannolikheter (MCAR, MAR, MNAR)

2) Felklassificeringssannolikheter

Exempel: Protespatienter har endera OA eller RA

P(oa|OA), P(ra|OA), P(oa|RA), P(ra|RA)

oa = pat har osteoartros, ra = pat har reumatoid artrit, OA = registrering som osteoartrospatient, RA = registrering som patient med reumatoid artrit

9/24/11

Exempel

Jämförelse av data från protesregister (PR) med operations-berättelser och journaluppgifter.

Urval om 4 veckors operationer på 10 sjukhus:- Har alla källdata registrerats i PR?- Är information korrekt registrerad (pnr, diagnos, datum, etc.)?- Finns operationer i PR som saknas i källdata?

Hur stor är urvalsosäkerheten i valideringsresultatet?

Direkt validering mot källdata

9/24/11

Valideringsrättelser av registerdata

I en klinisk prövning sker normalt en omfattande query-hantering med rättelser av felaktiga registreringar.

Ska även felaktiga och saknade registerdata rättas respektive kompletteras i samband med validering?

9/24/11

Tack för uppmärksamheten!