Upload
timoteo-arabia
View
15
Download
5
Embed Size (px)
Citation preview
Dr. Alberto Alves de Lima
Evaluación de las competencias clinicasEl caso del Mini-CEX
Expertise
Unidades únicas elaboradas y bien organizadas de conocimiento, que afloran habitualmente gatilladas por
patrones clínicos característicos
Implican la habilidad practica de manejo de problemas ambiguos y mal estructurados, balancear explicaciones
que compiten, evita cierres prematuros, identificar excepciones a las reglas y principios e inclusive elegir
bajo presión diferentes cursos de acción que son aceptables pero imperfectos
Ronald Epstein (2007)
Desarrollo de la expertise
Vision tradicional
Experiencia lleva a ser experto
Las personas alcanzan un nivel limitado estable de desempeño luego de una experiencia considerable
Hay una predeterminacion genetica que limita el nivel de desempeño que puede alcanzar el individuo
Vision moderna Los niveles de entrenamiento
y de experiencia estan vinculados debilmente medidas objetivas de desempeño
Individuos altamente experimentados pueden continuar mejorando a traves del entrenamiento
Individuos motivados pueden mejorar las habilidades adquiridas a un nivel mucho mayor
Ericsson KA. Acad Med. 2004
Desempeño experto vs. Habilidades del dia a dia
Ericsson KA. Deliberate Practice and the Acquisition and Maintenance of Expert Performance in Medicine and Related Domains. Acad Med. 2004
Desempeño profesional
El grado en que un individuo puede utilizar el
conocimiento, habilidades, el criterio asociado a su
profesión para llevar adelante eficientemente los
problemas relacionados con su práctica.
(Michael Kane, 1992)
El grado en que un individuo puede utilizar el
conocimiento, habilidades, el criterio asociado a su
profesión para llevar adelante eficientemente los
problemas relacionados con su práctica.
(Michael Kane, 1992)
MultidimensionalidadMultidimensionalidad Especificidad de contenido
Especificidad de contenido
Kane M. Evaluation and the Health professions 1992;15:163
Multidimensionalidad
Especificidad de contenido
Van der Vleuten et al. Teach and Learn 1990;2Kreiter Cet al. Acad Medicina 1998,
Carline et al. Eval health professions 1989;12:409. Alves de Lima et al. MT 2005
El ser competente frente a un caso / contexto no significa que lo sea frente a otro / contextoEl ser competente frente a un caso / contexto no significa que lo sea frente a otro / contexto
EstudiantesVan der Vleuten
16 hs
MédicosCarline10 – 17
observaciones
EstudiantesKreiter
8 = 0.65
MédicosAlves de Lima
10 - 50observaciones
Claves para el desarrollo de un desempeño competente
Ericsson KA et al. Psych Rev.1993. 100(3):363-406.
Trabajar con objetivos y
tareas concretas
Tener feedback
Repeticion
Auto-refleccion
Motivacion
Resistencia
Implica el procesamiento de información. Las nuevas cosas que aprendemos son influenciadas por nuestro
conocimiento previo asi la nueva información que procesamos esta en relación con la existente
Se trata de un proceso activo, de construcción, autodirigido en el cual el estudiante construye
representaciones propias de conocimiento que forma la interpretación personal de la experiencia de aprendizaje
Estas representaciones cambian constantemente en función del significado que el individuo le da a su
experiencia Duffy & Jonassen (1992)
Aprendizaje
El lente por donde se mire
SABE
SABE CÓMO
MUESTRA COMO
HACE ACCIÓN
DESEMPEÑO
RAZONAMIENTO
CONOCIMIENTO
Miller J. Acad Med, 1990
Evaluación en servicio
Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43
Problemas
• Calidad de la evaluación• Problemas de exactitud• Acuerdo intra e interevaluador• Tiempo del hecho a la evaluación
• Contexto Información fragmentadaMuestra pequeña y no sistematizada de
observacionesContacto personal limitado
Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43
Exactitud
203 profesores de medicina interna
Observaron 1 residentes (VIDEO)Randomizado
Observaron 1 residentes (VIDEO)Randomizado
Formulario abierto Formulario cerrado
Evaluaron el 30 % de las debilidades y fortalezas. Las
fortalezas fueron mas omitidas que las
debilidades
Evaluaron el 60 % de las debilidades y fortalezas. Las
fortalezas fueron mas omitidas que las
debilidades Noel GL: Annals of Internal Medicine 1991;114:393
Acuerdo intra e inter evaluadores
Intra evaluadores: - Atención- Perspectiva- Estandares- Humor
Inter evaluadores: - Diferente valor a diferentes aspectos Expertos vs NO expertos
- Diferentes expectativas de cuál es el nivel aceptable de competencia- Indulgentes y exigentes
Kalet A, Earp JA. Journal of General Internal Medicine 1992;7:499
Weekly JA, Gier JA. Academic of Management Journal 1989;32:213
Correlaciones NO uniformesAlves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43
La Nación. 24.03.12
Tiempo del hecho a la evaluación
Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5
Problemas
Calidad de la evaluación Problemas de exactitud Acuerdo intra e inter
evaluador Tiempo del hecho a la
evaluación
Contexto Información fragmentada Organizacion de datos
Alves de Lima A. Rev Argent Cardiol 2005:73(1): 39-43
Muestra pequeña y no sistematizada de observaciones
Información fragmentada
Frecuencia de las observaciones
Contacto personal limitado
Dar información a un estudiante o residente describiendo su
desempeño en una situación observada
Devolución
Alves de Lima. Medicina (Bs2008 Aires), 2008
Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5
Observación directa
de un evento
Devolución
Apreciación del hecho vs patrón
(Pautado vs realizado)
Recomendación para mejorar
Recomendación para mejorar
Reacción10%
Autoreflexión10%
Plan de acción10%
Recomendación (90%)
Alves de Lima. Medicina (Bs Aires), 2008 Alves de Lima A. Devolución Constructiva. Medicina (Bs. As) 2008,67:1-5
Datos generales
55 herramientas descriptas
21 (38%) solo con estudiantes32 (58%) solo con residentes
2 (4%) ambos (Mini-CEX)
58% caracter formativo13 % caracter sumativo
13 % ambos
Kogan J. et al. Tools for Direct Observation. JAMA 2009;302(12):1316-1326
Alves de Lima. REV ARGENT CARDIOL 2002; 70: 478-488.
Ejercicio de Examen ClínicoReducido
Mini ClinicalEvaluation eXercise
Habilidades para la Conducción de la Entrevista Médica:Facilita que el paciente explique lo que le pasa, usa eficazmente las preguntas y da instrucciones precisas y adecuadas para obtener la información necesaria; responde apropiadamente a las señales afectivas, verbales y no verbales.
Habilidades para la Conducción del Examen Físico:Sigue una secuencia eficiente, equilibrio entre los pasos de detección / diagnóstico del problema; información al paciente; sensibilidad al bienestar y pudor del paciente.
Cualidades Humanísticas / profesionalismo:Muestra respeto, compasión, empatía; genera confianza; atiende las necesidades del paciente en cuanto a bienestar, pudor, confidencialidad e información.
Mini-CEX: consignas
Criterio Clínico: Ordena, selecciona los estudios diagnóstico en
forma apropiada, considera los riesgos, beneficios.
Habilidades para el Asesoramiento del Paciente:
Explica los fundamentos del estudio / tratamiento, obtiene el
consentimiento del paciente; instruye / aconseja con respecto a la
conducta a seguir.
Organización / eficiencia: Prioriza; es oportuno; sucinto.
Competencia Clínica Global: Demuestra criterio, síntesis, atención y
cuidado, eficacia y eficiencia.
Mini-CEX: consignas
0
50
100
150
200
250
300
Encuentros Residentes Evaluadores ProgramasNúmero 253 108 60 17
Mini-CEXNúmero de encuentros
Alves de Lima. Medical Teacher, 2007Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEXComplejidad de los pacientes
Alves de Lima. Medical Teacher, 2007Alves de Lima. Medical Teacher, 2007; 29: 785–790
Mini-CEXFoco de encuentro
Alves de Lima. Medical Teacher, 2007Alves de Lima. Medical Teacher, 2007; 29: 785–790
Problemas
Alves de Lima. Medical Teacher, 2007
Mini-CEX
Alves de Lima. Medical Teacher, 2007; 29: 785–790
Ámbito
Alves de Lima. Medical Teacher, 2007
Mini-CEX
Alves de Lima. Medical Teacher, 2007; 29: 785–790
Grado de Competencia Global
Alves de Lima. Medical Teacher, 2007
Mini-CEX
Alves de Lima. Medical Teacher, 2007; 29: 785–790
18665726N =
year of residency
4321
95
% C
I O
vera
l co
mp
ete
ncy
9.0
8.5
8.0
7.5
7.0
6.518665726N =
year of residency
4321
95
% C
I O
vera
l co
mp
ete
ncy
9.0
8.5
8.0
7.5
7.0
6.5
Año de residencia
95 %
IC
Com
pete
ncia
Clin
ica
Glo
bal
Alves de Lima. Medical Teacher, 2007
Validez
Alves de Lima. Medical Teacher, 2007
Mini-CEX
ValidezMini-CEX
Alves de Lima. Medical Teacher, 2007; 29: 785–790
CONFIABILIDAD
Reproducibilidad
Analiza la situación en que dos scores obtenidos ya sea:
•2 ocasiones (test-retest)•2 formatos equivalentes (alternate forms)•2 observadores diferentes (inter-rater)
Consistencia Interna
El grado en que los ítems están midiendo cosas similaresUn concepto o constructo
Teoría de la Generalización
G(eneralizability)-study:Estima las fuentes de varianza que influencian la medición (e.j., varianza entre estudiantes, observadores, casos )
D(ecision)-study:Estima los indices de reproducibilidad en funcion de una muestra concreta (e.j., número de ejercicos, observaciones)
Vr
Vo
Vc
Vro
Vrc
Voc
Vroc
Diferencia en desempeño: Varianza verdadera
Exigente o indulgente
Dificultad del caso o procedimiento
Prejuicio
Aptitud (Especificidad de contenido / contexto)
Exigencia relacionada al caso. S/N experto
Error residual
Fuentes de varianza o error (G)
Alves de Lima et al. Advances in Health Science Education, 2011
ReproducibilidadMini-CEX
Alves de Lima. Medical Teacher, 2007; 29: 785–790
Alves de Lima et al. Advances in Health Science Education, 2011
G (Generalizability)-study
18 %
Alves de Lima et al. Advances in Health Science Education, 2011
D (Decision)-study
0,483 0,0,159/21+ 0,121/3+ 0,583/63+
0,483 + +0,0072 0,04 0,0008+ =
= 0,75
Alves de Lima et al. Advances in Health Science Education, 2011
D(ecision)-study
10 encuentros 1 observador
4 encuentros
3 encuentros 3 observadores
2 observadores
Alves de Lima et al. Advances in Health Science Education, 2011
Full nested C-R/observador
> 15 encuentros 1 observador
7 encuentros
4 encuentros 3 observadores
2 observadores