Atención Basada en el Paciente: Atención Basada en el Paciente: La validación e implementacion de un La validación e implementacion de un

cuestionario de satisfaccióncuestionario de satisfacción. .

Dr. Ezequiel García ElorrioEge@cemic.edu.ar

I Jornada de la Sociedad Argentina de Calidad en Salud

27/9/02

27/9/02 I Jornada de SACAS 2

Objetivos de la Objetivos de la PresentaciónPresentación

• Exponer la política de Calidad del CEMIC.• Discutir la importacia de validación

adecudada de cuestionarios de satisfacción. • Describir los procesos generales que llevan

desde la ideación de un instrumento hasta su implementación a través de un caso práctico.

• Comentar cuales son los escollos habituales en estos procesos.

27/9/02 I Jornada de SACAS 3

Política de calidad del Política de calidad del CEMICCEMIC

• Política para la calidad• Comité de calidad• Comité de Efectividad Clínica• Círculos de Calidad• Acreditación y certificación por normas ISO.• Acreditación institucional.• Implementación de procesos de mejoramiento de la

calidad en ámbitos médicos y de gestión.

• Desarrollo de instrumentos para la valoración de las preferencias de los pacientes.

• Desarrollo de actividades que favorezcan la investigación en servicios de salud.

27/9/02 I Jornada de SACAS 4

Porque validar un Porque validar un cuestionario.cuestionario.

• La adaptación e implementación de encuestas sin cumplir con las etapas necesarias, puede llevar a la generación de conclusiones erróneas.

• El PEC promueve el desarrollo de cuestionarios con criterios adecuados de validación y aplicación de cuestionarios de satisfacción y de calidad de vida.

27/9/02 I Jornada de SACAS 5

¿Porqué medir ¿Porqué medir satisfacción?satisfacción?

 • 1-    Los pacientes pueden tener un rol primordial

en la manera en la cual los cuidados médicos son implementados (programas de Managed care –Gerenciamiento medico- )

• 2-    Los pacientes contribuyen en definir que es calidad de atención más allá de los aspectos técnicos de los cuidados. Influidos por los aspectos culturales del medio.

• 3-    Las cualidades de relación interpersonal de los médicos contribuyen a los mejores resultados de la atención médica.

27/9/02 I Jornada de SACAS 6

¿Porqué medir ¿Porqué medir satisfacción? IIsatisfacción? II

• 4-    Se cree que la satisfacción produce un efecto placebo que puede contribuir hasta en un 30% del beneficio de los cuidados médicos.

• 5-    Con el desarrollo de la corriente que ha transformado a los sistemas de salud en proveedores de servicios a sus miembros dentro de un medio altamente competitivo y con multiples ofertas, la satisfacción ha tomado un rol fundamental en su desempeño.

27/9/02 I Jornada de SACAS 7

Mitos sobre los Mitos sobre los consumidoresconsumidores

• La mayoría de las personas asume que recibirá cuidados de alta calidad

• La gente que cree que la mayoría de los centros de atención son similares

• Estudios muestran que los pacientes no prestan atención a los datos publicados sobre calidad

• Las personas toman decisiones basándose en el precio.

27/9/02 I Jornada de SACAS 8

¿De que se preocupa la ¿De que se preocupa la gente?gente?• La mayoría de la gente cree que el la calidad de atención es

buena, pero que hay mucha variabilidad.

• La gente esta especialmente preocupada por el acceso y la coordinación de los cuidados.

• Además de la morbilidad y la mortalidad, la gente esta muy preocupada por otros aspectos del cuidado de la salud.

• La gente evalúa con cuidado aquellos reportes de calidad que son distribuidos.

Calidad: Cumplir con las necesidades que los pacientes esperan.

27/9/02 I Jornada de SACAS 9

¿Cómo se mide ¿Cómo se mide satisfacción?satisfacción?

• Quejas.• Motivos de baja.• Call centers.• Entrevistas personalizadas.• Grupos focales.• Encuestas estructuradas

• Cuantitativas• Cualitativas

27/9/02 I Jornada de SACAS 10

Características Del Características Del ProyectoProyecto

• Objetivo: desarrollo y validación de un cuestionario de satisfaccion con la atención ambulatoria. Validar con el mayor parecido posible el MMSS del HEDIS 3.0.

• Estudio bicentrico: CEMIC y plan de salud del Hospital Italiano de Buenos Aires.

• Llevado a cabo entre septiembre del 1998 y abril de 1999.

• Falta de experiencia previa en cuanto a la implementacion de proyectos en los sistemas de salud involucrados.

• Los costos operativos del programa fueron cubiertos por los investigadores. Apoyo institucional indirecto a través del staff.

• Limitaciones de implementación frente a lo ideal.

27/9/02 I Jornada de SACAS 11

Etapas en La Generación y Etapas en La Generación y Validación De Un Validación De Un

InstrumentoInstrumento• Determinación de áreas de interés a

evaluar.• Generación de items y dominios.• Definición de escala de respuesta.• Definición de método de administración.• Estudio piloto.• Estudio para determinar confiabilidad y

validez.• Análisis de los resultados y confeccion del

instrumento definitivo.

27/9/02 I Jornada de SACAS 12

Desarrollo De ItemsDesarrollo De Items

• Basado en las áreas de interés de los pacientes.• Grupos focales y entrevistas personales.• Entrevistas con médicos y personal paramedico.• Estudio piloto para valorar el interés de los

pacientes por los items seleccionados.• Generación de dominios en base a los items

elegidos. (Ver tabla N° 1.)• Instrumento básico utilizado: MMSS HEDIS 3.0.

27/9/02 I Jornada de SACAS 13

Instrumentos de Instrumentos de referenciareferencia

• Member satisfaction survey (MMS) HEDIS 3.0 NCQA 1998

• PSQ III (Davies AR, Ware J E) 1987• Ambulatory Patients satisfaction questionnaire. The

Picker Institute 1995• CAHPS Questionnaire (RAND, Harvard Medical School

and Research Triangle institute – AHCPR- ) 1997• The consumer satisfaction Survey (Ware- Quality Metric

inc) 1998• Visit Satisfaction questionnaire –VSQ- (Ware JE RAND

corporation) 1988• ABIM PSQ (Hulka et al) 1970

27/9/02 I Jornada de SACAS 14

Adaptación TransculturalAdaptación Transcultural• Habitual por el escaso desarrollo original de

cuestionarios de salud en idioma castellano.• Crítica para la acreditacion de resultados

válidos.• Traduccion y “contratraduccion.”• Es importante definir correctamente los

términos involucrados en los items.• Traduccion por el autor principal y

“contraduccion” realizada por traductora pública con experiencia en trabajos sobre ciencias de la salud.

27/9/02 I Jornada de SACAS 15

Método de administraciónMétodo de administración• Las encuestas se hicieron disponibles en los

centro de atención de los sistemas de salud involucrados.

• A completar en forma previa o posterior a la consulta. Anónimo para aumentar la tasa de respuesta. Buzón disponible en las salas de espera (tasa esperada entre 20-40 %).

• Sesgo de selección relevante pero no suficiente para invalidar validación.

• Otros metodos: entrevista personal, telefonica, Mailing e Internet.

27/9/02 I Jornada de SACAS 16

Lugar y Poblacion a Lugar y Poblacion a EvaluarEvaluar

• Población a evaluar: pacientes Adultos que reciben atención ambulatoria en sistemas prepagos privados sin fines de lucro de la ciudad de Buenos Aires.

• Participantes: Centro de educacion médica e investigaciones clinicas (CEMIC) y el Plan de Salud del Hospital Italiano de Buenos Aires.

• Pacientes con características definidas que tal vez no sean representativos de otros sistemas de salud de nuestro país.

27/9/02 I Jornada de SACAS 17

Cuestionario para el Cuestionario para el pilotopiloto

• Sección 1: Caracteristicas demográficas y sociales (8 preguntas en total).

• Sección 2: Cuestionario central (30 preguntas en total).

• Sección 3: integrada por el SF-12, espeficaciones sobre morbilidad e ingresos familiares (15 preguntas en total).

• Sección 4: Caracterización de la comprensión de las preguntas, tiempo de llenado y observaciones.

27/9/02 I Jornada de SACAS 18

PilotoPiloto• Realizado entre los pacientes de ambos

sistemas con el fin de determinar si los pacientes comprendian las preguntas y cuanto tiempo les llevaba completar el cuestionario. Duración dos meses. Pacientes seleccionados y con alto compromiso de participación.

• Los resultados del piloto fueron satisfactorios. • Modificaciones realizadas: Se reformularon los

enunciados de varias de las preguntas y 2 fueron eliminadas por no ser comprendidas y decidirse que no eran útiles para nuestro medio.

27/9/02 I Jornada de SACAS 19

Consideraciones Consideraciones estadísticasestadísticas

• Análisis univariado- frecuencia, normalidad y asociacion.

• Muestra: ¿cuántas encuestas son suficientes? Considerar número de items en validación. Cálculo muestral

• Confiabilidad• Validez• Respuesta al cambio

27/9/02 I Jornada de SACAS 20

ConfiabilidadConfiabilidad

• Es la capacidad del instrumento de reproducir los resultados a lo largo del tiempo. Se basa en un test de correlación.

• Test- retest.• Instrumento paralelo.• Consistencia interna (alpha de

cobbrach). Ver resultados en tablas N° 5 y 6.

27/9/02 I Jornada de SACAS 21

Items Correlation RTT

Name Label  

   

Q5 Easiness of making appointments 0,46 0,912

Q6 Number of doctors 0,56 0,907

Q7 Waiting times at office 0,56 0,907

Q8 Amount of time given by your doctor 0,69 0,905

Q9 Attention to what you have to say 0,68 0,905

Q10 Explanations you received 0,69 0,90

Q11 Thoroughness of care 0,75 0,90

Q12 Information of plan benefits 0,64 0,90

Q13 Courtesy of administrative staff 0,60 0,907

Q14 Courtesy of paramedic personnel 0.57 0,908

Q16 Easiness for appointments 0,67 0,905

Q17 Cost of Health plan 0,49 0,910

Q18 Out of pocket money 0,49 0,912

Q19 Delay in approvals 0,39 0,910

Q20 Difficulties in receiving care 0,47 0,910

Q21 Not getting a referral for specialist 0,41 0,912

Q24 Are you satisfied with your health plan? 0,79 0,90

Q25 Overall performance 0,37 0,912

27/9/02 I Jornada de SACAS 22

ValidezValidez“Es la intención de determinar si el instrumemto

mide lo que queremos medir.”• Validez de contenido y de inspeccion:

hablan de la capacidad del instrumento de comprender todos los aspectos que deben ser evaluados según los objetivos previamente planteados. La primera se evalúa al final del desarrollo, mientras que la segunda se evalúa durante la creación del instrumento. Ambas son subjetivas pero necesarias.

• Validez de construcción.• Validez de criterio.

27/9/02 I Jornada de SACAS 23

Validez De ConstrucciónValidez De Construcción• Es la búsqueda de estructuras dentro de

cuestionario que brinden medidas sumarias relacionadas con los dominios propuestos.

• Factor analysis y principal component analysis: intenta identificar factores latentes que son responsables por la correlación entre factores entre los items. Comprueban el diseño de los dominios.

• También se evalua la correlación entre los items (item-item correlation) y entre los items y el total (item total correlation) para definir la integridad del cuestionario.

27/9/02 I Jornada de SACAS 24

Validez de criterioValidez de criterio• Variables incluidas exploradas para

deteminar correlación entre los scores obtenidos y “datos de la realidad”

• Fuerte correlación con :Intención de cambio de plan y de recomendar a sus parientes y amigos,Ingreso familiar, tiempo de espera autoreportado.

• Debil correlacion con MCS y PCS del SF12, Hx de morbilidad o enfermedad actual, antigüedad en el plan.

27/9/02 I Jornada de SACAS 25

Respuesta al cambio.Respuesta al cambio.

• Es la capacidad del instrumento de ser lo suficientemente sensible para lograr identificar cambios clínicamente importantes a lo largo del tiempo.

• Para ello es necesaria su implementación sucesiva a lo largo del tiempo.

27/9/02 I Jornada de SACAS 26

Formalidades a CumplirFormalidades a Cumplir

• Presupuesto para conseguir financiación.

• Confidencialidad de los resultados.• Aprobación de la dirección de

investigacion.• Aprobación del director médico o

responsable de la población a evaluar.

27/9/02 I Jornada de SACAS 27

Limitaciones y sesgosLimitaciones y sesgos

• Muestra de conveniencia, pacientes que consultan al sistema de salud.

• Validación necesita ser confirmada por estudios posteriores.

• Baja tasa de respuesta frente a lo ideal.

• Es necesaria la valoración de la respuesta al cambio en sucesivas implementaciones.

27/9/02 I Jornada de SACAS 28

Recursos NecesariosRecursos Necesarios

• Tiempo. Es un estudio primario.• Predisposicion de los encuestados

prelinarmente para hacer sugerencias sobre las modifiacines.

• $$$ Para la impresión de los cuestionarios y su distribución.

• Personal para la carga de datos- data entry-.

• Habilidad para hacer un buen análisis.

27/9/02 I Jornada de SACAS 29

SugerenciasSugerencias• Inclusión de preguntas válidas para

caracterizar adecuadamente la población.• No asustarse por la cantidad de items. La

gente quiere expresarse. Aunque en forma anonima.

• El mailing es el método más adecuado para para conseguir los resultados menos sesgados. Los otros son muy caros.

• Negocien tiempo para una adecuada interpretación de los resultados

27/9/02 I Jornada de SACAS 30

ImplementaciónImplementación• El instrumento fue nuevamente adaptado y corregido

(aunque no en forma estructural). Nuevo formato de presentacion para respuesta postal paga. Se mantuvo el cuestionario central y se adaptaron las preguntas introductorias a las necesidades del momento.

• Con un presupuesto adecuado, fue distribuido entre los afiliados del CEMIC a principios de este año. (1850 cuestionarios devueltos sobre 15.500 distribuidos).

• El plan de Salud del HIBA decidio Implentar el CAHPS.• Análisis presentado para mostrar resultados a los

directivos y sugerir oportunidades de mejora.

27/9/02 I Jornada de SACAS 31

El futuroEl futuro

• Aplicación de mayor cantidad de cuestionarios validados que valoren adecuadamente satisfacción con la atención médica.

• Uso de CAHPS del AHRQ por parte de financiadores locales.

• Idealmente regulación para publicar resultados y fundamentar la decisión de elegir un plan de salud.