Una técnica de grupoa descubrir en evaluación

Una técnica de grupoa descubrir en evaluación

Marie Gervais, Ph.D. marie.gervais@saaq.gouv.qc.ca

Geneviève Pépin, M.Sc., O.T. (c)Québec, Canadá

5ta Conferencia Bienal de la Sociedad Europea de Evaluación

Sevilla, España / Octubre 2002

ResumenResumenTRIAGE, o TRIAGE, o TTéécnica de cnica de RRecojo de ecojo de IInformacinformacióón por n por

AAnimacinimacióón de un n de un GGrupo de rupo de EExpertos, es un mxpertos, es un méétodo inductivo todo inductivo y estructurado de colecta de informaciy estructurado de colecta de informacióón que busca la n que busca la obtenciobtencióón de consenso al interior de un grupo. El objetivo de n de consenso al interior de un grupo. El objetivo de esta testa téécnica es obtener, rcnica es obtener, ráápida y eficazmente, material pida y eficazmente, material informativo de calidad para facilitar la toma de decisiones. informativo de calidad para facilitar la toma de decisiones. TRIAGE complementa y se distingue de las tTRIAGE complementa y se distingue de las téécnicas de grupo cnicas de grupo utilizadas actualmente en evaluaciutilizadas actualmente en evaluacióón (tn (téécnica cnica DelphiDelphi, t, téécnica cnica de grupo nominal, de grupo nominal, focus groupfocus group). ).

La definiciLa definicióón, el contexto de la utilizacin, el contexto de la utilizacióón asn asíí que las que las etapas del proceso habitual de TRIAGE seretapas del proceso habitual de TRIAGE seráán expuestas mn expuestas máás s adelante. Muchos ejemplos de utilizaciadelante. Muchos ejemplos de utilizacióón de TRIAGE n de TRIAGE aplicados a diferentes contextos de evaluaciaplicados a diferentes contextos de evaluacióón sern seráán n presentados. Estos ejemplos ilustrarpresentados. Estos ejemplos ilustraráán la riqueza, la n la riqueza, la flexibilidad y el potencial de esta tflexibilidad y el potencial de esta téécnica. Las fortalezas y las cnica. Las fortalezas y las debilidades de TRIAGE serdebilidades de TRIAGE seráán igualmente abordadas.n igualmente abordadas.

Historia de TRIAGEHistoria de TRIAGE

T T écnicaécnica dede R R ecojo ecojo de de I I nformaciónnformaciónpor por A A nimaciónnimación de unde un G G ruporupo de de E E

xpertos xpertos (Plante & (Plante & CôtéCôté, 1993), 1993)((Technique for Research of InformationTechnique for Research of Information by by Animation of an Expert Animation of an Expert

GroupGroup))

Desarrollado en el campo de la educaciónDesarrollado en el campo de la educación(Universidad (Universidad LavalLaval, Québec, Canadá), Québec, Canadá)

Aplicación en el dominio de la salud (1996)Aplicación en el dominio de la salud (1996)Familia de las técnicas de grupoFamilia de las técnicas de grupo

Alternativa al Alternativa al focus groupfocus group, a la técnica de , a la técnica de grupo nominal (TGN) y a la técnica grupo nominal (TGN) y a la técnica DelphiDelphi

TRIAGE vs Focusgroup

TRIAGE vs Focusgroup

Fase individualCuestionario

Fase colectivaInteraccionesvalorizadas entre los participantesProceso continuo de análisis de datos y de validaciónAnimador privilegia el grupo y la tarea

FaseFase individualindividualCuestionarioCuestionario

Fase colectivaFase colectivaInteraccionesInteraccionesvalorizadas entre los valorizadas entre los participantesparticipantesProceso continuo de Proceso continuo de análisis de datos análisis de datos y y de de validaciónvalidaciónAnimador Animador privilegia privilegia el grupo y la tareael grupo y la tarea

No hay fase individual

Fase colectiva

Interaccionesvalorizadas entre los participantesProceso tedioso a posteriori de análisis de datos y de validaciónAnimador privilegia el grupo y la tarea

No hay fase individualNo hay fase individual

Fase colectivaFase colectiva

InteraccionesInteraccionesvalorizadas entre los valorizadas entre los participantesparticipantesProceso tedioso a Proceso tedioso a posteriori de posteriori de análisis análisis de datos yde datos y de de validaciónvalidaciónAnimador Animador privilegia el privilegia el grupo y la tareagrupo y la tarea

TRIAGE vs TGNTRIAGE vs TGNFase individualCuestionario

Fase colectivaInteracciones entre el animador y los participantes solamenteProceso continuo de análisis de datos y de validaciónAnimador privilegia la tarea

FaseFase individualindividualCuestionarioCuestionario

Fase colectivaFase colectivaInteraccionesInteracciones entre el entre el animador y los animador y los participantes participantes solamentesolamenteProceso continuo de Proceso continuo de análisis de datosanálisis de datos y y de de validaciónvalidaciónAnimador Animador privilegia privilegia la tareala tarea

Fase individualCuestionario

Fase colectivaInteraccionesvalorizadas entre los participantesProceso continuo de análisis de datos y de validaciónAnimador privilegia el grupo y la tarea

FaseFase individualindividualCuestionarioCuestionario

Fase colectivaFase colectivaInteraccionesInteraccionesvalorizadas entre los valorizadas entre los participantesparticipantesProceso continuo de Proceso continuo de análisis de datos análisis de datos y y de de validaciónvalidaciónAnimador Animador privilegia privilegia el grupo y la tareael grupo y la tarea

TRIAGE vs DelphiTRIAGE vs DelphiFase individualCuestionarioFase colectivaInteracciones valorizadas entre los participantesProceso continuo de análisis de datos y de validaciónAnimador privilegia el grupo y la tareaProceso rápido y eficiente

FaseFase individualindividualCuestionarioCuestionarioFase colectivaFase colectivaInteracciones Interacciones valorizadas entre los valorizadas entre los participantesparticipantesProceso continuo de Proceso continuo de análisis de datos análisis de datos y de y de validaciónvalidaciónAnimador Animador privilegia el privilegia el grupo y la tareagrupo y la tareaProceso Proceso rápido y rápido y eficienteeficiente

Fase individual Cuestionarios

No hay fase colectivaNo hay interacciones entre los participantesTedioso proceso de análisis de datos y de validaciónNo hay animación de grupoProceso largo y exigente

Fase individual Fase individual CuestionariosCuestionarios

No hay fase colectivaNo hay fase colectivaNo hay No hay interacciones interacciones entre los entre los participantesparticipantesTedioso proceso de Tedioso proceso de análisis de datos análisis de datos y de y de validaciónvalidaciónNo hay No hay animación animación de de grupogrupoProcesoProceso largo y largo y exigenteexigente

Características de TRIAGECaracterísticas de TRIAGE

Técnica Técnica inductivainductiva

Técnica Técnica interactivainteractiva

Soporte visual Soporte visual continuocontinuo

Técnica gira en torno a la obtención de Técnica gira en torno a la obtención de consensoconsenso

Técnica Técnica estructuradaestructurada de colecta de de colecta de datos datos compuesta de 3 fases sucesivascompuesta de 3 fases sucesivas

TRIAGE... Fase preparatoriaTRIAGE... Fase preparatoria

Definición / Validación de la Definición / Validación de la interrogante de la investigación o del interrogante de la investigación o del tema de evaluacióntema de evaluación

Elaboración de las herramientas para Elaboración de las herramientas para la colecta de datos la colecta de datos

Formación del grupo de expertosFormación del grupo de expertosInformadores claves (6 a 12 personas)Informadores claves (6 a 12 personas)

TRIAGE... Fase de producciónTRIAGE... Fase de producción

Fase de producción individualFase de producción individualCuestionarios postalesCuestionarios postalesMáximo de 5 respuestas dadas a cada Máximo de 5 respuestas dadas a cada pregunta (indicadores, problemas, pregunta (indicadores, problemas, percepciones, sugestiones, necesidades, percepciones, sugestiones, necesidades, fortalezas, debilidades, …)fortalezas, debilidades, …)TranscripciónTranscripción de la información sobre de la información sobre cartones numeradoscartones numeradosInformación no tratadaInformación no tratada

Fase de producción colectivaFase de producción colectivaSesión de trabajo del grupo de expertos (2Sesión de trabajo del grupo de expertos (2--3 3 horas)horas)Etapas sucesivas formalesEtapas sucesivas formales Consenso deConsenso de

Producción colectiva... DescripciónProducción colectiva... Descripción

MemoriaAlmacenaje de las respuestas

ReagrupamientosProceso de tratamiento de la información

SelecciónElección definitiva de los indicadores / Puesta en prioridad posible

Refrigerador Ambigüedad, dificultad: Indicadores conservados frescos para ser rediscutidos ulteriormente

VetoSi desacuerdo categórico : para disminuir la tensión / Los indicadores serán tratados posteriormente por expertos externos

Cubo de la basuraIndicadores no pertinentes

MemoriaMemoriaAlmacenaje de las respuestasAlmacenaje de las respuestas

ReagrupamientosReagrupamientosProceso de tratamiento de la informaciónProceso de tratamiento de la información

SelecciónSelecciónElección definitiva de los indicadores / Puesta en Elección definitiva de los indicadores / Puesta en prioridad posibleprioridad posible

Refrigerador Refrigerador Ambigüedad, dificultad: Indicadores conservados Ambigüedad, dificultad: Indicadores conservados frescos para ser rediscutidos ulteriormentefrescos para ser rediscutidos ulteriormente

VetoVetoSi desacuerdo categórico : para disminuir la tensión / Si desacuerdo categórico : para disminuir la tensión / Los indicadores serán tratados posteriormente por Los indicadores serán tratados posteriormente por expertos externosexpertos externos

Cubo de la basuraCubo de la basuraIndicadores no pertinentes Indicadores no pertinentes

11

9988

7766

5544

3322

1010

Reagrupamientos

Refrigerador

VetoCubo de laBasura

SelecciónMemoria

Soporte visual

66331010

11

9988

77

5544

22

Desacuerdo entre los

participantes en lo que

concierne a 3. Éste es puesto

en el refrigerador y

será rediscutido

Consenso imposible para 10. Será tratado

más adelante por externos

expertos.

6 no es pertinente.

Éste es puesto en el

cubo de basura.

66331010

99

88

77

55

4422

1111

111 y 8 comparten ideas parecidas pero

enunciadas de manera diferente. Un nuevo

indicador que contiene ambas ideas es creado.

2 y 4 comparten el

mismo sentido. El indicador

más preciso es conservado.

44 2222

5 contiene más de una idea. Éste es dividido en 2 nuevos

indicadores.

551313

7 y 9 quedan sin cambiar

7799

1212

66331010

991111

22

1212

771313 2, 9, 11 y 12

conforman la selección final.

Éstos pueden ser puestos en orden

de prioridad.

Aplicaciones en evaluaciónAplicaciones en evaluación

Proyecto:Proyecto: Evaluación de la eficacia de los Evaluación de la eficacia de los programas de readaptaciónprogramas de readaptación

Aproximación participativa y pluralistaAproximación participativa y pluralista53 participantes (administradores / personal 53 participantes (administradores / personal asistencial / clientes de los programas)asistencial / clientes de los programas)800 indicadores propuestos800 indicadores propuestosSelección por consenso de los 15 «Selección por consenso de los 15 « mejoresmejores » » indicadores según 5 dimensiones de la eficacia indicadores según 5 dimensiones de la eficacia Elaboración y validación del Modelo de las Elaboración y validación del Modelo de las Dimensiones de un Programa (Gervais, 1996)Dimensiones de un Programa (Gervais, 1996)Modelo e indicadores seleccionados Modelo e indicadores seleccionados Utilizados Utilizados luego en el proceso formal de evaluación de los luego en el proceso formal de evaluación de los programasprogramas

Aplicaciones en evaluaciónAplicaciones en evaluación

Proyecto:Proyecto: Identificación de los Identificación de los componentes operacionales de un componentes operacionales de un programa de salud mental en un Centro programa de salud mental en un Centro hospitalario hospitalario –– Evaluación formativaEvaluación formativa

36 participantes / 6 grupos36 participantes / 6 grupos(médicos, enfermeras, otros profesionales de la (médicos, enfermeras, otros profesionales de la

salud, clientes)salud, clientes)343 indicadores agrupados por temas 343 indicadores agrupados por temas (comunicación, trabajo de equipo, gestión, …)(comunicación, trabajo de equipo, gestión, …)Identificación de las fortalezas y debilidades del Identificación de las fortalezas y debilidades del programa programa Identificación e implantación exitosa de un plan Identificación e implantación exitosa de un plan para la resolución de problemaspara la resolución de problemas

Aplicaciones en evaluaciónAplicaciones en evaluaciónProyecto:Proyecto: Desarrollo de un instrumento de Desarrollo de un instrumento de medida de la satisfacción de la clientela con medida de la satisfacción de la clientela con traumatismo encéfalotraumatismo encéfalo--craneanocraneano

10 expertos de Québec en evaluación de la 10 expertos de Québec en evaluación de la satisfacción de la clientelasatisfacción de la clientelaValidación de las 5 dimensiones de los cuidados Validación de las 5 dimensiones de los cuidados médicos y de sus estándares correspondientesmédicos y de sus estándares correspondientesFase de colecta de información Fase de colecta de información Prototipo de un Prototipo de un cuestionario de 88 preguntas cuestionario de 88 preguntas (escala de calificación de (escala de calificación de 5 puntos) 5 puntos) Cuestionario de satisfacción actualmente en fase Cuestionario de satisfacción actualmente en fase de experimentación en la red de Québecde experimentación en la red de Québec

Aplicaciones en evaluaciónAplicaciones en evaluaciónProyecto:Proyecto: Mejoramiento de la validez de un Mejoramiento de la validez de un instrumento de medida de la participación instrumento de medida de la participación social para une clientela con incapacidades social para une clientela con incapacidades físicasfísicas

Evaluación de la pertinencia y del grado de Evaluación de la pertinencia y del grado de dificultad del instrumento de medida (58 dificultad del instrumento de medida (58 elementos) elementos) 29 participantes / 3 grupos procedentes de 3 29 participantes / 3 grupos procedentes de 3 centros de readaptación de la provincia de centros de readaptación de la provincia de QuébecQuébecValidez Validez interinter--grupogrupoConfirmación de los resultados obtenidos por Confirmación de los resultados obtenidos por medio del análisis de medio del análisis de RashRashRecomendaciones dadas a los autores del Recomendaciones dadas a los autores del instrumento con el fin de desarrollar una versióninstrumento con el fin de desarrollar una versión

Aplicaciones en evaluaciónAplicaciones en evaluaciónProyecto:Proyecto: Evaluación de un recurso Evaluación de un recurso comunitario asociado al sistema de comunitario asociado al sistema de salud de Québecsalud de Québec

Misión del recurso: Favorecer la integración Misión del recurso: Favorecer la integración social de las personas que viven con social de las personas que viven con incapacidadesincapacidades77 participantes77 participantes

(clientes, familia, clientes antiguos, personal (clientes, familia, clientes antiguos, personal asistencial, actores de la red)asistencial, actores de la red)

Identificación de las fortalezas y debilidades Identificación de las fortalezas y debilidades del programa según el Modelo de las del programa según el Modelo de las Dimensiones de un Programa (Gervais, 1996)Dimensiones de un Programa (Gervais, 1996)Implantación de las estrategias de Implantación de las estrategias de mejoramientomejoramiento

Aplicaciones en evaluaciónAplicaciones en evaluaciónFortalezas del recurso comunitario…Fortalezas del recurso comunitario…Fortalezas del recurso comunitario…

1. Objetivos centrados en el cliente

2. Gestión participativa

1. Objetivos centrados en el cliente

2. Gestión participativa

1. Recursos humanos consagrados / bilingüismo

2. Estructura del recurso comunitario

1. Recursos humanos consagrados / bilingüismo

2. Estructura del recurso comunitario

1. Programación vocacional y recreativa

2. Implicación y actitudes de los empleados

1. Programación vocacional y recreativa

2. Implicación y actitudes de los empleados

1. Alternativas vocacionales en el trabajo

2. Satisfacción de los parientes cercanos

1. Alternativas vocacionales en el trabajo

2. Satisfacción de los parientes cercanos

1. Beneficios psicológicos (bienestar, normalización, confianza en si mismo, autoestima, sentimiento de pertenencia)

2. Contactos sociales (experimentación de roles sociales valorizados, disminución del aislamiento)

1. Beneficios psicológicos (bienestar, normalización, confianza en si mismo, autoestima, sentimiento de pertenencia)

2. Contactos sociales (experimentación de roles sociales valorizados, disminución del aislamiento)

1. Falta de este tipo de recurso en la red

2. Clientes: déficit cognitivos et físicos severos

*estratégic*estratégicoo

*sistémico*sistémico

*estructur*estructuralal

*operacional*operacional

*específico*específico

Aplicaciones en evaluaciónAplicaciones en evaluaciónAspectos a mejorar del recurso comunitario…Aspectos a mejorar del recurso Aspectos a mejorar del recurso comunitario…comunitario…

1. Marketing del recurso dentro de la organización de la comunidad y sus asociados

2. Visión a largo plazo del recurso (seguimiento financiero)

1. Marketing del recurso dentro de la organización de la comunidad y sus asociados

2. Visión a largo plazo del recurso (seguimiento financiero)

1. Accesibilidad (lugar y transporte)

2. Financiamiento incierto y limitado

1. Accesibilidad (lugar y transporte)

2. Financiamiento incierto y limitado

1. Programación: cantidad y variedad2. Recursos humanos : estabilidad

1. Programación: cantidad y variedad2. Recursos humanos : estabilidad

1. Pocos asociados

2. Falta de receptividad

1. Pocos asociados

2. Falta de receptividad

1. Proseguir la integración social objetiva

2. Desarrollar la apropiación y la obligación de rendir cuentas (accountability)

1. Proseguir la integración social objetiva

2. Desarrollar la apropiación y la obligación de rendir cuentas (accountability)

*estratégi*estratégicoco *sistémico*sistémico

*estructural*estructural

*operacional*operacional

*específic*específicoo

1. Clientes más jóvenes

2. Cuidado de no alentar la dependencia

Conclusión : Fortalezas de TRIAGEConclusión : Fortalezas de TRIAGE

Puede ser utilizada a pequeña, mediana y gran Puede ser utilizada a pequeña, mediana y gran escalaescalaPuede ser adaptada a contextos diferentesPuede ser adaptada a contextos diferentesPermite la exploración simultánea de varias Permite la exploración simultánea de varias facetas del fenómeno estudiadofacetas del fenómeno estudiadoEs flexible, fácil a utilizar y poco costosaEs flexible, fácil a utilizar y poco costosaProduce información válida rápidamente Produce información válida rápidamente ––Innecesario un análisis de datos adicionalInnecesario un análisis de datos adicionalImplicación rápida y continua de los Implicación rápida y continua de los participantes en el proceso de evaluación participantes en el proceso de evaluación favorecida por las interaccionesfavorecida por las interaccionesEstimula una practica reflexiva entre los Estimula una practica reflexiva entre los participantesparticipantes

Conclusión : Trampas de TRIAGEConclusión : Trampas de TRIAGE

Alcance posible del tema estudiado Alcance posible del tema estudiado (querer cubrir demasiado)(querer cubrir demasiado)

Desafíos de la animaciónDesafíos de la animaciónHabilidad en la dinámica de gruposHabilidad en la dinámica de gruposGestión de comportamientos problemáticos del Gestión de comportamientos problemáticos del grupogrupo

Elección de los participantesElección de los participantesExpertos a nivel de contenidoExpertos a nivel de contenidoCapacidad de sentirse confortable en grupo Capacidad de sentirse confortable en grupo (habilidades de comunicación, nivel de (habilidades de comunicación, nivel de concentración)concentración)

Resultados comparables ? ... queda por Resultados comparables ? ... queda por demostrardemostrar