Evaluar el Impacto de la Capacitación en el … · Web view14,2% Dos trabajadores de campo no dieron sus nombres claramente. Tres no dieron sus nombres. El trabajador de campo describió

Evaluar el Impacto de la Capacitación en el Desempeño del Personal Contenido

Introducción En qué Consiste la Evaluación de la Capacitación Tipos de Evaluación de la Capacitación El Empleo de Recursos Internos para Llevar a Cabo la Evaluación Formación de un Equipo Interno de Evaluación Llevar a Cabo una Evaluación del Impacto de la Capacitación La Conexión entre el Desempeño y la Capacitación: El Proceso de EIC Paso 1: Identificación de los Aspectos de Desempeño en el Trabajo Definición de Tareas Clave Relacionadas con el Trabajo Selección de Indicadores y Determinación de Estándares Ejemplos de Indicadores y Estándares Paso 2: Recopilación de Información Desarrollo de Instrumentos Técnicas e Instrumentos de Evaluación Cómo Probar y Revisar los Instrumentos Cómo... Diseñar un Instrumento de Evaluación Eficiente Determinación de la Muestra Cómo Escoger una Muestra del Tamaño Adecuado y con las Variables

Apropiadas Cómo Determinar Su Muestra para una EIC Selección y Preparación de Evaluadores Recopilación de Información para la EIC Cómo... Planificar y Organizar el Proceso de Recopilación de Información Paso 3: Análisis de la Información Formulario para la Rendición de Informes Referentes a la Observación de los Trabajadores de Campo Modelo de Tabulación Cruzada Paso 4: Interpretación de la Información Cómo... Interpretar los Hallazgos de una EIC Paso 5: Informe sobre los Hallazgos Redacción del Informe Escrito Exposición Oral Pautas para las Exposiciones Orales Preparación del Informe Escrito Paso 6: Implementación de Cambios Responsabilidades para Actuar en Base a las Recomendaciones de la EIC Cómo Manejar la Resistencia al Cambio Revisión de los Cursos de Capacitación Cómo Llegar a un Acuerdo sobre un Nuevo Curso de Capacitación o una

Revisión del Mismo Aclarar las Expectativas para un Evento de Capacitación Cómo Cambiar los Procedimientos o Sistemas Organizacionales Soluciones Factibles—Repúblicas del Asia Central--Cómo Llevar a Cabo un

Evaluación del Impacto de la Capacitación Continuidad del Proceso de EIC

Examine este tema en mayor profundidad mediante un caso de estudio El Instituto de Capacitación en Planificación Familiar Evalúa el Impacto de Su Trabajo

http://ecu3.msh.org/readroom/espanol/fptrain.htm

http://ecu3.msh.org/readroom/espanol/perform.htm#E341E75%23E341E75












































http://ecu3.msh.org/readroom/espanol/perform.htm#Editor%23Editor

IntroducciónA través de todo el mundo, las organizaciones de planificación familiar invierten una parte significativa de sus fondos así como el tiempo de su personal en actividades de capacitación, con la esperanza de mejorar la eficacia y eficiencia de sus programas. Sin embargo en muchos casos no es muy claro si la capacitación ha sido realmente efectiva o si los problemas específicos de desempeño pueden ser resueltos mediante la capacitación.

Dada la asignación considerable de los ya escasos recursos a la capacitación, los administradores de planificación familiar deben preguntarse regularmente si a través de los esfuerzos de capacitación está n logrando los resultados que desean. Los administradores deben saber qué partes del programa de capacitación son efectivas, cuáles no lo son o son irrelevantes y cómo se podría mejorar la capacitación para ayudar al personal a transferir sus nuevas habilidades del aula a sus puestos de trabajo.

La presente edición de Actualidad Gerencial en Planificación Familiar introduce la Evaluación del Impacto de la Capacitación (EIC), un proceso diseñado para ayudar a los administradores a identificar y fortalecer las conexiones entre la capacitación y el desempeño del personal. En la presente edición se describen los beneficios que se derivan de una Evaluación del Impacto de la Capacitación utilizando un enfoque de equipo conduciendo al lector paso a paso a través del proceso de EIC. En la presente edición también se ofrecen sugerencias prácticas para recopilar, analizar e interpretar datos referentes al desempeño de los participantes capacitados una vez que vuelven a sus puestos de trabajo. Concluye con sugerencias referentes a la forma en la que los administradores pueden utilizar la información para ofrecer recomendaciones a los encargados de tomar decisiones con el fin de mejorar los cursos de capacitación o de buscar soluciones de tipo administrativo para los problemas de desempeño.

Los Editores

Volver al principio de página

En qué Consiste la Evaluación de la CapacitaciónLa capacitación del personal implica diversos costos: el costo de los recursos necesarios para preparar y ofrecer los cursos de capacitación, el costo para la organización participante por concepto de viajes y alojamiento y el costo del personal que se aleja de sus puestos de trabajo. Para justificar estos costos, los administradores deberá n sentirse seguros de que la capacitación que está n proporcionando, o los cursos a los cuáles asiste su personal, jugará n un papel importante en lo que respecta al desempeño del personal. Necesitan saber que los miembros del personal a su cargo no solamente han adquirido nuevos conocimientos, actitudes y habilidades en los cursos de capacitación, sino que pueden ponerlos en práctica una vez que regresen a sus puestos de trabajo.

Existen muchos tipos de evaluaciones para el desarrollo y administración de programas de capacitación de alta calidad que asegurará n los resultados que requieren los administradores. Estos incluyen:

Evaluaciones de las necesidades; Evaluaciones de base; Evaluaciones de los insumos; Evaluaciones del proceso;

http://ecu3.msh.org/readroom/espanol/perform.htm#top%23top

Evaluaciones de los resultados; Evaluaciones del impacto (que se emplean para evaluar el desempeño individual

en el trabajo, el desempeño de la organización, el desempeño del programa y los indicadores demográficos y de salud).

Las organizaciones de capacitación o los programas de capacitación a nivel de una organización más grande generalmente evalúan los conocimientos, actitudes y habilidades de base (CAH), y llevan a cabo evaluaciones de los insumos, el proceso y los resultados. Las evaluaciones de las necesidades se hacen con poca frecuencia y por lo general se efectúan con el propósito de diseñar un curso nuevo o para llevar adelante un curso de gran escala en plena ejecución. A menudo, años después de una evaluación inicial de las necesidades, se sigue dictando el mismo curso, a pesar de que los cambios implementados podrían sugerir que se lleve a cabo una nueva evaluación de las necesidades o que se proceda a la revisión del curso. Las evaluaciones de impacto, a pesar de la importancia que tienen, rara vez se llevan a cabo.

Análisis del impacto de la capacitación sobre el desempeño individual. El impacto deseado de la capacitación a largo plazo es mejorar el desempeño a nivel de la organización y del programa y por último, contribuir al logro de las metas demográficas y de salud a nivel nacional. Es difícil demostrar una conexión directa entre la capacitación y estos resultados a largo plazo debido al hecho de que muchos factores ajenos a la capacitación también desempeñan un papel importante. Sin embargo, es posible demostrar el impacto de la capacitación en lo que respecta a las habilidades y al desempeño del personal. Por este motivo, la EIC enfoca el primer nivel de impacto—el desempeño del personal capacitado en sus puestos de trabajo—asumiendo que el desempeño individual adecuado llevará a un mejor desempeño a nivel de la organización y del programa así como la prestación de mejores servicios para los clientes y eventualmente realizará una contribución significativa para lograr las metas demográficas y de salud deseadas.

Hay muchas razones por qué las organizaciones se han resistido a evaluar el efecto de al capacitación sobre el desempeño en el trabajo: los costos para llevar adelante este tipo de evaluaciones rara vez son cubiertos por proyectos financiados por donaciones; los administradores y el personal de las organizaciones que ofrecen cursos de capacitación y las organizaciones de servicio generalmente no cuentan con la capacidad para llevar a cabo este tipo de evaluaciones; muchas organizaciones se muestran reticentes a descubrir las deficiencias a nivel de su organización; y generalmente los administradores se sienten intimidados por el tiempo y dinero que se requiere para remediar dichas deficiencias. Tanto las organizaciones que ofrecen capacitación como las organizaciones de servicio generalmente creen que es más fácil seguir haciendo lo que siempre han hecho. Como comentaba un capacitador, "Estamos tan ocupados llevando a cabo la capacitación, que no tenemos tiempo para pensar en cambiarla!"

La EIC intenta resolver estas preocupaciones. El punto central de la presente edición es proporcionar una descripción detallada del proceso de EIC. Se ofrecen técnicas prácticas para la implementación de cada paso del proceso, desde la identificación de patrones de desempeño hasta la institución de cambios a nivel de la capacitación de la organización en sí, así como a nivel del entorno. La presente edición también presenta la factibilidad y el valor de la evaluación interna de tipo participativo y concluye con las formas en las que se puede efectuar un seguimiento del proceso EIC y mantenerlo.

Los editores invitados para esta edición son Ann Buxbaum, Sylvia Vriesendorp y Ellen Eiseman. Ann Buxbaum está Asociada al Programa de Población de Management Sciences for Health (MSH). Sylvia Vriesendorp es la Capacitadora y Especialista en

Desarrollo Organizacional de mayor jerarquía del proyecto FPMD de MSH, y Ellen Eiseman es asesora de los Programas de Capacitación en AVSC International. Los editores desean agradecer las contribuciones de seis organizaciones de planificación familiar de Bangladesh por su participación en el desarrollo y pruebas de campo de esta metodología. Muchos de los ejemplos en esta edición fueron extraídos de sus experiencias mutuas. Estas organizaciones incluyen: AVSC International/Dhaka, Concerned Women for Family Planning, la Asociación de Planificación Familiar de Bangladesh, el Servicio de Planificación Familiar y el Centro de Capacitación de Pathfinder International/Dhaka y The Asia Foundation.


Tipos de Evaluación de la Capacitación

Hay muchas formas en las que pueden evaluar la capacitación. La presente edición de Actualidad Gerencial toma como punto central un nivel de evaluación de impacto y un efecto de la capacitación.

Tipo de Evaluación

Propósito

Evaluación de las necesidades

Identificar los conocimientos, actitudes y habilidades (CAH) necesarias para un desempeño aceptable en el trabajo

Evaluación de base

Determinar los niveles de CAH de los participantes antes de la capacitación

Evaluación de los insumos

Evaluar los elementos asociados con la capacitación: costos, selección de los capacitadores y participantes, planes de estudio, lugar, materiales

Evaluación del proceso

Llevar a cabo evaluaciones periódicas durante el período de capacitación y adaptar el horario, el contenido y el enfoque si fuera necesario.

Evaluación de los resultados

Evaluar los CAH nuevos o mejorados después de la capacitación

Evaluación del impacto

Determinar el efecto de la capacitación sobre:

el desempeño individual en el trabajo (la aplicación de nuevos conocimientos, actitudes y habilidades en el trabajo; un trabajo que cumple o sobrepasa los requerimientos profesionales y organizativos) el desempeño organizacional (la calidad de los servicios, la satisfacción de los clientes) el desempeño del programa (el uso de métodos anticonceptivos modernos, años-pareja de protección) Los indicadores demográficos y de salud a nivel regional o nacional (reducción de las tasas de nacimiento,


fertilidad, mortalidad infantil y mortalidad materna)


El Empleo de Recursos Internos para Llevar a Cabo la EvaluaciónCuando las organizaciones desean realizar una evaluación de impacto a menudo recurren a expertos extranjeros basándose en la creencia de que solamente los expertos extranjeros pueden brindar una experiencia objetiva y no parcializada que produzca resultados confiables. Sin embargo muchos administradores han aprendido que la evaluación externa no garantiza que las recomendaciones será n apropiadas, y esto se debe en parte a que los extranjeros no siempre pueden comprender las realidades del lugar de trabajo y las necesidades de capacitación de una organización en particular en el corto período de tiempo que se les concede para llevar a cabo su evaluación.

Existe un apoyo creciente a nivel de la comunidad evaluadora para la realización de evaluaciones participativas que permiten que los interesados evalúen sus propios logros [Feuerstein], empleando a expertos externos para casos especiales (por ejemplo para el muestreo) solamente cuando sea necesario. En el á rea de la capacitación, los interesados clave incluyen a los administradores y al personal de la organización o programa de capacitación y los administradores y el personal de las organizaciones que envían a su personal a los cursos de capacitación. La evaluación de un programa de capacitación a través de un proceso participativo que incluya representantes de ambas organizaciones ofrece beneficios importantes:

La evaluación interna cuesta menos que la contratación de peritos extranjeros. A medida que las agencias de financiamiento recortan su apoyo, las organizaciones tendrán que recurrir a sus propios fondos para las evaluaciones. Cuando los capacitadores participan en las evaluaciones de impacto, se familiarizan con las condiciones de trabajo de la gente a la que está n capacitando. Las organizaciones de capacitación también pueden utilizar los resultados de la EIC para diseñar cursos de capacitación en el futuro. La EIC puede ser incorporada a las actividades de supervisión y monitoreo de rutina. Las organizaciones que prestan servicios pueden instituir evaluaciones regulares, dirigidas, de pequeña escala con el objeto de revisar los informes referentes a los problemas encontrados en el campo o para confirmar que ciertos elementos específicos de un curso han tenido éxito y deben ser replicados en otros cursos. Las organizaciones que envían a su personal para ser capacitado comprenden mejor qué es lo que la capacitación puede y no puede lograr. Pueden utilizar esta información para tener una idea más clara en cuánto a sus expectativas para las actividades de capacitación futuras.


Formación de un Equipo Interno de Evaluación

El equipo de evaluación deberá incluir representantes de las organizaciones de capacitación o del programa de capacitación y de la organización que presta servicios (u organización que se beneficia de la capacitación). Si fuera posible, uno o más de los participantes deberá ser parte del equipo para que se tome en cuenta su perspectiva y experiencia durante el proceso. Si decide incluir un experto cuyas aptitudes se consideren esenciales para un aspecto del proceso de EIC en particular (por ejemplo un



experto en estadística), el rol de esa persona y sus responsabilidades deben estar claramente definidos a satisfacción de cada uno de los miembros del equipo. Esta aclaración asegurará que el proceso se mantenga bajo el control de las organizaciones participantes.

Este equipo inter-organizacional tiene un valor particular cuando la evaluación revela que existe la necesidad de implementar mejoras en cualquiera de las organizaciones. Si tanto las organizaciones de capacitación como las de servicios han participado en el proceso de EIC en su integridad y han llegado a acuerdos en lo que respecta a los objetivos y recomendaciones eventuales, estarán más dispuestas a aceptar las sugerencias planteadas y a realizar cambios que valgan la pena. Si el tiempo y la distancia no permiten una relación de trabajo conjunto entre las dos organizaciones, cualquiera de las organizaciones tendrá que llevar a cabo la EIC por su propia cuenta. Esto presenta algún riesgo de que la organización que no participe podría no aceptar de lleno todos los hallazgos y recomendaciones. Pero si cada paso del proceso está bien documentado y se mantiene informada a la otra organización, se puede minimizar este riesgo.


Llevar a Cabo una Evaluación del Impacto de la CapacitaciónExisten varias razones para llevar a cabo una EIC. Podría tratarse de una EIC para:

Evaluar un curso nuevo de capacitación a fin de ver si éste ha llenado las expectativas;

Evaluar un curso existente cuya efectividad podría haber disminuido a lo largo del tiempo, tal como ocurre cuando se han dado cambios considerables en el medio externo;

Identificar las tareas y temas para los que se requiere una nueva capacitación; Responder a las dudas referentes a la utilidad de un curso de capacitación

expresadas por una organización que envió su personal a una capacitación; Resolver los problemas del desempeño detectados a través del monitoreo de

rutina de las actividades de campo, la supervisión del personal u otras observaciones en el lugar del trabajo.

Cuando existen una o más de estas razones, la EIC puede ser iniciada por el administrador de cualquiera de las organizaciones, los capacitadores, los supervisores del personal capacitado o los funcionarios del programa. El proceso funcionará en forma más fluida si los miembros de su equipo de EIC representan los puntos de vista de todas las partes interesadas. Los miembros del equipo deberá n familiarizarse con el contenido y la metodología del programa o curso de capacitación a ser evaluado así como con los requisitos generales de trabajo de los participantes. Estos pueden explicar qué tipo de trabajo realizan y discutir las razones para iniciar una EIC, aclarando cuáles son sus expectativas con respecto al proceso y solicitando cualquier apoyo necesario.

Para llevar a cabo una evaluación a conciencia del impacto de la capacitación, necesariamente se deberá n seguir todos los pasos del proceso de EIC. El proceso de EIC es un ciclo que conecta continuamente el desempeño en el trabajo con la capacitación. Antes de empezar, deberá revisar la información referente al desempeño en el trabajo directamente en el mismo lugar de trabajo, que generalmente se puede


obtener de los informes de monitoreo o supervisión. Esta información le sugerirá las á reas de desempeño a ser consideradas en la evaluación.


La Conexión entre el Desempeño y la Capacitación: El Proceso de EIC

Información del Lugar de Trabajo

Monitoreo rutinario del programa Supervisión rutinaria del personal Observaciones en el lugar del trabajo

Identificación de los Aspectos de Desempeño

Definir y analizar las tareas más críticas Seleccionar los indicadores de un desempeño aceptable, inaceptable y

excelente

Se ofrece un nuevo Curso de Capacitación

y/o se implementan cambios a nivel de la organización

Recopilación de Información

Desarrollar los instrumentos Identificar la muestra Probar y revisar los instrumentos Seleccionar a los evaluadores Recopilar la información referente a los factores del desempeño Implementar inmediatamente las medidas correctivas

Implementación de Cambios

Obtener el apoyo de la organización para implementar los cambios Identificar y manejar cualquier resistencia potencial Efectuar cambios en el contenido, la metodología, o la logística de la

capacitación y en la selección de participantes Aclarar cuáles son las expectativas antes de la aceptable, inaceptable y

capacitación excelente Cambiar los procedimientos o sistemas organizacionales Reforzar el apoyo de la comunidad hacia los programas

Análisis de la Información Ver ejemplos de desempeño

Informe Referente a los Hallazgos

Preparar el informe Formular recomendaciones


Difundir a las audiencias apropiadas Obtener retroalimentación de las audiencias apropiadas

Interpretación de la Información

Evaluar los factores de la capacitación que influyen en el desempeño

Evaluar los factores no vinculados a la capacitación (de tipo organizacional o del entorno)


PASO 1:

Identificación de los Aspectos de Desempeño en el Trabajo

El primer paso del ciclo, la identificación de los aspectos referentes al desempeño, debería comenzar varios meses después de haber ofrecido el curso. Este paso contempla dos metas:

desarrollar una comprensión clara de las labores clave relacionadas con el trabajo;

llegar a un acuerdo sobre los indicadores de desempeño: aceptable, inaceptable y excelente para cada tarea.


Definición de Tareas Clave Relacionadas con el Trabajo

Para iniciar el proceso de EIC deberá decidir cuáles son las á reas de desempeño que se enfocará n en la evaluación. Para lograrlo deberá:

Revisar las descripciones de los cargos del personal que ha sido capacitado para identificar sus responsabilidades primarias. Podría ser necesario crear, actualizar o revisar las descripciones de los cargos.

Hacer una lista de otras tareas clave que no estén incluidas en las descripciones de los cargos pero que sean consideradas importantes por los supervisores y administradores. Resaltar cualquier tarea donde la calidad del desempeño de los participantes ha sido ampliamente cuestionada.

Revisar los objetivos del curso de capacitación y su contenido y elaborar una lista de todas las tareas que fueron cubiertas en el curso.

De esta lista de tareas, se deben escoger un máximo de cinco que sean las más críticas para el desempeño de los participantes.

Analizar cada una de las cinco tareas e identificar los estándares profesionales u organizacionales y las expectativas para un desempeño aceptable; los elementos clave sin los cuáles la tarea no puede llevarse a cabo en forma efectiva; y los conocimientos, actitudes y habilidades que se requieren para realizar estas tareas.

Es útil elaborar una lista separada de las tareas importantes que no fueron cubiertas en el curso de capacitación, para no evaluar el desempeño de dichas tareas durante esta actividad de EIC. Ambas organizaciones deseará n volver a revisar la lista posteriormente para determinar si esas tareas han sido cubiertas en algún otro curso, o



son enseñadas regularmente por la organización de servicios, o no se enseñan sistemáticamente en total y tal vez sea necesario incorporarlas a los cursos planificados para el futuro.


Selección de Indicadores y Determinación de Estándares

Una vez que se hayan especificado las principales tareas del cargo de un participante se deberá n seleccionar los indicadores. Los indicadores constituyen evidencias susceptibles de medición y observación de que un participante está llevando a cabo las tareas para las cuales fue capacitado. Los indicadores responden a la pregunta, "¿Qué es lo que veríamos u oiríamos en el lugar de trabajo que demostraría que la persona capacitada está cumpliendo con los requerimientos de dicha tarea?" Para poder responder a esta pregunta para cada tarea, usted. y sus colegas necesitará n elaborar una lista de todas las pruebas de desempeño aceptable en las que puedan pensar, basándose en los estándares de desempeño y en las pautas identificadas durante el análisis de la tarea. Luego, para cada tarea, seleccione dos indicadores susceptibles de medición u observación que usted crea que proporcionan la prueba más convincente de un desempeño aceptable.

Cada indicador deberá ajustarse a estándares específicos y precisos de niveles de desempeño que se adecuen a las expectativas de la organización. Estos estándares generalmente se expresan como un número o porcentaje, tal como ocurre con el número de respuestas correctas requeridas en un examen, el porcentaje de procedimientos ejecutados correctamente durante las sesiones clínicas o de consejería, o el número de visitas del cliente durante las cuales el participante capacitado ofrece un servicio específico. Para cada indicador, necesitará identificar los estándares—el rango dentro del cual el desempeño se considera aceptable, por debajo del cual el desempeño es inaceptable y por encima del cual el desempeño se considera excelente. El cuadro de la página siguiente muestra algunos ejemplos de indicadores y estándares seleccionados.


Ejemplos de Indicadores y Estándares

Tarea Indicadores Estándares

Para los trabajadores de campo:

Referencia a los servicios de planificación familiar y de SMI

El trabajador de campo capacitado refiere más clientes a los diferentes servicios de la clínica que antes de la capacitación.

Por lo menos 15% más clientes referidos en seis meses después de la capacitación que en los seis meses previos a la misma.

Para supervisores:

Capacitación del personal

El supervisor capacitado proporciona una asistencia más efectiva en el trabajo durante las visitas de supervisión que

En forma regular convoca y realiza discusiones de grupo con respecto a los asuntos que son de importancia



antes de la capacitación. para los supervisados.

Para administradores:

Movilización de recursos para la sustentabilidad

El sistema para el cobro de tarifas por los servicios prestados ya está operando.

Por lo menos 50% de todos los clientes paga por los servicios que recibe.


Paso 2:

Recopilación de Información

Después de haberse puesto de acuerdo con respecto a los indicadores y estándares para calificar el desempeño como aceptable, inaceptable y excelente, estará listo para recopilar la información que mostrará la medida en la cual el desempeño de los participantes se ajusta a los indicadores y estándares. Para hacerlo, necesitará:

desarrollar instrumentos para recopilar información; probar y revisar sus instrumentos; determinar su muestra para la evaluación; seleccionar y preparar a los evaluadores; recopilar la información.


Desarrollo de Instrumentos

Existen muchas fuentes de datos referentes al desempeño de los empleados en sus puestos de trabajo así como diversas formas de obtener esta información. Se deberían escoger las técnicas e instrumentos más apropiados para cada indicador en base a lo que está tratando de estudiar y los recursos disponibles. Las técnicas básicas son las entrevistas (con los participantes, los clientes, los supervisores o administradores ya sea en forma individual o en grupo), exámenes (tomados a los participantes), observaciones (de los participantes que generalmente se relacionan con clientes reales o simulados) y la revisión de documentos. Después de escoger las técnicas que reúnan los mejores requisitos para sus necesidades de evaluación, estará listo para diseñar los instrumentos apropiados: un cuestionario oral o escrito, un formulario de examen, una guía para las entrevistas y/o una lista de verificación.

Cualquiera que sean los instrumentos que escoja, estos deberá n ser válidos y confiables. Un instrumento válido mide en forma precisa lo que desea medir. Por ejemplo, para probar la habilidad de los participantes para insertar correctamente dispositivos intrauterinos una medida valida sería observar al participante mientras realiza el procedimiento en una cliente real o en un modelo en vez de repetir de memoria los pasos del procedimiento. El tiempo extra que se invierta para hacer la observación valdrá la pena en lo que concierne a la validez de la misma.

Un instrumento confiable dará los mismos datos o datos similares aun cuando sea utilizado por diferentes personas, siempre y cuando éstas hayan recibido la misma capacitación para la utilización del mismo. También demostrará su consistencia a lo



largo del tiempo si la capacitación no ha cambiado entre la primera y segunda evaluación. Por ejemplo, si un evaluador determina a partir de un ejercicio de simulación que el participante respeta el derecho del cliente a la privacidad y otro evaluador llega a una conclusión opuesta, el instrumento no constituye una medida confiable del comportamiento del participante capacitado.

A medida que diseñe los instrumentos, deseará evitar algunos problemas comúnmente encontrados. Algunos instrumentos son demasiados largos para ser empleados fácilmente por los evaluadores. Asegúrese de mantener sus instrumentos lo más breves posible, incluyendo solamente los puntos necesarios para obtener la información que está buscando. Asegúrese de que existan instrucciones claras y precisas para utilizar el instrumento. Algunos instrumentos son de difícil comprensión para la persona que debe responder. Utilice palabras simples que tengan un solo significado. Si el idioma preferido del entrevistado es diferente al suyo, asegúrese que los diferentes puntos hayan sido traducidos correctamente al idioma de dicha persona.


Técnicas e Instrumentos de Evaluación

Técnica de Evaluación

Tipo de Instrumento

Cómo se Emplea

Qué Evalúa

Ventajas Desventajas

Entrevista (individuo o grupo)

Cuestionario Escrito u oral

Auto-administrado

Actitudes

Opiniones

Experiencia reportada y practica

Fácil de administrar

Puede ser administrado a grupos grandes

Puede generar información cualitativa y cuantitativa

Las respuestas pueden ser ampliadas y aclaradas

Se puede efectuar un sondeo con respecto a temas más delicados

Puede ser costoso y requerir de mucho tiempo

No puede estar seguro de que las preguntas han sido bien comprendidas

Los entrevistados deben saber leer y escribir para poder completar el cuestionario auto-administrado

Es posible que los entrevistados digan lo que ellos creen que el


evaluador desea oír

Las preguntas pueden reflejar la parcialidad de los evaluadores

Es difícil analizar los datos


Técnicas e Instrumentos de Evaluación

Técnica de Evaluación

Tipo de Instrumento

Como se Emplea Qué evalúa Ventajas Desventajas

Examen Formulario o cuestionario

Escrito u oral Conocimientos

Aptitud

Bajo costo

Fácil de administrar

Puede ser administrado a grupos grandes

Es fácil analizar las respuestas

Los participantes deben saber leer y escribir para tomar el examen escrito

Es posible que no refleje adecuada-mente las habilidades o el comporta-miento real en el trabajo

Podría parecer amenazador para los participantes

Observación Pautas

Lista de verificación

Observación y anotación (desempeño real, simulación, actuación de papeles, cintas de video etc.)

Habilidad

Desempeño

Actitudes

Puede demostrar el comporta-miento real

Genera información cualitativa y cuantitativa

Es costoso y consume mucho tiempo

Requiere de una capacitación exhaustiva de los evaluadores

Puede inducir cambios de


comportamiento en el momento de la observación

Revisión de Documentos

Lista de verificación

Cuestionario

Revisión de los expedientes (expedientes de los clientes y del personal, formularios de estadísticas de servicios, archivo de incidentes críticos)

Desempeño

Cumplimiento con requerimiento s legales o profesionales

Conveniente

Evita sobrecargar al personal con requerimiento s adicionales durante la visita

Si está bien llevado, dará como resultado datos objetivos

Si los expedientes está n escritos a mano, es posible que sean difíciles de leer

Podrían ser incompletos, inexactos o muy generalizados

Los expedientes podrían estar mal organizados y obstaculizar la búsqueda de los documentos relevantes

Los informes médicos deberá n ser leídos por un experto

Cómo Probar y Revisar los Instrumentos

Aun cuando los instrumentos hayan sido diseñados cuidadosamente, surgirá n sorpresas cuando se los emplee por primera vez. Las preguntas y los procedimientos que parecían estar absolutamente claros algunas veces pueden confundir o causar ansiedad a la persona que está siendo entrevistada. La mejor manera de reducir al mínimo las sorpresas desagradables es que los miembros del equipo de evaluación prueben los instrumentos con un pequeño grupo de participantes, preferentemente en más de un lugar. La prueba puede servir de base para revisar los instrumentos—y, ocasionalmente los indicadores o estándares. La prueba deberá imitar lo mas próximamente posible los arreglos que se hará n para la verdadera EIC: la elaboración cuidadosa de un cronograma, el envío de cartas a los distintos lugares así como explicaciones a modo de introducción para explicar qué es la EIC a los directores del proyecto, participantes y otras personas que pudieran estar involucradas.

Si es posible se debería trabajar en parejas durante la prueba, de la misma manera que se hará durante la EIC final. Esto permitirá que una persona se concentre en las respuestas y en recoger comentarios interesantes o pistas visuales sin tener que detener el proceso mientras escribe. También servirá para confirmar las observaciones e impresiones.

Debido a que las pruebas preliminares aumentan el costo de la evaluación de impacto y consumen un tiempo valioso, por lo general se omiten. Pero estas pruebas son importantes, ya que si los instrumentos no están n bien diseñados no producirá n

información confiable, el análisis e interpretación de los resultados presentará n fallas y cualquiera de las conclusiones o decisiones sobre la capacitación o el apoyo organizativo serán dudosas. Para reducir el costo tanto en lo que respecta al tiempo de trabajo del personal como al dinero propiamente dicho, sin comprometer la oportunidad de aprendizaje, se debería buscar diferentes formas de combinar estas pruebas con otras actividades organizacionales.


Cómo...

Diseñar un Instrumento de Evaluación Eficiente

1.Responda a las siguientes preguntas a fin de escoger las mejores metodologías e instrumentos para sus propósitos:

¿Qué metodologías pueden mostrar con mayor exactitud si el desempeño especificado en este indicador está presente o ausente y la medida en la cual los estándares de desempeño calificados como aceptables, inaceptables y excelentes se está n cumpliendo?

¿Puede usted diseñar uno de sus instrumentos para que abarque más de un indicador?

¿Qué pautas y qué tipo de capacitación requerirá n los evaluadores para emplear los instrumentos en forma efectiva?

2. Elabore un formulario de registro que incluya una lista de las preguntas básicas a ser formuladas o los comportamientos a ser observados, y que proporcione el espacio suficiente para escribir las respuestas u observaciones. Incluya espacios para el nombre y cargo del participante, el lugar de la evaluación, la fecha de la visita de evaluación, el nombre y las fechas del curso de capacitación así como el nombre del evaluador.

3. Pruebe el instrumento con varios participantes. Revise las respuestas para ver si está obteniendo la información necesaria. Si es posible, haga que más de un evaluador utilice el instrumento y compare las experiencias y resultados.

¿Confirmó la prueba que los indicadores demuestran un desempeño aceptable, inaceptable o excelente?

¿Es válido y confiable cada uno de los puntos de cada instrumento? ¿Qué ideas necesitará revisar? Decida si tiene que volver a probar cierto

punto. ¿Estaban los evaluadores en condiciones de administrar los instrumentos

en la forma que fueron diseñados? Si no es así, ¿que pautas o capacitación adicionales requieren?

¿Tenía suficiente tiempo disponible para viajar y llevar a cabo otras actividades en el lugar?

¿Los comentarios de introducción explicaron el proceso de EIC, transmitieron los mensajes deseados y crearon un ambiente relajado y no amenazante?

¿Se respetó la privacidad durante las pruebas, entrevistas y observaciones?

¿Los evaluadores consideraron que los formularios eran adecuados?


4. Revise los resultados y realice nuevas pruebas hasta que esté seguro que cada instrumento le proporciona lo que necesita saber.


Determinación de la Muestra

El hecho de escoger el número correcto de participantes a ser evaluados ilustra el dilema entre lo práctico y lo riguroso. Aunque todos están n de acuerdo en que "siempre es mejor contar con un mayor número de participantes" la pregunta que debe hacerse es, "¿Cuántos participantes será n suficientes para obtener resultados que sean susceptibles a una generalización?" Por lo tanto, para llevar a cabo una EIC, necesitará identificar una muestra, un subconjunto representativo de personas escogidas del grupo de todos los participantes que han completado recientemente un curso de capacitación. Si su muestra está bien diseñada, puede estar razonablemente seguro de que lo que aprenda de las pruebas, entrevistas y observaciones de las personas incluidas en la muestra refleja con bastante exactitud lo que aprendería de toda la población de participantes. Existen cuatro factores a ser considerados al decidir cuán grande debería ser una muestra.

Tamaño de la población de participantes. Cuanto más grande sea el número de participantes que está evaluando, mayor deberá ser el número de personas en su muestra. Para los propósitos de una EIC, generalmente no es necesario o práctico utilizar una fórmula estadística, pero puede determinar el tamaño de su muestra refiriéndose a la siguiente tabla.

Selección del Tamaño de la Muestra

Tamaño de la Población de Participantes Tamaño de la Muestra

50 o menos Por lo menos 50%

51 a 100 35% a 50%

101 a 200 20% a 35%

Más de 200 10% a 20%


Variaciones a nivel de la población de participantes. Las diferencias en las características dentro de una misma población que podrían afectar los resultados de la evaluación se denominan variables. Si piensa que existen variables entre los participantes que podrían afectar el desempeño, deberá asegurarse que la muestra incluya un número razonable de personas con cada una de estas variables. Esto se puede lograr a través de un muestreo estratificado. Para estratificar una muestra:

Decida cuáles piensa que son las características o variables que podrían afectar el desempeño de un participante después del evento de capacitación (género,



ubicación geográfica, nivel de educación, nivel socio-económico de la comunidad donde trabaja, tipo de trabajo, condiciones de trabajo, edad, grupo étnico);

Determine qué proporción del número total de participantes refleja cada variable. Luego defina una muestra separada para cada variable utilizando la tabla presentada anteriormente para determinar el tamaño de cada muestra. Esto le permitirá comparar el desempeño de los participantes que representan variables contrastantes (por ejemplo, hombre/mujer, rural/urbano).

Debido a que el muestreo estratificado requiere de la preparación de una muestra separada para cada variable que fue identificada, esto puede aumentar mucho el tamaño total de su muestra. De modo que solo debería escoger variables que el equipo de EIC considere clave en lo que respecta al desempeño en el trabajo. Si el número de participantes que se toma en cuenta es pequeño, no sería práctico estratificarlo, ya que cada muestra sería muy pequeña para producir información válida y confiable.


Cómo Escoger una Muestra del Tamaño Adecuado y con las Variables Apropiadas

El siguiente ejemplo ilustra cómo escoger una muestra que refleje la variación existente en toda la población de personas que se están capacitando.

Si los informes de campo sugieren que los individuos que se están capacitando y trabajan para diferentes organizaciones tienen condiciones de trabajo muy diferentes que afectan su desempeño, usted podría preparar una muestra para cada organización. Si 215 participantes trabajan para un total de tres organizaciones (127 personas en la Organización A, 58 en la Organización B y 30 en la Organización C), debería referirse a la tabla titulada "Selección del Tamaño de la Muestra" e identificar tres muestras: por lo menos 25 (20%) de la Organización A, por lo menos 20 (35%) de la Organización B y por lo menos 15 (50%) de la Organización C. Si una cuarta organización hubiera mandado solamente algunas personas al curso, usted podría visitar a todos los integrantes del grupo o eliminarlos completamente de la evaluación, dependiendo de la opinión que tenga usted en cuanto a cuán diferentes son estos individuos de los de las otras organizaciones.

Precisión. El grado de precisión que se requiere de una evaluación depende de cuán importante sea identificar los efectos menores que podrían generalizarse dentro de un contexto más amplio. Debido al hecho que la EIC considera los comportamientos humanos, no puede ser tan precisa como algunos estudios de ciencias básicas, pero la muestra debe ser lo suficientemente grande para convencer a un observador objetivo que vale la pena actuar en base a los resultados. Recuerde que el propósito más importante de la EIC es demostrar que la gente que ha sido capacitada realmente está haciendo lo que se le ha enseñado, y si no fuera así, descubrir las posibles causas y sugerir acciones correctivas.

Factibilidad. Al diseñar su estudio es posible que se vea forzado a comprometer la generalidad de los resultados futuros a fin de lograr un diseño que sea factible dados los recursos y el tiempo disponibles. Lo que es más importante aún es identificar una muestra que se aproxime lo más posible al tamaño de muestra recomendado y que represente las variables importantes presentes en la población de individuos que se está


n capacitando que podría estar vinculada a su evaluación y podría llevarse a cabo con los recursos disponibles. El Dr. Scholl, un experto cuyo trabajo se ha centrado en la evaluación de la capacitación en Asia, África y América Latina, apoya este punto de vista al declarar que "si el tamaño mínimo de una muestra estadística es mayor a lo que es factible o económicamente posible llevar a cabo, es posible que los evaluadores de la capacitación se vean forzados a llegar a un compromiso utilizando una muestra más pequeña y aceptando los resultados que todavía podrían ser útiles, aun cuando no puedan ser utilizados para llegar a conclusiones válidas desde un punto de vista ‘estadístico’ ".

Se puede equilibrar la necesidad de obtener resultados precisos y la factibilidad mediante la determinación de una muestra que se aproxime lo más posible al tamaño de muestra recomendado, que represente las variables significativas de la población de individuos que se están capacitando que podría estar vinculada a su desempeño y le permita realizar la evaluación con los recursos disponibles.


Cómo Determinar Su Muestra para una EIC

Las respuestas a las siguientes preguntas le ayudará a determinar su muestra para una EIC.

1. ¿Cuántos eventos de capacitación está considerando para esta EIC? (Por ejemplo: ¿Solamente el último curso? ¿Todos los cursos ofrecidos en el último año? Todos los cursos ofrecidos desde el inicio de este tipo de capacitación? ¿Algún otro grupo de cursos?

2.¿Cuántas personas participaron en el evento o eventos de capacitación que usted está evaluando?

3.De acuerdo a la tabla de la página 10, ¿alrededor de cuántos participantes del curso de capacitación está n incluidos en su muestra para la EIC?

4.¿Cuáles son las características o variables principales que diferencian a los participantes uno de otro, y cuáles de estas variables considera usted que es más probable que afecten su desempeño?

5.¿Cuántos participantes representan cada una de las variables? ¿Cuántas personas necesitará incluir en una muestra estratificada para cada variable?

6.¿Qué recursos requerirá n los evaluadores para evaluar la muestra recomendada de participantes capacitados?

7.¿Cómo puede usted combinar el proceso de EIC con las actividades cotidianas de la organización o encontrar otras formas de lograr un uso más eficiente de los recursos disponibles para las visitas de campo de una EIC?

8.Considerando sus respuestas a las preguntas del 1 al 7, ¿cuál es la muestra más grande y factible de participantes capacitados que puede cubrir en esta EIC?




Selección y Preparación de Evaluadores

Aun los instrumentos bien diseñados pueden producir información deficiente si los evaluadores no los utilizan cuidadosamente y emplean su buen juicio en la forma menos parcializada posible. Para ayudar a mantener la objetividad, es útil dejar que los evaluadores trabajen en parejas—incluyendo una persona de la organización o programa y una de la organización de servicios. En aquellos casos en los que no es posible lograr un buen nivel de colaboración entre las organizaciones, cada organización debe trabajar con sus propios evaluadores y crear un ambiente en el cual se esperen evaluaciones honestas. Una EIC participativa funcionará solamente si cada una de las organizaciones involucradas desea saber la verdad y utilizar los hallazgos de la EIC para prestar mejores servicios de planificación familiar.

Una vez que haya escogido a los evaluadores, debe capacitarlos y proporcionarles alguna experiencia práctica en lo que respecta a la administración de cada instrumento antes de comenzar la evaluación. Para las pruebas, cuestionarios, observaciones, revisiones de expedientes, y preguntas cerradas de las entrevistas, los evaluadores deberían estar en condiciones de seguir las instrucciones exactamente y no introducir sus propias ideas. Cuando una entrevista incluye preguntas abiertas, la capacitación de los evaluadores debe incluir técnicas para el sondeo o para ayudar al entrevistado a ir más allá de su respuesta inicial y expresar sus propias ideas con mayor detalle. Los evaluadores deben estar también capacitados para registrar la información cuidadosamente y en forma inmediata con el objeto de manejar los requisitos logísticos e interpersonales de una visita de EIC además de manejar con tacto y eficacia las situaciones inesperadas.

Podría darse una situación especial cuando los evaluadores está n observando a un participante capacitado en su puesto de trabajo. Si ven que el individuo realiza un procedimiento en forma incorrecta o proporciona información inexacta a un cliente, podría ser difícil seguir manteniendo su papel de observadores neutrales. En las situaciones donde el incumplimiento con los estándares podría tener consecuencias graves para la salud, tales como los estándares para la inserción de los DIU o los procedimientos asépticos, los evaluadores deberían seguir su ética profesional y solicitar una corrección en ese mismo instante. Cuando intervienen, deberían anotar en el formulario las circunstancias de su intervención y la forma de la misma.


Recopilación de Información para la EIC

Cuando haya capacitado a sus evaluadores para que utilicen los instrumentos, éstos estará n listos para recopilar la información necesaria para una EIC. Su principal preocupación en este punto será de tipo logístico, tal como encontrar las oportunidades para economizar combinando la EIC con otras visitas regulares de la organización (particularmente las visitas rutinarias de supervisión y control), programar las visitas de modo que se pueda observar a la gente en un día normal de trabajo e informar a los administradores con respecto a las necesidades de los evaluadores antes del día de la visita. El cuadro de la página siguiente proporciona algunas sugerencias en cuanto a la forma de planificar y organizar los procesos de recopilación de información.

Con posterioridad a cada visita para la recopilación de información usted debería formular las siguientes preguntas a los evaluadores y administradores de las clínicas en cada lugar para asegurarse de que se hayan cumplido los planes:


¿Se disponía del tiempo suficiente para viajes y actividades en el lugar? ¿Los comentarios iniciales comunicaban el mensaje deseado y creaban un

ambiente confortable y no amenazante? ¿Se respetaba la privacidad durante las pruebas, entrevistas y observaciones? ¿Los evaluadores pensaban que los formularios eran fáciles de llenar? ¿La información provista por el personal con posterioridad a la visita era

informativa y exacta?

Si las respuestas a estas preguntas revelan problemas, discútalos inmediatamente y efectúe los ajustes necesarios a los procedimientos para las visitas posteriores.


Cómo...

Planificar y Organizar el Proceso de Recopilación de Información

Antes de efectuar su primera visita para recopilar información debería:

1.Revisar la muestra y planificar el número, secuencia y distribución de las visitas.

2.En conjunción con los evaluadores, utilizar la experiencia de las pruebas preliminares y la práctica para decidir cuánto tiempo necesitará n los evaluadores para cada visita. Incluya viajes, instrucciones, entrevistas, pruebas, observaciones, revisión de expedientes, registro de datos y rendición de informes. (Es mejor sobrestimar el tiempo que se necesitará para acomodar complicaciones inesperadas y evitar tener que acelerar algunas partes importantes de la visita.)

3.Utilizar la información de los puntos 1 y 2 para elaborar un horario para cada evaluador.

4.Ponerse en contacto con los administradores de las clínicas en cada lugar. La carta debe incluir detalles tales como los siguientes:

el propósito de la visita de EIC, los eventos más importantes y quiénes la fecha propuesta, hora de inicio, hora aproximada de conclusión y

horario general de la visita; números, tipos y nombres de la gente a ser entrevistada, y el tiempo

requerido para cada persona; los arreglos físicos y logísticos necesarios (espacio, privacidad, equipo,

suministros, expedientes, transporte).

5.Especifique el medio (carta, fax, teléfono, correo electrónico, etc.) por el que el administrador de la clínica debería confirmar estos detalles o proponer alternativas, y una fecha en la cual usted espera recibir una respuesta.


Paso 3:

Análisis de la Información



El propósito del análisis de la información es revelar las categorías y patrones de los datos no procesados que, al ser organizados, revelará n información útil para usted. Para lograr esto necesitará agrupar los datos de modo que pueda analizar y resumir la información. Si está evaluando una muestra grande de participantes capacitados, es posible que requiera de la ayuda de un experto en estadística y que necesite emplear una computadora y un programa de estadística. Sin embargo para la mayor parte de las EIC podrá realizar análisis simples sin necesidad de recurrir a una computadora.

Tabulación de datos. Debería comenzar por tabular los datos de cada lugar y para cada indicador, sumando la información obtenida de toda la gente que fue sometida a la prueba, observada o entrevistada y calculando los porcentajes del número total de gente de la muestra que se desempeñó en forma aceptable, no aceptable o excelente de acuerdo con los estándares de dicho indicador. Por ejemplo, la tabulación podría revelar que seis de cada siete trabajadores de campo en el Lugar Y (85,7%) estaban realizando visitas domiciliarias con sujeción a sus planes de trabajo en la forma que fueron capacitados. En realidad uno de los seis estaba asistiendo a los demás trabajadores de campo a utilizar sus planes de trabajo.

Cómo agregar los datos. Se pueden agregar los datos de todos los lugares visitados para encontrar el porcentaje general de desempeño aceptable. Por ejemplo, los datos agregados podrían mostrar que las entrevistas en los 11 lugares con 11 supervisores capacitados durante el año anterior, así como sus seis administradores de proyecto y 16 trabajadores de campo a los cuales supervisan, revelaron que 5 de los supervisores (45,5%) proporcionaban una retroalimentación a sus supervisados en forma regular y efectuaban un seguimiento en cuanto al cumplimiento de sus recomendaciones en la forma que se les había enseñado.

El siguiente modelo de formulario para la rendición de informes constituye una herramienta útil para presentar las tabulaciones.


Formulario para la Rendición de Informes Referentes a laObservación de los Trabajadores de Campo

Observación

Norma Aceptable

Número de Observa-ciones que Cumplen con la Norma

Porcentaje del Total de Observa-cienes

Comentarios

El trabajador de campo se presentó

El 100% debe presentarse

Sí: 30

No: 5

85,8%

14,2% Dos trabajadores de campo no dieron sus nombres claramente. Tres no dieron sus nombres.

El trabajador de campo describió los

Se describen por lo menos 6

Sí: 32

No: 3

91,4%

8,6% Sin comentarios


métodos de planificación familiar a un cliente

métodos

El trabajador de campo ofreció métodos de planificación familiar

Se ofrecen por lo menos 6 métodos

Sí: 25

No: 10

71,4%

28,6% En las clínicas con mayor cantidad de clientes, los trabajadores de campo tienden a ofrecer tres métodos o menos.

El trabajador de campo explicó donde se podían obtener los métodos

Se explica cuál es la fuente de suministros para todos los métodos ofrecidos

Sí: 28

No: 7

80,0%

20,0% Dos trabajadores de campo no explicaron cuál era la fuente de los suministros. Cinco dieron explicaciones poco claras.

El trabajador de campo explicó correctamente las ventajas y desventajas de cada método ofrecido

Las ventajas y desventajas son explicadas correctamente para todos los métodos ofrecidos

Sí: 28

No: 7

80,0%

20,0% Un trabajador de campo estaba mal informado con respecto a varios métodos. Seis cometieron errores al explicar uno o dos métodos.

El trabajador de campo mostró materiales educativos y de IEC

Se muestra un ítem de IEC para cada método descrito

Sí: 26

No: 9

74,3%

25,7% Un trabajador de campo no mostró ningún tipo de materiales. Ocho no mostraron materiales para diversos métodos. que describieron

El cliente escogió el método

El cliente indica qué método le gustaría

Sí: 28

No: 7

80,0%

20,0% Dos clientes deseaban más tiempo para pensar acerca de los métodos ofrecidos. Tres deseaban consultar con sus esposos. Dos no mostraron interés en ningún método.

Tabulaciones cruzadas. Después de agregar los datos se pueden efectuar tabulaciones cruzadas para describir las relaciones entre dos variables diferentes en los diferentes conjuntos de datos. Por ejemplo, la tabulación cruzada que se encuentra a continuación incluye las prácticas de consejería de los trabajadores de campo que fueron observadas y su carga promedio de clientes registrada en las estadísticas de servicio. Las tabulaciones cruzadas muestran que de los diez trabajadores de campo que no cumplieron con la norma de explicar las ventajas y desventajas de los métodos, ocho trabajaban en las clínicas que atienden un mayor número de clientes.


Modelo de Tabulación Cruzada Comparación entre el Desempeño de la Consejería y la Carga Diaria de Clientes

Gráfico no incluido en esta versión

Desglose de los datos. También encontrará de utilidad la desagregación de los datos o el desglose de los mismos en unidades más pequeñas. Por ejemplo, si ninguno de los paramédicos que fueron observados en su clínica obtuvo una calificación perfecta en lo referente a la asepsia, podría existir una variación considerable en cuanto al nivel de desempeño aceptable para los diferentes aspectos de la asepsia. La desagregación podría revelar que todos ellos limpiaron los instrumentos con agua y detergente, la mayoría de ellos descartó apropiadamente las jeringas y agujas usadas, pero solamente algunos de ellos guardaron los instrumentos apropiadamente después de esterilizarlos.


Paso 4:

Interpretación de la Información

Recuerde que el propósito de una EIC es mostrar el impacto de la capacitación sobre el desempeño e identificar los factores de tipo organizacional y del entorno que también podrían afectar el desempeño de los participantes. La interpretación de la información podría acercarle a una mejor comprensión de la influencia relativa de cada uno de estos factores. Una vez que haya analizado los datos de la EIC estará en condiciones de interpretar sus hallazgos.


Cómo...

Interpretar los Hallazgos de una EIC

1.Identifique los indicadores que muestran los porcentajes más altos y más




bajos de desempeño aceptable con sujeción de los estándares de desempeño establecidos.

2.Revise los formularios de los participantes individuales en los grupos con un nivel de rendimiento alto y bajo. Busque las características o variables que puedan estar relacionadas con el desempeño de cada persona.

3.Para los que se encuentran en la categoría de rendimiento bajo, emplee el árbol de decisiones de la siguiente página para interpretar las causas probables de dicho desempeño deficiente.

4.Identifique las características que parecen tener relación con los diferentes niveles de desempeño. Por ejemplo, el nivel de educación, las políticas de la organización, las oportunidades que tienen los individuos capacitados para practicar sus habilidades, el curso tomado, el capacitador, o las actitudes de la comunidad local con respecto a la planificación familiar.

5.Utilice toda esta información para decidir cuándo los niveles de conocimiento, habilidades o actitudes en particular parecen constituir el meollo de un problema muy difundido o la base del éxito en general, y cuándo los factores de tipo organizacional o del entorno parecen ser la causa de los mismos. Por ejemplo, una campaña religiosa conservadora reciente, los procesos electorales o los cambios en el financiamiento o en el liderazgo.

6.Revise sus hallazgos y considere las siguiente preguntas:

o ¿Qué participantes han cumplido con los estándares de desempeño? o ¿Qué participantes no han cumplido con los estándares de

desempeño? o ¿A qué puede deberse la diferencia? o Si los participantes todavía presentan debilidades en lo que respecta a

los conocimientos, habilidades o actitudes enseñadas en el curso de capacitación, ¿qué parte del curso de capacitación podría ser el causante de esto? (Considere los objetivos de la capacitación, el contenido, el tiempo dedicado a las prácticas, la selección de lugares para las prácticas, las técnicas de capacitación, la selección de participantes/capacitadores o una combinación de cualquiera de estos.)

o Si los participantes pueden recordar el contenido del curso de capacitación pero no pueden poner en práctica sus conocimientos cuando usted los observa, ¿qué factores organizacionales podrían ser los causantes de esto? Considere una escasez de suministros o equipos, un número demasiado grande de clientes, la falta de incentivos para premiar un buen desempeño, la ausencia de consecuencias cuando el desempeño es inaceptable, la supervisión inadecuada o una combinación de todos estos factores.

o ¿Qué factores del entorno podrían impedir un desempeño aceptable? Por ejemplo, la resistencia de los líderes comunitarios, cuestiones de género, barreras físicas que impidan el acceso, rumores o una combinación de todos estos factores.

o ¿Encontró ejemplos de desempeño excelente? ¿Qué aspectos de la

capacitación, apoyo organizacional o comunitario que posiblemente hayan contribuido a un buen desempeño, deberían mantenerse? ¿Pueden introducirse algunos de estos factores en medios donde los cambios son necesarios?

Toda vez que identifique un individuo cuyo desempeño es inferior a las expectativas, un á árbol de decisiones puede ayudarlo a determinar si la capacitación es la mejor solución para resolver dicho problema en particular. El modelo de á árbol de decisiones que presentamos a continuación muestra cómo adoptar dicha determinación. Grafico no incluido en esta versión


Paso 5:

Informe sobre los Hallazgos

El punto central de cualquier informe de EIC es conducir un análisis exhaustivo y una interpretación cuidadosa de la información. Si ha completado los Pasos del 1 al 4 en forma efectiva, la redacción y presentación de un informe de sus hallazgos no será difícil.

Redacción del Informe Escrito

Su informe escrito será muy útil si incluye todas las secciones necesarias y comunica en forma efectiva los propósitos y hallazgos de la EIC. Debería elaborar y redactar el informe teniendo en mente una audiencia en particular. La audiencia debe incluir a todos los individuos que inicialmente demostraron su preocupación acerca del desempeño del personal y los encargados de tomar decisiones que está n en posición de apoyar activamente o actuar en base a las recomendaciones contenidas en el informe. Antes de finalizar el informe, debería hacer circular un borrador entre las personas clave para que lo revisen. Una vez que haya concluido el informe y lo haya distribuido, deberá encontrar el tiempo suficiente y un lugar apropiado para que los administradores clave de cada organización se reúnan y discutan los hallazgos con el objeto de determinar qué medidas se deberían adoptar. Puede utilizar la lista de verificación de la siguiente página como una guía para preparar el informe.

Exposición Oral

Si está recomendando cambios sustanciales en la capacitación o a nivel del apoyo organizacional, podría efectuar una exposición oral del informe. Si lo hace, es importante decidir quién puede realizar dicha exposición en forma más efectiva, cuál es el momento más apropiado para hacerla, y quiénes deberían asistir a dicha presentación. Siguiendo algunas reglas simples, su exposición será convincente y usted tendrá un mayor chance de lograr el apoyo de los encargados de tomar decisiones para los cambios que está recomendando.


Pautas para las Exposiciones Orales

Entiende: Familiarícese muy bien con el material que está presentando.



Practique: Ensaye su exposición. Manténgala Corta y Simple: No debe durar más de 40 minutos. Subraye los Puntos Más Importantes: Exponga rápidamente las

principales conclusiones y recomendaciones. Utilice Material Visual: Utilice listas, gráficas, diagramas y tablas cuando

sea posible para apoyar los puntos más importantes (asegúrese de que las transparencias y gráficas contengan imágenes grandes que sean fáciles de ver para la audiencia).

Establezca Contacto Visual con la Audiencia: Dirija su vista hacia la audiencia mientras habla.

Conceda Tiempo Adicional: Permita que los oyentes formulen preguntas y discutan ciertos aspectos ya sea durante la presentación en sí o después de la misma.

Sea Puntual: Llegue antes de la hora fijada a fin de asegurarse que la sala haya sido acomodada apropiadamente y que todo el equipo audiovisual esté en buenas condiciones de funcionamiento.

Recuerde que tanto en los informes escritos como orales la identidad de los participantes debe mantenerse confidencial.


Preparación del Informe Escrito

La siguiente lista de verificación le ayudará a organizar su informe y asegurarse de que incluya toda la información necesaria para cumplir con los objetivos de la EIC.

El informe debe estar fechado claramente.

El propósito del informe debe ser claro.

Para usted está claro cuál será la audiencia del informe, y tiene expectativas claras en cuanto al uso que dicha audiencia le dará .

El informe especifica los eventos de capacitación que está n siendo evaluados y el período de tiempo durante el cual se realizaron.

El informe incluye todos los componentes necesarios:

I. Resumen ejecutivo

II. Detalles de los eventos de capacitación que está n siendo evaluados

A. Período de tiempo

B. Número de veces que se ofrecieron

C. Número de participantes

D. Responsabilidades clave de los participantes en sus puestos de trabajo


E. Propósito y objetivos de los eventos de capacitación

F. Áreas de contenido clave

III. Metodología

A. Composición del equipo de evaluación

B. Objetivos de la evaluación

C. Selección de la muestra (tamaño, características)

D. Número y ubicación de los lugares visitados

E. Instrumentos empleados

IV Análisis de los hallazgos

V. Interpretación

VI. Recomendaciones (cambios o mantenimiento de la capacitación, sistemas y procedimientos organizacionales y factores ambientales)

VII. Anexos que podrían incluir instrumentos y análisis de datos. La identidad de los participantes no debe revelarse.

La cantidad de detalles es apropiada para las necesidades de su audiencia.

La información se presenta de una manera interesante y comprensible, incluyendo gráficas que ayudan a aclarar sus hallazgos.

El informe no contiene información innecesaria. Todas las discusiones son relevantes para los propósitos del informe y ayudan a explicar los hallazgos y las recomendaciones.

Adaptado del Manual del Administrador de Planificación Familiar, Management Sciences for Health, Boston, MA, 1994..


Paso 6:

Implementación de Cambios

En este paso, los administradores de mayor jerarquía vuelven a ingresar al proceso de EIC con el fin de apoyar al equipo de evaluación y ayudar a realizar los cambios recomendados de modo que los participantes logren el nivel de desempeño que se espera de ellos en sus puestos de trabajo. Los tipos de cambios necesarios podrían incluir la revisión del curso de capacitación, llegar a un acuerdo con respecto a un nuevo programa de capacitación o una revisión del programa o del curso en sí en conjunción con la organización a cargo de la capacitación además de cambiar los procedimientos o sistemas organizacionales.


En este punto es importante mantener el proceso colaborativo e impulsar el cambio. Dependiendo de los hallazgos se decidirá qué organizaciones deben asumir la responsabilidad del seguimiento de dichos hallazgos. La siguiente tabla proporciona algunos ejemplos y las responsabilidades correspondientes de las dos organizaciones modelo.

Responsabilidades para Actuar en Base a las Recomendaciones de la EIC

Hallazgo de la EIC Organización Responsable y Acciones

La capacitación efectiva fue la causa principal del desempeño aceptable y excelente.

Tanto la organización de capacitación como la que presta servicios, con el fin de mantener la calidad de la capacitación y ampliar dicha capacitación a otros miembros del personal cuyas responsabilidades sean similares a las de los participantes evaluados en la EIC.

La capacitación inefectiva fue la causa principal del desempeño inaceptable.

La organización de capacitación para mejorar dicha capacitación.

El problema más difundido del desempeño estaba vinculado a las calificaciones o características de los participantes, y no era susceptible de corrección mediante la capacitación.

Tanto la organización de capacitación, como la de servicios a fin de :

mejorar el proceso de selección de participantes; adaptar la capacitación para cubrir las necesidades de grupos especiales de participantes.

Los problemas de desempeño estaban vinculados primordialmente a los sistemas o procedimientos organizacionales y no eran susceptibles de corrección mediante la capacitación.

La organización de servicio cuyo personal ha sido capacitado, para mejorar los sistemas o procedimientos para:

asegurar que el participante trabaje en un medio positivo donde se puedan implementar los conocimientos, actitudes y habilidades (CAH) aprendidos; proporcionar una supervisión dirigida con posterioridad a la capacitación para reforzar las nuevas habilidades.

Los problemas de desempeño estaban relacionados con el entorno a nivel local.

La organización de servicio, que debe buscar la forma de fortalecer la concientización a nivel comunitario y lograr mayor apoyo para el programa.

Al igual que el proceso de EIC revela dónde se necesitan acciones correctivas, también puede indicar qué condiciones llevan al éxito. Los administradores de las organizaciones de capacitación pueden utilizar estos conocimientos para proporcionar

apoyo a su personal y para actualizar y mejorar los cursos, o para crear métodos y materiales nuevos e innovadores (casos de estudio, visitas de campo, escenificaciones y actuaciones, juegos, simulaciones, etc.) parecidos a los que funcionaron bien durante el curso. Los administradores de las organizaciones de servicio deberían implementar cambios en los procedimientos y sistemas que facilitará n el trabajo del personal, como ser una asignación más realista de las funciones, una supervisión más consistente orientada a proporcionar un mayor apoyo, una logística más eficiente o intervenciones comunitarias más sólidas.


Cómo Manejar la Resistencia al Cambio

A menudo es difícil proponer cambios al interior de una organización. El administrador que inicia el proceso de EIC asume un riesgo al instar al personal a analizar honestamente la efectividad de la organización y formular recomendaciones para realizar cambios en base a la mejor evidencia disponible. Pero no es solamente el administrador el que asume dicho riesgo ya que es posible que los miembros del personal se resistan a cambiar la forma en la que realizan su trabajo. Los cambios propuestos podrían amenazar la seguridad del personal o su sentido de competencia, haciendo que se sientan más temerosos ante el fracaso o destruyan su bienestar en los patrones de trabajo existentes. Como administrador, usted debe asegurarse de informar al personal acerca de las conclusiones y recomendaciones de la EIC de modo que todos puedan responder a los hallazgos antes de que comiencen los rumores.

Si usted cuenta con el apoyo de sus superiores, compañeros de trabajo y personal a nivel del proceso de EIC probablemente pueda obtener su ayuda para implementar las recomendaciones. Una forma efectiva de lograr el cambio es reunir a los representantes de todas las organizaciones involucradas, compartir el informe con ellos, responder a sus preguntas y preocupaciones e involucrarlos en el desarrollo de un plan de acción para el cambio cuando esté indicado—en las á reas de capacitación, apoyo organizacional para los participantes o a nivel del ambiente de trabajo. Si los cambios propuestos amenazan la seguridad del personal o los incentivos en sus puestos de trabajo, necesitará comprender cuáles son las preocupaciones del personal afectado y proporcionarles nuevas oportunidades de capacitación o cualquier otro tipo de apoyo para minimizar dicha amenaza. Usted podrá llevar adelante el proceso de cambio solamente dentro de un contexto honesto, positivo y claro para los cambios que se avecinan.

Revisión de los Cursos de Capacitación

Cuando el proceso EIC señala la necesidad de efectuar cambios en la capacitación, es útil considerar:

los objetivos identificados para el evento de capacitación: los conocimientos, actitudes y habilidades (CAH) que la capacitación debería impartir a los participantes;

las tareas que se espera que los participantes realicen de manera diferente en sus puestos de trabajo como resultado de la capacitación recibida;

la medida en la cual el contenido y el énfasis de la capacitación reflejan las responsabilidades cotidianas de los participantes;


los métodos y técnicas de capacitación que probablemente aseguren que los participantes puedan aplicar sus nuevos conocimientos, actitudes y habilidades (CAH) al reincorporarse a sus puestos de trabajo;

el estilo y la experiencia del capacitador; las formas en las que la capacitación debería adaptarse a las características

educativas y geográficas, así como al idioma y otras características de los participantes.

Los hallazgos de la EIC sirven como una evaluación de base para un curso revisado y proporcionan una perspectiva que ayuda a los capacitadores a hacer que el curso sea relevante a nivel de las actividades cotidianas de los participantes.

Cómo Llegar a un Acuerdo sobre un Nuevo Curso de Capacitación o una Revisión del Mismo

Cada evento de capacitación se basa inicialmente en las expectativas de por lo menos tres partes interesadas—los que proporcionan la capacitación, los que envían a su personal para que se capacite y los participantes. Cada una de estas partes tiene una idea acerca de los resultados que espera del evento, pero cuando dichas expectativas difieren, muy raras veces se comunican estas diferencias y es posible que todos terminen desilusionándose con los resultados de la capacitación. Es por este motivo que antes de llevar a cabo cualquier evento adicional de capacitación es crucial que todas las partes involucradas discutan con respecto a sus expectativas y lleguen a un acuerdo sobre el material que se utilizará para la capacitación. A pesar de que a menudo se desestima este tipo de negociación, ésta constituye un elemento muy importante.


Aclarar las Expectativas para un Evento de Capacitación

Antes de planificar un evento de capacitación, los representantes de la organización responsable de dicha capacitación y los de la organización beneficiaria deberían reunirse para aclarar sus expectativas y negociar un acuerdo con respecto a los resultados de dicha capacitación.

La organización que envía a su personal para que sea capacitado debería prepararse para la reunión elaborando una lista escrita de sus expectativas o requerimientos, especificando los conocimientos, actitudes y habilidades que desea que los miembros del personal (los participantes en perspectiva) adquieran. Dicha lista debería ser enviada con anticipación a la organización o programa encargado de ofrecer la capacitación.

La organización que está proporcionando la capacitación debería considerar con anticipación cada ítem de la lista y en la reunión debería indicar:

Qué resultados pueden lograrse a través de la capacitación; Qué resultados no pueden lograrse a través de la capacitación; Qué resultados no son realistas a la luz de la capacidad y recursos de la

organización encargada de la capacitación.

Los usuarios y proveedores de capacitación juntos deberían:


Ponerse de acuerdo en cuanto a los resultados por los cuales se responsabilizará la organización encargada de la capacitación;

Revisar el contenido relevante del curso, los recursos (la información, los formularios, pautas, etc.) que los capacitadores necesitará n y las pruebas que las partes aceptarán, y que demuestren que se han cumplido los requisitos;

Ponerse de acuerdo sobre quién será responsable de las diferentes actividades o tareas;

Ponerse de acuerdo sobre los resultados que está n fuera del alcance del curso de capacitación y buscar alternativas para que la organización o programa de servicios genere estas habilidades a nivel del personal (tales como otro curso, capacitación en el trabajo, un mayor apoyo del equipo de supervisión o servicios de extensión comunitaria);

Ponerse de acuerdo sobre el "perfil del participante" (las calificaciones que se requiere de las personas que asistirá n al curso).

Si se desea llegar a una conclusión formal de dicha reunión, los representantes de ambas organizaciones pueden preparar un memorándum escrito que resuma todos los elementos de la discusión.


Cómo Cambiar los Procedimientos o Sistemas Organizacionales

Si la EIC muestra que los participantes en general han adquirido nuevos conocimientos, actitudes y habilidades pero que no pueden aplicarlos en sus puestos de trabajo, la organización que los emplea debería revisar las políticas y procedimientos de la organización. Las nuevas habilidades se pueden perder rápidamente si no se ofrece apoyo al personal capacitado para que realice sus tareas en la forma aprendida durante el curso de capacitación.

No es fácil cambiar los procedimientos organizacionales. A menudo los procedimientos han sido fijados por autoridades de mayor jerarquía y tienen un carácter definitivo. El argumento más convincente para el cambio es la prueba clara y bien documentada de que a pesar del hecho que el personal posee la capacidad para realizar el trabajo, los procedimientos organizacionales evitan que el personal logre sus metas. Los administradores que han participado en el proceso de EIC desempeñan un papel preponderante en lo que respecta a apoyar al personal y trabajar para desarrollar y/o revisar las políticas y procedimientos con los supervisores de modo que la organización pueda continuar mejorando su capacidad para prestar servicios de alta calidad a sus clientes.

Soluciones Factibles—Repúblicas del Asia Central -- Cómo Llevar a Cabo un Evaluación del Impacto de la Capacitación

En 1995 un equipo de evaluación de cuatro personas compuesto por miembros del personal de AVSC International y algunos consultores evaluaron el impacto de la capacitación de la AVSC en 10 lugares de las Repúblicas del Asia Central. La AVSC capacitaba médicos en métodos de planificación familiar y técnicas de consejería a través de seminarios sobre tecnologías anticonceptivas y talleres prácticos. Algunos de los participantes posteriormente comenzaron a capacitar a


otros médicos y enfermeras.

El Proceso

Los evaluadores emplearon las siguientes técnicas e instrumentos para evaluar los CAH de los médicos y de otros miembros del personal de planificación familiar:

Entrevistas exhaustivas con los médicos a fin de evaluar sus conocimientos y actitudes y con los administradores de servicios para evaluar las actitudes;

Observación de los servicios utilizando guías y listas de verificación con el objeto de evaluar las habilidades en el campo de la consejería, inserción de DIU, prevención de infecciones y minilaparotomías;

Revisión de las estadísticas de servicio correspondiente al período anterior y posterior a la capacitación.

Los Resultados

En general, los resultados de la EIC fueron muy positivos. La información de la EIC mostró una mayor receptividad de los proveedores en lo referente a los anticonceptivos orales, los inyectables y los DIU con posterioridad al curso, y también se notó un incremento en el uso de estos métodos. Los médicos se mostraron particularmente satisfechos porque la capacitación les había permitido escuchar por primera vez información acerca de todos los métodos de planificación familiar en un solo curso, lo que les ayudó a comprender mejor los beneficios de cada método en particular.

Los resultados de la evaluación indicaron que la actitud de los médicos se había vuelto más respetuosa en lo que concernía al papel que desempeñaban los clientes en la elección de un método, y se observó que el número de abortos había disminuido en algunos lugares.

La EIC reveló también algunas á reas donde se podían implementar mejoras. La capacitación en la prevención de infecciones tuvo muy poco impacto porque los participantes no consideraron que la información impartida era nueva. Esta sesión fue revisada posteriormente para que incluyera información acerca de los estándares locales para la prevención de infecciones. Los participantes también pensaron que no se daba el énfasis suficiente a la consejería referente a los riesgos de las ETS. A partir de entonces se ha incluido más información sobre ETS en todas las actividades de capacitación.

En base a la EIC, el equipo de evaluación determinó que los lugares donde trabajaban los participantes podrían servir como modelos de planificación familiar donde se podrían ofrecer cursos de capacitación sobre anticonceptivos en el futuro.


Continuidad del Proceso de EICAl finalizar el proceso, habrá aprendido mucho acerca de los participantes capacitados, el trabajo que éstos realizan, las organizaciones que los emplean y la efectividad de la


capacitación. Como resultado de ello, la organización encargada de la capacitación probablemente logre introducir mejoras significativas al curso incluyendo la revisión del proceso de selección de participantes; la aclaración de las expectativas con representantes de la organización cuyo personal será capacitado; la actualización, adaptación o revisión del programa; la adición de ejercicios para que sean aplicados, o la inclusión de los supervisores de los participantes en la planificación del curso.

Cuando concluyan la revisión del curso, los administradores se convertirá n nuevamente en evaluadores y es posible que decidan:

Realizar una evaluación dirigida de los insumos, el proceso y el producto (ver la página 3) con el objeto de ver si los cambios implementados producen algún resultado con respecto a los insumos del curso, las opiniones de los capacitadores y de los participantes del curso y la adquisición inmediata de conocimientos, actitudes y habilidades;

Conducir una mini EIC seis meses después, tomando como punto central los temas referentes al desempeño que generaron la EIC anterior y determinar si los problemas fueron resueltos;

Realizar una evaluación del impacto del curso de capacitación sobre un conjunto nuevo de habilidades y comportamientos (que no fueron considerados en la anterior EIC), con miras a mejorar otros componentes o módulos del curso;

Trabajar en conjunción con algún miembro de la organización de servicios a fin de averiguar si los procedimientos organizacionales recientemente cambiados permiten que las nuevas habilidades sean aplicadas;

Trabajar con los participantes, sus supervisores y administradores para asegurar que se mantengan los mecanismos de supervisión y retroalimentación que apoyan a los participantes capacitados en sus puestos de trabajo.

Al efectuar un seguimiento de una EIC, usted podrá demostrar en qué forma la realización de una EIC se paga por sí sola al mejorar la capacidad del personal para realizar su trabajo en forma efectiva. De esta manera, una capacitación más relevante, efectiva y cuidadosamente planificada puede contribuir a lograr la meta final de poner servicios de planificación familiar de alta calidad a disposición de todos.


Referencias

Abbatt, F. R. Teaching for Better Learning: A Guide for Teachers of Primary Health Care Staff. Organización Mundial de la Salud, Ginebra, 1992. Publicado en inglés, francés y español.

Buxbaum, A. Training Impact Evaluation Workbook. Family Planning Management Development, Management Sciences for Health, Newton, MA, 1995.

Feuerstein, M. -T. Partners in Evaluation: Evaluating Development and Community Programmes with Participants. The MacMillan Press Ltd. London, 1993.

Guilbert, J. -J. Educational Handbook for Health Personnel. Organización Mundial de la Salud, Ginebra, 1992. Publicado en inglés y francés.

Light, R. J., J. D. Singer, and J. B. Willett. By Design. Harvard University Press, Cambridge, MA, 1990.


Scholl, E. A. Manual de Evaluación de la Capacitación para Planificación Familiar. Development Associates, Inc., Arlington, VA, 1987.

Werner, D. and B. Bower. Helping Health Workers Learn. The Hesperian Foundation, Palo Alto, CA, 1995. Publicado en inglés y español.

Wolff, J., L. Suttenfield, and S. Binzen, eds. Manual del Administrador de Planificación Familiar: Técnicas para Mejorar la Gestión de Programas. Management Sciences for Health in Boston, MA, 1994.

Light, R. J., J. D. Singer, and J. B. Willett. By Design. Harvard University Press, Cambridge, MA, 1990.

Scholl, E. A. Family Planning Training Evaluation Manual. Development Associates, Inc., Arlington, VA, 1988.

Werner, D. and B. Bower. Helping Health Workers Learn. The Hesperian Foundation, Palo Alto, CA, 1995. Publicado en inglés y español.

Wolff, J., L. Suttenfield, and S. Binzen, eds. Manual del Administrador de Planificación Familiar: Técnicas para Mejorar la Gestión de Programas. Management Sciences for Health, Boston, MA, 1994.


Comentarios de los Revisores

Foro para discutir las aplicaciones adicionales de los conceptos y técnicas presentados en Actualidad Gerencial

Nuestros revisores ofrecieron los siguientes comentarios y ejemplos extraídos de su propia experiencia al realizar evaluaciones del impacto de la capacitación.

Sobre la manera de llegar a un acuerdo con respecto a la capacitación... Un revisor enfatizó, "Es importante comprender la diferencia entre la negociación referente al desarrollo de un nuevo curso y la negociación referente a la repetición del mismo curso. El tema central de las negociaciones para un nuevo curso consiste en aclarar las necesidades expresadas o los problemas percibidos, y como resultado de esto se obtiene una gran cantidad de información que facilita las negociaciones acerca del curso que se va a repetir. Es también importante darse cuenta que las negociaciones difieren de acuerdo al personal involucrado en las mismas. Es posible que el personal administrativo que se hace cargo de la logística de programación y capacitación no esté interesado en el contenido de un curso, en tanto que los capacitadores se preocupará n más acerca de la metodología y el contenido del curso y es posible que utilicen un vocabulario especializado."

Sobre las lecciones aprendidas acerca de la EIC... Un revisor declaró, "Una de las lecciones de la EIC es que en los casos donde la observación de las prácticas es esencial y los participantes se encuentran dispersos a través de todo el país, los evaluadores invertirá n mucho tiempo en llevar a cabo la evaluación. Es posible que se invierta mucho más tiempo en viajes que en recopilar información. El presupuesto para una EIC aumentará mucho a raíz de los viáticos y gastos de los evaluadores. Una segunda lección indicó que las agencias


de financiamiento y las ONG pueden mostrarse reticentes en lo que respecta a las EICs porque confunden la EIC interna de un curso específico con una evaluación externa de las actividades clínicas de los centros que reciben apoyo de las ONG. La comunicación abierta y las aclaraciones son esenciales para evitar este tipo de malos entendidos."

Sobre la cobertura de las necesidades prácticas de los participantes... Otro revisor informó, "Cuando las entrevistas de los participantes revelaron que éstos pensaban que no contaban con el tiempo suficiente y que el número de clientes era insuficiente para practicar durante las sesiones de capacitación, las clases prácticas se trasladaron al lugar de trabajo donde los participantes podían practicar con un mayor número de clientes."

Sobre el logro de los objetivos de la organización... Otro revisor relató, "Cuando las estadísticas de los servicios revelaron que no se ofrecían los DIU, después de efectuar averiguaciones adicionales se revelaron las actitudes negativas del personal capacitado en la inserción de DIU así como el traslado del personal a otros departamentos en los que no podían emplear dichas habilidades. Como resultado de esto, la capacitación en grupo fue reemplazada por capacitación en el trabajo; los servicios de inserción de DIU fueron integrados a los procedimientos de detección de infecciones del tracto genital y urinario."

Sobre las presentaciones orales contundentes... Otro revisor reportó, "Cuando el personal del Ministerio de Salud no tenía una opinión sólida acerca de la calidad del trabajo realizado por los voluntarios de un proyecto de Distribución Comunitaria, el personal de dicho proyecto se aseguró de que los resultados de la evaluación del proyecto fueran presentados dentro del marco de los objetivos del proyecto y los logros cuantitativos del mismo. Para hacer presentaciones dinámicas, el personal del proyecto empleó expositores sucesivos y mostró los materiales del proyecto, tales como batas quirúrgicas y mochilas en la sala de reuniones. Los expositores lograron captar la atención de la audiencia difundiendo un ‘spot’ radial traducido del quechua, un idioma hablado en muchas de las comunidades donde trabajaban los voluntarios del proyecto de Distribución Comunitaria. El personal del Ministerio abandonó la sala donde se efectuó la presentación sintiendo un respeto renovado por la dedicación de los voluntarios del proyecto de Distribución Comunitaria para promocionar los servicios de salud a nivel de su gente."

Lista de Verificación para Evaluar el Impacto de la Capacitación

Preparación para Recopilar Información

¿Cuáles son las tareas más críticas para el desempeño efectivo de los participantes capacitados en sus puestos de trabajo?

¿Cuáles de esas tareas requieren habilidades que se enseñan en el curso que usted ha decidido evaluar?

¿Qué se puede observar en el sitio de trabajo que indique que el capacitado está desarrollando su tarea de acuerdo a los estándares?

¿Qué métodos e instrumentos de evaluación revelará n mejor si está n presentes los indicadores de un desempeño aceptable y si se están cumpliendo los estándares?

¿Son dichos instrumentos válidos y confiables?

¿Qué necesitan los evaluadores para saber cómo emplear los instrumentos en forma competente?

¿Cuántos participantes deberían ser y pueden ser visitados para obtener una imagen exacta dado el tiempo, el dinero y el personal disponibles?

Recopilación y Análisis de la Información

¿Los aspectos logísticos permiten el tiempo suficiente para viajar y completar la evaluación y garantizar que estén disponibles las personas, el equipo, los suministros y los expedientes apropiados?

¿Se asegura la privacidad mientras se entrevista, examina u observa a los entrevistados?

¿Qué porcentajes de desempeño de los participantes cumplen o no cumplen con los estándares establecidos para cada indicador?

¿Qué factores está n relacionados con un desempeño aceptable, inaceptable y excelente?

Interpretación, Información e Implementación de Cambios

¿En qué medida están estos hallazgos relacionados con la capacitación, los procedimientos organizacionales o los factores del entorno?

¿Qué aspectos de la capacitación, procedimientos organizacionales o factores del entorno y apoyo comunitario deberían cambiarse? ¿cuáles deberían mantenerse? y ¿por qué?

¿Cuál es la audiencia idónea para efectuar la presentación del informe de EIC y en qué forma se puede presentar mejor la información?

¿Quién debería implementar las recomendaciones de la EIC y el apoyo de quién se requerirá ?

Documents

Evaluar el Impacto de la Capacitación en el … · Web view14,2% Dos trabajadores de campo no dieron sus nombres claramente. Tres no dieron sus nombres. El trabajador de campo describió