Métodos y técnicas de Evaluación en OTL 1

ME�TODOSYTE�CNICASDEEVALUACIO�N

ENOCIOYTIEMPOLIBRE

Escuela de OTL Peñas Blancas

Febrero 2014

Irene Pérez Esteban

Índice de contenidos

¿Qué es evaluar? ...................................................................................................................... 2

¿Para qué evaluamos? .............................................................................................................. 3

PLANIFICACIÓN DE LA INTERVENCIÓN ................................................................................... 3

EJECUCIÓN DE LO PROGRAMADO ......................................................................................... 8

EVALUACIÓN FINAL ............................................................................................................... 8

Tipos de evaluación ............................................................................................................... 9

Anexo I. Ejemplo de Encuesta de Satisfacción para participantes ............................................ 11

Anexo II. Ejemplo de Evaluación para Monitores ..................................................................... 12

Anexo III. Ejemplo de Diana de Evaluación .............................................................................. 14

Anexo IV. Ejemplo de Evaluación “No Estándar” ..................................................................... 15

Métodos y técnicas de Evaluación en OTL 2

¿Qué es evaluar?

Según la RAE (Real Academia Española) evaluar significa:

1. Señalar el valor de algo.

2. Estimar, apreciar, calcular el valor de algo.

3. Estimar los conocimientos, aptitudes y rendimiento de los alumnos.

En este sentido, "no evaluar por evaluar, sino evaluar para mejorar los programas y sus resultados, la organización de las tareas y la transferencia a una más eficiente apuesta metodológica". Coletivo Tándem

Hace años éramos unos locos/as quienes proponíamos hacer evaluaciones de las intervenciones en OTL, parecía una pérdida de tiempo. En general, se ha avanzado hacia procesos de mejora continua en las intervenciones donde la evaluación es un aspecto clave.

Hoy en día, la evaluación ha cobrado un gran protagonismo en el ámbito de ocio y tiempo libre, y no porque se trate de un tema nuevo en absoluto, sino porque administradores, monitores, coordinadores, empresas, padres, alumnos y toda la sociedad en su conjunto, somos más conscientes que nunca de la importancia y las repercusiones del hecho de evaluar o de ser evaluado. Existe quizá una mayor consciencia de la necesidad de alcanzar determinadas cuotas de calidad, de aprovechar adecuadamente los recursos, el tiempo y los esfuerzos.

La evaluación, por tanto, se podría definir como: un proceso que implica recogida de información con una posterior interpretación en función del contraste con determinadas instancias de referencia o patrones de deseabilidad, para hacer posible la emisión de un juicio de valor que permita orientar la acción o la toma de decisiones.

Métodos y técnicas de Evaluación en OTL 3

¿Para qué evaluamos?

Como ya hemos señalado, la evaluación implica un proceso de mejora continua. La interiorización de este proceso, en los monitores y coordinadores, es clave en todas las fases de cualquier intervención: planificación (elaboración del “Proyecto de Prácticas”, para los cursos de monitores/as de OTL), ejecución (desarrollo de los propuesto en el proyecto) y evaluación final (análogamente, “Memoria de Prácticas”).

Evaluamos y establecemos criterios de evaluación y seguimiento para aprender de los éxitos, con el fin de poder repetirlos, y de los fallos, para no volver a cometerlos.

PLANIFICACIÓN DE LA INTERVENCIÓN

La planificación responde a las preguntas ¿Qué queremos a hacer? ¿Cómo? ¿Cuándo? ¿Dónde? ¿Por qué? ¿Para qué? ¿Para quiénes? ¿Con qué recursos? ¿Cómo sabemos hemos cumplido lo programado?

La última cuestión centrará el resto del apartado: ¿Cómo sabemos que hemos cumplido lo programado?

El apartado 11 del Proyecto de Práctica de Monitor/a hace referencia a la Evaluación y deberá centrarse en los aspectos clave sobre los que queremos recoger información:

Planificación

EjecuciónEvaluación final

Proceso de mejora

continua

Métodos y técnicas de Evaluación en OTL 4

• Los objetivos (general, específicos, operativos y personales). Las preguntas que nos debemos formular son ¿Cómo sé que hemos alcanzado los objetivos? ¿En qué grado o medida se han alcanzado? Si no los hemos conseguido, ¿cómo lo sabemos? ¿qué ha fallado?

• Los destinatarios. Cuando formulamos un proyecto, generalmente lo hacemos “a ciegas”, es decir, sin conocer realmente cuáles serán finalmente los participantes. Podemos hacernos una idea por intervenciones anteriores, en dónde dirijamos la publicidad de la intervención, desde dónde nos venga la propuesta (no será el mismo público en el caso de Servicios Sociales de un Ayuntamiento que si lo hacemos para una Asociación de un barrio adinerado…). Las preguntas a formular estarían en la línea ¿hemos descrito bien los destinatarios? ¿El número de participantes final ha sido el estimado inicialmente? ¿la heterogeneidad en cuanto a género, en cuanto a nacionalidad, en cuanto a creencias ….?

• Nuestro método (metodología). ¿Cómo podemos demostrar que ha sido participativo / inclusivo / dinámico / democrático / centrado en la figura de autoridad del monitor / activo / equitativo / …?

• Las actividades. ¿Hemos cumplido el objetivo de la actividad? ¿Qué ha salido mejor y peor, por qué? ¿Las actividades estaban relacionadas con los objetivos perseguidos? ¿Eran adecuadas a los destinatarios? ¿Han sufrido cambios, por qué?

• Los recursos ¿Han sido suficientes? ¿han sido adecuados? ¿han estado programados adecuadamente?

Con el fin de dar respuesta a todas estas preguntas y todas las que nos formulemos sobre la evaluación, estableceremos un sistema basado en Indicadores y Fuentes de Verificación.

Los indicadores nos señalan cómo vamos a medir mientras que las Fuentes de Verificación hacen referencia a cómo lo vamos a demostrar.

Algunos ejemplos de indicadores:

Objetivo General: Fomentar la autonomía personal de los acampados/as (higiene, alimentación y resolución de conflictos).

INDICADORES:

• Evolución de número de acampados /as que se peinan solos. • Momentos compartidos de ocio no dirigido. • ….

DESTINATARIOS/AS: Grupo de 80 participantes de entre 12 y 14 años del Barrio de Lavapiés, con diferentes nacionalidades.

INDICADORES:

• Número de participantes total • Procedencia heterogénea de los participantes • ….

Métodos y técnicas de Evaluación en OTL 5

NUESTRO MÉTODO: participativo, inclusivo y democrático.

INDICADORES:

• Nivel de implicación de los participantes • Desarrollo de asambleas de toma de decisiones • Lanzamiento de propuesta de actividades por parte de los acampados/as • …

Siempre deberá haber, como mínimo, un indicador por cada uno de los apartados del proyecto mencionado (objetivos, destinatarios, método, actividades y recursos). A cada indicador, debe seguirle, al menos, una fuente de verificación.

Las fuentes de verificación sirven para demostrar que lo planificado se ha llevado a cabo, o no. Las fuentes de verificación son las herramientas de evaluación, que se pueden dividir en dos grandes categorías:

A. Herramientas subjetivas / fuentes de verificación subjetivas:

- Observación directa. Consiste en ver lo que está sucediendo de forma planificada, sabiendo qué es lo que tenemos que mirar y anotando los resultados de la observación.

- Conversaciones informales. Hablar distendidamente con los participantes, los monitores, el coordinador/a, sobre una cuestión concreta que nos interese y, siempre, recoger por escrito las conclusiones de esa conversación.

- Diario. Especialmente indicado para la evaluación de las actividades. Consiste en ir recogiendo día a día, las conclusiones de las actividades realizadas, qué ha salido mejor y peor, por qué, cómo se podría mejorar, qué cambios ha habido y por qué, conflictos surgidos, método de resolución… En definitiva, una descripción diaria de lo acontecido.

- Actas de reuniones. Si tenemos acceso a las actas de las reuniones, pueden ser una interesante fuente de verificación. Si no hay un acta formal, siempre podemos recoger en nuestro diario las principales conclusiones.

- Asambleas con los participantes para valorar su grado de satisfacción, su implicación, etc.

- ...

B. Herramientas objetivas / fuentes de verificación objetivas

- Encuestas / formularios. Preguntas abiertas o cerradas sobre cuestiones concretas de la intervención. (Ver ejemplos en Anexos).

- Listados, fichas... Para conocer, por ejemplo, el número final de acampados, su país de origen, sus peculiaridades…

Métodos y técnicas de Evaluación en OTL 6

- Diana de evaluación. Son círculos concéntricos, a modo de diana con segmentos donde se pone qué queremos evaluar. Si se pinta / coloca gomet… en el centro, indica un alto grado de satisfacción para ese ítem, si se coloca alejado del centro la satisfacción es más baja. (En Anexos hay un ejemplo).

- Semáforo. Posicionamiento de los participantes en torno a una pregunta concreta (me gusta mucho, es indiferente, no me gusta nada).

- Silueta /mano. Dentro de la silueta / mano ponemos lo que nos ha gustado (lo que queremos atrapar), fuera lo que menos nos ha gustado. Se puede hacer con dibujos, con frases, individual (mano), grupal (silueta)…

- Gymkana. Pasando por diferentes pruebas, dan su opinión sobre los aspectos que nos interesan.

- ...

Las propuestas no son cerradas ni excluyentes, dependerá del grupo, de cómo lo adaptemos, etc.

Ejemplos de indicadores y fuentes de verificación:

OG: Fomentar la autonomía personal de los acampados/as (higiene, alimentación y resolución de conflictos).

INDICADOR FUENTES DE VERIFICACIÓN

Evolución de número de acampados /as que se peinan solos.

Observación directa por el monitor/a el día 1, el día 7 y el día 14 de campamento.

Momentos compartidos de ocio no dirigido.

Encuesta de evaluación final de los participantes. Pregunta concreta: ¿Te has aburrido en el campamento? ¿Cuándo?

….

Métodos y técnicas de Evaluación en OTL 7

DESTINATARIOS/AS: Grupo de 80 participantes de entre 12 y 14 años del Barrio de Lavapiés, con diferentes nacionalidades.

INDICADOR FUENTES DE VERIFICACIÓN

Número de participantes total

Fichas de inscripción

Listados diarios de asistencia.

Procedencia heterogénea de los participantes

Mapamundi con los países de origen de los participantes.

….

NUESTRO MÉTODO: participativo, inclusivo y democrático.

INDICADOR FUENTES DE VERIFICACIÓN

Nivel de implicación de los participantes.

Preguntas formuladas durante la actividad.

Número de asistentes que participan e interactúan en la actividad.

Propuestas de juegos y actividades llegadas íntegramente por los participantes.

….

Insistimos en que siempre debe haber, el menos, un indicador y cada indicador debe de tener, como mínimo, una fuente de verificación.

Si la fuente de verificación no es “estándar”, se explicará en qué consiste, los materiales necesarios, el número de monitores… o se hará referencia expresa a la actividad concreta desarrollada en otro apartado del Proyecto (por ejemplo: Actividad denominada “Mapas y flechas” recogida en el apartado 9 del presente proyecto, que se prevé llevar a cabo el lunes 15 de junio de 13.00 – 14.30 horas).

Un ejemplo de evaluación “no estándar” se puede encontrar en el Anexo IV del presente Documento.

Métodos y técnicas de Evaluación en OTL 8

EJECUCIÓN DE LO PROGRAMADO

Es la intervención real: el campamento, la colonia urbana, el cumpleaños, el día de granja, el viaje de fin de curso, la semana no lectiva…

Aquí es donde tendremos que recopilar todos los datos que hemos indicado en el apartado 11 “Evaluación” del Proyecto: observación directa, conversaciones informales, diana de evaluación, diario, etc.

Pensad que, una vez que finalice la intervención, no podremos volver a atrás para recopilar datos que no hemos recogido. Por eso es muy importante tener claro cuáles son nuestras fuentes de verificación y cuando vamos a recoger los datos a los que hacen referencia. Una vez pasado el campamento, la colonia urbana, la sesión de ludoteca, … no podremos recopilar esos datos.

EVALUACIÓN FINAL

En el caso de los cursos de monitor de OTL, se refiere a la “Memoria de Prácticas” que, necesariamente hay que entregar una vez finalizada la fase de prácticas (ejecución).

En otros casos, será un informe para la Asociación o la empresa, para los padres, para la Escuela, etc.

En cualquier caso, es el momento de volver al apartado 11 del Proyecto y revisar nuestros indicadores y nuestras fuentes de verificación e ir describiendo (con apoyo gráfico, siempre que sea posible) qué ha sucedido realmente.

Siguiendo con los ejemplos:

DESTINATARIOS/AS: Grupo de 80 participantes de entre 12 y 14 años del Barrio de Lavapiés, con diferentes nacionalidades.

INDICADOR FUENTES DE VERIFICACIÓN

Número de participantes total

Fichas de inscripción

Listados diarios de asistencia.

Procedencia heterogénea de los participantes

Mapamundi con los países de origen de los participantes.

….

Habría que poner algo así…

En cuanto a los destinatarios, el día previo a comenzar la intervención revisamos las fichas de inscripción y eran un total de 79. Lo que se ajustaba, inicialmente a lo previsto (80 participantes). Sin embargo, el primer día cursaron baja XXX participantes porque ….

Métodos y técnicas de Evaluación en OTL 9

Al final del primer trimestre el número total era…., según las fichas de inscripción. Mientras que los asistentes, según el listado diario no llega a …. Esta cuestión se debe a….

El mapamundi que hicimos el primer día (adjuntar imagen) donde cada uno ponía una pegatina en su país de origen, indicó que XXX provenían de tal país, XXX de tal otro país y XXX habían nacido en España. Con ello quedó demostrada la procedencia heterogénea de los participantes.

Tipos de evaluación

Como toda clasificación, se atiende a múltiples criterios debiéndose emplear uno u otro en función del fin último de la evaluación, los recursos disponibles, los destinatarios del Informe de Evaluación (o Memoria de Prácticas)….

1. Según el momento de aplicación 1.1. Evaluación inicial: se realiza al comienzo de la actividad. Consiste en la recogida de

datos en la situación de partida. 1.2. Evaluación continua: consiste en la valoración a través de la recogida continua y

sistemática de datos. 1.3. Evaluación final: consiste en la recogida y valoración de unos datos al finalizar un

periodo de tiempo previsto para la realización de una intervención.

La elección de un tipo y otro va a depender, generalmente, del tiempo de la intervención. Por ejemplo, en una ludoteca durante todo el curso escolar, tendrá más sentido realizar evaluaciones intermedias y una final que para el caso de una actividad de un día en una granja escuela, por ejemplo.

2. Según su extensión 2.1. Evaluación global: se pretende abarcar todos los componentes o dimensiones. 2.2. Evaluación parcial: pretende el estudio o valoración de determinados componentes o

dimensiones de una entidad, de un programa, de rendimiento de una actividad, etc.

3. Según los agentes evaluadores 3.1. Evaluación interna: es aquella que es llevada a cabo y promovida por los propios

impulsores y ejecutores de la intervención (monitores, coordinador, jefe, personal auxiliar…).

3.2. Evaluación externa: se da cuando agentes no integrantes de una intervencón, evalúan su funcionamiento. Suele ser el caso de la "evaluación de expertos". Estos evaluadores pueden ser inspectores, miembros de la Administración, investigadores, equipos de apoyo al programa, etc.

Métodos y técnicas de Evaluación en OTL 10

Estos dos tipos de evaluación son muy necesarios y se complementan mutuamente, pudiendo llegar a realizarse una evaluación mixta (con personal que interviene en la actividad y personal externo). Sin embargo, en OTL generalmente se opta por la evaluación interna de los proyectos debido su menor coste, su mayor rapidez, un mayor y mejor conocimiento de la realidad por parte de los monitores/as que intervienen, etc.

Métodos y técnicas de Evaluación en OTL 11

Anexo I. Ejemplo de Encuesta de Satisfacción para participantes Contesta a estas preguntas.

De todas las actividades que hemos hecho, indica cuáles son las actividades que más te

han gustado justificando tu respuesta.

Ahora, indica cuáles son las actividades que menos te han gustado justificando tu respuesta.

Ahora sobre tu monitor: ¿Qué destacarías de su labor como positivo?

También sobre tu monitor: ¿Qué crees tú que debería mejorar?

Y para terminar, dinos por favor cómo te lo has pasado en estos días. También puedes

añadir las sugerencias que desees.

Gracias por tu colaboración ☺

Métodos y técnicas de Evaluación en OTL 12

Anexo II. Ejemplo de Evaluación para Monitores El MONITOR EVALÚA a su COORDINADOR-A

Valora los siguientes aspectos de tu coordinador-a. Además de puntuar del 1 al 5 (1=valor mínimo; 5= valor máximo), EXPLICA TU RESPUESTA; cuánto más aclares tu opinión más fácil nos resultará entenderla.

Antes de la actividad... la PROGRAMACIÓN • El coordinador planteó y organizó

las REUNIONES de trabajo clara y adecuadamente.

1 2 3 4 5 ο ο ο ο ο

• Se aportaron los MATERIALES necesarios: información general, conclusiones reunión anterior…

1 2 3 4 5 ο ο ο ο ο

• SOLUCIONÓ las dudas previas que surgieron: actividades, horarios, grupos, etc.

1 2 3 4 5 ο ο ο ο ο

• Las reuniones fueron EFICACES y OPERATIVAS.

1 2 3 4 5 ο ο ο ο ο

• Antes de ejecutar el PROGRAMA de actividades diseñado, éste me pareció adecuado en su conjunto.

1 2 3 4 5 ο ο ο ο ο

• El coordinador facilitó mi / nuestra PARTICIPACIÓN en las reuniones.

1 2 3 4 5 ο ο ο ο ο

• La RELACIÓN DEL EQUIPO, ya en Madrid, era buena.

1 2 3 4 5 ο ο ο ο ο

• El coordinador SE INTEGRÓ adecuadamente con los monitores.

1 2 3 4 5 ο ο ο ο ο

⌦ ¿Qué añadirías, o qué aspectos MEJORARÍAS a la preparación en Madrid?

DURANTE la actividad...

Métodos y técnicas de Evaluación en OTL 13

• El coordinador ME HA APOYADO cuando lo he necesitado.

1 2 3 4 5 ο ο ο ο ο

• HA COORDINADO el trabajo del equipo adecuadamente.

1 2 3 4 5 ο ο ο ο ο

• Su RELACIÓN Y TRATO con los CHAVALES ha sido cordial.

1 2 3 4 5 ο ο ο ο ο

• Ha sabido resolver cualquier CONFLICTO por pequeño o grande que éste fuera.

1 2 3 4 5 ο ο ο ο ο

• Su capacidad DE ADAPTACIÓN a los imprevistos ha sido...

1 2 3 4 5 ο ο ο ο ο

• Su seguimiento y preocupación por el PROGRAMA ha sido...

1 2 3 4 5 ο ο ο ο ο

• Organizaba correctamente los TIEMPOS del programa.

1 2 3 4 5 ο ο ο ο ο

• Preocupación por la SEGURIDAD en las actividades fue...

1 2 3 4 5 ο ο ο ο ο

• Las actividades contaron con los MATERIALES adecuados.

1 2 3 4 5 ο ο ο ο ο

• Su preocupación por la HIGIENE y ALIMENTACIÓN de los chavales fue...

1 2 3 4 5 ο ο ο ο ο

DESPUÉS DE la actividad...

• ¿Te gustaría VOLVER A TRABAJAR con este coordinador en otra ocasión? ¿Por qué? • ¿Cómo ha sido la RELACIÓN DEL COORDINADOR contigo? ¿Y con el resto del equipo?

Conmigo Con el equipo

GRACIAS POR TU COLABORACIÓN.

Métodos y técnicas de Evaluación en OTL 14

Anexo III. Ejemplo de Diana de Evaluación

Métodos y técnicas de Evaluación en OTL 15

Anexo IV. Ejemplo de Evaluación “No Estándar”

Día: Sábado 10

Hora: 16.30-17.30

Lugar: Comedor / Biblioteca /Explanada / Bandera

Material:

4 trozos grandes de papel continuo

1 rotulador gordo tipo eding

2 cartulinas grandes rojas

2 cartulinas grandes amarillas

2 cartulinas grandes verdes

4 rollos de celo

12 folios

4 bolígrafos / rotus normales

Preparación: Hacer los mapas en el papel continuo. Hacer las caritas en cartulina y las lanzas

Nº de monitores para la preparación: 1

Nº de monitores para la actividad: 4 (Cada moni irá guiando a su grupo y tomará nota de las opiniones de los participantes).

Objetivos de la actividad: Recopilar información de interés para mejorar de cara a planificar futuros campamentos. Fomentar la participación y el diálogo abierto.

Objetivo del juego: Recordar los lugares por los que hemos viajado en el campa y saber si al grupo le ha gustado o no las actividades de ese día.

Desarrollo: Dividiremos a los acampados en cuatro grupos y en cada uno de los grupos habrá un monitor que dirija a la actividad. Cada grupo se irá a uno de los siguientes lugares (para que no se escuchen ni distraigan entre ellos):

Bandera – Explanada – Comedor - Biblioteca

Cada acampado tendrá caritas sonrientes, caritas tristes y caritas de indiferencia.

Cada grupo tendrá un papel continuo con un dibujo de un mapa mundo (o al menos con el nombre de los países más o menos ubicados a los que hemos viajado).

El monitor/a irá guiando la actividad explicando que ahora queremos saber lo que más les ha gustado (carita feliz), lo que menos (carita triste) y lo que les ha dado igual (carita indiferente).

Se pegará en cada país la carita que el acampado considere (triste/feliz/indiferente) y el monitor irá anotando en un papel lo que los acampados cuenten y expliquen.

Métodos y técnicas de Evaluación en OTL 16

Al final habrá dos lanzas africanas por grupo, una de color rojo y otra de color verde. La de color rojo se pondrá en lo que menos del todo le ha gustado al grupo y la verde en la que les haya gustado a todos.

Al finalizar la actividad, los monis llevarán los mapas a la explanada y la coordi fotografiará cada uno de los mapas y recogerá las hojas de los monitores donde han ido escribiendo los comentarios de los acampados.

Recogida: Coordi recogerá los mapas que estarán en la explanada y las hojas con los comentarios.