Bases metodológicas para la evaluación de proyectos de … · 2012-06-18 · Bases metodológicas para la evaluación de proyectos de inserción social y laboral1 Este artículo

Bases metodológicas para la evaluación de proyectos de inserción social y laboral1

Este artículo presenta y desarrolla las propuestas metodológicas que se han experimentado a lolargo de más de tres años de trabajo en equipo, en la evaluación de dos proyectos de inserciónsocial y laboral —ITUN y LAMEGI—, de la iniciativa comunitaria EQUAL. La hipótesis de partida esque estos proyectos plantean una serie de retos a la evaluación que sólo pueden ser abordadosmediante la aplicación de unos diseños evaluadores que valoren sus especificidades. El artículopresenta las decisiones adoptadas por el equipo evaluador para dar respuesta a tres cuestionesconcretas: la estimación de los efectos sobre las personas y sobre las instituciones, entendidoscomo procesos de aprendizaje continuo y cambios en actitudes y comportamientos; la innovaciónen las formas de hacer políticas de inserción social y laboral; su desarrollo sobre una estructura decolaboración amplia interinstitucional.

Artikulu honetan hiru urte luze baino gehiagotan egindako talde-lanean garatu diren proposamenmetodologikoak aurkezten eta garatzen dira, EQUAL erkidegoko ekimenarenak diren eta gizarteaneta lanean txertatzeko xede duten bi proiekturen ebaluazioari dagokionez —ITUN eta LAMEGIproiektuak, hain zuzen—. Abiaburuko hipotesia da proiektu horiek hainbat erronka dituztela ebalua-zioari begira, eta horiei bakarrik ekin ahal zaiela haien berezitasunak balioesten dituzten ebaluazio-diseinuak aplikatuz. Artikulu honetan, talde ebaluatzaileak gai zehatz batzuei erantzuna eman nahianhartu dituen erabakien berri ematen da; hona gaiak: pertsonengan eta instituzioengan izan daitez-keen eraginen zenbatespena, etengabeko ikasketa gisa eta jarreretan eta portaeretan izandako al-daketa gisa hartuta; gizartean eta lanean txertatzeko politika egiteko moldeetan izandako berrikun-tza, eta haien garapena instituzio arteko lankidetza zabaleko egituran.

The article describes the different contexts in which the experience of the evaluation of labour andsocial insertion projects has moved. It begins with a presentation of EQUAL European Initiativeand the framework in which its evaluation develops. Afterwards, after having presented the labourand social projects ITUN and LAMEGI (with its own model of evaluation), the article exposes themethodological bases for the evaluation and explains the methodological proposals that areconsiderate the most adequate ones to deal with its evaluation.

110

Ekonomiaz N.o 60, Vol. II 3er Cuatrimestre, 2005.

1 Queremos agradecer el apoyo y el soporte prestado a la evaluación por las entidades promotoras de losproyectos ITUN y LAMEGI: Agiantza, Fundación Peñascal, Cáritas y SARTU, agradecimiento que hacemos ex-tensivo al resto de las entidades de las Agrupaciones de Desarrollo de ambos proyectos.

Maria Ángeles Díez LópezUPV/EHU

Maria Luisa Setién SantamaríaUniversidad de Deusto

ÍNDICE

1. Introducción2. Los proyectos EQUAL de inserción social y laboral y su evaluación3. Bases metodológicas para la evaluación de los proyectos de inserción social

y laboral4. Combinando funciones: rendición de cuentas y generación de conocimiento5. Conclusiones finalesReferencias bibliográficas

Palabras clave: iniciativa europea, inserción profesional, evaluación sumativa, evaluación formativa, evaluaciónparticipativa.

N.º de clasificación JEL: H43, K31, J81, J71, J31, J83.

111

Ekonomiaz N.o 60, Vol. II 3er Cuatrimestre, 2005.

1. INTRODUCCIÓN

Este artículo presenta y desarrolla lasbases metodológicas que se han experi-mentado, a lo largo de más de tres añosde trabajo, en la evaluación de los pro-yectos de inserción social y laboral ITUNy LAMEGI. Estos proyectos forman partede la Iniciativa Europea EQUAL, puestaen marcha en 2001, para apoyar la priori-dad de crear más y mejores empleos yde fomentar actuaciones para eliminar losimpedimentos que encuentran las perso-nas a la hora de acceder a un trabajo.

En este contexto de la IniciativaEQUAL, ITUN y LAMEGI tienen como ob-jetivo prioritario conseguir que personascon dificultades de inserción laboral pero

también social, puedan integrarse en unempleo tras un periodo de acompaña-miento, de tipo socioeducativo y profesio-nal. Esta finalidad se consigue creandoempresas de inserción y empresas socia-les que ofrecen una oportunidad laboral aestos colectivos difíciles de insertar, peroestas empresas pueden ser frágiles y concostes elevados, debido al especial pro-ceso educativo de tipo personal y profe-sional necesario para llegar a emplear alas personas vulnerables, por lo que esconveniente dotarlas de una infraestruc-tura protectora por parte de las institucio-nes públicas, debido al fin social especialque cumplen. Las acciones de uno y otroproyecto se encaminan a lograr esos ob-jetivos y la evaluación se ha adaptado ala especificidad de los mismos. Pero tam-

bién la metodología de evaluación vienecondicionada por las características dise-ñadas para los proyectos EQUAL y desa-rrolladas en sus principios básicos.

La hipótesis de partida es que estosproyectos EQUAL de inserción social ylaboral plantean una serie de retos a laevaluación que sólo pueden ser aborda-dos mediante la aplicación de unos dise-ños evaluadores que tengan en cuentasus especificidades. El objetivo del ar-tículo es exponer las bases metodológi-cas utilizadas para diseñar una evalua-ción capaz de responder a tres retosconcretos: 1) los efectos sobre las perso-nas y sobre las instituciones, entendidoscomo procesos de aprendizaje que origi-nan cambios en actitudes, opiniones ycomportamientos; 2) la innovación en lasestrategias e instrumentos utilizados porestas actuaciones de inserción social ylaboral; 3) su desarrollo sobre una estruc-tura de colaboración interinstitucional am-plia (partenariado multinivel).

El artículo se estructura en tres aparta-dos. El primero está dedicado a presen-tar los proyectos ITUN y LAMEGI, comoproyectos de inserción social y laboral,pero también teniendo en cuenta su per-tenencia a la Iniciativa EQUAL que deter-mina el marco general en que se desen-vuelve su evaluación. El segundoapartado constituye la parte central delartículo y desarrolla las bases metodoló-gicas para la evaluación. Tras explicar lasrazones sobre las que se sustentan lasdecisiones adoptadas y que justifican labúsqueda de unas bases metodológicaspropias, cada propuesta evaluadora esdesarrollada teniendo en cuenta sus refe-rencias teóricas y poniendo ejemplos dela forma en que ha sido utilizada (o estásiendo utilizada) en la evaluación de los

proyectos ITUN y LAMEGI. El tercer apar-tado reflexiona sobre la oportunidad dediseñar evaluaciones que, además de in-formar del uso adecuado de los recursospúblicos mediante la valoración de los re-sultados obtenidos, generen conocimien-to para la acción y contribuyan a conse-guir políticas capaces de generar mayory mejor empleo para los grupos vulnera-bles. Finalmente, las conclusiones sinteti-zan tanto las aportaciones realizadas porla aplicación de estas bases metodológi-cas como su contribución a la mejora dela calidad y la utilidad de la evaluación.

2. LOS PROYECTOS EQUAL DEINSERCIÓN SOCIAL Y LABORAL YSU EVALUACIÓN

2.1. La evaluación en la Iniciativa EQUAL

EQUAL se inscribe en el marco de laestrategia adoptada por la Unión Europeapara crear más y mejores empleos y con-seguir que nadie se vea privado del ac-ceso al empleo. Financiada por el FondoSocial Europeo, esta iniciativa permite,desde 2001, experimentar nuevos mediosde lucha contra las discriminaciones y lasdesigualdades de las que pueden servíctimas las personas en su puesto detrabajo o las que buscan un empleo.Constituye un laboratorio de actividadesexperimentales para investigar y poner aprueba, en las políticas de empleo y deformación, planteamientos innovadoresen cuanto a los objetivos perseguidos, losmétodos utilizados o los sistemas aplica-dos.

La iniciativa EQUAL se basa en el de-sarrollo de una serie de principios bási-

Maria Ángeles Díez López - Maria Luisa Setién Santamaría

cos, que todos los proyectos deben res-petar e integrar en el diseño y la aplica-ción de sus actuaciones:

—La cooperación: reunir socios dife-rentes (autoridades locales y regio-nales, organismos dedicados a laformación, servicios públicos de em-pleo, organizaciones no guberna-mentales, empresas, interlocutoressociales,...), creando Agrupacionesde Desarrollo (AD) responsables delos proyectos.

—El acercamiento a las áreas temáti-cas: concentrar las acciones alrede-dor de las temáticas contenidas enla Estrategia Europea para el Em-pleo.

—La innovación: explorar y probar en-foques innovadores en las políticasde empleo y formación en relacióncon los objetivos perseguidos, losmétodos utilizados o los sistemas depuesta en práctica.

—La participación activa: reforzar lacapacidad de acción de todos losactores involucrados, incluidos losbeneficiarios.

—La transnacionalidad: asociar, másallá de las fronteras, a varias AD en-tre sí y a las autoridades nacionalesen la voluntad de un aprendizajemutuo y de cooperación productiva.

—La transferencia y la integración enlas políticas: generar y validar solu-ciones nuevas para elegir las mejo-res prácticas en las políticas de em-pleo y de la inclusión social.

Además, hay que considerar el princi-pio de igualdad de oportunidades entremujeres y hombres que debe ser integra-

do de manera transversal en todos susprincipios básicos.

En relación con la evaluación, las dis-posiciones generales sobre los FondosEstructurales contenidas en el Reglamen-to (CE) 1260/1999, de 21 de Junio de1999, establecen que las ayudas gestio-nadas por estos Fondos deben realizartres estudios de evaluación: la evaluaciónprevia, la evaluación intermedia dirigida amejorar las intervenciones cofinanciadasy la evaluación ex post que sirve para ex-traer conclusiones sobre los efectos e im-pactos alcanzados. En lo que se refiere ala Iniciativa Comunitaria EQUAL, cadaPrograma nacional, como intervencióncofinanciada por el Fondo Social Euro-peo, está sometido a todos los estudiosde evaluación arriba mencionados. Así, laevaluación previa y la intermedia debenser realizadas por la Administración Cen-tral, en el caso de España por la UnidadAdministradora del Fondo Social Europeo(UAFSE), dependiente de la SecretaríaGeneral de Empleo del Ministerio de Tra-bajo y Asuntos Sociales. De la misma ma-nera, la evaluación ex post es responsa-bilidad de la Comisión Europea.

Sin embargo, dadas las peculiaridadesde esta Iniciativa, la Comunicación(853/2000) de la Comisión a los EstadosMiembros por la que se establecen lasorientaciones relativas a EQUAL indica lanecesidad de disponer de mecanismospara efectuar una auto-evaluación de losproyectos incluidos dentro de cada Pro-grama nacional que facilite una evalua-ción permanente de sus actividades y re-sultados. La auto-evaluación deberealizarse bajo la responsabilidad de lasAgrupaciones de Desarrollo y perseguirobjetivos múltiples: el análisis de las acti-vidades del plan de trabajo y de los pro-

Bases metodológicas para la evaluación de proyectos de inserción social y laboral

113

cesos en las diferentes fases del proyec-to, los efectos sobre las personas desti-natarias de las acciones y sobre los siste-mas, así como el cumplimiento de losprincipios de la Iniciativa EQUAL. Paraproporcionar a los proyectos una orienta-ción común que facilite la realización dela auto-evaluación, la UAFSE ha editadouna «Guía Metodológica de EvaluaciónInterna»2.

La guía metodológica establece quecada Agrupación de Desarrollo debe«disponer de una herramienta adaptadaal perfil de cada uno de los proyectos,que permita mantener informados a losdistintos actores sobre la coherencia, lapertinencia, la concentración, la eficaciay la eficiencia. En este sentido, la auto-evaluación constituye una herramientafundamental del proceso de toma de de-cisiones y permite mantener sobre todasy cada una de las fases del proyecto unpunto de vista crítico así como reorientarlos planes de trabajo» (UAFSE, 2005: 4).La guía ofrece una serie de indicaciones,que los equipos evaluadores de los pro-yectos pueden tener como marco, paraelaborar sus metodologías de evaluacióny adaptarlas a cada uno de los proyectosconcretos. Cada equipo es libre de utili-zar el modelo de evaluación que conside-re pertinente, así como las herramientasmás adecuadas en cada caso.

Son las Agrupaciones de Desarrollolas que deben decidir si uno de los so-cios por su competencia técnica o unequipo externo, contratado al efecto, sehace cargo de realizar la auto-evaluacióno evaluación interna. En los proyectos

ITUN y LAMEGI esta tarea se encargó enambos casos a un equipo formado pordos socios de la Agrupación de Desarro-llo, en concreto a la Universidad del PaísVasco y a la Universidad de Deusto.

2.2. Los proyectos de inserción socialy laboral: ITUN y LAMEGI

La inserción social y laboral de colecti-vos de difícil inserción forma parte del EjeI de la Iniciativa EQUAL: Capacidad de In-serción Laboral para facilitar el acceso yla reincorporación al mercado laboral.Esta es una preocupación compartida porlos países de la UE y un área prioritaria deactuación de la Estrategia Europea parael Empleo. En el País Vasco, tanto las ins-tituciones públicas como las entidadesdel sector terciario, son conscientes de lanecesidad de ir creando infraestructuras—empresas de inserción y empresas so-ciales— y formas de trabajo que facilitenesta tarea, ya que estudios recientes hanmostrado que la pobreza está estrecha-mente relacionada con la no ocupación yde forma más específica con el desem-pleo3. Fruto de esta preocupación, surgenlos proyectos ITUN y LAMEGI.

El proyecto ITUN (Incorporación al tra-bajo útil y necesario) se planteaba comoobjetivo utilizar nuevos enfoques, méto-dos y prácticas no desarrolladas en nues-tro entorno, dirigidos a luchar contra laexclusión, la discriminación y la desigual-dad en el mercado de trabajo. Su desa-rrollo temporal transcurrió desde Octubre


2 La versión 2005 es la más recientemente edita-da (UAFSE, 2005).

3 Así, en el País Vasco, en el año 2004, un 29,7%de los hogares encabezados por una persona endesempleo sufrían la incidencia de alguna de la for-mas de pobreza.

de 2002 hasta Diciembre de 2004. Demanera esquemática, se concebía comoun instrumento operativo (un pacto) alservicio de tres objetivos generales: la in-serción de personas excluidas laboral ysocialmente, la experimentación de nue-vos instrumentos de apoyo y la integra-ción real y efectiva de acciones y progra-mas para el empleo, tal y como se recogeen el Cuadro 1. El proyecto, integraba,además, todos y cada uno de los princi-pios básicos de la Iniciativa EQUAL.

Para desarrollar esta estrategia de actua-ción se crearon cuatro grupos de trabajo:

—Grupo de Empleo y Formación: pro-mover medidas activas dirigidas a laincorporación de personas al em-pleo en empresas regulares del mer-cado de trabajo.

—Grupo Empresarial y Asesoría: utili-zar el desarrollo de la economía soli-daria como fórmula de entrada almercado de trabajo.

—Grupo de Empresas de Inserción:acordar y experimentar un plan depromoción y desarrollo de empresasde inserción como instrumento de in-serción. Este grupo comprendía lasactividades principales del proyectoy, por ello, era el que disponía de unmayor presupuesto.

—Grupo Diru Hurbila dirigido a promo-ver la creación de un Fondo de Ca-pital Local para el fomento del em-pleo y la cohesión social, a modo deexperiencia piloto.

La promoción y realización de las acti-vidades estaba a cargo de las cuatro en-tidades promotoras, otras instituciones yorganismos socios, integrantes de laAgrupación de Desarrollo, de acuerdo

con la normativa de los proyectos EQUAL(ver cuadro 2).

De manera sintética, ya que nuestroobjetivo fundamental es presentar las de-cisiones metodológicas adoptadas en sudiseño evaluador, a continuación se resu-men algunos de los principales efectosidentificados en la evaluación del proyec-to ITUN4:

—El proyecto ITUN ha contribuido a lacreación y constitución de 16 em-presas de inserción y de 4 empresassociales. Estas empresas pertene-cen a diferentes sectores de activi-dad y ofrecen empleo a colectivosafectados por problemáticas diver-sas (fracaso escolar, toxicomanías,etc...), aunque también existen pro-yectos destinados a grupos específi-cos como jóvenes, mujeres y perso-nas discapacitadas psíquicas.

—Como resultado de estos proyectosde creación de empresas, 272 per-sonas habían seguido procesos deaprendizaje dirigidos a su inserciónsocial y laboral. De ellas, en Diciem-bre del 2005, 115 estaban trabajan-do en las empresas de inserción y26 en las empresas sociales (y cer-ca de 40 nuevos contratos de inser-ción estaban previstos para los me-ses siguientes). De esta forma, elproyecto ITUN había contribuido a lacreación de nuevos empleos, en uncontexto donde la generación depuestos de trabajo es especialmentedifícil. Con ello, permitía transferir


115

4 Las personas interesadas pueden conocer ITUNen mayor profundidad acudiendo a su página web:www.ituna.org, donde encontrarán abundante infor-mación sobre su desarrollo y su evaluación.


Cuadro n.° 1

Objetivos del proyecto ITUN

Instrumento operativo

PACTO:

¿Con quién?Personas excluidas del mercado de trabajo(atendidas por los programas de lucha contrala exclusión y desempleadas de larga dura-ción)

¿Para qué?Para diseñar un itinerario de inserción integralsocial y laboral

Promotor: ¿quién propone el pacto?Alianza de entidades del tercer sector: Agiant-za, Cáritas, Peñascal, Sartu

Contexto: ¿dónde se desarrolla el pacto?Convenio amplio entre las entidades públicas yprivadas que trabajan en el ámbito de la forma-ción y el empleo (Agrupación de Desarrollo ITUN)

Objetivos generales

Inserción de personasexcluidas laboral y socialmente

Experimentación de nuevos instrumentos deapoyo

Integración real y efectiva deacciones y programas para el empleo

Fuente: Elaboración propia.

Cuadro n.° 2

Agrupación de Desarrollo ITUN

Gobierno Vasco

Diputación Foral de Bizkaia

Diputación Foral de Gipuzkoa

EUDEL

GARAPEN

EGAILAN

EMAKUNDE

BBK

Gipuzkoa Donostia Kutxa

Caja Vital

Caja Laboral

REAS Euskalherria

EAPN: Red de Lucha contra la Pobreza

Universidad de Deusto. EU de Trabajo Social

UPV/EHU. EU de Relaciones Laborales

Hetel

IKASLAN Bizkaia

IKASLAN Araba

LAB

ASLE

FCTAE

AGRUPACIÓN DE DESARROLLO ITUN. ENTIDADES PARTICIPANTES

Entidades Promotoras: Cáritas, Fundación Peñascal, Sartu y Agiantza


personas desde el ámbito de la ex-clusión social hacia el ámbito de lainserción laboral.

—Las personas que habían obtenidoun puesto de trabajo en las empre-sas de inserción y sociales se mos-traban muy satisfechas de los proce-sos iniciados y de los progresospersonales, sociales y laborales ob-tenidos. Consideraban que el pro-yecto ITUN les había facil i tadoaprender un oficio, conseguir un tra-bajo e iniciarse en el desarrollo deuna profesión que les proporcionabamás garantías de estabilidad perso-nal y laboral.

—El apoyo ofrecido por el proyectoITUN a las empresas de inserción ysociales y a sus entidades promoto-ras les había permitido iniciar su ac-tividad empresarial con mayores ga-rantías de rentabilidad económica ycon mayores expectativas de estabi-lidad y permanencia en el mercado.Aún así, estas ayudas no les asegu-raban su viabilidad futura ya que supermanencia en el mercado pasabapor su consolidación como oferentesde productos y servicios.

—Los trabajos impulsados por el pro-yecto ITUN habían facilitado la gene-ración de nuevas herramientas deacompañamiento, la cualificacióndel personal implicado en el desa-rrollo de las acciones de inserciónsocial y la generación de nuevasideas y conocimientos.

—Por primera vez, 25 entidades delámbito de las políticas dirigidas a lalucha contra la exclusión habían par-ticipado y colaborado en un proyec-to conjunto de actuación.

El proyecto LAMEGI (Lograr el accesoal mercado de empleo como garantía dela inclusión) surge como continuación delproyecto ITUN y se define a partir de lasconclusiones alcanzadas en su evalua-ción. Su objetivo es reforzar los resulta-dos obtenidos por el proyecto ITUN con-tribuyendo a crear una estructura decarácter social, que ponga en marcha losmercados sociales de empleo y las cláu-sulas como herramientas de soporte, ca-paz de favorecer la viabilidad futura y lasostenibilidad de las empresas de inser-ción y sociales ya creadas y las nuevasque puedan aparecer. El objetivo últimoes apoyar la inserción social y laboral delos colectivos excluidos. La fase de eje-cución de sus actividades se sitúa entreEnero de 2005 y Diciembre de 2007.

Sus objetivos se desarrollan en cuatrolíneas de actuación que son el origen decuatro grupos de trabajo (ver gráfico 1).

1. Grupo de mercados sociales de em-pleo: dirigido a experimentar los mercadostutelados o protegidos con una propuestapropia, respecto a los incipientes desarro-llos ocurridos en algunas zonas de la UE, ycoherente con la especificidad de la políti-ca para la inclusión social del País Vasco.

2. Grupo de cláusulas sociales: destinadoa analizar la forma en que se realiza la con-tratación pública y sugerir la mejora de loscriterios de adjudicación y ejecución, abor-dando la introducción de cláusulas socialesen la licitación pública con el objetivo de fa-cilitar la contratación de colectivos excluidosy de empresas de inserción y sociales.

3. Grupo empresarial para la inclusiónsocial: con objeto de mejorar la gestión yla cooperación entre entidades promoto-ras y empresas de inserción y sociales,descubrir nuevos nichos de mercado, me-


117

jorar la calidad de sus productos y servi-cios, favorecer la innovación, incrementarel número de empleos de inserción, mejo-rar la calidad de estos empleos y desarro-llar instrumentos de economía solidaria.

4. Grupo de responsabilidad social quepersigue introducir la inclusión laboralcomo un elemento de la responsabilidadsocial de las empresas privadas, al objetode incorporar a personas en situación deexclusión y facilitar la subcontratación deservicios a empresas de inserción.

El gráfico 1 también nos muestra comoel proyecto integra de manera transversalotra serie de prioridades horizontales en-tre las que se encuentra su evaluación.

La dirección y ejecución del proyectoLAMEGI recae sobre su Agrupación de

Desarrollo formada por las siguientes enti-dades: Agiantza, Cáritas, Peñascal y Sar-tu como entidades promotoras y ademáscomo socios participan un elevado núme-ro de administraciones públicas, institu-ciones sociales, asociaciones, sindicatos,entidades financieras y universidades5.

3. BASES METODOLÓGICAS PARA LAEVALUACIÓN DE LOS PROYECTOSDE INSERCIÓN SOCIAL Y LABORAL

3.1. Adaptando el método de evaluación a los proyectos EQUAL de inserción social y laboral

En el campo de la investigación social,hablar de metodología supone plantear«el análisis de los supuestos, principios y


5 Las entidades integradas en la AD LAMEGI aparecen recogidas más adelante en el cuadro 5. Para obte-ner más información sobre este proyecto se puede consultar: www.lamegi.org.

Gráfico n.° 1

Estructura del proyecto LAMEGI

Fuente: Proyecto LAMEGI, (pág. 29).

Administraciónpública

Personasexcluídas

EmpresasEE.II. y

Sociales

Evaluación

Diseño paratodas laspersonas

Igualdad deoportunidades

Participación

MTIOs

CLAUSULASSOCIALES

MERCADOSSOCIALES

DE EMPLEO

GRUPOEMPRESARIAL

PARA LAINCLUSION

SOCIAL

INCLUSIONLABORAL

ELEMENTO DERESPONSABILIDAD

SOCIAL

procedimientos de un modo particular deinvestigación, (...) es un discurso particu-lar de la ciencia social, un modo de ac-tuar, pensar y hablar» (Schwandt, 2001:161). «La evaluación de un programa esuna investigación social, una investiga-ción disciplinada que se lleva a cabopara determinar el valor y el mérito delobjeto evaluado y que pretende mejorar-lo, rendir cuentas e ilustrar acciones futu-ras» (Bustelo, 1999: 25). Por consiguien-te, lo que diferencia a la evaluación deotros modos de investigación es la inten-ción, el propósito que se persigue (Weiss,1998a: 15) y no su metodología que se-guirá las mismas pautas que las de cual-quier otro tipo de investigación6.

Sin embargo, a la hora de determinar lametodología de una evaluación es muy im-portante reconocer las características es-pecíficas de cada proyecto y adaptarse alentorno en el que se desarrolla. En el pro-ceso de evaluación, «es la naturaleza fun-damental del contexto en el que se desen-vuelven las evaluaciones, (...), lo que daforma a los contornos de las metodologíasde evaluación y guía la selección de unaaproximación específica de evaluación aun contexto dado» (Green, 1994: 531). Lanecesidad de adaptar la metodología deevaluación a la naturaleza específica delproyecto evaluado y a su contexto lleva aPatton aún más lejos al afirmar: «El arte dela evaluación implica crear un diseño quees correcto con una situación específica ycon un contexto político o de acción parti-cular» (Patton, M. Q., 1997: 249).

Por consiguiente, la auto-evaluación oevaluación interna de los proyectos

EQUAL de inserción social y laboral, y enparticular de ITUN y LAMEGI, debe dis-poner de una metodología adaptada asus características y al contexto local yeuropeo (Iniciativa EQUAL) en el que es-tos proyectos se desenvuelven. Esta pro-puesta metodológica se concreta en unasorientaciones generales y se define des-de una perspectiva abierta y flexible yaque cada proyecto posee suficientes ele-mentos singulares y responde a un entor-no institucional y político concreto. Am-bas circunstancias, en la práctica, van aexigir la elaboración de un diseño de eva-luación único y particular, aunque sea po-sible, al mismo tiempo, disponer de unasbases metodológicas orientativas que sir-van de marco de referencia para diseñary organizar la auto-evaluación.

En efecto, la experiencia en los proyec-tos ITUN y LAMEGI indica que existenelementos comunes suficientes comopara poder elaborar estas orientaciones.Estos elementos comunes hacen referen-cia tanto al propio contenido de los pro-yectos (ámbito de actuación, metas y ob-jetivos, líneas estratégicas) como a suestructura organizativa y funcionamiento(partenariado multinivel). Concretamente,las bases metodológicas que se van apresentar a continuación atienden y res-ponden a tres de estas características es-pecíficas que se convierten en retos a losque los métodos de la evaluación debenresponder (ver cuadro 3).

El primer elemento hace referencia alos efectos perseguidos por los proyectosevaluados: la naturaleza y extensión delimpacto deseado. El método de evalua-ción de los proyectos de inserción socialy laboral debe tener presente las especi-ficidades de los cambios que se deseanproducir sobre el colectivo beneficiario


6 Para una exposición en profundidad de las dife-rencias entre investigación y evaluación ver el ar-tículo de Bustelo, 1999.

119

(personas en situación de exclusión so-cial) y del impacto esperado sobre elmarco normativo e institucional (cambiosen la orientación de la política de inser-ción sociolaboral). La evaluación debedotarse de un diseño que permita obser-var los efectos producidos sobre las per-sonas destinatarias y sobre las propiasinstituciones que actúan en el ámbito delas políticas.

Las políticas de inserción social y labo-ral sitúan a las personas en el centro desus actuaciones buscando iniciar proce-sos de aprendizaje continuo que contri-buyan a impulsar su desarrollo personal,social y, en última instancia, favorecer suintegración en el mercado laboral (y en lasociedad). Junto a estos efectos, se pre-tende influir sobre las instituciones públi-cas (gobiernos regionales, diputaciones,ayuntamientos) con el objetivo de mejorarel entramado de apoyo público-privado alservicio de la reducción de las desigual-dades en el acceso al mercado de traba-jo de los distintos colectivos con proble-mas de exclusión. E, incluso, de incidirsobre la orientación de las políticas socia-les buscando un giro hacia modelos depolítica activa y de corresponsabilidad.

De todas formas, estos efectos son dedifícil cuantificación y van a necesitar deluso de técnicas específicas que permitanidentificar avances en el logro de unosobjetivos que, a pesar de no ser mediblesen números y porcentajes, son observa-bles, y contribuyen a construir la eviden-cia empírica de la evaluación a través deun trabajo de campo cualitativo.

El segundo elemento tiene que ver conel carácter altamente innovador de estosproyectos EQUAL, dado que uno de losprincipios básicos de la Iniciativa es favo-

recer e impulsar la innovación social. Losproyectos EQUAL deben ser innovadoresen sus formas de hacer, en sus plantea-mientos de actuación pública, en sus pro-puestas de ensayo y experimentación connuevos instrumentos que mejoren la efica-cia de las políticas a la hora de conseguirsus objetivos. Así, por ejemplo, el proyectoITUN es un claro exponente de una apues-ta innovadora de las entidades socialespor experimentar con nuevas herramientas(las empresas de inserción y sociales) enaras a conseguir un mejor cumplimientode los objetivos previstos: la inserción so-cial y laboral de unas personas con enor-mes dificultades para acercarse al merca-do laboral regular. Y el proyecto LAMEGItiene como objetivo consolidar los resulta-dos derivados del proyecto ITUN.

La eficacia de estos elementos innova-dores sólo se puede apreciar cuando seinvestigan los mecanismos de funciona-miento de los proyectos (la teoría decambio que subyace tras sus instrumen-tos) para conocer cómo, en qué circuns-tancias y por qué se producen los cam-bios perseguidos, identificar obstáculos ybarreras y contribuir a comprender mejorlos problemas que se pretenden solucio-nar y las opciones políticas disponiblespara afrontarlos.

Incluir en la metodología de evaluacióndel análisis de los procesos de cambioimpulsados por las acciones programa-das requiere usar enfoques específicosque permitan apreciar los mecanismoscausa-efecto subyacentes en el proyecto.

El tercer elemento es otra característi-ca asociada a la Iniciativa EQUAL: el de-sarrollo del concepto de intercolabora-ción (partenariado). Cada proyecto debesustentarse sobre la creación de una


Agrupación de Desarrollo donde las insti-tuciones y los agentes principales de suárea de actuación en su contexto localestén representados e integrados y se in-volucren activamente en el desarrollo delas acciones previstas. Así, se garantizala existencia de una base social ampliaque sustenta el proyecto, al tiempo quese introduce una perspectiva de planifi-cación política «de abajo-arriba» 7.

La Agrupación de Desarrollo es elcliente principal de la evaluación internade los proyectos EQUAL, su demandanteprimario. La metodología de evaluación,por lo tanto, debe ser consciente de la di-


121

Cuadro n.° 3

Adaptación del método de evaluación a los proyectos de inserción social y laboral

ELEMENTO CLAVE DIFICULTAD/RETO PROPUESTAMETODOLÓGICA

EN CUANTO AL CONTENIDO

Efectos sobre las personas ysobre las institucionesProcesos de aprendizaje con-tinuoCambios en actitudes, opinio-nes y comportamientos

Efectos intangiblesDifíciles de medir y cuantificar

Necesidad de utilizar técnicascualitativas para observar losefectos de los proyectos.

Innovación en las «formas dehacer» políticas de inserciónsocial y laboralExperimentación y uso de nue-vos diseños de políticas y nue-vos instrumentos

No es suficiente medir losefectos, también es necesarioconocer cómo se han conse-guido y por qué: analizar losmecanismos y los procesos decambio en funcionamiento

La teoría de cambio del pro-yecto: ¿cómo? ¿por qué? ¿enqué condiciones?

EN CUANTO A LA ESTRUCTURA

Colaboración interinstitucional(«partenariado» multinivel)A nivel local, nacional y euro-peo en su ámbito específico,la promoción del empleo y lainserción social.Principio de transferencia

Diversidad de agentes partici-pantes en el proyecto (múlti-ples actores).La evaluación como herra-mienta de capacitación.Transferencia de los resulta-dos y de las lecciones apren-didas a otros contextos.

Evaluación participativa comoestrategia para reforzar la utili-dad de los resultados de laevaluación para todos los or-ganismos, entidades y nivelesinstitucionales


7 Esta forma de abordar la puesta en marcha deproyectos de desarrollo no es exclusiva de la Inicia-

tiva EQUAL ya que también se puede encontrar enotras iniciativas comunitarias como LEADER, dirigi-da a impulsar procesos de desarrollo rural. En todoslos casos, se trata de potenciar la aplicación de pro-yectos planificados y ejecutados con un enfoque«de abajo-arriba» (del término anglosajón bottom-up), donde se da mucha importancia a la coordina-ción y la colaboración de las entidades e institucio-nes locales.

versidad de actores implicados en la eva-luación de cada proyecto: entidades pro-motoras, administraciones públicas loca-les y regionales, entidades financieras,instituciones sociales, sindicatos, etc. To-dos estos actores, aunque compartenuna visión y se han comprometido en unamisión concreta (el proyecto evaluado),realizan diferentes tareas dentro del mis-mo y trabajan desde diferentes perspecti-vas y con intereses diversos. La evalua-ción debe ser capaz de respetar eintegrar estas diferencias para conseguirgenerar información útil para los agentesparticipantes en la AD. Un enfoque eva-luador que respeta la pluralidad de pers-pectivas e intereses es el conocido comoevaluación participativa.

Este ha sido el modelo adoptado parala auto-evaluación de los proyectos ITUNy LAMEGI, un modelo de evaluacióncompartido con las entidades promotorasy con los socios que forman parte de susAgrupaciones de Desarrollo, un modeloque se convierte en la base sobre la que,de manera progresiva y mediante el tra-bajo diario con las entidades y agentes,se ha configurado la metodología ex-puesta a continuación8.

3.2. El uso de técnicas cualitativas (o la triangulación como estrategia metodológica)

El núcleo de una evaluación es la esti-mación de los efectos, los cambios pro-ducidos sobre el colectivo beneficiario yque van a servir para determinar la efica-cia del proyecto evaluado. La evaluacióndebe observar, medir y valorar los resul-tados, efectos e impacto del proyecto.Este es un ámbito de la evaluación queha recibido una gran atención en la litera-tura evaluadora y que entronca con laevaluación clásica por objetivos. Así, losmanuales y guías de evaluación nos en-señan cómo diferenciar entre objetivos acorto, medio y largo plazo y cómo gene-rar indicadores que nos permitan medirlos resultados a lo largo del tiempo. Tam-bién, se han escrito muchas páginas so-bre la estimación de los efectos netos deun proyecto, es decir, aquellos que sonatribuibles al proyecto evaluado y que nose hubieran producido en su ausencia9.

En nuestra experiencia evaluadora hayun aspecto que destaca a la hora de eva-luar la eficacia de los proyectos de inser-ción social y laboral. El objetivo final deestos proyectos es incrementar el númerode personas con un empleo, es decir,con un trabajo remunerado. En conse-cuencia, la medición de los efectos tien-de a concentrarse en la cuantificación delnúmero de puestos de trabajo generadosy en su distribución por colectivos y sexo.Esta información, sin embargo, resulta in-suficiente a la hora de conocer los efec-


8 En ambas evaluaciones, el primer documentode trabajo ha consistido en la elaboración de unosprincipios comunes de evaluación, que constituyenla base para diseñar posteriormente las guías meto-dológicas de cada proyecto. Este documento hasido discutido y contrastado con todas las entida-des socias en los distintos grupos de trabajo, asícomo aprobado por la AD. Este es un paso previoimprescindible ya que, antes de definir la metodolo-gía, es preciso compartir una misma idea sobre loque se espera de la evaluación. La importancia deeste primer acercamiento entre el equipo evaluadory las entidades implicadas en un proyecto es resal-tada, muy especialmente, en el trabajo de Rolfsen yTorvatn, 2005.

9 Ésta ha sido tradicionalmente la tarea funda-mental de la evaluación: la cuantificación del efectoneto del proyecto o política evaluado (Díez, 2001:910; Diez, 2003: 149).

tos reales sobre las personas excluidasya que olvida aspectos muy importantesrelacionados con los cambios que se hanproducido en los hombres y mujeres y ensu red social.

En primer lugar, se trata de personascon situaciones de exclusión muy diver-sas que inician procesos de aprendizajedirigidos a su inserción social y laboral.Este proceso de aprendizaje a lo largodel tiempo produce cambios importantesen diferentes vertientes de su vida per-sonal:

—En su desarrollo como persona: se-guridad, autoestima, confianza en simisma, aceptación social de su fa-milia y su entorno, fortalecimiento desu red social.

—En su nivel educativo: en sus conoci-mientos básicos, en sus habilidadessociales y técnicas, en su cualifica-ción profesional.

—En su inserción laboral: tipo de con-trato, ingresos, grado de utilizaciónde sus capacidades, satisfaccióncon las tareas realizadas, satisfac-ción con sus relaciones sociales.

—En sus expectativas de futuro: afánde superación, posibilidades de mo-vilidad laboral, consolidación de suvida personal y social, estabilidad.

Estimar, observar y medir (cuando seaposible) todos estos efectos es una tareaque la evaluación debe asumir para po-der determinar la eficacia de los proyec-tos evaluados, por ello no se puede limi-tar a la mera cuantificación de empleoscreados ya que sería olvidar una partemuy importante de los logros a los que elproyecto contribuye.

En segundo lugar, y aunque el objetivofinal de los proyectos sea la inserción la-boral de los colectivos excluidos, el pro-ceso de aprendizaje iniciado por estaspersonas continúa incluso cuando estándesempeñando sus labores en el puestode trabajo. Las personas con conveniosde inserción en las empresas tienen unacapacidad de trabajo limitada por sus ba-rreras personales y sociales y necesitande asesoramiento técnico y personal me-diante la persona del educador o tutor.Por lo tanto, los efectos del proyecto noacaban con la incorporación al empleosino que continúan visibles en las si-guientes etapas de desarrollo de las per-sonas beneficiarias, algo que claramentese evidenciaba en la evaluación del pro-yecto ITUN (ver Cuadro 4).

En tercer lugar, estos proyectos no sólopretenden introducir cambios en positivosobre los colectivos en riesgo de exclu-sión sino que, en numerosas ocasiones,también pretenden introducir cambios enel comportamiento de las administracio-nes públicas con responsabilidades en elárea social y de empleo, y que finalmente,conduzcan a la incorporación y puesta enmarcha de nuevas políticas de inserciónsociolaboral más integradoras, más acti-vas y donde predomine un enfoque decorresponsabilidad social y concertación,que complemente a las políticas pasivasya existentes. De ahí que, una buena par-te de sus acciones vayan dirigidas a di-fundir y sensibilizar, formar y capacitar alos agentes institucionales que actúan ensu entorno.

Por consiguiente, para que la evalua-ción pueda apreciar y observar todo esteconjunto de efectos es preciso que sedote de un enfoque metodológico rico enmétodos cualitativos. Solo la información


123

cualitativa puede servir para obtener unconocimiento más detallado y profundode los alcances producidos y determinarla eficacia de las acciones evaluadas.Esta información permite conocer si seestán produciendo avances positivos enlas actitudes, opiniones y comportamien-tos de las personas y de las institucionessobre las que el proyecto busca incidir.La información cualitativa facilita captarsu propia representación de la realidad,comprender sus objetivos y la manera enque perciben el proyecto evaluado, cono-cer cómo el proyecto afecta a sus vidas,a sus entidades y a su comportamiento10.

Dadas estas peculiaridades, la Guía deEvaluación Interna del proyecto ITUN

contaba con un conjunto de técnicascualitativas desplegadas en el trabajo decampo, dirigidas a apreciar e identificarlos efectos no cuantificables del proyec-to. El trabajo de campo consistió en la re-alización de entrevistas en profundidad(en base a un guión de temas previamen-te elaborado) a una muestra de beneficia-rios procedentes de diferentes colectivos(34 personas trabajando en empresascon convenios de inserción) y a todas laspersonas encargadas de la gerencia delas empresas de inserción y sociales yde las labores de seguimiento (tutoría) yeducativas (20 entrevistas en total). El ob-jetivo principal perseguido era conseguirun elevado grado de familiaridad y de co-nocimiento de las actividades y de susefectos por medio de sus principales pro-tagonistas.

En el proyecto ITUN, el uso de técnicascualitativas permitía conocer los cambios


Cuadro n.° 4

El proceso de incorporación al empleo en el proyecto ITUN

PRE-LABORAL:• Cursos de formación.• Prácticas en empresas.• Acompañamiento de educadores.• Acciones específicas de inserción personal.

LABORAL:• Formación en el propio puesto de trabajo.• Perfeccionamiento de la cualificación profe-

sional (nuevas capacitaciones).• Desarrollo de nuevas actitudes: más autono-

mía y más responsabilidad.• Acompañamiento/tutorización por parte de

los educadores.

PROCESO DE INSERCIÓN PERSONAL-SOCIAL-LABORAL

Incorporación a la empresa de inserción o empresa social

10 Una excelente obra de referencia para el usode técnicas cualitativas en evaluación es el libro dePatton (2002): «Qualitative research and evaluationmethods».


que gracias al proyecto se estaban pro-duciendo en el colectivo destinatario. To-das las personas entrevistadas valorabanmuy positivamente su proceso de apren-dizaje, y se mostraban satisfechas de losprogresos realizados; progresos que leshabían permitido aprender un oficio, con-seguir un trabajo y estar, en el momentode la entrevista, desarrollando una profe-sión que, en su opinión, mejoraba susperspectivas de futuro. Considerabanque su participación en el proyecto ITUNhabía sido decisiva para alcanzar unamayor estabilidad personal al ofrecerlesseguridad económica e independenciapara poder desarrollar sus proyectos per-sonales de vida y alcanzar una mayor se-guridad y confianza en si mismas y ensus capacidades.

Los resultados de la evaluación poníande manifiesto que estos procesos perso-nales de aprendizaje son costosos, gra-duales y largos en el tiempo. Comienzanpor transformar a las personas en trabaja-doras competentes, continúan apoyandosu autonomía laboral y la asunción, cadavez más, de mayores responsabilidades,para terminar (idealmente) convirtiéndo-las en personas capaces de incorporarseal mercado regular sin trabas y comple-jos. Esta evolución, sin embargo, no es nilineal, ni posible en todas las personasbeneficiarias ya que muchas, dada lagravedad de sus problemas, nunca esta-rán preparadas para dar el salto a unaempresa regular y su trabajo deberámantenerse siempre dentro de un entornoprotegido.

Por lo tanto, la propuesta metodológicapara evaluar proyectos de inserción es in-cluir en el diseño de la evaluación una im-portante batería de indicadores cualitativosque resulta imprescindible para identificar

los efectos reales producidos, y conocer laeficacia de los proyectos evaluados, tal ycomo demuestra la información presentadadel proyecto ITUN. Su recogida puede rea-lizarse utilizando entrevistas en profundi-dad basadas en un guión orientativo previoy/o mediante grupos de discusión dondepuedan percibirse las valoraciones que losdiferentes colectivos realizan de sus avan-ces y logros. Esta valoración subjetiva escomplementada con la apreciación mani-festada tanto por las personas que tutori-zan sus procesos de aprendizaje y que es-tán en estrecho contacto con el desarrollodel proceso personal, como por las res-ponsables de la puesta en marcha de lasnuevas acciones o instrumentos (en elcaso del proyecto ITUN las entidades quegestionan las empresas de inserción y so-ciales), de nuevo mediante entrevistas ogrupos de discusión.

Estos métodos cualitativos se añaden aotros de naturaleza cuantitativa que facili-tan la medición de los efectos, tal y comose ha venido haciendo tradicionalmente.Partimos de una noción de métodos entérminos puramente instrumentales comoherramienta o procedimiento utilizadopara generar y analizar la información. Elenfoque metodológico propuesto defien-de el uso de métodos diversos (triangula-ción) combinando técnicas deductivas einductivas y datos cuantitativos y cualitati-vos como estrategia de evaluación11. Laevaluación utiliza una amplia variedad detécnicas de recogida de información, de


125

11 Existen numeroso trabajos que se pronunciande forma favorable sobre la combinación de méto-dos diversos tanto desde la evaluación clásicacomo Rossi y Freeman, (1993: 437), como desde laevaluación constructivista como Guba y Lincoln(1989: 42). A este respecto ver también los trabajosde Green y Caracelli, 1997 y Patton, 2002.

instrumentos de análisis de información yde datos y además su utilización combi-nada permite maximizar su adaptación acada situación12.

3.3. El análisis de los procesos de cambio

En estas evaluaciones, tan importantecomo conocer los efectos inducidos me-diante las acciones realizadas, es llegar aidentificar los mecanismos que permitenavanzar hacia el impacto deseado. Comoya se ha mencionado, el elevado carácterinnovador de los proyectos EQUAL con-vierte al análisis de las estrategias de ac-tuación implantadas (el cómo) y de losfactores clave internos y externos quecontribuyen al éxito o no de los resulta-dos (el por qué) en una información clavede la evaluación.

Por consiguiente, la evaluación internade estos proyectos debe analizar y valo-rar junto a los efectos, también los esfuer-zos encaminados a lograrlos. Esta es unamanera de obtener respuestas a las si-guientes preguntas: ¿por qué un progra-ma funciona, para quiénes y en qué cir-cunstancias? (Pawson y Tilley, 1997) ycontribuir así a generar conocimiento so-bre la eficacia de los nuevos instrumentosque se introducen en los proyectos de in-

serción con un componente innovadorelevado. En la evaluación tradicional, res-ponder al cómo y al porqué, ha sido unacuestión frecuentemente olvidada. Así,por ejemplo, en la evaluación basada endiseños experimentales (o cuasi-experi-mentales), se conoce que se ha produci-do un cambio en la variable X al pasar deuna situación A (situación donde no exis-tía intervención pública) a una situación B(con intervención pública) y que estecambio es atribuible a la política evalua-da (validez interna del experimento), perono se obtiene ninguna información sobrelas razones que lo han provocado. Deahí, el uso del término «caja negra» parareferirse a este aspecto específico delmodelo de evaluación (Pawson y Tilley,1997; Stame, 2004).

Además, las entidades promotoras delos proyectos están obligadas a demos-trar que sus acciones generan cambiosimportantes y duraderos en el bienestarde sus beneficiarios y, sin embargo, con-seguir esos impactos, generalmente esfruto de una confluencia de factores so-bre los que ninguna entidad puede atri-buirse el mérito de forma exclusiva. A pe-sar de la influencia que se pueda ejercersobre el logro de los efectos, éstos casinunca están sólo bajo su control ya que,en última instancia, la responsabilidad degenerar cambios recae también sobreotros agentes (que se convierten en so-cios estratégicos) o sobre factores con-textuales externos al proyecto evaluado.Por tanto, es necesario interpretar loscambios y evaluar los progresos y esfuer-zos encaminados a lograrlos.

De este modo, para comprender la in-teracción entre los proyectos de inserciónsocial, sus acciones, las respuestas quegeneran y sus resultados, es decir, las re-


12 En el proyecto ITUN, junto a la información cua-litativa ya mencionada se recogieron datos cuantita-tivos relativos al número de empresas creadas, tipoy características, empleos creados y mantenidos,según sexo y colectivos, y otras estadísticas sobreresultados del proyecto. Esta información está dis-ponible de manera resumida en: Díez M. A. y Setién,M. L. (2005) «La evaluación del proyecto ITUN-EQUAL: efectos y procesos de cambio» Revista In-guruak, y de manera extendida en el informe finalde la evaluación interna del proyecto ITUN (2004).

laciones causa-efecto, y conocer cómo,por qué y en qué circunstancias el pro-yecto contribuye a conseguir cambios re-levantes sobre el comportamiento de susparticipantes (personas e instituciones)es necesario introducir un enfoque deevaluación basada en la teoría13. SegúnRogers et al (2000), la evaluación basadaen la teoría se compone de dos elemen-tos principales: por un lado, un modelo oteoría explícita de cómo y por qué el pro-yecto produce los efectos observados y,por otro, el uso de esa teoría como basepara el propio diseño de la evaluación.Este enfoque no es nuevo en la evalua-ción de políticas y ha sido desarrollado yutilizado tanto por la evaluación clásica ypositivista (Chen y Rossi, 1994) como porotras corrientes más críticas (Weiss,1995). En los últimos años, ha cobrado ungran auge, sobre todo, debido a los tra-bajos realizados con modelos de evalua-ción de «la teoría de cambio» (Connell yKubisch, 1998) y con la evaluación realis-ta (Pawson y Tilley, 1997)14.

A modo de ejemplo, la «teoría de cam-bio» es un enfoque de evaluación dondeel equipo evaluador, las personas res-ponsables del programa y los agentessociales trabajan juntos para explorar yrepresentar (gráficamente) la trayectoriade cambio esperada, y al mismo tiempo

identificar los pasos clave para su desa-rrollo, de manera que las interrelacionesmás decisivas para alcanzar los resulta-dos previstos puedan ser observadas ymedidas. Estas interrelaciones se basanen el análisis de la estrategia global delproyecto evaluado, los resultados y losobjetivos. Aplicar la teoría de cambio a laevaluación implica realizar un análisis sis-temático y acumulativo de las conexionesentre las actividades y sus resultados, demanera que sea posible conocer cómo yporqué el proyecto evaluado funciona ysiempre teniendo en cuenta el contextoen el que se desarrolla. La evaluación asídiseñada determina el grado o nivel en elque la trayectoria de cambio esperada sedespliega, al mismo tiempo que permiteconectar e interrelacionar las estrategiascon los efectos finales producidos (Milli-gan et al. 1998: 55).

Esta es la propuesta metodológicaadoptada en el proyecto LAMEGI, dondeel diseño de la evaluación ha intentadoanalizar la teoría de cambio del proyecto.Para Weiss, la teoría de cambio tiene doscomponentes: la teoría de implantación yla teoría del programa. La teoría de im-plantación predice de manera descriptivalos pasos que deben ser adoptados en laaplicación del programa mientras que lateoría programática está basada en losmecanismos que producen los cambiosdonde «el mecanismo de cambio no serefiere a las actividades del programa porsi mismas, sino a las respuestas que es-tas actividades generan» (Weiss, 1998a:57). En el caso del proyecto LAMEGI, ex-plicitar la teoría programática ha sido unproceso de gran ayuda para poder de-sarrollar un diseño de evaluación quepermita profundizar en el análisis de loslogros y fracasos obtenidos por sus dife-


127

13 Aunque en el texto se utiliza el término evalua-ción basada en la teoría, como hace Weiss (Weiss1995), es posible encontrar otros términos para de-nominar este enfoque como teoría del programa(Rogers et al., 2000), theory-driven evaluation(Chen, 1994), teoría de cambio (Connell et al., 1995)y evaluación realista (Pawson y Tilley, 1997). Stame,por ejemplo, utiliza la denominación enfoques orien-tados hacia la teoría como una forma de agrupar losdiferentes modelos (Stame, 2004).

14 Una presentación sintética de las principalessemejanzas y diferencias entre estos enfoques pue-de encontrarse en Stame, 2004.

rentes acciones. Esto es así dado que losefectos perseguidos por el proyecto de-penden de su capacidad para impulsar eintroducir cambios en el comportamientode la administración pública en sus con-trataciones externas (en respuesta a lasactividades generadas por el proyecto).Así, la teoría programática nos indica quelas actividades planificadas van dirigidasa generar una respuesta gradual de laAdministración pública: primero se espe-ra sensibilizar, luego capacitar, más tarde

experimentar, para posteriormente intro-ducir y, por último, normalizar y regularnuevos instrumentos de economía solida-ria. Estas respuestas implican cambiosen la actitud y en el comportamiento de laAdministración pública a la hora de defi-nir sus objetivos sociales y sus políticas(ver gráfico n.º 2).

El desarrollo de ambas teorías facilita ladefinición de los indicadores de progre-sos. La información recogida combina in-dicadores cuantitativos relacionados con


Gráfico n.° 2

Teorías del grupo cláusulas sociales (Proyecto LAMEGI)

— Se realizan jornadas de difusión Se inicia la sensibilización de las AA.PPsobre cláusulas sociales actitud inicial: neutra o negativa

— Las entidades de la AD participan comportamiento: pasivoactivamente en la difusión

— Se difunden herramientas La sensibilización continúa y elaboradas por el grupo (guías,...) se comienza

a capacitar a los agentes.actitud: positiva o neutra.comportamiento: facilitador

— Puesta en marcha del servicio de Continúa la capacitación y algunos asesoría técnica agentes comienzan la experimentación.

actitud: positivacomportamiento: colaborador.

— Organiza jornadas de formación y Más agentes se forman y la capacitación capacitación y

— Se mantiene la asesoría técnica experimentación se extiende a más AA.PP.actitud: propositiva.comportamiento: colaborador.

— Difusión amplia de los resultados Las AA.PP. introducen las cláusulas de la experimentación sociales

de forma normalizada y las regulanactitud: propositivacomportamiento: activo

Teoría de implantación(actividades)

Teoría del Programa(mecanismos de cambio)


cambios en comportamientos e indicado-res cualitativos, para observar cambios enactitudes e intenciones. Esta informacióndebe obtenerse de cuestionarios, entre-vistas, sesiones de discusión o mediantela observación directa.

A escala operativa, especificar la teoríade cambio no está exenta de problemas.Entre ellos están: la complejidad de losproyectos a evaluar y de sus interrelacio-nes que dificulta la visualización y repre-sentación de sus teorías de cambio; losriesgos de adoptar visiones excesiva-mente lineales; la identificación de losfactores que refuerzan o impiden el pro-ceso de cambio. Estos son algunos delos retos a tener en cuenta en la aplica-ción de este enfoque (Van der Knaap,2004; Davies, R., 2004 y 2005; Mackenziey Blamey, 2005).

En definitiva, detallar la teoría de cam-bio ayuda a identificar los elementos quepermiten (o dificultan) el alcance de losobjetivos, detectando posibles problemasy, complementariamente, áreas de mejo-ra para, a partir de este análisis, poderconstruir las recomendaciones. Las con-clusiones alcanzadas relativas a los pro-cesos de cambio y la trayectoria desarro-llada contribuyen de forma directa afacilitar la transferencia de los resultadosde la evaluación a otros contextos. Pro-fundizar en los procesos, en las causas yen los mecanismos permite identificarbuenas prácticas15.

3.4. El método de evaluación participativa

En los proyectos EQUAL, como ITUN yLAMEGI, el desarrollo de un enfoque deevaluación participativo entronca directa-mente con algunos de los principios bási-cos que la propia Iniciativa pretende de-sarrollar. En efecto, no podemos olvidarque todo proyecto EQUAL debe perse-guir como objetivo la colaboración institu-cional basada en el asociacionismo (par-tenariado) local y la capacitación de lasentidades y los agentes que participan enel proyecto. La evaluación basada en laparticipación facilita el desarrollo y elcumplimiento de estos dos principios, altiempo que contribuye a incrementar lautilidad de la evaluación para los diferen-tes agentes y el uso de sus resultados.

Aunque de escasa implantación ennuestro entorno más cercano, la partici-pación en evaluación posee ya una largatradición tanto en su propio desarrollo te-órico como en relación con su aplicaciónpráctica, en especial en el ámbito de lacooperación al desarrollo y en el camposocial16.

Más que una corriente homogénea, laevaluación participativa recoge una diversi-dad de enfoques que tienen sus raíces enmetodologías de investigación-acción-par-ticipación (participatory action research) y


129

15 En este sentido, Pawson afirma: «en evaluaciónla tarea de transferir conocimiento pertenece a lateoría....las lecciones transferibles se aprenden delas teorías de los programas y no de los programasper se» (Pawson, 2003: 479)

16 La evaluación participativa es un enfoque degran tradición en los proyectos de cooperación aldesarrollo, ver, por ejemplo, los trabajos publicadospor el IDS (Institute of Development Studies, Univer-sity of Sussex, UK: www.ids.ac.uk) o por el IDRC (In-ternational Development Research Centre, Canada:www.idrc.ca). En especial destacan los trabajos deChambers, R., 1997 y Estrella, M. et al. , 2000. En elcampo social, se puede consultar López de Ceba-llos P. et al, 2001 y Niremberg, O. et al, 2000).

que comparten entre sí una visión de laevaluación como un proceso de trabajo encolaboración con los actores del proyectoevaluado. «La evaluación participativa im-plica que, cuando hacemos una evalua-ción, investigadores, facilitadores o evalua-dores profesionales colaboran, en ciertamedida, con los individuos, grupos o co-munidades que tienen un claro interés17 enel programa, en el proyecto de desarrollo oen otro objeto cualquiera que sea evalua-do» (Cousins y Whitmore, 1998:5). ParaBurke (Burke, 1998:44), la metodología deevaluación participativa debe ser entendi-da como un conjunto de principios y unproceso de implicación de los stakehol-der18 en la evaluación. Según este evalua-dor, los principios más destacados son:

• La evaluación debe ser específica asu contexto y construida sobre laspreocupaciones, intereses y proble-mas de los stakeholders.

• La metodología de evaluación res-peta e utiliza el conocimiento y la ex-periencia de los stakeholders clave.

• La evaluación favorece la creación deconocimiento de manera colectiva.

• La evaluación debe implicar (cola-borar y trabajar) a los stakeholders yser útil al propio proyecto (a sus ob-jetivos) y a sus metas.

• La evaluación es y no puede ser«desinteresada»19, esto es, se bus-ca de manera explicita el uso y laaplicación de sus resultados.

• El evaluador (facilitador) comparte supoder con los stakeholders, de estamanera el control de la evaluación noestá sólo en las manos del equipo deevaluación, sino que es una tareacompartida con los stakeholders.

En la práctica, la metodología de eva-luación participativa se utiliza de formamuy diferente por los equipos evaluadoresque trabajan dentro de este enfoque, éstosno siempre aplican todos los principios, nisu desarrollo se realiza de forma idéntica,al tiempo que puede variar el énfasis dadoa cada uno de ellos. De ahí, que dentro deesta metodología coexistan múltiples mo-delos de evaluación (stakeholder evalua-tion, utilization-focused evaluation, empo-werment evaluation, responsive evaluation,democrative evaluation...)20. Para algunasde estas propuestas, la participación enevaluación tiene una orientación eminente-mente práctica destinada a apoyar el pro-ceso de toma de decisiones y de resolu-ción de problemas21. Su función principales promover el uso de la evaluación y suidea básica reside en que la participaciónes esencial para favorecer la consecuciónde resultados relevantes, la apropiaciónde estos resultados por parte de los usua-


17 Stake en el inglés de la cita original. 18 El término stakeholder hace referencia al individuo

o al grupo que tienen un interés (stake) en la evalua-ción: puede afectar y verse afectado por los resultadosde la evaluación y tiene una opinión válida al respecto.En este artículo hemos preferido utilizar directamenteel término anglosajón sin traducir ya que consideramosque las diferentes alternativas utilizadas en la literaturaevaluadora en castellano (actores, audiencias, implica-dos, interesados,...) no llegan a captar de forma com-prensiva el alcance del concepto stakeholder.

19 Este término está estrechamente relacionadocon el propósito de la evaluación y, en consecuen-cia, con su uso potencial.

20 Ver, por ejemplo, los trabajos de Patton, 1997;Green, 1998; Whitmore, 1998; Fetterman, 2001;Guba y Lincoln, 1989; Monnier, 1996 y House yHowe, 1999,

21 Es así como se entiende y desarrolla el princi-pio de que la evaluación no es, ni puede ser desin-teresada.

rios (colectivos potenciales) y su aplica-ción práctica para la mejora del programay de futuras planificaciones. Cousins yWhitmore denominan a esta corrientePractical Participatory Evaluation (P-PE).Para otros enfoques, la evaluación partici-pativa debe orientarse hacia la transforma-ción de las desigualdades mediante laproducción de conocimientos y el impulsodel cambio social. Su función es transfor-madora y emancipadora ya que busca darpoder a los miembros más débiles de lacomunidad y a los grupos implicados en elprograma evaluado. Esta orientación trans-formadora busca democratizar el cambiosocial y tiene sus raíces en ideologías decarácter radical. A esta segunda corrientese le ha denominado Transformative Parti-cipatory Evaluation (T-PE) (Cousins y Whit-more, 1998:5).

No es el objetivo de este artículo entraren profundidad en las bases teóricas de laevaluación participativa, sino utilizar estemarco para situar el enfoque participativoutilizado en los proyectos ITUN yLAMEGI22. En la evaluación interna de es-tos proyectos, el diseño de la evaluación ysu metodología se construye sobre la basede los intereses y de las necesidades infor-mativas de los diferentes agentes socialese institucionales que participan de formaactiva en su desarrollo: las entidades pro-motoras de los proyectos y las institucionessocias de la Agrupación de Desarrollo. Laexistencia de la Agrupación de Desarrolloen los proyectos EQUAL es un elementoque facilita y favorece la participación, yaque se dispone de un espacio donde lasinstituciones relacionadas con el proyectose encuentran todas ellas representadas.

El diseño evaluador de los proyectos ITUNy LAMEGI debe responder a las necesida-des de información de estos stakeholderprincipales y debe contar con su aproba-ción y respaldo, así como con su colabora-ción. En este enfoque, resulta útil comopaso previo al propio diseño de la evalua-ción realizar un análisis de los stakeholderspara delimitar quiénes son las entidadesclave y cuáles son sus funciones (ver cua-dro 5) y seleccionar, a partir de este análi-sis, a los participantes en la evaluación.

Por lo tanto, el criterio aplicado en losproyectos ITUN y LAMEGI, al considerar alas entidades que forman parte de laAgrupación de Desarrollo como partici-pantes clave de la evaluación, es un crite-rio operativo o instrumental y en el marcode enfoques participativos presentadoscon anterioridad se encuentra dentro dela corriente de orientación práctica (P-PE).Por esta razón, las personas beneficiariasno participan activamente en el procesode la evaluación. Ésta, aunque no ha sidola opción adoptada, es una alternativa po-derosa por su capacidad transformadorapor lo que no se descarta su introducciónen procesos de evaluación posteriores23.

En segundo lugar, también es importanteconocer en qué tareas evaluadoras partici-pan las entidades de la AD para conocer sugrado de implicación en la evaluación. En elcaso del proyecto ITUN, las entidades hancolaborado en las distintas fases del proce-so de diseño y de realización:

—Delimitando las necesidades infor-mativas mediante las preguntas deevaluación.


22 Como referencia básica puede consultarseWhitmore, 1998.

23 De hecho, esta alternativa reforzaría la partici-pación de las personas como principio recogido enla Iniciativa EQUAL.

131

—Identificando los criterios que se vana utilizar para emitir los juicios de va-lor sobre el proyecto. Esta es sinduda una cuestión clave ya que per-mite alcanzar acuerdos sobre losparámetros que van a servir para es-

tablecer los éxitos y fracasos del

proyecto desde el punto de vista de

sus propios protagonistas.

—Definiendo los indicadores que son

los que permiten recoger la informa-


Cuadro n.° 5

Agentes participantes en el Proyecto LAMEGI

Agentes del Proyecto LAMEGI

Funciones Agentes Actores

Decisoras

Promotoras y ejecutoras

Agrupación de Desarrollo LAMEGI

Asociación Berriztapen(directora, promotora

y coordinadora)

Grupos de Trabajo(ejecutores)

AgiantzaCáritasPeñascalSartu

Gobierno VascoDiputaciones ForalesEUDELGARAPENREASEAPNFIARE FundazioaBBK Gazte LanbideanELALABUniversidad DeustoUPV/EHU

Beneficiarias

Beneficiarios finales

Nota: En sombreado todas las entidades de la AD Lamegi.


Empresas de inserción y sociales

Personas excluidasParados de larga duraciónInmigrantes regulares e irregu-laresMujeres con cargas familiaresJóvenes con baja cualificaciónDrogodependientes en proce-so de rehabilitaciónPersonas sin cobertura econó-mica básicaPersonas reclusas o ex-reclusasOtras personas en riesgo deexclusión

Entidades promotorasGerentesEducadores


133

ción relevante sobre el proyecto. Losindicadores para la medición y ob-servación de los hechos (la eviden-cia empírica) y el posterior contrastecon los criterios.

—Verificando las conclusiones de laevaluación que se extraen del análi-sis de los datos y las informacionesrecopiladas.

—Acordando las recomendaciones ylas acciones de mejora que garanti-cen la aplicabilidad de las mismas.

Todas estas tareas han sido comparti-das por las personas evaluadoras y lasentidades participantes en la evaluación.El resultado de este proceso de colabora-ción es que la evaluación gana en credi-bilidad y sus conclusiones son fruto deltrabajo en común. Los stakeholders seapropian del proceso de la evaluación,que deja de ser una actividad externa yajena al proyecto, para convertirse en unproceso de aprendizaje sobre una expe-riencia compartida24.

4. COMBINANDO FUNCIONES:RENDICIÓN DE CUENTAS YGENERACIÓN DE CONOCIMIENTO

La evaluación de un proyecto EQUALdebe estar al servicio de numerosos con-textos ya que responde a una estructura

de colaboración entre agentes e institu-ciones en la que se superponen diferen-tes ámbitos políticos e institucionales. Laevaluación de los proyectos EQUAL estáobligada a generar conocimiento que seade utilidad al menos a tres niveles: a nivellocal para las entidades promotoras y so-cias de las Agrupaciones de Desarrollo, anivel nacional para la Administración cen-tral (la UAFSE en el caso de España) y,por último, a nivel europeo (la Comisión).Por consiguiente, la evaluación debe res-ponder a las necesidades informativas desu Agrupación de Desarrollo, pero tam-bién a las necesidades expresadas porlas autoridades nacionales y europeas yque aparecen recogidas en sus Guías ydirectrices para la evaluación. En la prác-tica, esto supone que la evaluación debecompaginar diferentes funciones.

Por un lado, la evaluación debe suminis-trar evidencias que permitan rendir cuentasdel uso eficaz y eficiente de los recursospúblicos asignados al proyecto. Para la ren-dición de cuentas es fundamental poderidentificar, de la forma más comprensivaposible, los resultados obtenidos por el pro-yecto evaluado. Son los resultados obteni-dos los que justifican la realización del pro-yecto, la inversión de recursos financieros yhumanos y su grado de eficacia. La evalua-ción se define, entonces, como sumativa y,de acuerdo a Scriven, en origen connotauna recapitulación de los efectos de un pro-grama o proyecto sobre sus destinatarios(Niremberg et al, 2000: 42). La evaluaciónsumativa se emplea para decidir si el pro-yecto merece una nueva inversión o la ob-tención de fondos adicionales, si conduce adecisiones relativas a la continuación, ex-pansión o finalización y si responde princi-palmente a las necesidades de quienes for-mulan estrategias y las financian.

24 La evaluación participativa como enfoque noestá exenta de problemas, tensiones y críticas, enespecial, se resaltan las dificultades relacionadascon la equidad y justicia del proceso participativo yla necesidad de asegurar que todas las inquietudese intereses estén igualmente representadas debidoa la existencia de relaciones de poder, explícitas oimplícitas, o simplemente a que ciertos grupos sonmás activos y/o persuasivos (Weiss, 1998, 105-112;Gregory, 2000)

Por otro lado, la rendición de cuentasdebe compaginarse con la generación deconocimiento para la acción. En efecto,otro de los aspectos clave en la evalua-ción de los proyectos EQUAL es potenciarel uso de las conclusiones alcanzadaspara introducir cambios en las políticassociales y de empleo en un triple sentido:

—Para aprender lecciones que permi-tan mejorar la planificación y ejecu-ción de los proyectos por parte desu AD y resolver mejor las necesida-des del colectivos destinatario. Endefinitiva, la evaluación debe servir alas entidades promotoras e institu-ciones socias para desarrollarse.

—Para introducir cambios en las políti-cas y en el marco institucional en elque se desenvuelven y formular nue-vas actuaciones públicas mejoradaptadas a las realidades socialesque pretenden transformar.

—Para facilitar la transferencia de lasconclusiones alcanzadas a otros ám-bitos (nacional y europeo). Esto sig-nifica que la evaluación debe ser ca-paz de identificar buenas prácticas.

La importancia de generar conoci-miento para la acción supone reconocerla evaluación como un proceso de apren-dizaje desde la perspectiva de todas lasentidades e instituciones implicadas.Este proceso de aprendizaje es el quepermite generar conocimiento útil paraconseguir cumplir los objetivos a corto ylargo plazo y «la mejor manera que co-nocemos hasta la fecha de impulsar eluso de la evaluación es mediante la par-ticipación de los potenciales usuarios enla definición del estudio y en la interpre-tación de los resultados, mediante la de-volución de los resultados regularmente

mientras el estudio va avanzando»(Weiss, 1998b:30)25. Por lo tanto, genera-ción de conocimiento y aprendizaje sondos propósitos que se ven reforzados porel uso de una metodología participativa.

Esta creación de conocimiento facilita lamejora del proyecto evaluado ya que se tra-ta de obtener respuestas prácticas dirigidashacia la acción. La evaluación comienza aformar parte del propio proyecto y de susactividades habituales. De aquí, surgeigualmente nuestra última recomendación:desarrollar, desde el inicio del proyecto, unmodelo de evaluación formativa, tal y comoen la actualidad se está realizando en laevaluación del proyecto LAMEGI. La eva-luación formativa se define como un tipo deevaluación que responde al propósito demejorar una intervención en un momentodeterminado y para un grupo específico depersonas (las que están implicadas en suaplicación y desarrollo). Busca proporcio-nar información útil para ayudar a mejorar elproyecto y contribuye a la toma de decisio-nes acerca de su implantación y puesta enmarcha (modificación, revisión, ajustes,...)

La evaluación formativa está asociada ala función de aprendizaje, mientras que laevaluación sumativa responde al rendi-miento de cuentas26. Encontrar un equili-brio adecuado entre estas diferentes fun-ciones no resulta fácil y su armonizaciónse convierte en un nuevo reto al que laevaluación de estos proyectos se debeenfrentar. Pero como señala Pawson, «una


25 Opinión defendida también por otros autores:Patton, 1997, Cousins y Whitmore, 1998, Forss et al.,2002)

26 Aunque también la evaluación sumativa contri-buye a generar conocimiento sobre el proyecto, co-nocimiento que puede ser utilizado para mejorarnuestra comprensión del problema que se deseasolucionar y de las opciones políticas al respecto.

buena evaluación debería integrar elemen-tos sumativos y formativos» (Pawson,2003:489). Algo que creemos es especial-mente importante cuando el objetivo últi-mo, tanto de los proyectos EQUAL comode su evaluación, es intentar contribuir aque personas con dificultades alcancen lacapacidad para salir adelante por sí mis-mas y conseguir un empleo ya que «me-diante el acto de aprender, (...), el ser hu-mano deja de ser un objeto a la mercedde las circunstancias para convertirse enser responsable de su propia historia» (Ló-pez de Ceballos, P y otros, 2001: 202).

5. CONCLUSIONES FINALES

La evaluación de los proyectos EQUALde inserción social y laboral no resulta sen-cilla y plantea importantes retos que losequipos evaluadores se ven en la necesi-dad de resolver. En los proyectos ITUN yLAMEGI, la auto-evaluación o evaluacióninterna impulsada desde la propia iniciativaEQUAL se ha convertido en una oportuni-dad para diseñar un modelo de evaluaciónadaptado a las características específicasde sus objetivos, de sus actividades y desu contexto y ensayar metodologías ade-cuadas a las necesidades informativas deestos proyectos, tal y como se ha ido pre-sentando a lo largo de este artículo.

Las decisiones adoptadas contribuyena configurar un diseño de evaluación quese estructura alrededor de las siguientespropuestas metodológicas:

—La inclusión y el uso de métodos ytécnicas cualitativas para observarlos efectos de los proyectos sobrelas personas y las instituciones.

—La introducción de un enfoque basa-do en la teoría para conocer los proce-sos de cambio impulsados por las ac-tividades innovadoras desarrolladasen los proyectos y vinculadas al usode nuevos diseños e instrumentos.

—El uso de una metodología de eva-luación participativa para acoger enla evaluación a los intereses y nece-sidades informativas de todos losagentes que conforman sus Agrupa-ciones de Desarrollo.

—El desarrollo de un modelo de evalua-ción formativa para reforzar el proce-so de capacitación y aprendizaje mu-tuo y facilitar la transferencia de laslecciones aprendidas.

La incorporación conjunta de estaspropuestas metodológicas en la evalua-ción, primero, del proyecto ITUN y, poste-riormente, del proyecto LAMEGI ha pues-to en evidencia su capacidad paramejorar la calidad y la utilidad del proce-so de evaluación interna y demostrar elgrado de eficacia de los proyectos, asícomo el nivel de cumplimiento de losprincipios de la Iniciativa EQUAL.

En primer lugar, la información genera-da ofrece una visión global y comprensi-va de los distintos efectos del proyecto ygenera mayor conocimiento sobre el im-pacto producido sobre las personas be-neficiarias, y sobre el modo en que la in-serción laboral contribuye a la integraciónsocial de los colectivos excluidos. Ambosaspectos son esenciales para valorar laeficacia de los proyectos en relación conel cumplimiento de sus objetivos.

En segundo lugar, la evaluación contri-buye a identificar los elementos que facili-tan o dificultan los resultados del proyec-


135

BURKE, B. (1998): «Evaluating for a change: re-flections on participatory methodology» en E.Whitmore (Ed.) Understanding and practisingparticipatory evaluation, New Directions forEvaluation, nº 80: 43-56.

BUSTELO, M. (1999): «Diferencias entre evaluacióne investigación: una distribución necesariapara la identidad de la evaluación de progra-mas». Revista Española de Desarrollo y Coo-peración 4: 9-29.

CONNELL, J. P. Y A. C. KUBISCH (1998): «Applyinga Theory of Change approach to the evaluationof Comprehensive Community Initiatives: pro-gress, prospects and problems» en K. Ful-bright-Anderson et al. (Eds) New approachesto evaluating Community Initiatives: theory, me-asurement and analysis. Washington, D. C.,The Aspen Institute: 15-44.

CONNELL, J.P, A. C. KUBISCH, L. B. SCHORR Y C. H.WEISS, (EDS) (1995). New Approaches to Eva-luating Community Initiatives: Concepts, Met-hods and Context. Aspen Institute. Washing-ton, D. C.

COUSINS, J. B. Y E. WHITMORE, (1998): «Framingparticipatory evaluation » en E. Whitmore (ed.)Understanding and practising participatoryevaluation, New Directions for Evaluation, nº80: 5-24.

CHAMBERS, R. (1997): Whose reality counts? Put-ting the first last. Ed. ITDG Publishing.

CHEN, H-T. (1994): «Theory-driven evaluations:need, difficulties and options». EvaluationPractice 15(1): 79-82.

CHEN, H-T Y P. ROSSI (1994): «Issues in the the-ory-driven perspective», Evaluation and Pro-gram Planning 12(4): 299-306.

DAVIES, R. (2004): «Scale, complexity and the re-presentation of Theories of Change. Part I»Evaluation 10(1): 101-121.

DAVIES, R. (2005): «Scale, complexity and the re-presentation of Theories of Change. Part II»Evaluation 11(2): 133-149.

DÍEZ M. A. Y M L. SETIÉN (2005): «La evaluacióndel proyecto ITUN-EQUAL: efectos y procesosde cambio» Inguruak. Revista Vasca de Socio-logía y Ciencia Política 41: 33-56.

REFERENCIAS BIBLIOGRÁFICAS

to, profundizando en los procesos, en lascausas y en los mecanismos de cambioque son los que finalmente conducen ha-cia el alcance de los efectos finales perse-guidos. De esta manera, la evaluación su-ministra información que permite valorar laeficacia de los instrumentos utilizados y sucomponente innovador. Al mismo tiempo,permite identificar posibles problemas ac-tuando sobre ellos antes de que se pro-duzcan y facilitando la previsión.

En tercer lugar, la utilidad de sus con-clusiones y recomendaciones se incre-menta, facilitando la identificación de bue-nas prácticas que son utilizadas en lapropia mejora del proyecto y aplicadas enel diseño de nuevas acciones. En estesentido, las conclusiones del proyectoITUN han sido claves para definir el nuevoproyecto LAMEGI. Esto ha sido posible

gracias a la credibilidad alcanzada por eltrabajo de evaluación y a la apropiación yasunción del mismo por parte de los dife-rentes agentes participantes. Además, lasredes de colaboración que surgen de lasAgrupaciones de Desarrollo se refuerzana través del propio proceso de la evalua-ción que facilita y promueve la coopera-ción y la participación activa.

Por último, la evaluación de los proyec-tos ITUN y LAMEGI ha generado informa-ción y conocimiento útil para las entidadespromotoras y las diferentes administracio-nes, un conocimiento que es la base paragenerar y validar soluciones nuevas,aprender lecciones y transferirlas y dise-ñar políticas mejores y más capaces decontribuir a la inclusión social y laboral detodas las personas.


Bases metodológicas para la evaluación de proyectos de inserción social y labo

137

DIEZ, M. A. (2001):«The evaluation of regional in-novation and cluster policies: towards a partici-patory approach». European Planning Studies9 (7): 907-923.

DIEZ, M. A. (2003): «La evaluación de la políticaregional: una revisión de enfoques y métodos»en R. Bañon (ed.) La evaluación de la acción yde las políticas públicas. Ediciones Díaz deSantos: 137-160.

ESTRELLA, M., J. BLAUERT, D. CAMPILLAN ET AL.(2000): Learning from change. Issues and ex-periences in participatory monitoring evalua-tion. International Development Research Cen-tre-Intermediate Technology Publications.Londres.

FETTERMAN D. M. (2001): Foundations of empo-werment evaluation. SAGE Publications Inc.

FORSS K., C. REBIEN, Y J. CARLSSON (2002): «Pro-cess use of evaluation. Types of use that pre-cede lessons learned and feedback» Evalua-tion 8(1): 29-45.

GREEN J. Y V. J. CARACELLI, (EDS) (1997): «Advan-ces in mixed-method evaluation: the challen-ges and benefits of integrating diverse para-digms» New Directions for evaluation 74,Jossey-Bass Publishers.

GREEN, J. (1994): «Qualitative Program Evalua-tion. Practice and Promise» en N. K. Denzin eY. S. Lincoln (eds.) Handbook of qualitative re-search, SAGE: 530-541).

GREEN, J. (1998): «Stakeholder participation andutilization in program evaluation». Evaluationreview 12(2): 25-35.

GREGORY A. (2000): «Problematizing participation.A critical review of approaches to participationin evaluation theory» Evaluation 6(2): 179-199.

GUBA, E. G. Y Y. S. LINCOLN: (1989). Fourth Gene-ration Evaluation. Sage, Newbury Park, CA.

HOUSE E. R. Y K. R. HOWE (1999):Valores en evalua-ción e investigación social. Ed. Morata. Madrid.

LÓPEZ DE CEBALLOS, P., J. MERLO Y H. GARCÍA GON-ZÁLEZ-GORDON (2001): Un método de evalua-ción formativa en el campo social. Ed. Popular.

MACKENZIE M. Y A. BLAMEY, (2005): «The practiceand the theory: lessons from the application ofa theories of change approach». Evaluation11(2): 151-168.

MILLIGAN, S. ET AL. (1998): «Implementing a The-ory of Change evaluation in the ClevelandCommunity-Building Initiative: A case study»en K. Fulbright-Anderson et al. (Eds) New ap-proaches to evaluating Community Initiatives:theory, measurement and analysis. Washing-ton, D. C., The Aspen Institute: 45-86.

MONNIER, E. (1995): Evaluación de la acción delos poderes públicos. Ministerio de Economía yHacienda. Madrid.

NIRENBERG O., J. BRAWERMAN Y V. RUIZ (2000): Eva-luar para la transformación. Innovaciones en laevaluación de programas y proyectos sociales.Ed. Paidós. Buenos Aires.

PAWSON, R. (2003): «Nothing as practical as agood theory» Evaluation 9(4): 471-490.

PAWSON R. Y N. TILLEY, (1997): Realistic evalua-tion. SAGE Publications.

PATTON M. Q. (2002): Qualitative research andevaluation methods. 3ª edición. SAGE.

PATTON M. Q. (1997): Utilization-Focused Evalua-tion: The new century text. SAGE PublicationsInc.

ROGERS, P. ET AL. EDS. (2000): «Program Theory inEvaluation: Challenges and Opportunities».New Directions for Program Evaluation 87. SanFrancisco, Jossey-Bass.

ROLFSEN M. Y H. TORVATN, H. (2005): «How to ‘getthrough’. Communication challenges in formati-ve evaluation» Evaluation 11(3): 297-309.

ROSSI, P. H. Y H. E. FREEMAN (1993): Evaluation. Asystematic approach, SAGE Publications.

SCHWANDT, T. A. (2001): Dictionary of QualitativeInquiry. 2ª edición. SAGE.

STAME, N. (2004): «Theory-based evaluation andtypes of complexity» Evaluation 10(1): 58-76.

UAFSE (2005): Guía metodológica de la Evalua-ción Interna. Ministerio de Trabajo y AsuntosSociales. NIPO: 201-05-056-2.

VAN DER KNAAP P. (2004): «Theory-based evalua-tion and learning: possibilities and challenges»Evaluation 10(1): 16-34.

WEISS, C.H. (1998a): Evaluation. Method for stud-ying programs and policies. 2ª edición. Prenti-ce Hall.

WEISS C. H. (1998b): «Have we learned anythingnew about the use of evaluation?» AmericanJournal of Evaluation 19(1): 21-33.

WEISS, C. H. (1995): «Nothing as practical asgood theory: Exploring Theory-Based evalua-tion for Comprenhensive Community Initiativesfor children and families» en J. P. Connell et al.New approaches to evaluating Community Ini-tiatives: concepts, methods and contexts. Was-hington, D. C., The Aspen Institute: 65-92.

WHITMORE, E. (ED.) (1998): «Understanding andPracticing Participatory Evaluation». New Di-rections for Evaluation 80. Jossey-Bass Publis-hers.

Documents

Bases metodológicas para la evaluación de proyectos de … · 2012-06-18 · Bases metodológicas para la evaluación de proyectos de inserción social y laboral1 Este artículo