17
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004 La evaluación educativa en España: balance y metaevaluación Ester García Sánchez El objetivo fundamental de esta primera parte de la ponencia no es sino hacer balance de lo acontecido en el ámbito de la evaluación educativa en España, tanto por lo que se refiere a su práctica como a su institucionalización. Para ello, habremos de abordar y dar respuesta a las siguientes cuestiones: ¿cuáles han sido las claves del proceso de institucionalización de la evaluación desde los años setenta hasta la actualidad, entendiendo dicho proceso al tiempo como escenario de contexto y como consecuencia de la práctica evaluativa? ¿qué experiencias de evaluación se han llevado a cabo en estos años y cuáles han sido sus principales características? ¿qué relación existe entre el desarrollo institucional y la práctica de la evaluación? 1. El desarrollo y la institucionalización de la evaluación educativa La evaluación de programas ha alcanzado en nuestros días cotas de singular desarrollo, hasta el punto de haberse convertido en uno de los elementos clave en el diseño e implantación de las políticas educativas. Ello ha sido el resultado de un largo proceso que se inició con la puesta en marcha de una serie de evaluaciones de programas experimentales de reforma durante el ministerio Maravall, en la primera mitad de los años ochenta, pero cuyos orígenes más recientes se remontan a los estudios realizados por los primeros centros de investigación educativa que se crearon en España a finales de los sesenta y principios de los setenta. 1.1 Los orígenes del proceso de institucionalización 1 En la España de finales de los años sesenta, el ámbito educativo se vio sometido a un profundo y acelerado proceso de cambio. Autores como Puelles (1991), Sánchez Ferrer (1995) y Colom y Domínguez (1997) apuntan algunas de sus causas. En primer término, la necesidad del régimen franquista de abrirse al exterior y de admitir ciertos márgenes de modernización en sus estructuras, ante las crecientes demandas internas y externas en pro de la democratización del país. En segundo lugar, las presiones de los tecnócratas, los nuevos intelectuales del régimen, que propugnaban su apertura y la conveniencia de adaptar el sistema educativo a las nuevas condiciones sociales y productivas creadas por el desarrollo económico. Por último, la influencia en los medios académicos y ministeriales de los nuevos enfoques educativos procedentes de los países anglosajones y que, en líneas generales, venían a destacar la necesidad de que el alumno dejara de ser un mero receptor de conocimientos y, por tanto, el principal objeto de la evaluación educativa, para convertirse en el auténtico sujeto (activo) del proceso de enseñanza. Como consecuencia de estos nuevos condicionantes se introdujeron en el ámbito educativo dos innovaciones significativas: la consideración de la investigación como 1 Las obras de Rist (1990) y Rist, Furubo y Sandahl (2001) ofrecen magníficos análisis de los procesos de institucionalización de la evaluación en distintos países. 1

La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

  • Upload
    dolien

  • View
    221

  • Download
    0

Embed Size (px)

Citation preview

Page 1: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

La evaluación educativa en España: balance y metaevaluación

Ester García Sánchez El objetivo fundamental de esta primera parte de la ponencia no es sino hacer balance

de lo acontecido en el ámbito de la evaluación educativa en España, tanto por lo que se refiere a su práctica como a su institucionalización. Para ello, habremos de abordar y dar respuesta a las siguientes cuestiones:

¿cuáles han sido las claves del proceso de institucionalización de la evaluación desde

los años setenta hasta la actualidad, entendiendo dicho proceso al tiempo como escenario de contexto y como consecuencia de la práctica evaluativa?

¿qué experiencias de evaluación se han llevado a cabo en estos años y cuáles han sido sus principales características?

¿qué relación existe entre el desarrollo institucional y la práctica de la evaluación? 1. El desarrollo y la institucionalización de la evaluación educativa

La evaluación de programas ha alcanzado en nuestros días cotas de singular desarrollo, hasta el punto de haberse convertido en uno de los elementos clave en el diseño e implantación de las políticas educativas. Ello ha sido el resultado de un largo proceso que se inició con la puesta en marcha de una serie de evaluaciones de programas experimentales de reforma durante el ministerio Maravall, en la primera mitad de los años ochenta, pero cuyos orígenes más recientes se remontan a los estudios realizados por los primeros centros de investigación educativa que se crearon en España a finales de los sesenta y principios de los setenta. 1.1 Los orígenes del proceso de institucionalización1

En la España de finales de los años sesenta, el ámbito educativo se vio sometido a un

profundo y acelerado proceso de cambio. Autores como Puelles (1991), Sánchez Ferrer (1995) y Colom y Domínguez (1997) apuntan algunas de sus causas. En primer término, la necesidad del régimen franquista de abrirse al exterior y de admitir ciertos márgenes de modernización en sus estructuras, ante las crecientes demandas internas y externas en pro de la democratización del país. En segundo lugar, las presiones de los tecnócratas, los nuevos intelectuales del régimen, que propugnaban su apertura y la conveniencia de adaptar el sistema educativo a las nuevas condiciones sociales y productivas creadas por el desarrollo económico. Por último, la influencia en los medios académicos y ministeriales de los nuevos enfoques educativos procedentes de los países anglosajones y que, en líneas generales, venían a destacar la necesidad de que el alumno dejara de ser un mero receptor de conocimientos y, por tanto, el principal objeto de la evaluación educativa, para convertirse en el auténtico sujeto (activo) del proceso de enseñanza.

Como consecuencia de estos nuevos condicionantes se introdujeron en el ámbito

educativo dos innovaciones significativas: la consideración de la investigación como

1 Las obras de Rist (1990) y Rist, Furubo y Sandahl (2001) ofrecen magníficos análisis de los procesos de institucionalización de la evaluación en distintos países.

1

Page 2: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

elemento de apoyo a la toma de decisiones y la ampliación del concepto de evaluación educativa.

El fomento de la investigación educativa pasó a convertirse en una de las prioridades de la nueva política educativa (Alonso Hinojal 1979, 1982; Rivière 1989). En un momento de auge de las Ciencias de la Educación, la investigación educativa comenzó a ser concebida como un factor de capital importancia no sólo para la mejora del aprendizaje sino también y, muy especialmente, para el desarrollo socio-económico y para la mejora de la productividad. En el terreno institucional, este interés por la investigación se tradujo en la creación, en julio de 1969, de los Institutos de Ciencias de la Educación (ICE), que quedaron adscritos a las universidades, y del Centro Nacional de Investigaciones para el Desarrollo de la Educación (CENIDE)2, encargado de coordinar las actividades de investigación que aquéllos desarrollaban. A pesar de que, ya por aquel entonces, existían algunos centros vinculados a la administración que trabajaban en el ámbito de la investigación educativa, la creación de la red CENIDE-ICE marcó el inicio del proceso de institucionalización de la investigación educativa en España (Carmena, Ariza y Bujanda 2000).

Ni los ICE ni el CENIDE tenían atribuidas competencias en evaluación. A pesar de ello, su contribución en este terreno fue enormemente significativa. La experiencia en investigación que adquirieron los profesionales de estos organismos les sería de gran utilidad cuando, años después y ya en centros como el CIDE, se vieran implicados en el diseño y puesta en marcha de proyectos de evaluación.

El concepto de evaluación educativa, tradicionalmente equiparado en nuestro sistema educativo a la valoración del aprendizaje del alumno, sufrió también un giro considerable. La Ley General de Educación de 1970 (LGE), principal instrumento de la reforma educativa del tardofranquismo, haciéndose eco de las experiencias y de los nuevos enfoques pedagógicos procedentes de los países anglosajones, especialmente de Estados Unidos, recogió en su articulado tres nuevas acepciones del término evaluación: la evaluación de centros, la de profesores y la de programas educativos.

La red CENIDE-ICE no alcanzó los resultados esperados, debido sin duda a su vinculación al Ministerio y a la falta de presupuesto propio. La creación, en 1974, del organismo autónomo Instituto Nacional de Ciencias de la Educación (INCIE), en sustitución del CENIDE, vino a intentar resolver estos problemas.

La constitución del INCIE supuso también un paso adelante en el reconocimiento de la

importancia de la evaluación. El decreto de creación del INCIE atribuyó expresamente a este Instituto la "realización de investigaciones en materia de (...) evaluación del sistema educativo", tarea ésta que fue encomendada al Gabinete de Investigación y Evaluación, dependiente del Departamento de Prospección Educativa.

Ahora bien, ni los cambios introducidos por la Ley General de Educación ni la creación

de una unidad dedicada a la evaluación en el seno del INCIE (el ya citado Gabinete de Investigación y Evaluación) tuvieron, como es lógico, un efecto inmediato en el desarrollo

2 Con objeto de no alargar excesivamente la exposición, prescindiremos de citar las normas de creación o supresión de los organismos a los que aludamos o de incluir sus organigramas. El lector interesado puede encontrar esta información en García Sánchez (2003).

2

Page 3: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

conceptual e institucional de la evaluación. En la práctica, la evaluación siguió refiriéndose exclusivamente al alumno y siendo considerada como algo no muy distinto de la investigación educativa. Los nuevos significados del término evaluación recogidos en la LGE se convirtieron, como recuerdan Sáez y Carretero, “en los términos de una retórica oficial asumida pero nunca utilizada en su profundidad” (1995: 132-133). En primer lugar porque, por aquel entonces, la comunidad educativa no estaba aún en condiciones de advertir con claridad las diferencias existentes entre investigación y evaluación. En segundo lugar, porque las actitudes y los enfoques didácticos de buena parte del profesorado seguían siendo eminentemente tradicionales (cuando no funcionariales) y poco abiertos a la innovación. Y, por último, porque la evaluación, entendida como valoración crítica de la actuación de los poderes públicos, no tenía aún cabida en la agenda de la administración franquista. Prueba de ello es que la misma Ley General de Educación seguía considerando la evaluación como un instrumento de la Inspección para la vigilancia y el control del rendimiento de los centros escolares, aunque, nominalmente, contemplara la posibilidad de que la evaluación se refiriera también al profesorado, a los centros y al conjunto del sistema educativo. En definitiva, la evaluación se seguía concibiendo como un elemento de uso interno y privado de la administración educativa (Casanova 1992).

El contexto político surgido a raíz de la muerte de Franco ofreció un marco más propicio para que las nuevas ideas sobre evaluación pudieran ser llevadas a la práctica. El primer intento de la administración educativa por hacer uso de los nuevos significados del término evaluación tuvo lugar en los primeros momentos de la transición, con la creación de una Comisión encargada de proceder "a una seria evaluación de la Ley y de sus resultados (...) a fin de obtener conclusiones fundadas en un análisis riguroso" (Ministerio de Educación y Ciencia 1976: 31). Como no podía ser de otra forma, sus trabajos estuvieron en todo momento bajo el control de la administración educativa.

La evaluación de la LGE tuvo una escasa repercusión, algo lógico si se tiene en cuenta la

trascendencia de los acontecimientos que estaba viviendo en aquellos momentos la sociedad española. Al margen de esta circunstancia y de que este proceso pueda o no ser considerado una evaluación, lo cierto es que el Informe sobre la Ley General de Educación sentó un importante precedente. Fue ésta la primera vez en que, a iniciativa de la administración, se sometía a evaluación una política educativa.

Tampoco la creación del INCIE sirvió para superar los problemas que aquejaban a la investigación educativa3. La crisis que atravesaba llevó finalmente, en 1980, a la supresión de este organismo. Las funciones del Departamento de Prospección Educativa fueron asumidas por la Subdirección General de Investigación Educativa, dependiente del Ministerio de Universidades e Investigación4. La creación de esta Subdirección General permitió dar

3 Se han apuntado, como causas de esta situación, la debilidad de la demanda de investigación educativa por parte de la administración y los docentes, la falta de una sólida base de ciencia fundamental (CENIDE-UNESCO 1973, citado por Alonso Hinojal, 1979: 21), la ausencia de líneas prioritarias de investigación por parte de la administración, la desconexión de la investigación educativa tanto de las autoridades como de los centros escolares, las dificultades para implantar un sistema eficaz de experimentación y difusión de los resultados de la investigación o la disminución de los recursos destinados a la investigación educativa (Alonso Hinojal (1979: 23-24). Pero, probablemente, como coinciden en señalar Alonso Hinojal (1979), Muñoz-Repiso y Gil (1988) y Rivière (1989), el problema de fondo era la creencia, dominante en los enfoques educativos de la época, de que la investigación tiene efectos positivos, directos e inmediatos, sobre el sistema educativo. 4 El Ministerio de Universidades e Investigación se creó en 1979 como resultado de la división del Ministerio de Educación

3

Page 4: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

continuidad a la labor iniciada por el CENIDE y el INCIE y salvar, al menos parcialmente, la crisis que la investigación educativa estaba atravesando. 1.2 Los inicios de la práctica evaluativa

En abril de 1983 tuvo lugar la primera de las reestructuraciones orgánicas efectuada en el Ministerio de Educación y Ciencia tras la llegada al poder del partido socialista. Esta reestructuración supuso la creación del Centro Nacional de Investigación y Documentación Educativa (CIDE), a partir de la Subdirección General de Investigación Educativa5.

El CIDE nació con la pretensión de dotar al Ministerio de Educación y Ciencia de un

servicio eficaz de documentación pero, sobre todo, de una estructura estable que se ocupase de la coordinación de las distintas actuaciones desarrolladas en el ámbito de la investigación educativa. La evaluación de programas educativos, aunque figuraba ya entre las funciones atribuidas al CIDE, no se encontraba aún entre las prioridades de las autoridades. En aquellos años, la agenda de los altos cargos del Ministerio giraba en torno a dos grandes cuestiones: el desarrollo del artículo 27 de la Constitución, referido al derecho a la educación -que, finalmente, se concretaría en la LODE y la LRU6- y la implantación de las medidas de promoción educativa y los programas de reforma7.

Sin embargo, la práctica de la evaluación comenzó a ser algo habitual casi desde un

primer momento8. Gracias al interés de uno de los técnicos del Centro y del que fuera su director9, se pusieron en marcha las primeras evaluaciones de programas y medidas de reforma educativa10. El apoyo político que desde la cúpula del Ministerio se brindó a estas primeras iniciativas resultó ser determinante para el desarrollo de la evaluación educativa. En España, la práctica de la evaluación educativa precedió y, en cierto modo, sirvió para inducir el proceso de institucionalización, al contrario de lo que ha sucedido, por ejemplo, en el caso francés (Duran, Monnier y Smith 1995).

Entre las evaluaciones que dieron comienzo en aquella primera etapa podemos

mencionar la evaluación del programa experimental de reforma de las enseñanzas medias, iniciada en 1984, la evaluación del programa de educación compensatoria, la evaluación del programa de becas para niveles no obligatorios de la enseñanza, la del programa de integración de alumnos con necesidades educativas especiales.

y Ciencia. La reunificación se produciría, dos años después, en 1981. 5 Además de esta Subdirección General, se integraron en el nuevo centro el Servicio de Documentación y la biblioteca del Ministerio. 6 Ley Orgánica del Derecho a la Educación de 1985 y Ley de Reforma Universitaria de 1984, respectivamente. 7 Los programas y medidas de reforma a los que aludimos se implantaron poco tiempo después de la llegada del Partido Socialista al gobierno, en octubre de 1982. Su objetivo era aplicar los enfoques pedagógicos progresistas para propiciar una enseñanza en la que el alumno se implicara más activamente. En su mayoría, tuvieron carácter experimental y algunos de ellas constituyeron el embrión de lo que sería la nueva configuración establecida por la Ley General de Ordenación del Sistema Educativo (LOGSE) en 1990. 8 De hecho, la mayoría de las investigaciones educativas realizadas entre 1975 y 1990 con cargo a los presupuestos del INCIE y el CIDE estuvieron relacionadas con el rendimiento y la evaluación (no sólo de programas de reforma). Veáse Carmena, Ariza y Bujanda (2000: 58). 9 Nos referimos, respectivamente, a Mariano Álvaro Page y a Julio Carabaña Morales. 10 No todas las evaluaciones emprendidas desde el Ministerio en esta primera etapa fueron realizadas por el CIDE, aunque este organismo participó de una forma u otra en la mayoría de ellas. Piénsese, por ejemplo, en las evaluaciones del programa de integración y del proyecto Atenea a las que nos referiremos en la segunda parte de esta ponencia.

4

Page 5: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

1.3 La etapa de impulso político a la evaluación

Hacia mediados de la década de los ochenta y, dada la creciente complejidad de los estudios de evaluación en los que se comprometía el CIDE (de los cuales, sin duda, el más destacado fue el del programa de reforma de las enseñanzas medias), pareció aconsejable que la evaluación contara con una unidad propia, distinta de la que se venía encargando de la investigación educativa más general. Fue esta situación la que llevó a la creación en 1986 del Servicio de Evaluación del CIDE.

El nuevo Servicio tuvo una influencia decisiva en el desarrollo de la evaluación. Los estudios de carácter evaluativo se vieron desde entonces encuadrados en una unidad especializada, que contaba con una asignación directa de recursos. Con la creación de este Servicio, la administración educativa dio muestras de su interés por dar a la evaluación el impulso político y el respaldo institucional necesario para su consolidación y proyección tanto dentro como fuera del Ministerio.

En esta época, se continuaron y consolidaron los proyectos de evaluación iniciados en la etapa anterior y se llevaron a cabo otros nuevos, como la evaluación de la reforma experimental del ciclo superior de EGB (en 1988), cuyos objetivos y metodología eran muy similares a los de la evaluación de la reforma experimental de enseñanzas medias o la del programa “Prensa-Escuela” (en 1989).

Se inició también un proceso de colaboración entre el CIDE y algunas asociaciones u

organizaciones de ámbito internacional que trabajaban en evaluación educativa, como la OCDE, la UNESCO o el IEA (The International Association for the Educational Achievement). Ello permitió al CIDE contrastar las experiencias y los conocimientos adquiridos y dar publicidad y proyección exterior a las evaluaciones que se estaban llevando a cabo en España.

El diseño de un plan de evaluación del sistema educativo fue otra de las tareas hacia las que se dirigió la atención de los responsables del CIDE y, seguramente, la que planteó mayores problemas técnicos y políticos. Por un lado, había que vencer la oposición de las Comunidades Autónomas, que veían en esta propuesta de evaluación un intento de control por parte de la administración central. Desde el punto de vista técnico, la dificultad residía no sólo en la propia complejidad del fenómeno que se trataba de evaluar (el sistema educativo) sino también en las discrepancias metodológicas existentes entre algunos de los responsables políticos, que pretendían impulsar una nueva concepción de la evaluación, más cualitativa y menos psicologicista, y el personal del Servicio de Evaluación del CIDE, más próximo a enfoques cuantitativos y de evaluación por objetivos.

A finales de los años ochenta, la evaluación constituía para los responsables políticos del Ministerio de Educación y Ciencia una herramienta de singular importancia para la toma de decisiones. En aquellos momentos, era evidente para el máximo responsable de la reforma del sistema educativo la necesidad de poner en marcha una política de evaluación del sistema educativo en paralelo con todo el proceso de reforma. El cambio de denominación del CIDE, que pasó a llamarse Centro de Investigación, Documentación y Evaluación, puso de relieve la importancia que se atribuía a la evaluación y la voluntad de las

5

Page 6: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

autoridades de dar a la evaluación el impulso político necesario para su definitiva institucionalización.

Los documentos oficiales de la época, que venían a recoger las propuestas de las

autoridades educativas y servirían de base para la elaboración de la Ley de Ordenación del Sistema Educativo (LOGSE), comenzaron también a incluir referencias a la evaluación. Así, en el Proyecto para la Reforma de la Enseñanza, la evaluación se concebía como un instrumento imprescindible para conocer y valorar no sólo el rendimiento de los alumnos sino también la calidad de los centros, de los procesos educativos y del sistema en su conjunto (Ministerio de Educación y Ciencia 1987).

En el Libro Blanco para la Reforma del Sistema Educativo el tema de la evaluación

mereció un tratamiento más extenso y cualitativamente distinto. En él la evaluación, en tanto que mecanismo básico para la mejora de la calidad educativa y para conocer el funcionamiento global del sistema y de las administraciones educativas, se concebía como un “derecho social”. Este documento reconoció, expresamente y por vez primera, la utilidad de las evaluaciones realizadas sobre los programas de reforma del sistema y estableció, también por vez primera, una distribución de competencias en materia de evaluación. Al futuro Instituto de Investigación y Evaluación Educativa11 se le atribuía la evaluación del proceso de reforma y el desarrollo de mecanismos que promoviesen la autoevaluación de los centros escolares, mientras que al Servicio de Inspección Técnica de Educación (SITE) se le encomendaba el asesoramiento a los centros y la evaluación de su organización, funcionamiento y resultados (Ministerio de Educación y Ciencia 1989).

La LOGSE no hizo sino dar carta de naturaleza a todas estas propuestas. En ella, se insistía en que la importancia de la evaluación reside en su contribución a la calidad y mejora de la enseñanza, en tanto que permite analizar en qué medida los distintos elementos del sistema educativo están contribuyendo a la consecución de los objetivos previamente establecidos. Al igual que en el Libro Blanco, en la LOGSE se consideraba que la administración educativa, como parte integrante del sistema, debía quedar también sometida a evaluación.

El enfoque metodológico por el que se apostaba en todos estos documentos era el clásico de evaluación por objetivos: se consideraba que la principal finalidad de la investigación evaluativa es determinar el grado de cumplimiento, por parte de los distintos agentes educativos, de los objetivos previamente fijados por la administración. Paradójicamente, se afirmaba también que "la evaluación del funcionamiento del sistema educativo es competencia y obligación de las Administraciones Educativas” pero que “esa evaluación debe ser respetuosa con las competencias de los centros y de las Administraciones educativas” e integrar “la pluralidad de valores que aportan los distintos agentes de la comunidad educativa" (Ministerio de Educación y Ciencia 1989: 242).

Otra de las medidas adoptadas fue la delimitación, en 1989, de las áreas de actuación del CIDE y del Servicio de Inspección Técnica de Educación, que había asumido tradicionalmente la evaluación de la organización y rendimiento de los centros escolares. A partir de ese momento, al SITE le corresponde el análisis de la organización, funcionamiento y resultados de los centros docentes así como colaborar con el resto de instituciones 11 Este Instituto fue finalmente creado en 1993 con el nombre de Instituto Nacional de Calidad y Evaluación (INCE).

6

Page 7: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

competentes en la evaluación de los programas experimentales, en las actividades de formación del profesorado y en los procesos de renovación pedagógica.

El denominado Plan EVA de evaluación de centros docentes fue la primera gran empresa de evaluación llevada a cabo por el renovado Servicio de Inspección. En el curso 1991-92 el Ministerio de Educación y Ciencia decidió poner en marcha, a través del SITE y el CIDE12, un plan experimental de evaluación de centros en su ámbito territorial de competencia. Tres eran los objetivos que perseguía el Plan EVA: fomentar del desarrollo de procesos de evaluación interna en los centros, facilitar a éstos el apoyo técnico necesario para llevar a cabo esos proyectos de autoevaluación y difundir entre los centros docentes la cultura de la evaluación. La metodología, que seguía en parte el modelo CIPP de Stufflebeam13, incorporaba tanto técnicas cuantitativas como cualitativas.

1.4 El Instituto Nacional de Calidad y Evaluación

En 1993, casi tres años después de la aprobación de la LOGSE, se produjo la creación

del Instituto Nacional de Calidad y Evaluación en el seno de la Secretaría de Estado de Educación. Se desarrollaba así la previsión efectuada en la citada Ley de crear un organismo encargado de la evaluación general del sistema educativo. El CIDE recuperó entonces su primera denominación -Centro de Investigación y Documentación Educativa- y la evaluación adquirió, finalmente, entidad institucional al margen de la investigación educativa. La determinación de sus funciones y de su composición estuvo íntimamente relacionada con dos cuestiones: el requerimiento político de dar cabida a todas las Comunidades Autónomas con competencias en la evaluación de las políticas educativas y la necesidad de colaboración técnica entre las distintas administraciones para proceder a la evaluación general del sistema.

La constitución del Instituto Nacional de Calidad y Evaluación supuso sin duda un hito importante en el proceso de institucionalización de la evaluación educativa en España pero, desde luego, no su culminación. A partir de 1993, el Ministerio de Educación y Ciencia puso en marcha una serie de medidas tendentes a desarrollar las previsiones efectuadas en la LOGSE sobre la calidad educativa y a dar continuidad en el tiempo a los logros obtenidos por el Plan EVA. Todas estas medidas tuvieron un mismo objetivo: consolidar la práctica de la evaluación de los centros escolares.

La publicación del documento titulado Centros Educativos y Calidad de la Enseñanza fue la primera actuación ministerial en este sentido. Las medidas más relevantes de las contenidas en el documento fueron las referidas a la generalización del plan de evaluación de centros docentes y a la promoción de procesos de autoevaluación en los centros (Ministerio de Educación y Ciencia 1994).

La Ley Orgánica de la Participación, la Evaluación y el Gobierno de los Centros

12 Finalmente, el CIDE sólo participó en los momentos iniciales del diseño de la evaluación. 13 Como es de sobra conocido, para este autor (1972) la evaluación debe incorporar los cuatro elementos o dimensiones constitutivas de un programa: su contexto (C), los inputs (I), el proceso (P) y los productos (P). En este enfoque, conocido como CIPP, se insiste en que la evaluación debe analizar el programa de la forma más completa y sistemática posible y no sólo a través de sus resultados. La finalidad última de la evaluación es la de proporcionar información útil para la adopción de decisiones.

7

Page 8: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

(LOPEG) aprobada a finales de 1995, no hizo sino dar rango de ley a estas medidas. De nuevo, como en la LOGSE, se entendía que el objetivo final de la evaluación es adecuar el sistema educativo a las demandas sociales y a las necesidades educativas de la población y que esa evaluación ha de referirse tanto a los alumnos, como a los profesores, los centros, los procesos educativos o la actuación de las administraciones públicas. Sólo la evaluación de centros y la del sistema educativo merecieron en la Ley un tratamiento detallado.

Las propuestas más concretas llegaron en 1996, con la publicación de una Orden Ministerial sobre la evaluación de los centros docentes sostenidos con fondos públicos. En ella se concretaron los ámbitos a los que debían referirse la evaluación interna y la evaluación externa, los órganos responsables y los medios con los que éstos podrían contar. La Orden contemplaba la posibilidad de que la evaluación se realizase también en los centros de profesores y recursos y en los equipos de orientación educativa y psicopedagógica.

A raíz de la promulgación de Ley Orgánica de Calidad de la Enseñanza (LOCE), en 2002, el INCE pasó a denominarse INECSE, Instituto Nacional de Evaluación y Calidad del Sistema Educativo. Esta denominación se ha mantenido incluso después de la reorganización del Ministerio de Educación y Ciencia efectuada a finales del pasado mes de junio, tras la nueva victoria del Partido Socialista en las elecciones generales del 14 de marzo. Sin embargo, ni la adscripción del Instituto al Ministerio, ni la composición del Consejo Rector (integrado únicamente por representantes de las administraciones educativas) ni las funciones del Instituto –evaluación diagnóstica de áreas y asignaturas, elaboración del sistema nacional de indicadores educativos y del Plan Nacional de Evaluación del Sistema y evaluación de centros sostenidos con fondos públicos- han variado sustancialmente a pesar de las sucesivas modificaciones producidas en la estructura del Ministerio de Educación y Ciencia14. 1.5 Algunas reflexiones sobre el marco institucional de la evaluación educativa en España Desde que el CIDE comenzara su andadura en el campo de la evaluación educativa han sido numerosas las críticas formuladas a la actuación del Ministerio de Educación y Ciencia en ese terreno. En líneas generales, dichas críticas han girado en torno a tres grandes cuestiones: la composición del INCE y su dependencia del Ministerio, el carácter externo o interno de las evaluaciones realizadas y su enfoque metodológico15. Algunos expertos y partidos políticos han subrayado el carácter político del Instituto, algo que puede apreciarse tanto en la dependencia del INCE de lo establecido por la Conferencia Sectorial de Educación16 como en la composición de su Consejo Rector o en el nombramiento de los miembros del Comité Científico por el Ministro de Educación y Ciencia

14 Desde los años ochenta este departamento ministerial ha conocido dos denominaciones y, evidentemente estructuras organizativas distintas: Ministerio de Educación y Ciencia (de 1983 a 1996 y desde junio de 2004) y Ministerio de Educación, Cultura y Deportes (de 1996 a 2004). 15 En 1993, la revista Cuadernos de Pedagogía recogió en un número monográfico titulado Evaluar las evaluaciones las reflexiones de distintos expertos acerca de la naturaleza del recién creado INCE, así como de los rasgos del enfoque evaluativo por el que ha venido apostando la administración educativa central. 16 Esta Conferencia está integrada por el Ministro de Educación y Ciencia y los responsables de educación de las distintas comunidades autónomas.

8

Page 9: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

(Angulo 1993, Izquierda Unida 199617). Pero no son éstos los únicos aspectos cuestionables, desde nuestro punto de vista. También lo es la difícilmente justificable ausencia de actores no políticos, de representantes de asociaciones sindicales, patronales o de estudiantes en el Instituto.

No obstante, pese a los defectos y las carencias de la política ministerial en materia de evaluación, no puede dejar de reconocerse su contribución al desarrollo de este tipo de investigación en nuestro país, tanto en lo relativo a la reflexión teórica como a la práctica. Además, para poder valorar en su justa medida esta contribución tendrían que tenerse en cuenta las características de nuestro sistema político-administrativo –acusado centralismo y burocratismo, excesiva preocupación por el control de legalidad y no por los resultados de la actuación gubernamental18.

El tema de la adscripción del Instituto remite, a su vez, al de la independencia de sus

actuaciones. Evidentemente, el concepto de independencia no es algo absoluto. El hecho de que sea la administración la encargada de acometer la realización de un estudio evaluativo no va, necesariamente, en detrimento de su rigor científico ni supone que el mismo esté sesgado. Sáez y Carretero, refiriéndose a las evaluaciones realizadas a instancias de la administración, señalan que “el discurso y la práctica oficial han seguido caminos divergentes (...) si bien en todos los casos se planteaban las evaluaciones como externas, en general han sido evaluaciones directa o indirectamente dirigidas u orientadas desde el interior del propio ministerio de Educación” (1995: 135). Cierto es que el grado de implicación y los intereses de quienes promueven o ponen en marcha una reforma no pueden ser equiparables a los de quienes no han participado en esos procesos, aun perteneciendo al mismo Ministerio. Pero también lo es que, más allá del nivel de responsabilidad y de capacidad decisoria de los actores, el hecho de que evaluadores y evaluados se encuadren en una misma organización supone a priori unos mínimos intereses comunes y, por supuesto, la sujeción a una misma dirección política. Parece, por consiguiente, bastante cuestionable la pretendida “externidad” de los estudios desarrollados por la administración central. El enfoque metodológico por el que apostó el Ministerio de Educación y Ciencia ha sido también objeto de críticas por parte de algunos expertos en evaluación. Así, para Angulo, el concepto de ”evaluación” que impera en nuestras administraciones educativas, como en la mayoría de los países que cuentan con mecanismos institucionales de evaluación del sistema, es notablemente restrictivo. La evaluación se concibe “(...) como el conocimiento obtenido a través de la medición de su rendimiento o impacto en el alumnado o en el cumplimiento / incumplimiento de los objetivos curriculares previamente establecidos y estandarizados (...) Evaluar suele limitarse entonces a evaluar los puntos terminales del (sistema educativo), dejando a salvo, fundamentalmente, los iniciales: los primeros escalones administrativos y políticos de la toma de decisiones” (Angulo 1993a: 8-9). Es cierto, como señalan las autoridades educativas, que la existencia de un currículo mínimo hace de la evaluación un instrumento de vital importancia para conocer hasta qué punto el derecho a la educación es o no una realidad. En esta línea se sitúa Casanova al

17 En el programa electoral de esta formación, se propugnaba el cambio de adscripción del INCE al Consejo Escolar del Estado, la creación de organismos de evaluación en las comunidades autónomas y la elaboración de un Programa Marco Nacional y de Programas de comunidades autónomas para la evaluación del sistema educativo. 18 Véanse, a este respecto, House (1993) y Ballart (1992).

9

Page 10: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

afirmar que “si el modelo adoptado hubiera sido absolutamente abierto, la Administración (las Administraciones del estado, en general) podría no implicarse en la evaluación del mismo (...) Pero, dada la situación planteada en la actualidad, no puede eximirse de controlar el cumplimiento de esos mínimos establecidos” (Casanova 1992: 203). No obstante, en nuestra opinión, este argumento no deja de ser una justificación por parte de la administración educativa que pretende consagrar con ello el enfoque de evaluación al que ha venido recurriendo, un enfoque de evaluación por objetivos, centrado en la comprobación del logro de resultados, en el que el alumno sigue siendo, prácticamente, el único objeto que se somete a evaluación. 1.6 La práctica de la evaluación

Como hemos tenido ocasión de comprobar en las páginas precedentes, la evaluación educativa ha conocido un importante desarrollo en las últimas tres décadas. La práctica de la evaluación –que, en los inicios, no pasaba de ser un conjunto de experiencias aisladas- ha ido progresivamente induciendo y marcando el camino de lo que ha sido el proceso de institucionalización de lo que algunos autores consideran ya una transdisciplina (Scriven 1991). Pero, ¿qué balance puede hacerse de la práctica evaluativa? ¿cuáles han sido las notas características de las evaluaciones realizadas en estas tres últimas décadas?

Entre 1971 y 1998, desde los dos organismos implicados en la evaluación se han llevado a cabo casi medio centenar de evaluaciones relacionadas con el sistema educativo, con programas educativos o con centros escolares19.

Los datos de los que disponemos sobre el número de evaluaciones realizadas, su

orientación metodológica y la procedencia del equipo evaluador apuntan a unas pautas bastante claras y ciertamente peculiares si se comparan con lo que viene siendo el desarrollo habitual de la evaluación en los países de nuestro entorno, con lo que algunos autores han denominado evaluación de cuarta generación20.

Así, por ejemplo se puede apreciar, contrariamente a lo que parece lógico dada la

creciente importancia de la evaluación de programas y centros educativos, que el número de evaluaciones relacionadas con esta temática ha ido disminuyendo considerablemente a lo largo del tiempo. La evaluación más tradicional, aquella que se centra en el rendimiento educativo del alumno, no acaba de ceder espacio a la evaluación de programas.

La segunda nota característica que llama la atención es la clara predominancia del

cuantitativismo entre las evaluaciones realizadas que, lejos de disminuir, va haciéndose aún más evidente en los últimos años.

19 Optamos por esta denominación genérica por ser la que emplea el CIDE para designar a todas aquellas evaluaciones que no se refieren al rendimiento educativo. Las cifras proceden de Carmena, Ariza y Bujanda (2000), del catálogo de investigaciones educativas del CIDE (actualmente disponible en la dirección de internet http://wwwn.mec.es/cide/jsp/plantilla.jsp?id=inv05), en el que se recogen datos de todas las investigaciones realizadas entre 1971 y 1997 y financiadas por este organismo –ya sea a través de sus convocatorias o de contratos directos- o los que le precedieron, así como de la página de internet del INECSE http://wwwo.mec.es/inecse. 20 Guba y Lincoln (1989). Sobre el desarrollo práctico e institucional de la evaluación puede también consultarse House (1993).

10

Page 11: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

Por último, hemos de destacar la implicación cada vez mayor de la administración educativa y la menor presencia de las Universidades en la realización de evaluaciones. Ello puede estar relacionado con la creación de una institución específicamente dedicada a temas evaluativos, como es el INCE-INECSE, en el año 1993.

Cuadro 1 Número de evaluaciones de rendimiento educativo, de programas y centros realizadas entre 1971-1998

1971-1982 1983-1992 1993-1998 Total Rendimiento y evaluación1 34 47 63 144

Nº % Nº % Nº % Nº % Evaluación del sistema educativo, de programas y de centros escolares 22 64,7 15 31,9 112 17,5 48 33,3

1 En esta categoría se incluye el total de evaluaciones llevadas a cabo en el período de referencia. 2 No incluye datos de las convocatorias de 1998 del CIDE.

Cuadro 2 Número de evaluaciones realizadas,

por procedencia del equipo evaluador y metodología entre 1971 y 1998

1975-1982 1983-1992 1993-1998

Universidad 21 13 2 Administración educativa 1 2

Universidad-centros - -

Instituto Nacional de Calidad y Evaluación

8

Procedencia del equipo evaluador

TOTAL 22 15 111

Cuantitativa 9 9 9 Cualitativa 7 1 - Mixta 6 5 2 Metodología

TOTAL 22 15 11

1 Desconocemos la procedencia del equipo evaluador de una de las evaluaciones realizadas en este período.

Cuadro 3 Número de evaluaciones de metodología

cuantitativa, cualitativa o mixta, por procedencia del equipo evaluador

(1971-1998)

1971-1982 1983-1992 1993-1998 Univ. AE Univ. AE Univ. INCE

Cuantitativa 8 1 8 2 9 Cualitativa 7 1 Mixta 6 4 2 TOTAL 22 15 11

11

Page 12: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

Hemos pretendido ofrecer aquí tan sólo algunas cifras de carácter general que ilustren en qué sentido ha venido evolucionando la práctica de la evaluación educativa en los últimos treinta años. Cualesquiera que sean las causas de estas pautas o tendencias, lo cierto es que resultan lo suficientemente interesantes como para merecer un análisis pormenorizado en un futuro, algo que, evidentemente, queda fuera del propósito de esta ponencia.

2. Una experiencia de metaevaluación en el ámbito educativo En esta segunda parte de la ponencia se van a exponer las principales conclusiones de un trabajo de metaevaluación de carácter cualitativo desarrollado en el ámbito de las políticas educativas y finalizado en 2003. Más concretamente, la metaevaluación realizada se centró en tres de las evaluaciones de programas y proyectos de reforma educativa más destacadas de las realizadas en España en el período 1982-1992: la evaluación de la reforma experimental de enseñanzas medias, la evaluación del programa de integración de alumnos con necesidades educativas especiales y la evaluación del proyecto Atenea para la introducción de los ordenadores en las aulas. Como se recordará, fue precisamente en esos años cuando se llevaron a cabo las primeras evaluaciones sistemáticas, con ocasión de la puesta en marcha de los programas experimentales que constituyeron el embrión de la LOGSE y cuando, como consecuencia de la experiencia práctica adquirida, se inició el proceso de institucionalización de la evaluación en el ámbito educativo.

2.1 El esquema de análisis empleado

Tradicionalmente, las distintas propuestas sobre metaevaluación han tendido a dirigir

su atención hacia las características o rasgos más visibles y evidentes de las evaluaciones (Scriven 1969, 1991; Stufflebeam 1981; Stufflebeam y Shinkfield 1993; Schwandt y Halpern 1988, Joint Committe on Standards for Educational Evaluation 1994), sin profundizar en las razones que explican el porqué de tales características.

El enfoque de actores a partir del cual se desarrolló la metaevaluación que aquí

presentamos va un paso más allá. Dicho enfoque -construido a partir de las aportaciones de los autores pluralistas que destacan la naturaleza política de la evaluación y los estudios de Ciencia Política centrados en el actor- descansa en la premisa de que el proceso de evaluación se “construye” a partir de las decisiones (y no decisiones) adoptadas por los actores que intervienen en el mismo21. Dos son sus aportaciones principales:

(i) en primer lugar, el estudio del binomio actores-decisiones proporciona información de extraordinario interés para quienes pretendan ahondar en el conocimiento de un proceso evaluativo, al desentrañar las causas que están detrás de sus características principales, las decisiones de los actores y las razones que las motivan. El enfoque de actores permite saber, por ejemplo, por qué en una evaluación se apuesta por un determinado enfoque metodológico (aunque no parezca ser el más adecuado), se eligen ciertos criterios de valor, se propicia u obstaculiza la implicación de los stakeholders, se establecen cláusulas sobre la propiedad de la información, se ocultan o, por el contrario, se publican sus principales conclusiones y resultados.

21 Para mayor detalle sobre este enfoque las categorías analíticas empleadas en el análisis de actores/decisiones y, en general, la metodología a la que recurrimos en la metaevaluación véase García Sánchez (2003).

12

Page 13: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

(ii) en segundo lugar, nos ayuda a determinar cómo se distribuye el poder en el seno de la evaluación, profundizando en la tesis que subraya el carácter político de los procesos evaluativos.

Así, la metaevaluación realizada ha sido esencialmente un análisis de actores y de

decisiones. Más concretamente, se trataba de conocer en cada uno de los procesos evaluativos seleccionados, qué actores tomaron parte en las decisiones fundamentales de la evaluación -aquéllas que le otorgan sus características distintivas-, qué decisiones se tomaron acerca de cada una de ellas y por qué (esto es, cuáles fueron las razones por las que los actores adoptaron esa decisión).

A nuestro juicio, las decisiones de mayor relevancia en una evaluación y las que nos

permiten juzgar la bondad del proceso evaluativo son las que afectan:

a la selección del equipo evaluador y al contrato de evaluación al enfoque metodológico a la selección de los actores participantes al objeto y los objetivos de la evaluación a los criterios de valor a las técnicas de recogida y análisis de datos a los contenidos y estilo del informe de evaluación –técnico o narrativo a la difusión y/o publicación del informe a la utilización del proceso y los resultados de la evaluación

Evidentemente, por razones obvias, no resulta posible en esta ponencia dar cuenta de

manera pormenorizada de cómo se desarrollaron los procesos decisorios y de quiénes intervinieron en los mismos en cada una de las evaluaciones analizadas. Nos ocuparemos únicamente de exponer algunas de las conclusiones derivadas del estudio de metaevaluación realizado. La tabla 1 muestra, a fin de guiar al lector, cuáles eran las principales características de las tres evaluaciones analizadas22:

Tabla 1

Principales características de las evaluaciones sometidas a metaevaluación

Evaluación de la reforma de EE.MM.

Evaluación del programa de integración

Evaluación del proyecto Atenea

Carácter interno/externo Relativamente externo Interno Externo

Objeto Rendimiento educativo del alumno

Programa de integración

Proyecto Atenea

22 Para mayor detalle sobre el contenido de los programas evaluados así como de cada una de las evaluaciones remitimos, de nuevo, a la obra de García Sánchez (2003).

13

Page 14: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

Objetivos

Medir la influencia del tipo de enseñanza en el rendimiento educativo

Juicio global sobre el programa Determinar si el programa promovía la integración y si repercutía positivamente en el SE

Determinar el grado de desarrollo del proyecto y en qué medida dicho proyecto estaba propiciando la renovación pedagógica en las escuelas

Enfoque metodológico Cuantitativo /diseño cuasi-experimental

Mixto/ evaluación iluminativa Mixta

Criterios de valor Cumplimiento de objetivos marcados por la AE

Cumplimiento de objetivos del programa

Opiniones de los stakeholders sobre el cumplimiento de los objetivos

Número de actores participantes Bajo Bajo Intermedio-Alto

Estilo de(l) informe(s) Altamente técnico y especializado

Técnico Técnico pero comprensible

Difusión/ Publicación (Sí) Escasa/ sí Sí/sí Sí/sí (informe

parcial) 2.2 Las conclusiones del estudio

Veamos, de forma esquemática, cuáles fueron algunas de las principales conclusiones derivadas del estudio de metaevaluación: ▪ De todos los factores que inciden en la adopción de las decisiones de los actores, son los intereses de éstos los que tuvieron un mayor peso, hasta el punto de llegar a convertirse, en algunos casos, en los verdaderos objetivos de las evaluaciones. ▪ Los objetivos que podríamos denominar informales, esto es, aquéllos que los actores no hicieron explícitos, tuvieron una mayor repercusión sobre el desarrollo del proceso evaluativo que los objetivos formales y declarados. ▪ Las decisiones que mayor influencia tienen, en la práctica, en la conformación de la evaluación son las que afectan al objeto y los objetivos de la evaluación, al enfoque metodológico, a los criterios de valor, al papel desempeñado por los distintos actores y al contenido, estilo y grado de difusión de los informes de evaluación. ▪ A su vez, las decisiones acerca del enfoque metodológico son las que tienen una mayor relevancia para la evaluación. Si estas decisiones alcanzaron tal grado de importancia fue bien porque quienes las adoptaron las consideraron irrenunciables y no contemplaron ninguna otra alternativa, bien porque con ellas lograron influir en el resto de las decisiones críticas de la evaluación.

14

Page 15: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

▪ La mayoría de las decisiones recayó en un número muy reducido de actores. En otras palabras, el control del proceso evaluativo quedó en unas pocas manos. La única excepción fue la evaluación del proyecto Atenea, en la que se apostó porque participase el mayor número posible de actores en la adopción de las principales decisiones. Ello no tuvo sólo consecuencias positivas –por ejemplo, ofrecer una imagen más completa y panorámica del programa- sino también negativas –comprometer la viabilidad del proceso evaluativo. ▪ Las evaluaciones estudiadas no fueron concebidas ni sirvieron en la práctica para cuestionar los programas y las premisas en las que éstos descansaban. El que los objetivos de los programas no fueran no sólo no cuestionados sino, al contrario, considerados como criterios de valor, redujo de manera considerable la capacidad crítica de las evaluaciones. La reflexión de Ewald (1986) sobre las políticas públicas resulta especialmente apropiada en este punto: sólo si se ponen en tela de juicio sus objetivos se pueden cuestionar realmente los valores y principios en los que dichas políticas se basan. No resulta extraño que la evaluación con mayor capacidad crítica y distanciamiento del programa fuera la evaluación del proyecto Atenea, la única totalmente externa y la única en la que se intentó promover cierto grado de pluralismo. ▪ La utilidad y utilización de los procesos de evaluación y de sus resultados resultan extremadamente difíciles de determinar en la práctica. Ello es especialmente evidente en el caso de las evaluaciones formativas, aquéllas que discurren paralelamente al programa, por la imposibilidad de discriminar cuáles de las decisiones adoptadas son atribuibles a la evaluación y cuáles al propio proceso de implantación del programa. Considerando, como sugiere Chelimsky (1995), que cada actor tiene una idea distinta de lo que es una evaluación “útil”, entendemos que una forma de salvar este problema es acudir a las valoraciones globales que sobre el uso de la evaluación hacen los distintos implicados en el programa. ▪ Las evaluaciones estudiadas tuvieron un escaso impacto instrumental, tal y como destacan los responsables de los programas y la mayoría de los miembros de los centros educativos. Para éstos, las evaluaciones tuvieron un escaso impacto instrumental, cuando no nulo, en el perfeccionamiento y mejora de los programas de los que eran responsables. ▪ Las valoraciones sobre la utilidad de las evaluaciones suele ser más positiva en el caso de los actores que pudieron participar de manera activa, esto es, como decisores, en los procesos evaluativos. ▪ No se ha detectado que exista una relación de causalidad entre el grado de pluralismo de las evaluaciones analizadas y la utilidad de sus resultados, contrariamente a lo que la mayoría de los autores pluralistas –y entre ellos muy especialmente Patton (1986, 1997)- han venido señalando. ▪ Las evaluaciones tuvieron, en todos los casos, un carácter periférico, accesorio y no central para los programas. Ello quiere decir que no fueron consideradas como un elemento importante en la reorientación de los programas, al menos por quienes tenían responsabilidad sobre ellos. A esta conclusión llega también Bustelo (2004) en su metaevaluación sobre las políticas de género en España. Bibliografía Alonso Hinojal, I. (1979), “Investigación educativa en España: elementos para una evaluación de la realizada por la red INCIE-ICE”, Instituto Nacional de Ciencias de la Educación, Investigaciones Educativas de la red INCIE-ICE 1974-1978, Ministerio de Educación y Ciencia, Madrid.

- (1982), “Nuevas investigaciones educativas: continuidad y riesgo”, Subdirección General de Investigación Educativa, Investigaciones Educativas de la red INCIE-ICE 1978-1982,

15

Page 16: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

Ministerio de Educación y Ciencia, Madrid. Angulo, J.F. (1993), “Anotaciones al Instituto de Calidad y Evaluación”, Cuadernos de Pedagogía, núm. 219.

- (1993a), “Evaluación del sistema educativo: algunas respuestas críticas”, Cuadernos de Pedagogía, núm. 219.

Ballart, X. (1992), ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso, Instituto Nacional de Administración Pública, Madrid. Bustelo, M. (2004), La evaluación de políticas públicas de igualdad de género en España, Editorial Catarata, Madrid. Carmena, G., Ariza, A. y Bujanda, M.A. (2000), El sistema de investigación educativa en España, Centro de Investigación y Documentación Educativa, Madrid. Casanova, M.A. (1992), La evaluación, garantía de calidad para el centro educativo, Editorial Edelvives, Zaragoza. CENIDE-UNESCO (1973), Informe sobre los resultados del proyecto. Conclusiones y recomendaciones, 1969-1973, París. Chelimsky, E. (1995), “New Dimensions in Evaluation”, R.C. Rist y R. Piccioto, eds., Proceedings of the 1994 World Bank Conference, The World Bank: Washington D.C. Colom, A.J. y Domínguez, E. (1997), Introducción a la política de la educación, Ariel, Barcelona. Duran, P., Monnier, E. y Smith, A. (1995), “Evaluation á la française: Towards a New Relationship between Social Science and Public Action”, Evaluation, vol. I, núm. 1. Ewald, F. (1986), L’Etat-Providence, Grasset, París. García Sánchez, Ester (2003), La evaluación de programas de reforma educativa en España. Tres estudios de caso desde un enfoque de metaevaluación, tesis doctoral, Universidad Complutense de Madrid. Guba, E.G. y Lincoln, Y.S. (1989), Fourth Generation Evaluation, Sage, Newbury Park, CA. House, E.R. (1993), Professional Evaluation. Social Impact and Political Consequences, Sage: Newbury Park, CA. Izquierda Unida (1996), Elecciones generales 1996. Programa Electoral. Joint Committe on Standards for Educational Evaluation (1994), The Program Evaluation Standards, Sage, Thousand Oaks, CA. Ministerio de Educación y Ciencia (1976), Informe que eleva al Gobierno la Comisión Evaluadora de la Ley General de Educación y Financiamiento de la Reforma Educativa, Madrid.

- (1987), Proyecto para la Reforma de la Enseñanza. Propuesta para debate, Madrid. - (1989), Libro Blanco para la Reforma del Sistema Educativo, Madrid. - (1994), Centros Educativos y Calidad de la Enseñanza, Madrid.

Muñoz-Repiso, M. y Gil, G. (1988), Informe sobre la investigación educativa en España, Centro de Investigación y Documentación Educativa, Madrid, mimeo. Patton, M.Q. (1986) y (1997), Utilization-Focused Evaluation, Sage, Thousand Oaks, CA. Puelles, M. de (1991), Educación e ideología en la España contemporánea, Labor, Barcelona. Rist, R.C., ed. (1990), Program Evaluation and the Management of Government, Transaction Books, New Brunswick, NJ. Rist, R.C., Furubo, J.E. y Sandahl, R., eds. (2001), International Atlas of Evaluation, Transaction Books, New Brunswick, NJ / Londres. Rivière, A. (1989), “La investigación educativa”, Nuestra Escuela, núm. 105. Sáez, M.J. y Carretero, M. (1995), “Un modelo posible: la evaluación en la España actual”, M.J. Sáez, ed., Conceptualizando la evaluación en España, Servicio de Publicaciones de la

16

Page 17: La evaluación educativa en España: balance y ...siare.clad.org/fulltext/0050022.pdf · momento bajo el control de la administración educativa. La evaluación de la LGE tuvo una

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004

17

Universidad de Alcalá, Alcalá de Henares (Madrid). Sánchez Ferrer, L. (1995), Políticas de Reforma Universitaria, Instituto Juan March de Estudios e Investigaciones, Madrid. Scriven, M. (1969), “An Introduction to Meta-evaluation”, Educational Product Report, 2.

- (1991), Evaluation Thesaurus, Sage, Newbury Park, CA. Stufflebeam, D.L. (1972), “The relevance of the CIPP evaluation model for educational accountability”, SRI Quarterly, 5.

- (1981), “Metaevaluation: Concepts, Standards and Uses”, R.Berk, ed., Educational Evaluation: the State of the Art, The Johns Hopkins University Press, Baltimore. - y Shinkfield, A.J. (1993), Evaluación sistemática. Guía teórica y práctica. Paidós / Ministerio de Educación y Ciencia, Madrid.

Schwandt, T.A. y Halpern, E.S. (1988), Linking Auditing and Metaevaluation. Enhancing Quality in Applied Research, Sage, Newbury Park, CA. Reseña biográfica Ester García Sánchez es Doctora en Ciencias Políticas y Sociología por la Universidad Complutense de Madrid y posee el Diploma de Especialización en Ciencia Política y Derecho Constitucional que otorga el Centro de Estudios Políticos y Constitucionales. Es especialista en el campo de la evaluación y metaevaluación de políticas públicas, tema éste en el que se formó en el Centre for Applied Research in Education de la Universidad de East Anglia y sobre el que desarrolló su tesis doctoral. Ha compatibilizado sus funciones docentes en titulaciones de primer y segundo ciclo y en cursos especializados y de posgrado con la participación en numerosos proyectos de investigación relacionados con la evaluación de políticas. Entre los más recientes cabe reseñar el Estudio de los modelos de prevención, gestión y evaluación de catástrofes medioambientales en zonas costeras (en curso) o el Estudio y Evaluación de la implantación del Plan Alba de Calidad en el Servicio Regional de Bienestar Social de la Comunidad de Madrid. Sus publicaciones giran también en torno a la evaluación y metaevaluación de políticas públicas (así, por ejemplo, “Metaevaluación: entre la calidad técnica y la calidad democrática de las evaluaciones”, Economia-Management, vol. 2, 2003; “Metaevaluación”, Diccionario Crítico de Ciencias Sociales, 2003, Madrid: Editorial de la Universidad Complutense, publicación electrónica). Actualmente es Profesora Ayudante Doctora de Ciencia Política y de la Administración en el Departamento de Ciencia Política y Sociología de la Universidad Carlos III de Madrid.