CUADERNILLO DE

SEMINARIO DE

EVALUACIÓN EDUCATIVA

1. EVALUACIÓN EDUCATIVA 1.1 CONCEPTO GENERAL. 1.2 IMPORTANCIA DEL ESTUDIO DE LA EVALUACIÓN.

La evaluación es hoy quizá uno de los temas con mayor protagonismo del ámbito educativo, y no porque se trate de un tema nuevo en absoluto, sino porque administradores, educadores, padres, alumnos y toda la sociedad en su conjunto, son más conscientes que nunca de la importancia y las repercusiones del hecho de evaluar o de ser evaluado. Existe quizá una mayor consciencia de la necesidad de alcanzar determinadas cotas de calidad educativa, de aprovechar adecuadamente los recursos, el tiempo y los esfuerzos y, por otra parte, el nivel de competencia entre los individuos y las instituciones también es mayor. Quizá uno de los factores más importantes que explican que la evaluación ocupe actualmente en educación un lugar tan destacado, es la comprensión por parte de los profesionales de la educación de que lo que en realidad prescribe y decide de facto el "que, cómo, por qué y cuándo enseñar" es la evaluación. es decir, las decisiones que se hayan tomado sobre "qué, cómo, por qué y cuándo evaluar". En general, uno de los objetivos prioritarios de los alumnos es satisfacer las exigencias de los "exámenes". En palabras de A. de la Orden (1989): "la evaluación, al prescribir realmente los objetivos de la educación, determina, en gran medida... lo que los alumnos aprenden y cómo lo aprenden, lo que los profesores enseñan y cómo lo enseñan, los contenidos y los métodos; en otras palabras, el producto y el proceso de la educación... querámoslo o no, de forma consciente o inconsciente, la actividad educativa de alumnos y profesores está en algún grado canalizada por la evaluación".

Todos estos factores han llevado a una "cultura de la evaluación" que no se limita a la escuela sino que se extiende al resto de las actividades sociales. Concretamente, en nuestro país, la ampliación del ámbito de la evaluación desde los resultados y procesos del aprendizaje de los alumnos hasta el propio currículo (en sus distintos niveles de concreción), la práctica docente, los centros, el sistema educativo en su conjunto, etc., ha dibujado en los últimos años un nuevo escenario para las prácticas evaluativas, que se han desarrollado a todos los niveles de manera muy importante.

2. EVALUACIÓN EDUCATIVA

2.1 ESTADO ACTUAL DE LA EVALUACIÓN EDUCATIVA EN MÉXICO

En las últimas décadas, los procesos de evaluación educativa han retomado especial importancia en nuestro país, debido a que la educación, como actividad humana intencional incluye, como una de sus partes esenciales, a la evaluación. Consciente de esta situación y por obligación normativa, la SEP a partir de la década de los 70s comenzó a realizar actividades de evaluación,. Para este efecto, creó la Dirección General de Evaluación (DGE), que fue la primera instancia que tuvo a su cargo la aplicación de pruebas a gran escala para la admisión de alumnos en secundaria y para la evaluación del rendimiento académico de los alumnos de educación primaria.

De esos intentos para cimentar la evaluación educativa en nuestro país surgen diversos programas y proyectos que conforman los cimientos de un sistema de evaluación educativa de cobertura nacional, cuyas acciones tuviesen elevados niveles de validez y confiabilidad y permitieran la realización de estudios comparativos a lo largo y ancho de nuestro país.

Entre las acciones más relevantes para este efecto se pueden citar las siguientes:

La Comisión Nacional de Evaluación de la Educación (CONAEVA). Programa para Abatir el Rezago Educativo (PARE). Diagnóstico para Aspirantes de Nuevo Ingreso a Secundaria (IDANIS). Programa para Abatir el Rezago en Educación Básica (PAREB). Estudio de Evaluación de la Educación Primaria (EVEP). Los Comités Interinstitucionales de Evaluación de la Educación Superior (CIEES) El Sistema Nacional de Investigadores (SNI). Centro Nacional para la Evaluación de la Educación Superior (CENEVAL). El Consejo para la Acreditación de la Educación Superior (COPAES). Comité Técnico Interestatal de Evaluación (CTIE). Evaluación Nacional del Logro Académico en Centros Escolares (ENLACE).

El Sistema Nacional de Evaluación Educativa (SNEE),creado por Decreto Presidencial el 8 de agosto de 2002, dedicado a elaborar pruebas de carácter nacional para valorar al sistema de educación básica, coordinar las evaluaciones de organismos internacionales en el mismo nivel escolar y en general a contribuir al establecimiento de un sistema nacional de evaluación del sistema educativo del país.

Sin embargo, pese a los esfuerzos por constituir un sistema de evaluación eficaz, eficiente y enfocado a la mejora de la realidad educativa, los resultados son desalentadores y en cierta forma, polémicos. Es necesario alentar la discusión de la interpretación y los usos de los resultados que arrojan los procesos de evaluación y el análisis del papel que cada uno de los actores tiene en todo el proceso.

¿Cómo podrán beneficiarse de la evaluación los estudiantes, los profesores y los directivos de una institución?

¿Qué condiciones tienen que prevalecer para que la evaluación se convierta en un diálogo fructífero entre evaluadores y evaluados?

¿Cómo garantizar la revisión permanente del propio sistema de evaluación para asegurar su perfeccionamiento?

ACTIVIDADES

PARA REALIZAR LAS ACTIVIDADES DE REFLEXION Y CONTESTAR LAS PREGUNTAS, LEER EL MATERIAL ANEXO NUMERO 1 “LA EVALUACION COMO FACTOR DE CAMBIO EN LA EDUCACION” DE PORFIRIO TAMEZ SOLIS Y NUMERO 2 “PRESENTE Y FUTURO DE LA EVALUACIÓN EDUCATIVA EN MÉXICO”

2.2 CONCEPTOS FUNDAMENTALES. 2.3 OBJETOS DE EVALUACIÓN.

CONCEPTOS BÁSICOS Y FUNCIONES DE LA EVALUACIÓN EDUCATIVA

Clarificación de conceptos

Es importante, antes de abordar cualquier contenido de evaluación, distinguir algunos conceptos fundamentales, tales como evaluación calificación y medida. El concepto de evaluación es el más amplio de los tres, aunque no se identifica con ellos. Se puede decir que es una actividad inherente a toda actividad humana intencional, por lo que debe ser sistemática, y que su objetivo es determinar el valor de algo (Popham, 1990). El término calificación está referido exclusivamente a la valoración de la conducta de los alumnos (calificación escolar). Calificar, por tanto, es una actividad más restringida que evaluar. La calificación será la expresión cualitativa (apto/no apto) o cuantitativa (10, 9, 8, etc.) del juicio de valor que emitimos sobre la actividad y logros del alumno. En este juicio de valor se suele querer expresar el grado de suficiencia o insuficiencia, conocimientos, destrezas y habilidades del alumno, como resultado de algún tipo de prueba, actividad, examen o proceso. Se evalúa siempre para tomar decisiones. No basta con recoger información sobre los resultados del proceso educativo y emitir únicamente un tipo de calificación, si no se toma alguna decisión, no existe una auténtica evaluación.

Así pues, la evaluación es una actividad o proceso sistemático de identificación, recogida o tratamiento de datos sobre elementos o hechos educativos, con el objetivo de valorarlos primero y, sobre dicha valoración, tomar decisiones (García Ramos, 1989).

La evaluación, por tanto, se caracteriza como:

Un proceso que implica recogida de información con una posterior interpretación en función del contraste con determinadas instancias de referencia o patrones de deseabilidad, para hacer posible la emisión de un juicio de valor que permita orientar la acción o la toma de decisiones. Finalmente, deben diferenciarse los conceptos de investigación y evaluación. Ambos procesos tienen muchos elementos comunes, aunque se diferencian en sus fines:

- La evaluación es un proceso que busca información para la valoración y la toma de decisiones inmediata. Se centra en un fenómeno particular. No pretende generalizar a otras situaciones.

- La investigación es un procedimiento que busca conocimiento generalizable, conclusiones (principios, leyes y teorías), no tiene necesariamente una aplicación inmediata (De la Orden, 1989).

Ámbitos de la evaluación

Tradicionalmente, la evaluación se ha venido aplicando casi con exclusividad al rendimiento de los alumnos, a los contenidos referidos a conceptos, hechos, principios, etc., adquiridos por ellos en los procesos de enseñanza. A partir de los años sesenta, la evaluación se ha extendido a otros ámbitos educativos: actitudes, destrezas, programas educativos, materiales curriculares didácticos, la práctica docente, los centros escolares, el sistema educativo en su conjunto y la propia evaluación. Esta extensión de la evaluación a otros ámbitos tuvo lugar en los Estados Unidos a finales de los años 50 debido a circunstancias tales como: la crítica a la eficacia de las escuelas públicas, la gran inversión dedicada a la educación que exigía una rendición de cuentas (Accountability), etc. Por tanto, el

campo de aplicación de la evaluación se extiende a alumnos, profesores, directivos, instituciones, la administración, etc. Y va a ser, precisamente, a raíz de la extensión del ámbito evaluador cuando van a surgir una serie de modelos de evaluación de gran relevancia.

Evaluación/promoción

La decisión de promoción es la que, con más frecuencia, debe enfrentar el profesor, desde las promociones formales (curso a curso) hasta las promociones diarias (de una tarea a otra, cuando se considera que se ha alcanzado un nivel de conocimientos suficiente). Por tanto, la evaluación puede resultar un elemento estimulante para la educación en la medida en que pueda desembocar en decisiones de promoción positivas, y para ello es preciso que el sistema educativo sea público y coherente, ofreciendo la información precisa para ofrecen la dificultades que puedan surgir. Para ello, es necesario una definición clara de los objetivos previos y una recuperación inmediata en caso de fracaso. En caso de que el fracaso sea reiterado, se hace imprescindible la utilización de procesos diagnósticos y terapéuticos. Por tanto, lo deseable es la promoción tanto desde el punto de vista del aprendizaje como desde el punto de vista del desarrollo armónico de la persona.

SOBRE EL OBJETO DE LA EVALUACIÓN. ¿QUÉ EVALUAR?

La delimitación del objeto que se evalúa es un asunto central. De ella se deriva, en gran medida, las decisiones sobre cómo se realiza la evaluación: los instrumentos, procedimientos, momentos, indicadores, criterios, que se utilicen en el proceso evaluativo.

Las tendencias históricas en cuanto a la consideración del objeto de evaluación del aprendizaje, trazan direcciones tales:Del rendimiento académico de los estudiantes, a la evaluación de la consecución de los objetivos programados.De la evaluación de productos (resultados), a la evaluación de procesos y productos.De la búsqueda de atributos o rasgos estandarizables, a lo singular o idiosincrásico.De la fragmentación, a la evaluación holística, globalizadota, del ser (el estudiante) en su unidad o integridad y en su contexto.

La determinación de qué evaluar durante el proceso, está en estrecha relación con el conocimiento de los mecanismos del aprendizaje, es decir de cómo éste se produce, cuáles son sus regularidades, sus atributos, y sus condiciones en el contexto de la enseñanza. Los estudios científicos de carácter pedagógico y psicológico, presentan importantes avances, aunque no suficientes para dar respuesta o coadyuvar a la solución de muchos de los problemas centrales vigentes como, por ejemplo, el hecho de que la evaluación durante el proceso se realice como una serie de evaluaciones "sumativas" que la aleja de las funciones previstas para ella. No obstante, existe un caudal significativo de información que apunta a una identificación progresiva de aquellos aspectos que deben ser objeto de la evaluación a los efectos de ir valorando y regulando el proceso de enseñanza-aprendizaje desde su comienzo y durante su transcurso, a través de diversos momentos o etapas.

Un punto de especial significación lo constituye la relación que se establece entre conocimiento y habilidades. Desde esta perspectiva no resulta legítimo separar -y evaluar- los conocimientos de las habilidades, en tanto todo saber (conocimiento) "funciona", se expresa, a través de determinadas acciones, que conforman habilidades. Todo saber implica un saber hacer, con independencia de sus diferentes niveles de demanda cognitiva, por lo que la acción ocupa un papel rector en la formación, la restauración y la aplicación del saber. De ahí que el análisis de la acción en la que se expresa "el conocimiento" sea un aspecto crucial para la evaluación, al inicio, durante y al final de un proceso de enseñanza aprendizaje. No es por azar que las diversas taxonomías de objetivos establezcan niveles cognitivos a partir de la distinción entre acciones.

Cercanas a estas ideas se encuentran algunos de los más recientes desarrollos en el campo de la evaluación como la evaluación de la organización del conocimiento, la evaluación de ejecuciones (los portafolios) y la evaluación dinámica.La evaluación del proceso de aprendizaje trae consigo el viejo problema de la individualización de la enseñanza, en el sentido de reconocer y atender las diferencias individuales entre los alumnos. Es bien conocido que los estudiantes pueden llegar a similares resultados, siguiendo vías diversas, con modos diferentes de proceder, pertinentes e impertinentes en relación con los procedimientos científicos correspondientes y con las operaciones intelectuales implicadas.Por otra parte, los estilos de aprendizaje, los ritmos, las diferentes visiones, intereses, propósitos, conocimientos previos, proyectos de vida; que suelen quedar implícitos en los resultados "finales" del aprendizaje, aparecen en un primer plano durante el proceso y pueden condicionar los resultados. La evaluación debería penetrar hasta las diferencias individuales

de los sujetos de la actividad y proporcionar a los profesores y a los propios estudiantes la información que permita, respetando esas diferencias, orientar el proceso hacia el logro de los objetivos comunes, socialmente determinados.En resumen, las tendencias que debe seguir la evaluación del aprendizaje, son aquellas que la lleve a constituir una verdadera evaluación educativa, entendida como tal, en breves términos, la que entra en línea con la esencia y regularidades de la formación de los estudiantes acordes con las finalidades sociales que signan dicha formación en nuestra sociedad.

2.4 EVALUACIÓN E INVESTIGACIÓN.

La investigación, es un campo consolidado a nivel mundial para explicar, comprender, transformar e intervenir sobre las realidades; se considera una vía válida para construir conocimientos. Por ello, los posgrados plantean como un rasgo de sus egresados el saber hacer investigación, es decir, que sean capaces de poner en duda lo existente, se planteen preguntas e intervengan sobre lo cotidiano con miradas innovadoras. El supuesto es, que mientras existan más miradas especializadas sobre las realidades, el conocimiento se amplía y por tanto las intervenciones sobre ellas se hacen manera más focalizada y efectiva. Un error, de muchos posgrados, es que acotan la investigación al estudio y manejo de un enfoque de investigación, incluso aún sobreviven discusiones acerca de lo cualitativo y cuantitativo, lo positivista o lo hermenéutico, reduciendo con ello la formación, al aprendizaje de un método de acercamiento a las realidades.

Ante este hecho, me parece, los posgrados podrían plantearse dos perfiles institucionales: el primero posgrados de amplio espectro, por ejemplo, maestrías en educación, en educación básica, en educación superior, en investigación, es decir en amplios campos de conocimientos, donde la línea formativa en investigación, proporcionaría un amplío conocimiento de los métodos de acercamiento a las realidades y al final, a partir del interés del investigador en formación, se seleccionaría una parcela de realidad para explicarla, comprenderla o modificarla y junto con ello el mejor método para lograrlo. Un problema de este planteamiento es la falta de especialistas suficientes para asesorar estudios desde diversas perspectivas teóricas y metodológicas. El segundo perfil, tiene que ver con el planteamiento de posgrados de especialización, es decir que en sus convocatorias se definan los campos de conocimientos y los métodos en los que forman, esto en la práctica ya se hace en algunos posgrados, por ejemplo, podrían ofertarse maestrías en Análisis político del discurso educativo o bien maestrías con líneas de especialización predefinidas.

Además de estos problemas propios de la investigación y la formación de cuadros de especialistas, desde la década pasada se han consolidado campos alternativos de construcción de conocimientos, que empiezan a pelear su lugar en esta arena.

Uno de esos campos es la evaluación, el cual ya puede considerarse como consolidado, tanto en sus herramientas metodológicas como en sus diversos enfoques teóricos. Así, al revisar su genealogía, encontramos que desde la década de 1940, empiezan a surgir los primeros esfuerzos por definir esta perspectiva de acercamiento a las realidades, que pretendía emitir juicios acerca de determinados objetos y situaciones. Incluso la investigación, atendiendo al fortalecimiento de este campo acuño el término investigación-evaluativa, poniendo el acento en estudios que buscaban emitir juicios o calificar determinados objetos. Poco a poco los estudios evaluativos fueron construyendo sus propios marcos conceptuales y metodológicos al grado que en la actualidad, ya es inapropiado hablar de investigación-evaluativa, se enuncian ahora como campos separados: la investigación y la evaluación. Algunas evidencias de la consolidación del campo de la evaluación son: la creación de institutos especializados, el surgimiento de organizaciones internacionales que tienen a la evaluación como su objeto, la producción de bibliografía, la celebración de congresos y la oferta de especialidades, maestrías y doctorados en este campo.

Al igual que la evaluación, otros campos empiezan a pelear su espacio como herramientas de acercamiento a las realidades educativas, por ejemplo, él enfoque de políticas. Sin duda, ante la complejidad de las realidades, las herramientas para intervenir sobre ellas también habrán de especializarse.

ACTIVIDADES

LEER ANEXO 3 EVALUACIÓN E INVESTIGACIÓN Y ESCRIBIR SUS IMPRESIONES

2.5 TIPOS DE EVALUACIÓN: 2.5.1. DIAGNÓSTICA. 2.5.2. FORMATIVA. 2.5.3. SUMARIA. 2.6 EVALUACIÓN POR NORMA O POR CRITERIO

TIPOS DE EVALUACIÓN

Esta clasificación atiende a diferentes criterios. Por tanto, se emplean uno u otro en función del propósito de la evaluación, a los impulsores o ejecutores de la misma, a cada situación concreta, a los recursos con los que contemos, a los destinatarios del informe evaluador y a otros factores.

Según su finalidad y función

a) Función formativa: la evaluación se utiliza preferentemente como estrategia de mejora y para ajustar sobre la marcha, los procesos educativos de cara a conseguir las metas u objetivos previstos. Es la más apropiada para la evaluación de procesos, aunque también es formativa la evaluación de productos educativos, siempre que sus resultados se empleen para la mejor de los mismos. Suele identificarse con la evaluación continua.

b) Función sumativa: suele aplicarse más en la evaluación de productos, es decir, de procesos terminados, con realizaciones precisas y valorables. Con la evaluación no se pretende modificar, ajustar o mejorar el objeto de la evaluación, sino simplemente determinar su valía, en función del empleo que se desea hacer del mismo posteriormente.

Según su extensión

a) Evaluación global: se pretende abarcar todos los componentes o dimensiones del alumno, del centro educativo, del programa, etc. Se considera el objeto de la evaluación de un modo holístico, como una totalidad interactuante, en la que cualquier modificación en uno de sus componentes o dimensiones tiene consecuencias en el resto. Con este tipo de evaluación, la comprensión de la realidad evaluada aumenta, pero no siempre es necesaria o posible. El modelo más conocido es el CIPP de Stufflebeam.

b) Evaluación parcial: pretende el estudio o valoración de determinados componentes o dimensiones de un centro, de un programa educativo, de rendimiento de un alumno, etc.

Según los agentes evaluadores

a) Evaluación interna: es aquella que es llevada a cabo y promovida por los propios integrantes de un centro, un programa educativo, etc. A su vez, la evaluación interna ofrece diversas alternativas de realización: autoevaluación, heteroevaluación y coevaluación.

*Autoevaluación: los evaluadores evalúan su propio trabajo (un alumno su rendimiento, un centro o programa su propio funcionamiento, etc). Los roles de evaluador y evaluado coinciden en las mismas personas.

* Heteroevaluación: evalúan una actividad, objeto o producto, evaluadores distintos a las personas evaluadas (el Consejo Escolar al Claustro de profesores, un profesor a sus alumnos, etc.)

* Coevaluación: es aquella en la que unos sujetos o grupos se evalúan mútuamente (alumnos y profesores mutuamente, unos y otros equipos docentes, el equipo directivo al Consejo Escolar y viceversa). Evaluadores y evaluados intercambian su papel alternativamente.

b) Evaluación externa: se da cuando agentes no integrantes de un centro escolar o de un programa evalúan su funcionamiento. Suele ser el caso de la "evaluación de expertos". Estos evaluadores pueden ser inspectores de evaluación, miembros de la Administración, investigadores, equipos de apoyo a la escuela, etc. Estos dos tipos de evaluación son muy necesarios y se complementan mutuamente. En el caso de la evaluación de centro, sobre todo, se están extendiendo la figura del "asesor externo", que permite que el propio centro o programa se evalúe a sí mismo, pero le ofrece su asesoría técnica y cierta objetividad por su no implicación en la vida del centro.

Según el momento de aplicación

a) Evaluación inicial: se realiza al comienzo del curso académico, de la implantación de un programa educativo, del funcionamiento de una institución escolar, etc. Consiste en la recogida de datos en la situación de partida. Es imprescindible para iniciar cualquier cambio educativo, para decidir los objetivos que se pueden y deben conseguir y también para valorar si al final de un proceso, los resultados son satisfactorios o insatisfactorios.

b) Evaluación procesual: consiste en la valoración a través de la recogida continua y sistemática de datos, del funcionamiento de un centro, de un programa educativo, del proceso de aprendizaje de un alumno, de la eficacia de un profesor, etc. a lo largo del periodo de tiempo fijado para la consecución de unas metas u objetivos. La evaluación procesual es de gran importancia dentro de una concepción formativa de la evaluación, porque permite tomar decisiones de mejora sobre la marcha.

c) Evaluación final: consiste en la recogida y valoración de unos datos al finalizar un periodo de tiempo previsto para la realización de un aprendizaje, un programa, un trabajo, un curso escolar, etc. o para la consecución de unos objetivos.

Según el criterio de comparación

Cualquier valoración se hace siempre comparando el objeto de evaluación con un patrón o criterio. En este sentido, se pueden distinguir dos situaciones distintas:

a) En caso de que la referencia sea el propio sujeto (sus capacidades e intereses, las metas que se había propuesto alcanzar, considerando el tiempo y el esfuerzo invertidos por el sujeto, y teniendo en cuenta sus aprendizajes previos) o cualquier otro objeto de la evaluación en si mismo (las características de partida de un programa, los logros educativos de un centro en el pasado, etc.), estaremos empleando la AUTOREFERENCIA como sistema

b) En el caso de que las referencias no sean el propio sujeto, centro, programa, etc., lo que se conoce como HETEROREFERENCIA, nos encontramos con dos posibilidades:

b.1) Referencia o evaluación criterial:

Aquella en las que se comparan los resultados de un proceso educativo cualquiera con los objetivos previamente fijados, o bien con unos patrones de realización, con un conjunto de situaciones deseables y previamente establecidos. Es el caso en el que comparamos el rendimiento del alumno con los objetivos que debería haber alcanzado en un determinado plazo de tiempo, o los resultados de un programa de educación compensatoria con los objetivos que éste se había marcado, y no con los resultados de otro programa.

b.2) Referencia o evaluación normativa:

El referente de comparación es el nivel general de un grupo normativo determinado (otros alumnos, centros, programas o profesores).

Lo correcto es conjugar siempre ambos criterio para realizar una valoración adecuada, aunque en el caso de la evaluación de alumnos, nos parece siempre más apropiada la evaluación que emplea la autoreferencia o la evaluación criterial. El empleo de uno u otro tipo de evaluación dependerá siempre de los propósitos de la evaluación y de su adecuación al objeto de nuestra evaluación.

ACTIVIDADES

OBSERVAR EL SIGUIENTE VIDEO EN YOUTUBE HTTP://YOUTU.BE/T9MWJL_NJIK Y DISTINGUIR LOS TIPOS DE EVALUACIÓN. ESCRIBIR CUALES SON LAS CARACTERÍSTICAS DE CADA UNO Y COMO SE APLICAN EN EL AULA CON EJEMPLO E INSTRUMENTO.

2.7 ENFOQUES EN EVALUACIÓN EDUCATIVA

1. INTRODUCCIÓN

En algún otro momento (Escudero, 1993) nos hemos hecho eco, coincidiendo con distintos autores, de la cierta ligereza con que se usa el término modelo en investigación evaluativa, para denominar cosas diversas como enfoques, planes, esquemas, organigramas, programas e incluso métodos de evaluación, que no son modelos en sentido riguroso (De Miguel, 1989). En cualquier caso, la investigación evaluativa trabaja habitualmente en un contexto de caso específico, de caso único, al que debe adecuarse, con lo que resulta de una cierta incoherencia hablar de modelos de aplicación general. Por estas razones, nosotros preferimos hablar de enfoques modélicos como término algo más flexible y, además, creemos que el evaluador de centros, por ejemplo, construye su propio modelo de evaluación a medida que va resolviendo los problemas que se plantea en el diseño y desarrollo de su trabajo sobre aspectos claves como finalidad, objeto, tiempo, agentes, etc. Más adelante profundizamos en los criterios básicos para definir el propio modelo evaluativo.

Pero, a pesar de lo dicho, la literatura especializada en evaluación de centros suele hablar de modelos de evaluación, aunque se produzca en coherencia con lo apuntado, una cierta dispersión de clasificaciones o tipologías. Sin embargo, siempre existen algunos elementos de acuerdo entre los diversos estudios. En este trabajo, ofrecemos un análisis panorámico amplio, aunque no exhaustivo, de los enfoques modélicos más habituales en la práctica de la evaluación de centros, así como de ciertas estrategias metodológicas en las que suelen apoyarse.

2. ENFOQUES MODÉLICOS

La aproximación a este tipo de estudios puede hacerse desde la perspectiva práctica del análisis del proceso global de evaluación de centros, contestando de manera secuenciada y explicando las alternativas posibles, dilemas y problemas con que se enfrenta el evaluador de centros. Esta perspectiva es la que suelen tomar textos o análisis con orientación global y de síntesis (Escudero, 1980; Pérez Juste y Martínez Aragón, 1989; De Miguel y otros, 1994). Pero también existen la aproximación a los modelos de evaluación desde perspectivas teóricas y la que se fundamenta en el análisis metaevaluativo de los programas de evaluación de centros. Nuestro análisis del problema lo apoyamos en estas tres diferentes aproximaciones y en su combinación.

Tomando como punto de partida los enfoques conceptuales sobre las organizaciones y considerando a los centros educativos como tales, De Miguel (1989) sugiere la existencia de cinco grandes bloques de agrupamiento de los modelos de evaluación de centros. Estos cinco bloques son los siguientes:

a) Los que enfatizan los resultados (outputs).b) Los que enfatizan los procesos internos a la propia organización.c) Los que postulan criterios mixtos o integradores.d) Los que se centran sobre los aspectos culturales de la organización.e) Los que intentan evaluar la capacidad de la propia organización para auto transformarse (evaluación para

cambiar).

García Ramos (1989), partiendo del propio análisis de De Miguel, extiende a ocho los bloques de agrupamiento de los modelos según el tipo de criterio de evaluación utilizado, esto es, según se ponga el énfasis en:

a) Los resultados (outputs).b) La relación entradas-salidas (inputs-outputs).c) Los procesos internos de la propia organización.d) Los aspectos técnicos de la organización.e) Los aspectos culturales de la organización.f) La capacidad de la propia organización para auto-transformarse.g) La relación organización-factores humanos.h) Los criterios integradores.

Más recientemente, De Miguel y otros (1994) reducen todo a dos grandes bloques, los que enfatizan los resultados y los que enfatizan los procesos internos, y aunque dicen que este agrupamiento puede resultar algo reduccionista, resulta útil, sobre todo ante la dicotomía de planteamientos de orientación sumativa y formativa, y para captar las diferencias entre la investigación centrada en la eficacia escolar y la centrada en su mejora (Clark y otros, 1984; Wimpelberg y otros, 1989).

2.1. La perspectiva de los resultados escolares

Los modelos de evaluación de instituciones escolares centrados en sus resultados, se entroncan de manera directa en el movimiento investigativo de las escuelas eficaces y, como es lógico, tienen los mismos soportes metodológicos, tomando como referente básico los objetivos del centro y su nivel de consecución.

Dentro de estos modelos nos encontramos con distintos tipos tales como (Shulman, 1986): a) Entrada-salida (input-output), b) Proceso-producto, c) Entrada-proceso-producto y d) Contexto-entrada-proceso-producto, esto es, con el conocido modelo CIPP de Stufflebeam. Estos tipos, básicamente se reducen, según Castejón y otros (1993), a dos, los

de entrada-salida y entrada-proceso-producto. De la Orden (1993), por su parte, habla de cuatro subtipos, diferenciados entre sí en función de las variables predictivas seleccionadas y del enfoque analítico o global. Estos subtipos son los siguientes: a) Modelos input-output, b) Modelos procesuales de eficacia institucional, c) Modelos procesuales con énfasis en la clase y d) Modelos sistémicos.

En el modelo de entrada-salida se considera el centro educativo como un conjunto de variables que contribuyen, junto con las características iniciales de los alumnos, de tipo personal (inteligencia, rendimiento anterior, auto-concepto, etc) o social (nivel socioeconómico y cultural), a la determinación del producto (rendimiento) final. Esta contribución es de tipo aditivo, esto es, a las características de entrada de los alumnos se añaden las del centro educativo. No se tiene en cuenta la contribución común de las características de los alumnos en interacción con los procesos educativos que tienen lugar en el centro. Metodológicamente se sustenta en un modelo aditivo en el que los factores son sumandos independientes. Técnicas estadísticas como el análisis de regresión múltiple y los métodos de partición de la varianza que enfatizan el componente único de cada variable, como el método paso a paso (stepwise), sirven de base a este modelo.

Los primeros estudios acerca de los «efectos de la escuela» (Coleman y otros, 1966; Jencks y otros, 1972; Bidwell y Kasarda, 1980), basados en un modelo de este tipo, concluyeron que las diferencias entre escuelas en los procesos educativos explicaban muy poco de la varianza en el logro de los alumnos. Por el contrario, el rendimiento académico era, sobre todo, función del ambiente socioeconómico y cultural variables de entrada del que procedían los alumnos, mientras que la organización educativa tenía unos efectos mínimos. Sin embargo, estos trabajos presentan una debilidad metodológica clara, por cuanto utilizan sistemas de partición de la varianza jerárquicos o acumulativos; lo cual no permite separar los efectos únicos de los efectos comunes que se dan entre las variables que se introducen primero en la ecuación y aquéllas ñcomo las referidas a los procesos educativos que se introducen después (Mayeskee y otros, 1969; Madaus y otros, 1979). Frente a las técnicas de partición incremental de la varianza, los procedimientos de partición simétrica (Mayeskee y otros, 1969; Pedhazur, 1982; Linn, 1986) permiten separar los componentes único y común, posibilitando establecer los efectos combinados de variables relativas a los bloques de entrada y a los efectos de la escuela conjuntamente. No obstante, el análisis de la comunalidad no ayuda a entender el tipo específico de interacciones que se producen entre las variables (Pedhazur, 1982). Este procedimiento, al igual que el método stepwise sólo resulta útil dentro de un esquema predictivo en el que lo que interesa es conocer qué variables contribuyen más a explicar el producto educativo.

Los modelos de entrada-proceso-producto incorporan tanto las variables de entrada de tipo socio-familiar y personal de profesores y alumnos, como las variables procesuales de enseñanza-aprendizaje que tienen lugar en el centro. Modelos como los de Centra y Potter (1980) y Creemers y Scheerens (1989) pertenecen a este tipo. La característica diferencial respecto al modelo anterior, del tipo entrada-salida, no se refiere únicamente al mayor número de variables que contempla, sino también al tipo de relación que se establece entre ellas. Esta relación es interactiva. La escuela no se considera sólo un componente más de los que contribuyen al rendimiento, sino que se estima que ejerce un tipo preciso de efectos en combinación con el resto de las variables. Se establece explícitamente la dirección de estos efectos; lo cual permite un mejor entendimiento del funcionamiento del modelo y de sus componentes individuales. Este modelo es provechoso para la investigación sobre los efectos de la escuela, toda vez que en las escuelas eficaces, más que variables cruciales que ejercen su efecto de forma aislada y descontextualizada, parece existir una red de interrelaciones en la que todos los factores se refuerzan mutuamente, dando lugar a un patrón particular de funcionamiento escolar (Purkey y Smith, 1983). No podemos pretender hallar una causalidad lineal, sino más bien estructural, recíproca e interactiva. El modelo metodológico que le sirve de base es el interactivo, que permite la inferencia causal y la determinación de los efectos recíprocos entre variables, al menos en el caso de los modelos no recursivos. Se posibilita el establecimiento de un modelo teórico de influencias, interacciones y efectos directos e indirectos entre variables que puede contrastarse empíricamente. Para calcular los parámetros del modelo se utilizan técnicas de análisis de sendas y de ecuaciones estructurales (Jöreskog, 1978; Kenny, 1979; Long, 1987; Loehlin, 1987). Los resultados de Dunkin (1978) mostraron que las características iniciales de los estudiantes, en interacción con los factores del proceso educativo, eran los elementos que en mayor medida explicaban el rendimiento.

La aplicación de los modelos procesuales en la investigación sobre escuelas eficaces permitió identificar la relevancia de variables como liderazgo, disciplina y control de los estudiantes, expectativas sobre el rendimiento, tiempo de

aprendizaje, etc., y las interacciones entre ellas como influyentes en los logros escolares; se seleccionan variables procesuales y del clima institucional como predictoras de la eficacia del centro, por sus relaciones con los resultados académicos.

Pero existen problemas con los supuestos de estos modelos, en la medida que se desconoce o conoce deficientemente la relación causal y su magnitud, entre estas variables y entre ellas y el producto institucional. Asimismo, estas variables pueden interaccionar de forma no prevista con otras variables contextuales del centro. Raudenbush y Willms (1995) concluyen un interesante artículo sobre la estimación de los efectos escolares diciendo que no se puede saber cual es el nivel de efectividad de las practicas pedagógicas de un centro, si no se parte de unaa teoría explicativa de qué hace que un centro educativo sea eficaz.

Algunos de estos modelos ponen el énfasis en los procesos propiamente instructivos, fundamentalmente relacionados con el contexto de enseñanza-aprendizaje del aula, a veces con preponderancia psicosociológica (Walberg, 1976) y otras con preponderancia técnico-didáctica (Hernichsfeger y Wiley, 1978).

Los modelos causales, de los que son ejemplos los presentados por Yorke (1987), Stöel (1987) y Fuentes (1988) tienden a integrar los presupuestos de los modelos que enfatizan los resultados y los que se centran únicamente en los procesos internos, sin tratar los resultados. Se postula una interrelación activa entre variables que se expresa y analiza en función de modelos causales en los que las variables relativas a la organización escolar son intermediarias entre sus entradas y salidas (De Miguel, 1989).

2.2. Las perspectivas de los procesos internos y de la realidad estructural y funcional del centro

Otra gran perspectiva evaluadora es la que se apoya en el análisis interno de la organización, de sus estructuras de funcionamiento y de la satisfacción de sus miembros, sobre la hipótesis de que una situación favorable desde esta perspectiva incide en la calidad y en el éxito de la organización (Goodman y Pennings, 1977; Van de Ven y Ferry, 1980; Lawler y otros, 1980). Dentro de estos planteamientos se convierte en objeto principal de interés la gestión y dirección de los centros (Reed y otros, 1987), la dirección de la dinámica didáctica del aula y de manera especial el clima institucional, con expresión de las percepciones, expectativas, actitudes, juicios, procesos de solución de conflictos, mecanismos de comunicación y participación, etc. (De Miguel, 1989). Sobre este último aspecto ya hemos señalado anteriormente que existe una pujante línea de trabajos, en el que participa nuestro país, con el diseño y elaboración de instrumentos para valorar el clima de los centros y el clima de las aulas.

Miles (1974) nos hablaba de diez características de un centro docente sano, que nosotros resumimos en su momento (Escudero, 1980). Estas características nos parecen seguir teniendo interés en el momento presente para valorar la calidad organizativa y funcional de un centro educativo. Las diez características son las siguientes:

1) Objetivos. Los objetivos deben ser claros y aceptados por los miembros del grupo. Además, deben ser alcanzables con los recursos disponibles y apropiados para las demandas del entorno.

2) Buenas comunicaciones. El movimiento de información es una importante dimensión de la salud organizativa de un centro educativo, ya que éste no es un pequeño grupo como para funcionar cara a cara. Es necesaria la comunicación libre de distorsiones de tipo «vertical», «horizontal» y con el entorno que le rodea. La información va de un lado a otro sin especial dificultad, con un mínimo de distorsión. Dentro de la organización sana se detectan bien y rápidamente las tensiones; existe la suficiente información sobre los problemas que hay en el sistema, como para asegurar que puede darse un buen diagnóstico sobre las dificultades existentes.

3) Óptima igualación de poder. En una organización sana la distribución de la influencia es relativamente equitativa. Los subordinados (si existe una autoridad formal) pueden ejercer influencias hacia arriba y perciben que su jefe puede hacer lo mismo respecto a su superior inmediato. La actitud básica de las personas en una organización como ésta, frente a los de arriba, los de abajo, y los de los lados, es de colaboración más que de tensión.

4) Utilización de recursos. A nivel organizativo, la «salud» implica que los «inputs» del sistema, en especial los personales, se usan de forma eficaz, esto es, requiriendo un esfuerzo tenso pero racional, lejano de la sobrecarga y el ocio.

5) Cohesión. Una organización sana se conoce a sí misma, en su conjunto y en sus partes, sabe a dónde va, conoce sus objetivos y el por qué de los mismos. Cada miembro del centro debe participar de estos principios y sentirse a gusto dentro de la organización, recibiendo su influencia e influyendo en ella.

6) Moral. Esta dimensión implica la idea de satisfacción y bienestar, aunque la satisfacción no sea suficiente para la «salud» porque basándose en aquélla, pueden soslayarse hostilidades y problemas. No obstante, a nivel organizativo parece útil evocar la moral: una suma de sentimientos individuales de satisfacción que apoyan los deseos de realizar esfuerzos.

7) Innovación. Un sistema sano tiende a moverse hacia nuevos objetivos, nuevos procedimientos, a diversificarse a sí mismo y a ir cambiando en alguna medida a través del tiempo. Un sistema de este tipo crece, se desarrolla y cambia, en vez de mantenerse igual y rutinario.

8) Autonomía. La organización sana no responde en forma pasiva a las demandas del exterior, sintiéndose instrumento del entorno, y no responde tampoco a las demandas que percibe en forma rebelde o destructiva. Tiende a mantener, más bien, una cierta independencia del entorno, de forma que las respuestas recibidas en sus relaciones no sean «determinantes» de su propio comportamiento.

9) Adaptación. La autonomía e innovación tienen relación estrecha con la adecuación o adaptación con el entorno. Si las demandas de éste y los recursos organizativos no están equiparados, se plantean problemas que exigen un nuevo enfoque y una nueva estructura. Un sistema con esta concepción posee la suficiente estabilidad y capacidad de tolerancia como para afrontar las dificultades que se presenten durante el proceso de adaptación.

10) Equilibrio en las técnicas de resolución de problemas. Cualquier organismo, incluido el «sano», tiene problemas, tensiones y dificultades. Lo importante no es la no existencia de problemas sino la forma en que la organización se enfrente con ellos. En un sistema eficaz los problemas se resuelven con un mínimo de energía, de forma que los mecanismos usados para solucionarlos, no sólo no se debilitan, sino que se mantienen y refuerzan. Una buena organización se caracteriza por poseer estructuras y procedimientos para detectar e identificar la existencia de problemas, descubrir las posibles soluciones, aplicarlas y medir su eficacia. En síntesis, un organismo sano es aquel que tiene capacidad, y, de hecho, se autoevalúa permanentemente.

Estas diez características tienen un alto grado de interdependencia y creemos que definen un marco apropiado de índices indirectos de calidad, pues se trata de aspectos que indudablemente condicionan en un sentido u otro el funcionamiento del centro, sobre los que parecen existir múltiples evidencias de su influencia en dicho sentido.

En esta misma línea de inspección interna del centro existen otras muchas propuestas de análisis que parten de distintas perspectivas (Escudero, 1980). Nos podemos encontrar desde esquemas de base analítica, con orientación primordial hacia los aspectos económico-administrativos, hasta enfoques que centran su interés básicamente en las características y en la actividad de los profesores. Entre las aproximaciones evaluativas del funcionamiento que más enfatizan los aspectos de gestión económico financiera está la conocida como auditoría (Pérez Juste y Martínez Aragón, 1989), en alguna de sus versiones más habituales.

También podríamos integrar en este bloque los que De Miguel (1989) denomina modelos culturales, que toman como elemento de análisis los aspectos culturales implícitos en los centros, considerados como organizaciones sociales. Los elementos de información sobre los individuos y grupos del centro, sus estructuras conceptuales y simbólicas a partir de los que construyen la realidad y el conjunto de propósitos y significados diferenciales generados en su relación con el entorno, son aspectos potencialmente definidores de la cultura del centro (Erickson, 1987).

Nosotros entendemos que el análisis de la cultura institucional no es, en rigor, un modelo diferenciado de evaluación, aunque quizás sí puede serlo de análisis de la realidad de un centro. De lo que sí estamos convencidos es de que el

análisis de la cultura institucional es un elemento imprescindible en toda evaluación de un centro educativo, como elemento básico de contextualización y de explicación rigurosa de resultados, y como marco referencial para las propuestas de reformas.

Naturalmente, unidos a estos modelos de evaluación, al igual que al de los otros bloques, está la concepción estructural de la realidad de un centro, de sus variables definitorias, de sus relaciones, etc., sobre lo que la literatura especializada recoge multitud de ejemplos y concepciones. Como es lógico, el evaluador se apoya en alguna concepción estructural y relacional del centro al plantearse su evaluación.

2.3. La perspectiva de la mejora institucional

El cambio, la innovación, la reforma y la mejora institucional la entendemos como uno de los objetivos básicos en la investigación evaluativa sobre centros educativos en el momento presente.

Para nosotros, la evaluación para el cambio no nos parece solamente el elemento central desde el que definir un bloque de modelos de evaluación, tal como hemos señalado anteriormente, sino que nos parece una de las razones de ser, aunque no la única, de la evaluación de centros. Por ello, creemos en la evaluación para el cambio, que se entronca en un movimiento alternativo al de las escuelas eficaces, conocido como movimiento de mejora de la escuela, orientado a la búsqueda de aspectos del centro que inciden en su funcionamiento y eficacia que deben mejorar y del modo en que deben hacerlo (De Miguel y otros, 1994).

La mejora de los centros, en definitiva, nos parece más que un criterio definidor de modelos de evaluación y pensamos que puede y debe ser un objetivo de todo modelo de evaluación de un centro que se precie de tal, con independencia de que se enfatice el análisis de los resultados o de los procesos internos. Naturalmente, el énfasis en la mejora y el cambio condiciona obligatoriamente los procedimientos y las variables de la evaluación pero, repetimos, cualquier modelo de evaluación puede incidir, al nivel correspondiente, en la mejora del centro escolar.

Esta orientación de la evaluación de centros, sin duda preponderante en el momento actual, hace que en los planteamientos de las evaluaciones se pierda cierto interés por las relaciones causa-efecto entre variables de entrada y procesuales con los resultados, y se aumente el interés por el contexto concreto que se evalúa, con sus fenómenos y procesos interactivos. Hay que diagnosticar los problemas de la institución y ver qué fuerzas y recursos tiene para resolverlos. En esta perspectiva, aumenta la relevancia de los procesos de autoevaluación, de los de participación y de reflexión de los agentes del centro y del uso responsable y colegiado de la autonomía del centro (Sabirón, 1993; Sancho, 1993; Santos, 1993; Borrell, 1995).

2.3.1. El énfasis de la autoevaluación institucional

En coherencia con los nuevos planteamientos y orientaciones de la evaluación de centros escolares, la autoevaluación institucional ha venido articulándose cada vez más como el elemento central de la evaluación orientada hacia la mejora. Se trata de un proceso evaluativo que se inicia en el propio centro, que se realiza por los propios profesionalesque actúan en él, con el objetivo de comprender y mejorar la práctica escolar (Gairín, 1993). Sin embargo, en la autoevaluación también pueden intervenir agentes externos para facilitar el proceso de reflexión y modular las interpretaciones desde el interior.

Lo que sí parece evidente es que la autoevaluación, para que pueda llevarse a cabo con éxito, necesita un caldo de cultivo proporcionado por la autonomía institucional y la participación responsable, a ser posible entusiasta, de los miembros de la organización. En este contexto, el liderazgo del director o facilitador de la evaluación resulta fundamental para ayudar al grupo a que tome conciencia de la importancia de su trabajo y a que lo realice de manera adecuada (Borrell, 1995). La autoevaluación, en definitiva, pone en evidencia la capacidad de la propia organización para auto-transformarse.

En nuestro país, seguramente, no existe en los centros un clima afectivo entre el profesorado favorecedor de la autoevaluación, aunque sí se cuenta con un buen nivel de autonomía institucional. Por ello, no siempre son muy productivos los apoyos e impulsos evaluadores que parten de los responsables educativos. Pero sí existen muchos

trabajos de investigación al respecto, con la producción de un buen número de instrumentos para la evaluación, que las más de las veces pueden ser utilizados tanto en procesos de evaluación interna como externa (Borrell, 1995). En algún caso concreto se ha diseñado un modelo completo de autoevaluación, como el modular desarrollo por Blanco (1993) en su tesis doctoral. Pero son algunos proyectos internacionales los que han tenido más incidencia en el desarrollo de este tipo de evaluaciones, incluso en nuestro contexto académico.

En esta línea de búsqueda de elementos de innovación y cambio escolar se sitúa el proyecto ISIP (International School Improvement Project) puesto en marcha en 1982 por la OCDE a través de su Centro para Investigación Educativa e Innovación (CERI), implicando a más de una docena de países y más de un centenar de participantes. Los resultados globales fueron publicados unos años después (Hopkins, 1987; OCDE, 1989).

Se enfatiza la autonomía de la escuela para poder resolver sus propios problemas con programas de autoevaluación escolar o revisión basada en la escuela definida como una inspección sistemática interna, orientada hacia la mejora y el cambio (Bollen y Hopkins, 1987). El proceso se plantea con las cinco fases siguientes: a) Preparación, b) Revisión inicial, c) Revisión específica, d) Desarrollo (Introducción Sistemática de la Innovación) y e) Institucionalización. Globalmente, la autoevaluación en el ISIP se concibe como una estrategia en sí misma de mejora institucional.

Dentro de esta línea, el programa-guía de autoevaluación más conocido y recomendado por ISIP es el GRIDS (Guidelines for Review and Internal Development in Schools), que es un programa sin control externo, que identifica los agentes de la evaluación y la innovación, apoyándose en el enfoque procesual de la investigación-acción, sin negar la posibilidad de un asesoramiento externo (McMahon y otros, 1984; GRIDS, 1988; Hopkins, 1988; Bartolomé y otros, 1991; De Miguel y otros, 1994). Las cinco fases secuenciadas del programa GRIDS aparecen detalladas en las referencias anteriores.

Con el fin de organizar programas específicos de autoanálisis escolar, se creó en Francia, en 1983, la Mission Achadémique pour la Formation des Einseignants (MAFPEN). El grupo de estudios de Lyon de esta organización (GETED) ha elaborado documentos y directrices de autoevaluación (GETED, 1990 y 1992) con tres aproximaciones de análisis, el sistemático, el estratégico y el cultural. Las fichas de autoevaluación hacen referencia a siete ámbitos: a) Identificación del centro, b) Alumnos, c) Contexto, d) Recursos humanos y materiales, e) Aspectos pedagógico-organizativos, f) Visión de conjunto y g) Imagen del centro. El programa se plantea como elemento de formación, así como de colaboración entre centros para la mejora (Borrell, 1995).

2.3.2. El complemento de la evaluación externa

Recientemente opinaba Nevo (1994) que la evaluación basada en el centro no es sinónimo de evaluación interna, ni tampoco antónimo de evaluación externa, sino de una combinación de ambas, pues la evaluación necesita de las aportaciones tanto de una como de otra. Los centros con orientación innovadora y experimental necesitan libertad y autonomía para desarrollar sus enfoques innovadores y, consecuentemente, deben apoyarse fundamentalmente en la autoevaluación, pero también necesitan demostrar sus méritos, esto es, las ventajas que ofrecen sobre las escuelas más convencionales, a las que intentan reemplazar. Esto no se consigue sólo con la evaluación interna; sin algún elemento de la evaluación externa es probable que surjan críticas y demandas de rendición de cuentas. Sin embargo, parece claro que la evaluación basada en el centro, orientada para mejorarlo, debe apoyarse prioritariamente en la evaluación interna, aunque se sugiere siempre complementarla con cierta evaluación externa, como una evaluación colaborativa (De Miguel y otros, 1994).

Pero, con independencia de lo que acabamos de decir, todavía sigue siendo predominante la evaluación externa sobre la evaluación interna en aquellos países con gran experiencia en evaluación de centros (U.S. Department of Education, 1991) y también en nuestro propio sistema (Bartolomé y otros, 1991; Borrell, 1995).

Esta evaluación externa se puede promover desde dentro del centro, por el deseo de profesores o directivos de acreditarse o de conocer su situación, con fortalezas y deficiencias, o de contrastar los hallazgos de la autoevaluación.

Cuando se promueve desde fuera, la evaluación suele pretender el control del funcionamiento, el análisis de los logros, el diagnóstico de las dificultades y el análisis de la eficiencia en la utilización de los recursos (Soler, 1991).

Pero la evaluación externa tiene muchos formatos diferentes. Nos podemos encontrar evaluaciones del tipo auditoria, con un enfoque empresarial de control externo (Pérez Juste y Martínez Aragón, 1989) y también nos podemos encontrar con evaluaciones controladas externamente como el plan EVA ministerial (Luján y Puente, 1993; MEC, 1994), que tienen como uno de sus objetivos básicos el fomento de actuaciones internas para la mejora y que buscan la participación de los miembros del centro en el proceso de evaluación. En el modelo de auditoria, el auditor, que es un profesional externo, emite un informe valorativo del centro en cuanto al funcionamiento administrativo, utilización de recursos, eficiencia, cumplimiento legal, efectividad y logros.

Entre los modelos internacionales acreditados se puede destacar la Guía para la evaluación y acreditación (ECIS, 1987) del «European Council of International School» (Bartolomé y otros, 1991; Borrell, 1995), en la que se compagina la evaluación externa con un autoestudio, con un seguimiento cada cinco años.

Otro modelo reconocido es el puesto en marcha por el Departamento de Instrucción Pública del Estado de Delaware para alcanzar los estándares aprobados (DELAWARE, 1984). Se trata también de un programa quinquenal que utiliza encuestas y entrevistas a profesores y directivos, hojas de observación y registro y visitas de expertos; termina con un plan de mejora y ayuda.

Finalmente, modelos también conocidos son los existentes en el Estado de Colorado (Frazier, 1986), el de Connecticut (Proctor y Villanova, 1984), el PROYECTO RISE (1982) de Milwaukee, así como materiales y cuestionarios de evaluación de diversos proyectos de gran alcance (NAEPS, 1984; Northwest, 1985; Chrispleels, 1990).

2.4. La perspectiva de las meta-evaluaciones

Al introducir el análisis de enfoques modélicos para la evaluación de centros señalábamos que una aproximación importante es la de la meta-evaluación de los modelos utilizados por los sistemas educativos. En la práctica, esta aproximación nos parece que termina coincidiendo con la que toma el evaluador cuando analiza todos y cada uno de los pasos y fases del proceso evaluador y va valorando las posibles alternativas que puede tomar en cada caso. A la postre, tal como ya hemos señalado, es cada equipo de evaluación, en su contexto concreto, el que termina construyendo su propio modelo para evaluar el objeto de evaluación que tiene.

Bartolomé y otros (1991) llevaron a cabo un análisis de los modelos institucionales de evaluación de centros utilizados en Cataluña, seis en total, a los que añadieron dos europeos (ECIS y GRIDS) y uno americano (DELAWARE). Tras consultar la literatura especializada sobre el tema, este equipo estableció un listado de criterios comparativos agrupados en los cinco bloques siguientes:

5. EL PAPEL DEL EVALUADOR

En caso de una «evaluación externa»: agente o responsables de la evaluación. En caso de una «evaluación interna»: formación de equipo evaluador, presencia o no de un experto o agente externo al centro.

A partir de estos criterios establecieron ocho apartados con diferentes sub-apartados en cada caso, llegando en total a algo menos de medio centenar de potenciales entradas para una tabla de comparación y, consiguientemente, de definición de modelos de evaluación. Las entradas potenciales de la citada tabla de comparación de modelos de evaluación de centros son: 1) Objetivos, 2) Evaluador, 3) Audiencia primaria, 4) Instrumentos de evaluación, 5) Fuentes de información, 6) Criterios, 7) Dinámica y 8) Objeto de evaluación.

Bartolomé y otros (1991) analizan los nueve modelos de evaluación antes aludidos, señalando en cada entrada la existencia o no de esa característica en cada uno de los modelos. Solamente en el apartado del objeto de evaluación, ordenan por prioridad los tres aspectos recogidos. De su análisis comparativo destacan algunos aspectos como que solamente el GRIDS es concebido íntegramente bajo la perspectiva de evaluación interna y que solamente este modelo y el DELAWARE enfatizan claramente su orientación optimizadora. En la mayoría de los programas evaluados se sitúa la responsabilidad evaluadora en el exterior del centro, pero con ayudas internas. Las audiencias principales son los profesores y la Administración. Todos los programas salvo el GRIDS tienen instrumentos propios de evaluación, pero sólo en uno de los modelos se han realizado estudios métricos de los mismos. Todos los programas, salvo uno que se

centra únicamente en los profesores, utilizan a la dirección del centro como fuente de información. Sobre la presencia de estándares o criterios propios existe una clara división en los modelos evaluados. La dinámica de la evaluación tiende a estar formalizada explicando cuándo y cómo debe evaluarse. El objeto prioritario de evaluación se reparte entre la capacidad del sistema y el proceso de enseñanza-aprendizaje; en todos los modelos evaluados el producto aparece en el tercer lugar en cuanto a prioridad.

Gallegos (1994) nos informa de una meta-evaluación de actuales modelos de evaluación de centros en Estados Unidos, llevada a cabo por el CREATE (Center for Research on Educational Accountability and Teacher Evaluation), en la que se revisaron un total de cincuenta y un modelos de distinto carácter, nacional, regional, estatal, local y de agencias públicas y privadas. Este estudio partió de la clasificación de modelos reflejada en el estudio de Richards (1988), que incluye los siguientes tipos de modelos de evaluación de centros:

A) Modelos centrados en el cumplimiento, que determinan si el centro está operando de acuerdo con determinadas normas o requisitos externamente establecidos, que normalmente enfatizan más los «inputs» y los recursos disponibles que el rendimiento.

B) Modelos centrados en el diagnóstico de la mejora de los estudiantes y se apoyan en buena medida en pruebas criteriales antes y después. Tienen un énfasis preferentemente formativo y centran su interés en la búsqueda de fórmulas para cubrir las necesidades detectadas en los alumnos.

C) Modelos centrados en el rendimiento, sobre todo a partir de pruebas normalizadas aplicadas al final de los ciclos educativos. Se intenta una evaluación normativa que permita comparación de centros y distritos escolares, transversal y longitudinalmente.

También el equipo de Gallegos (1994) elaboró una matriz de análisis de modelos con el objetivo de clarificar y valorar los modelos de manera más detallada que la anterior clasificación general, puesto que son muchos los modelos prácticos que resulta difícil incluirlos en uno de estos grandes bloques, ya que comparten características de más de uno. Las categorías de la matriz de clasificación de modelos son los siguientes (mantenemos las siglas utilizadas por el estudio procedentes del nombre inglés para denominar entre paréntesis los aspectos de las diferentes categorías):

a) PROCESO

En esta categoría se indica si se solicita un autoestudio (SS) por parte del personal del centro, se requiere una visita (V) de un equipo de consultores externos, o se omite está a favor de una auditoría administrativa (DA), llevada a cabo por algún responsable a partir de la información recogida.

b) NIVEL EDUCATIVO

Se indica si se usa para evaluar centros básicos (E) o secundarios (M y H) o de todos los niveles (DIST) o de todo el Estado (State).

c) ORIENTACIÓN

Aquí se indica la perspectiva para la que se recoge la información, formativa (Form) para mejorar el centro o sumativa (Sum) para tomar decisiones sobre la eficacia de sus programas y su continuidad.

d) DATOS

Esta categoría clasifica a los modelos según el uso de datos cuantitativos (Quan) o cualitativos (Qual).

e) PLANIFICACIÓN/TOMA DE DECISIONES

Esta categoría se apoya en el modelo CIPP de Stufflebeam (1983) e indica si el modelo evaluado incluye el contexto (C), esto es, trata de identificar las necesidades, problemas y oportunidades del entorno, las entradas (I) buscando información útil sobre la mejor ubicación de los recursos disponibles para cubrir las necesidades y obtener los objetivos,

el proceso (P1) que detecta y documenta si lo que ocurre coincide con lo planificado y si existen mecanismos de corrección durante el mismo y los productos (P2) que miden los resultados previstos y no previstos, interpretados a la vista de las necesidades, los objetivos, las entradas y el proceso.

f) ÁREAS DE RENDICIÓN DE CUENTAS

Siguiendo los planteamientos de Stufflebeam (1991) se establecen los componentes o ámbitos sobre los que el centro debe rendir cuentas, tales como el crecimiento (G), en relación con las necesidades de desarrollo, la equidad (E) en relación con la igualdad de oportunidades, la factibilidad (F1)sobre la adecuación de la planificación en relación con los recursos y la excelencia (Ex), sobre si existe o no un clima que busque el aprendizaje y la excelencia en la enseñanza y en el rendimiento de los alumnos.

g) NORMAS DE LA EVALUACIÓN

Se utilizan las normas del Joint Committee (1981), en las cuatro categorías clásicas. Normas de utilidad (U) que aseguran que la evaluación sirve para cubrir las necesidades informativas de las distintas audiencias, normas de factibilidad (F2) que aseguran que una evaluación es realista, normas de legitimidad (P), que aseguran que se lleva a cabo de manera legal, ética y con el debido respeto a los implicados y normas de precisión (A), relacionadas con la adecuación técnica de la evaluación para determinar el mérito y el valor de lo evaluado.

h) RELACIONES CON EL SISTEMA

Esta categoría identifica los niveles de interacción o relación que son requeridos para poder llevar adecuadamente la evaluación, con el sistema escolar determinado, con la Administración, etc.

i) FORTALEZAS ESPECÍFICAS

Identificación de aquellos aspectos fuertes del modelo de evaluación, que le son específicos y que van más allá de las características genéricas del mismo.

j) PUNTUACIÓN

Se establece una puntuación de 1 a 5 para las distintas categorías genéricas de la matriz. La puntuación va desde el 1 (más de lo previsto) hasta el 4 (no cumple lo previsto), siendo 5 la indicación de que falta documentación para la valoración de dicha categoría. La puntuación 2 significa que se cumple lo previsto y la 3 que se cumple parcialmente.

Con todas estas categorías se articula una matriz sobre la que se identifica el modelo concreto de evaluación que se está evaluando, puntuando al nivel correspondiente las entradas de las distintas categorías.

El equipo de Gallegos evaluó con estos sistemas descritos seis modelos nacionales elaborados por asociaciones profesionales y organizaciones de centros y por las agencias federales. Uno de ellos, el de la Asociación Educativa Católica, es un modelo de autoestudio para sus centros miembros, los otros siguen apoyándose en gran medida en la evaluación externa. El programa América 2000, por ejemplo, se centra sobre el análisis de escuelas individuales, un poco en la línea promovida por la Administración de premiar con apoyos y reconocimiento a los centros con altos rendimientos.

Los modelos regionales evaluados procedían de las siete asociaciones regionales de acreditación y de un laboratorio educativo regional. Estos modelos han sólido ser modelos centrados en el cumplimiento de los requerimientos legales para su funcionamiento. Sin embargo, en los últimos años se están ofreciendo también alternativas más centradas en el rendimiento y en el diagnóstico para el perfeccionamiento institucional.

La mayoría de los veintidós modelos estatales evaluados, utilizados por los respectivos departamentos de educación, son modelos de cumplimiento, lo que parece explicable porque se trata de evaluaciones obligatorias que tienen como uno de sus objetivos principales el control del gasto público. Estos planteamientos probablemente seguirán por un tiempo

en los modelos estatales, pero existen movimientos de cambio hacia otros modelos, como los detectados por Gallegos (1994) en los casos de los estados de Indiana y Texas.

Los modelos de las agencias locales parecen estar claramente influidos por el movimiento de las escuelas eficaces y buscan la mejora escolar a través de la determinación de aspectos que correlacionan con el éxito del centro. Esto no niega el objetivo de la evaluación sumativa de los centros, que también es objetivo de las agencias locales de evaluación.

En conjunto, Gallegos (1994) detecta un movimiento en la evaluación de centros que va más allá del control de su cumplimiento, interesándose cada vez más en el diagnóstico y solución de los problemas y en el rendimiento de los centros. Sin embargo, también detecta que la evaluación sigue fundamentalmente basada en mediciones propias de los viejos modelos; se necesita una revisión y ampliación de los indicadores de las evaluaciones. Pero, sobre este aspecto no parece existir suficiente trabajo empírico y, en consecuencia, es uno de los claros retos de la investigación evaluativa de instituciones escolares en la actualidad.

3. LA PRÁCTICA DE LA EVALUACIÓN DE INSTITUCIONES ESCOLARES: ESTRATEGIAS Y APOYOS METODOLÓGICOS

Sea cual sea el enfoque modélico que se tome, la evaluación de centros educativos, como casi todas las grandes investigaciones evaluativas, es una tarea compleja, sobre todo en la práctica , por razones técnicas, presiones ambientales, falta de evaluadores cualificados y dificultades de lograr la colaboración y participación necesarias. De hecho, la práctica de la evaluación, a pesar de sus avances, sobre todo en la última década, necesita seguir su proceso de desarrollo y solucionar algunos problemas importantes todavía demasiado frecuentes.

En referencia con lo anterior, Gallegos (1994), en su meta-evaluación de más de medio centenar de modelos de evaluación americanos, encontró algunos defectos y lagunas muy generalizados. Los más comunes eran los siguientes:

Falta de indicaciones claras de que los evaluadores han recibido un entrenamiento adecuado en evaluación de centros.

Escasa evidencia de que las evaluaciones están basadas en un conjunto aceptable y reconocido de normas de evaluación de programas y productos.

Limitada evidencia de que se comprende y utiliza un enfoque sistemático para la evaluación del centro.

Insuficientes intentos de abordar las cuestiones de calidad de manera razonable.

Ausencia de indicaciones de que se llevó a cabo o se ha sugerido una meta-evaluación de la práctica evaluadora del personal del centro.

Ante estos problemas, la reforma y mejora escolar a través de procesos de evaluación, profundizando en las tendencias emergentes en los últimos años, parece requerir cambios en algunos terrenos.

Las administraciones educativas deben potenciar la formación de evaluadores, sobre todo dentro del personal de los centros educativos, pues no se puede seguir demandando y construyendo modelos que partan de la participación del personal de los centros, si este no tiene la debida preparación técnica para ello. Ya es suficientemente difícil lograr su participación por otros motivos como para añadir un impedimento que sí se puede evitar con programas de formación adecuados. Esto, lógicamente, podría hacerse más fácilmente y mejor, promoviendo la colaboración con los centros y departamentos universitarios especializados en estos campos de la investigación.

Otro aspecto de capital importancia es la contextualización del proceso de evaluación del centro, adaptándolo a sus objetivos, entorno y posibilidades,…, buscando su mejora como institución individual. De los programas estandarizados es muy difícil obtener beneficios relevantes para cada centro, de acuerdo con su situación y necesidades particulares.

Otra necesidad reconocida a la que ya nos hemos referido con anterioridad, es la de identificar indicadores de calidad de los centros más útiles que los habituales, profundizando en una línea de investigación ya en marcha (Oakes 1989:

National Council on Educational Statistics, 1991), que busca indicadores verdaderamente relacionados con la salud del centro y con aspectos críticos para mejorar su funcionamiento. Pero en este intento se debe ser extremadamente cuidadoso, ya que si se enfatiza la atención a unos pocos indicadores, pero no relacionados con los temas relevantes, se pueden crear problemas en vez de resolverlos (National Council on Educational Statistics, 1991). Los buenos indicadores deben permitir comprobar el progreso de un centro educativo con el tiempo.

A estas reflexiones estratégicas podemos añadir las que nos ofrece Nevo (1994) tras cuatro años de trabajo en un experimento de evaluación interna y externa. Las sugerencias son las siguientes:

a) La mejor manera de que el personal del centro comprenda el significado de la evaluación es a través de la distinción de lo que es descripción y lo que es valoración o juicio.

Muchos de los problemas y resistencias a la evaluación proceden de las diferentes concepciones que de ellos tienen los profesores y los administradores de los centros, a veces concepciones erróneas (Nevo y Goldblat, 1988). Se necesita crear un clima de franca y abierta comunicación, sobre la base de conceptos y concepciones claros para todos, especialmente en componentes y funciones tan importantes de la evaluación como son la descripción y la valoración (Stake, 1967; Guba y Lincoln, 1981; Nevo, 1983).

En primer lugar, el personal de los centros debe entender que evaluar es un proceso sistemático y técnicamente riguroso, y no intuitivo, para el que se necesita preparación. En segundo lugar, dejar en claro que esta sistematicidad técnica mejora la objetividad de la descripción, pero no totalmente. En tercer lugar, aclarar que la subjetividad interviene más en la valoración que en la descripción, pero que la subjetividad no implica arbitrariedad. Precisamente la evaluación intenta evitar la arbitrariedad en los juicios, siempre con algún componente de subjetividad.

b) Los estudiantes y su rendimiento no deberían ser el único objeto de la evaluación escolar

Muchos profesores identifican la evaluación con la evaluación y las pruebas del rendimiento de los alumnos, en el sentido de calificarlos (Stiggins y Faires Conklin, 1992), teniendo dificultades para introducir en el proceso los programas y otros objetos o elementos escolares, tales como los proyectos, el currículum, los materiales, los profesores, otro personal, los estudiantes,…, y el centro como entidad global. Esto debe explicarse bien.

c) Los resultados o impactos no deberían ser lo único que se examina cuando se evalúa un programa, un proyecto o cualquier otro objeto escolar.

Esto no quiere decir que los resultados e impactos no sean variables importantes, pero los méritos de un programa o del centro no pueden limitarse a ellos. Habría que fijarse al menos en los objetivos, las estrategias y planes y el proceso de implementación, en unión de los resultados e impactos. Esto ya fue propuesto hace más de un cuarto de siglo (Stake, 1967; Stufflebeam y otros, 1971), pero no tiene la consideranción debida en la práctica evaluativa.

d) La evaluación del centro debe tener tanto la función formativa como la sumativa, proporcionando información para la planificación y el perfeccionamiento, así como para la certificación y la rendición de cuentas.

La corriente que niega el valor de la evaluación sumativa es errónea porque también es muy útil. No cabe duda de que la evaluación es importante para mejorar los centros, pero también lo es para acreditar su funcionamiento, sobre todo ante proyectos de reforma, cuando se ponen en contraste distintos proyectos. Evitar la evaluación sumativa ante el empuje de la formativa es un error.

e) No se puede juzgar de manera razonable la calidad global de un centro escolar con un sólo criterio, o incluso por criterios múltiples, ni se necesita hacerlo así.

Pero esto no significa que sólo haya que proporcionar datos descriptivos y evitar los juicios. La evaluación debe proporcionar juicios de valor a partir de diversos criterios sobre distintos aspectos del centro. Lo que probablemente no es necesario son las valoraciones globales, porque son escasamente útiles para la evaluación formativa y se mezclan con el terreno de las decisiones en el caso de la sumativa.

f) Las necesidades de evaluación interna de una escuela se atienden de la mejor manera por un equipo de profesores y otros educadores, para quienes la evaluación es solamente parte definitoria de su trabajo, apoyados por un apropiado entrenamiento y asistencia técnica externa.

Scriven (1967) llamó a este equipo «amateur», cuya fortaleza está en su familiaridad con el centro y sus funciones, así como en no ser visto como una amenaza por el resto de compañeros. Su debilidad puede estar en la falta de experiencia y preparación, pero esto puede ser compensado con la asistencia de expertos externos.

g) Para llevar a cabo evaluaciones internas razonables es necesario utilizar instrumentos y métodos alternativos de las ciencias del comportamiento y de otros campos de estudio relacionados y adaptarlos a las necesidades del centro y a las capacidades del equipo "amateur" de evaluación.

No hay evaluación sin medición y recogida de información, pero los evaluadores internos de la escuela necesitan instrumentos de fácil manejo. Las cosas deben mejorarse bastante en este terreno (Stiggins y Faires Couklin, 1992).

h) «Aprender haciendo» sigue siendo todavía la mejor manera de aprender a evaluar.

Es más eficaz motivar y explicar bien la evaluación y su significado y formar poco a poco con el apoyo de la práctica, que introducir en bloque una visión profunda o incluso «recetaria» de la evaluación. La evaluación interna suele ser mejor camino de aprendizaje que la evaluación externa.

Cuando nos referimos a las variables que deben considerarse en la evaluación de un centro, siempre nos vamos a encontrar con variables que son antecedentes, como los de entrada y las contextuales, que tienen básicamente un carácter estático, con variables del proceso, que tienen carácter dinámico y con las variables producto, que vuelven a tener carácter estático. El énfasis que demos a unas u otras variables en el proceso de evaluación marcará en buena medida nuestro enfoque modélico. Las variables antecedentes y de proceso coincidirían con índices indirectos de calidad del centro, mientras que los productos serían los índices directos de calidad. Listados amplios de distintos tipos de variables a considerar en la evaluación de centros, pueden encontrarse, por ejemplo, en los trabajos de Escudero (1980), García Ramos (1989) y Pérez Juste y Martínez Aragón (1989).

Buena parte de las variables producto de un centro en un momento, en un periodo, se convierten en antecedentes para un periodo posterior.

Los evaluadores ante todo el conjunto de variables posibles, tienen que plantearse un proceso de selección dentro de cada tipo, en función del objeto, de la finalidad y de la orientación preferente de la evaluación.

Si el evaluador decidiera prestar atención únicamente a los productos, estaría aplicando un modelo economicista que desvirtúa incluso el propio concepto de educación. Se podrían juzgar y comparar niveles educativos y de salida del centro, pero nunca valorar la educación que se imparte en el mismo. En rigor, este enfoque sería un verdadero disparate.

Dedicarse a los productos, pero a la vista de los antecedentes, lo que coincide con el conocido modelo input-output, con los inputs como covariables o predictores, supone utilizar un enfoque eficaz en cuanto a medición de los rendimientos del sistema, pero muy limitado, porque se pueden detectar problemas, pero, en muchas ocasiones no se sabe donde ubicarlos ni, por consiguiente, ofrecer alternativas de solución.

Dedicarse a los productos, a la vista de los antecedentes y del proceso es un enfoque más educativo y más completo, pues permite la mejora real del sistema. Para compaginar la evaluación formativa y sumativa es necesario tener en cuenta tanto los índices directos como los indirectos de calidad del centro. Dentro de la consideración de estos tres tipos de variables, se pueden plantear diferentes esquemas de tratamiento y enfatizar más o menos unas u otras variables.

La consideración de las variables antecedentes y productos, por la naturaleza métrica de estas variables, generalmente estáticas, resalta la metodología cuantitativa. Por el contrario, la consideración de las variables de proceso, por sus características y dinamismo, resalta la metodología cualitativa. En todo caso, estas situaciones no son siempre así, aunque sean las más frecuentes, puesto que existen productos claramente cualitativos (elección de estudios, intereses, etc.) y variables del proceso que sí se pueden cuantificar (intervenciones en el aula, tiempos de explicación, etc.).

Seleccionadas sus variables, el evaluador de centros necesita instrumentos de medición de las mismas, instrumentos que con bastante frecuencia tiene que elaborar o, al menos, adecuar a partir de instrumentos de manuales u otros proyectos o modelos de evaluación.

Ya hemos dicho anteriormente que la investigación evaluativa debe incidir mucho más en la elaboración de buenos instrumentos de evaluación, pero esto no niega que en los últimos años se han producido muchos materiales y muchos instrumentos que están a disposición de los evaluadores.

De hecho, lo habitual es que los textos que tratan de la evaluación de centros, incluyan también instrumentos para la evaluación. Así, por ejemplo, el libro de De Miguel y otros (1994) que trata de la evaluación de centros e institutos de educación secundaria, ofrece quince cuestionarios de evaluación de otros tantos aspectos de la vida de un instituto, tales como el contexto sociocultural y educativo, la organización y funcionamiento del Consejo Escolar, el Proyecto Educativo de Centro, el liderazgo del equipo directivo, los procesos en el aula, el clima institucional, etc. Al describir estos cuestionarios se indican los correspondientes indicadores y los «items» relacionados con cada uno de ellos.

Los modelos de evaluación de centros utilizados en Cataluña, evaluados por Bartolomé y otros (1991), son en algunos casos un conjunto de cuestionarios de evaluación sobre distintos aspectos de los centros y su funcionamiento. Borrell (1995) referencia algunos de los apoyos instrumentales elaborados en la última década en nuestro país. El plan EVA ministerial (MEC, 1991), por ejemplo, ha desarrollado muchísimos materiales para la evaluación (encuestas, entrevistas, listados, etc.). Esteban y Bueno (1988) construyeron guías para la discusión y el autoanálisis. Como trabajos pioneros en nuestro país pueden citarse la pauta de evaluación de centros educativos de García Hoz (1975), las pautas del Servicio de Inspección Técnica de Educación de mediados de los setenta (Pérez Juste y Martínez Aragón, 1989), los cuestionarios sobre las tareas del profesor, los objetivos educativos y la dirección del centro que ofrece en su libro Isaacs (1977) y los instrumentos que presenta Ibar (1976) para evaluar el modelo económico-administrativo de un centro. Previamente, el CEDODEP (1966) había editado su escala de evaluación de centros de básica.

En un trabajo mucho más reciente sobre los instrumentos para evaluar los centros escolares de secundaria, Cardona (1995) analiza una serie de instrumentos elaborados en España, diferenciando los que tienen una perspectiva global, esto es, que intentan evaluar los diferentes aspectos del centro, de los que la tienen específica y se centran en determinados aspectos de la vida o características del centro. En este trabajo Cardona analiza su Escala de Evaluación Diagnóstica para Centros de Educación Secundaria (EED/CES).

Para finalizar haremos referencia al trabajo de Sabirón (1993) que, tras introducir su planteamiento sobre la evaluación de centros docentes, ofrece un anexo de instrumentos de evaluación españoles y extranjeros, referenciando casi una cuarentena, con mención expresa de la denominación del instrumento, autor, dimensiones evaluadas, base paradigmática y aplicación sugerida.

ACTIVIDADES

VE EL VIDEO ENFOQUE DE EVALUACIÓN HTTP://YOUTU.BE/ZPFAO-RQGQ0 EN YOUTUBE Y DE ACUERDO A LO VISTO Y LO LEÍDO ANTERIORMENTE ESCRIBE EL ENFOQUE DE EVALUACIÓN QUE UTILIZARÍAS Y POR QUÉ. (UTILIZA EJEMPLOS PARA UNA MEJOR DESCRIPCIÓN)

LA EVALUACIÓN COMO: 2.7.1. MEDICIÓN.

Evaluación como medición

Principios del Siglo XX.

Se conoce con los test mentales de Castell (1890) destinados a medir las capacidades mentales de los individuos.

Desembocó en los test objetivos de rendimiento. Acepción de carácter científica atribuida a cada medición.

Los resultados se pueden manipular estadísticamente y reducirse a indicadores globales del comportamiento del grupo.

Impide a emisión de juicios personales de parte del profesor.

La evaluación es un proceso que va más allá de una simple medición. Implica descripciones cuantitativas y cualitativas de la conducta del alumno (medición), la interpretación de dichas descripciones y por último la formulación de juicios de valor basados en la interpretación de las descripciones.

En este escrito se analizará la primera de estas etapas del proceso de evaluación: la medición.

La medición es un proceso mediante el cual puede determinarse cuantitativa (cantidad) o cualitativamente (calidad) el grado en que el estudiante posee un rasgo determinado (conocimiento, habilidad, etc.).

La determinación se realiza a través de tres etapas:

Definir con toda claridad qué rasgo se pretende medir.

Determinar las diferentes formas mediante las cuales se manifestará perceptiblemente el rasgo elegido.

Establecer los procedimientos mediante los cuales se traducirán dichas manifestaciones perceptibles a enunciados cuantitativos o cualitativos.

Señalaremos las tres etapas de la medición a través de los siguientes ejemplos:

Ejemplo 1. (En relación con un conocimiento)

Se pretende medir el grado de dominio que los alumnos tienen del vocabulario de inglés correspondiente a la primera unidad del programa de primer año de secundaria. Si lo dominan, lo manifestarán perceptiblemente en las siguientes formas:

Harán la traducción correcta de las palabras que comprende el vocabulario ya sea en forma oral o escrita,

Pronunciarán correctamente dichas palabras,

Las emplearán atinadamente en el contexto de una frase, y

Las escribirán con la ortografía adecuada.

Para representar cuantitativamente lo que se refiere a la primera manifestación (señalada con "a"), el maestro utilizará un cuestionario oral, diciendo a cada alumno diez palabras en inglés para que diga su significado. Registrará el número de respuestas correctas.

Para representar cuantitativamente lo que se refiere a la segunda manifestación ("b"), repetirá el procedimiento anterior, pero diciendo la palabra en español para que el alumno la pronuncie en inglés.

Para la tercera manifestación ("c"), le pedirá que por escrito construya diez frases a partir de diez palabras del vocabulario que le serán señaladas. Registrará el número de frases correctas.

Para la cuarta manifestación ("d"), el alumno tomará dictado diez palabras y el maestro registrará las que fueron escritas con corrección.

Una vez realizadas las tres etapas anteriores, el maestro podrá contar con un cuadro de medición como el siguiente:

Alumno Aciertos en "a" Aciertos en "b" 1 Aciertos en"c" Aciertos en "d"

Alvarado 10 9 10 8

Anaya 6 3 8 6

Barbosa 9 7 8 b

Barrios 10 10 10 10

Ahora cuenta con enunciados que determinan la cantidad que posee el estudiante de un rasgo determinado, por lo tanto ha hecho la medición de un conocimiento.

Ejemplo 2. (En relación con una actitud)

Se pretende medir la respuesta que los alumnos de un grupo están dando a la campaña de limpieza realizada por la escuela durante el mes de marzo. La respuesta positiva a dicha campaña deberá manifestarse en las siguientes formas:

El alumno se presentará aseado en su persona.

Realizará cada uno de sus trabajos escolares con limpieza.

Cuidará de la limpieza en su salón de clase y en las diferentes áreas de la escuela.

Para representar cualitativamente cada una de las manifestaciones anteriores, se utilizarán los siguientes procedimientos:

Para la primera manifestación ("a"), el jefe de cada equipo registrará cómo fue la presentación personal de cada uno de los miembros y el maestro registrará la de los jefes de equipo según la siguiente escala:

Excelente

Muy buena

Buena

Regular

Mala

Para la segunda manifestación ("b"), el maestro, utilizando de nuevo la escala anterior, llevará el registro de la limpieza observada en cada uno de los trabajos efectuados en el mes (podría auxiliarse de nuevo de los alumnos).

Para la tercera manifestación ("c"), el maestro observará y registrará las actitudes de sus alumnos en relación con la limpieza del salón y de la escuela en general. Hará una evaluación diaria teniendo como base tres puntos:

Actitud favorable.

Actitud ajena.

Actitud desfavorable.

Después de realizar las actividades anteriores durante los 20 días de clase correspondientes al mes de marzo, podrá tener un registro como el siguiente

Alumno: __________________________________________

Aspecto Muy buena Buena Regular Mala

Presentación personal 8 veces 3 veces 1 vez 1 vez

Presentación de trabajos 10 veces 5 veces Ninguna 1 vez

Actitud para la limpieza de la escuela

Favorable Ajena Desfavorable

6 veces 4 vecesNinguna

En esta forma se ha realizado una medición en relación con cierta actitud. Los cuadros de registro que se anotan en los ejemplos pueden tener un sin fin de variaciones, sólo se han incluido como una idea general.

Es muy importante que la actividad de evaluación corresponda exactamente al objetivo de aprendizaje propuesto, a tal punto que se aconseja que, al mismo tiempo que se elabora un objetivo de aprendizaje, se preparen los reactivos mediante los cuales se evaluará si se trata de un conocimiento, o se defina cuáles serán los avances que deben presentarse en la evolución de una actitud, etc.

Ejemplo 3. (En relación con un conocimiento)

Si un objetivo del área de Matemáticas es: "Dada una serie de ecuaciones, el alumno distinguirá las que son de segundo grado"; en la evaluación deberemos pedirle sólo distinguir, no resolver ni clasificar, pues si esto hiciéramos estaríamos evaluando más allá de la conducta señalada por el objetivo.

Los reactivos de evaluación de ese objetivo podrían quedar así:

En la siguiente lista de ecuaciones, subraya las que son de segundo grado:

x + 4 = 10

x 2 + 3 x + 4 = 0

x 2 + y2 = 0

x3-2x2 + 4x + 3 = 0

2x-3= x + 6

Ejemplo 4. (En relación con una actitud)

Si un objetivo del área de Ciencias Sociales es: "El alumno manifestará respeto a los símbolos patrios en los actos cívicos programados por la escuela"; el maestro analizará los diferentes rasgos de la conducta que manifiestan respeto a los símbolos patrios, tales como el silencio, la atención y la actitud durante el saludo; podrá elaborar una escala como la

siguiente en la cual registrará los datos de los alumnos en cada ocasión que se lleve a cabo, dentro de los actos cívicos, el saludo a la Bandera:

Alumno: ......................................................................................

Atención

constante

dispersa

ajena

Silencio

absoluto

parcial

nulo

Actitud

en el

saludo

solícita

normal

forzada

Del análisis del registro de cada alumno, el maestro podrá emitir un juicio de valor acerca del grado en que está manifestando su respeto a los símbolos patrios, lo cual es exactamente lo que desea evaluar.’

Ejemplo 5 (En relación con una destreza)

Si uno de los objetivos del área de Actividades Tecnológicas en primero de secundaria es: "El alumno escribirá al dictado, sin error y sin ver el teclado, hasta 25 palabras por minuto utilizando una máquina de escribir"; la evaluación no podrá consistir, por ejemplo, en hacer una copia hasta completar un minuto de tiempo, tampoco en dictar palabras que no estén previamente seleccionadas de manera que coincidan con el tipo de palabras que el alumno ha practicado. Podría consistir, por ejemplo, en lo siguiente:

Se dictarán a los alumnos 25 palabras representativas de los ejercicios realizados, esto es, que incluyan los diferentes grados de dificultad contenida en lo que han practicado. Las palabras se dictarán distribuidas en el lapso de un minuto, posteriormente se contarán las palabras escritas par cada alumno y los errores cometidos para luego emitir el juicio de valor.

Podemos afirmar, sin terror a equivocarnos, que el maestro que realmente Babe evaluar, nunca se apartará de los objetivos de aprendizaje propuestos como norma para planear y realizar sus evaluaciones.

REFERENCIA:

Moreno, M. "Didáctica. Fundamentación y práctica". México: Editorial Progreso.

ACTIVIDADES:

REALIZA UNA RUBRICA DE EVALUACIÓN PARA EL NIVEL, GRADO Y MATERIA QUE QUIERAS, QUE REFLEJE LA EVALUACIÓN COMO MEDICIÓN Y APLICALO. ANOTA LOS RESULTADOS DE ANALISIS DEL INSTRUMENTO Y CÚAL ES TÚ PERCEPCIÓN.

2.7.2. PROCESO

Concepción de la Evaluación como Proceso

Para los autores Cronbach (1973), Popham (1980), Villarroel (1974) y Worthen y Sanders (1973), evaluar significa determinar el valor de un fenómeno educativo. Por valorar debe entenderse “...el acto mediante el cual se compara un hecho, persona, cosa o fenómeno con un patrón previamente determinado...En la educación sistemática, por su condición de actividad, la evaluación no será otra cosa que la comparación entre lo que se quiere lograr y lo que se logra a través de la institución docente” (p.24).

Mientras que para Cárdenas, la evaluación es un proceso sistemático de reflexión sobre el quehacer educativo que proporciona información de cómo se va desarrollando el proceso de enseñanza – aprendizaje, con el fin de reajustar – si fuera necesario - la actuación docente y los aprendizajes de los alumnos/as, en función de la información obtenida.

Asimismo, Carvajal (2000), expone que la evaluación de los aprendizajes se concibe como un proceso interactivo de valoración continua, que permite recoger y analizar evidencias sobre experiencias previas y los alcances progresivos de los alumnos en relación con las competencias de grado derivadas de los objetivos de la Etapa, tomando en cuenta las condiciones en que se realiza el aprendizaje, el desarrollo evolutivo del aprendiz y los criterios e indicadores que permitan establecer la distancia entre lo planificado y lo alcanzado por lo alumnos, para propiciar la toma de decisiones consensuadas y orientar, retroalimentar y mejorar el proceso de enseñar y aprender.

Partiendo de los conceptos anteriormente expuestos, esta forma de entender la evaluación conlleva a perfilarla con un conjunto de calificativos que ofrece el Ex - Ministro Cárdenas en sus 07 Cuadernos para la Reforma Educativa Venezolana (1997), en uno de ellos, ofrece principios y criterios sobre cómo debe ser planteada y desarrollada la evaluación en el aula, los cuales se detallan textualmente, a continuación:

- Evaluación global e integradora: A través de ella se pretender evaluar todos los componentes de la práctica pedagógica para obtener el mejoramiento continuo de quienes participan en el proceso de enseñanza – aprendizaje.

- Evaluación Continua y procesal: No es una acción terminal que atiende sólo a los resultados obtenidos por los alumnos/as; es una acción continua y permanente que se desarrolla a lo largo de todo el proceso de enseñanza – aprendizaje.

- Evaluación Cualitativa y Criterial: No se apoya fundamentalmente sobre la medición de los resultados del proceso de aprendizajes, sino sobre la valoración de dicho proceso en función de unos criterios previamente establecidos: Valoración de los progresos alcanzados por los alumnos/as, de las dificultades experimentadas, y de las actitudes manifestadas frente al trabajo escolar.

- Evaluación Democrática y Participativa: postula el derecho del alumno/a a expresar sus puntos de vista y sus opiniones en el aula, la escuela y la comunidad educativa, y potencia el valor de la participación y el consenso como formas de transformar y modificar el proceso de enseñanza – aprendizaje.

- Evaluación Constructiva, Orientadora y formativa: Favorece el proceso personal de construcción del saber y promueve recursos adaptados a las diferencias individuales con el fin de evitar conflictos y bloqueos en el aprendizaje y fomentar la formación y el desarrollo personal del alumno/a.

¿A quién, qué y para qué evaluamos?

Siguiendo con las propuestas planteadas en los Cuadernos Para la Reforma Educativa (1997), en el cuaderno correspondiente a los principios y criterios para la evaluación, se destaca el carácter global e integrador de la evaluación del proceso de enseñanza y aprendizaje, donde se plantea desarrollarla en tres ámbitos:

Del Proceso de Aprendizaje protagonizado y experimentado por los alumnos. De la intervención de los profesores como protagonistas del proceso de enseñanza y como mediadores y

planificadores del de aprendizaje. Del centro escolar entendido como el ámbito y la comunidad educativa en el que se desarrollan,

simultáneamente, los procesos de enseñanza y de aprendizaje.

Seguidamente, se concreta el “qué” y el “para qué” se evalúa en cada uno de estos ámbitos:

-La Evaluación de los Aprendizajes en el Estudiante

La evaluación de los aprendizajes se define en el Currículo Básico Nacional (1997), con estos términos:

La evaluación de los aprendizajes es un proceso interactivo de valoración continua de los progresos de los alumnos, fundamentado en objetivos de aprendizaje de etapa y los planteados por los docentes en el proyecto de aula, que toma en cuenta contenidos conceptuales, procedimentales y actitudinales y el nivel de evolución del estudiante.(p.30)

En ese contexto, las finalidades básicas de este proceso de evaluación de acuerdo a lo planteado en este mismo documento, son las siguientes:

Detectar en los alumnos cuáles son sus intereses, actitudes, aptitudes, conocimientos previos, ritmos y estilos de aprendizaje para, a partir de esa información, poder planificar y adecuar el proceso de enseñanza y aprendizaje a sus posibilidades reales e individuales.

Determinar el avance del aprendizaje que van alcanzando los alumnos respecto a su adquisición e interiorización de los contenidos conceptuales, procedimentales y actitudinales desarrollados.

Identificar las limitaciones o dificultades que poseen los alumnos – carencias, incomprensiones, errores, etc.- para poder orientarlos, estimularlos y sugerirles propuestas de acción que les puedan servir para la consolidación de sus logros.

Brindar oportunidades para aprender del acierto y del error y, en general, de la experiencia. Informar a los alumnos sobre sus propios y personales procesos de aprendizaje permitiéndoles así, desde el

autoconocimiento, hacer más positivo y eficaz el esfuerzo en la superación de sus posibles lagunas y dificultades.

Fortalecer la interacción entre el docente y el alumno, que permita el intercambio de ideas sobre el trabajo y la responsabilidad que corresponde a cada uno en el proceso de aprendizaje.

Para el logro de las finalidades que se acaban de exponer, El Nuevo Currículo Básico Nacional (1997), señala que la evaluación ha de constituir un proceso continuo de observación atenta y comprensiva, y de permanente interrogación sobre la realidad observada, que se desarrollará a tres niveles:

Evaluación inicial. Evaluación del proceso de aprendizaje. Evaluación final. Evaluación Inicial o Explorativa

Se realizará como pórtico, siempre que se plantee un nuevo proceso de enseñanza y aprendizaje. Tiene por objeto explorar y obtener información sobre la situación de cada alumno al iniciar el proceso, para adecuarlo a su realidad y a sus posibilidades. (ob. cit.)

En ese sentido, los aspectos claves a explorar u observar serán los siguientes:

Los conocimientos o ideas previos que los alumnos ya tengan adquiridos e interiorizados respecto a la dimensión o dimensiones del aprendizaje que se vaya a desarrollar.

Los errores o carencias básicas detectadas, para corregirlos y superarlos con el fin de garantizar el éxito en el aprendizaje.

Las actitudes o disposiciones manifestadas ante la nueva situación de aprendizaje.

Evaluación del Proceso de Aprendizaje:

Es una evaluación, de carácter formativo y orientador, que va a permitir - en el caso que sea necesario – una permanente corrección del proceso de enseñanza y de aprendizaje a través de la toma de decisiones y de la incorporación de aquellas acciones que se estimen necesarias para estimular y mejorar el rendimientos escolar a todos los niveles. (Ibíd.)

Esta evaluación debe estar estrechamente vinculada con la actividad escolar, y se centrará, básicamente, sobre los siguientes aspectos:

El trabajo concreto que van realizando los alumnos y, en particular, las actitudes personales manifestadas frente a él.

Los niveles de participación en las actividades de gran grupo, o en las desarrolladas en pequeños equipos.

Los progresos experimentados, individual y grupalmente, respecto a las competencias y a los criterios de evaluación previamente establecidos.

Las limitaciones o dificultades experimentadas, a lo largo del proceso de aprendizaje; limitaciones o dificultades, que una vez detectadas, van a requerir la planificación y el desarrollo de actividades de orientación y retroalimentación o complementarias.

La Evaluación Final:

Tiene por objeto conocer el grado de aprendizajes adquiridos e interiorizados por cada alumno – conceptos, procedimientos y actitudes – al final del proceso desarrollado. (Ibíd.). Esta evaluación permite:

- Tomar conciencia de los resultados obtenidos y determinar si el alumno ha avanzado en el alcance de competencias.

- Proporcionar una información al alumnado sobre esos resultados para que pueda asumir la responsabilidad que le corresponde en la continuidad del proceso de aprendizaje.

- Planificar o programar actividades de recuperación o de ampliación, según los casos.

Sobre la base de lo anteriormente expuesto, cabe agregar que la aplicación de cada uno de estos niveles de evaluación en los diferentes momentos del aprendizaje debe cumplirse en forma continua y cíclica, ya que cada una proporciona insumos para la re planificación del aprendizaje y por ende, del mejoramiento del mismo. La interrelación existente entre los niveles de evaluación puede observarse en la siguiente figura:

Interrelación entre los Niveles de Evaluación

EVALUACIÓNINICIAL O

DIAGNOSTICA

- Se realiza al inicio del año escolar y de cada bloque de objetivos.

- Detecta las condiciones en que se encuentra el alumno para iniciar cada curso de aprendizaje.

- Sirve de base para planificar el trabajo de aula.

- Proporciona información útil para ayudar al alumno a superar sus deficiencias.

- Su propósito no es calificar.- Se realiza durante el

Fuente: Ministerio de Educación. Programa y Manual del Docente, (1987)

Formas de participación en la Evaluación

De acuerdo a lo que establece el Ministerio de Educación, en su programa y manual del docente de la tercera etapa de educación básica, específicamente en el área de educación para el trabajo; sub-área comercial, (1987); el docente debe promover la participación de los alumnos a través de:

La autoevaluación. La coevaluación. La evaluación externa.

La Autoevaluación:

Es la evaluación que cada alumno hace de su trabajo escolar. Mediante ella, el alumno reconoce sus logros y deficiencias, analiza y considera su actuación individual y en grupo y desarrolla una actitud de autocrítica. (ob. cit.)

La Coevaluación:

Es la evaluación que hacen recíprocamente los alumnos de la actuación de cada uno y del grupo como un todo. Esta evaluación incluye también al docente. (Ibíd.)

La coevaluación permite:

Determinar los logros personales y grupales. Poner en práctica la convivencia en grupo. Asumir actitudes y expresar opiniones como resultado de la reflexión y la crítica ante las diferentes situaciones

de aprendizaje. Aportar soluciones para el mejoramiento individual y colectivo.

En este orden de ideas, el programa y manual del docente anteriormente citado, ofrece al docente una serie de sugerencias que debe tomar en cuenta durante la realización de la autoevaluación y coevaluación, las cuales se describen a continuación:

Dé oportunidades para que todos los alumnos expresen sus opiniones. Oriente a los alumnos, para que expresen el por qué de sus respuestas. Dé el estímulo respectivo con el propósito de incentivar el aprendizaje. Corrija las deficiencias.

EVALUACIÓNINICIAL O

DIAGNOSTICA

- Se realiza al inicio del año escolar y de cada bloque de objetivos.

- Detecta las condiciones en que se encuentra el alumno para iniciar cada curso de aprendizaje.

- Sirve de base para planificar el trabajo de aula.

- Proporciona información útil para ayudar al alumno a superar sus deficiencias.

- Su propósito no es calificar.- Se realiza durante el

EVALUACIÓN FINAL O SUMATIVA

- Se realiza al finalizar una unidad, bloque de objetivos, un lapso o curso completo.

- Proporciona información a los alumnos y representantes acerca de los objetivos alcanzados al final de un lapso o del curso.

- Sirve de base para la toma de decisiones en cuanto a promoción y repitencia.

- Determina la efectividad del proceso de aprendizaje.

- Su propósito es calificar y certificar.

Evaluación del Proceso de Aprendizaje o

Formativa

- Sirve de apoyo al docente y al alumno para superar las deficiencias y orientar las actividades hacia el logro de los objetivos.

- Permite el seguimiento del proceso de aprendizaje.

- Proporciona información sobre el progreso del alumno.

- Se realiza cada vez que el docente lo considera

Oriente a los alumnos para que no se subestimen o sobreestimen, sino, que sean justos en sus apreciaciones.

Dadas las consideraciones anteriores, es evidente entonces que la autoevaluación y la co-evaluación no deben confundirse con la asignación de calificaciones por parte de los alumnos, ya que el propósito de éstas es formar y no calificar. Los resultados servirán para orientar el proceso de aprendizaje. No se tomarán en cuenta para calificar cuantitativamente al alumno. No obstante, tanto el docente como el alumno (de acuerdo con el grado), deben llevar un registro de estas actividades.

Evaluación de los Rasgos de la Personalidad

Según el programa y el manual del docente elaborado por el Ministerio de Educación (1987), el sistema exige que se valoren, además de los aspectos cognoscitivos, otros rasgos de la actuación general del alumno que de una u otra forma influyen en su rendimiento.

La resolución que contempla las normas para la evaluación de los diferentes niveles del sistema educativo señala que deben considerarse por lo menos tres de los siguientes rasgos de la personalidad: Responsabilidad, hábitos de trabajo y salud, presentación personal y cortesía, creatividad e iniciativa y confianza en sí mismo. Estos aspectos están íntimamente relacionados y para observarlos, el docente debe tomar en cuenta ciertos indicadores o manifestaciones de la conducta, tal como se ejemplifican en los cuadros siguientes:

Rasgos de

PersonalidadIndicadores

Responsabilidad

Puntualidad en la asistencia a las diferentes actividades escolares.

Puntualidad en la entrega de trabajos.

Cumplimiento de asignaciones.

Otros.

Hábitos de Trabajo y Salud.

Planificación del trabajo.

Cumplimiento de instrucciones.

Actitud ante el trabajo asignado.

Orden y pulcritud en el desarrollo de los trabajos presentados.

Aseo del cuerpo y del vestido.

Hábitos higiénicos.

Uso del tiempo y de los recursos.

Presentación Personal y Cortesía.

Modales.

Vocabulario utilizado para expresarse.

Actitud ante sus compañeros y profesores.

Apariencia persona.

Convivencia.

Creatividad e Iniciativa

Curiosidad por la investigación.

Adaptación a situaciones nuevas.

Expresión de respuestas no comunes a situaciones problemáticas.

Capacidad de análisis.

Fluidez en la expresión de las ideas.

Reelaboración de ideas y conceptos.

Preocupación ante situaciones presentadas.

Combinación de elementos para llegar a un todo.

Creación de historias.

Originalidad en sus trabajos.

Capacidad en la organización de proyectos, diseños, etc.

Práctica de nuevas ideas.

Confianza en si mismo

Aceptación de Responsabilidades.

Manifestación de seguridad en sus actos.

Demostración de autodominio.

Perseverancia.

Firmeza en sus opiniones.

Fuente: Ministerio de Educación. Programa y Manual del Docente, (1987)

De los anteriores planteamientos se deduce que para evaluar los aspectos de la actuación general del alumno, el docente debe observar y registrar en una lista de cotejo u otro instrumento apropiado, las manifestaciones de la conducta que permitan apreciar estos rasgos. Asimismo, deberá promover situaciones para que estos aspectos puedan presentarse y de esta forma facilitar sus observaciones. La evaluación de estos rasgos será considerada dentro de la evaluación continua.

Plan de Evaluación

El docente debe planificar la evaluación diagnóstica, formativa y sumativa mediante un plan de evaluación, a fin de relacionar los objetivos a evaluar con las técnicas e instrumentos a utilizar, los momentos en los cuales realizará dicha evaluación, y el peso o ponderación que le dará a cada uno de los objetivos. (ob. cit.).

Para elaborar el plan de evaluación se sugieren los siguientes pasos:

Analizar los objetivos del programa. Seleccionar la(s) técnica(s) e instrumento(s) apropiado(s) para evaluar las conductas establecidas en los

objetivos.

Prever los momentos en los cuales realizará la evaluación. Ponderar los objetivos cuando la evaluación requiera calificación. Se ponderará de acuerdo con la importancia,

nivel y grado de dificultad del objetivo. Técnicas e Instrumentos de Evaluación

La efectividad de la evaluación depende, entre otros aspectos, de la adecuada selección que haga el docente de las técnicas e instrumentos, que le permitan obtener una información válida y confiable acerca del rendimiento del alumno. (Ibíd.)

Un instrumento es válido cuando mide lo que se propone medir y confiable, cuando aplicado en diferentes oportunidades se obtienen resultados similares. El docente deberá seleccionar aquellos instrumentos que resulten apropiados para evaluar cada objetivo o grupo de objetivos.

Las técnicas se refieren al “cómo” evaluar y los instrumentos al “con qué” evaluar.

El siguiente cuadro muestra las técnicas e instrumentos más usados:

Fuente: Ministerio de Educación. Programa y Manual del Docente, (1987)

La Técnica de las Pruebas

Para el programa y manual del docente, las pruebas constituyen un instrumento valioso de medición del aprendizaje. Las pruebas pueden ser: Objetivas, de ensayo, prácticas y orales, las cuales se describen seguidamente:

Pruebas Objetivas

Técnicas Instrumentos

Pruebas

Objetivas

Ensayo

Prácticas

Orales

Observación

Escala de Estimación

Lista de cotejo.

Registro de hechos significativos.

Entrevistas

Cuestionarios

Guía de entrevistas.

Cuestionarios.

Inventarios.

Escalas de Actitud.

Según Fermín (2001), “es un instrumento evaluativo mediante el cual el alumno responde a un conjunto de reactivos referidos a determinar objetivos de aprendizaje a fin de verificar y demostrar el dominio o logro de los mismos” (p. 89), presentan las siguientes características:

Las preguntas son altamente estructuradas con planteamientos muy concretos y opciones fijas. Las respuestas que los alumnos suministren no requieren de elaboración, sino sólo de señalamiento o mención

al seleccionar las respuestas correctas entre varias opciones dadas. Las pruebas pueden ser corregidas y calificadas sin hacer uso de la apreciación personal del calificador.

Pruebas de Ensayo

El programa y manual del docente (1987), señala que son “pruebas escritas que se utilizan para medir objetivos de aprendizaje que no pueden medirse con los elementos de una prueba objetiva” (p. 75). Se utilizan cuando se desea medir aprendizajes complejos contenidos en objetivos referidos a producción, selección, organización, integración, relación y evaluación de ideas. En tal sentido, el docente utilizará la prueba de ensayo para que el alumno, exprese sus ideas, analice hechos y situaciones, emita opiniones, elabore conclusiones, etc. Presenta las siguientes características:

Los alumnos tienen libertad para elaborar sus respuestas. (Ejemplo: Proponga argumentos a favor o en contra al uso de drogas).

El número de preguntas es reducido. (Ejemplo: Enumere las ventajas de las pruebas tipo ensayo).

No existe un modelo exacto para evaluar las respuestas.

En este mismo orden de ideas, Fermín (2001), señala que estas pruebas exigen la utilización de preguntas que miden sólo resultados complejos del aprendizaje. Asimismo, recomienda evitar la ambigüedad al momento de su diseño, sugiere delimitar el alcance deseado, eliminar las preguntas opcionales, calcular previamente la duración aproximada de la prueba y dar instrucciones precisas. (p. 123)

Pruebas Prácticas

Fermín (p. 148), conjuntamente con el Programa y Manual del docente (p. 75), coinciden en que este instrumento es una prueba escrita que presenta las siguientes características:

Evaluar el hacer, de tal manera que el alumno demuestre su capacidad en la realización de actividades propuestas en las áreas o asignaturas de carácter práctico.

Se efectúan en condiciones reales o simuladas.

Son útiles para evaluar el rendimiento escolar en áreas tales como: Educación para el trabajo, ciencias naturales, educación artística.

Permiten evaluar objetivos correspondientes al nivel de aplicación y ejecución del producto final.

Requieren una cuidadosa preparación, ya que en muchos casos se necesitan recursos materiales y espacios físicos adecuados, tales como maquinarias, instrumentos especiales, gimnasios, laboratorios.

Requieren de la observación y por ende del uso de instrumentos tales como lista de cotejo, escala de estimación, guías prácticas y otros.

Pruebas orales

Son pruebas que presentan las siguientes características: Son de carácter individual.

Exigen la presencia física tanto del evaluador como del evaluado, a fin de establecer una comunicación oral y directa.

Existe un número pequeño de preguntas o ítems. Se usan para evaluar aspectos que no tienen otra forma de evaluación tales como: Dicción, pronunciación, pausas para atender a los signos de puntuación, entonación, al realizar una lectura. Dominio de vocabulario, pronunciación y comprensión del lenguaje hablado en idiomas extranjeros. Apreciar la capacidad para intervenir en discusiones del grupo. Para hacer las interrogaciones diarias a fin de determinar el avance de los alumnos.

La Técnica de la Observación

Fermín (2001), define la observación como la “técnica de evaluación que consiste en percibir, reconocer y notar hechos relacionados con la conducta a evaluar”. (p. 153)

Como técnica al servicio de la evaluación, resulta oportuno agregar que la observación ha de referirse al conocimiento del alumno, del proceso de aprendizaje y al resultado del mismo. Puede ser utilizada en aquellos objetivos que no son susceptibles de ser evaluados mediante pruebas objetivas o de ensayo.

Este autor señala que para la realización de una buena observación, es necesario determinar claramente qué es lo que se va a observar y con qué propósito, determinar de manera detallada qué aspectos se van a observar y establecer en qué forma, condiciones y cuándo se va a realizar el registro de las observaciones. Para ello, se señalan a continuación los instrumentos de observación más útiles para el docente:

Escala de estimación: Es un instrumento que contiene un conjunto de características que van a ser evaluadas mediante algún tipo de escala para indicar el grado en que cada una de éstas está presente. Debe ser construido de acuerdo con las conductas a ser evaluadas y debe usarse cuando hay suficiente oportunidad de realizar la observación que se desea. (ob. cit.)

Lista de cotejo: Es un instrumento similar, en apariencia y en la forma de usarlo, a la escala de estimación. La diferencia fundamental consiste en que la escala de estimación indica el grado en el que la característica está presente o la frecuencia con la cual ocurre un hecho, mientras que la lista de cotejo sólo permite un juicio de sí o no, es decir; si las características se encuentran presentes o ausentes o si una acción ha tenido lugar o no. Es muy útil para evaluar aquellos procedimientos que están divididos en una serie de acciones claramente definidas. (Ibíd.)

Registro de hechos significativos: son anotaciones de anécdotas, acontecimientos o hechos relevantes que el docente ha observado en la vida de los alumnos. Cada hecho debe anotarse al poco tiempo de ocurrido para evitar distorsiones de la memoria. Un buen registro de hechos significativos describe objetivamente cada suceso sin establecer ningún tipo de interpretación del significado de la conducta del alumno. Es utilizado frecuentemente en el área de ajuste de la conducta social del alumno. (Ibíd.)

La Técnica de la Entrevista

El programa y manual del docente (1987), afirma enfáticamente que la entrevista es una técnica y no un instrumento, la define como “un tipo de cuestionario verbal donde el alumno no escribe las respuestas, sino que proporciona verbalmente la información necesaria” (p. 76). Utilizando la entrevista se puede obtener información de tipo afectivo y de carácter personal. Las entrevistas son especialmente útiles para conocer características que cambian rápidamente, tales como intereses, opiniones, actitudes, etc.

Asimismo, señala que previa a la utilización de la técnica de la entrevista, es necesario elaborar una guía o plan de entrevista. Señala que si la entrevista es informal o muy corta, no es necesario que esta guía se haga por escrito. De lo contrario; esta guía debe contener entre otros aspectos, los siguientes elementos: Un enunciado del propósito de la entrevista, a quién se va a entrevistar, cuándo y dónde, orientaciones para “romper el hielo” y un conjunto de preguntas cortas, expresadas en forma sencilla. (Ibíd.)

La Técnica del Cuestionario

Esta técnica se utiliza para obtener opiniones y conocer actitudes, por lo tanto no existen “respuestas correctas”. Toda respuesta es aceptable porque refleja una opinión o actitud de la persona que la emite.

El cuestionario “consiste en una lista de preguntas escritas que pueden ser respondidas sistemáticamente” (p. 77). Cuando se elabora un cuestionario se debe especificar: Sobre qué tema se recogen las opiniones, a quién se le aplica el cuestionario y el tipo de información que se desea obtener. Las preguntas deben ser claras y precisas y deben ser adecuadas al nivel de las personas que van a responderlas. (ob.cit.)

En el marco de las observaciones anteriores, es preciso acotar que los cuestionarios que resultan más útiles para los docentes son:

El inventario: es un medio para conocer los gustos, los intereses y las percepciones de los alumnos. Para construir un inventario se hace una lista de opiniones, intereses, gustos, etc., y se pide al alumno que indique aquellas que son representativas de sus propios gustos o inclinaciones. (Ibíd.)

Escala de actitud: Es un instrumento que tiene como finalidad conocer lo que un individuo siente o su disposición de ánimo, es decir, su actitud. Mediante la formulación de preguntas el docente obtiene una muestra de las opiniones del alumno y a partir de ellas puede deducir su actitud o sentimientos. (Ibid.)

ACTIVIDADES:

ELABORA UN PLAN DE EVALUACION, UTILIZA LOS PASOS SUGERIDOS:

ANALIZAR LOS OBJETIVOS DEL PROGRAMA. SELECCIONAR LA(S) TÉCNICA(S) E INSTRUMENTO(S) APROPIADO(S) PARA EVALUAR LAS

CONDUCTAS ESTABLECIDAS EN LOS OBJETIVOS. PREVER LOS MOMENTOS EN LOS CUALES REALIZARÁ LA EVALUACIÓN. PONDERAR LOS OBJETIVOS CUANDO LA EVALUACIÓN REQUIERA CALIFICACIÓN. SE PONDERARÁ

DE ACUERDO CON LA IMPORTANCIA, NIVEL Y GRADO DE DIFICULTAD DEL OBJETIVO. TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN

2.7.3. JUICIO

El término evaluación incluye varias acepciones que se suelen identificar con fines diferentes, como: valorar, enjuiciar, controlar, fiscalizar, etc. Algunas de ellas acarrean, incluso, ciertas connotaciones socialmente negativas.

En términos generales, la evaluación es un "proceso de análisis estructurado y reflexivo, que permite comprender la naturaleza del objeto de estudio y emitir juicios de valor sobre el mismo, proporcionando información para ayudar a mejorar y ajustar la acción educativa" (Ruiz, 1996:18).

La evaluación es un concepto polisémico, puesto que la definición dependerá de la perspectiva teórica desde donde se enuncie.

* La evaluación como JUICIO, que es la determinación de un juicio de valor sobre la calidad de un objeto o proceso educativo.

* La evaluación como MEDICION, que es la asignación de números que permitan expresar en términos cuantitativos el grado en que el alumno posee determinados dominios.

* La evaluación como LOGRO DE OBJETIVOS, que es la determinación del grado de logro de un objetivo propuesto con anticipación.

* La evaluación como TOMA DE DECISIONES, que es el proceso de determinación del valor y/o mérito de un sistema, programa, producto o procedimiento educativo, que incluye la obtención de informaciones y la definición de criterios para juzgar su valía y tomar una decisión.

* La evaluación como INFORMACIÓN, que es la voluntad de aportar informaciones útiles al alumno para sus aprendizajes.

Desde esta perspectiva la evaluación resulta un proceso influido por los restantes elementos del proceso educativo global y, además, es esencialmente distinta a la medición. Se puede comprender mejor la diferencia en la comparación que establece José Ruiz de la Universidad Complutense de Madrid-España (1996:18).

Ventajas y Desventajas de las acepciones evaluativas:

Evaluación como VENTAJAS DESVENTAJAS MEDICIÓN

Carácter científico.Reducción de resultados a indicadores estadísticos manipulables.Objetividad y credibilidad de los resultados.Alta comparabilidad, réplica y generalización de los resultados.Instrumentos inapropiados.Imposibilidad de medir determinadas conductas.Atributos medibles, muchas veces, irrelevantes.

Instrumentos inapropiados.Imposibilidad de medir determinadas conductas.Atributos medibles, muchas veces, irrelevantes

JUICIO Inmediatez de los resultados.Fácil implementación.Utilización de procedimientos evaluativos simples.Reconoce la calidad de experto al evaluador.

Subjetividad del juicio por diversidad de criterios.Complejidad de las preguntas, difícil de graduar.Influencia de factores ajenos al aprendizaje.Resultados no replicables ni comparables.

DIFERENCIAS ENTRE LA MEDICIÓN Y LA EVALUACIÓN

MEDICIÓN EVALUACIÓN

Expresa un valor absoluto. Expresa un juicio de valor relativo. Es un momento estanco; no procesual. Es un proceso dinámico Está subsumida en la evaluación. Subsume a la medición, siendo más extensiva No implica evaluación. Implica, entre otros procedimientos, a la medición Constituye un medio para valorar. Es la valoración misma Es, simplemente, un medio para obtener datos. Compara los datos con los resultados previstos.

Los resultados reportados por la medición (dentro del proceso de evaluación) deben ser interpretados a la luz de un marco referencial. En esta línea se sitúa Santos Guerra (1990:45), cuando al presentar la dimensión etnográfica de la evaluación institucional define que: “Para mejorar la práctica es necesario conocerla en profundidad. Reconstruir la realidad desde una perspectiva crítica no sólo supone su contemplación aséptica y su descripción rigurosa. Es necesario interpretarla, saber dónde están las raíces delos comportamientos, las causas de las actuaciones, los efectos del desarrollo curricular (tanto explícito como oculto)".El marco referencial con el que debe confrontarse la información recogida, estará constituido fundamentalmente por la naturaleza de la institución o programa a ser evaluado, sus objetivos y las necesidades y urgencias sociales. Si ha de evaluarse una Universidad o un programa de ella no puede dejar de tomarse en cuenta los fines últimos de una institución de educación superior: la formación de profesionales

debidamente capacitados, el desarrollo y difusión de ciencia y tecnología y la atención oportuna de su responsabilidad social. Tener en cuenta esto es importante para no caer en una visión empresarial o "eficientista" dela evaluación, preocupada sólo por el uso eficiente de los recursos olvidando la dimensión pedagógica que ha de estar en primer lugar.

4De la confrontación de la información con el marco referencial surgirá un juicio de valor sobre la calidad de la realidad evaluada. El concepto "calidad" es siempre un concepto abstracto y relativo; es decir, calidad en relación con…Conceptos relacionados

CALIDAD: concepto abstracto y relativo (de carácter comparativo) como ya se expresó. Es multidimensional, por la pluralidad de sus componentes. El mejoramiento de la calidad no es unilineal, viene definido desde muchas direcciones.

EFICIENCIA: uso óptimo de los recursos, con el fin de conseguir que los procesos conduzcan al logro de los objetivos. Puede ser de orden administrativo, referido a los recursos humanos, financieros, etc. Y pedagógico, referida a los medios operativos para el desarrollo curricular.

EFICACIA: correspondencia entre los objetivos logrados por una institución o programa, con las necesidades, expectativas y demandas sociales. La eficacia se puede manifestar por el grado de adecuación de la institución o programa, por el costo-efectividad o por el costo-beneficio de sus productos.

EFECTIVIDAD: la congruencia que existe entre lo planificado y lo logrado por la institución o programa. Se expresa a través de las metas explícitas, el cumplimiento de las mismas y el logro de los aprendizajes.

CRITERIO: principio valorativo que regula las manifestaciones del objeto dela evaluación. Esas manifestaciones se presentan en varias dimensiones: eficiencia, eficacia, relevancia y efectividad, entre otras.

RELEVANCIA: reflejo de los fines de la institución o del programa. Se refiere al "para qué se educa". La dimensión del criterio de relevancia se manifiesta a través de la pertinencia, el impacto y la oportunidad con las que la institución o programa afectan al contexto en que se insertan.

INDICADOR: manifestación o traducción de una cualidad o propiedad del objeto de la evaluación. Los indicadores pueden ser cualitativos o cuantitativos. Los indicadores cuantitativos, cuando señalan una relación, se expresan en índices.

ÍNDICE: la expresión numérica que representa una relación de dos características de una población. Ej.: 5PARÁMETRO: Unidad de medida de los atributos del objeto de evaluación. Para comparar los atributos con el

parámetro se recurre a instrumentos de recolección de información. INSTRUMENTO: se constituye en el medio de recolección de información. ESTÁNDAR: el parámetro mínimo exigido para considerar satisfactorio el logro alcanzado por el objeto de la

evaluación.

LOS JUICIOS DE VALOR

La relevancia será juzgada a través de los criterios de pertinencia, impacto y oportunidad. La efectividad, referida a la congruencia entre lo planificado y los logros obtenidos deberá tener en cuenta las metas explícitas y el cumplimiento detales metas. La eficacia dice relación entre los objetivos logrados y las necesidades y demandas sociales. La eficiencia está referida a criterios del óptimo uso de los recursos, buscando calificar tanto la eficiencia administrativa como la pedagógica en la productividad y rendimiento. Los juicios de valor acerca de la calidad están orientados a la toma de decisiones institucionales para el mejoramiento y fortalecimiento de la institución o programa evaluados. Así, la evaluación nunca debe penalizar ni generar exclusiones, sino ser un punto de partida para la formulación de acciones institucionales que permitan el reordenamiento de áreas específicas del quehacer académico.

ACTIVIDADES:

DE ACUERDO A LO LEÍDO EN EL PÁRRAFO ANTERIOR, ESCRIBE COMO DETERMINAS LOS JUICIOS DE VALOR AL EVALUAR A: UN ALUMNO, UN DOCENTE Y UNA INSTITUCIÓN.

2.7.4. RESULTADO DE INTERACCIONES.

Evaluación puede conceptualizarse como un proceso dinámico, continuo y sistemático, enfocado hacia los cambios de las conductas y

rendimientos, mediante el cual verificamos los logros adquiridos en función de los objetivos propuestos.

La Evaluación adquiere sentido en la medida que comprueba la eficacia y posibilita el perfeccionamiento de la acción docente.

Lo que destaca un elemento clave de la concepción actual de la evaluación: no evaluar por evaluar, sino para mejorar los programas, la organización de las tareas y la transferencia a una más eficiente selección metodológica.

La Evaluación en el ámbito educativo

Hoy, la enseñanza está al servicio de la educación, y por lo tanto, deja de ser objetivo central de los programas la simple transmisión de información y conocimientos. Existiendo una necesidad de un cuidado mayor del proceso formativo, en donde la capacitación del alumnado está centrada en el autoaprendizaje, como proceso de desarrollo personal. Bajo la perspectiva educativa, la evaluación debe adquirir una nueva dimensión, con la necesidad de personalizar y diferenciar la labor docente.

Cada alumno es un ser único, es una realidad en desarrollo y cambiante en razón de sus circunstancias personales y sociales. Un modelo educativo moderno contemporiza la atención al individuo, junto con los objetivos y las exigencias sociales.

Las deficiencias del sistema tradicional de evaluación, han desformado el sistema educativo, ya que dada la importancia concedida al resultado, el alumno justifica al proceso educativo como una forma de alcanzar el mismo.

La evaluación debe permitir la adaptación de los programas educativos a las características individuales del alumno, detectar sus puntos débiles para poder corregirlos y tener un conocimiento cabal de cada uno.

No puede ser reducida a una simple cuestión metodológica, a una simple "técnica" educativa, ya que su incidencia excediendo lo pedagógico para incidir sobre lo social.

No tiene sentido por si misma, sino como resultante del conjunto de relaciones entre los objetivos, los métodos, el modelo pedagógico, los alumnos, la sociedad, el docente, etc. Cumpliendo así una función en la regulación y el control del sistema educativo, en la relación de los alumnos con el conocimiento, de los profesores con los alumnos, de los alumnos entre sí, de los docentes y la familia, etc.

La modificación de las estrategias de evaluación puede contribuir, junto con otros medios, a avances en la democratización real de la enseñanza

ACTIVIDADES:

DE ACUERDO AL TEXTO ANTERIOR, CÓMO SE DA LA EVALUACIÓN COMO PROCESO DE INTERACCION. MENCIONA UN EJEMPLO.

2.8 EVALUACIÓN POR OBJETIVOS Y POR PRUEBAS.

1.- EVALUACIÓN POR OBJETIVOS

La evaluación por objetivos, de contenidos (formas de saber) y métodos (formas de hacer), recibe diversos nombres y entre otros los siguientes: evaluación por capacidades, evaluación formativo – sumativa, evaluación sumativa, evaluación criterial,... El trasfondo es este: se trata de evaluar cuantitativamente los contenidos y los métodos en función de los objetivos. Pero esto sólo es posible con un diseño adecuado de las actividades del aula. Si se realizan actividades para aprender contenidos se podrán evaluar los contenidos, que de hecho actúan como objetivos, y si se realizan actividades para aprender métodos se podrán evaluar métodos, que en la práctica actúan también como objetivos.

La evaluación de contenidos y métodos en función de los objetivos pasa necesariamente por la consideración de las actividades como estrategias de aprendizaje orientadas al desarrollo de capacidades por medio de contenidos y métodos. De este modo se pueden evaluar los contenidos y los métodos (que son medibles y cuantificables) en función de los objetivos.

La construcción de las pruebas de evaluación por objetivos o por capacidades utiliza la misma técnica que las actividades como estrategias de aprendizaje y se elaboran siempre de la misma manera: destreza + contenido + método. A modo de ejemplo indicamos la siguiente prueba de evaluación: sitúa y localiza (destrezas) la invención de la máquina de vapor y su expansión inicial (contenido) elaborando un mapa geográfico y otro histórico (método). En la obra Diseños Curriculares de Aula: un modelo de aprendizaje - enseñanza (Román y Díez, 2001) existen numerosos ejemplos de este tipo de evaluación. Este modelo de evaluación por objetivos es el que se utiliza en las Pruebas Internacionales de evaluación llevadas a cabo por la OCDE en el denominado Proyecto de Evaluación Pisa.

Esta forma de evaluación ya planteada correctamente por las Reformas Educativas de finales del siglo XX resultó inviable porque se empeñaron en hacer actividades para aprender contenidos y no para desarrollar capacidades, con lo cual se quedó en una buena idea, irrealizable en la práctica: la evaluación por capacidades es inviable cuando se hacen actividades sólo para aprender contenidos.

Sin embargo en la sociedad del conocimiento resulta fundamental, ya que ésta demanda a la escuela la realización de actividades para desarrollar capacidades (herramientas mentales) por medio de contenidos (sistémicos, sintéticos y aplicables a la vida cotidiana) y métodos entendidos como procesos y habilidades. De otro modo la evaluación por capacidades (por objetivos) puede impulsar claramente la Refundación de la Escuela en el marco de la sociedad del conocimiento.

CAPACIDAD: EXPRESIÓN ORAL Y ESCRITA

1. Uso correcto de la dicción en los niveles de lenguaje verbal: estructura del lenguaje verbal, sonidos y fonemas, fonemas y letras (vocales y consonantes), a través del análisis e interpretación de textos orales de carácter formal en la variedad estándar (discursos, conferencias e interpretación).

2. Uso correcto de la ortografía y puntuación en la redacción de un trabajo, la presentación y revisión del mismo (procesador de textos), mediante la utilización de un léxico preciso y abundante.

3. Redacción correcta, mediante la construcción de textos escritos ciñéndolos a una intención y manifestando cohesión en el desarrollo temático, a partir del ensayo como género (su topología y estructura y sus formas lingüísticas).

4. A través del análisis de obras literarias (una por trimestre) mediante cuestionarios y trabajos de investigación, producir textos literarios acerca de la narrativa de Neruda.

5. Desarrollo de la fluidez verbal al tratar sobre los medios de comunicación social (prensa, radio y televisión) a través de la clasificación de cualquier tipo de palabras, la descripción de sus componentes y el establecimiento de sus rasgos semánticos.

6. Desarrollo de un coloquio acerca de la literatura desde los años 60 hasta la actualidad: la narrativa de Vargas Llosa, la lírica, la evolución de la poesía social y el teatro, mediante el comentario crítico de textos escritos.

Gráfico 1: Evaluación por objetivos de Lengua y Literatura

(3º de Educación Secundaria): Capacidad de expresión oral y escrita.

La evaluación de objetivos y por objetivos es fundamental en la sociedad del conocimiento ya que ésta pretende desarrollar y evaluar capacidades como herramientas mentales, junto con contenidos sintéticos y sistémicos y también habilidades como métodos o contenidos aplicados (destrezas + contenidos + métodos). Al conjunto de estos tres elementos algunos autores los denominan competencias. El Proyecto Pisa de evaluación es un modelo internacional de evaluación por objetivos o por capacidades que integra en cada prueba o item de evaluación destrezas, contenidos y métodos (habilidades).

2.- EVALUACIÓN DE COCIMIENTOS Y DESTREZAS EN EL MARCO DE LA OCDE(PROYECTO PISA): UN MODELO DE EVALUACIÓN POR OBJETIVOS

2.1.- Sentido y ámbito del Proyecto de Evaluación PISA

El Proyecto PISA (Programme for International Student Assesment) de la OCDE (Organización para la Cooperación y el Desarrollo Económico) es una evaluación internacional estandarizada que se aplica al alumnado de 15 años (al finalizar la Educación Secundaria Obligatoria). En este proyecto han participado 32 países en la prueba del año 2000 y 43 en el año 2003. Los resultados obtenidos en la primera evaluación a 32 países (265.000 alumnos) están publicados en los informes Conocimiento y aptitudes para la vida (Knowledge and skills for life) y Aptitudes básicas para el mundo del mañana (Literacy skills for the world of tomorrow). En cada país se han evaluado entre 4.500 y 10.000 alumnos. Los resultados publicados del primer informe abarcan 30 países y 11 más se incluyen en el segundo con un total de 41.

En el Proyecto Pisa se evalúa el rendimiento en tres grandes ámbitos: Lectura, Matemáticas y Ciencias y trata de definir en cada ámbito los conocimientos relevantes y destrezas necesarias para la vida adulta. Se presta especial atención al dominio de los procedimientos (métodos o formas de hacer), a la comprensión de conceptos y a la capacidad para responder a situaciones diferentes dentro de cada campo. El Proyecto Pisa se centra en evaluar que los estudiantes apliquen los conocimientos y las aptitudes (capacidades, destrezas) a las tareas relevantes para su vida futura, más que en la memorización de un tema del conocimiento. La evaluación de las competencias transversales es una parte integral del Proyecto Pisa. En él se presta una especial atención al dominio de los procedimientos, la comprensión de los conceptos y la capacidad para responder a situaciones diferentes dentro de cada campo. En el fondo el proyecto PISA evalúa capacidades – destrezas (herramientas mentales), conocimientos (formas de saber) y métodos – procedimientos (formas de hacer) de cada uno de los ámbitos antes citados. Y esta evaluación se lleva a cabo a partir de situaciones aplicables a la vida cotidiana. También evalúa competencias (capacidades, conocimientos y habilidades – métodos) fundamentales transversales aplicables a todos los ámbitos.

Las técnicas de evaluación son pruebas de papel y lápiz que duran unas dos horas por alumno y ámbito. Los ítems de las pruebas son una combinación de preguntas de elección múltiple y también preguntas que requieren la construcción de respuestas por parte del alumno. Las preguntas se organizan en grupos que se basan en un pasaje que refleja una situación de la vida real. Se incluye un total de 7 horas de preguntas, distribuidas en diversos grupos, respondiendo los alumnos a diferentes combinaciones de las mismas. En cada una de las preguntas subyace una capacidad y consta de una destreza, un contenido y un método. Se trata de un modelo de evaluación por capacidades. A menudo la destreza y método aparecen sólo de manera implícita.

Además los alumnos contestan a un cuestionario sobre su entorno y sus características que tardan en responder unos 20 minutos y que aporta información sobre ellos mismos y su entorno próximo. Los directores de los centros educativos responden a un cuestionario con preguntas sobre su propio centro, que dura unos 30 minutos.

El Proyecto Pisa proporciona información importante sobre los factores relacionados con el nivel de competencia de los estudiantes, incluido el compromiso del estudiante en el proceso de aprendizaje, el género (masculino – femenino) y el entorno familiar y ofrece una visión general de las características de las escuelas (organización de la enseñanza, disponibilidad y administración de recursos,...) que están relacionados con el éxito educativo.

En el Proyecto de evaluación PISA se entiende la formación como un conjunto de capacidades que facilitan a los alumnos de 15 años el tránsito a la vida adulta y su integración y participación en la sociedad. Estas se adquieren no sólo en los centros escolares, sino también por medio de la interacción con los demás miembros de la comunidad. En definitiva se pretende evaluar la alfabetización entendida como un conjunto de competencias necesarias (capacidades, conocimientos básicos y habilidades) para participar activamente en la sociedad, cuyo aprendizaje no acaba nunca y se desarrolla a lo largo de toda la vida.

Los países participantes han sido los siguientes:

Países miembros de la OCDE (28): Australia, Austria, Bélgica, Canadá, Suiza, República checa, Alemania, Dinamarca, España, Finlandia, Francia, Reino Unido, Grecia, Hungría, Irlanda, Islandia, Italia, Japón, Corea, Luxemburgo, México, Países Bajos, Noruega, Nueva Zelanda, Polonia, Portugal, Suecia y Estados Unidos.

Países no miembros de la OCDE (15): Albania, Argentina, Bulgaria, Brasil, Chile, Hong Kong, Indonesia, Israel, Liechtenstein, Latvia, Macedonia, Perú, Rumania, Federación Rusa y Tailandia.

Los motivos fundamentales de este enfoque en este proyecto son los siguientes:

No busca conocimientos específicos que son fungibles y poco duraderos, sino la aplicación de conocimientos generales en la vida adulta y en este sentido asocia conocimientos a destrezas. En lectura las destrezas principales se asocian a la capacidad de desarrollar interpretaciones y reflejar el contenido y las características de los textos. En matemáticas se da mayor importancia a la capacidad del alumno de establecer un razonamiento cuantitativo y representar relaciones e interdependencias en el momento de aplicar las destrezas matemáticas a la vida diaria (más allá de las respuestas típicas de los libros de texto). En ciencias evalúa conceptos generales, tales como el consumo de energía, la biodiversidad y la salud: se trata de aplicar el conocimiento a los temas de debate entre los adultos. En cambio considera que los conocimientos específicos de nombres de plantas y animales resultan menos útiles que la comprensión de grandes temas de actualidad.

Por otro lado, considera que un enfoque centrado en los contenidos curriculares particulares de cada país restringiría la atención sobre elementos comunes curriculares a todos los países. Cada país desea conocer los puntos fuertes y los puntos débiles para favorecer los cambios y la innovación de los sistemas educativos, en comparación con otros países.

Considera además que existen capacidades generales transversales cuyo desarrollo es esencial para los alumnos. Entre estas se encuentran la comunicación, la capacidad de adaptación, la flexibilidad, la solución de problemas y el empleo de las tecnologías de la información. Estas capacidades con sus destrezas requieren un enfoque transversal del curriculum y por ello se consideran competencias transversales, ya que son comunes a todos los ámbitos.

En el Proyecto Pisa subyace un modelo dinámico de aprendizaje a lo largo de toda la vida en el que se van añadiendo nuevos conocimientos y destrezas que son necesarios para la adaptación con éxito a las circunstancias de cada momento. Los estudiantes no pueden aprender en las escuelas todo lo que necesitarán para desenvolverse en la vida como adultos. Lo que deben aprender son los requisitos previos para seguir aprendiendo en el futuro (capacidades como herramientas aplicadas, asociadas a conocimientos básicos). Y ello implica el desarrollo y evaluación de capacidades básicas y fundamentales tales como razonamiento lógico, orientación espacio – temporal, expresión oral y escrita y socialización, asociando a cada capacidad sus destrezas respectivas y los conocimientos pertinentes.

El énfasis de la evaluación está en relación con el capital humano, entendido como “el conocimiento, destrezas y competencias y otros atributos ligados a las personas que son relevantes para el bienestar personal, social y económico” (OCDE). Este capital humano implica por tanto capacidades y destrezas, conocimientos teóricos relevantes y conocimientos aplicados (habilidades). Las competencias suponen una mezcla de todos ellos, lo que implica el desarrollo y la evaluación de aprendizajes funcionales y aplicados a la vida cotidiana.

Capacidades, contenidos y métodos (procesos) del Proyecto Pisa

a.- Capacidades del Proyecto Pisa:

Entre las capacidades comunes en lectura, ciencias y matemáticas se incluyen: la capacidad de aplicar procesos y de utilizar los conocimientos, en una amplia variedad de contextos

El Proyecto Pisa entiende la formación matemática como la capacidad para identificar, comprender e implicarse desde las matemáticas y emitir juicios con fundamento acerca del papel que juegan las matemáticas como elemento necesario para la vida privada, social y laboral, actual y futura de un individuo como ciudadano constructivo, comprometido y capaz de razonar. Considera las matemáticas como “identificación, comprensión y establecimiento del razonamiento matemático y realización de juicios bien fundados sobre el papel de las matemáticas como elemento necesario para la vida cotidiana, actual y futura. Entiende a los ciudadanos como personas constructivas, implicadas y capaces de reflexionar por sí mismos”.

La formación matemática incluye: la capacidad para aplicar conocimientos, destrezas y comprensiones matemáticas en contextos auténticos. Se considera auténtico un contexto si aparece en las experiencias prácticas y reales de los

participantes en situaciones de un mundo real. La parte más importante de la definición matemática es hacer y realizar matemáticas en diversas situaciones. Estas situaciones incluyen la vida personal, la vida escolar, el trabajo, los deportes (o el ocio en general), la comunidad local y la sociedad,... tal y como se encuentran en la vida cotidiana y los contextos científicos. En síntesis las capacidades y destrezas básicas evaluadas en matemáticas son: razonamiento lógico (calcular, operar, representar, inducir, deducir, relacionar, formular, identificar, argumentar, resolución de problemas, analizar,...), orientación espacial (situar, buscar referencias, representar, elaboración y aplicación de mapas mentales,...) y expresión matemática, gráfica y simbólica (graficar, expresión numérica, expresión simbólica, uso de un vocabulario preciso, aplicar estrategias cognitivas y metacognitivas, sacar conclusiones, comprensión y manejo de símbolos,...).

La capacidad lectora incluye la capacidad para leer diversos materiales escolares y materiales de lectura no escolares, incluyendo: la lectura para el uso personal (cartas personales, ficción, biografías,...), para el uso público (documentos oficiales, información pública,...) y para el empleo y la educación (libros de texto,...). La capacidad lectora consiste en la comprensión, el empleo y la reflexión a partir de textos escritos, con el fin de alcanzar las metas propias, desarrollar el conocimiento y el potencial personal y participar en la sociedad. En síntesis las capacidades y destrezas básicas son comprensión y expresión oral y escrita, con las destrezas de vocabulario adecuado, dicción, elaboración de frases y textos, redacción, recuperación de la información e interpretación de la misma, discriminación y evaluación de textos (fondo y forma), análisis de textos, elaboración de esquemas, fluidez mental y verbal, seleccionar y operar con información relevante,...

La formación científica incluye la capacidad para resolver problemas en situaciones del mundo real que puedan afectarnos como individuos (por ej: la utilización de los alimentos y la energía), como miembros de la comunidad local (por ej: el tratamiento del agua o de las centrales generadoras de energía) o como ciudadanos del mundo (por ej: el calentamiento global de la atmósfera, la disminución de la biodiversidad). Los contextos en que la formación científica puede aplicarse incluyen al propio yo y la familia (lo personal), la comunidad (lo público), la vida en el planeta (lo global) y la evolución del conocimiento científico y su influencia sobre las decisiones sociales (la relevancia histórica).

La formación en ciencias consiste en la capacidad de emplear el conocimiento científico para identificar preguntas y obtener conclusiones a partir de pruebas, con el fin de comprender y ayudar a tomar decisiones acerca del mundo natural y de los cambios que la actividad humana produce en él. El Proyecto Pisa literalmente considera las ciencias “como la combinación del conocimiento científico con la obtención de conclusiones, basadas en la evidencia y desarrollo de hipótesis para comprender y ayudar a tomar decisiones sobre el entorno natural y los cambios que éste experimenta por la acción humana”. En síntesis las capacidades y destrezas básicas evaluadas en ciencias son razonamiento lógico, experimentar y expresión científica. Sus destrezas básicas son: identificar y observar, formular hipótesis, secar conclusiones, elaboración e interpretación de tablas y gráficas, inducir y deducir, relacionar y comparar, clasificar y jerarquizar, inferir, predecir y generalizar, aplicar, expresión simbólica,...

b.- Los contenidos en el Proyecto Pisa

Contenidos matemáticos: evalúa fundamentalmente las grandes ideas matemáticas. En cuanto a los contenidos matemáticos selecciona, en una primera fase, las grandes ideas de las matemáticas básicas, tales como cambio y crecimiento, el espacio y la forma. En una segunda fase además se incorporará el azar, el razonamiento cuantitativo, la incertidumbre y las relaciones de dependencia. En las competencias matemáticas (destrezas, contenidos y métodos) estableces tres tipos fundamentales: el desarrollo de procesos, el establecimiento de conexiones, el pensamiento matemático y la generalización. En cuanto a las situaciones de la vida cotidiana evalúa problemas que afectan a los individuos, a las comunidades o al mundo. En síntesis evalúa capacidades – destrezas matemáticas, contenidos matemáticos generales y comunes a todos los países, aplicados a la vida cotidiana (metodología) y todo ello se entiende como competencias matemáticas.

Los contenidos científicos son, entre otros, la estructura y propiedades de la materia, los cambios físicos y químicos, las transformaciones de la energía, las fuerzas y el movimiento, la forma y la función, la biología humana, la biodiversidad o el control genético. Estos conceptos están elegidos de los campos más importantes de la física, la biología, la química,... y aplicados a temas relacionados con las ciencias de la vida y de la salud, las ciencias de la tierra y el medio ambiente y la tecnología.

Los contenidos en lectura son los diferentes tipos de texto: texto continuo, clasificado por el tipo (por ej. descripción, narración, exposición, argumentación e instrucción) y documentos, clasificados en función de su estructura (por ej: impresos, anuncios, convocatorias, diagramas, gráficos o tablas). Supone la lectura e interpretación de diferentes tipos de textos para su aplicación en distintas situaciones, tales como textos de interés personal o textos de interés profesional. Analicemos con más detalle los mismos.

La lectura se evalúa a partir de textos continuos y no continuos: El texto continuo se compone de frases que a su vez se organizan en párrafos y éstos se articulan en secciones, capítulos y libros. La clasificación básica del texto continuo es para propósitos de retórica o de tipos de texto. El texto no continuo (o documentos) se puede caracterizar de dos maneras. La primera consiste en el abordaje de la estructura formal del texto y la otra en clasificar y describir diversos tipos de texto.

Los tipos de texto continuo son formas estándar de organizar los textos en función del contenido o el propósito del autor. Entre ellos se incluye:

§ Narración: Se trata de textos informativos a los que se debe responder a las preguntas cuándo o en qué secuencia.

§ Exposición: Es un tipo de texto en el cual la información que se presenta implica elementos compuestos o concepciones mentales que pueden ser analizados como un todo significativo y con frecuencia responde al cómo.

§ Descripción: La información se refiere a las propiedades de objetos en el espacio y suelen responder a la pregunta qué.

§ Argumentación: Establece relaciones entre los conceptos o entre proposiciones y de ordinario se suele responder a la pregunta por qué.

§ Instrucción (también llamada prescripción): Se trata de un texto que da instrucciones sobre lo que se debe hacer e incluye procesos, reglas, regulaciones y condiciones que especifican determinados comportamientos a realizar.

§ Documento o registro: Se trata de un texto diseñado para estandarizar la información. Se suele distinguir por características muy precisas y un formato muy delimitado.

§ Hipertexto: Se trata de un conjunto de fracciones de texto enlazadas entre sí en forma de unidades que se pueden leer en diferentes secuencias y los lectores pueden seguir varias rutas.

Los textos no continuos están organizados en forma diferente a los textos continuos y por ello para leerlos es necesario utilizar un método diferente. Se trata de un número de anotaciones que comparten algunas propiedades y se pueden clasificar, para ser evaluados, en:

§ Cuadros y gráficas: Son representaciones gráficas de datos, con el propósito de argumentar científicamente o también para presentar información pública numérica y tabulada.

§ Tablas y matrices: Las tablas son matrices de filas y columnas y cada uno de los registros de las mismas comparten propiedades, formando parte de un texto. Generalmente las tablas incluyen horarios, hojas de cálculo, formatos de órdenes e índices.

§ Diagramas: Se trata de ilustraciones que acompañan a un texto con fines explicativos o instructivos (ej: cómo se pone en marcha un electrodoméstico y los pasos a dar). Existen diagramas de procedimiento (cómo hacer) y diagramas de proceso (cómo funciona).

§ Mapas: Son textos no continuos que indican relaciones geográficas de diferentes lugares. Existen diversos tipos de mapas y entre los más representativos podemos citar los de carreteras y los mapas conceptuales o temáticos.

§ Formas: Son textos estructurados que piden respuestas a preguntas específicas de forma específica, básicamente para recolectar datos. Suelen ser formularios estructurados, tales como formularios de impuestos, de inmigración, de aplicación, cuestionarios estadísticos,...

§ Hojas de información: Ofrecen información en lugar de pedirla y la estructuran de tal manera para que pueda ser leída fácil y rápidamente por el lector (listas de precios, catálogos,...)

§ Convocatorias y publicidad: Son documentos diseñados que invitan a hacer algo: comprar bienes y servicios, participar en encuentros,... Se pretende persuadir al lector y se le pide atención y acción (anuncios publicitarios, invitaciones,...)

§ Comprobantes: Testimonian que el lector tiene derecho a algo. La información que contienen es suficiente para demostrar ese derecho: facturas, tickets,...

§ Certificados: Manifiestan acuerdos o contratos que requieren una firma o más, de personas autorizadas para testimoniar la verdad: Entre otros podemos citar los certificados de garantía y escolares, los diplomas, los contratos,..

Gráfico 2.- Evaluación de la competencia lectora a partir del texto continuo y no continuo (Proyecto Pisa)

c.- Procesos (métodos y habilidades aplicadas) del Proyecto Pisa:

En matemáticas los procesos más representativos son: La elaboración de modelos, la solución de problemas, divididos en tres clases: aplicación de procedimientos; realización de conexiones e integración para la solución de problemas y matematización; pensamiento matemático y generalización. Pretende desde la construcción de modelos matemáticos o la solución de problemas, el desarrollo de procesos, el establecimiento de conexiones mentales y la generalización. Se trata de aplicar contenidos matemáticos como desarrollo de habilidades matemáticas en situaciones de la vida cotidiana, referidas a problemas que afectan a los individuos o a la comunidad.

En ciencias se incluyen tareas como: reconocimiento de preguntas investigables científicamente, la identificación de la evidencia, la obtención, evaluación y comunicación de conclusiones, y la demostración de la comprensión real de conocimientos científicos. Estas destrezas no dependen de un conjunto predefinido de conocimientos científicos, aunque no pueden aplicarse en ausencia de conocimientos científicos.

En lectura se incluyen como tareas lectoras: la elaboración de una comprensión global, la recuperación de la información específica, la elaboración de una interpretación o la reflexión sobre el contenido y forma del texto. Y ello aplicado a textos de interés personal o profesional. En lectura se evalúan cinco procesos básicos, asociados a la comprensión completa del texto, sea éste continuo o no continuo:

§ Recuperación de la información

§ Formación de una comprensión amplia y general

§ Desarrollo de una interpretación

§ Reflexión y evaluación del contexto del texto

§ Reflexión y / o evaluación de la forma del texto.

Se apoya en el conocimiento externo

Utiliza principalmente la información contenida en el texto

Se enfoca en partes independientes del texto

Recupera información

Se enfoca en las relaciones existentes dentro del texto

Relación entre las partes del texto

Desarrolla una interpretación

Se enfoca en el contenido

Se enfoca en la estructura

Competencia en Lectura

Utiliza principalmente la información contenida en el texto

Se apoya en el conocimiento externo

Se enfoca en partes independientes del texto

Se enfoca en las relaciones existentes dentro del texto

Se enfoca en el contenido

Se enfoca en la estructura

Texto completo

Relación entre las partes del texto

Recupera información

Se forma una comprensión general

Desarrolla una interpretación

Reflexiona sobre y evalúa el contenido del texto

Reflexiona sobre y evalúa la forma del texto

Gráfico 3.- Niveles de competencia lectora (Proyecto Pisa)

2.3.- Resultados del Proyecto Pisa:

El Proyecto Pisa está diseñado para proporcionar cuatros tipos de productos o resultados:

El primer tipo de producto lo constituyen conjuntos de indicadores fundamentales que proporcionan un perfil básico de los conocimientos, destrezas y competencias de los estudiantes de cada país, en función de los distintos grupos sociales. Estos indicadores abarcan la evaluación de los contenidos, los procesos, las actitudes, las conductas y los hábitos imbricados en el contexto de los ámbitos anteriormente indicados (lectura, matemáticas y ciencia). Aporta indicadores promedio de cada país. Esta evaluación se lleva a cabo mediante dos metodologías: escalas estandarizadas aplicadas al conjunto de datos de todos los países, estableciendo diferencias y semejanzas entre los mismos y en segundo lugar se describen los diversos niveles de rendimiento de los diversos alumnos. Así por ejemplo en lengua los niveles se establecen en función de las capacidades de: localizar información, extraer información relevante de los textos, comprender la lógica de los escritos, comprender los mensajes subyacentes, construir una interpretación, ser capaz de elaborar respuestas y reflexiones personales y lectura crítica. En el caso de las ciencias se desarrollan sub-escalas para la física, la química y la biología.

El segundo tipo está constituido por los indicadores contextuales, teles como variables de carácter demográfico, social, económico y educativo. Se evalúan los rendimientos en función de estas variables haciendo especial hincapié en la igualdad de oportunidades para el acceso a la educación y las disparidades del rendimiento en función de las características sociales y económicas de los estudiantes.

El tercer tipo indica las tendencias de los resultados a través del tiempo: se trata de identificar si los resultados mejoran o empeoran con el paso del tiempo. Para ello el Proyecto Pisa se aplica por trienios: se evalúa preferentemente entre 1998 – 2001, la lectura; en el ciclo 2001 – 2004, las matemáticas; y en el ciclo 2004 – 2007, las ciencias.

En cuarto lugar se recopilan una serie de datos para obtener resultados sobre los alumnos y sus características, el contexto del alumno y de la escuela, las prácticas en clase y los rasgos estructurales de la institución educativa, diferencias entre sistemas educativos, diferencias curriculares, diferencias entre status socioeconómico, sexo, recursos invertidos,...

Entre los resultados más representativos (publicados hasta el momento) podemos citar los siguientes:

- Los diez primeros países clasificados en cada uno de estos ámbitos son:

§ Habilidad lectura: Finlandia, Canadá, Australia, Irlanda, Corea, Reino Unido, Japón, Suecia, Austria y Bélgica.

§ Matemáticas: Japón, Corea, Nueva Zelanda, Finlandia, Australia, Canadá, Suiza, Reino Unido, Bélgica y Francia.

§ Ciencias: Corea, Japón, Finlandia, Reino Unido, Canadá, Nueva Zelanda, Australia, Austria, Irlanda y Suecia.

- Los países latinoamericanos participantes han obtenidos los siguientes puestos clasificatorios (en Matemáticas, Ciencias y Lectura):

España (23, 19, 17), Portugal (27, 28, 25), México (30, 30, 29), Argentina (35, 37, 35), Chile (37, 38, 36), Brasil (40, 40, 37) y Perú (41, 41, 41).

Otros resultados a tener en cuenta son:

§ Uno de los factores a tener en cuenta en el proceso de aprendizaje es el entorno socieconómico desfavorable: a mayor nivel de pobreza peores resultados. O dicho de otro modo el nivel de desarrollo económico influye en el resultados.

§ Las mujeres obtienen mejores resultados en lectura que los hombres. En cambio éstos en matemáticas obtienen mejores resultados que las mujeres y en ciencias los resultados son equiparables.

§ Los estudiantes con madres que han terminado educación secundaria tienen mejores resultados en las tres áreas evaluadas que aquellos alumnos cuyas madres no han terminado educación secundaria.

Esta evaluación del Proyecto Pisa ha generado importantes debates nacionales, tanto políticos como profesionales, en los diversos países iberoamericanos por entender que los rendimientos obtenidos han sido bajos o muy bajos. Los medios de comunicación han resaltado de una manera importante esta situación. Las explicaciones causales publicadas han sido en la mayoría de los casos políticas y muy genéricas. No obstante aclaramos que desde el punto de vista técnico y las prácticas profesionales del aula se necesitan análisis curriculares causales más precisos. No obstante diremos que el Proyecto Piso es un buen instrumento para facilitar la transición entre la sociedad industrial y la sociedad del conocimiento. Veamos algunos análisis de tipo periodístico, genérico y político:

§ “Los resultados del PISA 2002 que corroboran los de la UNESCO de 1997 y los nacionales del 2002 señalan inequívocamente que la educación peruana está desahuciada en la cola del mundo... y el gobierno no hace nada. Hace falta que el Ministerio de Educación se apropie del reto, en una situación de emergencia y diseñe las medidas inmediatas, pida facultades especiales para implementarlas y revierta a la vez el terrible deterioro de nuestra educación”. (El Tiempo, León Trathemberg, 10 de Agosto, 2003)

§ “A España se le cayó la cara de vergüenza tras ver los resultados del Proyecto Pisa 2000, la prueba del algodón por la que pasaron 32 países de todos los continentes. Se realizaron 250.000 pruebas a otros tantos chavales de 15 años: la conclusión fue más o menos la siguiente: en habilidad lectora los estudiantes españoles están de la mitad para abajo en los países desarrollados. Nuestro país es adalid de las orejas de burro y de los peores del mundo desarrollado” (El Mundo, Pedro Simón, 6 de Febrero, 2002)

§ “El análisis depurado de los datos de la prueba PISA reveló que la educación chilena posee niveles demasiado altos de incapacidad lectora en sus alumnos, llegando a niveles del 50%. En Brasil y Chile las puntuaciones registradas son también considerablemente bajas en comparación con la mayoría de los países estudiados, ya que más o menos la mitad de los alumnos se sitúan en el nivel uno o por debajo del mismo. Por lo que respecta a la competencia lectora Perú es el país con mayor porcentaje de alumnos situados en este nivel o por debajo del mismo. Otros países con resultados manifiestamente insuficientes fueron Albania, Indonesia, Macedonia, Montenegro,... donde la mitad de los alumnos fueron incapaces de realizar ejercicios de lectura elementales. El nivel uno implica que los estudiantes tienen serias dificultades para utilizar la lectura como un instrumento para ampliar sus conocimientos y destrezas en estas áreas del saber. En cambio el nivel cinco señala que los estudiantes pueden manejar información con los textos que no están familiarizados y deducen qué información es relevante para sus tareas. Este magro desempeño ubica a Chile en los últimos lugares de los 43 evaluados,... con una mínima comprensión lectora. (El Mercurio, Chile, Juan Carlos López, 1 de Julio de 2003)

§ “¿Sorprenden los resultados obtenidos por alumnos peruanos en pruebas de lenguaje?. Es duro reconocerlo pero no deberían sorprendernos si se considera que no se han dado progresos significativos en cuanto a la mejora de la calidad de la educación de los recientes años. Todavía carecemos de una visión respecto de lo que queremos sea el sistema educativo, sus prioridades y las estrategias que debemos emplear. Todavía la educación es una prioridad en campañas electorales, pero rezagada en el momento de asignar recursos. Todavía el sector funciona como una isla en relación con otros sectores sociales, ignorando que variables como los ingresos familiares y el nivel educativo de los

padres de familia tienen una influencia determinante en los resultados académicos de los alumnos. Ciertamente los resultados que más nos preocupan son los relativos a la comprensión lectora que está considerada como la capacidad más importante que deben tener los jóvenes para tener éxito en la vida. Su correlación es muy alta con las posibilidades de conseguir empleo, conservarlo y tener una remuneración mejor,... En el Perú no tomamos conciencia de ello y en cambio gastamos energías en renovaciones constantes de planes de estudio, en la imposición a los docentes de metodologías de enseñanza y de evaluación para las cuales no han sido capacitados. No invertimos tiempo y dinero en lo significativo. Es una llamada de atención no sólo para el Ministerio de Educación que debería aprovechar estos resultados para replantear sus estrategias pedagógicas y las de normatividad y apoyo a los centros educativos. La información sobre los magros resultados académicos debería convertirse en herramienta que oriente a los maestros respecto del tipo de aprendizajes en los que hay que incidir y en los errores que hay que corregir.” (Hugo Díaz, Foro Educativo, 2003)

Es evidente que gran parte de las afirmaciones anteriores son reales y que la escuela y las políticas educativas necesitan profundos cambios y más inversión en capital humano y profesional educativo, pero con una clara orientación hacia la sociedad del conocimiento (no se trata de más de lo mismo, a destiempo). Existen determinados países con grandes inversiones (aún mejorables) en educación (Alemania y España entre otros) pero desorientados en sus políticas educativas y curriculares, con malos resultados en la evaluación del Proyecto Pisa. A menudo se pretende volver a contenidos acumulativos y memorísticos, tras los que se esconde una importante nostalgia profesional. Pero esto crea una escuela selectiva, memorística y enciclopédica para los que tienen capacidades para aprender. Se pretende volver a la escuela de 1960 y esto es un grave error.

Pero el problema de fondo es que la escuela actual se ha quedado vieja desde la perspectiva curricular y necesita una profunda transformación. La sociedad industrial ha demandado una escuela centrada en objetivos – contenidos observables, medibles y cuantificables. Tanto la enseñanza como las actividades del aula han estado centradas en el qué (contenidos), dando poca o ninguna importancia al para qué (capacidades) y al cómo (métodos – habilidades). En cambio el Proyecto Pisa evalúa competencias entendidas como capacidades – destrezas, conocimientos y procesos (métodos - habilidades). Aquellas instituciones centradas sólo en contenidos han tenido (y tendrán) deficientes resultados en los nuevos Proyectos Pisa de Evaluación.

La escuela de la sociedad del conocimiento (y la evaluación de la misma) exige una transición clara y rápida desde la sociedad industrial a la sociedad del conocimiento. El que hace actividades para aprender contenidos evaluará contenidos y puede obtener buenos resultados en los mismos, pero éstos son fungibles, temporales y poco duraderos. El Proyecto Pisa evalúa (en el marco de una nueva sociedad), junto con contenidos selectivos y básicos, capacidades, destrezas y habilidades (herramientas para aprender y seguir aprendiendo). Y ello demanda a la escuela la realización de actividades para desarrollar capacidades por medio de contenidos y métodos.

El Proyecto de evaluación Pisa es un buen indicador y una alarma del envejecimiento de la escuela y su dimensión curricular, en determinados países. No es cuestión de cambios curriculares y de programas oficiales (se han producido demasiados) y de estructuras, sino de adecuados enfoques de los cambios. El curriculum es una herramienta profesional básica para los aprendizajes escolares y éstos, en una nueva sociedad, implican el desarrollo de capacidades (como herramientas mentales) y de contenidos (sistémicos y sintéticos) teóricos y aplicados para producir mentes bien ordenadas. Todo ello demanda a la escuela, desde el curriculum y la evaluación, una reorientación clara y profunda y ello se denomina Refundación de la Escuela. El Proyecto Pisa y sus resultados son una buena manifestación del estado real de esta Refundación.

ACTIVIDADES:

DE ACUERDO A LOS EJEMPLOS DE EVALUACIÓN, DEFINE CUÁLES SON SUS TIPOS Y SU IMPORTANCIA DE ANÁLISIS.

EVALUACIÓN POR PRUEBAS

Una prueba de evaluación es una prueba o un sondeo. Se pueden encontrar pruebas de evaluación en cualquier área de contenido, carpeta de área de contenido o unidad didáctica.

Las pruebas se pueden usar para evaluar el conocimiento de los usuarios. El profesor asigna valores en puntos a las preguntas. Las respuestas del alumno se envían para su calificación y los resultados se pueden registrar en el centro de calificaciones.

Los sondeos se pueden usar con fines de encuestas y evaluaciones. Estas evaluaciones no se califican.

Hay muchos tipos de preguntas que se pueden incluir en una prueba de evaluación.

Varias opciones: Propone un número de opciones con una respuesta correcta. Indique la respuesta correcta seleccionando un botón de radio.

Verdadero / Falso: Una afirmación que presenta la opción de elegir si es verdadera o falsa. Las opciones de respuesta Verdadero/Falso se limitan a las palabras Verdadero y Falso.

Rellenar el espacio en blanco: Una afirmación que requiere una respuesta para completarla. Las respuestas se evalúan según la coincidencia exacta del texto.

Respuesta múltiple: Un número de opciones con una o más respuestas correctas.

Correspondencia: Dos columnas de elementos en las que cada elemento de la primera columna se debe hacer corresponder con un elemento de la segunda columna.

Redacción: Una pregunta cuya respuesta se debe introducir en un cuadro de texto.

Calculada: Contiene una fórmula con varias variables. La respuesta correcta puede ser un valor específico o un intervalo de valores.

Respuesta numérica calculada: Similar a una pregunta para llenar el espacio en blanco excepto que se ingresa un número para completar el enunciado. La respuesta correcta puede ser un número específico o un intervalo de números.

Respuesta de archivo: Los archivos cargados se usan para responder a la pregunta.

Zona activa: Un punto específico en una imagen se usa para indicar la respuesta.

Rellenar los espacios en blanco: Se insertan varias respuestas en una frase o un párrafo.

Oración confusa: Una frase que contiene varias variables en su interior.

Escala de opinión/Likert: Una escala de clasificación que se usa para medir actitudes o reacciones.

Respuesta breve: Similar a preguntas de redacción: la longitud de la respuesta es limitada.

Dos opciones excluyentes: Un enunciado con la posibilidad de elegir entre dos respuestas predefinidas.

Copa de pruebas: Aparece una respuesta; los usuarios responden con quien, que o donde.

Preguntas de calificación

En su mayoría, las preguntas de las pruebas de evaluación son del tipo de auto-calificación, lo que significa que los profesores asignan un número establecido de puntos a cada pregunta cuando se crea la prueba de evaluación. Los usuarios pueden determinar su puntuación en una prueba de evaluación inmediatamente después de terminarla, si todas las preguntas son de auto-calificación.

Las preguntas de redacción y las preguntas de respuesta breve no son de auto-calificación, lo que significa que los profesores deben calificar estas pruebas manualmente. Una vez enviada una prueba de evaluación, el profesor examina estas preguntas e introduce una puntuación manualmente. Si una prueba de evaluación incluye preguntas de estos tipos,

la calificación para la prueba de evaluación no está disponible inmediatamente después del envío de la prueba de evaluación.

Realizar una prueba de evaluación

Las pruebas de evaluación se encuentran dentro de las áreas de contenido del curso. Siga los pasos que figuran a continuación para comenzar a realizar una prueba de evaluación:

Ubique una prueba de evaluación en un área de contenido del curso y haga clic en el vínculo asociado a ella.

Haga clic en Sí para comenzar la prueba de evaluación.

Los profesores pueden escoger que los usuarios introduzcan una contraseña para comenzar a realizar una prueba de evaluación. Si es necesario, introduzca la contraseña válida y seleccione Enviar para comenzar la prueba de evaluación. La prueba de evaluación seguirá solicitando una contraseña válida hasta que se introduzca la correcta.

Si la prueba de evaluación tiene limitación de tiempo, el tiempo restante aparecerá al pie del navegador.

Advertencia: Es muy importante que los usuarios no utilicen el botón Atrás en el navegador de Web al realizar una prueba de evaluación. Esto puede provocar la pérdida de datos.

Comentarios y calificaciones

Los resultados de rendimiento recibidos por el usuario después de pasar una prueba dependen de las opciones seleccionadas por el profesor. Por ejemplo, el profesor puede mostrar solamente la puntuación final para una prueba y, para otra, la puntuación final y las respuestas correctas. Los comentarios incluyen uno o más elementos de los siguientes:

La puntuación final para la prueba Las respuestas que enviaron Las respuestas correctas Comentarios sobre las preguntas

Para acceder a estos comentarios y a información sobre las calificaciones, seleccione la prueba en el área de contenido o utilice la herramienta Herramienta para ver calificaciones

Intentos múltiples de evaluación

Se puede permitir a los usuarios realizar una prueba de evaluación varias veces. Si se permiten varios intentos, se lo indica en la parte superior de la prueba de evaluación. El profesor también puede establecer un límite para el número de intentos, que también se indicará en la parte superior. Si se vuelve a abrir la prueba, se muestra un enlace para volver a hacer la prueba. El profesor determina si se registran una o más puntuaciones de intentos de prueba en el centro de calificaciones.

Aplicar finalización de prueba de evaluación

Los usuarios deben completar la prueba de evaluación la primera vez que se inicia si está activada la opción Aplicar finalización. Si se activa Aplicar finalización, se lo indica en la parte superior de la prueba de evaluación. Los alumnos no pueden salir de la prueba de evaluación y seguir trabajando sobre la misma en una fecha posterior. El botón Guardar está disponible para que los alumnos guarden la prueba de evaluación mientras trabajan en la misma, pero no pueden salir y volver a entrar a la prueba.

No está permitido volver atrás

Los usuarios no pueden volver a las preguntas que ya han respondido si no está permitido volver atrás. Si se prohíbe volver atrás, se lo indica en la parte superior de la prueba de evaluación. Al realizar una prueba de evaluación que no permite volver atrás, aparecerá un error al intentar utilizar el botón Atrás de la prueba de evaluación.

Advertencia: Es muy importante que los usuarios no utilicen el botón Atrás en el navegador de Web al realizar una prueba de evaluación. Esto puede provocar la pérdida de datos.

Presentación de la prueba de evaluación

Los profesores tienen dos posibilidades para presentar las pruebas de evaluación: todas juntas y una por vez.

Las pruebas de evaluación del tipo todas juntas presentan todas las preguntas al mismo tiempo. Al realizar pruebas de evaluación de este tipo, se dispone de las siguientes opciones:

Función Acción

Almacenar respuestas Seleccionar Guardar. Aparece un icono de Guardado. Se puede cambiar las respuestas después de guardarlas.

Finalizar la prueba de evaluación Seleccionar Enviar. Aparece una página de confirmación que indica que la prueba de evaluación se ha completado.

Las pruebas de evaluación del tipo de a una presentan las preguntas por separado; sólo aparece una pregunta en la pantalla. Los usuarios deciden cuando están listos para pasar a la pregunta siguiente. Al realizar pruebas de evaluación de este tipo, se dispone de las siguientes opciones:

Función Acción

Navegar a través de las preguntas Use las flechas de navegación (<<, <, > y>>). El Indicador de pregunta/sección especifica la ubicación actual en la prueba de evaluación y el número total de preguntas. Si no está permitido volver atrás, no aparecerán estas flechas.

Almacenar respuestas Seleccionar Guardar. Se guardan las preguntas contestadas hasta ese punto.

Finalizar la prueba de evaluación Seleccionar Enviar. Aparece una página de confirmación que indica que la prueba de evaluación se ha completado.

Acerca del estado de terminación de la pregunta

El indicador de estado de las preguntas es una herramienta que brinda a los usuarios una perspectiva rápida y actualizada de su progreso (preguntas completas o incompletas) en una prueba de evaluación en todo momento. El

botón Guardar junto a cada pregunta sirve de recordatorio visual de la necesidad de guardar periódicamente el progreso realizado.

El estado de finalización de las preguntas de la prueba de evaluación se muestra en la parte superior de la página cuando se hace una prueba de evaluación.

La situación en cuanto a preguntas ya respondidas se muestra en la parte superior de la página, inmediatamente después de las instrucciones

Al responder a una pregunta y pasar a la pregunta siguiente en una prueba de evaluación pregunta por pregunta, la casilla de estado se actualiza en la página siguiente, e indica que se ha respondido la pregunta anterior. Si usted no respondió una pregunta y pasa a la pregunta siguiente en una prueba de evaluación pregunta por pregunta, la casilla de estado indica en la página siguiente que no se ha respondido la pregunta anterior. Navegue de una pregunta a otra haciendo clic en el número de pregunta en el indicador de estado.

Cuando se hace una prueba de evaluación de tipo todas juntas (una prueba de evaluación en la que todas las preguntas aparecen en la misma página), use el botón Guardar que está a la derecha de cada pregunta para guardar preguntas específicas sin necesidad de pasar al pie de la página para guardar. Al guardar una sola pregunta o todas las preguntas que ha respondido (con el botón Guardar al pie de la página) el indicador de estado cambia y muestra qué preguntas han sido completadas.

ACTIVIDADES:

ELABORA UN EJEMPLO DE EVALUACIÓN POR PRUEBA (LOS CRITERIOS SON A TU CONSIDERACIÓN)

3. EVALUACIÓN DEL APRENDIZAJE 3.1 DEFINICIÓN. 3.2 FUNCIONES. 3.3 TIPOS. 3.4 INSTRUMENTOS.

Lectura del anexo 4 y anexo 5

ACTIVIDADES:

REALIZAR LA LECTURA DE LOS ANEXOS INDICADOS Y REALIZAR LAS ACTIVIDADES SIGUIENTES:

ANEXO 4

CUADRO CONCEPTUAL

COPIAR Y PLASTIFICAR LA TAXONOMIA DE MANZANO (TABLA 1 Y 2)

REALIZAR UN EJEMPLO COMO EL SEÑALADO EN LA TABLA DE ESPECIFICACIONES

REALIZAR UN EJEMPLO DE PRUEBA PARA EVALUACIÓN SUMATIVA (APOYATE EN EL ANEXO 5 PARA LA ELABORACIÓN)

3.5 PROGRAMACIÓN DE LA EVALUACIÓN DEL APRENDIZAJE. 3.6 CALIFICACIÓN

Lectura de Anexo 6

Actividades:

De acuerdo al manual leído, como se programa la evaluación del aprendizaje y como se evalúa (ejemplo)

4. EVALUACIÓN CURRICULAR 4.1 DEFINICIÓN

Leer anexo 7 y 8

ACTIVIDADES:

ESCRIBE TU ANALISIS DE CADA UNO DE LOS ANEXOS (1 CUARTILLA POR AMBOS)

4.2 PROCESO DE LA EVALUACIÓN. 4.2.2 OPERACIONES 4.2.3 SALIDAS

Evaluación del currículo

El término “evaluación” generalmente se aplica al proceso de realizar un juicio de valor. En educación, el término “evaluación” se utiliza en referencia a actividades asociadas a los currículos, programas, métodos de enseñanza y factores organizacionales. La evaluación del currículo tiene como objetivo examinar el impacto de su implementación sobre el logro de los estudiantes (aprendizaje) para que el currículo oficial pueda ser revisado toda vez que sea necesario y para analizar los procesos de enseñanza y aprendizaje en el aula. La evaluación del currículo establece:

Fortalezas y debilidades específicas de un currículo y su implementación; Información esencial para los cambios estratégicos y las decisiones políticas; Aportes que se necesitan para una enseñanza y aprendizaje mejorados; e Indicadores para el monitoreo.

La evaluación del currículo puede ser un proceso y una actividad interna llevada a cabo por las diferentes unidades de un sistema educativo para sus respectivos fines. Estas unidades pueden incluir Ministerios de Educación nacionales, autoridades educativas regionales, sistemas de supervisión y reporte institucional, departamentos de educación, escuelas y comunidades.

La evaluación curricular puede también ser un proceso de revisión externo o encargado. Estos procesos pueden ser llevados a cabo de manera regular por comisiones especiales o equipos de tarea sobre currículos, o pueden ser estudios basados en investigaciones sobre el estado y la eficacia de los diferentes aspectos del currículo y su implementación. Estos procesos pueden examinar, por ejemplo, la eficacia del contenido del currículo, las pedagogías y los enfoques institucionales existentes, la capacitación docente y los libros de texto y material institucional.

EVALUACION CURRICULAR

CAPACIDADES

· Identifica el modelo de evaluación que maneja su institución educativa.

· Elabora instrumentos para evaluar un programa educativo.

· Explica las características y el proceso de evaluación de aprendizaje.

· Propone aspectos relevantes que se debe considerar en la evaluación de docentes.

2.1. EVALUACIÓN DEL CURRICULO

Proceso permanente de investigación que permite analizar los diferentes componentes del currículum, en relación con la realidad de la institución y del entorno social en que se desarrolla el plan curricular.

2.1.1. MODELOS DE EVALUACIÓN CURRICULAR

Al analizar los diversos modelos de la evaluación curricular, debemos recordar que cada uno de ellos está inmediatamente relacionado con los paradigmas de la evaluación estudiada en el primer módulo. A continuación se representa un esquema donde se puede observar claramente esta relación.

Conductista –eficientista

Humanístico

Holístico

Cuantitativo

Cualitativo

Mixto· Consecución objetivos (Tyler)

· Planificación educativa (Cronbach)

· CIPP (Stufflebeam)

· CSE (Alquin)

· Figura (Stake)

· Contraposición (Owens)

· Atención al cliente (Scriven)

· Critica artística (Elsner)

· Evaluación responderte (Stake)

· Evaluación iluminativa (Parlett y Hamilton)

· Evaluación Holística / Democrática (Mc Donal)

Paradigmas Modelos Métodos

SECUENCIA CONCEPTUALIZADA DE MODELOS

A. MODELO DE EVALUACIÓN ORIENTADA HACIA LOS OBJETIVOS

Se puede considerar como el primer modelo de evaluación sistémica. Su origen se remonta a los años 30 y Tyler es su representante principal.

La evaluación tiene como propósito determinar la congruencia entre los objetivos y los logros. El procedimiento propuesto por Tyler para evaluar queda reflejado en los pasos siguientes:

1. Establecer las metas u objetivos.

2. Ordenar los objetivos en amplias clasificaciones.

3. Definir los objetivos en términos de comportamiento.

4. Establecer situaciones y condiciones según las cuales puede ser demostrada la consecución de los objetivos.

5. Explicar los propósitos de la estrategia.

6. Escoger o desarrollar las apropiadas medidas técnicas.

8. Comprobar los datos con los objetivos del comportamiento.

7. Recopilar los datos de trabajo.

Críticas al modelo

Considera a la evaluación como un proceso terminal que proporciona información cuando se ha cubierto el ciclo del programa perdiéndose la posibilidad de rectificar el programa, cuando se este desarrollando.El énfasis en los objetivos preestablecidos provoca el olvido e ignorancia intencional de los efectos secundarios y de los acontecimientos accidentales, locales no previstos.

Es un modelo reduccionista interesa esencialmente el rendimiento-logro

Se centra en el comportamiento observable que no son indicadores simbólicos de procesos internos y aprendizajes complejos.Es un modelo burocrático en el que la audiencia de la evaluación es la productora del programa, no sus usuarios.

B. MODELO DE TOMA DE DECISIONES

Este modelo se estructura y organiza en relación con las decisiones que se han de tomar a lo largo del desarrollo de un programa. Sus principales representantes son Stufflebeam y Sinkfield(1989).

Los conceptos claves del modelo CIPP (context-Imput-Process-Product), se articula en tres pasos:

1) Delimitar: Los evaluadores se reúnen con las personas responsables de la toma de decisiones en orden a identificar la información necesaria.

2) Obtener: Recoger y procesar la información.

3) Aplicar: Suministro de la información recogida y procesada a los responsables de las decisiones para que éstas sean más racionales.

Stufflebean distingue cuatro tipos de evaluaciones: de contexto, entrada, proceso y producto. A continuación se representa las características de cada uno de estos tipos de evaluación.

Cuatro tipos de evaluación (Stufflebeam,1987:194-195 )

ContextoEntradaProcesoProductoObjetivo

Definir el contexto institucional, identificar la población objeto de estudio y valor sus necesidades. Identificar sus necesidades, diagnosticar los problemas que subyacen en las necesidades y juzgar si los objetivos propuestos son suficientemente coherentes con las necesidades valoradas.

Identificar y valorar la capacidad del sistema, las estrategias del programa las alternativas, la planificación de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas

Identificar o pronosticar durante el proceso, los defectos de la planificación del procedimiento o de su realización, proporcionar información para las decisiones pre-programadas y describir y juzgar las actividades y aspectos del procedimiento.

Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la información proporcionada por el contexto, por la entrada de datos y por el proceso e interpretar su valor y su mérito.

MétodoUtilización de métodos como el análisis de sistemas, la inspección, la revisión de documentos, las audiciones, las entrevistas, los tests diagnósticos, la técnica Delphi…

Inventariar y analizar los recursos humanos y materiales disponibles, las estrategias de solución y las estrategias de procedimiento referentes a su aplicabilidad, viabilidad y economía. Y utilizar métodos como la búsqueda de bibliografía, las visitas a programas ejemplares, los grupos de asesores y ensayos piloto.

Controlar las limitaciones potenciales del procedimiento y permanecer alerta ante las que no se esperan, mediante la obtención de información específica de las decisiones programadas, la descripción del proceso real, la continua interacción con el personal del proyecto y la observación de sus actividades.

Definir operacionalmente y valorar los criterios de los resultados, mediante recopilación de los juicios de los clientes y realización de análisis cuantitativos y cualitativos.

Relación con la toma de decisiones

Decidir el marco que debe ser abarcado, a las metas relacionas con la satisfacción de las necesidades o la utilización de las oportunidades y los objetivos relacionados con la solución de problemas. Y proporcionar una base para juzgar los resultados.Seleccionar los recursos de apoyo, las estrategias de solución y las planificaciones de procedimientos esto es estructurar las actividades de cambio. Y proporcionar una base para juzgar la realización.

Llevar a cabo y perfeccionar la planificación y procedimientos del programa, esto es efectuar un control del proceso. Y proporcionar un esbozo del proceso real para usarlo mas tarde en la interpretación de resultadosDecidir la continuación, finalización, modificación o readaptación de la actividad del cambio. Y presentar un informe claro de los efectos(deseados y no deseados, positivos y negativos.

C. MODELO DE EVALUACIÓN SIN REFERENCIA A LOS OBJETIVOS

Este modelo es propuesto por Scriver(1973), ofrece la particularidad de obviar los objetivos del programa, creyendo que con esta ignorancia por parte del evaluador será mas objetivo al evaluar los resultados del programa, tanto los previstos como los imprevistos.

El modelo de Scriven se desarrolla de acuerdo con lo siguiente:

· Antecedentes, contexto recursos y función del programa servicio que se requiere evaluar.

· El sistema de distribución del programa/intervención.

· Descripción de los usuarios o población objetos de intervención.

· Necesidades de valores de los que se ven realmente afectados por la intervención.

· Existencia o no de normas/criterios previos para la evaluación

· El proceso de intervención social.

· Los resultados de la misma.

· Los costos de la intervención.

· La comparación con programas/servicios alternativos.

Para Scriven el modelo de objetivos es imperfecto y las evaluaciones propuestas potencialmente inútiles, ya que las metas y objetivos propuestos pueden ser inmorales, poco realistas y no representativas de las necesidades de los consumidores o demasiado limitados como para prever los efectos secundarios.

Según este autor la evaluación presenta dos funciones capitales: la formativa ayuda a desarrollar el programa y la

Sumativa calcula el valor del objeto una vez que ha sido desarrollado.

Este modelo representa ciertas limitaciones ya que la evaluación sin metas conlleva un problema importante: la asignación de un significado valorativo a los resultados para verificar la eficacia y el valor de un programa. Además, Scriven introduce el concepto de necesidad coma base de la evaluación, considerando que la misma se hará con referencia a las necesidades del consumidor más que a los objetivos e intenciones de su productor. Sería importante preguntarse si, dados los resultados de una valoración de las necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas (JIMÉNEZ, B; s/a p.p. 52-53).

D. MODELO DE EVALUACIÓN BASADO EN LA CRÍTICA ARTÍSTICA

Este modelo de evaluación propuesto por Eisner se fundamenta en una concepción: la enseñanza como arte y el profesor como un artista, apoyándose en el currículum como una realidad cultural que encarna normas y reglas implícitas de la cultura.

La evaluación del currículum se basa, por tanto, en la crítica, a partir de la interpretación y compresión del contexto, de los símbolos y reglas y tradiciones de los que participan. La tarea del evaluador es develar la calidad de las situaciones curriculares cuando se transforman en intenciones y realidades.

Los conceptos claves de estos modelos son dos:

1) Connosseurship: capacidad de percepción walitakua, considerado como el arte de la percepción que posibilita la apreciación de la complejidad de las prácticas educativas. El evaluador, por su formación y experiencia, es capaz de apreciar y reconocer las características y cualidades de los fenómenos, lo que le permite ser sensible a las cualidades emergentes del programa que se está evaluando.

2) Crítica artística: como “arte de revelación”, el evaluador, además de discernir el carácter o cualidades de un acontecimiento, debe ofrecer una representación de lo que ha encontrado para que otras personas que no posean su nivel puedan participar de ello, comprendiendo y valorando la calidad de la práctica educativa y sus consecuencias.

E. MODELO DE EVALUACIÓN SENSITIVA O RESPONDIENTE

Modelo elaborado por Stake(1976), enfatiza la acomodación a las necesidades de los clientes, es decir de la audiencia, por lo que la primera fase alude a los problemas, dudas y necesidades. Una forma de identificar problemas es hablando con los implicados. Estos problemas deben utilizarse para discusiones y posteriormente servirán para organizar el plan de recogida de datos, las acciones correspondientes y la búsqueda de soluciones.

La estructura funcional de la evaluación respondiente se concreta en doce pasos, que no siguen una estructura lineal:

· Hablar con los clientes, el personal del programa y las audiencias.

· Identificar el alcance del programa.

· Panorama de las actividades del programa.

· Descubrir los propósitos e intereses.

· Conceptualizar las cuestiones y problemas.

· Identificar los datos necesarios para investigar los problemas.

· Seleccionar observadores, jueces e instrumentos, si los hay.

· Observar los antecedentes, las transacciones y los resultados propuestos.

· Desarrollar temas, preparar descripciones y estudiar casos concretos.

· Validación: confirmación, búsqueda de evidencias para la no confirmación.

· Esquema para el uso de la audiencia.

· Reunir los informes formales, si los hay.

MODELO SENSITIVO DE STAKE

Tomado del libro de STENHOUSE, L.,La investigación y desarrollo del currículo, Ed. Morata, Madrid, 1984, y adaptado por Restrepo, Flores y Correa(1990)

La evaluación debe partir de una familiarización sólida con la sustentación del programa; es decir, con la concepción que le dió origen y con su filosofía, metas y objetivos.

También debe construirse una matriz descriptiva de antecedentes, de transacciones, de encuentros o procesos entre los agentes de la acción y los objetivos por lograr.

Los antecedentes son las condiciones preexistentes a la interacción de los alumnos con el profesor y con la materia de estudio; abarca las características de estos actores, las normas legales e institucionales, las necesidades y expectativas de la comunidad, el proyecto educativo institucional y los recursos disponibles. Esta información es imprescindible a la hora de evaluar si un propósito del programa o del currículo se cumplió, pues podía ocurrir, por ejemplo, que el nivel de habilidades intelectuales requerido por los estudiantes para procurar el logro de un objetivo importante del currículo no se hubiera dado, y entonces la información sobre aptitudes personales previas podría ayudar a explicar las fallas en el proceso o en el resultado.

Las transacciones es la interacción de los alumnos con los agentes que contribuyen con su educación, que incluye profesores, consejeros bibliotecarios y también textos escolares, materiales y recursos tecnológicos con los cuales el alumno interactúa en la clase y fuera de ella. Las transacciones planeadas para alcanzar algún propósito u objetivo curricular pueden ocurrir de manera no satisfactoria y explicar por qué ciertos logros no se alcanzaron o se alcanzaron en forma deficiente

La matriz descriptiva debe elaborarse en dos momentos. En el primero debe construirse las intenciones, la idealidad del programa, las expectativas planteadas al fundar el programa o al producirse cambios de importancia en el mismo. La elaboración de esta matriz descriptiva de intenciones debe efectuarse a través de un análisis de contingencias lógicas, esto es, de correspondencia o coherencia entre condiciones de entrada y procesos. Asimismo, debe evaluarse la coherencia entre logros esperados, procesos e insumos. Este análisis, eminentemente lógico, permite cambiar la consistencia interna del programa.

En un segundo momento, debe elaborarse variables e indicadores para observar en la realidad los antecedentes, las transacciones y los logros, es decir, lo realmente ejecutado.

Elaboradas estas sus matrices de intenciones y observaciones, a través de variables e indicadores apropiados, debe realizarse una segunda evaluación del análisis de congruencia o comparación entre realidad e idealidad. Esta matriz de observaciones debe evaluarse mediante un análisis de congruencia empírica o de correspondencia entre antecedentes, transacciones y logros que necesita complementarse con explicaciones acerca de las discrepancias resultantes del proceso de contrastar las variables.

La evaluación de las diferentes variables e indicadores elaborados para observar antecedentes, transacciones y logros se realiza mediante la aplicación de criterios valorativos y de estándares o medidas de desempeño de estos criterios en cada indicador, lo que demanda la elaboración de una matriz valorativa paralela a la descriptiva.La valoración puede efectuarse con juicios absolutos o relativos, según se comparen internamente el programa con los

criterios y estándares establecidos para la evaluación, o se compare su desempeño con otros programas afines en algún

sentido (FLORES O. 2001; pp. 85-87)

F. MODELO DE EVALUACIÓN ILUMINATIVA

Este modelo propuesto por Parlett y Hamilton (1977) presenta como características más relevantes las siguientes:

· Los estudios sobre evaluación deben comprender una tendencia holística y tener en cuenta el amplio contexto en el que funciona.

· Se preocupa más de la descripción e interpretación que de la medida y la predicción.

· Se orienta más al análisis de los procesos que al análisis de los productos

· La evaluación se desarrolla bajo condiciones naturales o de campo y no bajo condiciones experimentales.

· Los métodos principales de recogida de datos son la observación y la entrevista.

En este modelo aparecen dos conceptos de capital importancia: el contexto de aprendizaje y el sistema de instrucción. El primero se refiere al contexto material, psicológico y social dentro del cual trabajan conjuntamente formadores y participantes; representan una red de variables culturales, sociales, institucionales y psicológicas que interactúan de forma compleja. El segundo concepto, sistema de instrucción como producto teórico de un conjunto de elementos que componen un plan coherente, que al aplicarse sufre modificaciones en función del medio. Los participantes y los formadores, por eso, deben evaluarse en función de las condiciones concretas de su aplicación.La evaluación iluminativa puede adoptar diversas formas. Pretende ser adoptable para descubrir las dimensiones, metas y técnicas de evaluación, y ecléctica en el sentido de proporcionar al evaluador una serie de técnicas investigativas que dependerán del problema que debe investigarse.

Parlett y Hamilton distinguen tres fases en la evaluación iluminativa.

1) Observación: Se investiga toda una amplia gama de variables que afectan al resultado del programa.2) Investigación: El interés de desplaza desde el reconocimiento hacia la selección y el planteamiento de investigación es de manera coherente, con el fin de realizar una lista sistemática y selectiva de los aspectos más importantes del programa en su contexto.

3) Explicación: En la que los principios generales subyacen a la organización son expuestos y se delinean los modelos causa-efecto en sus opciones.

G. MODELO DE EVALUACIÓN DEMOCRÁTICA

Este modelo propuesto por Mc Donald se sitúa dentro de una visión naturalista de la realidad. Para conocer la realidad y sus significados hay que sumergirse en el curso vivo de los acontecimientos y conocer las interpretaciones diversas que hacen de la misma los que en ella participan. Las opiniones de todos los afectados han de estar presentes y sólo un proceso de negociación que así lo considere es garante para llegar una evaluación realista.

A continuación destacamos algunas de sus características más importantes:

· La evaluación democrática es un servicio de información a la comunidad enterada de las características de un programa educativo.

· El patrocinio de la evaluación no concede derecho especial sobre el servicio.

· El evaluador democrático reconoce el pluralismo de valores y busca la presentación de intereses diferentes en su formulación de cuestiones el valor básico.

· El valor básico es la información a los ciudadanos, actuando el evaluador como agente de intercambio de evaluación entre diferentes grupos.

· Las técnicas de recogido y presentación de datos deben ser accesibles a audiencias no especializadas (entrevistas, debates, etc.).

· La principal actividad del evaluador es la recogida de definiciones del programa y de reacciones frente a él.

· El informante no proporciona recomendaciones. Las interpretaciones y opiniones que contiene surgen de un proceso de negociación con todos los implicados en el estudio.

· Los conceptos claves de la evaluación son “carácter confidencial”,”negociación” y “accesibilidad”. El concepto justificador es el “derecho a saber”.

2.1.2. CAMPO DE LA EVALUACIÓN DEL CURRÍCULO

La evaluación contribuye a determinar los conocimientos válidos de una disciplina. En este sentido, la evaluación legitima al currículum a aprender enseñar, seleccionar en un campo de conocimiento o disciplinas de una etapa educativa.Dentro de la evaluación del currículum, hemos de incluir, aparte de dimensiones internas del currículum (contenidos, materiales, etc.), la evaluación de la innovación curricular, y la evaluación de programas (educativos, innovadores o formativos).Podemos distinguir funcionalmente entre análisis del currículum y evaluación del currículum, cifrando el primero en describir el posible valor educativo del currículum, sus potencialidades curriculares y sus procesos de desarrollo; mientras que la "evaluación del currículum" en su dimensión sumativa, prioritariamente se centra en juzgar/valorar su éxito y resultados. La finalidad del análisis es describir y comprender una situación, independientemente de sus resultados, como base para clasificar el campo, contexto y situación a investigar. Ariav (1986) señala los siguientes propósitos y métodos de la evaluación del currículum:

A. El propósito de la evaluación del currículum es juzgar el éxito o fracaso de un currículum particular.B. Los métodos aplicados, de igual manera, son diferentes en los modelos y fines.C. La dirección de la evaluación del currículum se puede dirigir a la administración educativa, agencias

patrocinadores, profesores, alumnos, comunidad escolar.

King (1991), refiriéndose a la evaluación del currículum en la práctica, señala las siguientes características iniciales:A. La evaluación del currículum es dependiente de las múltiples perspectivas del currículum existente, y cubre un amplio

rango de actividades curriculares (procesos y productos) que pueden ser objeto de evaluación. La evaluación puede dirigirse al uso de un material curricular específico, de un método de enseñanza o de personal.B. Es dependiente de múltiples perspectivas filosóficas y metodológicas conjuntamente, pues las suposiciones metodológicas y alumnos han utilizado, están usando o van a usar en el futuro.Desde la perspectiva de Apple y Beyer (1983), propugnan una "evaluación social del currículum", caracterizada por redefinir la unidad de evaluación dentro de un contexto más amplio y por focalizarse en las funciones sociales que cumplen el currículum escolar. Por ello, la evaluación del currículum es incompleta si se limita a la escuela investigando lo que se enseña o las experiencias de los alumnos con los programas escolares. Tres dominios, al menos, necesitarían de objeto de estudio en una evaluación social del currículum (Apple y Beyer, 1983, p.430) para ver las conexiones entre el currículum y las estructuras ideológicas y económicas.

A. Las interacciones cotidianas y regularidades de la vida escolar: lo que se ha llamado "currículum oculto", como modo en que se enseña y reproducen importantes valores y normas sobre trabajo, clase social, raza y género de nuestra sociedad.

B. El hábeas formal del conocimiento escolar:

El currículum planificado, expresado en materiales curriculares y vivenciados por el profesor y los alumnos.C. Las perspectivas, procedimientos y teorías fundamentales que los docentes utilizan para planificar, organizar y evaluar lo que sucede en las escuelas.

No obstante, el campo de la evaluación del currículum se ha ampliado considerablemente hasta poder abarcar otros campos, en cuanto son dependientes del currículum o influyen decisivamente en él (entorno escolar o apoyo externo). Así, en el reciente documento a debate presentado por el MEC (1994) sobre "Centros educativos y calidad de enseñanza", se señala:

Al adoptar una concepción más compleja e interactiva del currículo, ya no se justifica reducir la tarea de la evaluación exclusivamente al alumno y al proceso de enseñanza y aprendizaje. Los resultados de la educación vienen determinados por la actuación de los profesionales que en ella intervienen, por la organización y funcionamiento del centro escolar en el que aquella se cumple, por la propia definición y desarrollo del currículo, y por la actuación del aparato administrativo que debe proporcionar los recursos para el funcionamiento eficaz del sistema en su conjunto. En consecuencia, todos ellos se convierten en objeto de evaluación

EVALUACIÓN DE PROGRAMAS

1. PRESENTACIÓN

Una de las principales actividades de los orientadores es la de diseñar programas de intervención psicopedagógica, encaminados a satisfacer las necesidades de orientación de los sujetos. Junto al diseño de programas de intervención, surge de inmediato su aplicación y evaluación para conocer su efectividad y emprender la toma de decisiones sobre los posibles cambios, mejora y su aplicabilidad potencial.

Adentrarse en la evaluación de programas implica para los orientadores, el dominio de las teorías y metodologías sobre evaluación de programas sociales, conocer las teorías de evaluación, clarificar términos que usualmente se consideran sinónimos y no lo son y finalmente desarrollar habilidades aplicadas a la evaluación.

A fin de iniciarnos en este ámbito del conocimiento hacemos las siguientes precisiones conceptuales.

2. PRECISIONES CONCEPTUALES

En esta investigación entendemos por:

• Investigación Evaluativa

La aplicación de los principios y procedimientos de la investigación social para comprobar sistemáticamente la eficacia de un programa de intervención social. (De Miguel, 2000).

Es la investigación a través del método científico de los efectos, resultados y objetivos de un programa con el fin de tomar decisiones sobre él. (Fernández, 1996, p. 23).

• Evaluación de Programas

Es el conjunto de principios, estrategias y procesos que fundamentan la evaluación de toda acción o conjunto de acciones desarrolladas de forma sistemática en un determinado contexto con el fin de tomar decisiones pertinentes que contribuyan a mejorar las estrategias de intervención social. (De Miguel, 2000).

• Programa

Es el plan, proyecto o servicio mediante el cual se diseña, organiza y se pone en práctica un conjunto de acciones y recursos materiales dirigidos a la consecución de una meta. (De Miguel, 2000b).

Para Fernández (1999, p. 477), el programa es "el conjunto especifico de acciones humanas y recursos materiales diseñados e implementados organizadamente en una determinada realidad social, con el propósito de resolver algún problema que atañe a un conjunto de personas."

• Pertinencia Se define como la medida en la cual un programa responde a unas necesidades concretas de la población atendida.• SuficienciaSe define como la medida en la cual las acciones establecidas pueden ser suficientes y adecuadas para conseguir los propósitos que se persiguen.

• Evaluación de Progreso

Es la evaluación formativa o de proceso, realizada durante la implantación del programa pretendiendo determinar como éste, está actuando en los destinatarios.

• EficienciaEs la relación entre el valor de los resultados obtenidos y los medios puestos a contribución.

• Eficacia

Es la medida en la cual existe prueba de que los objetivos establecidos en el programa se han cumplido.• EfectividadEs la medida en la cual un programa ha alcanzado una serie de efectos.

• Evaluabilidad

Implica la medida en la cual un determinado programa está listo para ser evaluado.

3. FUNCIONES DE LA EVALUACIÓN

Fernández (1996) sostiene que la evaluación tiene una función esencial y unas funciones específicas.3.1 FUNCIÓN ESENCIAL

Toda evaluación fundamentalmente se propone hacer una toma de decisiones en torno a una determinada intervención, esta sería la función esencial de la evaluación.

3.2. FUNCIONES ESPECÍFICAS DE LA EVALUACIÓN

La autora plantea como funciones de la evaluación las siguientes:

1. Contabilidad pública y base para nuevas decisiones presupuestarías. El gasto debe hacerse no sólo con arreglo a principios legales sino ha de tomarse en cuenta unos principios de eficacia y eficiencia económica. Así, cuando se justifica un gasto estipulado para un programa y se han conseguido los objetivos previstos según unos determinados indicadores, con base en ellos, se tomaran nuevas decisiones presupuestarías.

2. Justificación de las decisiones. Una valoración positiva de un programa, avala las decisiones que sobre él, se toman. En algunas oportunidades se solicita la evaluación del programa para tomar decisiones sobre él.

3. Actuaciones sobre el programa. La evaluación es el medio a través del cual se toman decisiones sobre el programa. Así, la evaluación puede realizarse para eliminarlo, sustituirlo o mejorarlo.

4. Contrastación de teorías. Como la evaluación de programas precisa de una metodología científica y en todo programa subyace una determinada teoría, una de las funciones de la evaluación de programas es la contrastación de teoría.

4. LOS OBJETIVOS DE LA EVALUACIÓN

Conocidas las necesidades que se pretenden satisfacer mediante un programa, surge de inmediato la jerarquización de ellas. Seguidamente se da el establecimiento de un listado de objetivos y metas que de acuerdo con los recursos asignados puedan lograrse. Este procedimiento es el comúnmente seguido para la determinación de los objetivos de una intervención social. Entendemos que los objetivos de una intervención corresponde a lo que se desea conseguir, para demostrar que se ha solventado la situación problema, que dio origen a la planificación de la intervención. En este sentido compartimos la definición que Fernández (1996, p. 54), sostiene sobre objetivo: "es la especifica descripción de un determinado resultado que se pretende conseguir porque pone de manifiesto que ha mejorado un estado de necesidad de un individuo o grupo de individuos."

Para que un objetivo sea tomado como tal, ha de reunir una serie de condiciones y características, entre ellas:Estar claramente definidos.

Ser específicos.

Ser medibles.

Ser fácilmente identificables.

Ser factibles.

Los objetivos no pueden ser incompatibles con otros objetivos.

Ser cuantificados.

En la planificación de la intervención social y la evaluación de programas, conviene hacer la distinción entre la evaluación sobre la base de sus metas que se plantea con respecto a un programa y la evaluación libre de metas, pues los evaluadores al determinar si la evaluación que programa es de acuerdo con sus objetivos o metas o es libre de ellas, determinan también el procedimiento a seguir.

4.1. OBJETIVOS PROPIAMENTE DICHOS DE LA EVALUACIÓN DE PROGRAMAS.

Los objetivos de la evaluación de programas están determinados de acuerdo a las funciones de los programas, con este criterio podemos establecer como objetivos de la evaluación los siguientes:Si el programa tiene como función verificar una teoría, los objetivos de la evaluación están encaminados ha probar si determinada teoría es eficaz y adecuada para la resolución de los problemas sociales concretos.Si el programa centra su interés en los procesos de instrumentación de las estrategias de intervención y en los problemas prácticos de su aplicación, pues ellas determinan su eficacia, los objetivos de la evaluación estarán referidos a:Estimar el mérito de las metas que se propone cada estrategia.

Determinar la calidad del diseño y planificación de las actuaciones a realizar.

Determinar el grado de cumplimiento y adecuación con que la planificación ha sido implementada.

Determinar la calidad y la utilidad de los resultados e impacto generado por el programa.

Si el programa está centrado en promover un cambio social, el objetivo de la evaluación estará centrado en determinar a través de ella, si el cambio o transformación se ha logrado

En términos generales podemos precisar como objetivos de una evaluación de programa los siguientes:

Obtener información pertinente, válida y fiable que actúe como soporte para la emisión de juicios de valor.

Estimar los resultados y la eficacia de los programas.

Obtener conocimiento sobre los problemas específicos de la aplicación del programa.

Contribuir a mejorar el programa.

4.SUPUESTOS O FUNDAMENTOS TEÓRICOS QUE JUSTIFICAN LA EVALUACIÓN DE PROGRAMASInicialmente se suele determinar como paradigma que justifica la evaluación de programas, los paradigmas clásicos que emplea la investigación social, a saber: el paradigma positivista, el naturalista, y el crítico. Pero estos paradigmas han resultado insuficientes y cuestionados en la fundamentación teórica de la evaluación de programas. Surge, entonces, la propuesta de un nuevo paradigma que explique la realidad social. Este paradigma se conoce con el nombre de diversidad paradigmática, donde el posicionamiento de la evaluación de programas está fundamentado en distintas informaciones a partir de estudios y métodos diversos que permitan obtener conocimientos más complejos, fiables y válidos.Así mismo, esta diversidad paradigmática es asumida por Cook (1985) cuando propone el multiplismo como crítica y renovadora al simplismo paradigmático. El autor establece algunos puntos básicos del multiplismo, entre ellos:

La utilización múltiple de enfoques teóricos. Probar múltiples modelos causales multivariados. Plantear múltiples hipótesis rivales. Establecer múltiples definiciones operacionales de las múltiples variables implicadas. Establecer objetivos múltiples que permitan múltiples análisis de resultados.

Utilizar múltiples métodos de evaluación. Realizar múltiples análisis de datos y contraste de hipótesis.

Con respecto a los procedimientos metodológicos para la obtención de la información, surge igual cuestionamiento y limitación, si asumimos la defensa del procedimiento metodológico deductivo o inductivo. La posición asumida por el evaluador va a depender de lo que se quiera lograr con la evaluación; así, si lo que se busca es comprobar las relaciones entre los inputs y outpus u obtener conocimientos generalizables, es recomendable una metodología deductiva rigurosa; si lo que se quiere es comprobar y explicar lo que sucede en la aplicación para contribuir a mejorar el programa, se utilizará una metodología inductiva.

Entonces, no cabe en la evaluación de programas un posicionamiento unilateral frente a las metodologías cuantitativas y cualitativas, ambas son necesarias, de manera que la evaluación de programas como investigación social aplicada ha superado el debate entre metodología cuantitativa y cualitativa.

6. LA EVALUABILIDAD DE UN PROGRAMA

La evaluabilidad de un programa esta referida a la medida en la cual un determinado programa puede ser evaluado, la evaluabilidad puede ser considerada como un pre-requisito para proceder a hacer una evaluación de programa.El considerar un programa inevaluable significa que ha sido mal planificado y que existen barreras que dificultan su evaluación.Wholey (1979, 1983, 1987) ha identificado cuatro áreas problemáticas en la evaluación de programas que maximizan su dificultad e inoperancia:

1. Falta de definición del problema atendido por el programa implicado y los objetivos y resultados preestablecidos.

2. Carencia de base en la teoría del programa.

3. Carencia de claridad en los propósitos de la evaluación.

4. Carencia de claridad en las prioridades de la evaluación.

Asimismo, Fernández, R. y Hernández (1989) han elaborado un listado de cuestiones relevantes en la evaluación de programas, referido a calidad y obstáculos.

Por calidad entienden el rigor con que se lleva a cabo el ciclo de investigación y por obstáculo entienden los distintos problemas que pueden preverse existan durante la evaluación.

Dimensiones de calidad

• La evaluación de necesidades.

• El establecimiento de objetivos.

• La definición del programa.

• Los criterios de selección del programa.

• El nivel de implantación.

• El diseño de la evaluación.

• La calidad de las operaciones a observar.

• La información sobre el contexto.

Dimensiones de Obstáculos

• La aceptabilidad de la evaluación.

• La implicación del evaluador.

• La finalidad de la evaluación.

• Los costes de la evaluación.

7. LOS MODELOS DE LA EVALUACIÓN DE PROGRAMAS

La evaluación de programas requiere del cumplimiento de dos condiciones básicas iniciales. Por una parte, hay que precisar el marco conceptual desde el cual se aborda el objeto de la evaluación y por otra, es necesario especificar los supuestos teóricos que fundamentan el modelo evaluativo adoptado para emitir juicios de valor sobre el programa.

En otras palabras, al elegir un modelo de evaluación estamos determinando la finalidad que justifica la evaluación que tenemos planteado llevar a cabo y centramos el paradigma que fundamenta el análisis desprendido de la evaluación hecha.Existen diferentes enfoques a la hora de plantearnos una clasificación de los modelos de evaluación de programas. A saber:

A) Enfoques centrados sobre la finalidad

Este enfoque plantea la diversidad de propósitos a la hora de especificar la finalidad de la evaluación.Con la intención de centrar por razones prácticas y hasta didácticas el abordaje sobre los propósitos de la evaluación de programas nos identificamos con el planteamiento de los autores Stecher y Davis (1991). Para ellos, los principales fines que determinan los procesos de evaluación se pueden agrupar en tres grandes bloques:

Comprobar si los objetivos del programa han sido alcanzados.

Recabar opiniones fundamentales sobre la valoración que hacen del programa las audiencias implicadas.

Obtener información cualificada a partir de la cual se pueda tomar decisiones sobre el futuro de un programa específico.

Estos fines han dado lugar a la clasificación de los siguientes modelos de evaluación de programas:

7.1. MODELO CENTRADO EN LA EVALUACIÓN DE LOS RESULTADOS

Para este modelo de evaluación, la finalidad reside en determinar si se han cumplido los propósitos o metas previstas. Si no se han logrado, cabría investigar la causa para determinar el origen del fallo. ¿Se debe a la teoría que sustenta el programa? ¿Diseño y aplicación del programa? Estas serían algunas de las interrogantes que habría que responder.

7.2. MODELOS ORIENTADOS A LAS AUDIENCIAS IMPLICADASEn este modelo, el criterio fundamental a la hora de estimar la calidad y rentabilidad de un programa de intervención social, es la valoración que efectúa las personas implicadas y beneficiadas con el programa. Siendo los programas sociales una forma de intervenir para satisfacer las necesidades sociales, se entiende como hoy es muy importante tener en cuenta cuando se hace una evaluación, la implicación de la dimensión humana.

7.3. MODELOS ENFOCADOS HACIA LAS DECISIONESPara este modelo, la evaluación de programas es el proceso más idóneo para recabar información relevante sobre los ámbitos del programa relativos al contexto, diseño, aplicación y resultados susceptibles de mejora.Inferimos que estos tres modelos centrados sobre la finalidad, al relacionarlos con los fines de la investigación social

cuáles son: verificar, comprender y transformar, guardan estrecha aproximación con los paradigmas clásicos de la investigación científica, a saber: El paradigma positivista, naturalista y crítico.

7.4. MODELO EVALUATIVO SOBRE COSTES-RESULTADOSToda intervención social mediante programas involucra la utilización de recursos que en la mayoría de los casos son públicos, necesarios de contrastar desde el punto de vista: costes-beneficios, costes-efectividad. Esta es la razón por lo que es incluido dentro de este enfoque, este modelo economicista orientado a determinar la relación entre los recursos empleados y los beneficios obtenidos.

B) Enfoques centrados sobre el criterio de valor

Es condición de una evaluación de programas la utilización de un criterio de valor establecido previamente, para evaluar la información recogida sobre el programa. Al respecto De Miguel (2000, p. 6), sostiene que cuando asumimos un criterio de valor, estamos tomando partido de una determinada posición teórica que nos orienta sobre la organización del proceso y sobre la valoración propiamente dicha de la evaluación de programas. Esta es la razón por la cual se usa como enfoque para clasificar los modelos desde otro punto de vista distinto a la finalidad.Partiendo de los criterios de valor, podemos clasificar los modelos de evaluación de programas de la siguiente manera:

7.5. MODELOS CENTRADOS SOBRE LA EFICACIACuando los entes públicos entran a evaluar un programa, deben tener claro que lo que quieren evaluar es la cantidad y la calidad de los objetivos alcanzados con la aplicación del programa. En pocas palabras, las evaluaciones de los programas sociales públicos buscan la eficacia. Estos modelos pueden aplicar tres procedimientos distintos, a saber:Evaluar el grado de consecución de los objetivos previstos.

Evaluar los efectos colaterales del programa.

Evaluar en forma abierta, evaluando los resultados esperados y no esperados. De Miguel (2000).• • • • •

7.6. MODELOS CENTRADOS SOBRE LA EFICIENCIA

A la hora de evaluar un programa puede ser que el interés esté centrado en saber cuáles son los beneficios del programa en función de los recursos empleados. Cuando este es el criterio de valoración asumido, se procede a usar una metodología basada en la eficiencia. Estos modelos usualmente proceden mediante:

Enfoques basados en la relación costes-beneficios, donde tanto el inicio como la terminación de la aplicación de un programa se calcula en términos monetarios.

Enfoques coste-eficiencia, donde se evalúa el inicio del programa en términos económicos y la terminación de la aplicación en función de impacto real. (Rossi y Freeman 1993).

185 Evaluación de Programas

7.7. MODELOS CENTRADOS EN LOS PARTICIPANTES

En estos modelos el criterio para evaluar los programas, es la respuesta que ellos dan a la satisfacción de las necesidades, a las expectativas y a los intereses de las personas participantes. En pocas palabras, el criterio para evaluar la efectividad está centrado en los participantes. Son modelos descriptivos que se agrupan así:

Modelos basados en los participantes a quienes va dirigido el programa.

Modelos basados en las expectativas e intereses de los destinatarios del programa (Lincoln y Guba 1985)• •

7.8. MODELOS PROFESIONALES

Tienen estos modelos su razón de ser, en la falta de concreción de los objetivos del programa, cuando no se ha pautado un proceso de evaluación desde la planificación del programa. Entonces, el evaluador es la persona encargada de fijar los criterios de valor que utilizará en la evaluación del programa. Definitivamente, la calidad de estas evaluaciones va a depender de muchas variables externas al programa, entre ellas: la formación y experiencia del evaluador, el rol y papel del evaluador, si es interno o externo, si la evaluación es formativa o sumativa,...

7.9. MODELOS ORIENTADOS HACIA LA CALIDAD TOTAL

Por último, dentro de este enfoque de criterios de valor podemos situar los modelos que buscan determinar lacalidad del programa, donde el enfoque asumido es integral, en el sentido de abarcar todos los aspectos del programa, así como todos los implicados. En estos modelos es muy importante clarificar lo que se entiende por calidad del programa, de sus procesos y de sus resultados. (Martín 1993, Martín y Kettner 1996)

C) Enfoques en función del rol que desempeña el evaluador

La acción del evaluador y el procedimiento que ha de aplicar en la evaluación de programas, constituye otro factor a tener en cuenta a la hora de clasificar los modelos de evaluación de programas. Este enfoque contempla los siguientes modelos:186 Evaluación de Programas

7.10. MODELOS DE EVALUACIÓN EX ANTES/EX POST

El criterio utilizado para hacer la presente clasificación de los modelos de evaluación de programas es la previsión o no del proceso de evaluación. En tal sentido, si el proceso de evaluación del programa está pautado desde la etapa inicial de planificación de la intervención, el evaluador podrá realizar el procedimiento y tomar las previsiones necesarias en dicho procedimiento de evaluación. Mas esto no suele suceder regularmente, de allí que el evaluador ha de ajustarse al momento en que se encuentra el programa objeto de evaluación e iniciar su trabajo. Estas consideraciones son significativas cuando se evalúa un programa, pues determina el modelo que debe seguir el evaluador y su papel en el mismo.

7.11. MODELOS DE EVALUACIÓN INTERNA / EXTERNA

¿Qué relación guarda el evaluador con el programa? Constituye otro interrogante que determina el papel ejercido por el evaluador en la evaluación. Si el especialista se encuentra frente a una evaluación que ha sido planificada en la etapa de planificación de la intervención, su papel será más interno, orientado a evaluar el programa en función a los objetivos previstos del servicio que promueve la intervención. Si, por el contrario, el evaluador se sitúa fuera del programa y realiza una tarea más de valoración sobre las estrategias llevadas a cabo en función de las necesidades de los destinatarios, sus planteamientos sobre el proceso son distintos, y los criterios que orientan sus juicios serán mas o menos objetivos, dependiendo de la condición de su papel interno o externo frente al programa objeto de evaluación.

7.12. MODELOS ORIENTADOS HACIA LA EVALUACIÓN SUMATIVA/FORMATIVA

Otro criterio importante que marca el papel del evaluador dentro de su función es la utilización que se haga del proceso de evaluación. Para Scriven (1967), existe diferencia entre la evaluación sumativa y formativa.

La evaluación formativa, denominada también de seguimiento o de proceso, es la evaluación llevada a cabo durante la aplicación del programa y se usa esencialmente para la mejora y perfeccionamiento del programa. Por otra parte, la evaluación sumativa también llamada de resultado o de impacto, se realiza al final de la aplicación de la intervención y se usa para emitir juicios sobre el programa y sobre la contabilidad y justificación del mismo. Estos modelos constituyen dos tipos de evaluación complementaria, pues un programa necesita tanto la evaluación formativa de todos los elementos que lo conforman en su elaboración, como de una evaluación de sus resultados finales.

El papel de cara a estos dos modelos de evaluación es distinto y determinará el procedimiento a seguir y la emisión de juicios de valor.

D) Enfoques en función a los propósitos o funciones de la evaluación .

7.13. MODELOS DE EVALUACIÓN PROACTIVO Y REACTIVOS

Este enfoque es planteado por Stufflebeam y Shinkfield (1987).

Cuando el propósito o función de la evaluación es asistir a la toma de decisiones sobre el programa, estaremos frente a una evaluación Proactiva, y si el propósito o función de la evaluación es la contabilidad del programa, entonces la evaluación es reactiva y se usa para justificar la asignación presupuestaria. Estos criterios tampoco son opuestos, ambos se complementan y son necesarios en al evaluación de las intervenciones sociales.

Frente a esta clasificación de los modelos de evaluación, todo posicionamiento unilateral resulta estrecho a la hora de evaluar un programa, y aparece más apropiada una postura fundamentada en la complementariedad de enfoques y modelos en función de los fines y de la realidad concreta del programa. (Pawson y Tilley, 1997; Stake y Mabry, 1997; Fernández R, 1996).

8. DISEÑOS DE LA EVALUACIÓN DE PROGRAMAS

Partiendo de la definición de diseño de Anguera (1992) se entiende por diseño: "La estrategia o plan que se sigue, donde se especifican las secuencias de decisiones acerca de cómo recoger, ordenar y analizar los datos en función de los fines del programa." El diseño lo podemos considerar como sinónimo de plan o estrategia metodológica que guía el proceso de evaluación de un programa.

Con respecto a la clasificación de los diseños existen tantos criterios como estudiosos del tema. En esta investigación desarrollamos la clasificación de diseños de De Miguel, M. (2000).

A) Diseños en función del enfoque o paradigma adoptado

El evaluador al asumir un posicionamiento cualitativo o cuantitativo frente al proceso de evaluación de programa, también asume un determinado diseño. En este sentido autores como Guba y Linclon (1981), Cronbach (1982), Guba y Linclon (1987) han planteado que de acuerdo con este criterio existen dos tipos de diseños de evaluación de programas:

8.1. EL DISEÑO PREORDENADO

Es un diseño de evaluación de programas detallado de todos los elementos del proceso: objetivos, audiencias, información necesaria, instrumentos utilizados en la recolección de la información, fuentes, técnicas de análisis, criterios de comparación,...

Todo está previamente detallado en el proyecto de la evaluación. Es un plan cerrado que guía la ejecución de la evaluación y que genera validez en los resultados.

8.2. EL DISEÑO RESPONDENTE

Cuando la finalidad de la evaluación del programa es lograr la participación y valoración de los implicados, estamos frente a un diseño respondente que no puede estar previamente determinado, es flexible a lo largo del proceso evaluativo, toma en cuenta las valoraciones de las personas implicadas en función de sus necesidades y expectativas y utiliza una metodología y estrategias cualitativas e interpretativas. Son diseños que se reacomodan conforme al devenir del proceso de evaluación.

B) Diseños en función del nivel de control sobre las variables del programa

Si asumimos el término diseño como estrategia metodológica mediante la cual se pretende probar el efecto de una o más variables manipulables, la elaboración de esta estrategia metodológica implica establecer el procedimiento que permita probar los efectos de un programa de intervención.

Si asumimos el término diseño desde el punto de vista experimental, estaremos en presencia de un diseño de evaluación de programas que manipula las variables, tiene grupo de control y sus destinatarios son escogidos mediante procedimientos aleatorios. De esta consideración se desprenden los siguientes diseños:

8.3. LOS ESTUDIOS OBSERVACIONALES

Estos diseños se caracterizan por ser muy flexibles, no hay manipulación del programa, los individuos observados no son seleccionados mediante procedimientos aleatorios y la aplicación del programa evaluado se da en un ambiente natural, los instrumentos de recolección de datos son elaborados para la evaluación del programa específico, a fin de realizar el tratamiento estadístico mediante parámetros primarios y secundarios.

8.4. LOS ESTUDIOS SELECTIVOS

Son planes de evaluación de programas prefijados, donde se especifican los procedimientos a utilizar en la comparación de los grupos sobre los cuales se ha aplicado el programa. Sin embargo, son diseños donde no hay control externo y los colectivos sobre los cuales se hace la evaluación no han sido elegidos mediante procedimientos aleatorios. En tal sentido, son variables y se concretan previamente los instrumentos utilizados en la recolección de la información necesaria como de la información requerida para hacer la comparación entre los grupos.

8.5. LOS ESTUDIOS CUASI EXPERIMENTALES

Son diseños que requieren elevado control en la aplicación del programa, pero los sujetos o grupos a quienes se le aplica no son escogidos mediante procedimientos aleatorios y los contextos de aplicación son difíciles de controlar. Este diseño se construye de conformidad con la nomenclatura y modalidades estándar de los estudios cuasi-experimentales en el investigación social.

8.6. LOS ESTUDIOS EXPERIMENTALES

Cuando los programas que se evalúan permiten la metodología experimental, el diseño elaborado para su evaluación es experimental, requiriéndose de programas altamente estructurados, manipulables, con grupos de control y selección de sujetos por los procedimientos aleatorios, en consecuencia la evaluación es decidida previamente y el diseño responde a las características de la metodología experimental, todos estos diseños están centrados en los resultados y/o el impacto de los programas.

C) Diseños en función del proceso de control

Si la evaluación del programa está encaminada a la valoración del diagnóstico de necesidades, del diseño del programa, y a la implementación práctica, es necesario diseñar también un procedimiento, es decir, una metodología de control sobre el proceso que permite afirmar la objetividad y validez de los juicios de valor emitidos. De acuerdo con este criterio los diseños pueden ser:

8.7. EL DISEÑO COMPARATIVO

En los diseños comparativos como su nombre lo indica, la información procesada sobre el programa es comparada con la información obtenida de otros grupos no sometidos a la intervención, existe grupo de control y la forma como se selecciona este grupo determina la calidad del sistema de control. Podemos afirmar que es importante en estos diseños clarificar si los grupos de ensayo y de control son seleccionados al azar o mediante procedimientos aleatorios, matemáticos; pues de ello depende la rigurosidad del diseño.

8.8. EL DISEÑO NO COMPARATIVO

En algunas ocasiones no se establecen grupos de control en los diseños de evaluación de programas porque es poco práctico o imposible de hacerlo. En estos casos, transitamos los espacios del paradigma naturalista y de la investigación cualitativa. En este diseño se hace necesario precisar si la comparación se efectúa de acuerdo con normas sobre la población de referencia (controles genéricos) o de acuerdo con la valoración que hacen los implicados con el programa, la que hacen los expertos, la hecha por los que administran los programas,... (controles de sobra)Al concluir esta apretada síntesis sobre las diferentes clasificaciones de los diseños, nos atrevemos a decir con respecto a ellos que: el posicionamiento más apropiado en la evaluación de programas es el diseño ecléctico, y que le corresponde al evaluados decidir el diseño de la evaluación de acuerdo con el objetivo de la evaluación y el enfoque teórico que lo fundamenta.

9. RELACIÓN ENTRE LOS MODELOS Y LOS DISEÑOS DE LA EVALUACIÓN DE PROGRAMAS

Existe una marcada relación entre los modelos y los diseños, ambos constituyen dos momentos del procedimiento a seguir en la evaluación de programas. Todo modelo determina el criterio teórico seguido por el evaluador en cuanto a la naturaleza del programa objeto de la evaluación, la finalidad de la evaluación, y el control que el evaluador tiene sobre las diferentes fases del programa.

De acuerdo con la decisión que el evaluador ha hecho respecto al modelo, se asume el diseño o plan del proceso de evaluación, se determina la información que se necesita, asimismo, los instrumentos que van a permitir la recolección de dicha información y se determina el criterio que va servir de fundamento a los juicios de valor que se van a emitir.

En otras palabras, se trata del posicionamiento teórico y práctico del evaluador frente al proceso de evaluación del programa, hecho sobre la base de la finalidad de la evaluación, el paradigma asumido, y el papel desempeñado por el evaluador en el proceso. Cuando se elige un diseño para una evaluación, es importante que se precise el nivel de planificación, la metodología que se utilizará y el sistema de control que garantiza la validez de los juicios que se emiten.

Creemos que toda evaluación de programas tiene como fin último la toma de decisiones sobre su mejora y, en consecuencia, se requiere que los evaluadores se posicionen de enfoques integradores, comprensivos y eclécticos que integren aproximaciones teóricas y estrategias metodológicas.

10. EL PROCESO DE EVALUACIÓN DE PROGRAMAS

Fernández (1996, p. 75), sostiene "que la evaluación de programas se lleva a cabo mediante un proceso de toma de decisiones a través del cual se planifica, se recogen datos y se informa sobre el valor o mérito del objeto de la evaluación". La autora propone seis etapas o fases básicas en el proceso de evaluación de programas:

Fase 1. Planteamiento de la evaluación. Fase 2. Selección de operaciones a observar. Fase 3. Selección del diseño de evaluación. Fase 4. Recogida de información. Fase 5. Análisis de datos. Fase 6. Informe.

A continuación siguiendo el planteamiento de Fernández Ballesteros (1996, pp. 76-112) desarrollamos las fases propuestas sobre el proceso de evaluación de programas.

10.1. FASE 1: PLANTEAMIENTO DE LA EVALUACIÓN

El planteamiento de la evaluación constituye el punto de partida del proceso de evaluación. En esta fase se recoge información sobre el programa, sobre todas las condiciones que le rodean y sobre los que dirigen la evaluación. Las interrogantes que centran esta fase son:

1. ¿Quién solicita la evaluación?

2. ¿Para qué se solicita?

3. ¿Qué se pretende evaluar?

4. ¿Qué obstáculos pudieran producirse durante la evaluación?

5. ¿Es posible llevar a cabo la evaluación?

¿Quién solicita la evaluación?

Esta primera interrogante plantea la confección del organigrama del trabajo. En él se organizan las funciones, los cargos, los solicitantes y las implicaciones de los sujetos en el proceso de evaluación y en el programa. Se inicia la recolección de la información mediante la consulta de documentos sobre la elaboración del programa y su planificación, se entrevista tanto a los solicitantes de la evaluación como a los implicados en el programa.

¿Para qué se solicita la evaluación?

Corresponde este interrogante a la clarificación sobre los propósitos que persigue la evaluación propuesta, es fundamental que el evaluador tenga muy claro qué se propone lograr a través del proceso de evaluación, y esto se puede conseguir a través de una entrevista con la persona o institución que solicita la evaluación del programa.

¿Qué se pretende evaluar?

En esta primera fase, es tarea del evaluador especificar el objeto a evaluar precisando tanto el punto en el que se encuentra el programa, como la amplitud contextual; esta clarificación se puede lograr a través del análisis sobre documentos relativos al programa así como entrevistas con los planificadores, gestores e instituciones donde se aplicó el programa. En síntesis, este proceso de indagación debe llevar al evaluador a obtener una pormenorizada especificación del programa objeto de la evaluación.

¿Qué obstáculos pueden aparecer durante la evaluación?

La información recabada durante esta primera fase del procedimiento de evaluación le permite al evaluador poder hacer algunas previsiones a fin de evitar posibles obstáculos en el desarrollo del proceso. Los obstáculos pueden venir de parte de los destinatarios del programa, de los implicados en la evaluación, del propio programa porque no reúne las condiciones para que un programa sea evaluado ..., luego de hacer el respectivo análisis de la información lograda hasta este momento, se vislumbraran los obstáculos y las posibles soluciones.

¿Es posible llevar a cabo la evaluación?

Esta interrogante está vinculada con la evaluabilidad del programa. Es el resumen de todo lo actuado hasta este momento. Determinar si un programa puede ser evaluado o no tiene que ver con dos condiciones básicas: por una parte, la calidad del programa, es decir, como ha sido su planificación y ejecutado y, por otra, que obstáculos y barreras pueden surgir en el proceso de evaluación. El examen sobre la calidad del programa, su planificación, implantación, y ejecución proporcionan al evaluador información importante para determinar la viabilidad del proceso. De allí que toda información relacionada con las cuestiones siguientes, pueden ayudar a determinar la evaluabilidad del programa.¿El programa surgió como consecuencia de una evaluación de necesidades?

¿El programa tiene formulados los objetivos y las metas a alcanzar?

¿Existe información sobre su potencial suficiencia o adecuación?

¿El programa está bien definido y especificado?

¿Existen datos sobre su nivel de implicación?

¿Qué calidad de diseño de evaluación permite?

¿Qué tipo de operaciones a observar necesita?

¿Existen ya datos tomados sobre el contexto?

La previsión de las barreras que puedan surgir en el proceso de evaluación es el otro examen que se requiere hacer previamente y con respecto a esto, cabe preguntar:

¿Los implicados aceptan la evaluación?

¿Algunos pueden poner obstáculos?

¿Cuál es la implicación del evaluador con el programa?

¿Puede el evaluador ser objetivo e imparcial?

¿Qué costos lleva implícito la evaluación?

Al concluir esta primera etapa, el evaluador estará en condiciones de determinar si procede o no la evaluación del programa.

10.2. FASE 2: SELECCIÓN DE LAS OPERACIONES A OBSERVAR

Se entiende por operaciones a observar: "Las manifestaciones que se registran en las unidades que han recibido el programa y que suponen expresan sus efectos". (Cronbach, 1982). Esta fase la integra: la recolección de la información, la elaboración de instrumentos, el procedimiento para recoger la información, las técnicas utilizadas, los implicados que pueden suministrar distintas informaciones, la triangulación de la información. En síntesis, en esta etapa del proceso de evaluación, el evaluador debe asumir su posicionamiento sobre qué evaluar, con qué evaluar, y que fuentes de evaluación va a utilizar. En esta fase Fernández B. (1996) plantea unas preguntas que clarifican el procedimiento a seguir:Dada la finalidad de la evaluación, los objetivos y las metas del programa, ¿Qué operaciones de las unidades expresan mejor los cambios producidos en ellas como consecuencia del programa?

¿Han de ser considerados otros efectos del programa potencialmente evaluables?

¿Existen indicadores o medidas de los posibles cambios del programa fácilmente accesibles y/o habrá que proceder a la construcción de instrumentos ad hoc para poder hacer la observación de tales operaciones?

¿Qué fuentes de información son las que ofrecen más garantía?

¿Qué criterios de bondad van a ser requeridos o son potencialmente exigibles?

¿Qué datos sobre la implantación se pueden recoger?

En la primera pregunta la autora hace el siguiente análisis:

La evaluación puede tener como objetivo constatar si los objetivos del programa se han logrado. Frente a este requerimiento el evaluador debe determinar si dichos objetivos han sido descritos pormenorizadamente. Si así resultan, ellos deben ser tomados como operaciones a observar; en caso contrario, el evaluador ha de especificar los objetivos según medidas concretas e indicadores. También puede darse el caso de que el programa no tenga descripción ni general ni pormenorizada de los objetivos. En este caso, el evaluador tendrá que especificarlos mediante entrevistas, cuestionarios y reuniones con los destinatarios implicados. Resumiendo: si el objetivo de la evaluación es emitir juicios de valor sobre el programa de acuerdo con el logro de sus objetivos, el evaluador tendrá que hacer la indagación sobre los objetivos pautados en programa por los planificadores o tendrá que especificarlos a través de los diferentes implicados, mediante medidas o indicadores concretos que reporten ser los adecuados para determinar los efectos del programa.En la pregunta ¿han de ser considerados otros efectos del programa potencialmente evaluables?, el examen sobre la literatura del programa, los implicados, y otros expertos en el tema son una fuente de información muy rica a la hora de

establecer las operaciones observables tanto positivas como negativas. La diversidad de consultas que el evaluador haga sobre los efectos potenciales del programa, los instrumentos a utilizar en la recolección de la información, las medidas, los indicadores, aquilatan los criterios emitidos sobre las bondades o perversidades del programa evaluado.¿Existen indicadores o medidas de los posibles cambios del programa fácilmente accesibles y/o habrá que proceder a la construcción de instrumentos para proceder a la observación ad hoc de tales operaciones?

Generalmente la evaluación de programas sociales debe confrontar la limitación económica. Esta es la razón por la cual el evaluador ha de tener muy claro los indicadores que le demuestren el logro previamente establecidos y los instrumentos a través de los cuales se obtendrá la información en la valoración del programa.

¿Qué fuentes de información son las que ofrecen más garantías?

En la recolección de la información, también es de significativa importancia las fuentes que puedan brindar información, proveniente de diferentes audiencias con distintos grados de credibilidad, fiabilidad y validez. De allí que los indicadores, los medios y las fuentes de información han de ser registradas adecuadamente y apropiadas a las operaciones que queremos observar. Estas aclaratorias son de fiel cumplimiento para el evaluador, quien debe valorar la credibilidad de las fuentes de información con antelación a la toma de decisión sobre que operaciones tiene que observar para emitir el juicio de valor que se le está solicitando a través de la evaluación.

¿Qué criterios de bondad van a ser requeridos o son potencialmente exigibles?

Las garantías de las operaciones a observar están determinadas por las ciencias sociales, y los requisitos que deben cumplir son diferentes, dependiendo de los niveles de complejidad, simplicidad, de la medida o el indicador que dará muestra de haberse cumplido el resultado deseado; por ello, al preguntarse sobre las garantías que deben ser exigibles para su utilización como operación a observar, hay que tener en cuenta estas consideraciones: la sensibilidad de las operaciones que se observan, la objetividad de las operaciones a observar, la estabilidad de la medida que se adopta y la validez de la variable, la medida y el indicador.

¿Qué datos sobre el contexto de implantación se puede recoger?

El contexto es de suma importancia en la evaluación de programas porque debe describirse el ámbito de observación de las operaciones relevantes que demostrarán los logros del programa. Además, en la decisión sobre el diseño de la evaluación seguramente dicho contexto se ha de tomar en cuenta. Todo contexto en la evaluación de programas incluye la localización geográfica y político-administrativa del programa así como cualquier otra variable socio-ambiental relevante durante el proceso de implantación y de evaluación del programa.

10.3. FASE 3: SELECCIÓN DEL DISEÑO DE EVALUACIÓN

El diseño de evaluación garantiza una recolección de información sobre el programa y su circunstancia de forma organizada, ha de estar en relación con los propósitos y objetivos de la evaluación y con la parte presupuestaria, y debe plantear una evaluación sumativa y formativa. El evaluador, al emprender la selección del diseño de evaluación, debe preguntarse: ¿El programa tiene un diseño de evaluación previamente establecido? ¿Qué otros diseños se pudieran aplicar? ¿Qué amenazas de validez interna y externa pueden existir? ¿Qué unidades de observación van a ser seleccionadas? Seguramente la respuesta a estas cuestiones guiará adecuadamente la selección del diseño.

10.4. FASE: 4 RECOGIDA DE INFORMACIÓN

Esta fase presupone la decisión sobre las operaciones a observar, y el diseño a utilizar, mas, es importante que se tenga en cuenta antes de proceder a la recolección de información pertinente a la evaluación del programa las siguientes cuestiones: ¿cuál es la lógica que debe seguir la recolección de información? y ¿qué potenciales sesgos van a producirse durante la recogida de la información?

En cuanto a la lógica de la recolección de información, hay la exigencia de determinar los calendarios, la formación de los observadores, la solicitud de autorización para la obtención de datos de archivo, la selección de instrumentos,

medidas, indicadores fiables y validos, la selección de las fuentes de información, determinar diferentes tipos de procedimientos para recoger la información, preparar protocolos de recogida de información, contar con la aprobación y preparación de los implicados en el proceso. En síntesis, esta fase es de capital importancia en el proceso de evaluación, pues de ella va a depender la solvencia total del proceso y la calidad de los juicios de valor emitidos sobre el programa,

10.5. FASE 5: ANÁLISIS DE DATOS

Constituye esta fase el proceso por el cual se elaboran en forma racional y estadística los datos, con el fin de sintetizar la información y dar respuesta a los propósitos de la evaluación. El tipo de análisis que se haga va a depender en parte de la naturaleza de los datos (cuantitativos, cualitativos) y del propósito de la evaluación. En esta fase, el evaluador ha de saber cómo se almacenará y codificará la información, qué tipo de análisis se realizará en función de los datos que se disponen y de las relevantes, y cuál es el criterio que sustenta los análisis.

10.6. FASE 6: EL INFORME

Constituye esta fase, la transmisión de los resultados en forma oral o escrita a las personas o instituciones que solicitaron la evaluación y a todos aquellos interesados o potencialmente beneficiarios de ella. La elaboración del informe va a depender de los propósitos de la evaluación, de las personas o instituciones que ordenaron la evaluación, y de las potenciales audiencias implicadas que haya que informar.

Esta apretada síntesis constituye una presentación de un tema de capital importancia en la tesis doctoral, donde la autora tiene toda la motivación de ir accediendo cada día a un conocimiento más elaborado sobre el tema de evaluación y fundamentalmente sobre la evaluación de programas de orientación psicopedagógica y vocacional.

ACTIVIDADES:

DE ACUERDO A LO LEÍDO, COMENTA CUAL ES EL PROCESO DE EVALUACION CURRICULAR

4.2.1 ENTRADAS

4.2.3.1. Evaluación Interna

4.2.3.2. Evaluación Externa

5. EVALUACIÓN DOCENTE

5.1 Definición.

5.2 Funciones.

5.3 Estado actual.

6. EVALUACIÓN DE LAS PRÁCTICAS EDUCATIVAS

6.1 De sistemas.

6.2 Institucional.

6.3 De programas.

7. ACREDITACIÓN Y CERTIFICACIÓN

7.1 De Instituciones

7.2 De programas

7.3 De profesionistas