Upload
adoncia-britto
View
25
Download
0
Embed Size (px)
Citation preview
LA NUEVA GENERACIÓN DE LOS EGEL: CARACTERÍSTICAS, VENTAJAS Y
CONDICIONES DE USO
Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval)Dirección General Adjunta de los EGEL.
6 de diciembre de 2007Campeche, Campeche
Jorge Hernández Uralde Director General Adjunto de los
EGEL
CONTENIDO
1. Los Exámenes Generales para el Egreso de la Licenciatura• Propósito• Características • Alcance• Datos sobre su expansión• Delimitación de contenido
2. Revisión y actualización de los EGEL en operación• Justificación• Enfoque metodológico
3. La nueva Generación de los EGEL• Ventajas• Condiciones para su adecuada aplicación• Interpretación de resultados
4. Resumen
• El EGEL es una prueba nacional, especializada por carrera profesional, que tiene como objetivo…
– Identificar la medida en que los egresados de la Licenciatura cuentan con los conocimientos y habilidades esenciales para el inicio del ejercicio profesional en el país.
PROPÓSITO DEL EGEL
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
CARACTERÍSTICAS DEL EGEL
ATRIBUTO DEFINICIÓN
Especializado por carrera profesional
Considera las particularidades de contenido y enfoque de una formación profesional particular. No incluye conocimientos y habilidades profesionales genéricos.
De alcance nacional
Considera los aspectos esenciales de la formación profesional. No está referido a un currículo en particular.
Estandarizado Cuenta con reglas fijas de diseño, elaboración, aplicación y calificación.
Criterial Se diseña con referencia a un estándar de desempeño preestablecido.
De máximo esfuerzo
Permite establecer el nivel de rendimiento del sustentante, sobre la base de que éste hace su mejor esfuerzo al sustentar la prueba.
Objetiva Tiene criterios de calificación unívocos y precisos, lo cual permite su automatización.
Sensible a la instrucción
Evalúa resultados de aprendizaje de programas de formación profesional, los cuales son una consecuencia de la experiencia educativa.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
ALCANCE DEL EGEL
• Con el uso continuo y sistemático del EGEL se espera poder contar con información válida y confiable que contribuya a establecer, fundamentalmente, tres aspectos:
1. El grado de idoneidad de cada egresado con respecto a un estándar de formación nacional;
2. El nivel de eficacia y pertinencia de los distintos programas y modalidades de formación profesional que administran las IES;
3. Los indicadores de rendimiento a partir de los cuales, los organismos acreditadores respectivos, puedan identificar los méritos de cada programa de licenciatura en cada institución educativa.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
EXPANSIÓN DE LOS EGEL
• Existen 33 EGEL en operación.
• El próximo año entrarán en operación tres más:
− Ciencias de la Comunicación
− Nutrición
− Biología
• En 2008 se iniciarán los estudios de factibilidad de otros seis exámenes.
• De 1994 a la fecha, más de 450, 000 egresados de la Licenciatura han sido evaluados por un EGEL.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
EXPANSIÓN DE LOS EGEL Durante 2007:
• Más de 80, 000 egresados sustentaron alguno de los 33 EGEL en operación. Representando cerca del 40% del total del egreso nacional de las Licenciaturas relacionadas con estos EGEL.
• Los sustentantes del EGEL provienen de más de 300 IES, públicas y privadas, de todas las entidades federativas del país.
• Un número importante de estas IES han establecido en sus reglamentos de exámenes y titulación, la sustentación y aprobación del EGEL como requisito previo para la titulación.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN
• En la delimitación del contenido de la mayoría de los EGEL en operación, se puso en práctica una metodología, fundamentalmente, centrada en la oferta educativa de las IES.
1° Se identificaron los puntos en común de los perfiles profesionales de egreso y los contenidos de los planes de estudio de las licenciaturas;
2° De este conjunto de aspectos, se seleccionaron aquellos que se consideraron críticos para el ejercicio de cada profesión.
3° A partir de la importancia relativa de cada uno de estos aspectos, se determinó su peso específico en el examen.
4° A partir del nivel de profundidad con el que se estudian en la licenciatura, se determinó el nivel de complejidad cognitiva en que son evaluados.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
DELIMITACIÓN DEL CONTENIDO DE LOS EGEL EN OPERACIÓN...
• Los supuestos que subyacen a este enfoque son:
1. Los planes y programas de estudios de la licenciatura están relacionados con las necesidades del ejercicio profesional;
2. Los contenidos de mayor importancia disciplinar o formativa suelen ser los que se comparten por los diferentes planes de estudios;
3. La calidad académica y profesional de los integrantes de los Consejos Técnicos y su cuerpos auxiliares, garantiza que los contenidos finalmente seleccionados, refieran a conocimientos y habilidades críticos para el inicio del ejercicio profesional.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
JUSTIFICACIÓN
• La principal responsabilidad de una agencia dedicada al desarrollo y operación de instrumentos de evaluación consiste en asegurar...
– que la validez y confiabilidad de éstos sea una constante, es decir, que midan lo que deben medir, con exactitud, durante el tiempo que se mantengan en operación.
• Por ello, están obligadas a realizar, periódicamente (óptimamente cada cinco años o seis años) la revisión y actualización de los instrumentos que operan.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
JUSTIFICACIÓN …
• En el caso del CENEVAL y los EGEL, la importancia que
tiene esta revisión y actualización se acrecienta, en virtud
de que:
– Las profesiones y los planes de estudio de formación
profesional, son campos dinámicos en constante
transformación;
– Nos encontramos en una etapa de aceptación y uso
generalizado de los EGEL por parte de las IES,
públicas y privadas, de todo el país.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
IMPLICACIONES INSTITUCIONALES
• Realizar la revisión y actualización de los EGEL en operación, implica la puesta en práctica de un complejo proceso, metodológico, técnico y de generación de consensos en el que participan...
– Más de 600 expertos de IES, colegios y asociaciones profesionales e instancias empleadoras de todo el país, que integran los Consejos Técnicos de los distintos EGEL.
– Miles de académicos y profesionistas en ejercicio, vinculados con las respectivas licenciaturas y carreras profesionales, que responderán una encuesta de validación sobre tareas profesionales.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN
DEL CONTENIDO DE LOS EGEL
• Para fortalecer la objetividad del proceso de revisión y actualización de los EGEL en operación, se planteó seguir una metodología diferente:
– Centrada en la identificación de los puntos de encuentro entre la oferta educativa y los requerimientos del mundo del trabajo.
– Toma también en cuenta los puntos en común de los Currículos de la licenciaturas, pero teniendo un punto de partida distinto…
• la recuperación de lo que hacen las personas al enfrentar y resolver situaciones y problemas característicos de la profesión.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
ENFOQUE PARA LA REVISIÓN Y ACTUALIZACIÓN
DEL CONTENIDO DE LOS EGEL… Se requiere, progresivamente, especificar:
1. El papel y las responsabilidades del profesionista en la sociedad en términos de funciones profesionales;
2. Las actividades profesionales típicamente involucradas en cada función profesional,
3. Las tareas que resultan críticas para el desarrollo de cada una de las actividades profesionales identificadas,
4. De estas tareas críticas, aquellas que se abordan en la mayor parte de los currículos de las licenciaturas respectivas del país,
5. Los conocimientos y habilidades que son esenciales para la adecuada realización de estas tareas profesionales.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
ESTRUCTURA DEL EGEL
DEFINIR FUNCIONES PROFESIONALES
IDENTIFICAR LAS ACTIVIDADES
RELACIONADAS CON LAS FUNCIONES PROFESIONALES
DEFINIR LAS TAREAS CRÍTICAS DE CADA
ACTIVIDAD
IDENTIFICAR LOS CONOCIMIENTOS Y LAS HABILIDADES
IMPLICADOS EN LAS TAREAS
DEFINIR OPERACIONALMENTE LOS CONOCIMIENTOS
Y HABILIDADES
DETERMINAR Y ACOPIAR
FUENTES DE INFORMACIÓN
VALIDAR
SI
NO
VALIDAR
SI
NO
VALIDAR
SI
NO
VALIDAR
SI
NO
VALIDAR
SI
NO
PROCEDIMIENTO PARA LA REVISIÓN Y ACTUALIZACIÓN DEL EGEL
ENCUESTA PARA LA VALIDACIÓN SOCIAL DE LAS TAREAS PROFESIONALES
Objetivos de la encuesta:• Confirmar las tareas que deben ser consideradas para la
delimitación del contenido del EGEL• Determinar el peso específico que tendrán en el EGEL los
conocimientos y habilidades implicados en cada tarea profesional
• Recoger sugerencias sobre tareas que deben ser contempladas para la delimitación del contenido del EGEL
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
ESPECIFICACIÓN DE REACTIVOS
• La especificación de un reactivo es…
– La descripción detallada de lo que se espera que el sustentante sea capaz de realizar como evidencia de que posee un conocimiento o habilidad cognitiva determinada.
• Incluye, como condición indispensable, la descripción, en términos observables, de dos aspectos:– La acción que el sustentante debe ser capaz de
realizar, en el contexto de la prueba. – Las condiciones en las que se espera realice esta
acción, en el contexto de la prueba.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
ESPECIFICACIÓN DE REACTIVOS
• Para el caso del EGEL incluye también la descripción de un tercer aspecto fundamental:
– El papel y la importancia que tienen los conocimientos y habilidades cognitivas que se pretenden medir, en el contexto de la ejecución de la tarea profesional en la que están implicados.
– Esta descripción, constituye un referente muy importante para la elaboración de reactivos a partir de “casos” o problemas profesionales.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
Revisión estilo
Validación externa
Especificación reactivo
Revisión técnica
Elaboración reactivos
Estructura del examen
Revisión técnica
Revisión técnica
Revisión técnica
Calibración piloto
Revisión técnica
Ensamble versión operativa
Revisión editorial
Revisión técnica
Calibración operativa
Mantenimiento de banco
Ensamble versión piloto
Revisión técnica
Revisión editorial
Migración
BRAE SII
FASES DE CONSTRUCCIÓN Y MANTENIMIENTO
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
Distribución de materiales
Aplicación del examen
Lectura hojas de respuesta
Calificación de los sustentantes
Emisión de reportes
FASES FINALES DEL PROCESO
Impresión de materiales
Establecimiento de puntos de corte y especificación niveles de
desempeño
Elaboración de bases de datos
Calibración de reactivos
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
VENTAJAS DEL EGEL DE NUEVA GENERACIÓN
• Su contenido se encontrará:
– Socialmente validado
– Definido en forma más precisa y detallada
– Orientado a determinar si los egresados son capaces de utilizar lo que han estudiado y aprendido en su licenciatura, en situaciones similares a las que enfrentarán en el ejercicio profesional
• Contarán con estándares de desempeño definidos en forma cualitativa, con base en los cuales, se podrá conocer...
– Qué problemas y situaciones es capaz de resolver un sustentante cuando alcanza un desempeño satisfactorio y cuales, cuando alcanza un desempeño sobresaliente.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
CONDICIONES DE APLICACIÓN
• La potencialidad del EGEL de nueva generación está ligada al hecho de que se le utilice en forma apropiada.
• Se diseña y elabora como una prueba estandarizada, con el objeto de garantizar la comparabilidad de sus resultados:
– Siempre son iguales el dominio medido, las instrucciones, el formato, la tipografía de las preguntas y la forma de asignar las puntuaciones.
– Como se tienen diferentes preguntas en distintas versiones de la prueba, se utilizan procedimientos formales y estadísticos que garantizan que las versiones sean rigurosamente equivalentes para todos los sustentantes.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
CONDICIONES DE APLICACIÓN
• En su aplicación siempre son iguales los límites de tiempo, las restricciones y los materiales de apoyo que utiliza el sustentante.
• Sin embargo, hay un aspecto más sutil referido a las condiciones de aplicación que el Ceneval no controla:– La motivación con la que el sustentante enfrenta la
resolución de la prueba.
• Debe asegurarse que el sustentante al resolver la prueba haga su máximo esfuerzo. Para lo cual, es condición indispensable que…
– La IES usuaria, introduzca los incentivos necesarios, estableciendola como una evaluación de alto impacto en la vida académica del sustentante.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
LA INTERPRETACIÓN DE LOS RESULTADOS
• En las pruebas de evaluación educativas referidas a un criterio, como es el caso del EGEL, lo que se busca es:
• Comparar los resultados de una persona contra un patrón o estándar de desempeño, el cual…– Refiere a un cambio educativo deseado o previsto– Se define con independencia del puntaje obtenido por
el conjunto de los sustentantes.
• En el caso del EGEL de nueva generación, este estándar invariablemente, estará referido a…
– El dominio que debe mostrar el sustentante respecto de conocimientos y habilidades que se consideran indispensables para iniciarse en el ejercicio de la profesión.
.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
– El énfasis está en establecer categorías cualitativas más que diferencias cuantitativas entre los sustentantes.
– Se requiere establecer un punto de corte que permita identificar a partir de que puntaje el sustentante alcanza el estándar de desempeño
No satisfactorio
Satisfactorio
Sobresaliente
Las puntuaciones obtenidas, por tanto, permiten inferir los problemas y situaciones que el sustentante es capaz de resolver
INTERPRETACIÓN DE LOS RESULTADOS
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
LA INTERPRETACIÓN DE LOS RESULTADOS
• Con el EGEL de nueva generación, en el caso de la
evaluación del egresado, no es relevante:
― Conocer la posición relativa que éste ocupa en el continum de puntuaciones del total de personas que sustentaron la prueba.― Es decir…
– Si se encuentra entre los últimos o los primeros en el continum de puntuaciones de la población evaluada o
– Si su puntuación se encuentra o no cerca de, por ejemplo, la media aritmética, la desviación estándar, un determinado percentil.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
• En la evaluación de los programas de licenciatura, uno de los principales indicadores de calidad los es, sin duda, el nivel de aprendizaje efectivo alcanzado por sus estudiantes y egresados.
• Por tanto, al utilizar el EGEL de nueva generación, lo relevante es:
– la proporción de egresados que logran alcanzar el estándar de desempeño.
• Lo irrelevante:
– la puntuación promedio obtenida por el conjunto de egresados.
LA INTERPRETACIÓN DE LOS RESULTADOS
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
• En el caso de la comparación entre IES, lo relevante es:– la proporción diferencial en que se ubican los egresados de las
IES (equivalentes) en cada nivel de desempeño.• Lo irrelevante:
– la posición relativa en que se ubican los egresados de cada IES a partir de sus puntuaciones promedio.
INTERPRETACIÓN DE LOS RESULTADOS
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
LA INTERPRETACIÓN DE LOS RESULTADOS
• De cualquier forma, los resultados del EGEL no pueden considerarse, en ningún caso, como indicadores suficientes para obtener conclusiones absolutas sobre:
– la idoneidad profesional de un egresado o
–la calidad de un programa de formación profesional
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
LA INTERPRETACIÓN DE LOS RESULTADOS
• Entre otras cosas, porque no abarca la evaluación de aspectos relevantes de la formación de los egresados, tales como:
– Sus habilidades sociales, afectivas y motríces
–Sus valores
–Sus conocimientos y habilidades de tipo genérico
• Los resultados del EGEL deben verse, siempre, como indicadores complementarios de los demás que recojan las IES en su sistema de evaluación institucional.
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
LA INTERPRETACIÓN DE LOS RESULTADOS
Para poder hacer inferencias válidas respecto de la calidad
de un programa con base en los resultados del EGEL se
requiere, además, contar con los resultados de:
a. El conjunto de egresados del programa o
b. Una muestra representativa de ellos
Los Exámenes de Egreso de Licenciaturas
La revisión y actualización de los EGEL en operación
La nueva generación de EGEL
A MANERA DE RESUMEN
Realizar la revisión y actualización de los EGEL en operación, es una
responsabilidad insoslayable del Ceneval que implica la puesta en práctica de un
complejo proceso en el que participa una gran cantidad de representantes y
expertos de las IES y colegios profesionales y profesionistas en ejercicio.
Los EGEL de nueva generación, producto de este proceso:
• Representan un avance importante respecto a los vigentes, en virtud de que su
contenido se encontrará validado socialmente, definido con mayor precisión y
orientado a determinar si los egresados son capaces de utilizar lo que han
estudiado y aprendido en su licenciatura, en situaciones similares a las que
enfrentarán en el ejercicio profesional.
• Serán herramientas de evaluación sumamente poderosas, siempre y cuando se
les utilice y sus resultados se interpreten en consonancia con los propósitos y
supuestos teórico - metodológicos con base en los cuales se les diseña y elabora.