Embed Size (px)
Citation preview
05/02/2010
1
Medición y Evaluación de Objetivos Medición y Evaluación de Objetivos Educacionales del Programa
Lorena Landeo [email protected]
Sobre el Expositor:www.icacit.org.pe
Lorena Landeo Schenone se desempeña actualmente como asesora de políticas educativas en el Consejo Nacional de Educación el Consejo Nacional de Educación. Es magíster en Educación por la Universidad de Harvard y bachiller en Psicología Educacional por la Pontificia Universidad Católica del Perú (PUCP).
Estuvo a cargo del diseño del sistema de evaluación de la calidad del pre-grado de la PUCP y del diseño y coordinación del programa de formación de equipos técnicos de evaluación en 50 instituciones de educación superior de seis países de América Latina.
F di d d l t il t d dit ió Fue coordinadora del proyecto piloto de acreditación de ICACIT y pertenece al equipo de evaluadores responsable de la evaluación de procesos y políticas institucionales de soporte a la mejora de los programas de Ingeniería.
05/02/2010
2
Medición y Evaluación de Objetivos Medición y Evaluación de Objetivos Educacionales del Programa
Lorena Landeo [email protected]
Contenidos
Medición + Evaluación = Mejorawww.icacit.org.pe
Misión, Objetivos Educacionales y Outcomes
Retro-información Qué pedirA quién pedirCómo pedirCómo usar
05/02/2010
3
Medición + Evaluación = Mejorawww.icacit.org.pe
Recoger GenerarIdentificar
datos
RecogerOrganizar
datos
GenerarInformación
Analizar DecisionesInformación Interpretar
Valorar
DecisionesAccionesMejora
(Landeo, n.d.)
Misión, Objetivos Educacionales y Outcomes
www.icacit.org.pe
MisiónComité asesorEstudiantesMisión
Institucional Constituyentes
Objetivos Educacionales
EstudiantesDocentesEgresadosEmpleadoresReclutadoresPadres de familiaAsociaciones Profesionales
Outcomes
05/02/2010
4
Retro-información: Qué pedir
Incorporación de resultados de una evaluación de un proceso para mejorarlo
www.icacit.org.pe
¿Qué tipo de profesional estamos formando?
¿Es el tipo de profesional que se requiere a la luz de:La misión de la institución?Las necesidades de la sociedad?Las necesidades del ámbito laboral/académico en donde se desempeña?
¿Qué recomendaciones pueden ser incorporadas para mejorar la calidad (disciplina específica) y pertinencia (necesidades sociales y ( p p ) y p ( ylaborales) del programa? (ABET, n.d.)
Una vez incorporadas estas recomendaciones ¿En qué medida logramos formar al profesional que nos proponemos formar? (ABET, n,d)
Ejemplo: Definición, medición y evaluación de Objetivos Educacionales.
www.icacit.org.pe
(UCLA, n.d.)
Ver http://www.ese.upenn.edu/ugrad/abet/ee/assessment.htmlpara otro ejemplo
05/02/2010
5
Retro-información: A quién pedir
Comité Asesor: Miembros de asociaciones profesionales in estigadores docentes
www.icacit.org.pe
profesionales, investigadores, docentes (conocimiento disciplinar); Practitoners (conocimiento de la industria, del ámbito laboral)Egresados, empleadores y reclutadores(desempeño en el ámbito profesional)Estudiantes y padres de familia (expectativas laborales)
Ejemplo: Constituyenteswww.icacit.org.pe
The Program Educational Objectives are determined and evaluated through a regular consultation and examination process that involves four core constituents: Students, Alumni, Industry, and Faculty.
� Student input is obtained through a standing departmental Student Advisory Committee consisting of representatives from several student organizations, student representation in regular faculty meetings, annual departmental Town Hall meetings, exit interviews with graduating students, student evaluation forms, and individual faculty-student advisee interaction.
� Alumni input is obtained through a standing Departmental Advisory Board including alumni representatives, surveys with department alumni, and exit surveys with graduating students.
� Industry input is obtained through surveys with industry participants at the annual departmental Research Symposium, surveys with department alumni, surveys with participants in the department's Industry Affiliate Program, and employer satisfaction surveys.
� Faculty input is obtained through a standing ABET departmental committee, regular faculty meetings, annual departmental retreats, and the departmental courses and curriculum committee. Input from other p , p pengineering faculty in the School of Engineering and Applied Science is obtained through the Faculty Executive Committee.
In addition, in order to facilitate the participation of the constituencies in the formulation and evaluation of the Program Educational Objectives, and in order to solicit further input and feedback, these objectives are publicized on the Department's web page and in the catalog of courses for the Henry Samueli School of Engineering and Applied Science.
(UCLA, n.d.)
05/02/2010
6
Retro-información: Cómo pedir
Medición:Más de un método para evitar sesgos
www.icacit.org.pe
p gInformación cualitativa y cuantitativaMedidas directas: observación; exámenes ej. Re-certificación profesional; revisión de trabajosMedidas indirectas: entrevistas, encuestasCiclos anuales de evaluación o cada 2-3 añosE d d 3 4 ñ d ( l i Egresados de entre 3-4 años de egreso (censal si es una promoción pequeña ej. Alrededor de 50; muestreo aleatorio 50% de respuesta )
(ABET, n.d.)
Retro-información: Cómo pedir
Grupos focales, entrevistas grupales o entrevistas en prof ndidad círc los de calidad (1hora apro )
www.icacit.org.pe
en profundidad, círculos de calidad (1hora aprox.): para sondear o profundizar
Encuestas en línea, telefónicas, en persona (15 min. Aprox.): para precisar, semi-estructurada, estructuradas con preguntas abiertas y cerradas (Ver http://dape.pucp.edu.pe/ para obtener guías de evaluación)
05/02/2010
7
Retro-información: Cómo pedir
Algunas recomendaciones para construir encuestas:Revisión técnica de la encuesta por un especialista en
www.icacit.org.pe
Revisión técnica de la encuesta por un especialista en construcción de instrumentos antes de ser aplicada
Evitar preguntas sesgadas: ¿Consideras que estás preparado para X? y en su lugar pedir identificar niveles de preparaciónEvitar preguntas compuestas, cada pregunta debe contener una idea
Pilotear la encuesta con un pequeño grupo (claridad y utilidad de las preguntas, relevancia a los actores)
(Rogers, n.d.)
Retro-información: Cómo usar
EvaluaciónDefinir criterios y procedimientos para analizar los datos
www.icacit.org.pe
y p py aplicarlos a la toma de decisiones (Ver http://www.academicprograms.calpoly.edu/assessment/assessplanguide.htm#selecting)
Usar métodos estadísticos para ciencias sociales para el análisis de los datos (ej. SPSS, SAS), consultar con especialistaespecialista
(Rogers, n.d.)
05/02/2010
8
Retro-información: Cómo usar
EvaluaciónDar reportes sencillos sin jerga estadística y adecuados
www.icacit.org.pe
Dar reportes sencillos, sin jerga estadística y adecuados para quienes analizarán la información y tomarán las decisiones Toda decisión debe basarse en evidencia
Cerrar el ciclo: incorporar mejoras y evaluar la efectividad de las mismas
(Rogers, n.d.)
Ideas clavewww.icacit.org.pe
El proceso de medición y evaluación es la base de la mejora porque provee de retro-información. No es un mero requerimiento de acreditación
El proceso de medición y evaluación debe perfeccionarse técnicamente sin que ello implique enajenarlo de los usuarios
05/02/2010
9
ReferenciasABET (n.d.). Program Evaluator Training Pre-Work: Module 4 Assessment Basics.
Recuperado en Enero 26, 2010, de http://www.abet.org/_TrainingCD/index.htm
www.icacit.org.pe
Landeo, L. (n.d.). Procesos de autoevaluación en la PUCP (1997-2006) [Diapositivas PowerPoint]. Recuperado en Enero 28, 2010 de http://rbarrientosm.googlepages.com/PresentacionPUCP.ppt
Rogers, G. (n.d.). Surveys and Questionnaires: Do they measure up? Assessment tips with Gloria Rogers. En: Program Evaluator Training Pre-Work: Module 4 Assessment Basics. Recuperado en Enero 26, 2010, de p , ,http://www.abet.org/_TrainingCD/index.htm
UCLA (n.d). Electrical Engineering Department. Recuperado en Enero 28, 2010 de https://eeweb.ee.ucla.edu/department_mission.php
“GRACIAS”
Lorena Landeo [email protected]
