Investigaci. evaluativ. Santiago Correa Urib. Antonio Puerta Zapat. Bernardo Restrepo Gme.

INSTITUTO COLOMBIANO PARA EL FOMENT. DE LA EDUCACIN SUPERIOR, ICFE. DIRECCIN GENERA. Calle 17 No. 3-40 A.A. 691. Telfonos: 3387338 - 338736. Fax: 283677. Bogot, Colombi. HEMEROTECA NACIONAL UNIVERSITARIA CARLOS LLERAS RESTREP. SUBDIRECCIN DE FOMENTO Y DESARROLLO DE LA EDUCACIN SUPERIO. Avenida Eldorado No. 44A-4. Telfono: 368978. Telefax: 368002. Bogot, Colombi. DIRECTOR DEL ICFES. Daniel. Bogoya. Maldonad. SUBDIRECTORA DE FOMENT. Y DESARROLLO DE LA EDUCACIN SUPERIOR. Mara de Jess Restrep. COPYRIGHT: ICFES 199. Mdulos de Investigacin Socia. ISBN: 958-9329-09-. Obra complet. ESPECIALIZACIN EN TEORA, MTODO. Y TCNICAS DE INVESTIGACIN SOCIA. ISBN: 958-9329. Mdulo sei. INVESTIGACIN EVALUATIV. Composicin electrnica. ARFO Editores e Impresores Ltda. Diciembre de 200.

El proyecto para la formacin de recursos humanos en la educacin superior titulad. .Especializacin en Teora, mtodos y tcnicas de investigacin social. con la colaboracin d. ASCUN, fue realizado por el ICFES, para lo cual se conform el siguiente equipo de trabajo. Direccin y coordinacin acadmica. Direccin y coordinacin del proyecto. Asesor. GRUPO DE AUTORE. GUILLERMO BRIONE. Universidad de Chil. GUILLERMO HOYOS VSQUE. Universidad Nacional de Colombi. GERMN VARGAS GUILL. Universidad Pedaggica Naciona. GUILLERMO BRIONE. Universidad de Chil. CARLOS A. SANDOVAL CASILIMA. INER Universidad de Antioqui. HERNN HENAO DELGADO . LUCELY VILLEGAS VILLEGA. INER Universidad de Antioqui. SANTIAGO CORREA URIB. Universidad de Antioqui. ANTONIO PUERTA ZAPAT. INER Universidad de Antioqui. BERNARDO RESTREPO GME. Universidad de Antioqui. BERNARDO RESTREPO GME. Universidad de Antioqui. MDULO . MDULO . MDULO .

MDULO . MDULO . MDULO . GUILLERMO BRIONE. MARA DE JESS RESTREPO ALZAT. Profesional especializad. Coordinadora Grupo de Fomento del ICFE. MIGUEL RAMN MARTNE. Asesor Subdireccin Gral. Tcnic. y de Fomento ICFE. EPISTEMOLOGA DE LAS CIENCIAS SOCIALE. LA TEORA DE LA ACCIN COMUNICATIV. COMO NUEVO PARADIGMA DE INVESTIGACI. EN CIENCIAS SOCIALE. METODOLOGA DE LA INVESTIGACI. CUANTITATIVA EN LAS CIENCIAS SOCIALE. INVESTIGACIN CUALITATIV. ESTUDIOS DE LOCALIDADE. INVESTIGACIN EVALUATIV. MDULO 7 INVESTIGACIN EN EDUCACI.

4

Contenid. Presentaci. ................................................................................ .............................................. . Introducci. ................................................................................ .............................................. . Estructura general del mdul. ................................................................................ .............. 1. Objetivo genera. ................................................................................ ................................. 1. Objetivos especfico. ................................................................................ ......................... 1. Mapa conceptual del mdul. ................................................................................ ............ 1. PRIMERA UNIDA. Los conceptos de institucin - evaluacin e investigaci. evaluativa y aproximacin a una tipologa de evaluaci. ......................................... 1. Introducci. ................................................................................ ........................................ 1. Objetivos de la unida. ................................................................................ ....................... 2. Mapa conceptua. ................................................................................ ................................ 2. 1. Concepto de Instituci. ................................................................................ .................

2. 2. Concepto de evaluaci. ................................................................................ ............... 2. 3. Investigacin y evaluaci. ................................................................................ ............ 2. 4. Tipos de evaluaci. ................................................................................ ...................... 3. Autoevaluacin No. . ................................................................................ ....................... 4. Actividad de evaluacin........................................................... ........................................ 4. Lecturas complementarias. ................................................................................ ............ 4. Bibliografa. ................................................................................ ........................................ 4. SEGUNDA UNIDA. Itinerario de la evaluacin de programa. como disciplin. ................................................................................ ................................. 5.

Mapa conceptual. ................................................................................ ............................... 5. Introducci. ................................................................................ ........................................ 5. Objetivos de la unidad. ................................................................................ ...................... 5. Desarrollo de la unidad. ................................................................................ .................... 5. Cod. ................................................................................ ................................................... 7. Lecturas complementarias. ................................................................................ ............ 7. Autoevaluacin No. . ................................................................................ ....................... 7. Actividades de Evaluacin. ................................................................................ ............. 7. Bibliografa. ................................................................................ ........................................ 7. TERCERA UNIDA. Paradigmas - enfoques - orientacione. y modelos evaluativo. ................................................................................ ..................... 8. Mapa conceptua. ................................................................................ ................................ 8. Introducci. ................................................................................ ........................................ 8. Objetivos de la unida. ................................................................................ ....................... 8. 1. Paradigmas de la investigacin evaluativ.

................................................................ 8. 2. Enfoques de evaluaci. ................................................................................ ................ 8. 3. Orientaciones predominantes en l. investigacin evaluativ. ................................................................................ ............... 8. Autoevaluacin No. . ................................................................................ ..................... 12. Actividades de evaluacin. ................................................................................ ...........12. Lecturas complementarias. ................................................................................ ..........12. Referencias bibliogrfica. ................................................................................ ............ 12. CUARTA UNIDA. Diseo metodolgico, implementacin, anlisi. e informes de la evaluacin. ................................................................................ .........12. Mapa conceptual. ................................................................................ .............................13. Introducci. ................................................................................ ......................................13. Objetivos de la unidad. ................................................................................ ....................13. Etapas de la evaluacin de programa. .........................................................................13. 1. Especificacin del marco de referencia............................................ .......................13. 1.1. El programa de acci. ................................................................................ ....13. 1.2. La organizacin gestor. ................................................................................ .13. 1.3. Los factores del context.

................................................................................ 14.

"" 2. La formulacin del proyecto de evaluacin. .............................................................14. 2.1. El objeto de la evaluaci. ..............................................................................14 . 2.2. El diseo de la evaluacin. ............................................................................14. 2.3. El cronogram. ................................................................................ ................... 15. 3. Implementacin del proyecto de evaluaci. ............................................................15. 3.1. El equipo de evaluaci. ................................................................................ .15. 3.2. Ubicacin de las unidades de anlisi. .........................................................15. 3.3. Elaboracin de instrumentos d. recoleccin de informaci. ............................................................................15. 3.4. Pruebas pilot. ................................................................................ ..................15. 3.5. Preparacin de auxiliares......................................................... ......................15. 4. Ejecucin de la evaluaci. ................................................................................ ......... 15. 4.1. Aplicacin de los instrumentos d. medicin y registr. ................................................................................ ..........15. 4.2. Procesamiento de la informaci. ..................................................................15. 4.3. Anlisis de los resultados........................................................ .......................15.

4.4. Conclusiones y recomendacione. ................................................................15. 4.5. Informes de evaluacin............................................................ .......................15. Autoevaluacin No. 4. ................................................................................ ....................16. Lecturas complementaria. ................................................................................ ...........16. Actividades de evaluaci. ................................................................................ ............ 16. Bibliograf. ................................................................................ ....................................... 16. LECTURAS COMPLEMENTARIA. Lectura complementaria N . ................................................................................ ...... 16. Lectura complementaria N . ................................................................................ ...... 21. Lectura complementaria N . ................................................................................ ...... 23. Lectura complementaria N . ................................................................................ ...... 24. Lectura complementaria N . ................................................................................ ...... 273

Presentacin En cumplimiento de su misin y de sus funciones, el Instituto Colombiano para el F omento de la Educacin Superior ha realizado diversas acciones que permitan a las institu ciones de Educacin Superior no solamente enfrentar los retos del desarrollo cientfico, tcn ico y tecnolgico sino hacer del conocimiento y de la cultura, ejes de calidad y desar rollo. Esto implica necesariamente fomentar procesos de formacin que adems de articular y hacer coherentes los campos de conocimiento y sus campos especficos de prcticas, contribuyan a identificar problemas en diversos contextos y a encontrar o crear soluciones a partir de procesos de reflexin. Dentro de este contexto, el ICFES promovi la creacin del Programa de Especializacin en teora, mtodos y tcnicas de investigacin social, ofrecido en la actualidad por cin co universidades pblicas a saber: Universidad de Antioquia, Universidad del Valle, U niversidad Industrial de Santander, Universidad de Cartagena y Universidad Pedaggica Naciona l, las cuales atendieron el reto propuesto por el Instituto y despus de siete aos de iniciado el programa, en conjunto han graduado ms de 300 especialistas. La estructura temtica de esta serie de Investigacin Social la constituyen siete mdu los orientados al desarrollo de competencias para la apropiacin de metodologas y tcnica s de investigacin fundamentadas por las teoras que enmarcan las ciencias sociales. L os primeros cuatro mdulos ofrecen elementos que permiten profundizar e indagar sobre el objeto y los procesos de conocimiento en las Ciencias Sociales, las principales escuelas que han surgido a travs de los tiempos y las diferentes perspectivas de anlisis qu e conducen a la comprensin de los hechos sociales. Los tres ltimos mdulos orientan la aplicacin de estas ciencias en el campo de la investigacin educativa, la evaluacin y el estudio de localidades. Dada la pertinencia y vigencia de esta serie y aprovechando el desarrollo de las tecnologas de informacin y comunicacin que nos permite una socializacin ms amplia y gil de sus contenidos, la presentamos hoy en formato CD ROM con la expectativa que e sta estrategia de aprendizaje sea aprovechada por un mayor nmero de profesores y estu diantes de las instituciones de educacin superior del pas. DANIEL BOGOYA M. Director General ICFES

Introducci. La evaluacin es una ciencia social de gran actualidad cuyo potencial no se discut e, pero an sigue en permanente proceso de construccin. Como disciplina en construccin permite analizar su decurso y consolidacin a travs d e la evolucin histrica de sus conceptos y procesos, la constitucin de una comunidad acadmica y profesional que cada vez se internacionaliza ms con la aparicin de conferencias internacionales, asociaciones, agencias, centros e instituciones especializadas en este campo, con una vasta produccin intelectual y aportes metodolgicos plasmados en un sinnmero de publicaciones especializadas. La investigacin evaluativa se convierte, en la actualidad, en una importante fuen te de conocimientos y directrices, en las diversas actividades e instituciones de las sociedades modernas porque indica el grado de eficiencia o deficiencia de los programas y s eala el camino para su reformulacin y valoracin del xito alcanzado por los esfuerzos realiz ados. La investigacin evaluativa se vale de los mtodos y el instrumental de la investiga cin social; por lo tanto, su desarrollo sigue sus mismas evoluciones, lo cual le per mite una aproximacin permanente a criterios de cientificidad. En consonancia con lo anterior, el nfasis del mdulo se pone en las preocupaciones centrales de la investigacin evaluativa, su evolucin histrica, los enfoques evaluat ivos y la metodologa de la evaluacin.

Estructura general del mdulo El mdulo consta de cuatro unidades que en una secuencia lgica pretenden dar cuenta de los aspectos antes mencionados. La primera unidad aborda la conceptualizacin bsica de la investigacin evaluativa a travs del desarrollo de los conceptos de institucin, programa, evaluacin e investig acin evaluativa, as como tambin de los propsitos de la evaluacin y tipos de evaluacin. La segunda unidad da cuenta de la historia de la evaluacin en el mundo y en Colom bia. Inicia con un anlisis de las etapas histricas del desarrollo de la evaluacin de pro gramas y concluye con una detallada presentacin de los momentos de la evaluacin en Colomb ia con sus proyectos ms relevantes en los diferentes campos del quehacer evaluativo. La tercera unidad parte del anlisis de los paradigmas de la investigacin y su inci dencia en la investigacin evaluativa para adentrarse en sus enfoques y caracterizar las orientaciones predominantes y los modelos subyacentes en cada una de ellas. La cuarta unidad da cuenta del proceso metodolgico de la investigacin evaluativa o evaluacin de programas. Se definen cuatro grandes momentos o etapas del proceso metodolgico con sus correspondientes subrutinas. Estos momentos son: la formaliza cin del marco de referencia, la formulacin, la implementacin y la ejecucin del proyecto de evaluacin. Cada unidad parte de unos objetivos especficos y un mapa conceptual, continuando con el desarrollo de los contenidos, los cuales sern complementados con lecturas de afianzamiento y ejemplificacin de los temas de la unidad. Presenta a continuacin l a autoevaluacin sobre los contenidos y unas actividades de evaluacin productiva que pretenden dar aplicacin y dotar al estudiante de la experiencia requerida para el ejercicio de la investigacin evaluativa. Para terminar, aparecen las referencias bibliogrfic as utilizadas en el texto de la unidad.

OBJETIVO GENERAL Orientar el desarrollo de una experiencia de aprendizaje terico-prctico, que permi ta a profesionales de diferentes reas que cursan la Especializacin teora, mtodos y tcnicas de investigacin social lograr las competencias bsicas para disear, desarrollar e interpretar procesos de investigacin evaluativa de programas sociales. OBJETIVOS ESPECIFICOS Conceptualizar los trminos de institucin, programa, evaluacin e investigacin evaluativa y determinar sus alcances. Presentar un panorama del recorrido histrico de la investigacin evaluativa en sus etapas de formacin y consolidacin como disciplina y delinear el derrotero de la evaluacin de programas en Colombia y el mundo en los ltimos 30 aos, tanto en el mbito investigativo como en el acadmico. Caracterizar paradigmas, enfoques, orientaciones y modelos de evaluacin y sus posibles campos de aplicacin. Desarrollar el proceso metodolgico de la investigacin evaluativa. Apoyar a los participantes en el desarrollo de proyectos de investigacin evaluati va, dotndoles de herramientas conceptuales, metodolgicas y tcnicas, propias de este campo.

Mapa conceptual del mdul. LA INVESTIGACIN EVALUATIVA exige una Se estudia desde ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Analizado en UNIDAD 2 CONCEPTUALIZACIN BSICA Propuesta en UNIDAD 1 PARADIGMAS-ENFOQUES ORIENTACIONES Y MODELOS EVALUATIVOS UNIDAD 3 DISEO METODOLGICO UNIDAD 4 Permite plantear Vistos en Que requieren Propuesto en

Los conceptos d. institucin-evaluaci. e investigacin evaluativ. y aproximacin a un. tipologa de evaluaci. Santiago Correa Urib. Profesor Universidad de Antioqui.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN INTRODUCCIN Esta primera unidad pretende hacer claridad sobre los conceptos de institucin, ev aluacin e investigacin evaluativa de tal manera que permita reconocer la evaluacin como un a ciencia social de gran actualidad que se vale de los mtodos, tcnicas e instrumenta l de la investigacin social, pero que, dadas sus peculiares caractersticas y sus marcos de accin, presentan una complejidad diferente para lo cual no basta con el dominio d e los mtodos y tcnicas antes mencionadas. Define, adems, esta unidad los propsitos de la evaluacin y presenta diferentes tipo s de evaluacin referenciados en la literatura sobre el tema. Por ltimo, pretende resaltar los aportes hechos por la investigacin evaluativa a l a cualificacin y mejoramiento de los programas sociales.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN OBJETIVOS DE LA UNIDAD 1. Hacer claridad sobre los conceptos de institucin-evaluacin e investigacin evaluativa. 2. Reconocer los principios, criterios cientficos, criterios prcticosoperativos y propsitos de la investigacin evaluativa o evaluacin sistemtica. 3. Caracterizar los diferentes tipos de evaluacin, referenciados en la literatura sobre el tema. 4. Resaltar los aportes hechos por la investigacin evaluativa a la cualificacin y mejoramiento de los programas sociales.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Mapa conceptua. CONCEPTO DE INSTITUCIN NIVELES DE LA INSTITUCIN EVALUACIN EVALUACIN SISTEMTICA INVESTIGACIN EVALUATIVA O EVALUACIN DE PROGRAMAS TIPOS DE EVALUACIN como establece requieren cuando es se denomina propone tales como permiten META EVALUACIN EX-ANTE FORMATIVA INTERNA INTERMEDIA PROCESOS INSTITUCIONAL DE OBJETIVOS DESCRIP TIVA COSTO INTERNOS BENEFICIO IMPACTO SUMATIVA EXTERNA TERMINAL REPERCUSIONES DE PROGRAMAS DE OBJETIVO EXPLICA TIVA COSTO EXTERNOS EFECTIVIDAD COSTO RENDIMIENTO COSTO UTILIDAD SOCIAL LA ORGANIZACIN TOTAL LA ORGANIZACIN CONCRETA PROGRAMAS Y PROYECTOS

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN I. CONCEPTO DE INSTITUCIN Institucin: concepto de la ciencia social, introducido por la sociologa positivist a y la antropologa funcionalista que designa cualquier dispositivo (material, de organiz acin, de intercambio) que, con carcter permanente, regula las relaciones de una socieda d en orden a atender las necesidades humanas (Diccionario enciclopdico Grijalbo, 1995) . La definicin anterior plantea la complejidad del concepto institucin, el cual pued e asumirse como un complejo de normas institucionalizadas, como cada una de las organizacio nes fundamentales de un estado o nacin o como organismo que desempea una funcin de inters pblico. En lo que si existe acuerdo es en afirmar que la Institucin es el te stimonio sensible de la verdad de que el hombre no est solo en el escenario de la vida soc ial y que una institucin slo tiene fuerza cuando corresponde a la necesidad verdadera y actualmente sentida que hace establecerla. Los socilogos asumen la institucin como un complejo de normas institucionalizadas. Operacionalizando este concepto, debe aclararse que la referencia a normas institucionalizadas es denotativa. stas, para cumplirse, deben ser internalizadas por quienes las practican. Las normas, adems de ser aceptadas e internalizadas, son sancionadas por el grupo. El hecho de ser sancionadas posibilita que la norma se a gua de un grupo humano importante. Es importante aclarar que el concepto de norma es igualmente extenso y complejo. La norma tiene el sentido de un patrn de medida con acepciones tanto en el mundo de lo material, como en el campo de la especulacin intelectual y en el mundo de los val ores. La norma, cuando es descubierta, promueve la regularidad, la predecibilidad. Sin embargo, no se hace referencia exclusiva a normas escritas o a disposiciones, se refiere adems a modos activos de vida, a ambientes de desempeo. Un ejemplo de esta concepcin sera el matrimonio, el cual, como institucin, se compone de un conjunto de normas, algunas de las cuales no estn escritas. Otros ejemplos podran ser la familia, la j usticia, la educacin, etc., entendidas en su sentido ms general.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Planteando el concepto de institucin de una manera tan abstracta hara imposible la evaluacin institucional, porque evaluar la justicia o la educacin es una accin muy compleja que implica muchos niveles, diversas prcticas, algunas conscientes otras inconscientes, unas formales otras informales, pero esta dificultad se resuelve en el hecho de que toda institucin se materializa en una organizacin concreta y esto es lo que la gente generalmente llama institucin. En si, la educacin nunca podra ser evaluada, pero ella como accin pautada cristaliza en una serie de organizaciones como la universidad, la escuela, el preescolar y dentro de stas, a su vez, existen una se rie de suborganizaciones que pueden ser evaluadas. Esto lleva a pensar en los alcances del trmino institucin, lo cual incidir en los alcances de la evaluacin institucional. En concordancia con lo anterior podrn distinguirse varios niveles de institucin, a saber: Un primer nivel lo constituye la organizacin total; por ejemplo, la justicia colo mbiana, la salud, la educacin, etc. Al evaluar stas, se estaran evaluando todas las organizaciones en que se cristalizan cada una de las anteriores. Esta evaluacin podra hacerse, pero sera de una gran magnitud y requerira un equipo de expertos multidisciplinarios muy numeroso. Otro ejemplo sera el matrimonio colombiano como institucin, aunque esta investigacin sera ms antropolgica y social que institucional. Un segundo nivel es el de las organizaciones concretas dentro de todo el sector institucional, por ejemplo una universidad o una facultad, un hospital o una uni dad intermedia de salud, etc. A este nivel, la evaluacin es ms factible, pues se facilitan tanto el diseo de la investigacin, como la ejecucin y el anlisis. En este segundo nivel, la evaluacin es total y deben considerarse aspectos del contexto, insumos, procesos, productos y su impacto social. En la organizacin hay que destacar: Visin, misin y valores corporativos. Propsitos, metas y objetivos. Estructura organizacional.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Funciones planeadas para cumplir los objetivos. Recursos: fsicos, econmicos, humanos, financieros. Funcionamiento de la entidad. Integracin cargos funciones. Como se superan los conflictos y desviaciones. Resultado de ella en el medio (aceptabilidad e impacto social de sus realizaciones). El tercer nivel hace referencia a los programas y proyectos. La evaluacin de programas y proyectos trabaja con sectores ms restringidos y en niveles mucho ms concretos. El punto de referencia fundamental en esta modalidad de la evaluacin son los objetivos de los programas y los proyectos. En el lenguaje corriente, se entiende por programa una intencin o un designio planificado, para cuya ejecucin se requiere la aplicacin de medios determinados con miras a la obtencin de unos resultados o efectos predefinidos. La aplicacin de recursos financieros, humanos, la estructura y procesos organizacionales tien e como finalidad obtener unos resultados ms o menos concretamente definidos. En este sentido dinmico, el programa no es el mero acto de emplear recursos con fines determinados, sino ms bien un proceso cuyo punto de partida consiste en la aplicacin de los medios y su desarrollo se caracteriza por la secuencia de ciertos resultados previstos. Si definimos la totalidad de los medios y factores que habran de transformarse en determinados efectos como insumo (input) y la totalidad de los efectos que en determinado momento se producen como consecuencia de este proceso de transformacin como producto (output), entonces, puede designarse el programa, en un sentido puramente formal, como la transformacin unitariamente organizada de un insumo en un determinado producto previamente definido, dentro de un sistema socioeconmico o en el mbito de determinadas esferas o subsistemas del mismo.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Puerta plantea como condicin de un programa su coherencia interna. Cuando se habla de coherencia, se entiende que la naturaleza del programa armoniza con la necesidad o problema que se quiere resolver; que los objetivos son viables, las metas medibles, los recursos suficientes y adecuados a las estrategias propuesta s y que la metodologa utilizada corresponde y garantiza el cumplimiento de esos objetivos (1997:77). Es corriente encontrar en la literatura sobre evaluacin de programas y proyectos diferenciacin entre programas y proyectos econmicos y programas y proyectos social es aunque podra, en un momento dado, considerarse dudosa dicha delimitacin ya que economa y sociedad no son subsistemas de un sistema superior del que provengan ni topolgicamente separables. Todos los programas y proyectos de desarrollo generan cambios que pueden definirse tanto en trminos econmicos como sociolgicos. Hay hechos para cuyo anlisis debemos recurrir preferentemente a los instrumentos y tcnicas de las ciencias econmicas, mientras otros resultan ms asequibles a los mtodos de las ciencias sociales y humanas. En la medida en que tales hechos se identifican como efectos de un proyecto estudiado, los denominaremos efectos eco nmicos en el primer caso y sociales en el segundo. El criterio diferenciador va implcito en la metodologa especfica aplicada al caso. Existen tambin diferencias, al respecto, a los objetivos perseguidos y, por tanto , a los tipos de programas. Una fbrica, al igual que una institucin de salud, genera siemp re efectos econmicos como sociales. Sin embargo, en la primera predominan finalidade s y caractersticas estructurales que se formulan generalmente en categoras econmicas, mientras que en la segunda, los objetivos y caractersticas se definen por lo regu lar mediante el empleo de categoras referentes a beneficios sociales. En virtud de lo anterior denominamos como proyectos econmicos a aquellos que persiguen, ante todo, fines econmicos, y programas sociales a aquellos cuya finalidad principal consiste en b eneficios expresados en trminos sociolgicos, sociopolticos, culturales o psicosociales. Esta distincin es puramente operativa, independiente de toda consideracin terico-cientfic a y tiene por objeto nicamente una delimitacin pragmtica de los factores econmicos y sociales en los procesos de desarrollo.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN II. CONCEPTO DE EVALUACIN El trmino evaluacin es una palabra elstica que se emplea para abarcar muchas clases de juicios. Se habla de evaluacin de la ejecucin de la tarea, de evaluacin de la ca lidad de la educacin, de evaluacin del clima organizacional, de evaluacin del material didctico, de evaluacin del mercado potencial de un producto, de evaluacin de sentid o de pertenencia, de evaluacin de un determinado programa, proyecto o institucin, et c. Sin embargo, el trmino evaluacin, a pesar de su creciente popularidad y empleo permanente, es pobremente definido y a menudo impropiamente utilizado. Para la m ayora, su significado es tomado como garanta y muy pocos ensayos se han hecho en lo concerniente a formular una definicin conceptualmente rigurosa o al anlisis de los principios de su uso. El resultado es un gran desacuerdo con muchos otros trminos como valoracin, estimacin, apreciacin, juzgamiento, muchas veces utilizados como sinnimos de evaluacin. El concepto no se aplica, ni en la literatura cientfica de la especialidad ni en los concretos estudios de programas y proyectos, en un sentido inequvoco y unnime. Galtung, cita do por Musto (1975), observa que la literatura del ramo emplea ms de trescientas def iniciones diferentes del concepto de evaluacin. El examen de stas revela una inevitable mixt ura de definiciones conceptuales y operacionales. Las definiciones conceptuales en s u mayora no ofrecen una lgica formal y presentan una lista de caractersticas descriptivas d e la evaluacin como un proceso cognoscitivo y valorativo. Las definiciones operacional es concentran el propsito de la evaluacin en los procedimientos involucrados en la conduccin de un estudio evaluativo. Por evaluacin entienden algunos autores el control del xito o fracaso de programas , proyectos o instituciones, en el sentido de identificar y medir resultados. As, l a evaluacin es un esfuerzo por reconocer qu cambios se presentan durante y despus de un progra ma de accin y qu parte de dichos cambios pueden atribuirse al programa. La encicloped ia sobre poltica del desarrollo plantea: Bajo control de xito o evaluacin van comprendi das todas las medidas que se tomen para estudiar los efectos e implicaciones de un p rograma o un proyecto de desarrollo . Otros autores, en cambio, no ven en la evaluacin ningn fin cientfico en s, sino sola mente una ayuda para tomar decisiones administrativas racionales. As, la evaluacin es un

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN proceso que capacita al administrador para describir los efectos del programa y a partir de ello hacer los ajustes progresivos en orden a alcanzar las metas ms efectivame nte. Muchas otras definiciones coinciden en el concepto de finalidad como criterio de exploracin de los resultados del proyecto. La literatura de las ciencias econmicas y del anlisis de sistemas atribuye a la ev aluacin una funcin selectiva. As, la evaluacin es llegar, mediante determinados criterios o modelos de decisin, a poder pronunciarse acerca de la manera ptima de empleo de recursos en el curso de posibilidades alternativas de su aplicacin. De acuerdo co n este punto de vista, la evaluacin no sera, en lo fundamental, otra cosa que la ex-ante valoracin de las alternativas que se plantean para llevar a cabo un programa o un proyecto , mientras que el concepto del control del xito se reservara para denominar la valoracin y el anlisis de las fuentes de error de programas y proyectos ya realizados (ex-post evaluacin), con lo que servira la actuacin evaluativa as definida como base de decis in para las inversiones. El Diccionario de la Real Academia de la Lengua, define evaluar como sealar el va lor de una cosa y evaluacin como sinnimo de valuacin y valoracin, pero seguidamente asigna al trmino evaluar apreciar el valor de las cosas no materiales y reserva e l trmino a valuar y avalo para apreciar el valor de las cosas materiales. Desde esta perspectiva, la evaluacin queda designada a la determinacin de la calid ad de un proceso o actividad humana, sea ella econmica, social, poltica o de cualquie r otro orden. Es parte de un proceso y un proceso en s misma, dirigido conscienteme nte a determinar el logro de ciertos propsitos fijados con anterioridad. Restrepo (1974) plantea que la evaluacin consiste en la apreciacin de un objeto, persona, atributo, programa, institucin o sistema, a partir de ciertos criterios y destaca el aspecto valorativo como elemento que objetiviza la escogencia de factores o indicadores relacionados con el propsito de lo que se evala. Ahora bien, como toda actividad humana, es social y la mayora institucional, y cualquier sistema social est influenciado y determinado por variables circundantes, es en consideracin de toda s estas circunstancias como aparecen las conceptualizaciones tericas y los modelos de evaluacin.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Por diferentes que sean las maneras de concebir el fin y los mtodos de la evaluac in que estas definiciones implican, todas ellas podemos reducirlas a un comn denomin ador: el de que todas se refieren a la investigacin y la apreciacin de la eficiencia, ef icacia, efectividad y relevancia social de una institucin, programa o proyecto, para lo c ual se requiere disponer de informacin sobre los insumos, los procesos y los productos o resultados. Cuanto ms vlidas, confiables y representativas sean estas informacione s, mayor ser la posibilidad de reorganizar los fines y los medios de un programa o p royecto, de tal manera que ste arroje resultados ptimos. Obtener y valorar estas informacio nes es lo que denominamos evaluacin. III. INVESTIGACIN Y EVALUACIN La evaluacin es una ciencia social de gran actualidad cuyo ingente potencial no se discute, pero que an no ha llegado a su rendimiento ptimo. Se vale de los mtodos y el instrumental de la investigacin social, pero no basta el conocimiento de estos para lograr el desempeo de las funciones que requiere el evaluador, pues su marco de accin es, sin duda, de una complejidad diferente . (Carol H. Weiss, 1985). Adentrarnos en el anlisis de la relacin evaluacin e investigacin nos obliga a examin ar conceptualizaciones alternativas de evaluacin. Stufflebeam y Shinkfield (1995) es tablecen tres grupos amplios de tipos de evaluacin: Pseudoevaluaciones, Cuasievaluaciones y verdaderas evaluaciones. Las pseudoevaluaciones incluyen, en primer, lugar las evaluaciones polticamente orientadas (o encubiertas), que son dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo o negativo, sobre un objeto, independien temente de la valoracin objetiva de su valor o mrito. Los charlatanes y los manipuladores utilizan a menudo la evaluacin de una manera inadecuada para lograr sus objetivos. Puede que recopilen la informacin rigurosamente, pero no revelan las verdaderas conclusiones, o lo hacen de

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN modo selectivo, o incluso las falsifican, engaando tanto a la gente como a s mismos . (Stufflebean y Shinkfield, 1995: 68). La intencin de este tipo de evaluacin es conseguir asistencia para obtener, manten er o incrementar una esfera de influencia, poder o dinero. Los problemas que plantea son los que interesan al cliente, quien quiere que la informacin sea tan slida tcnicamente como sea posible, pero tambin que se le garantice la posibilidad de controlar su divulgacin para crear una falsa imagen del valor de un objeto, programa o proyecto. Otro tipo de pseudoevaluaciones son los estudios basados en las relaciones pblica s, planificados, realizados y utilizados para satisfacer propsitos que tengan que ve r con las relaciones pblicas. Buscan informacin que pueda ser de ayuda para asegurar el apoyo del pblico. Los mtodos que se usan ms frecuentemente en este tipo de estudios son las inspecciones, las pruebas y la utilizacin de asesores expertos . La principal

caracterstica de la utilizacin de mtodos dudosos por parte de este tipo de evaluado res es su propensin a crear una buena imagen del objeto de evaluacin . (Stufflebean y Shinkfield, 1995). Los estudios cuasievaluativos aparecen especificados porque existe la evidencia de que a veces pueden ser utilizados para enjuiciar el valor o el mrito de un objeto, mientras que en otros casos su alcance es demasiado estrecho o solo tangencial a las cuestiones del mrito y el valor. Que la informacin obtenida sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente, una cuestin secundaria. Los estudios cuasievaluativos poseen otros usos muy legtimos aparte de su relacin con la evaluacin . (Stufflebean y Shinkfield, 1995: 71). Pertenecen a este tipo de estudios los basados en objetivos que segn el autor men cionado han sido, quiz, la principal fuerza que ha impulsado el movimiento para sistemati zar el trabajo evaluativo y los estudios basados en la experimentacin los cuales incluye n cuestiones y metodologas a veces relacionadas, pero a veces no, con el juicio de valores. La principal

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN ventaja de los estudios experimentales en el trabajo evaluativo es que proporcio nan mtodos slidos para la determinacin de relaciones causales relativamente inequvocas entre e l programa y los resultados. Los problemas que plantea, no obstante, consisten en que el mtodo, a menudo, no resulta factible a la hora de sealar los lmites de la especific idad y proporciona una informacin mucho ms restringida de la que es necesaria para evalua r programas de educacin, salud y bienestar. Adems, los estudios experimentales tiend en a proporcionar una informacin final que no resulta til para el proceso de desarrollo . Por ltimo aparecen las denominadas verdaderas evaluaciones, basadas en cuestiones de valor y mrito. El mtodo concreto de la evaluacin es la investigacin evaluativa, donde las herramie ntas de la investigacin social se ponen al servicio del ideal consistente en hacer ms p reciso y objetivo el proceso de juzgar. En su forma de investigacin, la evaluacin estable ce criterios claros y especficos que garanticen el xito del proceso, rene sistemticamen te informacin, pruebas y testimonios de una muestra representativa de las audiencias que conforman el programa u objeto para evaluar, traduce dicha informacin a expresion es valorativas y las compara con los criterios inicialmente establecidos y finalmen te saca conclusiones. Suchman (1967) deline claramente las diferencias existentes entre los objetivos y las facultades investigativas de la evaluacin, oponindolas a las de la investigacin bsic a o pura, las cuales hacen referencia a una compleja mezcla de distintos valores, pro psitos y recursos . La investigacin evaluativa es un tipo especial de investigacin aplicada cuya meta, a diferencia de la investigacin bsica, no es el descubrimiento del conocimiento. Poniendo principalmente el nfasis en la utilidad, la investigacin evaluativa debe proporcionar informacin para la planificacin del programa, su realizacin y su desarrollo. La investigacin evaluativa asume tambin las particulares caractersticas de la investigacin aplicada, que permite que las predicciones se conviertan en un resultado de la investigacin. Las recomendaciones que se hacen en los informes evaluativos son, por otra parte, ejemplos de prediccin . (Suchman, 1967: 119).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN La investigacin evaluativa contiene una amplia serie de variables sobre las que e l evaluador tiene muy poco o ningn control y sus resultados son poco generalizables, pues son aplicables al programa que est siendo evaluado y a sus ramificaciones contextuale s. Existen tambin semejanzas importantes entre la evaluacin (investigacin evaluativa) y otras clases de investigacin. Como otras investigaciones, la evaluacin trata de de scubrir, de comprender las relaciones entre las variables y establecer la relacin causal. Los evaluadores utilizan toda gama de mtodos de investigacin para recabar informacin: entrevistas, cuestionarios, tests de conocimientos y destrezas, inventarios de a ctitudes, observacin, anlisis del contenido de documentos, registros y expedientes y exmenes de las evidencias fsicas, entre otros. Los evaluadores ingeniosos suelen encontra r las maneras mas convenientes de explorar una amplia gama de efectos. La clase de esq uema que se utilice para reunir los datos, depender de la clase de informacin que se ne cesita para dar respuestas a las preguntas especficas que plantea la evaluacin. Principios de la Evaluacin 1. Propsito: el propsito de evaluar es mejorar el funcionamiento del sistema. En el sistema educativo, esto significa mejorar su enclave en la sociedad y por tanto garantizar la calidad de los programas en sus diferentes niveles y modalidades. 2. Funcin: la evaluacin tiene como patrn de funcionamiento la conciencia social. Si se carece de esta condicin, la evaluacin ser restringida, unilateral y no procurar de una manera consciente el mejoramiento de la institucin o el programa. 3. Uso: los resultados de la evaluacin deben darse a conocer a todos los actores y ponerse a disposicin del pblico. 4. Fin: la evaluacin debe orientarse y organizarse teniendo en cuenta que el punt o final de sta es la toma de decisiones.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Criterios cientficos de la evaluacin 1. Validez: la evaluacin debe reflejar una correspondencia inequvoca entre la informa cin y el aspecto de la realidad que se evala, lo que implica que en el diseo de la evaluacin: a. Se elimine o controle la interferencia de variables extraas (validez interna). b. Se garantice que los instrumentos de medicin midan lo que se quiere medir (todo lo que se quiere medir y slo lo que se quiere medir), es decir, hayan congruencia s entre los tems que componen el instrumento y el objeto evaluado que se mide (validez de contenido de los instrumentos). c. Las muestras de informantes, al ser representativas de la poblacin, seleccionadas al azar y controlando factores ambientales ajenos, permitan cierto grado de generalizacin de la informacin (validez externa). 2. Confiabilidad: la evaluacin debe ser consistente. Esto es, si los instrumentos se utilizan ms de una vez para evaluar la misma calidad, los resultados obtenidos de ben ser muy parecidos. 3. Objetividad: la evaluacin debe minimizar las apreciaciones personales en el momen to de emitir juicios valorativos, empleando instrumentos que recojan hechos verific ables, de modo que, si distintos evaluadores aplican el mismo instrumento, obtengan resultados similares. Criterios prctico-operativos de la evaluacin 1. Integral: de modo que comprenda todos los elementos e involucre todos los factor es que intervienen en el programa o accin evaluada. 2. Participativa: esto es que vincule activamente los diferentes actores que int ervienen en el programa o accin que se va a evaluar.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN 3. Permanente: ha de realizarse en forma continua, asociada al desarrollo del pr ograma. 4. Acumulativa: al considerar los resultados de evaluaciones previas, para determin ar sus efectos sobre las sucesivas. 5. Autocorrectiva: esto es, contempla mecanismos de ajuste de estrategias e instrumentos para futuras etapas del proceso de evaluacin permanente. 6. til: en la medida en que contemple los aspectos ms importantes en relacin con los objetos evaluados (relevante) y que sea oportuna, de manera que proporcione a los diferentes niveles decisorios la informacin necesaria en el momento requerido. 7. Eficiente: si obtiene un mximo rendimiento de los recursos disponibles (humanos, fsicos, financieros). PROPSITOS DE LA EVALUACIN Suchman (1967) asume como propsitos de la evaluacin los expuestos por Bigman (1961). 1. Describir si los objetivos han sido alcanzados y de qu manera. 2. Determinar las razones de cada uno de los xitos y fracasos. 3. Descubrir los principios que subyacen en un programa que ha tenido xito. 4. Dirigir el curso de los experimentos mediante tcnicas que aumenten su efectividad . 5. Sentar las bases de una futura investigacin sobre las razones del relativo xito de tcnicas alternativas. 6. Redefinir los medios que hay que utilizar para alcanzar los objetivos, as como , incluso, las submetas, a la luz de los descubrimientos de la investigacin.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Estos propsitos, en opinin de Suchman, plantean una relacin intrnseca entre la plani ficacin del programa, su desarrollo y la evaluacin. Los medios para alcanzar dichos propsi tos (la investigacin evaluativa) deben proporcionar la informacin bsica para planificar y, si es necesario, replanificar los programas. As como la investigacin tradicional suele c onducir hacia una comprensin ms amplia de los procesos bsicos, la investigacin evaluativa de be conducir a una mayor comprensin de los procesos aplicados o administrativos . Weiss (1985) plantea como propsito de la investigacin evaluativa medir los efectos de un programa por comparacin con las metas que se propuso alcanzar, a fin de contri buir a la toma de decisiones subsiguientes acerca del programa y para mejorar la prog ramacin futura (p. 16). Aparecen aqu cuatro rasgos primordiales: la expresin medir hace referencia a la metodologa de la evaluacin que se emplea. La expresin los efectos hace hincapi en los resultados del programa. La comparacin de los efectos con las metas subraya el uso de criterios explcitos para juzgar hasta qu punto el programa est marchando bien. La contribucin a la toma de decisiones subsiguientes y al mejoramie nto de la programacin futura denota la finalidad social de la evaluacin. La evaluacin de programas sociales directamente relacionada con la tarea de decis iones debern, segn, Weiss ser orientadas hacia uno o ms de estos propsitos: 1. Continuar o descontinuar el programa. 2. Tratar de mejorar su funcionamiento. 3. Agregar o suprimir alguna de sus partes. 4. Establecer programas similares en otros lugares. 5. Redistribuir los recursos segn los resultados de programas alternativos. 6. Aceptar o rechazar algn enfoque o teora en la cual est basado el programa. Briones (1991) define como propsito principal de la evaluacin: proporcionar criteri os para la toma de decisiones en relacin con la estructura, el funcionamiento y el d esarrollo del programa , p. 17. Y a manera de ilustracin presenta una lista de propsitos que pueden perseguirse en una investigacin evaluativa:

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN 1. Mejorar la efectividad cuantitativa del programa, es decir, el logro de sus obje tivos. 2. Mejorar la calidad de los resultados, o sea, la efectividad cualitativa del prog rama. 3. Aumentar la eficiencia interna del programa, vale decir, la relacin entre insumos y resultados. 4. Mejorar la eficiencia externa del programa o adecuacin de resultados con objetivo s externos. 5. Someter a verificacin la teora o hiptesis que relaciona los componentes del program a con los resultados buscados. 6. Redefinir la poblacin objeto: reducirla, homogenizarla, etc. 7. Modificar la estructura, el funcionamiento y la metodologa del programa. 8. Tratar de cumplir, si es pertinente, las expectativas de la poblacin objeto de l programa (sobre su funcionamiento, recursos, objetivos, etc.). 9. Controlar la aparicin de posibles prcticas o resultados no deseados. 10.Tratar de homogenizar los efectos, consecuencias y repercusiones del programa en diversos subgrupos de la poblacin de referencia del programa. Plantea el autor en mencin que, cualquiera que sea el caso, algunos de estos props itos surgen de algn indicio o sospecha de que algo anda mal en el programa. Tales indicaciones, junto con otras fuentes de informacin, permiten definir los objetiv os de la evaluacin y, en definitiva, ayudar a preparar el diseo metodolgico que se emplear. A manera de sntesis se presenta el planteamiento de Crombach y sus colaboradores (1980) cuando puntualizan: El propsito de una evaluacin es influir en el pensamiento social y la accin, durante la investigacin o en los aos subsecuentes. Tambin es razonable esperar influencias a largo plazo (p. 15).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Aparece en esta definicin un nuevo propsito la evaluacin de impacto, realizada para determinar los efectos residuales del proyecto. IV. TIPOS DE EVALUACIN Existe una amplia clasificacin de los tipos de evaluacin, diferenciados de acuerdo con mltiples criterios: el momento en que se realiza la evaluacin, la naturaleza del p rograma que se quiere evaluar, la procedencia de los evaluadores, las categoras que se va n a emplear y muchos otros que dificultan una tipologa universalmente aceptada. A continuacin se definen los tipos de investigacin mas conocidos, con el nimo de qu e el investigador disponga de varias opciones metodolgicas en el momento de emprend er una evaluacin. EVALUACIN FORMATIVA Y EVALUACIN SUMATIVA Es til distinguir como lo hace Scriven (1967) entre una evaluacin formativa y eval uacin sumativa o acumulativa. Evaluacin formativa: llamada tambin evaluacin intermedia, de proceso, configurativa , continua o concurrente, se caracteriza porque las mediciones de los efectos se h acen en diversos momentos del desarrollo del programa (el diagnstico, la formulacin, la implementacin o la ejecucin), de tal modo que los resultados o experiencias lograd as hasta entonces son utilizados en modificaciones o reorientaciones del mismo. En general, la evaluacin formativa se aplica en la fase de ejecucin de un programa o proyecto y es especialmente recomendable cuanto ste tiene etapas claramente defin idas, con metas intermedias y a largo plazo, o en proyectos que admiten, a manera de retroalimentacin, una modificacin en la marcha (mejoramiento continuo). La evaluac in formativa es parte integral de cualquier programa y debe estar presente en todas sus etapas, no solamente como siempre se ha pensado, para medir los efectos terminal es del mismo. La evaluacin formativa en general tiene un componente de participacin d e los diferentes actores del programa que se va a evaluar. Es entendida, desde los modelos

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN participativos y naturalistas o apreciativos, como un proceso educativo en el qu e aprenden tanto los evaluadores (tcnicos) como los evaluados (actores sociales). El Ministerio de Salud de nuestro pas caracteriza la evaluacin formativa as (1978:7 7): 1. Es un componente esencial de la planificacin; mide y controla los desempeos y alcances logrados con la programacin, direccin y ejecucin de los servicios. 2. Es continua e integral. 3. Permite estudiar la eficiencia y eficacia de un servicio. 4. Implica una autoevaluacin. 5. Cumple una funcin retroalimentadora dentro del desarrollo de un programa. 6. Brinda una informacin general del universo evaluado. 7. Ofrece registros sistemticos durante su ejecucin. 8. Minimiza el desfase entre identificacin de problemas y toma de decisiones. 9. No representa costos adicionales mayores. Evaluacin sumativa: llamada tambin acumulativa, terminal, de punto, de resultado, final de producto o ex-post, se caracteriza porque se efecta al trmino del program a y da cuenta, por lo tanto, slo de los resultados finales. Es, probablemente, el tipo de evaluacin que ms aplican las instituciones encargada s de prestar servicios sociales, inclusive se asimila a lo que en la administracin m oderna se denomina informe o balance social (Puerta, 1996:57). En Colombia, segn el Ministerio de Salud (1978), la evaluacin sumativa o de punto: 1. Es un componente del proceso de evaluacin, por tanto, es complemento de ese proceso.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN 2. Es circunstancial. 3. Se puede aplicar al estudio de factores de eficiencia. 4. Debe ser realizada por un personal diferente al que presta los servicios incl uidos dentro de un programa. 5. Es complemento del proceso de retroalimentacin de un programa. 6. Brinda una informacin especfica acerca del universo de desarrollo de un program a. 7. Utiliza formularios no manejados como registros sistemticos. 8. No ofrece identificacin oportuna de problemas. 9. Representa un costo adicional relativamente alto. La evaluacin sumativa o ex-post debe evaluar: Los productos, o sea, los bienes y servicios producidos y prestados por el progr ama o proyecto. Los efectos, o sea, los resultados de la utilizacin de los productos. El impacto, o sea, los cambios que permanecen luego de terminado el programa o proyecto. Evaluacin externa, evaluacin interna y evaluacin mixta: esta clasificacin hace referencia al tipo de personal encargado de llevar a efecto la evaluacin. Evaluacin externa: es la evaluacin realizada por agentes externos a la institucin o programa. Generalmente, son profesionales con reconocido prestigio en el campo d e la evaluacin, o funcionarios de entidades especializadas tales como universidades, c entros de asesora y auditoras especiales. Se dice que una evaluacin efectuada por investigadores externos asegura mayor objetividad en cuanto a la apreciacin del funcionamiento y resultados del program a.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Por otro lado es ms probable que el evaluador externo se haya sometido a un entre namiento especial en la evaluacin de programas y que tambin tenga experiencia en otras situaciones que pueda aplicar en esta oportunidad. Los evaluadores externos adqu ieren en el ejercicio de su profesin una gran habilidad para determinar los asuntos cla ves que deben ser evaluados, los indicadores ms adecuados y las mejores estrategias y dis eos para la recoleccin, el procesamiento, el anlisis y la interpretacin de la informacin . Pero tambin se hacen algunos cuestionamientos a la evaluacin externa tales como: e l evaluador externo no conoce el programa, por tanto invierte gran parte del contr ato tratando de comprender sus aspectos formales, pero el ambiente informal y las intimidades propias de cada programa y cada institucin nunca se comprendern. No es fcil compatibilizar los puntos de vista del evaluador externo con los que tiene en los temas de eval uacin el personal del programa. El evaluador externo hace que los costos se incrementen y no propicia una cultura de la evaluacin y del empoderamiento y en algunos casos tien de a crear resistencias frente a los residentes del programa, quienes, a su vez, no c onsideran que tales evaluadores tengan autoridad suficiente para valorar lo que ellos estn realizando. Evaluacin interna: es la evaluacin realizada por el personal de la institucin o del programa, generalmente grupos interdisciplinarios en los que estn representados t odos los estamentos y audiencias del programa. Los encargados de la evaluacin interna son responsables de analizar los problemas y ofrecer recomendaciones, pero tambin de corregir las dificultades e implementar l as soluciones; de modo que la evaluacin interna es, ante todo, una actividad adminis trativa (Love, 1991:24). Los defensores de este tipo de evaluacin afirman que los funcionarios tienen un conocimiento ms profundo de la estructura y funcionamiento del programa y, por consiguiente, estn en mejores condiciones de evaluarlo. Por el contrario, sus opo sitores afirman que el personal vinculado directamente al programa no podr tomar distanci a crtica frente al mismo, pues muchas veces el compromiso de estos funcionarios res ulta ms afectivo que racional o profesional, por lo cual no pueden ver las fallas del programa y, adems, en ocasiones la defensa del programa tal cual se realiza les representa una

estabilidad laboral.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Hamilton (1981) seala como ventajas de la evaluacin interna las siguientes: Puede contemplarse como parte fundamental en la estructuracin de una institucin o programa. Permite que se acepten ms fcilmente los resultados y que se tomen las medidas respectivas. La evaluacin interna ofrece a los evaluadores mayores posibilidades de conocer la naturaleza del programa. Evaluacin mixta: es la evaluacin realizada por un grupo conformado por evaluadore s externos y personal del programa (evaluadores internos). Se trata de una alterna tiva que minimiza los inconvenientes o factores excluyentes de las evaluaciones interna y externa, para, en cambio, potenciar las ventajas de ambas. Un caso especial de esta modal idad lo constituye la investigacin-accin, donde la evaluacin del programa es una tarea e n la que todos sus participantes se comprometen.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN OTRAS TIPOLOGAS DE EVALUACIN En la literatura sobre evaluacin de instituciones se encuentran, adems de las clasificaciones anteriores, muchas otras que, de alguna manera, podran encuadrars e dentro de stas. Se definirn a continuacin algunas de ellas. Evaluacin intermedia-evaluacin terminal Briones (1991) identifica la evaluacin intermedia como aquella que busca informac in durante el desarrollo del programa con el fin de detectar problemas de funcionam iento y buscarles soluciones adecuadas y oportunas. La evaluacin terminal, denominada tam bin evaluacin ex-post, es el estudio que se realiza despus de que el programa ha termi nado, con la finalidad de establecer si se obtuvieron los resultados esperados y los f actores que actuaron en una u otra direccin. Evaluacin de procesos-evaluacin de repercusiones El mismo autor define la evaluacin de procesos como aquella que se centra en el funcionamiento y otros aspectos dinmicos del programa, mientras que la evaluacin d e repercusiones se refiere a la determinacin del logro de objetivos de un programa o a la evaluacin de efectos externos. Evaluacin institucional-evaluacin de programas La evaluacin institucional se refiere a la evaluacin de una institucin en su nivel de organizacin, de tal modo que uno de sus focos principales de atencin est constituid o por las funciones que ella debe cumplir. Entre tales funciones se pueden definir objetivos o metas, pero como momentos puntuales dentro de esas actividades permanentes de la institucin. (Briones, 1991). La evaluacin de programas se refiere a la evaluacin de actividades ms o menos coord inales en torno a objetivos de duracin variable. Estos ltimos son estados o situaciones d eseables y que pueden lograrse mediante la estrategia que el programa utiliza y respecto de los cuales se evalan los resultados alcanzados o no. (Briones, 1991).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Evaluacin de objetivos internos-evaluacin de objetivos externos La evaluacin de objetivos internos se refiere al proceso destinado a verificar el logro de los objetivos que han de alcanzarse en la poblacin en la cual acta directamente el programa (objetivos internos). La evaluacin de objetivos externos hace referen cia a la evaluacin de situaciones o estados deseables de alcanzar fuera del mbito del programa cuando ste ya ha finalizado. Por lo general, estos objetivos son de natu raleza econmica, social y cultural, y se espera que se cumplan en la comunidad o en la sociedad global. EVALUACIN DESCRIPTIVA Y EVALUACIN EXPLICATIVA Evaluacin descriptiva: describe diferentes situaciones del programa (caracterstica s, factores que intervienen y relaciones de asociacin entre stas). Se apoya en tcnicas de anlisis de informacin descriptiva tanto cuantitativas como cualitativas. Evaluacin explicativa: trata de establecer la relacin causal entre los diferentes factores que intervienen en el programa y entre ste y el contexto. Estas explicaciones, a s u vez, estn constituidas por generalizaciones incorporadas al cuerpo de las disciplinas en las cuales se apoya el programa (psicologa, sociologa, antropologa, etc.), o bien se fo rmulan hiptesis explicativas ad hoc, que nuevas evaluaciones podrn confirmar o desconfima r (Briones, 1991:28). Al hacer la distincin entre evaluacin descriptiva y evaluacin explicativa, Suchman (1967:84) seala que en este segundo tipo es necesario examinar su fundamentacin racional, la que esencialmente consiste en concebir una secuencia causal en la c ual nuestro programa viene a ser slo una de muchas acciones o eventos posibles que pueden producir el efecto deseado. Adems, nuestro programa no slo influir para que se produzca el efecto deseado, si no que tambin tendr otros efectos (ver diagrama).

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN CONDICIONES VARIABLE EVENTOS VARIABLE PREVIAS INDEPENDIENTE INTERVINIENTES DEPENDIENTE CONSECUENCIAS PROGRAMA A EFECTO B a1 a2 a3 an b1 b2 b3 bn c1 c2 c3 cn EVALUACIN COSTO-BENEFICIO, COSTO-EFECTIVIDAD Y COSTO-RENDIMIENTO Puerta (199:63-64) define estos tres tipos de investigacin as: Evaluacin costo-beneficio: se aplica para estimar el valor de bienes intangibles y para disponer de un elemento ms de juicio, cuando se deben tomar decisiones que implic an una asignacin de recursos. (Ander Egg, 1984:73). Este tipo de evaluacin puede apli carse antes de que se de inicio al programa o una vez concluido el mismo. En los proyectos sociales, la medicin del beneficio se expresa mediante la utiliz acin de uno o varios indicadores de impacto sobre la poblacin objetivo. En cambio, en la evaluacin financiera y en la evaluacin econmica, los beneficios se expresan en unidades econm icas. Evaluacin costo-efectividad: esta evaluacin contrasta los resultados o beneficios no monetarios con los costos monetarios (Abello, 1987). Determina la eficiencia eco nmica de un proyecto al relacionar sus costos y productos con los efectos alcanzados. Evaluacin costo-rendimiento: de acuerdo con Musto (1975:99), la finalidad que per sigue esta evaluacin es la de hallar y determinar la diferencia entre el valor actual d e los costos pblicos y el valor actual de los rendimientos o utilidades de un proyecto, teniendo en consideracin tambin aquellos costos y rendimientos que inciden sobre sujetos distintos de los directamente afectados por el proyecto. El autor incluye en este tipo de evaluacin el calculo de los rendimientos de lo q ue se considera el impacto del programa; que no son los resultados del programa, sino

los efectos indirectos en cuanto a la poblacin beneficiaria. Evaluacin costo-utilidad social: determina el costo de alguna actividad que afect a a la sociedad en conjunto y que no necesariamente son iguales a los costos que pag a la

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN persona o empresa que realiza dicha actividad. Por consiguiente, los costos soci ales estn formados por los costos de oportunidad de los recursos usados en la activida d, junto con el valor de cualquier prdida de bienestar o incremento de costos que es a actividad provoca para algn individuo o grupo social. EVALUACIN EX-ANTE: es la evaluacin que se aplica a la formulacin del proyecto (evaluacin social y econmica del proyecto). Est orientada al anlisis de la factibili dad del proyecto, coherencia interna e ingeniera del proyecto y eficiencia del mismo. Los parmetros utilizados son (Pichardo, 1989:103-114): -La viabilidad o posibilidad del proyecto en sus trminos tcnico, financiero, jurdic o, sociocultural, institucional y poltico. -La transcendencia social, la eficiencia del proyecto o su capacidad para produc ir impacto en los destinatarios, las organizaciones y el medio social. EVALUACIN DE IMPACTO: esta evaluacin se refiere al efecto agregado del programa sobre la comunidad como un todo (Quintero,1995:6). Es decir, es aquella evaluacin realizada para determinar, bien sea, los efectos residuales del proyecto en su t otalidad los efectos de una sola de las actividades asociadas al mismo (Garca, 1992:6). METAEVALUACIN: hace referencia a la evaluacin de la evaluacin. El trmino es introducido por Scriven en 1968 cuando escribe un artculo sobre la evaluacin de lo s instrumentos de evaluacin. Plantea que los evaluadores tienen la obligacin profesi onal de que las evaluaciones propuestas o concluidas estn sujetas a una evaluacin competente. Las sugerencias metodolgicas de Scriven, para la realizacin de metaevaluaciones, incluyen la utilizacin de un listado de control de indicadores de la evaluacin. Los resultados de la metaevaluacin deben ser utilizados formativamente, pero tamb in pueden incorporarse al informe o transmitidos al cliente y otras audiencias adec uadas.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN AUTO EVALUACIN 1 Intente dar respuesta a los interrogantes que a continuacin se plantean recurrien do a la revisin de la unidad, a las fuentes bibliogrficas referenciadas, incluida la lectura complementaria 1 y a la discusin con sus colegas. 1. Qu diferencias encuentra entre la investigacin social y la investigacin evaluativa? 2. Existe un mtodo nico para la investigacin evaluativa? En caso afirmativo, cul es ste y en caso negativo es esto ventajoso o desventajoso? 3. Hasta qu punto cree usted que la sociedad debe investir en preparar y emplear especialistas en investigacin evaluativa en lugar de simples evaluadores? 4. Dnde, cmo y hasta qu punto debe proporcionrsele preparacin a ambos tipos de evaluadores? 5. Se justifica la inversin econmica en los procesos de evaluacin institucional a sabiendas de que en ltima instancia la toma de decisiones es eminentemente poltica?

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN ACTIVIDAD DE EVALUACIN UN CASO PARA EL ANLISIS A continuacin se presenta un caso en cuyo anlisis usted aplicar los contenidos desarrollados en la unidad. Elabore un ensayo de mximo 3 paginas en el cual fije su posicin frente a la propuesta del jefe. El secretario de desarrollo comunitario de su municipio lo contrata para discuti r los planes de evaluacin de los programas a cargo de esta dependencia. El funcionario le manifiesta que se ha definido como estrategia la autoevaluacin, pues considera que todos los miembros del personal de la secretara son responsabl es de evaluar su propio trabajo y advierte, adems, que no se han empleado los servic ios de ninguna agencia evaluadora ni de especialistas en evaluacin. En lugar de ello, ha recordado a todos sus empleados su responsabilidad de evaluar su propio trabajo y les ha enseado un mtodo evaluativo con el fin de garantizar el xito en el proceso. El secretario espera que este tipo de actividad evaluativa sea de utilidad para convencer al Concejo municipal para incrementar el presupuesto de la dependencia.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN LECTURA COMPLEMENTARIA: Introduccin a la evaluacin . En: Stufflebeam, Daniel L. y Shinkield, Anthony J. Evaluacin sistemtica. Gua terica y prctica. Barcelona: Ediciones Paids, 1995.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN BIBLIOGRAFA Ander-Egg, Ezequiel. Tcnicas de evaluacin social. Buenos Aires: Humanistas, 1984. Abello, R. y Madarriaga, C. Estrategias de evaluacin de programas sociales. Barranquilla: Uninorte, 1987. Bigman (1961), citado por Suchman. Briones, Guillermo. Evaluacin de Programas Sociales. Editorial Trillas. Mxico 1991 . Crombach, L. J. Toward Reform of Program Evaluation. San Francisco: Jossey-Bass, 1980. Garca, Jos. Evaluacin de programas de planificacin familiar. Bogot; Profamilia, 1992. Ministerio de Salud. Manual de evaluacin de programas de salud. Bogot, 1978. Musto, Stefan A. Anlisis de eficiencia-metodologa de la evaluacin de proyectos sociales de desarrollo. Madrid: Editorial Tecnos, 1975. Pichardo, Arlette. Evaluacin del impacto social. San Jos, Costa Rica: Editorial Universidad de Costa Rica, 1989. Puerta, Antonio. Evaluacin y sistematizacin de proyectos sociales. Medelln: Imprent a Departamental de Antioquia, 1997. Quintero, Vctor Manuel. Evaluacin de proyectos sociales: construccin de indicadores . Cali: Fundacin FES, 1995. Restrepo, Bernardo. Conferencias sobre evaluacin. Documento mimeografiado. Medelln: Facultad de Educacin, Universidad de Antioquia, 1974.

LOS CONCEPTOS DE INSTITUCIN-EVALUACIN E INVESTIGACIN EVALUATIVA Y APROXIMACIN A UNA TIPOLOGA DE EVALUACIN Scriven, M. S. The Methodology of Evaluation . En: Perspectives of Curriculum Evaluation. Chicago: Rand Mc Nally, 1967. Stufflebeam, D. y Shinkfield, A. Evaluacin sistemtica, gua terica y prctica. Barcelona: Ediciones Paids, 1995. Suchman, E. A. Evaluative Research: Principles and Practice in Public Service an d Social Action Programs. New York: Russell Sage Foundation. Weiss, Carol. Investigacin evaluativa. Mxico: Editorial Trillas, 1985.

Itinerario de la evaluacin d. programas como disciplin. Bernardo Restrepo Gme. Profesor Universidad de Antioqui.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA Mapa conceptua. Itinerario de la investigacin evaluativa a partir de Evaluacin emprica hacia La evaluacin sistemtica con la siguiente Periodizacin utilizando las fases foucaultianas de Disciplina Positividad Ciencia La evaluacin mundial para analizar en sus tres fases La evolucin en Colombia 2a. etapa y comentar La necesidad actual El mundo Colombia 1a. etapa 2a. etapa 3a. etapa 1a. etapa 3a. etapa y

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA INTRODUCCIN Esta unidad sobre la historia de la evaluacin como disciplina, que comprende la e volucin de la investigacin evaluativa, pretende dar al evaluador de instituciones y progr amas sociales una visin del itinerario seguido por este campo de accin investigativa a partir de la dcada de 1930 cuando comienz la sistematizacin de esta actividad, que, a deci r verdad, ha existido desde tiempos inmemorables. El valor y mrito de una poltica, d e una institucin, de un programa concreto, en efecto, han sido observados y medidos sie mpre por los estados con el propsito de tomar decisiones sobre la continuidad de unos y otros. Slo que se haca con base en la experiencia de quien apreciaba la situacin, s in instrumentos de ayuda capaces de refinar los resultados. El nacimiento de una di sciplina acadmica, encargada de producir conocimientos y tecnologa sobre la accin evaluativa , suele ubicarse en la dcada de 1930, concretamente en los trabajos de Ralph Tyler sobre evaluacin "como una rea que deba ir ms all del examen y de lo acadmico para incluir lo contextual de los programas educativos y de su rendimiento. Desde el acuamiento del trmino "evaluacin , hecho debido a Tyler (1934), la disciplin a se ha ido configurando y en torno a ella se ha ido consolidando una comunidad ac admica encargada de cultivar sus temticas, corrientes u orientaciones, metodologa y aplicaciones. Esta unidad se ha pensado como vehculo para pasear a los lectores p or los escenarios histricos que la evaluacin de programas ha recorrido desde 1934 has ta finales del siglo XX. La unidad consta de tres partes: el itinerario de la evaluacin en el mundo, el it inerario de la evaluacin en Colombia y la necesidad y vigencia de la evaluacin hoy en los dist intos campos del sector social.

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA 3. Objetivos 3.1 Objetivo general La unidad busca dar al estudiante un panorama del recorrido histrico de la invest igacin evaluativa en sus etapas de formacin y consolidacin como disciplina. Adicionalment e, pretende escudriar eventos evaluativos que han impulsado el desarrollo de la eval uacin institucional y de programas en Colombia en los ltimos 30 aos. 3.2 Objetivos especficos La unidad se centra en los objetivos de: 3.2.1. Identificar etapas de desarrollo de la evaluacin de programas desde el mod elo tyleriano de la dcada de 1930 hasta los modelos participativos, particularmente e l de empoderamiento (Empowerment) de Fetterman de la dcada de los 90 y su aplicacin en diversos campos del sector social. 3.2.2. Sealar hechos y caractersticas que permiten periodizar la historia de la ev aluacin: orientaciones o enfoques, mtodos, modelos, organizacin de una comunidad acadmica y expresiones colectivas de sta. 3..2.3. Delinear el derrotero de la evaluacin de programas en Colombia en los ltim os 30 aos, tanto en el mbito investigativo como en el acadmico. 3.2.4. Discutir la vigencia de la evaluacin institucional y de programas en la ac tualidad en los sectores pblico y privado. 4. Desarrollo de la unidad Evaluar es someter algo a valoracin o tratar de juzgar el valor y mrito de algo, c omo la ha definido Scriven (Stufflebeam, 1997). Esto puede hacerse empricamente acudiend o al sentido comn, o puede hacerse sistemticamente con enfoques y mtodos compartidos por comunidades acadmicas y cientficas. Los Estados en sus distintos entes territo riales, las instituciones internacionales y multilaterales y, en general, quien patrocin a polticas,

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA programas o proyectos de cualquiera ndole exigen desde hace unas cuatro dcadas que la evaluacin de polticas y programas sociales, cientficos y productivos se adelante a travs del segundo tipo de evaluacin. Para entender el surgimiento y evolucin de la evaluacin institucional y de program as sociales como una disciplina con objeto y mtodo de trabajo, es necesario recorrer el derrotero de la formalizacin de la evaluacin. Para hacerlo acudiremos al planteami ento Foucaultiano sobre la historia de las ciencias, esto es, a las etapas de positiv idad, disciplina y ciencia. Este recorrido lo haremos primero en el mbito universal y l uego en el mbito colombiano. 4.1 Itinerario de la evaluacin en el mundo Hoy en da, la evaluacin de programas tiene gran desarrollo en los EE.UU., Europa (Inglaterra, Francia, Italia, Hungra, pases escandinavos...), Australia, Israel, fr ica y Amrica Latina. Su origen se ubica en los EE.UU. e Inglaterra (Worthen, Sanders y Fitzpatrick, 1997). 4.1.1 Los inicios de la evaluacin Apoyndonos, pues, en el esquema foucaultiano sobre la formacin de las ciencias (Foucault, 1972), podramos decir que la evaluacin de programas sociales, como toda disciplina, ha seguido un curso progresivo de lo simple a lo complejo, de propsit os particulares a una visin ms integral y de un enfoque nico a una variedad creciente de enfoques u orientaciones y de mltiples modelos alternativos dentro de cada orient acin. Los campos que desde ms temprano se han preocupado por evaluar su accionar son la educacin y la salud. En educacin, que por su razn de ser siempre ha incluido la actividad evaluativa o de comprobacin como componente esencial, la evaluacin de programas comenz a figurar como una positividad , o sea, un campo con cierto objeto ms all de la evaluacin del aprendizaje acadmico y abarcando otros factores, a partir de los trabajos de Ralph Tyler quien desde 1934 y cada vez ms intensamente plante la necesidad de transformar el sistema de evaluacin incluyendo aspectos filosficos, culturales y escolares al constatar logros de objetivos. Tyler acu el trmino evaluac in para expresar una apreciacin del rendimiento estudiantil ms holstica, ms all de la era del examen que incluyese la consideracin de las circunstancias explicativas de los

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA resultados de dicho rendimiento. Con sus trabajos iniciales al respecto se inici una individualizacin de la evaluacin educativa en cuanto investigacin evaluativa. Esta etapa se extendi hasta finales de la dcada de 1950. Hasta finales de la dcada de 1950, la orientacin tyleriana de una evaluacin basada en comprobacin del logro de objetivos campe en el mbito no solo de la educacin, sino de otros programas sociales y los mtodos utilizados para detectar productos fuero n los mtodos cuantitativos. La dcada de 1960 trajo nuevos desarrollos en el campo evalua tivo impulsados principalmente por hechos tericos y polticos. En el campo terico hay que mencionar la influencia creciente de la psicologa cognoscitivista, en particular los trabajos de Piaget, Bruner y Ausubel, al insistir en el desarrollo y evaluacin de las func iones intelectuales primarias, el aprendizaje por descubrimiento y el aprendizaje sign ificativo, nfasis que demandan una evaluacin ms orientada a procesos que a resultados comparados con objetivos. Este cambio en la teora del aprendizaje puntualiza, en el campo de la evaluacin institucional y de programas, un viraje de la valoracin de p roductos hacia la comprensin y mejoramiento de procesos, concepcin que se evidenciar en el florecimiento de modelos cualitativos a partir de la dcada de 1960. Los mtodos cualitativos entran a compartir con los cuantitativos la implementacin de la eval uacin, como se ver luego. Desde el punto de vista poltico, el sentimiento de culpa interiorizado en Estados Unidos sobre la baja calidad de su educacin, puesta de presente ante el triunfo espacial sovitico que lanz el primer Sputnik en 1959, intensific la conciencia de la necesidad de ev aluar todo proyecto educativo antes de renovarle fondos federales a los distritos educ ativos y de exigir evidencias evaluativas en planes y propuestas innovadoras. Tal necesid ad se materializ en una norma legal, el Ttulo I del Acta de Educacin Secundaria de 1964 d el mismo pas, que inclua requisitos especficos de evaluacin de programas como criterio para renovar fondos ofrecidos a los distritos educativos para acelerar el mejora miento de la educacin (Madauss et al., 1983). La inexistencia de procedimientos apropiados para el seguimiento y evaluacin de proyectos sociales despert el inters por la elaboracin y refinamiento de modelos y procedimientos evaluativos diferentes a los subyacen tes en el examen tradicional, esto es, distintos al simple cuestionario basado en objet ivos. Se ensay, entonces, el mtodo experimental a travs de diseos varios, experimentales

y cuasiexperimentales, aplicados a programas de educacin, salud y bienestar socia l

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA (Suchman, 1967; Campbel, 1969), impulsados para evaluar proyectos en varias reas sociales desde varias dcadas atrs hasta hoy da por el Banco Mundial (Grossman, 1994; Newman et al., 1994), diseos preocupados principalmente, sobre todo en las dcadas de 1970, 1980 y 1990, con las repercusiones sociales o el impacto real de la inversin en programas sociales. Pero se hizo obvio pronto que este enfoque, si bi en lograba evidencias bastante certeras sobre efectos debidos a determinados tratam ientos o intervenciones transformadoras, dejaba por fuera elementos no verificables experimentalmente, pero de necesaria apreciacin cuando de mejorar procesos se tra ta. Se acudi, entonces, al diseo de modelos ms cualitativos como el estudio de casos, e l modelo de discrepancia entre resultados y objetivos (Provus, 1969), la evaluacin de expertos, el modelo de evaluacin formativa y sumativa, ms orientada al cliente (Sc riven, 1967), el modelo de semblanza de Stake, ms preocupado con procesos y con la visin de todos los interesados en los programas (1967, 1968), y otros, con lo cual el avance de la evaluacin como disciplina fue notorio en la dcada de 1960. Muchos de los tericos consolidados hoy en la investigacin evaluativa aparecen ya en esta segunda etapa del itinerario de la evaluacin y plantean modelos con respecto al saber y prctica que manejan, normas y criterios de verificacin y pretensiones de sistematicidad, sin proponer an reglas universales. Paralelamente al desarrollo de la evaluacin en educacin, la inquietud por evaluar resultados y procesos se desarroll tambin en el sector salud, comenzando por la acreditacin de las facultades de medicina de Estados Unidos y Canad desde los inic ios del siglo XIX, en el rea de condiciones de sectores urbanos deprivados, en la adm inistracin y eficacia de las escuelas pblicas, en la investigacin de corrupcin de los gobierno s locales (Worthen, et al., 1997) y en la administracin de la investigacin. Muy conocido es el libro sobre Evaluative Research, de Edward Suchman, profesor de Sociologa y Prctica de la Salud Pblica en la Universidad de Pittsburgh (1967), en e l cual expone formas de evaluacin de programas de salud, pero aplicables a programa s de educacin y bienestar. Esta obra puede considerarse como puente entre las etapa s dos y tres de la historia de la evaluacin de programas. El mismo Suchman, en la p arte final del captulo sobre El crecimiento y status actual de la evaluacin , sostiene que una de las razones del estancamiento de la disciplina y an del abuso que se comete en su nombre es la ausencia de modelos y estndares para conducir los estudios evaluativo s

y que este informe (libro) abra al menos la puerta a posterior debate y anlisis de las

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA funciones, objetivos y mtodos de la investigacin evaluativa (Ibdem). Suchman conceba la evaluacin como un experimento social, como aplicacin de los diseos clsicos controlados a la prueba de efectividad de los programas de accin social y al uso del conocimiento resultante como gua para la accin prctica. A partir de esta crtica sobr e el estancamiento de la evaluacin y de su propuesta comienza una etapa de gran dinm ica que llega hasta nuestros das. Finalmente, a partir de la dcada de 1970 se inici una tercera etapa que enrut la evaluacin por senderos de madurez y de cientificidad. Difcil es trazar la lnea divi soria entre la segunda y tercera etapas de la historia reciente de la investigacin eval uativa. En ambas emergen modelos alternativos dentro de los diferentes enfoques u orientaci ones. Quizs el hecho ms visible en la ltima etapa es la consolidacin de una comunidad acadmica identificada y fuerte a travs de asociaciones de evaluacin, a travs de la conformacin de redes internacionales y de foros y conferencias tambin internaciona les para intercambiar temas de inters, problemas, mtodos, indicadores y estndares orientadores. Esto es lo que ha ocurrido desde 1970. Se promueven grupos profesionales cultore s de este campo, se crean asociaciones profesionales en Estados Unidos, Canad, Austral ia y Europa, como la American Evaluation Association, la Canadian Evaluation Societ y, La Sociedad Europea de Evaluacin (creada en 1994), la Australasian Evaluation Societ y (Worthen, Sanders, and Fitzpatrick, 1997), la African Evaluation Association, la United Kingdom Evaluation Society, y la Assocciazione Italiana de Valutazione; se crean publicaciones peridicas especializadas, como The American Journal of Evaluation ( antes Evaluation Practice) y New Directions For Evaluation, de la Asociacin Americana d e Evaluacin, de carcter general, Educational Evaluation and Policy Analysis, de la Asociacin Americana de Investigacin en Educacin, ms especfica, Canadian Journal of Program Evaluation, y Evaluation (de la Asociacin Europea) con 80 nmeros las americanas y 50 la canadiense hasta 1998; se establecen redes electrnicas de evaluadores e investigadores, como XC-Eval y Evaltalk, con grupos de discusin (On Line) en internet; se llevan a cabo Cyberconferencias como la Primera Cyberconfe rencia Internacional de Evaluacin, celebrada en 1998 con la participacin de 25 pases, entr e ellos Colombia; se organizan posgrados en evaluacin de programas y se refinan mod elos evaluativos, apareciendo, adems, nuevas propuestas con gran despliegue y acogida mundial, como es el caso de los modelos de evaluacin de contexto, insumos, proces o

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA y producto (Stufflebeam et al., 1971), que empez siendo un modelo de evaluacin de programas en educacin, pero que en sucesivas actualizaciones se proyect como un modelo para evaluar la educacin continuada en medicina, para evaluar programas de desarrollo comunitario y de servicio social (Stufflebeam, 1997); los modelos de oposicin o evaluacin cuasijudicial del Wolf (1979), Owens y Levine (1976); el de Anlisis de necesidades de Kaufman (1983) y el modelo participativo de empoderamiento de Fet terman (1994, 1995, 1996, 1998), ms orientado a capacitar a los usuarios de los programa s para hacer su seguimiento y tomar decisiones sobre los mismos, poniendo nfasis, entonces, ms en el contexto y en su transformacin, que en el producto y en los ins umos. Todos estos modelos han sido pensados y aportados para diferentes reas en el sect or social. Se concertaron tambin estndares internacionales para regular la evaluacin, se llevaron a cabo conferencias internacionales con amplia participacin de varios co ntinentes (el 9 de enero de 1999 se llev cabo en Chicago un panel para discutir la creacin d e una Relacin Colaborativa entre los profesionales de evaluacin en todo el mundo, con la asistencia de la Asociacin Americana de Evaluacin, la Sociedad Australiana de Evaluacin, la Sociedad de Evaluacin del Reino Unido, la Asociacin Africana de Evaluacin y la Asociacin Italiana de Evaluacin) y se hizo el esfuerzo por fundament ar epistemolgicamente los enfoques evaluativos existentes, tanto los experimentales clsicos y sus afines, ms orientados a evaluar productos, como los ms cualitativos, empeados en apreciaciones ms relacionadas con los procesos de implementacin de los programas y las necesidades de los interesados. Los objetivos de la evaluacin en la primera etapa de la historia de esta discipli na fueron los objetivos alcanzados en el programa de instruccin, inicialmente, extendidos l uego a otras reas del sector social, es decir, comparar resultados frente a objetivos pr opuestos. En la segunda etapa, junto con los productos, se resalt la importancia de los pro cesos y ms recientemente, durante la tercera etapa, se incluyeron el contexto, los esfu erzos, insumos o estrategias generales de implementacin, y los procesos y resultados organizacionales, internos y de impacto en la sociedad. Se pas as, poco a poco, de una evaluacin meramente acadmica o de aprendizajes, a la evaluacin de programas y de instituciones. A travs de estas siete dcadas de formacin de la disciplina, en sus etapas de positi vidad, de 1930 a 1950, de disciplina en ascenso, de 1950 a 1970, y de pretensin cientfica , de 1970 hasta nuestros das, tres preocupaciones han guiado el desarrollo de esta for macin:

ITINERARIO DE LA EVALUACIN DE PROGRAMAS COMO DISCIPLINA la finalidad o propsito, los mtodos o procedimientos para llevar a cabo la evaluac in y el planteamiento epistemolgico, esto es, la concepcin del conocimiento que se priv ilegia para definir mtodos de acercamiento a la realidad del objeto evaluado. 4.2 La evaluacin en Colombia: el trnsito de la evaluacin de expertos a evaluaciones orientadas por modelos 4.2.1 La prctica evaluativa Un primer momento de la evaluacin educativa proviene de la evaluacin de colegios y universidades por parte del Ministerio de Educacin, las secretaras departamentales del ramo y el I