Evaluación.

Herramienta de gestión en

bibliotecas y centros de

información

Juanita Jara de Súmar

Bibliotecaria

McGill University- Canadá

Proceso de recogida de datos y evaluación

Herramienta de gestión, para la planificación

estratégica y la administración eficiente

En el sector privado

En el sector educativo y gubernamental

Recogida de datos y evidencia (Assessment)

“Assessment is the gathering of meaningful or

purposeful data that will provide information that

informs, improves or confirms”

Datos pertinentes que nos informan, mejoran y confirman

la situación que queremos analizar

Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library

Asses[s]ment. Indiana Libraries, 23(1), 7.

Evaluación

“Evaluation […] is the assigning of merit, value or

worth to the findings”

Mérito, valor, riqueza

Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library

Asses[s]ment. Indiana Libraries, 23(1), 7.

Cultura de recogida de datos y evidencia

Organizaciones que cuentan con un sistema y una

estructura para la compilación continua de datos

y evidencia que permiten evaluar la organización.

Dudden, R. F. (2007). Using benchmarking, needs assessment, quality improvement,

outcome measurement, and library standards : a how-to-do-it manual with CD-ROM.

New York ; London : Neal-Schuman Publishers.

Planeamiento estratégico

Tomar en cuenta la visión, misión y metas de la

organización

Debe basarse en hechos y datos concretos

Ceñirse a un calendario

Establecer objetivos (resultados) reales y cuantificables,

totales y para cada etapa

Toma de decisiones basadas en el análisis de los datos

FODA (SWOT)

Fortalezas Oportunidades

Debilidades Amenazas

Estimado preliminar

Origen

Planeamiento/Diseño

Recogida de datos

Análisis de datos

Resultados

Informe de la evaluación

Toma de decisiones

Acciones

Wallace, D. P. & Van Fleet, C. J.

(2012) Knowledge into action. Santa

Barbara: Libraries Unlimited, p.40

Proceso de

Medición y

Evaluación

Representación

lineal

http://www.ala.org/acrl/standards/standardslibraries

Presentación linear de los tipos de medidas de una biblioteca

Categorias de medidas

ENTRADAS PROCESOS / ACTIVIDADES

SALIDAS PRODUCTOS (RESULTADOS)

IMPACTO

Tipos de medidas

Recursos humanos y financieros

Medidas de rendimiento Indicadores de eficiencia

Actividades Progrmas y servicios Calidad

Satisfacción Valor para el usuario A corto plazo

Cambios en la sociedad debido a cambios en los usuarios A largo plazo

Medidas de…

EVALUACIÓN Y COMENTARIOS

Economía Eficiencia

Adaptado de Dudden, Rosalind F. 2007. Using benchmarking, needs assessment, quality improvement,

outcome measurement, and library standards : a how-to-do-it manual with CD-ROM, Medical Library

Association guides. New York ; London : Neal-Schuman Publishers. p. 43

Ética profesional en la evaluación

Principios de la conducta del investigador

Conflicto de intereses

No beneficiarse de la información privilegiada

Trato de los datos

Trato con las personas participantes

1 Recogida de datos y evidencia

Consiste en recopilar datos significativos o útiles para

informar, mejorar o confirmar nuestras acciones. (Lee-

Thomas)

¿Qué queremos saber?

¿Por qué lo queremos saber?

¿Quién nos proporcionará la información?

¿Cómo conseguiremos la información?

¿Cómo utilizaremos la información?

Mediciones

Recogida de datos sobre todo el sistema

Datos sobre sólo un determinado proceso

Evaluación de colecciones

Evaluación de la alfabetización informacional

Evaluación del servicio de referencia virtual

Evaluación del personal de la biblioteca

Mediciones

Medidas (metrics)

Datos cuantitativos. Estadísticas. Presupuesto

Estimados. Muestreo

Evidencia

Comparación con organismos similares (benchmarking)

Carencias (gap analysis)

¿Cuán valiosos?

¿Cuán bien?

¿Cuán sensible?

¿Cuán satisfechos?

¿Cuán fiable?

¿Cuán cortés? ¿Cuán preciso?

¿Cuánto? ¿Cuán rápido?

¿Cuán económico?

¿Cuántos?

The “hows” of Measurement

Medidas

Adaptado de Hernon, Dugan and Matthews. (2014). Getting started with

evaluation. Chicago: ALA, p. 7

Encuestas Entrevistas en persona

Análisis de quejas/ Grupos focales

felicitaciones

tarjetas para comentarios

Clientes anónimos Entrevistas a empleados

que se retiran

Satisfacción

de los clientes

d

Adaptado de Hernon, Dugan and Matthews. 2014. Getting started with

evaluation. Chicago: ALA

Análisis estadístico

Promedios: media, mediana, moda

Relaciones, Porcentajes

Regresiones, Correlaciones

Prueba Chi-cuadrado

Análisis estadístico - Software

Stata

SAS

SPSS

MATLAB

Cientos de paquetes de software libre

Rúbricas

Mediciones que describen niveles de rendimiento para

cada tarea o parte de ella.

Describir la tarea

Determinar las parte de la tarea y sus dimensiones

Describir las dimensiones

Crear escalas numéricas o de valor (bien, mal)

Normas

A nivel nacional e internacional

Para diversos tipos y niveles

Las normas expresan niveles mínimos

Incluyen principios e indicadores de rendimiento

Ej. http://www.ala.org/acrl/standards/standardslibraries

Evaluar por comparación o puntos de

referencia (Benchmarking)

Las normas establecen puntos de referencia que permitenhacer comparaciones una y otra vez. ¿Cuán buenosqueremos ser?

Comparación con una organización similar o grupo de organizaciones o con las normas

Las comparaciones deben mostrar si se alcanzó el niveldeseado ¿Cuán buenos son nuestros servicios?

Se progresa mejorando la calidad de las actividades

Esto establece las buenas prácticas

Buenas prácticas

¿Cómo lo hacen los demás?

¿ Los demás lo hacen mejor que nosotros?

¿Cómo podemos adaptar a nuestra biblioteca lo que hacen

los otros?

Dugan, R. E., Hernon, P., & Nitecki, D. A. (2009). Viewing library metrics

from different perspectives : inputs, outputs, and outcomes. Santa Barbara,

Calif. : Libraries Unlimited.

Estudios con base en la evidencia

Percibida mediante la observación directa

Producto de un análisis en condiciones controladas

(estudios tiempo/movimiento, focus groups, cuestionarios,

entrevistas)

Estudios de casos

Expresada en la literatura sobre el tema analizada

sistemáticamente (evidence-based studies, systematic

reviews, meta analysis)

Análisis de carencias (Gap analysis)

Dos aspectos: calidad y satisfacción

Diferencia en la expectativa del cliente

Diferencia en el nivel de servicio

Diferencia entre lo que se promete y lo que se entrega

Diferencia en la percepción del servicio

Análisis de datos

Revisar que los datos estén completos y correctos y en el

formato adecuado

Métodos estadísticos pertinentes al caso

Establecer matrices

Seleccionar las herramientas analíticas apropiadas para

darle sentido a los datos

Presentación gráfica adecuada

Aceptar los resultados negativos

Herramientas

interpretativas

Consolidación

de datosRelación con

las preguntas

Herramientas

analíticas Resultados

Recogida

de datos

Prueba de hipótesis

Normas,

lineamientos

políticas

Validación y

corrección

Eval

uac

ion

……………………………………………………………………………………………………………………………………..

………………………………………………………………………………………………………………………………………………………………………………

Wallace, D. P. & Van Fleet, C. J. (2012) Knowledge

into action. Santa Barbara: Libraries Unlimited, p.54

Estimado de las necesidades

Medida de la satisfacción de los usuarios

Calidad de los servicios

Rentabilidad sobre la inversión (ROI)

Valor de los servicios para la comunidad

Basado en factores subjetivos

Ejemplos de estudios cualitativos:

LibQual

Libqual en el Perú

http://www.slideshare.net/slideshow/embed_code/33379428

LibQual McGill University http://www.mcgill.ca/library/sites/mcgill.ca.library/files/mcgill_libqual_sur

vey_results_2013.pdf

2. Evaluación, valoración

Consiste en asignar mérito, apreciación y valor a

los resultados que servirán para la toma de

decisiones

Considera datos cuantitativos y cualitativos

Informes – Criterios de evaluación

Pertinencia del informe al tema de la situación identificada

Conforme a las normas del proceso de evaluación

Descripción del proceso de evaluación completa y detalladamente

Evidencia de honestidad y falta de prejuicios

Evidencia de falta de errores

Comparación con estudios similares

Autoridad de los autores

Redacción lógica, clara, simple, sin redundancias = cualidades literarias

Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa Barbara: LibrariesUnlimited. P. 101Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa Barbara: Libraries Unlimited. P.

“Not everything that can be

counted counts”

Cameron, W. B. (1957). The Elements of Statistical Confusion: Or: What Does the

Mean Mean? AAUP Bulletin, 43(1), 33-39.