Title—Development of a Spanish Standard for the

Assessment of Digital Educational Material Quality

Abstract— The quality of Digital Educational Materials

(DEMs) constitutes one of the basic components of a high

quality institutional certification for outstanding use of ICT in

learning and teaching. However, currently, there is neither

national nor international standard for DEM quality

assessment. This deficiency not only limits the efficiency of the

certification systems to assess the quality of the e-learning of an

educational institution, but also the creation, use, reuse and

appraisal of DEMs. This article presents the project and first

results of the development of a DEM quality standard of the

Spanish Association for Standardization and Certification

(AENOR).

Index Terms— Standardization, E-Learning, Quality, Digital

Educational Materials, Digital Learning Objects

I. INTRODUCCIÓN

L uso de las Tecnologías de la Información y las

Comunicaciones en la Educación está obligando a

transformar los materiales educativos existentes y a crear

nuevos materiales en formatos digitales. Este proceso, sin

embargo, no es sencillo: no sólo exige conocer las

herramientas informáticas de edición digital textual y

multimedia sino también conocer las nuevas formas de

descripción, organización, presentación y uso de los

contenidos en formatos digitales. Así, sólo para la

descripción y clasificación de los recursos digitales

educativos el autor de los MED aplicar alguna de las normas

de metadatos educativos: UNE-LOM; Dublin Core

Educativo o el próximo estándar MLR (ver sección III.B.1).

Asimismo, téngase en cuenta que los autores de MED deben

ser, además y sobre todo, expertos en didáctica y en la

disciplina del MED. Todo este bagaje hace que la tarea de

crear MED sea costosa, cuando no inabordable, para

muchos autores, especialmente para los profesores no

especialistas en TIC [1]

Disponer de una norma de calidad de MED no va a

impedir que el autor tenga que invertir un importante

esfuerzo en aprender los requisitos tecnológicos y didácticos

(actualmente dispersos y difíciles de comprender) para crear

un MED de calidad. Sin embargo, si la norma recoger de

forma sistemática, comprensible y medible en un único

A. M. Fernández-Pampillón, Facultad de Filología, Universidad

Complutense de Madrid y Subcomité AEN 71/SC36 de la Asociación Española de Normalización y Estandarización (AENOR). Madrid. España.

(E-mail: apampi@filol.ucm.es).

documento, los requisitos básicos tecnológicos y didácticos

que debe cumplir un MED para satisfacer las necesidades de

sus usuarios, entonces va a facilitar considerablemente el

proceso inicial de aprendizaje, va a permitir que sepa crear

estos materiales, y, sobre todo, va a permitir la valoración de

este esfuerzo de creación de MED de calidad [2].

Asimismo, una norma de calidad de MED permitirá

complementar la evaluación de la calidad de los sistemas de

certificación, más generales, del aprendizaje electrónico

como el certificado europeo UNIQUe [3] o el nacional UNE

66181:2012 [4].

Por estas razones, la Agencia Española para la

Normalización (AENOR), puso en marcha en septiembre de

2013 el proyecto PNE 71362 para el desarrollo de una

norma UNE de Calidad de los Materiales Educativos

Digitales [5]. Se ha constituido un Grupo de Trabajo, AEN

71/SC36/GT 12, en el que participan, actualmente, veintitrés

profesionales de los diferentes campos de aplicación de la

futura norma: sector académico, de la administración del

estado y empresarial (ver Anexo).

Este artículo presenta el proyecto de norma y sus

primeros resultados. El esquema que se sigue es el siguiente:

en la sección 2 se describen los antecedentes en los que se

basa la norma; en la sección 3, el objeto y campo de

aplicación; en la sección 4, la estructura, requisitos y

metodología de desarrollo de la norma; en la sección 5 los

primeros resultados obtenidos: el nivel de calidad académico

y su aplicación. Finalmente, en la sección 6 se resumen las

conclusiones del trabajo desarrollado y el trabajo futuro.

II. ANTECEDENTES

A. Sobre la calidad de los Materiales Educativos Digitales

La norma de calidad incorpora los modelos de evaluación

de la calidad de los materiales educativos desarrollados a

nivel nacional e internacional que están centrados

únicamente en la evaluación del material educativo, sin

tener en cuenta los procesos ni sistemas relacionados con

dicho material. Estos modelos considerados están basados

en criterios de calidad. Los criterios se aplican utilizando

métodos como la evaluación por “iguales”, la evaluación por

los usuarios o la evaluación colaborativa.

A nivel nacional destacan los modelos de calidad de la

Universidad de Salamanca [6], de la UNED, [7], el Campus

Virtual de la UCM (documento no público) y la Universidad

de Murcia [8]. De estos modelos, HEODAR [6], es

posiblemente el modelo más completo. Incluye los aspectos

pedagógicos, subdivididos en criterios psicopedagógicos y

criterios didáctico-curriculares, y los aspectos técnicos como

“diseño de interfaz” y la “navegación”. Además, presenta un

Desarrollo de una Norma Española de Calidad

de Materiales Educativos Digitales

A. M. Fernández-Pampillón, Universidad Complutense de Madrid, Asociación Española de

Normalización y Certificación (AENOR)

E

VAEP-RITA Vol. 2, Núm. 1, Mar. 2014 49

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

modo sencillo de puntuación del 1 (Muy deficiente) al 5

(Muy alta). Incluye, asimismo, el factor “tiempo estimado

para la elaboración de las actividades propuestas”. La

propuesta desarrollada por la UNED no es tan completa y

clara en su clasificación de criterios y subcriterios como

HEODAR, pero también incluye los criterios pedagógicos

de “motivación”, “coherencia didáctica”, “interactividad” y

“adaptabilidad”. Asimismo incluye orientaciones de uso. Sin

embargo, únicamente considera el criterio tecnológico de

“presentación de los contenidos”. El modelo de la

Universidad de Murcia, se refiere fundamentalmente a

materiales educativos no digitales. Hace énfasis en que el

material debe ser “legible”, “actualizado” y “coherente con

el diseño curricular”.

A nivel internacional se han utilizado los modelos

presentados en: Becta [9], DESIRE [10], Kurilovas [11],

Leacock and Nesbit [12], LOEM [13], MELT [14], Paulsson

and Naeve [15], Q4R [16], CENICE-MED [17], Merlot

[18], LORI [19], Krauss y Ally [20], Open ECBCheck [21] y

LOAM [22].

La propuesta de Becta incorpora, respecto a los modelos

españoles, los criterios de “motivación” e “interacción”

Leacock and Nesbit se centran en la “calidad de

contenidos”, la “interactividad” y la “motivación”. DESIRE

apuesta por “calidad de los contenidos”, la “interacción”,

“adaptabilidad”, y la “motivación”, además de proponer la

necesidad de referenciar las fuentes de materiales. Kurilovas

desarrolla exhaustivamente las “cuestiones de derechos de

autor”, además de hacer énfasis en la “reusabilidad técnica”

y los criterios pedagógicos. LOEM está basado en cinco

criterios básicos subdivididos en varios subcriterios, todos

ellos extensamente apoyados teóricamente: “interactividad”,

“diseño”, “motivación”, “usabilidad” y “calidad del

contenido”. Llama la atención, sin embargo, que el modelo

incluya los criterios de carácter más tecnológico de “diseño”

y “usabilidad” a pesar de ser un modelo centrado en criterios

pedagógicos. En la línea de MELT, los criterios pedagógicos

de Kurilovas salvo la interactividad están destinados a la

máxima rentabilidad de los materiales y, por tanto, a su

internacionalización, por lo que promueven la

“independencia de la lengua” y la “transnacionalidad del

currículum” que rige objetivos y contenidos. Paulsson and

Naeve se centran directamente en los aspectos técnicos y

defiende su separación de los aspectos pedagógicos. El

modelo Q4R introduce aspectos como la definición de los

“objetivos didácticos”, “calidad de los contenidos”,

“indicación de la lengua” y de las “estrategias” de

enseñanza-aprendizaje y evaluación.

El informe CENICE-MED revisa los modelos de

estándares y marcas de certificación de calidad de

contenidos educativos internacionales desarrollados por el

Comité de la Industria de la Aviación (AICC), la American

Federation of Teachers (AFT), la Athabasca University, la

National Learning Network, Edna On line Education

Network, el IMS Global Learning Consortium, INC, y el

Grant McEwan College. Estos modelos hacen énfasis en los

aspectos que promueven la “reutilización” de los MED.

Asimismo incluyen la evaluación de los procedimientos de

elaboración y uso de los MED.

En el repositorio de MED, Merlot, la evaluación de la

calidad se basa, como en las revistas de investigación, en un

proceso de evaluación por pares entre los integrantes de un

consejo de redacción que revisa y compara cada una de las

evaluaciones e informes. Se tienen en cuenta los siguientes

aspectos: “calidad del contenido”, “efectividad potencial”

como herramienta de enseñanza, y “usabilidad”. Si existe

alguna diferencia significativa en los dos exámenes, se

asigna el material a un tercer revisor. Sin embargo, este

sistema de evaluación suele ser lento y puede incluso

demorarse más de treinta días, puesto que depende de la

disponibilidad de evaluadores que realizan su trabajo de

manera desinteresada.

El modelo LORI es, probablemente el más utilizado.

Propone nueve criterios que se puntúan de 1 a 5 siendo 5 la

puntuación máxima e incluye la opción “No Aplicable” en

caso que un revisor no se siente capacitado para juzgar un

criterio en particular o no sea aplicable. Los criterios son:

(1). “calidad de los contenidos”, (2) “alineación entre los

objetivos de aprendizaje, actividades, evaluaciones y las

características de los estudiantes”, (3) “fomento del

aprendizaje activo y participativo, adecuado al perfil de los

estudiantes”, (4) “motivación”, (5) “presentación y diseño”

de la información, (6) “interacción y usabilidad”, (7)

“accesibilidad”, (8) “reutilización”, (9) cumplimiento de los

“estándares y especificaciones” internacionales

relacionados.

Krauss y Ally (2005) presentan una herramienta basada en

la experiencia de aplicación de LORI. Los autores conservan

los primeros siete criteros de LORI pero sustituyen los

criterios séptimo y noveno de accesibilidad y cumplimiento

de los estándares por un nuevo criterio: el criterio 8 “calidad

de la guía del profesor”. Los autores justifican este cambio

en incapacidad de los evaluadores para saber aplicar los

criterios de accesibilidad y seguimiento de los estándares

por falta de conocimientos.

Open ECBCheck Quality Criteria for Programmes es una

herramienta para la evaluación de programas educativos

desarrollada por la European Foundation for Quality in e-

Learning (EFQUEL). Aunque no está específicamente

orientada a la evaluación de MED, contiene dos apartados,

C y E, dedicados a evaluar la calidad pedagógica y

tecnológica de los contenidos. Considera los aspectos de

“coherencia y claridad de los contenidos”, “adaptabilidad”,

“motivación”, “reusabilidad”, “accesibilidad”, “usabilidad”

e “interacción”.

Finalmente, LOAM incluye 12 criterios: (1)

“interactividad”, (2) “objetivo”, (3) “integración de textos

multimodales”, (4) “contexto de uso”, (5) “conformidad con

los estándares” que facilita “la reusabilidad”, (6)

“prerrequisitos” de los estudiantes para poder alcanzar los

objetivos marcados con éxito, (7) “ayuda” para hacer los

MED más intuitivos y adaptables a las necesidades de los

estudiantes, (8) “retroalimentación” incluyendo ayuda,

pistas y consejos a ser posible, (9) “adaptación” que

favorezca el hecho de que los estudiantes tengan opción a

una navegación abierta, con “interactividad” y secciones

opcionales, (10) navegación linear y no linear para que los

estudiantes puedan elegir, (11) “autoevaluación” y (12)

“coherencia entre el nivel de evaluación y el de los

objetivos” que se pretenden alcanzar. Además, se incluye

una guía explicativa para el evaluador, una guía abreviada a

la que el evaluador ya familiarizado con la herramienta

50 VAEP-RITA Vol. 2, Núm. 1, Mar. 2014

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

pueda recurrir cómodamente para afianzar criterios, y una

plantilla de evaluación donde el evaluador debe marcar un

valor para cada uno de los criterios. En la guía, para cada

uno de los 12 criterios, se da una definición, un ejemplo de

posible conflicto y la resolución del mismo. Además, se

explica claramente que la evaluación de cada uno de los

criterios va de 1 a 5, con una explicación clara para cada

valor. Como en el caso de LOEM, criterios pedagógicos y

criterios técnicos pasan a considerarse como pedagógicos.

B. Sobre los estándares y recomendaciones relacionadas

La segunda fuente de la norma son los estándares y

recomendaciones relacionados con la estructura, contenido,

accesibilidad y uso de los MED. Concretamente sobre:

1) Metadatos:

UNE LOM-ES 71361:2010. Perfil de aplicación LOM-ES

para etiquetado normalizado de Objetos Digitales

Educativos

ISO Standard 15836:2009. Dublin Core Metadata

Element Set

ISO/IEC 19788 MLR: 2011. Metadata Standard for.

Learning Resources

2) Modelos de organización e intercambio de contenidos

educativos:

ISO/IEC TR 29163: 2009. Sharable Content Object

Reference Model (SCORM®)

ISO/IEC 12785: 2009-2012. Content Packaging

3) Accesibilidad:

UNE-ISO/IEC 24751:2012. Tecnologías de la

Información. Adaptabilidad y Accesibilidad

Individualizadas en Aprendizaje electrónico, en Educación y

Formación. (especialmente la Parte 3)

UNE 139802:2009. Requisitos de Accesibilidad del

Software

UNE 139803:2012. Requisitos de Accesibilidad para

Contenidos en la Web

4) Formación virtual:

UNE 66181. Gestión de la Calidad de la Formación

Virtual

5) Marco de definición de estándares de calidad:

UNE-EN ISO/IEC 19796-1:2010. Tecnología de la

Información. Enseñanza, Educación y Formación. Gestión,

Aseguramiento y Métricas de la Calidad. Parte 1:

Aproximación General.

6) Asimismo, se están utilizando las recomendaciones:

- Pautas para el diseño de entornos educativos accesibles

para personas con discapacidad visual [23]

- IMS Common Cartridge Specification [24]

- IMS Guidelines for Accessible Delivery of Text, Audio,

Images, and Multimedia [25]

III. OBJETO Y CAMPO DE APLICACIÓN DE LA NORMA

El objeto de la norma es definir un modelo de calidad de

MED basado en criterios ponderables y una herramienta

para su evaluación. El modelo de calidad tendrá tres niveles

de exigencia: básico, medio y avanzado con el fin de

adaptarse a las diferentes posibilidades y necesidades de los

autores y usuarios de los MED. La herramienta de

evaluación podrá utilizarse para abordar de forma manual,

semiautomática o automática las siguientes tareas:

- evaluación de la calidad de los MED

- guía para la creación de MED

- clasificación y documentación de los MED con

referencia a su calidad.

- búsqueda, selección y recuperación conforme a

criterios de calidad de MED de los repositorios de

aprendizaje, de páginas Web o de servicios Web.

La norma está dirigida a las personas involucradas en los

procesos de creación, uso y valoración de MED. La

aplicación de la norma depende del papel que desempeñe el

usuario. Se distinguen cuatro categorías:

1) Autor/Creador: la norma proporciona una guía de

ayuda para la producción de los MED. En esta categoría se

incluyen, entre otros:

- los profesores,

- los estudiantes, que pueden crear MED como parte de

su proceso formativo,

- los editores, que son responsables de la decisión y

coordinación de la creación,

- los equipos de creación y desarrollo.

2) Consumidor/Usuario: la norma ayuda a seleccionar los

mejores MED de acuerdo a sus necesidades. Se trata de los

profesores, estudiantes, familiares y cualquier persona

interesada en el aprendizaje y la formación. No existe un

rango de edad. Abarca desde la educación primaria,

educación secundaria, bachillerato, formación profesional,

formación universitaria, educación de personas adultas y

formación continua (a lo largo de la vida).

3. Revisor/Evaluador: la norma permite valorar la

calidad de los MED y, en consecuencia, de la producción

didáctica de sus autores. Entre los posibles revisores se

incluyen: profesores, editores, productores, comités de

certificación de calidad.

4. Proveedor/Distribuidor: el seguimiento de la norma

permite garantizar la calidad de sus productos. Los

responsables de las instituciones educativas,

administraciones públicas del estado y empresas pertenecen

a esta categoría.

IV. ESTRUCTURA, REQUISITOS Y METODOLOGÍA DE

DESARROLLO DE LA NORMA

A. Estructura de la Norma

La norma se estructura en dos partes, tres niveles y cuatro

elementos. La Parte I define el modelo de calidad de MED

y una herramienta de evaluación para su uso manual. La

Parte II define el modelo de calidad de MED de la Parte I

para su uso automático o semiautomático. La Parte II servirá

para la evaluación automática o semiautomática de la

calidad y a la creación asistida de MED de calidad. A su vez

se divide en dos subpartes:

1. El modelo de información o especificación de alto

nivel del modelo de calidad de MED. Debe integrar los

modelos de información de los estándares e-learning

relacionados con la gestión de MED que han sido

presentados en la sección II.B.

2. La especificación XML del modelo de información

anterior (binding) utilizando el metalenguaje XML. Se trata

de una especificación de bajo nivel para su uso por las

aplicaciones software.

FERNÁNDEZ-PAMPILLÓN: DESARROLLO DE UNA NORMA ESPAÑOLA DE CALIDAD DE MATERIALES... 51

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

Cada una de estas partes de la norma tendrá una

estructura idéntica consistente en tres niveles de calidad, uno

por cada uno de los tres sectores de aplicación de la norma

(ver figura 1): académico, administrativo y empresarial. El

nivel académico será el más sencillo de aplicar y el menos

exigente en cuanto a requisitos tecnológicos puesto que está

orientado a los usuarios, como podrían ser los profesores,

investigadores y estudiantes, con menos conocimientos e

infraestructura informática para la creación de MED. Los

niveles administrativo y empresarial, por su parte, serán más

exigentes y complejos de aplicar y estarán orientados a los

desarrolladores profesionales de MED de las

administraciones, instituciones educativas, empresas y

corporaciones con mayor dedicación y especialización en la

creación de MED. Los niveles deben estar integrados de

forma que los más complejos incluyan a los más sencillos.

Los tres niveles estarán formados por cuatro elementos:

criterios de calidad, niveles de cumplimiento, herramienta

de evaluación y muestra de ejemplos. El primer elemento,

los criterios de calidad, serán ponderables y se referirán a

dos aspectos de la calidad: el didáctico y el tecnológico. Los

aspectos didácticos recogerán los criterios básicos que debe

cumplir un MED para ser eficaz didácticamente, es decir

para ayudar al profesor y al alumno a enseñar y aprender

mejor. Los aspectos tecnológicos se refieren a los criterios

básicos para que el MED sea un producto software de

calidad: robusto, usable y reusable e interoperable.

El segundo elemento servirá para valorar cada criterio y

consistirá en una escala discreta de niveles de cumplimiento

(por ejemplo del 1 al 5). Finalmente, para facilitar la

comprensión de cada criterio y saber valorarlo se definirá el

tercer elemento: una herramienta de evaluación que puede

tener la forma de rúbrica o de lista de verificación

(checklist), y, el cuarto elemento: una colección de ejemplos

de cumplimiento. Los ejemplos constituirán una muestra de

“buenas prácticas” que facilitará la interpretación de los

criterios y la definición de los niveles de cumplimiento.

En la Figura 1 se ha coloreado en azul las piezas de la

norma que ya están desarrolladas: el nivel académico con

sus criterios, los niveles de cumplimiento, la herramienta de

evaluación y la muestra de ejemplos. Una descripción más

detallada se presenta en la siguiente sección III.

B. Requisitos

Para el desarrollo de la norma se han establecido una serie

de requisitos cuyo fin es garantizar que sea lo más útil y

eficaz posible para la creación y evaluación del MED. Estos

requisitos son:

(i) carácter empírico. La norma debe desarrollarse a partir

de la experiencia contrastada, lo que significa que sólo se

tendrán en cuenta para la elaboración de la norma aquellos

modelos y herramientas de evaluación de la calidad de MED

que hayan sido aplicados con resultados satisfactorios

comprobables (ver sección II).

(ii) Consenso. La norma se construirá a partir de los

criterios de calidad que hayan sido incluidos en todos o la

mayor parte de los antecedentes seleccionados conforme al

requisito anterior (i). Además, debe existir acuerdo entre los

vocales del Grupo de Trabajo AEN 71/SC36/GT 12 que

incluye representantes de los tres sectores de aplicación de

la norma: académico, administrativo y empresarial.

(iii) Usabilidad. La norma debe ser comprensible y

fácilmente aplicable en cualquiera de los campos de

aplicación previstos (ver sección III).

(iv) Eficacia. La aplicación de la norma debe contribuir

realmente a mejorar la calidad de los MED.

(v) Fiabilidad. La norma debe tener una interpretación

precisa y deben obtenerse, de su aplicación en la evaluación

de la calidad, valoraciones objetivas e independientes del

evaluador y del método de evaluación.

Estos requisitos han servido de base para la definición de

la metodología de desarrollo y del método de evaluación de

la norma que se presentan a continuación.

C. Metodología de desarrollo y método de evaluación de la

norma

La norma de calidad se desarrolla siguiendo una

metodología incremental, inductiva y de especialización-

integración. Esta metodología prevé, en primer lugar, el

desarrollo de la Parte I de la norma y, con los resultados

obtenidos, continuar con la definición de la Parte II. En

segundo lugar, prevé el desarrollo de los niveles de calidad

comenzando por el nivel académico, el más sencillo y

menos exigente. El desarrollo del resto de niveles

(administrativo y empresarial) consistirá en incorporar,

validar y completar el nivel anterior. En cada nivel se

estudiarán y definirán, de forma independiente y

especializada, los objetivos, necesidades, tipos de usuarios y

antecedentes de modelos de calidad de MED. Con ello, se

definirán los cuatro elementos que conforman cada nivel:

criterios, niveles de cumplimiento, herramienta de

evaluación y muestra de ejemplos. El trabajo se organiza en

seis equipos especializados: uno por cada nivel, otro para la

accesibilidad y el último para la Parte II. En tercer lugar, la

metodología prevé la validación e integración de los

resultados de cada equipo. Para asegurar la integración entre

elementos, niveles y partes de la norma, cada equipo no sólo

validará sus propios resultados sino también los resultados

de los otros equipos tratando de integrar, si es posible, los

resultados en el trabajo propio.

La norma se validará experimentalmente comprobando el

cumplimiento de los requisitos de eficacia descritos en la

subsección anterior (B): carácter empírico, consenso,

usabilidad, eficacia y fiabilidad. El carácter empírico de la

norma se evaluará teniendo en cuenta si las fuentes

utilizadas para la elaboración de los niveles de calidad se

refieran a modelos aplicados de forma satisfactoria (ya

recogidos en los antecedentes). Asimismo, se valorará

experimentalmente la usabilidad, eficacia y fiabilidad de la

norma mediante la realización de talleres con usuarios

reales. Están previstos (y ya se han realizado) dos tipos de

talleres: (i) de creación de MED de calidad y (ii) de

evaluación de la calidad de MED. En los primeros, se pide a

los usuarios que transformen MED ya existentes en nuevos

MED aplicando la norma. Se recogerán como resultados: (i)

las observaciones del monitor del taller y los participantes,

(ii) la diferencia de calidad de los MED iniciales y finales, y,

(iii), la opinión, mediante una encuesta, de los asistentes

sobre la usabilidad de la herramienta. Además, se solicitará

permiso a los participantes para publicar y utilizar los MED

generados en el taller como muestras de MED de calidad.

52 VAEP-RITA Vol. 2, Núm. 1, Mar. 2014

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

Fig. 1. Estructura, en tres niveles, de la norma de calidad (fuente: elaboración propia)

De esta forma se va “alimentando” la colección de

ejemplos-muestra de la norma. En [1] se pueden consultar

los resultados del primer taller realizado para evaluar el

primer borrador del nivel académico de la norma.

Los talleres se deben repetir hasta que se verifiquen los

requisitos de eficacia de la norma y no se detecten errores y

problemas.

El segundo tipo de taller, de evaluación de MED, permite

medir la usabilidad y fiabilidad de la norma. A los asistentes

se les propone, como ejercicio práctico evaluar dos MED de

la colección de muestra. Se recogerán: (i) las observaciones

del monitor del taller y los participantes, (ii) los resultados

de las evaluaciones de los MED, y, (iii), los resultados de

una encuesta a los asistentes sobre la usabilidad de la

herramienta. Aunque se han realizado dos talleres de este

tipo, los resultados de estos talleres no están, todavía,

publicados.

V. EL NIVEL DE CALIDAD ACADÉMICO

En esta sección se presenta el primer resultado del

proyecto de desarrollo de la norma de calidad de MED: el

nivel académico. Está formado, actualmente, por un

vocabulario de términos de calidad de MED, un conjunto de

diez criterios ponderables respecto cinco niveles de

cumplimiento, una herramienta de evaluación de la calidad y

una primera colección de muestra de MED.

A. Términos y Definiciones

Uno de los problemas en el desarrollo de una norma para

evaluar la calidad de los MDD es la ambigüedad de los

términos de calidad y MED generada por los diferentes usos

en cada uno de los campos de aplicación [26]. En este

sentido, resulta básico consensuar el vocabulario a utilizar.

Durante el desarrollo del nivel académico se han establecido

los términos y significados siguientes:

- Material Educativo Digital (MED)

Cualquier entidad digital que pueda ser usada para el

aprendizaje, la enseñanza y la formación. Otras acepciones

válidas son: Objeto Digital Educativo (ODE) y Objeto

Didáctico Digital (ODD) (tomado de UNE 71361:2010)

- Objeto de Aprendizaje (OA)

Un tipo de MED que se crea con el objetivo de que sea

escalable, reutilizable, interoperable y accesible. Los OA se

estructuran en un contenido, que es el material educativo

propiamente dicho, y unos metadatos que clasifican y

documentan el contenido y que permiten su recuperación.

Los OA se almacenan, recuperan y gestionan con un tipo

especial de sistemas de bases de datos “en-línea”

denominados Repositorios de Objetos de Aprendizaje.

- Calidad de los MED

Un MED es de calidad si satisface las necesidades de los

usuarios: profesores y estudiantes. En este sentido, se ha

identificado como necesidad básica que el MED sea eficaz

didáctica y tecnológicamente. La eficacia didáctica se

refiere a que el MED contribuye a mejorar la enseñanza y el

aprendizaje y, por lo tanto, su uso mejorará los resultados

académicos. La eficacia tecnológica se refiere a su calidad

como producto informático: robusto, interoperable, usable,

escalable.

FERNÁNDEZ-PAMPILLÓN: DESARROLLO DE UNA NORMA ESPAÑOLA DE CALIDAD DE MATERIALES... 53

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

- Criterios de Calidad de los MED

Los criterios de calidad son el conjunto de propiedades

que garantizan la eficacia didáctica y tecnológica de un

MED. El objeto de la norma es identificarlos de forma

completa y precisa.

B. Criterios de Calidad y Niveles de Cumplimiento

Los criterios de calidad del nivel académico se han

elaborado teniendo en cuenta, como se ha dicho en la

sección IV.B, las propiedades comúnmente identificadas

como de calidad de MED en los antecedentes científicos

nacionales e internacionales (presentadas en sección II) y

cuya usabilidad y eficacia ha sido probada

experimentalmente. El resultado son diez criterios

ponderables [27]. Los cinco primeros criterios se refieren a

la calidad didáctica y los cinco siguientes a la calidad

tecnológica de forma que existe un equilibrio entre los

requisitos didácticos y técnicos. De forma resumida los

criterios son:

1. Objetivos y coherencia didáctica. Valora si el MED

aparece acompañado de una descripción (ficha de

metadatos) clara y coherente sobre su finalidad didáctica, a

quien va dirigido y sugerencias de explotación didáctica

(instrucciones de uso para el profesor y el alumno)

2. Calidad del contenido. Evalúa la calidad formal del

contenido del MED: equilibrio y claridad de ideas,

actualizado, sin sesgo ideológico, con respecto a los

derechos de propiedad intelectual, entre otros.

3. Capacidad de generar aprendizaje. Valora si el MED

estimula la reflexión, la capacidad crítica y la creación de

nuevas ideas y/o procedimientos/métodos/técnicas para

resolver problemas y tareas.

4. Adaptabilidad e interactividad. En este criterio se

valora si el contenido se ajusta al conocimiento previo de los

alumnos y a sus necesidades. Además, se valora si el MED

facilita que el alumno controle y maneje su aprendizaje.

5. Motivación. Se valora si el MED es capaz de atraer y

mantener el interés del alumno por aprender

6. Formato y diseño. Se valora si el diseño del MED es

organizado, claro y conciso; si incluye formatos

multimodales con el objetivo de favorecer la comprensión y

asimilación de los contenidos.

7. Usabilidad. Se valora la facilidad con la que una

persona interacciona con el MED

8. Accesibilidad. Valora si el MED está adaptado a

personas con alguna discapacidad con el fin de que puedan

utilizarlos con los dispositivos asistenciales

9. Reusabilidad. Valora las posibilidades de utilizar

muchas veces el MED o alguno de sus componentes. Se

consideran tres tipos de reusabilidad: (i) reusabilidad de

contenido –se puede utilizar todo o parte del contenido para

crear otros MED-, (ii) reusabilidad de contexto educativo –

todo o parte del MED puede utilizarse en más de una

disciplina o grupos de alumnos-, y, (iii) reusabilidad de

entorno –todo o parte del MED puede utilizarse en diversos

entornos de aprendizaje: presencial, virtual, mixto-

10. Interoperabilidad. Valora en qué medida el MED

puede ser utilizado en múltiples entornos y sistemas

informáticos.

Cada criterio, a su vez, se desglosa en una serie de sub-

criterios de cuyo cumplimiento depende la puntuación total

obtenida en el mismo. De esta manera se pretende una

evaluación precisa que no deje ningún apartado abierto a la

interpretación del evaluador.

Los niveles de complimiento son seis: 1 significa que no

cumple el criterio; 2, escaso cumplimiento; 3, cumplimiento

moderado; 4, buen cumplimiento; 5, perfecto y, también, se

incluye la posibilidad de NA –No Aplicable- en caso de que

no se pueda o no se sepa aplicar algún criterio.

C. Aplicación del nivel académico: Herramienta, Colección

y Métodos de evaluación

La herramienta de evaluación para el nivel académico es,

actualmente, una rúbrica que describe con precisión qué

subcriterios debe cumplir un MED para obtener una

determinada puntuación [28]. Esta rúbrica ha sido adaptada,

además, a la evaluación APPS para el aprendizaje de

segundas lenguas [29]. Asimismo, se está trabajando para

transformarla a formato “lista de comprobación” lo que

facilitará aún más su utilización.

Respecto a la colección de ejemplos de MED, se dispone

de 21 MED creados y cedidos por los vocales del AEN

71/SC36/GT 12 y por profesores participantes de los talleres

de evaluación del nivel académico de la norma. La

colección es, actualmente, privada por lo que no está todavía

disponible para su consulta en acceso abierto.

Finalmente, respecto a los métodos de evaluación de la

calidad de MED a utilizar con la norma se distinguen:

autoevaluación, evaluación entre iguales, evaluación

colaborativa entre iguales y evaluación de los usuarios

finales. Cada método de evaluación tiene su propio

propósito. La autoevaluación busca mejorar la calidad de los

MED durante la creación de los mismos. La lleva a cabo el

autor del MED tratando de cumplir el mayor número de

criterios. La evaluación entre iguales y la evaluación

colaborativa tiene como objetivo la evaluación de la calidad

potencial de un MED, es decir, antes de su utilización por

usuarios reales. Se lleva a cabo entre colegas y el

procedimiento es el mismo que el de la valoración de los

trabajos científicos. La evaluación colaborativa entre iguales

trata de mejorar la evaluación entre iguales añadiendo una

fase final de discusión entre los evaluadores para lograr un

acuerdo en la valoración final [30], [31]. La valoración de

los usuarios finales es una evaluación post-uso. Puede

recogerse mediante encuestas de opinión de forma

continuada durante toda la vida del MED [18].

VI. CONCLUSIONES Y TRABAJO FUTURO

Desarrollar una norma de calidad de MED es

imprescindible para mejorar la calidad de los MED actuales

e impulsar su producción. Sin embargo, su desarrollo es

complejo, en primer lugar, por las diferencias que existen

entre objetivos, necesidades, conocimientos y recursos

disponibles en los distintos campos de aplicación y tipos de

usuarios y, en segundo lugar, por la necesidad de garantizar

que dicha norma sea usable y eficaz para todos los usuarios.

Este artículo presenta el trabajo desarrollado hasta el

momento de elaboración de una norma de calidad de MED.

Los resultados obtenidos demuestran que es posible

diseñar una estructura de norma que atienda a las

54 VAEP-RITA Vol. 2, Núm. 1, Mar. 2014

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

especificidades de cada tipo de usuarios y, al mismo tiempo,

que permita integrar estas particularidades en un único

sistema. Asimismo, demuestran que es posible, a partir de

un conjunto de requisitos, definir una metodología de

desarrollo y un sistema de evaluación de la norma que

garantice su usabilidad y eficacia. Finalmente, aportan un

nivel de aplicación de la norma, el nivel académico, que está

ya operativo.

Estos resultados, sin embargo, son todavía parciales en la

medida en que el nivel desarrollado está todavía en revisión

y es difícil prever cuándo será estable y definitivo.

Los siguientes pasos están definidos en la metodología de

desarrollo: continuar con la evaluación del nivel académico

hasta conseguir resultados estables respecto a la usabilidad y

eficacia y abordar, a partir de este nivel, el desarrollo de los

siguientes niveles. Durante todo este proceso es

imprescindible, además, difundir a la norma con el objeto de

recoger el mayor número de aportaciones posible, comenzar

el proceso de mejora y valoración de los MED y asegurar el

conocimiento y futura aplicación de la norma una vez esté

finalizada.

APÉNDICE

Composición actual del AEN 71/SC36/GT 12

Juan Pablo Pulido Bermejo y Arturo de Porras-

Consejería de Educación y Cultura, Gobierno de

Extremadura

Julián García Villalobos- Dirección de Educación y

Empleo, ONCE

Marta Torán- Élogos Formación e-learning

Patricia Camacho- ePublicaciones y AvanzaLearning

Pilar Fernández- Asociación Española para la

Calidad

Juan Antonio Bardón- Grupo NETEMAN

Angel Luis González- Pearson España

Jose Luis Gil Torreira- Colegio Público Antonio

Machado

Pedro Iglesias Vázquez, Ana Frías, Clara Vizoso-

Institución Educativa SEK de Villafranca del Castillo

Daniel Pons- IES Sierra de Guara

Luis de Castro Soriano- Colegio Ntra. Sra. de la

Merced

Hugo Muñoz Robles- Colegio Público Juan Gris

Ana Fernández-Pampillón (Coordinadora GT), Elena

Domínguez, Isabel de Armas, Jose Luis Sierra,

Antonio Sarasa- Universidad Complutense de

Madrid

Covadonga Rodrigo; Miguel Santamaría-

Universidad Nacional de Educación a Distancia

Lourdes Moreno López- Universidad Carlos III

AGRADECIMIENTOS

Este trabajo está siendo posible gracias al apoyo

administrativo y técnico de AENOR y a la financiación

proporcionada por el Ministerio de Ciencia e Innovación a

través del Proyecto “Un enfoque generativo para la

construcción de herramientas de producción y despliegue de

objetos educativos en el campus virtual (TIN2010-21288-

C02-01)”. Los primeros modelos de calidad de MED se

gestaron en el seno de dos Proyectos de Innovación y

Mejora de la Calidad de la Docencia de la UCM en los años

2011 y 2012. En estos proyectos participó un equipo de

treinta profesores y técnicos de la Facultad de Filología

cuyos nombres figuran en los créditos de la herramienta de

calidad [27]. Nuestro agradecimiento a todos ellos. También

a Elena Domínguez e Isabel de Armas coautoras de los

criterios y rúbrica de calidad del modelo académico.

Finalmente, es imprescindible expresar nuestro

agradecimiento a los vocales del AEN 71/SC36/GT 12 sin

cuya implicación el proyecto de desarrollo de la norma no

hubiera podido, ni siquiera, plantearse.

REFERENCIAS

[1] Fernández-Pampillón, A., Domínguez, E., Lahoz, J.M., Romero, D.,

De Armas, I., Palmaz, S., Arús, J. “A Strategy for the Inductive

Generation of Learning Objects in low-Tech Contexts”. In Proc. 10th

European Conference on E-Learning. Brighton. UK. November 2011.

Pp 253. Disponible: http://academic-conferences.org/ecel/ecel2011/ecel11-proceedings.htm

[2] ANECA. “Programa ACADEMIA. Principios y orientaciones para la

aplicación de los criterios de evaluación”. Informe Técnico. Agencia

nacional de Evaluación de la Calidad y Acreditación.. 2008. Disponible: http://www.aneca.es/content/download/10527/118089/version/1/file/a

cademia_14_ppiosyorientaciones.pdf. [3] UNIQUe. The quality label for the use of ICT in higher education

(Universities and Institutes). 2012. Disponible:

http://www.qualityfoundation.org/unique-certification/

[4] Gestión de la calidad. Calidad de la Formación Virtual. UNE 66181.Asociación Española de Normalización y Certificación. 2012.

[5] PNE 7362. “Calidad de los Materiales Educativos Digitales”. Revista

AENOR [en línea]. Noviembre 2013. Pp. 56. Disponible:

http://www.slideshare.net/autocarescarrio/revista-aenor-noviembre-

2013

[6] Morales, E., Alonso, D., García F.J. “Herramienta para la evaluación

de objetos didácticos de aprendizaje reutilizables”. En X Simposio Internacional de Informática Educativa. Salamanca, España, 2008.

Ediciones Universidad de Salamanca (España). Pp. 181-186.

Disponible: http://hdl.handle.net/10366/55576

[7] UNED. “Protocolo Evaluación Materiales Impresos”. Instituto Universitario de Educación a Distancia. Universidad Nacional de

Educación a Distancia. Disponible: http://www.uned.es/iued/subsitio/html/documentos/Protocolo_MADI.

pdf

[8] Prendes Espinosa, Mª Paz y Solano Fernández, Isabel Mª

“Herramienta de Evaluación de Material Didáctico Impreso”. http://tecnologiaedu.us.es/nweb/htm/pdf/paz7.pdf

[9] Becta. 2007. Quality Principles for digital learning resources.

Summary Information. Technical Report. UK Government Agency for

effective and innovative use of technology throughout learning. URL:

http://es.scribd.com/doc/2032665/becta-quality-principles

[10] DESIRE Project Team. 2000. Section 2.1 Quality selection: ensuring

the quality of your collection. DESIRE Information gateways handbook. URL: http://cuc.carnet.hr/cuc2000/handbook/2-1.html

[11] Kurilovas, E., Dagiene, V. 2011. Evaluation of Quality of Learning

Software: Basics, Concepts, Methods. Saarbrücken Lambert

Academic Publishing

[12] Leacock, T., J. Nesbit. 2007. A framework for evaluating the quality of multimedia learning Resources. Educational technology y society,

vol.10, num 2,pp. 44-59. URL:

http://ifets.info/journals/10_2/ets_10_2.pdf#page=49

[13] Kay,R.H.; Knaack, L. “A multi-component model for assessing learning objects: The learning object evaluation metric (LOEM)”.

Australasian Journal of Educational Technology. 2008, 24(5), 574-

591. Disponible: http://www.ascilite.org.au/ajet/ajet24/kay.pdf [14] MELT project. 2007. Audit Report on MELT Content- version 2. Part

I. Deliverable D5.2. pp. 6-9. (March 2007). Disponible:

http://info.melt-project.eu/shared/data/melt/MELT_D5P2_Part1_final.pdf

FERNÁNDEZ-PAMPILLÓN: DESARROLLO DE UNA NORMA ESPAÑOLA DE CALIDAD DE MATERIALES... 55

ISSN 2255-5706 © IEEE-ES (Capítulo Español)

[15] Paulsson, F., Naeve, A. 2006. “Establishing technical quality criteria

for Learning Objects”. In eChallenges 2006 Conference. (Barcelona, Spain, October 25-27, 2006). Disponible:

http://www.frepa.org/wp/wp-content/files/Paulsson-Establ-Tech-

Qual_finalv1.pdf

[16] Q4R. Quality Assurance Workflow Model. 2007. Quality for Reuse project. URL:

http://www.q4r.org/Q4RBestPractices/Q4RWorkflowModels/Q4RQu

alityAssuranceWorkflowModel/tabid/1260/language/en-US/Default.aspx

[17] Domínguez Fernández, F (director). “Modelos de desarrollo,

explotación y análisis de calidad para la elaboración del multimedia

educativo”. Centro Nacional de Información y Comunicación Educativa, Ministerio de Educación y Ciencia (CNICE-MEC).

Informe Técnico Nº. 11. Disponible en:

http://ares.cnice.mec.es/informes/11/ [18] Cafolla, R. (2006). “Project MERLOT: Bringing Peer Review to

Web-Based Educational Resources”. Journal of Technology and

Teacher Education, 14 (2), 313-323. [19] Nesbit, J.C., Belfer, K., Leacock, T. 2003. Learning object review

instrument (LORI). Version 1.5. URL:

http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf

[20] Krauss, F., & Ally, M. “A study of the design and evaluation of a learning object and implications for content development”.

Interdisciplinary Journal of Knowledge and Learning Objects, Vol.1,

1-22. 2005. Disponible: http://ijklo.org/Volume1/v1p001-022Krauss.pdf

[21] ECBCheck Quality Criteria for Programmes. EFQUEL. Disponible: http://www.ecb-check.org/

[22] Learning Object Attribute Metric tool (LOAM). Educational

Technology for Healthcare Education. University of Nottingam. Disponible: http://sonet.nottingham.ac.uk/projects/loam/

[23] “Pautas para el diseño de entornos educativos accesibles para

personas con discapacidad visual”. ONCE. Dirección de Educación. Grupo de Accesibilidad de Plataformas Educativas. 2007. Disponible:

http://educacion.once.es/

[24] Common Cartridge. IMS Global Learning Consortium. Version 1.1. Final Specification. 2011. Disponible: http://www.imsglobal.org/cc/

[25] “Guidelines for Accessible Delivery of Text, Audio, Images, and

Multimedia”. Chapter 5. IMS Guidelines for Developing Accessible Learning Applications version 1.0 White paper.

http://www.imsglobal.org/accessibility/accessiblevers/sec5.html

[26] Dondi, C. and Moretti, M. ELearning Quality in European Universities. UNIQUe, 2007. [en línea].Disponible:

http://unique.europace.org/pdf/WP1-report-v5_FINAL.pdf

[27] Fernández-Pampillón, A.; Domínguez, E.; de Armas, I. (2012).

“Herramienta para la revisión de la Calidad de Objetos de Aprendizaje Universitarios (COdA): guía del usuario”. v.1.1. Informe

Técnico. Disponible: http://eprints.ucm.es/12533/

[28] Domínguez, E.; Fernández-Pampillón, A.; de Armas, I. (2013).

“Rúbrica para evaluar la calidad de los materiales educativos digitales”. Informe Técnico.Disponible: http://eprints.ucm.es/12533/

[29] Martín-Monje, E., Arús, J., Rodríguez, P. y Calle, C. (forthcoming

2014) "REALL: Rubric for the evaluation of Apps in language

learning". In Proceedings of ML13. [30] J.M.Campanario. “El sistema de revisión por expertos (peer review):

muchos problemas y pocas soluciones”. Revista española de

documentación científica. 2002; 25(3):166–184. [31] Leacock, T.; Nesbit, J.. “A framework for evaluating the quality of

multimedia learning Resources”. Educational technology y society,

2007; II (2), 44-44-59. Disponible: http://www.ifets.info/journals/10_2/5.pdf

Ana Fernández-Pampillón Cesteros es profesora e investigadora en la UCM en la

Facultad de Filología de la Universidad Complutense de Madrid.

Como investigadora ha participado en proyectos relacionados con enseñanza y

aprendizaje en entornos virtuales, innovación

educativa y lingüística computacional. Sus líneas de investigación principales son lexicografía computacional

(diccionarios, glosarios, tesauros y ontologías) y su aplicación a la

enseñanza virtual (e-learning, web semántica educativa, campus virtuales).

Desde Julio de 2003 hasta Diciembre de 2006 ha sido Profesora de Apoyo

Docente en la Oficina del Campus Virtual de la UCM (http://campusvirtual.ucm.es), donde ha trabajado en la construcción,

gestión y organización del campus virtual UCM. Desde marzo de 2007

hasta julio de 2012 ha sido Coordinadora del Campus Virtual con funciones de asesoramiento. Actualmente es Vicedecana de Tecnologías en la

Facultad de Filología y miembro del Comité AEN 71 /SC 36 "Tecnologías

de la Información para el Aprendizaje" de AENOR. Coordina el grupo de trabajo AEN 71/SC36/GT 12 para la elaboración de una norma UNE

Calidad de los materiales educativos digitales (PNE 71362).

56 VAEP-RITA Vol. 2, Núm. 1, Mar. 2014

ISSN 2255-5706 © IEEE-ES (Capítulo Español)