Desarrollo de rúbricas para evaluar trabajos de investigación - 14 de octubre de 2011

8/3/2019 Desarrollo de rbricas para evaluar trabajos de investigacin - 14 de octubre de 2011

1/36

Desarrollo de rbricas para evaluar

las investigacionesque hacen los estudiantes

Prof. Julio E. Rodrguez TorresProf. Nadia CorderoCentro para la Excelencia AcademicaOficina de Evaluacin del Aprendizaje EstudiantilDecanato de Asuntos Acadmicos - UPR-RP14 de octubre de 2011


2/36

Objetivos del Taller

Familiarizar a los participantes con aspectosrelevantes sobre construccin de rbricas.

Establecer los criterios que desea evaluar en untrabajo de investigacin realizado por los estudiantes.

Comenzar el desarrollo de una rbrica para medir untrabajo de investigacin realizado por los estudiantes. Establecer los niveles de desempeo para una ejecucin de excelente y

para una ejecucin de iniciado.

Oficina de Evaluacin del Aprendizaje Estudiantil


3/36

Marco de referencia

El marco de referencia para esta presentacin se apoyaen lo siguiente: En la revisin de la literatura del rea de desarrollo de rbricas.

En lo que indican las teoras sicomtricas sobre la construccinde instrumentos.



4/36

Ciclo evaluativo

Se planifica

Se pone enaccin

Se recogeny analizan

datos

Seproponenacciones



5/36

Qu evidencias debemos estarbuscando?

Entre otras: Informes de investigacin

Reseas historiogrficas

Informes de laboratorio Propuestas de investigacin

Proyectos de investigacin

Ensayos, monografas, presentaciones orales, debates. Portafolios y otras evidencias donde se refleje una

evolucin acadmica del estudiante.



6/36

Qu deben hacer los profesores que interesanevaluar las destrezas de investigacin?

Redactar objetivos de aprendizaje para el avalo de destrezasde investigacin.

Planificar y desarrollar las actividades educativas en loscuales medir las destrezas a evaluar.

Determinar las instancias donde se recopilar lainformacin.

Establecer los criterios e indicadores de desempeo paraevaluar la ejecucin.

Establecer el logro esperado.

Disear los instrumentos para recopilar informacin.

Recopilar, analizar los datos y compararlos con el logroesperado.

Proponer acciones transformadoras.Oficina de Evaluacin del Aprendizaje Estudiantil


7/36

ComunicacinEfectiva (oral yescrita)

Pensamiento Crtico

Investigacin y

Creacin Responsabilidad

Social

RazonamientoLgico-Matemtico

Competencias deInformacin

Trabajo en Equipo

Conocimiento,destrezas y actitudespropias de ladisciplina

Integracin del

Conocimiento Capacidad para

EstudioIndependiente

Curiosidad

Intelectual Aprendizaje Continuo

Sensibilidad tica yEsttica

Aprecio, Cultivo yCompromiso con losideales de la sociedad

puertorriquea,caribea einternacional


Dominios del Aprendizaje Estudiantil del Recinto (Perfil delEgresado- Certificacin 46 del Senado Acadmico, 2005-2006)


8/36

Cmoevaluamos el

dominio de

investigacin?



9/36

Unaalternativa

es: medianteel uso de

rbricas



10/36

La rbrica es una matriz de valoracin en la cual seestablecen los criterios y los indicadores dedesempeo a travs de una escalas para determinar lacalidad de la ejecucin de los estudiantes en unastareas especficas dentro de un continuo.

Permite obtener una medida aproximada,

tanto del producto como del proceso.

Qu es una rbrica?



11/36

Generalmente se conocen dos tipos de rbricas laglobal (holstica) y la analtica.

En la rbrica holstica se evala la totalidad del

proceso o producto sin juzgar por separado laspartes que lo componen.

En la rbrica analtica se evala inicialmente, porseparado, las diferentes partes del producto odesempeo y luego se suma el puntaje de estaspara obtener una calificacin total (Moskal, 2000;Nitko, 2001).

Tipos de rbricas



12/36

El uso de las matrices de valoracin holsticas paracalificar, puede resultar en un proceso ms rpidoque utilizar las rbricas analticas con el mismofin.

Como en estos casos lo que se busca es lavaloracin general, casi siempre se usan cuando elpropsito de la valoracin es por su naturaleza

sumativo. Con este tipo de valoracin no se provee mucha

retroalimentacin al estudiante.

Rbricas holsticas



13/36

Las rbricas analticas se prefieren cuando requiere unproceso o respuesta enfocada.

Se evalan individualmente diferentes habilidades ocaractersticas que requieren que se examine el producto

varias veces. Los estudiantes reciben retroalimentacin en cada uno de los

criterios evaluados, lo que no sucede con el enfoqueholstico. Lo anterior hace posible crear un "perfil" de las

fortalezas y debilidades especficas de cada estudiante, y enagregado del grupo, con el fin de establecer un curso deaccin para mejorar stas ltimas.

Las matrices de valoracin analtica promueven unavaloracin formativa.

Rbricas analticas



14/36

Ejemplo de criterios al evaluar Destrezas deComunicacion Escrita en reas evaluadas en una

composicin

Tema y EstructuraIntroduccin

Desarrollo

Conclusin

Dominio de las Estructuras Sintcticas

Estructura SintcticaConcordancia

Claridad

Dominio Lxico

Riqueza Lxica

Precisin y Concisin

Correccin

Acentuacin

Uso de Maysculas



15/36

Ejercicio #1

Trabajo en grupos:

Generar por lo menos cuatro criterios a evaluar enuna posible investigacin a ser realizada por el

estudiante.



16/36

Discusin grupal de Ejercicio #1



17/36

Posibles criterios

Introduccin

Revisin de literatura

Metodologa Recopilacin de datos

Anlisis de los datos

Conclusiones

Recomendaciones



18/36

Elementos de la rbrica

Criterios caracterizan la conducta esperada o requeridapara completar la tarea.

Indicadores de desempeo indican el grado de

competencia que categoriza la ejecucin de los estudiantesbasada en los criterios.

Niveles/Escala indica los valores o puntuaciones mediante

los cuales cuantificamos la ejecucin de los estudiantes para,de este modo, facilitar una medicin ms precisa y objetiva.



19/36

Modelo de rbrica

Niveles / Escala

Criteriosa evaluar

Indicadores dedesempeo



20/36

Cmo desarollar una rbrica?

Busque un buen modelo e identifique las caractersticas quedefinen un buen trabajo.

Establezca con claridad dentro de esa actividad qu va aevaluar: un (unos) objetivo(s), desempeo(s),comportamiento(s), competencia(s) o actividad(es).Determine cules va a evaluar. (validez)

Describa lo ms claramente posible, los criterios dedesempeo especficos que va a utilizar para llevar a cabo laevaluacin de esas reas. (validez)


C d ll b i ?


21/36

Disee una escala de indicadores de calidad para calificarlas.Esto es, establezca los indicadores de desempeo que puedealcanzar el estudiante. Puede aadirle una escala numrica.

Revise lo que ha plasmado en la matriz de valoracin orbrica para asegurarse de que no le falta nada. (validez)

Utilice la rbrica con sus pares en una muestra de trabajos de

investigacin de modo que se permita desarrollar consistenciaen la evaluacin. (confiabilidad)

Permita que los estudiantes se familiaricen con la rbricadesarrollada en el momento que se asigna el trabajo.

Cmo desarollar una rbrica?(cont.)



22/36

Al desarrollar la rbrica,considere que:

Por lo general, la escala de indicadores de calidad (o desempeo) paracalificar los diversos criterios a evaluar, se ubica en la fila horizontalsuperior, con una gradacin que va de mejor a peor. Es muy importante que la gradacin de esta escala sea obvia y precisa para

que exista diferencia en los distintos grados que se pueden lograr en elaprendizaje propuesto.

En la primera columna vertical se ubican los criterios o dimensiones quese han seleccionado para evaluar.

En las celdas centrales se describe, de la forma ms clara y concisaposible, el nivel de desempeo o ejecucin, esto es, los indicadores quese van a utilizar para evaluar esos criterios. Recuerde que estas celdas centrales explican cules son las caractersticas de

un trabajo excelente, de uno deficiente y las variaciones intermedias entre eluno y el otro.


P ibl i l d l l d


23/36

Posibles niveles de la escala deindicadores de desempeo

Dos niveles Satisfactorio, No satisfactorio

Tres niveles En desarrollo, Aceptable, Ejemplar

No aceptable, Competente, Logrado

Cuatro niveles En inicio, En desarrollo, Satisfactorio, Excelente

No aceptable, Marginal, Cumple las espectativas, Excede lasespectativas



24/36

Niveles (tpicos) de la escala de indicadoresde desempeo (cont.)

Cinco niveles Deficiente, Iniciado, Aceptable, Excede las expectativas,

Excelente

Seis niveles No satisfactorio, Poco satisfactorio, Satisfactorio, Muy

satisfactorio, Bueno, Excelente

Consideracin importante:La Junta de Directores de la Asociacin Americana de

Colegios y Universidades (AACU) sugiere cuatro niveles.



25/36

Ejercicio #2

Trabajo en grupo:

Comenzar el desarrollo de una rbrica para avaluar eldesempeo de nuestros estudiantes en destrezas de

investigacin. Escoger por lo menos dos de los criterios para evaluar destrezas

de investigacin que su grupo escogi.

Trabajar los indicadores de desempeo para una

ejecucin Excelente y el extremo opuesto aExcelentepara esos dos criterios.



26/36

Discusin en grupo de Ejercicio 2



27/36

Criterio: Introduccin

Que reas podramos medir (subcriterios) bajo elcriterio de Introduccin ?Establecer el problema de investigacin.

Describir el propsito de la investigacin.

Presentar la justificacin (significado terico-prctico).

Plantear las preguntas o hiptesis.

Identificar las variables.

Presentar el diseo de investigacin.

Definir conceptualmente las variables.

Definir operacionalmente las variables.



28/36

Criterio: Metodologa

Que reas podramos medir (subcriterios)bajo elcriterio de Metodologa ? Indicar el tipo de investigacin.

Describir el diseo.Adecuacidad del diseo con respecto al problema.

Describir la poblacin.

Describir la muestra.Describir los instrumentos.

Establecer la validez y la confiabilidad.


d l d b i l b j


29/36

Criterio a evaluar Excelente7-8

Satisfactorio5-6

En progreso3-4

Iniciado1-2

INTRODUCCIN

Planteamientodel problema

Plantea claramente elproblema y propsito de lainvestigacin. El mismo esrelevante. Se sustenta lajustificacin o su significadoterico-prctico conevidencia.

Se plantea el problema y elpropsito de la investigacinpero la justificacin osignificado terico-prcticono est claramentesustentado. La evidencia que

presenta a veces no esrelevante

Se plantea el problema y elpropsito pero es pocorelevante. Presentaconfusin en la justificacinen trminos de susignificado terico-prctico yla evidencia que presenta.

El problema presentado noes claro. La justificacin noest sustentada.

Preguntas deinvestigacin

Las preguntas o hiptesisestn planteadas de maneraclara y se relacionan con elproblema.

Las preguntas o hiptesis serelacionan con el problema.

Las preguntas o hiptesisnecesitan mejorarse pararelacionarse con elproblema.

Las preguntas o las hiptesiscausan confusin y no serelacionan con el problema.

Variables del

estudio

Se identifican todas lasvariables del estudio. Las

variables fueron definidasconceptual yoperacionalmente.

Algunas variables fueron

definidas conceptual yoperacionalmente.Las variables no fueron

definidas operacionalmente.No se identifican lasvariables y no existe su

definicin conceptual yoperacional.

Contribucin ala disciplina

Contribuye de forma clara alconocimiento de ladisciplina.

Contribuye al conocimientode la disciplina.

Su contribucin alconocimiento de la disciplinaes limitada.

Contribuye muy poco alconocimiento de ladisciplina.

Modelo de rbrica para evaluar trabajosde investigacin


M d l d b i l b j


30/36

Criterio a evaluar Excelente7-8 Satisfactorio5-6 En progreso3-4 Iniciado1-2

REVISINDE

LITER

ATURARelacin con

el tema deinvestigacin

La revisin de literatura tienemucha relacin con elproblema bajo estudio. Lasfuentes son muy actualizadas(ltimos 5 aos).

La revisin de literaturatiene relacin con elproblema bajo estudio. Lasfuentes son bastanteactualizadas (ltimos 5aos).

La revisin de literaturatiene una relacin limitadacon el problema bajoestudio.Las fuentes no estnactualizadas.

La revisin de literaturatiene muy poca o ningunarelacin con el problemabajo estudio.

Extensin La revisin es extensa y serelaciona con las variables.

La revisin se relaciona conlas variables.

La revisin es limitada y serelaciona un poco conalgunas variables.

La revisin es superficial yno se relaciona con algunasvariables.

FUENTESD

E

INFORMACI

N

VariedadLas fuentes de informacinson variadas y se utilizantextos importantes de

distintos autores reconocidosen el rea.

Las fuentes de informacinson variadas. Se utilizan

textos de distintos autoresreconocidos en el rea.

La variedad de las fuentesde informacin es limitada.Algunos textos de autores

reconocidos en el rea noson consultados.

Las fuentes de informacinson muy pocas. Se utilizan

muy pocos textos de autoresreconocidos en el rea.

CalidadEl 80% o ms de las fuentesde informacin provienen detextos con autoridad orevistas arbitradas.

Entre 79% y 60% de lasfuentes de informacinprovienen de textos conautoridad o revistasarbitradas.

Entre 59% y 40% de lasfuentes de informacinprovienen de textos conautoridad o revistasarbitradas.

Menos del 39% de lasfuentes de informacinprovienen de textos conautoridad o revistasarbitradas.

Modelo de rbrica para evaluar trabajosde investigacin (cont.)

Oficina de Evaluacin del A rendiza e Estudiantil

M d l d b i l b j


31/36

Criterio a evaluarExcelente

7-8Satisfactorio

5-6En progreso

3-4Iniciado

1-2

METODOLOG

A

Diseo deinvestigacin

Se describe de maneradetallada el diseo. El diseoes adecuado para contestar laspreguntas o hiptesis.

Se describe el diseoparcialmente. El diseo esadecuado para contestar laspreguntas o hiptesis.

Se describe el diseo demanera superficial.El diseo es adecuado.

El diseo presentado nocumple con el propsito delestudio.

Poblacin ymuestra

La poblacin del estudio y lamuestra fueron identificadas.El mtodo de muestreo fue

descrito con claridad.

Se identifica la muestra perono la poblacin.Se presenta el mtodo de

muestreo.

Se identifica la muestra perono el mtodo de muestreo.

Se identifica la muestra perono el mtodo de muestreo.

Fase deinstrumentacin

Los instrumentos sonadecuados para recopilar losdatos. Se establecenevidencias contundentes de lavalidez y la confiabilidad.

Los instrumentos sonadecuados para recopilar losdatos. Se presenta evidenciade validez y de suconfiabilidad.

Los instrumentos sonadecuados para recopilar losdatos. La evidencia que sepresenta de la validez yconfiabilidad es limitada.

Presenta instrumentos perolos mismos no son adecuadospara recopilar los datos.No se presenta evidencia deconfiabilidad y validez de losinstrumentos.

Anonimato yconfidencialidad

Se explica detalladamente elproceso que se utilizar para

proteger el anonimato de losparticipantes y laconfidencialidad de lainformacin recopilada.

Se explica el proceso que seutilizar para proteger el

anonimato de losparticipantes y laconfidencialidad de lainformacin recopilada.

Se explica de forma limitada elproceso que se utilizar para

proteger el anonimato de losparticipantes y de manerasuperficial la confidencialidadde la informacin recopilada.

No se explica el proceso que seutilizar para proteger el

anonimato de losparticipantes y laconfidencialidad de lainformacin recopilada.

Riesgos ybeneficios

Se explica detalladamente losposibles riegos y beneficiosasociados a la participacin enel estudio.

Se explica los posibles riegos ybeneficios asociados a laparticipacin en el estudio.

Se explica de forma limitadalos posibles riegos y demanera superficial losbeneficios asociados a laparticipacin en el estudio.

No explica los posibles riegosy beneficios asociados a laparticipacin en el estudio.



M d l d b i l b j


32/36

Criterio a evaluarExcelente

7-8Satisfactorio

5-6En progreso

3-4Iniciado

1-2

RECO

PILACIN

DE

DATOS

Proceso La recopilacin de datos esexplicada de manera detallada. La recopilacin de datos esexplicada de manera parcial. La recopilacin de datos esexplicada de manera superficial. La recopilacin de datos no estexplicada de manera detallada.

InstruccionesLas instrucciones para laadministracin de losinstrumentos son claras yprecisas.

Las instrucciones para laadministracin de losinstrumentos son claras.

Las instrucciones para laadministracin de losinstrumentos presentanconfusin.

Las instrucciones para laadministracin de losinstrumentos no son claras niprecisas.

Protocolo Se utilizan los protocolos para laproteccin de los sujetos. Se utilizan los protocolos para laproteccin de los sujetos. Se utilizan los protocolos para laproteccin de los sujetos. No se utilizan los protocolospara la proteccin de los sujetos.

AN

LISISDE

DATOS

Codificacin Se indica cmo se codifican losdatos y se explican las escalas demedicin.

Se explican las escalas demedicin pero no se indicacmo se codifican los datos.

Se explican las escalas demedicin pero no se indicacmo se codifican los datos.

No se indica cmo se codificanlos datos y no se explican lasescalas de medicin.

Descripcindel anlisis a

llevarse acabo

El anlisis estadstico esadecuado para contestar laspreguntas o someter a pruebalas hiptesis.

El anlisis estadstico esadecuado para contestar laspreguntas o someter a pruebalas hiptesis.

El anlisis estadstico presentalimitaciones para contestar laspreguntas o someter a pruebalas hiptesis.

El anlisis estadstico no esadecuado para contestar laspreguntas o someter a pruebalas hiptesis.

Forma depresentar los

resultadosEl uso de diagramas o tablaspermite presentar losresultados de manera clara.

El uso de diagramas o tablas esadecuado al presentar losresultados.

Se presentan los resultados endiagramas o tablas de formaconfusa.

No se presentan los resultadosde manera clara.



M d l d b i l t b j


33/36


Criterio a evaluar Excelente7-8Satisfactorio

5-6En progreso

3-4Iniciado

1-2

CONCLUSIONES

Respuesta a laspreguntas deinvestigacin

Las conclusiones contestande manera clara laspreguntas de investigacin.

Las conclusiones contestande manera parcial laspreguntas de investigacin.

Algunas de las conclusionescontestan las preguntas deinvestigacin.

Las conclusiones nocontestan de manera claralas preguntas deinvestigacin.

Anlisis crticode los

resultadosLas conclusiones surgen delanlisis de resultados.

Las conclusiones surgen delanlisis de resultados.

Algunas conclusionessurgen del anlisis deresultados.

Las conclusiones son muygenerales e imprecisas.

Incorporacinde la revisin de

literaturaSe incorpora la revisin deliteratura en lasconclusiones.

Se incorpora la revisin deliteratura en lasconclusiones aunque lamisma es limitada.

Se incorpora de manera muylimitada la revisin deliteratura en lasconclusiones.

No se incorpora la revisinde literatura en lasconclusiones.

RECOMENDACI

ONES

Relacin con las

conclusiones

Las recomendacionessugieren un anlisis crtico yprofundo de lasconclusiones.

Las recomendacionessugieren un anlisis de lasimplicaciones de lasconclusiones.

Las recomendacionessugieren un anlisissuperficial de las

implicaciones de lasconclusiones.

Se percibe muy poco o no sepercibe en lasrecomendaciones unanlisis crtico profundo delas implicaciones de lasconclusiones.

Recomendacio-nes para futuros

estudios

Las recomendacionessugieren un nuevo enfoquemetodolgico con elexaminar algn aspecto paraun futuro estudio.

Las recomendacionessugieren formas deexaminar algn aspecto paraun futuro estudio.

Las recomendacionesdescriben de forma limitadacomo pudiese examinasealgn aspecto para unfuturo estudio.

Las recomendacionesdescriben muy poco oninguna forma de examinaralgn aspecto para unfuturo estudio.


M d l d b i l t b j


34/36


Criterio aevaluar

Excelente7-8

Satisfactorio5-6

En progreso3-4

Iniciado1-2

Manua

ldeest

itlo

Formato yestilo

Redacta el trabajo siguiendolas recomendaciones delmanual de estilo en losiguiente: uso de ttulos ysubttulos, vocabulariotcnico y presentacin de

datos en tablas, notacinestadstica, fichasbibliogrficas y enumeracinen el texto.

Redacta con errores menoresel trabajo siguiendo lasrecomendaciones del manualde estilo en lo siguiente: usode ttulos y subttulos,vocabulario tcnico ypresentacin de datos entablas, notacin estadstica,fichas bibliogrficas yenumeracin en el texto.

Redacta con muchos erroresel trabajo siguiendo lasrecomendaciones del manualde estilo en lo siguiente: usode ttulos y subttulos,vocabulario tcnico ypresentacin de datos entablas, notacin estadstica,fichas bibliogrficas yenumeracin en el texto.

Utiliza el manual de estiloinconsistentemente en elescrito, presenta errores entodas las citas y referenciasutilizadas o no utiliza elmanual de estilo.

Referenciasen el texto

Hace referencias directas eindirectas de las fuentesbibliogrficas que consultusando el estilo recomendadoen el manual.

Hace referencias directas eindirectas de las fuentesbibliogrficas que consultusando el estilo recomendadoen el manual con errores

menores en algunas citas yreferencias utilizadas.

Hace referencias directas eindirectas de las fuentesbibliogrficas que consultusando el estilo recomendadoen el manual con muchos

errores en algunas citas yreferencias utilizadas.

No hace referencias directas eindirectas de las fuentesbibliograficas que consultousando el estilo el estilorecomendado en el manual.

Bibliografa

Las referencias que componenla bibliografa estn escritascorrectamente segn elmanual de estilo utilizado.

Algunas referencias quecomponen la bibliografaestn escritas con erroresmenores segn el manual deestilo utilizado.

La mitad o ms de lasreferencias que componen labibliografa estn escritas conerrores mayores segn elmanual de estilo utilizado.

Las referencias que componenla bibliografa estn escritasincorrectamente segn elmanual de estilo utilizado.



35/36

Correo electrnico:[email protected]

Pgina electrnica:http://www.oeaeuprrp.blogspot.com

TelfonosCuadro: (787) 764-0000Extensiones: 85011,85012,85013 y85014

Cmo comunicarse con la OEAE?

http://www.oeaeuprrp.blogspot.com/http://www.oeaeuprrp.blogspot.com/


36/36

Muchas gracias por su atencin!

Recuerde que estamos para ayudarle a fortalecerel proceso de aprendizaje de sus estudiantes!

Ofi i d E l i d l A di j E t di til

Documents

Desarrollo de rúbricas para evaluar trabajos de investigación - 14 de octubre de 2011