TALLER REGIONAL CONSTRUCCION DE ITEMS

ECAES DE ADMINISTRACIÓN

Abril de 2010

•Objeto: construir doscientos noventa y dos (292) ítems para el ECAES de Administración, según la distribución balanceada por

componentes, competencia, afirmaciones, evidencias y complejidad, relacionada en el texto de este contrato; dichos ítems serán

utilizados junto con otros, para evaluar a los estudiantes que cursan último año de educación superior en Administración.

•Producto: 292 ítems debidamente revisados y aprobados por un

Comité de Expertos.

•Plazo: Agosto 7 de 2010

Contrato

COMPONENTE ITEMS

Administración y Organizaciones 82

Finanzas 42

Mercadeo 42

Producción y operaciones 42

Electivo

• Internacional 42

• Servicios 42

TOTAL 292

Estructura

Equipo de trabajo

• Coordinador Académico • Coordinador Logístico • Coordinadores Regionales • Grupo base • Grupo de expertos • Constructores • Coordinador ICFES

Constructor

Coordinador Regional

Constructor

Coordinador Nacional

y Grupo Base

ICFES

Selección

y

Envío 30%

Revisión

Revisión

Coordinador Nacional

y Grupo Base

Ajuste 30% y nueva

selección 30%

ICFES

Revisión

Coordinador Nacional

y Grupo Base

Revisión

100%

Grupo de Expertos

Entrega

Final

Proceso

¿Qué es una evaluación?

Una evaluación es un proceso por medio del

cual se llega a inferencias sobre los logros,

conocimientos, habilidades y competencias de una

población objetivo, basado en una serie de

observaciones.

¿Qué es una prueba?

Una prueba es un instrumento de medición

que debe ser coherente con el propósito que se ha

establecido.

Validez: Que mida lo

que pretende medir

Confiabilidad:

Que se obtengan medidas

precisas y repetitivas.

Objetividad: Independiente de la población a evaluar y del ente evaluador.

Condiciones de una Prueba

Modelo de diseño basado en evidencias - MBE

• Es una metodología para diseñar y estructurar pruebas, la cual permite determinar de manera clara y precisa lo que se pretende medir con ella.

• Asegura la validez, confiabilidad y objetividad.

• Permite contar con un fundamento sólido para las distintas inferencias que se hagan con base en los resultados obtenidos en la prueba.

Elementos del MBE

Propósito Analizar Dominio

(Componentes)

Construir

Afirmaciones

Definir Tareas Actividades

Plantear

Evidencias

Propósito: Requiere responder a las preguntas: ¿Qué? ¿A quienes? ¿Para qué? ¿Cómo? ¿Cuándo?

Dominio: Permite contar con diversas perspectivas teóricas acerca de lo que se pretende evaluar. Es importante preguntarse en esta etapa qué conocimientos, habilidades o competencias deben ser medidos? Requiere:

•Recolectar información sobre lo que se quiere evaluar (Planteamientos teóricos). •Definir y caracterizar los componentes a evaluar. •Especificar una perspectiva psicológica para el aprendizaje y para la evaluación. •Representar lo que los expertos, docentes, etc., consideran valioso evaluar.

Afirmaciones: Son enunciado sobre lo que se espera que hagan los

evaluados en relación con el dominio a evaluar. Requiere:

• Coherencia con el propósito. • Claridad sobre lo que se quiere decir de la población evaluada con base en las respuestas a la prueba.

Evidencias : Descripción de conductas o productos observables que

apoyan las afirmaciones, permiten inferir si el evaluado se ha apropiado o no de las conocimientos, habilidades o competencias sobre el Dominio evaluado. Requiere:

• Que cada afirmación tenga como mínimo una evidencia. • Estar ligadas a uno o más productos observables.

Tareas: Descripción de tipos de situaciones que es necesario incluir

para obtener las evidencias requeridas; es decir, que “cosas” le debemos pedir a los examinados que hagan de tal forma que éstos exhiban sus conocimientos, habilidades o competencias (Dominio evaluado). Requieren:

• Estar ligadas a una evidencia.

• Responder a las preguntas:

¿Qué tareas se deben diseñar para recolectar la o las evidencias

planteadas?;

¿Qué características de las tareas afectan la validez y la dificultad?;

¿Pueden las tareas cubrir todos los aspectos de los conocimientos,

habilidades y competencias que se pretenden medir (Dominio evaluado)?

DOMINIO

Componente 3 Componente 2 Componente 1

Afirmación 2.3 Afirmación 2.1 Afirmación 2.2

Evidencia 2. 3. 3

Evidencia 2. 3. 1

Evidencia 2. 3. 2

Tarea 2. 3. 1. 2

Tarea 2. 3. 1. 1

Tarea 2. 3. 1. 3

Modelo

Tarea 1,1,1

Tarea 1,1,2

Tarea 1,1,3

Tarea 1,1,4

Tarea 1,2,1

Tarea 1,2,2

Tarea 1,3,1

Tarea 1,3,2

Tarea 1,3,3

Tarea 1,4,1

Tarea 1,4,2

Tarea 2,1,1

Tarea 2,1,2

Tarea 2,1,3

Tarea 2,1,4

Tarea 2,2,1

Tarea 2,2,2

Tarea 2,2,3

Tarea 2,2,4

Tarea 2,2,5

Tarea 2,3,1

Tarea 2,3,2

Tarea 2,3,3

Tarea 1,1,1

Tarea 1,1,2

Tarea 1,2,1

Tarea 1,2,2

Tarea 1,2,3

Tarea 2,1,1

Tarea 2,1,2

Tarea 2,1,3

Tarea 2,2,1

Tarea 2,2,2

Com

pone

nte I

I

Evidencia 2,1

Evidencia 2,2

Evidencia 2,3

Com

pone

nte I

Afirmación 2

Evidencias

Evidencia 1,3

Evidencia 1,4

Afirmación 1

Evidencia 1,1

Evidencia 1,2

Evidencia 1,1

Evidencia 1,2

Que no debe saberTareas Que debe saber

Evidencia 2,1

Evidencia 2,2

Afirmaciones

Afirmación 1

Afirmación 2

Matriz de especificaciones de prueba

Componente Sub-componente Afirmaciones Evidencias

Administración y organizaciones

Dirección de organizaciones 1 3

2 3

Gerencia de organizaciones

3 3

4 5

5 7

Gestión humana 6 2

Finanzas 1 4

2 2

Mercadeo

Comprender consumidores 1 3

Conquistar compradores 2 5

Conservar clientes 3 2

Componente Sub-componente Afirmaciones Evidencias

Producción y operaciones

1 5

2 4

3 7

Electiva Internacional 1 3

2 3

Electiva Servicios

Conceptualización del servicio

1 4

2 1

3 1

4 3

Monitoreo de servicio 1 5

Afirmaciones Evidencia Tareas Alcance

Al finalizar el programa de

administración el evaluado

debe ser capaz de

El evaluado Situaciones que le permitan Qué debe saber Qué no debe saber

I. Dirección de organizaciones

1. Definir estrategias

que busquen

equilibrar intereses a

corto plazo con

objetivos de

sostenibilidad de la

organización en el

largo plazo y la

conduzcan a la

perdurabilidad

1.1 Identifica los

elementos del

entorno que son

relevantes para

la gestión

estratégica

1.1.1 Identificar las fuerzas

del mercado y su impacto en

la organización Elementos del

entorno que

resultan relevantes

para definir la

estrategia de la

organización

Detalles del entorno

económico que no

impactan directamente

los resultados de la

organización.

1.1.2 Identificar el marco en

el que actúa la organización

(PEST+LA)

1.1.3 Identificar

oportunidades de mercado

1.2 Integra las

áreas

funcionales

de la

organización

para tomar

decisiones

1.2.1 Identificar fortalezas y

debilidades en la

organización Analizar las

fortalezas y

debilidades de una

organización en el

marco de un

análisis tipo DOFA.

1.2.2 Proponer líneas de

acción que permitan integrar

eficientemente las áreas

funcionales

1.2.3 Integrar la estrategia

con las áreas funcionales

Matriz de Evidencias

Afirmaciones Evidencia Tareas Alcance

Al finalizar el

programa de

administración el

evaluado debe ser

capaz de

El evaluado Situaciones que le permitan Qué debe saber Qué no debe saber

I. Dirección de organizaciones

1.3 Define la

estrategia

organizacional

integrando factores

internos y externos

1.3.1 Identificar el sector en

el que opera la

organización Los elementos relevantes

del entorno y las

características internas de

la organización, y cómo

esta relación influye sobre

los resultados de la

organización.

1.3.2 Formular propuestas

para la generación de

ventajas competitivas

sostenibles

1.3.3 Formular una

estrategia organizacional

que le permita ser

competitiva y perdurable

Ejemplo COMPONENTE DE ADMINISTRACION Y ORGANIZACIONES

Un joven empresario ha creado una firma de prestación de servicios por internet. Considerando los elementos del entorno que son relevantes para tomar decisiones estratégicas, el mayor reto que deberá enfrentar este empresario durante los próximos años es la

a. competencia creciente en un mercado globalizado b. cualificación y desarrollo de sus técnicos programadores c. capacidad financiera para apalancar su crecimiento d. obsolescencia de sus equipos y recursos tecnológicos

Clave: a

AFIRMACION: Definir estrategias que busquen equilibrar intereses a corto plazo con objetivos de sostenibilidad de la organización en el largo plazo y lo conduzcan a la perdurabilidad. EVIDENCIA: Identifica los elementos del entorno que son relevantes para la gestión estratégica. TAREA: Identificar las fuerzas del mercado y su impacto en la organización.

AUTOR(A): Pares Académicos COMPETENCIA: Interpretativa COMPLEJIDAD: Media TIPO: I FECHA ELABORACIÓN: Diciembre 2009

JUSTIFIQUE LA CLAVE Y LAS DEMÁS OPCIONES DE RESPUESTA

a. Aunque todas las opciones son potencialmente relevantes para un proceso de planeación estratégica, sólo esta opción es una condición del entorno externo, y por lo tanto reviste el mayor reto a futuro dada la incertidumbre y creciente competitividad de los mercados globales.

b. Esta es una condición propia de la organización, y por lo tanto está sujeta al control o influencia directa por parte de la gerencia.

c. Aunque esta opción involucra aspectos externos, tales como las condiciones macroeconómicas y las alternativas externas de financiación, estos son normalmente aspectos coyunturales que permiten un mayor margen de maniobra por parte de una empresa, a diferencia de una realidad incuestionable de un mercado crecientemente competitivo.

d. Esta es una condición propia de la organización, y por lo tanto está sujeta al control o influencia directa por parte de la gerencia.

Elementos técnicos para la construcción

• Preguntas a construir : 292

• Tipo: selección múltiple con única respuesta

• Valores taxonómicos: Componentes, afirmaciones, evidencias y tareas.

• Competencias a evaluar: Interpretativa, Argumentativa y Propositiva.

• Niveles de complejidad: alto, medio y bajo

SITUACIÓN O CONTEXTO PARA LA TAREA

Se desprenden varias preguntas que se componen de

UN ENUNCIADO

CUATRO OPCIONES DE RESPUESTA

Competencias

Un Saber-hacer en contexto; es decir, la articulación y uso de saberes, de formas de razonar y proceder para comprender situaciones o solucionar problemas.

Interpretar: Acciones que realiza una persona con el propósito

de comprender una situación en un “contexto” específico. La interpretación implica dar cuenta del sentido de un texto, proposición, problema, evento, gráfica, mapa, esquema o símbolo. Igualmente, permite reconocer los argumentos propios de un referente teórico.

Argumentar: Acciones que realiza una persona, con el propósito de

fundamentar o sustentar un planteamiento, una decisión o un evento. La argumentación implica explicitar los por qué de un planteamiento, articular conceptos o teorías para justificar afirmaciones, hacer demostraciones matemáticas, vincular premisas para sustentar conclusiones y establecer relaciones de causalidad.

Proponer: Acciones que realiza una persona, con el propósito de

plantear alternativas de decisión o de acción y de establecer nuevas relaciones o vínculos entre eventos o perspectivas teóricas. La proposición implica plantear alternativas de solución a problemas, establecer regularidades y generalizaciones, plantear hipótesis, elaborar diseños y establecer tendencias de funcionamiento de un sistema.

•Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura de la prueba y los valores taxonómicos definidos.

•Todas los ítems de una prueba deben ser independientes entre sí. La información de uno no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber encontrado primero la de uno anterior.

•Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta depende únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento.

•Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible.

•Los ítems no deben contener juicios de valor explícitos o implícitos .

•Realizar una revisión gramatical y ortográfica de cada uno de los ítems

Reglas generales para construcción de Items

•Los enunciados deben ser afirmativos, en caso de ser necesaria la negación , se debe llamar la atención hacia la formulación negativa.

•La doble negación puede afectar la comprensión, p.e. : “No es cierto que no procedan los recursos”.

•Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.

•Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta.

Reglas específicas sobre los enunciados

•Deben pertenecer al mismo campo semántico.

•No deben dar indicaciones sobre la clave por ofrecer un cierto contraste en cuanto a longitud precisión / imprecisión uso común / técnico generalización / particularización

• No se deben repetir expresiones si éstas se pueden incluir en el enunciado del ítem; repetir una palabra del enunciado, en cualquiera de las opciones, puede llevar a que sea elegida como respuesta, sin serlo.

•Se deben evitar expresiones como “todas o ninguna de las anteriores”, en su lugar construir alternativas de respuesta plausibles.

Reglas sobre las opciones

•Comprometer a los participantes con el proceso (firma del acta).

• Diseñar, seguir y documentar procedimientos para la construcción, archivo, utilización y transporte de materiales confidenciales.

• Asegurar que únicamente las personas autorizadas tengan acceso al material de examen.

• Destruir copias de material de examen una vez concluido el proceso.

Como garantizar la Confidencialidad

Código: C1.1.F05

Versión: 3

FICHA TÉCNICA DE CONSTRUCCIÓN DEL

ÍTEM

Nº ÍTEM:

Página 1 de 2

DATOS DEL ÍTEM DATOS DEL AUTOR

Programa:

Prueba: Nombre:

Competencia:

Componente: Institución:

Valor taxonómico 1 Teléfonos:

Valor taxonómico 2 e-mail:

Valor taxonómico 3 Fecha:

Versión del ítem:

ÍTEM: CONTEXTO, ENUNCIADO Y OPCIONES DE RESPUESTA

DIFICULTAD ESPERADA CLAVE

Alta Media Baja

JUSTIFICACIÓN DE LA CLAVE:

JUSTIFICACIÓN DE OPCIONES NO VALIDAS:

ESPECIFICACIONES DE DISEÑO: DIBUJOS, ECUACIONES Y/O GRÁFICAS

NOMBRE DEL REVISOR: Fecha:

ASPECTOS QUE DEBEN SER AJUSTADOS:

Aspecto

Elemento del ítem

Clave

Opciones no válidas

Contexto

Enunciado

Opciones de respuesta

ConceptualTécnico de

construcciónSesgo

Redacción u

ortografía

SUGERENCIAS PARA MEJORAR EL ÍTEM:

APROBADA

MODIFICADA RECHAZADA Fecha:

OBSERVACIONES:

NOMBRE Y FIRMA PROFESIONAL ENCARGADO

ACTA DE COMPROMISO DE CONFIDENCIALIDAD

PROGRAMA DE EVALUACIÓN ______________________________________ PRUEBA _________________________________________________________ INSTITUCIÓN _____________________________________________________ CIUDAD __________________________________________________________ Yo,___________________________________________________, identificado(a) con cédula de ciudadanía número ____________________ de _______________ me comprometo a cumplir con las labores asignadas en el proceso de construcción de pruebas de evaluación educativa, con los más altos estándares de competencia ética e integridad profesional, teniendo debida consideración a la naturaleza y propósito del trabajo desarrollado. También me comprometo a no revelar directa o indirectamente a ninguna persona, durante la vigencia de este trabajo, ni después de su terminación, ninguna información que hubiera obtenido durante el mismo y que no sea de dominio público. ___________________________ _____________________________ Firma Fecha CC. No.

Taller • Elaboración de un ítem en forma individual . • Trabajo por grupos según componente. Administración y Organizaciones Finanzas Mercadeo Producción y operaciones Electiva Internacional Electiva Servicios • Selección preguntas • Plenaria

La infraestructura es el desafío para los líderes de Latinoamérica: Pricewaterhouse Coopers Daniel España - despana@larepublica.com.co Publicado: 06.04.2010 La Pricewaterhouse Coopers (PWC) presentará mañana en Cartagena los resultados de la encuesta anual de CEO, realizada a más de 1.198 directivos de 52 países del mundo durante el último trimestre de 2009. Ésta se refiere a los desafíos que enfrenta la economía en América Latina y el mundo, destacando las oportunidades, obstáculos y escenarios después de la crisis global. Uno de los apartes más importantes del estudio es el que tiene que ver con las necesidades de los gobiernos y empresas de la Región, denominado "Más allá de la supervivencia, reposicionando América del Sur". Allí se relaciona con las perspectivas para mantener el crecimiento regional, basadas en datos de 194 entrevistas realizadas a diferentes líderes empresariales latinoamericanos. Uno de los indicadores más destacados es el de insuficiencia de la infraestructura básica (que integra componentes como electricidad, agua y transporte), donde 65 por ciento de los CEO regionales cree que es fundamental para ser más competitivos tras la crisis económica, dato que el año anterior (encuesta para el último trimestre de 2008) mostraba esta necesidad latente en apenas 32 por ciento de los casos.

"Una de las mayores trabas es la infraestructura, que aumenta los costos que están reduciendo la competitividad. Es necesario que deje de ser un tema de gobierno y se convierta en un tema de Estado", explicó el socio senior para América Latina de la PWC, Luis Frissoni. El dato contrasta con que en la región sólo 27 por ciento de los gobiernos está tomando las medidas que los líderes corporativos consideran necesarias en infraestructura, según lo revela el estudio. Por su parte, con 76 por ciento de la muestra regional, la mayor preocupación para América Latina tras la crisis radica en la reglamentación excesiva, donde además se considera que en 63 por ciento de los casos es un factor de causa o incentiva de la corrupción. Al respecto, informes del Doing Business señalan que la región es la que mayor tiempo demanda por año en el mundo para cancelar impuestos, con 385 horas invertidas en promedio. Lo anterior, según el estudio Paying Taxes, deja a Colombia en la posición 115 en este aspecto, detrás de países como Paraguay (110), Perú (86) y Ecuador (55). Sobre la corrupción, la organización internacional Transparency International señala que Colombia tiene un índice de 3,7 sobre 10 (siendo 10 altamente honesto y cero altamente corrupto). Chile y Uruguay son los mejor puntuados de América Latina con 6,7 puntos, mientras Brasil también tiene 3,7 puntos y Venezuela alcanza apenas 1,9.

"Mi percepción es que el gran problema de nuestros países es el patrimonialismo del Estado, la falta de percepción entre lo que es público y lo que es privado. Hace falta fortalecer aspectos como la rendición de cuentas y mejorar la transparencia. Esto se puede combatir. La educación también es clave", agregó Frissoni. De igual manera, siguen siendo preocupando temas como la volatilidad en el tipo de cambio (60 por ciento), una posible prolongación de la recesión mundial (54 por ciento), cambio climático (46 por ciento), y la seguridad en la cadena de suministro (44 por ciento).

1. Teniendo en cuenta la información que le brinda el texto anterior y

haciendo uso de la ficha técnica, construya un ítem que pueda servir para

evaluar un saber hacer en la disciplina en el componente de su especialidad.

2. Haga la caracterización del ítem atendiendo a la información que

exige la ficha técnica.

INSTRUCCIÓN

¡ Gracias por su atención !