;{y\ Robert L. Tkorndike ,

Teachers College, Colum. bia University

MarWo en C1encia.i de Ir Facultad de Qulmica dc la Universidad Nrcionrl Auibnomr dc Sltaico. Ingeniero con mcnci62 honorlficu de la Evuelr Supcrior ale Ingeniería Meclnicr y El6cirica dcl Insiiiuio Poliitcnlrx, N.r:iunal dc MCxico. .ingeniero Nuclcar del Iniiiiuio Tecnolbglu, d: Mrssrchu$elis y de Ir Bscuclr Superior dc Fhlu, y Mriemlilcrs del IPN dc Mtaim.

I locior en I1sictili~gI:i de Ir IJiiivcrsit1;itl tle '1'cx:i.i en Aiisiiii. Proleaor 'l'liuliir tle 'l'icmpo (;iirnplctt~. J c k del 1)eprri;iiriciiiri de Pslcologh (;r.iicr~l Experinicntrl tlc la 1)ivislbn rlc Esiiidiiir de Posgrrdo Jr 11 Frculird tle I ' s l i o ~ i ~ g h de I;I Univcrsid;itl Naslonal Auihnr~mx de Ml;xicri.

EDITORIAL . LIMUSA

M ~ X I C O * E S P A ~ ~ A VENEZUELA ARGENTINA

COLOMBIA P U E R T O P I C O

p" . -! [-) .- m 1

U C I I uaui ~ c i i agun rriumcnw res mejor conrmnrarias:antes ac empezar

Capítulo 2

El desarrollo de una prueba, un cuestionario, u otro instrumento de medi. ción, destinado para puh,licación y mercado, es un proceso complejo que requierc.de la tonia de muchas decisiones, y se divide en varias etapas. Por tanto, es deseable tener una idea, tan clara como sea posible, de la secuen. cia completa de las operaciones, antes de que se inicie el trabajo en el ins. trumento, de modo que cada etapa pueda orientarse más efectivainente hacia el objetivo final. TambiCn es deseable establecer un programa de trabajo viable, para producir el instrumento en cuestibn dentro del plazo fijado. El diseño de un plan indudablemente formal, y de un programa para el de- sarrollo de la prueba ofrece dos ventajas principales. l) Requiere que quienes elaboren las pruebas -tengan una idea clara de lo que planean hacer, y de cómo hacerlo. (El pensamiento confuso se vuelve mas obvio cuando los ela. boradorcs de pruebas intentan ser explícitos acerca.de cada paso del proce. so de desarrollo.) 2) Facilita la comunicación entre todhlas personas que intervienerr en la elaboración de las pruebas. Debido a que e~'liesarrollo de un instrumento requiere frecuentemente la participación de muchas perso- nas diferentes (redactores de items, editores, examinadores de campo, ana. listas; ptrsonal de ventas), un: plan para el desarrolla de prueba o el programa de pruebas, redactado con claridad, ayudara a garantizar que todos traba. jen solidaria y eficientemente persiguiendo un solo fin.

! : A continuación K muestran los compoiientes de un plan, cada uno de los* cuales se expone mas adelante en este capítulo:

Definicibn inicial del dominio, CJ del atributo latente. que se vaya , a evaluar con el instrumento.

25

- 2. Un enunciado de los uso p a r - los que se destina el,iiistrumento, 1 Iddi&&& ~.'&'&h~&qal qJC se i$li&H Y lds.Lipt$ &e decisio- nes que se roma& cqn basc en los, resultados. : , .

S. Una indicación da'@ réab-itcidne~~tf~tiern~o, medios y condicio- nes de prueba coi'las &;les sedesea aplicar el instrumento.

4. Un conjunto de especificaciones del contenido, indicando los te- mas a estudiar, las habilidades que se van a detectar, o 12s subhabi- lidades que se van a probar. Algunas veces a este conjunto se le llama plan dcbüodo de la prueba

5. La especificación del formato de los ítems de prueba, indicando la naturaleza de los materiales de estimulo, el tipo de respuesta del sujeto y el procedimiento para calificar.

6. Un plan de pruebas de eficacia de los items propuestos y del anali. sis de los resultados de las pruebas, para seleccionar los ítems que deban incluirse en el instrumento final.

7. La especificación de los parámetros eshdísticos que se dcben in. cluir en la prueba terminada, para asegurar el logro del nivel reque. rido de dificultad y confiabilidad

1.8. . La formulaciónde lospracedinicntos que se van a htilizar para es- ':,. .' !. tandarizar las pruebaa'y p a n llevar a cabo los análisis cstadisticos

V I , ,.. ;, p a n prepad' lok criterios nodativos. * a . : ' l ' .""!

1 1 . ~ ..) 9-1 Un b & & t o ~ d € ' b m actividades de recopiiaciúh del información y ...,:. . aná lh i~ queadeban Ilevaric a cabo para evaluar valitiell; desviación I . : . I L . ' ::)ilyisimil~esa .:.: # \ : ; 4 1 ' 1 1 , i f ? I ; I . % . . .: I t i . . > . ; l l i , : h,.:1i.T~ , \ ' ' i . [ I I . . . ' 1 ,:?J90.. ,Un plan p a r i ~ h org;i'izicibn del hanual.de la pruebd, y cualquier . 'LL'c~; oktro: materia ! & u % i l i & ' ~ u e , ~ ~ necesario.: . . 1 i::. 1. i ~ 6 , . > I

. ' , . , t f ; ( ! , f . ; i 1 : . , , . . ! ... I(; e l * ::, 1 ' . . . # i 1

, il., l : . ; . . :., , ,, ,la,;: .: f .. )<B 1,: . ,;, . . : * J . , & . ,~.,.!,,, 1.1 . 1 : , , , , . l . ,

DEFINIU~N .DEL ATRKkUTO UTENTE 9 DOMINIO DE LA PRUEBA . ~ l ! \ . o ~ ! . ~ ; ~ . * l . . l \ o l 8 ~ . , ; , I $ 1 : . . ;,. . . . i n ~ ; , , 1 . 1 , , \ ~ ] r . , , ; ,:.,

. ~ r o b ~ b l h e n t c & s triirid.deeir.qu& antes de que se inicie el desarrollo de ' -2tnarpfil'iba.u ~k . i~hfurh 'en t~ , . s t debe conocer qu4"es'ld que se dessea' pro- 'bar.i'Quiz&iio ts tan trivial 'decir que sedebe poder expresar esa intención tan?cl?r;il)t.cxplfcitamtnteieomeber posible;La intención se expresa en for. -rn%gencíai có~rei~ricimbre que%& d d d auibutb o doniinio: "tiabilidad ver- ~ b a l ~ d a b e z a &'tl taJcuI'6 'i,ünétlco";"hiaestría ai,SI uso de Ia mayúsculas exblos-nombret propias",~"eficicncia en mtcanografia", "intetCs por Iñ me- cánica" o "impulsividad": Sin ehbugo, la.$ etiquetad puedtn'significar, más

,-l)led(!co& dift?tntes,bata petronas difermces. Incluso' algo tan especifico y tangible como "destteh'tn' el cálculo a~tm¿t ico"~ puede significar vtloci. dad y exactitud de cáiculor simples con riúrneros enteros, y mientras que fp~.\rttl;!higr&W la'hibiiidaa pui:litvar a taboi'de principi?ih'fin c;klm. los largos y complejos con empleo de fracciones; decimale$ y pYHntesis. Las dos cosas pueden constituir atributos notablemente dilerentes y una perso. .: . ,

U L F ~ N ~ C I ~ N DEL ATRIBUTO LATENTE O DOMINIO DE LA PRUEBA 27

na que es sobresaliente en una, tal vez sólo sea tipica en la otra. Por esta razón, es deseable alguna especificaciSn y restricción adicionales.

La. espec'ificación pormenorizada y objetiva del atributo se da en la eta. pa de preparar el plan detallado de la prueba. En este punto, se intenta del¡- níitar con detalle las características del contenido y del proceso mental que - - - _. .. se va a detectar, media.iitc1os ejerciCta3-dt5li'pruu. Sin embargo, al pen. __... -.---. ..----.-. .. _. . . < . sar en un proyecto~desarroI lo de pruebas, el primer paso será precisar y aclarar el significado del atributo. A continuación se presentan algunos ejemplos de rasgos o dominios definidos.

Habilidad vrrBa2, evidenciada por el conocimiento de significados de un gran número de palabras y elección de la palabra más adecuada para un contexto dado. Desaeua m tl cdlculo arilmélico, mostrada por la velocidad y exactitud con que se llevan a cabo operaciones numericas simples. Mae~lrb m el uso dc las mayÚ.mlas en los nombres propios, cuando se le da a uri sujeto un párrafo en prosa donde no aparecen mayúsculas, quien recorioce con 90% de exactitud los nombres propios que las requieren. (ObsCtvese que en este caso se define más bien un domi. nio especifico, junto con el nivel aceptable de maestría; una típica interpretación de referencia al criterio). Ejiciencia m mecanografia, evidenciada al mecanografiar con rapidez y exactitud una cuartilla con formato y espaciamiento apropiados co. piada de un borrador escrito a mano. InietCs m tn mcdnka, manifestado cn el gusto por las actividades rela. . cionadas con la construcción, mantenimiento, reparación u opera. ción de artefactos mecanices y preferencia por dichas actividades sobre aquellas relacionadas con palabras, números o contactos inter. personales. La irnfilsividad se manifiesta en una tendencia a autodescribirse con frases que implican decisiones rápidas y precisas para actividades no planteadas, rracidas del momento, a diferencia de las frases autodes. criptivas que implican deliberación, tendenciahaciala planeación cui- dadosa y reprimida.

Con estas definiciones desarrolladas de los atributos o dominios se lo. gran dos objetivos. Por una parte, describen un poco más lo que se sugiere con la designación del atributo. Por la otra, da una primera idea de las ope- raciones de piueha, mediante las cuales se va a evaluar el atributo. El proce- so de preparar la pmeba es de interacción continua en que se va hacia atrás y adelaiite clarificando la definición de un atributo, conforme se emprende el desarrollo de procediriiieritos de evaluación y Cstos se modifican a medi. da que se va clarificando la coticepción del atributo. Desde luego, la con- *. . c ~ f f i h u a . e r n e r g e , n~.simplemente delmodo de pensar de un solo elabora&rdt. p?-&as, sino más bien de los antecedentes de la investi- ---- _.. - _ --- -^ -- -

28 " ' . . . ! 1.J ' ~ P U N U C I ~ N DE W E U B O R A C I ~ N DE PRUEBAS

pci6n'i.ealizada sobre e18ahibuto en cuestión. Por lo tanto; para iir, rasgo como impulsivi&d, hiy una amplia bibiiografía, fnito de investigaciones

. . , ," . . i . . U* instrumepo &;bae$b deberfa fer, plane=do con vis.; un grupo . . ' L . ,'l. , < .

de sújeui. en pa&u& y. os definidos de deci$4n. ~ d ~ h e b i de dculo,a+n&tic+ puede di,rigirsc a alumnos, del quinio grado, para identi- fi& individuo? b n deficiencias, y diagnoqticar la naturaleza de esas dcfi. dencias,,,~, púk& .~s+-u!~c.&z~Ó pa& de &I programa de sdyci6n para contra* a j e @ ,de banco:' U& p m e b de ,mecanogmfía, puede scr parte de un examen de, cuno pru? una d b de mecanografía en ~ecunda th , o una pheba p u a ididtantea de un puesto iecr.etarial. Al piancar una prue. ba,'er importanti tener en m&. el h p o d cual se aplicar4 y los tipos de decisión que u van a bas& en los.resultados de la pruebi ha'especificacio. nes puz. el contenid? de Ia pruebi, il nivel de diticulta¿$ la duracirin de la pitjéba, lu pu,ntuacioner que w v&,a obtener,y para la forma en la cual se van a reportar, todb dependen del grupo que.= desee Probar y ,las deci.

, , 8 siones que se podrím tomar con b y en ellas. +,', 3 , >+, \ 3

Ló anterior .ayudad a que',el resuit;rdo final sea i i claro posible en ¿ definición de los grupo's q " ~ r: probar. ¿Qué nivela dk Edad o gra- do se repre?ent+n? ~ ~ s u f á n ~ r ~ ~ r ~ ~ ~ i t a d a s iaj personas con la gama coni. pleta del atributo? ¿Se sele&íonad el p p o de alguna f o 6 i en particular? (Los'grupoa,~leccionados pyedcn ,ypr constituidos por ptt-i~nas con ha- bilidCd .robresaliente, p&nq q u c , m candidatos a becas o patrocinios, O U, '?*+CI, p q r i l p e r y * ~ l t 9 ~ ~ p ~ ~ i i d a d ,marginal, que ,&'califican para insqcci6fi ?n+ui,dud o, $sp4ilc+ ;(Los sujeto; de examen pertene- cen a grupos especiales de lenguajé o cultura? ¿Coi1 quC mocivacibn torna- ránlaprueba? . i . . ~ . . . . I .: . También u importante c o i n ~ e r de'antemano el uso de lbs resultados de la prueba <Está diseiiada la prueba simplemente como una herramienta de investi@ei6n;u:decir: panicolom -a todos los sujetos de examen, thn exac- tamente~como. su posiblei,en:la d a del atributo datetite, de.tnodo que ate atributo pueda estudiarse en telaci6n con'otras caractrtistieas del india viduor.o,en -reladónlcon lodiatamitntos que K le estC aplicandoi .o bien se.destinará para usar 1os'~esultados como base de decisian endguna spli. caci6n7 Si,= tnu dé lo último,'¿P quC tipo de aplicaci6n? Se'pueden identi. fi-:varios.tipor de apli&aoner @eiequieren diseños bien,diferentes del instrumento dc pruebz.Que&dui>,!confome se exponen terna adiciona-

. OBJETIVOS DE UNA PRUEBA

les, que la cornposicibn de una prueba y el nivel de dificultad de sus ejerci- cios dependen en forma considerable de los tipos de decisiones para las cuales sc van a usar los resultados. Se consideran los siguientes tipos:

1. Ilecisiune@ insfwcióci. Aquí la alternativa típicamente es si un indi- viduo (o un grupo) tiene maestría en ciertas habilidades, de modo que vale la pena presentar un nuevo tema en clase, o ya sea que una persona (o grupo) haya alcanzado suficiente maestria de dominio en un coriocimiento o habilidad que precisamente se acaba de enseñar, para que sea posible pasar a una nueva unidad de instrucción.

2. DecYiunes & diugdstico. El objetivo en este caso es identificar las de& ciencias particulares, o los errores en el aprendizaje de una persona, con objeto de iniciar a-ccic'ries correctivas. Para ambas decisiones de instrucción y de diagnóstico, las pruebas se enfocan por lo general

' en el grado de maestria de uno o más dominios definidos con bas- tante precisión.

Y . Decisionu & sekcciún. Éstas son decisiones para admitir o excluir en un grupo, para contratar o no. Ordinariamente son, cuando menos en cierto grado, decisiones de comparaciJn y competencia cuando el número de vacantes esta limitado y la prueba se lleva a cabo con objeto de admitir a los candidatos m;ls proinisorios.

4. Deciiioncs de coloeacidn. Este ttrmino usualmente se refiere a una je. rarquizacibn de programas o posiciones de entrenamiento. El pro. blenia es determinar dbndc se puede ubicar rnás ventajosamente a cada sujeto en la jerarquía. ¿A cuál nivel debe entrar un estudiante transferido, durante el aiio escolar, a otra escuela? ¿En qué tipo y ni- vel de estudio de lenguas. o de un programa de maiemáticas, tendrá mayor aprdvechamiento un alumno de nuevo ingreso? ¿Qué tan coin. plejas son las tareas que deben asignarse a un nuevo empleado de oficina o negocio?

5. Decisiorm & clasifcación. Éstas difieren de las decisiones de colocación en que la decisidn es de tipo, más bien que de nivel. ;A cuál curso de entrenamiento debe asignarse un nuevo recluta en el ejército? ¿Se capacitará esta persona inás fácilmente como oficinista o como me- cánico, como cocinero o conio chofer?

En las decisiones de selección, colocación y clasificación usual. mente el interés se orienta hacia la medición de atributos, que pare. cen ser buenos elementos, para predecir el nivel general dcl comportamiento posterior, en algún tipo de progranla de entrena. miento o de trabajo.

4 . Decisiorus a2 orirntoci01i. Esta categoría cubre una gran variedad de de. cisiones que una persona, quizií con ayuda profesioiial. ioma acerca

36 PLANUCI~N DE U EUBOMCI~N DE PRUEBAS

, ' d e su propiolfutuio: Por ejemplo tomar cprsos de cyatro años en un - 1 .l. , colegio, O acudir =un tiPo d e escuela u otro, inscribirse en un p r o

.fb'ghma d e humani&tits, o en un c u n o de capacitacibn para el traba. jo, o en un programa técnico; o bien considerar una carrera de

! relaciones públicas o un trabajo d e tipo industrial. , d * <, 1 ' ' 1 -, r

1,s * '

RES3iRICCIONES DE UNA PRUEBA * , 1y i , i .:t ' . , - { . . r

Cualquier pnieba debe llevarse a cabo dentro de los limites establecidos me. diante restricciones aplicables. Es importante que quien elabore la prueba estémento a estas restricciones y haga los ajustes necesarios.

La resaícci6n más obvia es la del tiempo. El tiempo requerido para la pruebafrecuentemente K concede a disgusto. En las escuelas, los maestros tienden a cbnsiderar ei tiempo de las pruebas como tiempo robado a su pro. grama de estudios, y los administradores con frecuencia ven el programa de pruebas como un i.iconveniente que interrumpe el tranquilo flujo del dia escolar. En lu agencias d e empleos, los candidatos pueden espsrar dedi. car sblo un tiempo limitado al proce.w de presentar la solicitud de empleo. La presión por el requisito de breiedad en las pruebas es muy autkntica. Pero la presibn por la precisibi. en~laslevaiuaciones de la prueba esa igualmente verdadera y el elaborador 'de pruebas está en conflicto perenne pues debe producir una prueba~sufi'cientemente breve para que sea aceptabieGpor los usuarios, y que a la vez profiorcione informacibn considerablemente exacta para permitir decisiones Útiles. En la planeacibn de una prueba; el elabora. dor debe estar consciente de lasresuicciones de tiempo, de modo que la es. pecificacibn de tiempo se ajuste a estos limites requeridos por los usuarios.

Una segunda restricción, que es frecuente, seria que la prueba se deba administrar a un p p o , y no a unkdividuo. Un corolario común en la apli. cacibn a un p p o , aunque no absolutamente necesario, es que la prueba se limite d material impreso en un folleto. Si tiene lugar esta rcstriccibn, debe respetarse e inciuinc en el plan de la prueba. 1

Aun cuando una prueba se aplique individualmente, es necesario tener en cuenta las condicimes que un examinador tipico, con un nivel i!iedio de entrenamiento y habilidad, pueda mangar. {Será dificil manipular el ma- terial de prueba? {El examinador tendri que tomar decisiones rápidas accr- ca de la secuencia en que se van a presenar las tareas? {Deben hacerse juicios al vuelo, corrigiendo las respuestas conforme se está re~l izando la prueba? ;Qué tan complejo es el registro de rapucstm que debe hacer el examinador?

,,Puede ser p v ve ni ente imponer otras restriccp+nes al' diseño de la prueba Así, en ~ n a * ~ r u e b a d e lectura se puede desear especificar que el contenido no se facilite más a personas de uno de los dos sexos, y que el contenido sea apropiado para lar minorias o grupos de bajo nivel socioeconómico.~n el qso de una prueba de rendimiento en ciencias, qiie

ESPEClFlCAClONES DEL CONTENIDO O P l A N DETALLADO 3 1

se va a usar en una escuela secuiidaria, se puede especificar qi;c la dificiil. tad del material de lectura no rebase el nivel del sexto grado, de modo que la prueba no constituya simplemente una prueba de lectura. En la prueba de razonamiento verbal, puede ser necesario especificar que las palabras usa. das se tomen de las 5000 más comunes en una cuenta de ocurrencias de pa labra, de modo que la dificultad resida en las relaciones expresadas, y no en el desconocimiento de las palabras mismas.

Aquellas restricciones dentro de las cuales deba aplicarse la priieba, ya sean externas y de forma, o internas y de fondo. deben reconocerse y hacer. se wplícitas. Solamente ponderando todo esto se puede juzgar si es factible elaborar una prueba que sea psicomi.tricamente efectiva y práctica de usar en las circiinstancias para las cuales se disefió.

ESPECIFICACIONES DEI. CONTENIDO O PLAN DETALLADO

1.a especificacltin con cierto dctallc tlc los temas y procesos qiie se \.an a iii. cluir en una prueba, es la base de la plaiieacicin dc la iiiisiii;~, y iilg~iii;is veccs representa lo que las personas entienden c~)aiido hablan de un plan para una prueba. E1 plan detallado tiendc a ser iiiis explícito y iiinyoriiicntc cl;i borado para el caso de una prueba de investigación del rendiiiiieiito en al. guna matxia académica. Una prueba de este tipo se conteiiipla usiialiiieiite con dos dintensiones: la d e coriteiiiao. que expresa lo que se ha enseii;iclo. y la de proceso, que indica lo que se espera que haga el exaniinado coi1 ese contenido. Es comúii preparar una red de dos dimensiones que iiiuestra e n una, 10s teinasque se van a incluir, y en la otra los tipos de operaci6n qiie se aplican a ese contenido. La tabla 2.1 es un ejemplo de dicha red.

Las categorías de contenido en un plan detallado son, por supuesto, es. pecificas del área del tema particular. y no tienen nada en común con otras áreas. Sin embargo, se ha tratado de producir taxonomías uniformes para expresar los diversos niveles del proceso que se va a probar. El que ha reci- bido mayor publicidad fue preparado por un comité de !a Americati Educa. lionol Research Associalion presidida por Benjamín Bloom (1934), y enlista las siguientes jerarquías de objetivos para la eilucacih:

S Coiiociinienio * Comprensión

Aplicacióii AnAlisis Síntesis

6 Evaliiaci6ii

Esta jerarqirizacih proporciona un iiiarco de trabajo p x i I;i prepariicitiii de los ejercicios de la prueba y guía a quienes la elaboran hacia el desiirro-

soiuaua~!pau sol ap soso!xJe3 sopunua sol a3!j!iuapl

sP.U!3![JaU SR[ 3P íqRY133PRU! O

opan3apa 01 a? apuappa al aliu:, anílu!is!a

. . Obj&ivos del proceso .,

~i; . , , '; A,, Nutrición, 40%, , , ,; .,,,, , ,t.; I< I . : I * I : . I /> 1 i i 1 1 /:iI>~.li..;-.. .i,. . a , 0 l

5. Aplica principia - Identifica diem bien balinceadas r a t i N:. . . ,

y gcneniizaclones 1 1 ~ 1 ~ : 1 ~~!~l . lCsi lcul~ las caloriu.necesrrlas . : m ,

a situaciones nuevas dc las dietas para perder o ganar peso ,

:. ' , :: ,,, t. , " ' Uo .de ítems que obligan d sujeto a hacer más que simpleme& &ordar hechos, o saber nombres, fechar,.defjniciones y cosas parecidas. Qcbido a que con frecuencia es ,dificil juzgar a qué preciso nivel de la jerarquía perte. nece un ítem dado, algunos. investigadores han encontrado !práctico traba. jar con categorías un poco más simples y descriptivas, como las dadas en la tabla 2.1. . . I . .$ . , ,.:. . ,

l . En ellboceto del .contenid8 d e una' prueba de rendimiento, se, espera

qu$¿sta refleje lo que se ha enseñado, o lo que debía haberse enseñado, en Un pen'odo dado del pro&áma escolar. Si la prueba es piSa ú h curso de un solo insr(;;r,,l?te deberá ?er capaz de espec¡fi:arl lo que se trat6 . 1 1 :n clase, en que y pvso,&nf+jq,y. qu¿'6e espera que los estudiantes iia)lan aprendido y,reteqido. i)-!una prueba que se vaya a usar mas ampliamente. quien la e j aboq debe,apoyane .en textos de uso general, planes de estu. dio, así como en lar críticas y sugerencia de personas que enseñan el tema. En el último anáiisk laldelineaci6n de1:contenido representa. unlconjunto de juicios aobre lo que debería iiabei-se enseñado y aprendido.

Cuando se principia a desarrollar un instrumento 4e mediciiin que se vaya'a usar como una prueba'¿lc'ma¿!shia, o como una prueba coti'referencia

1

B. Erif'ermcdades (1. Eni'crmedadcs Níiincrci

ccin~agiosas, 40% n o conia~ioiras, 20% dc iicrns - -- Reconoce las condicionc.r Prcdicc I;is cc~nsccuciicias tlc los pr(ibal>lcs que pucclan I.vi~rccci c;inrl>ios cn I;t ~~ccrccii,ri de la propagacih de cicrias Irciriiionas enfermedades coiiiagiosas Prcdicc I;i ~m~l)aI>ili<la<l dc

Identifica los métodos heredar condiciones apropiados para esicrilirar arrorinalcs objetos

Da raroncs apropiadas p;ira reglamentacihn, proccsos y tratamientos

a criterio, para evaluar la maestría de un dominio especifico, la caracicristi- ca clave del plan detallado dehe especificar muy claramente el tloininio que se va a estudiar. la especificacitin dehe indicar 1) la forma del estimulo quc se presenta a los sujetos, 2) la forma de respuesta que se va a solicitar, y 3) el estárldar (inevitahlemente arbitrario) qiie se usará para reprcsciitar I;i miles. tría satisfactoria.

Por ejernplo, se puede especificar: "Cuaiido sc prescrita una niiicsirn de 'LO multiplicaciones con el li)rmato ri x b ?, el sujcto escri1)c I;i rvspticsta correcta a cuando menos !8", :S: "I);itlos 4 párratiis sin puiituación. c;id;i uno compuesto d e 5 frases simples, y dadas las instruccioncs para m a i n r cual- quier puntuaciím necesaria, pone puntos al final de 16 o más oraciones".

El plan debe indicar cómo se cstal)lcce el mucstreo dcl dominio. lo niis. ino que cualquier reszricción adicional y de limiiacihn del doiiiinio. Por cjcm. pio, en el caso de Ir multiplicaciiin, se puedc especificar que "cada uno de los 10 digitos aparezca el mismo número de veces". En el segundo ejemplo, se puede especificar que "la lorigitud dc la frase no exceda de 10 palabras, y quc el vocabulario se limite a las Y000 palahras más comunes en la lengua de que sc trate. El propi)sito de dicha cspecificacii)n adicional es: 1 ) hacer

* Que el dive1 de ¿+ficultrei déjh muestra iguale 1; m6i p s i b l t el nivel del . dominio total y S) especificarél dominio tan claramente, que cualquier per- . 'mna pueda entender pfeCi+h¿nf;e t maeiuia en el mismo. ' "

~ ~ ~ ' l k l ' p l á n ' d e ~ d o paih tíni prueba de eficiencia en el tnbajo es. en rnw -&as fonnas, pafeddu irde üSia pmeba-de findimiento acad¿niiEo. Sin ern- -F~Teréñf~~FG~iobTeUñti-a6aj0:Pa~~ red& t a r se pre'jktai 2 ° C preparad611 debe t t n a u h a persotr? y qu¿ debe hacer en este trabajo? @áies &nodinientos y habilidades mn necesario, para el rendimiento adecuado -- en d'frabajo? LirEri t i i i 'deIñ~~~i ic ión que se consultan sobré el'kñdi. mientb en el trabajo,,mn muy diferenten de aquellas útilea,para especificar el tontenido de una prueba-.de rendimiento académico:El análisis ocupa- donal'que dice 'háles conocimientos y habilidades son necesarios yaia' la realización rati~actoria~¿iCtlmbajijo;'ac b&a prindpalineiite en la 'expcrien. cia de los empleados mi3 hábileL'y dc loi supervisores. El pl& parP. una phe. ba de eficiencia en el trabajo tiendé'i' cintnrse en la eficacia h'piciorial'tser capaz de rcaiizar tarea dificiles), en ver de sobre conocimie,ntps abstiiztos.

c . . #." . . . que subyacen ata eficada en la práctica. , ,. ., .. . , , ; l . . , . ; , . La especifiación del contenido para una prueba de aptitud también

tiene un matiz un poco diferente, y tiende a ser menos especifica. que la de una pmeba de eficiencia o de rendimiento. Debido a que una prueba conio ésta se diseña para medir una característica más bien general y persistente dela persona, y no el resultado'dd un programa específico de instruición, el conjunto no constituye un área bien definida a la cual referirse. Con fre. ¿uenda.especifican t i p de ítems. Por ejemplo, se puede especificar que una Prueba 'de habilidad verbal ést¿ compuesta de analogías verbálei, sinónimo. &tónimo, e ítems de completar frascs. Se puede entonces indicar cuando . &os van a aparecer como pruebas parciales reparadas, o cuando serán apli @dos globalmente. Se pueden también indicar ciertos aspectos generales de' balance del contenido. Por ejemplo; si "comprensióii de la lectura fuera parte, de.una prueba, =:podría e~pecificar que los pasajes se eligieran en proporcionu semejante? de las áreasacadtrnicw de ciencias naturales, cien. Sias s&ides y literatura". Una prueba del razonamiento mecánico puede gpe,cificy cuántos items se fefiereii a la palarica, cuantos a la rueda; cuan.

. . tos~~,to~,illoi.~uán~os. a 1a.polea; y así sucesivamente. . .. I : . . . ... . <:;;!,La especifi.cación del contenjdo para pruebas de interés, temperamen- tb y actitud,son susceptibles .de ser.aceptableniente esquematidas. Al definir el.rasgo.latente, una definición amplia tiende frecuentemente a indicai.al. gunoqdClos aspectos del contenido-Por esto, las definiciones de impulsivi. dad,,enlja pagina 27, sugierenacomo contenido frases que tnten con lo s'iguient~, , .,:i; ,!, ,, : i .' I . ' ,O; : 1 . . ',.L. , , ' , I . c .,

, . .. ,. . . ,: > a ' , . . G,i:.:;,,j,;, . :: : . ..:. . 1 . . * ' . . ' i . : .' " '

b.,;,~,lr~pidez"dedecisión . i i . l ; : ; ~ , ' V I . , . , , . . . . , ,. , ,?,\Gusto por. las actividades :no' :planeadas ;.! ! , :,:ni

. ,, l ' , " ' . . % ,.. , . - . \ . . , ,:L. ; , . . \ I

ESFECIFICACIONES DEL FORMATO

. o Sin limites de restrisci6a o inhibición , Desagrado por la planeación cuidadosa

Si se reflexioria sobre la lmpulsividad, es casi seguro que se encontraran otros aspectos del atributo que deben agregarse a la lista. El constructor de prue- bas hace un juicio inicial valorando cuanto énfasis (cuantos ítems) debe de. dicarse a cada aspecto.

ESYECXFICACIONES DEL FORMATO

En una etapa relativamerite temprana de la planeación, el constructor de pruebas debe iriformar con claridad cual formato van a tener los ejercicios de la prueba En pruebas de habilidad, la prinkra y mas importante deci- s i h es sobre si el sujeto deberá redactar la respuesta a los items, o si deber5 seleccionar la mejor respuesta o la m k correcta de entre un conjunto dado de alterriativar. Durante los pasados 50 años se ha preferido usar respuestas de elección múlt.iple, en vez de respuestas a redactar. Con ítems de selec. ción de respuesta, el sujeto puede manipular mas preguntas en un período determinado, y las respuestas pueden calificarse mucho mas rápida y objeti- vamente. Lo mis probable es que prevalezcan estas consideraciones. Por otra parte, con el desarrollo de los rastreadores ópticos y lectores de documen. tos, parece que se abren ciertas opciones para formatos de ítems y patrones de respuesta, que no habían sido prácticos en el pasado. Un lector de docu. rnentos puedc 'leer' números escritos sobre un lugar especificado en u n for. maco de bloques estandar y esto permite calificar mecanizadamente una respuesta a un problema aritmético que pueda tener algún valor numérico. Asimismo, un lector de documentos puede registrar cualquier palabra sub. rayada en un pasaje, de modo que se pueda presentar al sujeto un pasaje desprovisto de mayúsculas con la instrucción de subrayar cada palabra que deba escribirse con éstas.

Durante los pasados 30 ó 40 años, el formato de items de elección múl. tiple ha sido el más usado. Esto es, debido 1) a la rapidez con la cual este formato se califica con maquina, 2) y a la flexibilidad del formato para pro. bar una gran variedad de contenidos y procesos mentales. Exceptuando las pruebas usadas por niños pequeños, el número típico de alternativas es de 4 a 5 No hay nada de sagrado en esta cifra, pero parece ser una soliición razonable cuando, por un lado, se desea reducir la probabilidad de recibir una respuesta correcta por casualidad, y por el otro, tener que preparar uria cantidad de respuestas alternativas que sean suficientemente plausibles pa- ra que las escojan los sujetos que no conocen la respuesta correcta. Sin em- bargo, quien elabora una prueba no debe decidirse automáticamente por los ítems de elección múltiple, debe considerar, tanto distinguir entre dos

alternativas (sí-no o cie':rtbfalscr)icomo algÚn.otrofótmato +e se adapte me. jor pata medir el atributo, o.el-,dominio de conqcimiento.quqsc esté pro- bando:Para las mediciones de personalidad especialmente, un formato útil ha sido el de itcmr ta;lodcuales I~~alternativas ron: si-ho..de,amerd~en desacuerdo, mp gustarno;me.gusta,:,o en. una:escai? .de: .perfectamente .de a ~ e r d b d e ,acuerdwn ,duda$qdesamerdo-absolutamen te. eq desacuerdo;

Con frecuencia se deben preparar las especificaciones de¡. formato de los materiales auxiliares de estímulo, en los cuales se van a basar los ejercicios de la prueba. Estor incluyen cosas tales como pasajes, escritos,'gr~ficas, ma- pas, diagramas y t ab la Si tales materiales u .vana necesitar,.el plan deberá especificarlos, y deberá d;scribir cualquier propiedad que deba tener. Por ejemplo,. determinar la lorigitud, .nivel de dificultad,. el ;dpo de contenido de lectup de lo$ pasajes,_o.b'ien &número y tipo de mapa* y gráficas quc % . i q $ i q p . ~ , número de,ej'erqi+.os d c p u e b a que se basen en cada pasaje. Rapa.* grá€ica.puede est?+l~yse w m o gula del:núm,ero. que será necaa- Ropr.p~,r .y.enmyar .,L,r.~!-~,:;ri:... : . , t , ' l . . , , . . ,,; :h : . : ,. ,. '

,; li.2peste punto. debr.tpmurc.una decisión respecto a los.formatos para r,cg+trir las respues. y los procedimientos de calificación:La decisión más importante es determinaf.&ándo.e va.a usar una hoja separadalde respiies. t+, O s i > a s r e s p u e s ' , i d i directamiente en el bloque de la prueba. Las b,ojas separadas de respuestassqn mtc fáciles de calificar y econ0micu, p que l,o?.bloques se.pueden volvq,+ umr,~.t;ienen aceptación casi universal en tos ni,velp,!de enseñqza, ?fin ,eqbargo< la hoja separada de respuestas tiende q,fi.mitar el formato de Ips ltems,y,reducirlos a items de elección mirltjple, coa Jo que a u m e n t t J i g e ~ e n t e la posibilidad de que el sujeto sg eqiiivo. ~ u q ahriotar sus pspuestas. Guand0.i~ consideran indeseables estas limita. cionu. las respuestas pueden p m o escribirse sohre el bloque que pueda

. , califican( a mano, o ,por,medio. dc un rastreador 6ptico. . . S .

. . i : ,. 01" decisión clave por'tomarse es sobre si usas yna calificación que r @ ?e~.sixpplement~,el ntlniep de rwpuegas correctas, u &:a que exija un car

tig'o por errores. Los problemas relacionados con esta decisión, ,f. los argu. mentor e<favor de cada altemativa; u considerarán con ciertadetalle como una page del,análisir de ít,cms que re presenta e n . 4 capítulo 4. , . , . . . /,q , ,7?,1 4 , . , l : l b ) . ! 8 : +,!.!;!li~;'.:~,:! ;.) l. ,

l I : .:, ' ::

P& PARA E*ISAYAR~ SELECCIONAR , , , ; : . * ,

l f > >., , 8 . , ! $ , , . ,;,;!S . b C < I l ! ,,, ,, , , . . 1,,,;* l . . .

Los ítem-diseíiados p a p medir. Un rasgo latente deben ensayarse, con! el c-&jeto.de determinar su nivel de.dificultad,.así como tu capacidad para di. f&nciar,entre quienes caiifiquen.aitoy quiknes bajo en el, atributo latente. E q u a ; etapa máa bien. tcmpranadeli decarrol?~ de la prueba eslnectsado rcgppnden las siguientes preguntas:. :.. . . .

2 I .::, ., !; q . .;j , .!. : . . (,T. . kl,:-u!,, - . ; , f{; \?\, ., , S , - . ; l : y ) ! \ :y! .31: c. 1 . ,: ,,: ', # a , 1 4 1 [ .; . ,la . , I . , , ..! 1.,,<A P A ~ . piyeles &edad grado. se van a ensayar, los q a eri Je*

2. ¿Qué tam'do de la'muestra de ensayo se desea en cada nivel?

S. ¿Cuáles subgrupos determinados (sexo, socioeconómico, étnico u otro) se van a aislar para un análisis especial?

4.. ¿Qué tan extensas van a ser las pruebes de ensayo? . : 5. ¿Cuánto tiempo debe darse pira las pruebas de ensayo?

6. ¿Cuál puntuación de la prueba se va a usar como criterio para eva. ,luar cada item?

Una vez tomadas estas decisiones, la siguielite etapa de la preparación im. plica hacer los arreglos necesarios para seleccionar la muestra con las es- cudas, patrones u otras fuentes de muestra Esta no es parte directa del ensayo; .pero es necesaria, y en consecuencia requiere dedicación.

Con rcspecto al nivel de edad o grado, el principio general es que los grupos de ensayo sean tan parecidos como sea posible a aquellos en los cua- les se usará finalmente la prueba. Por lo tanto, se extraen muestras de esa población, cubriendo el espectro de edades o grados, y hasta donde sea po- sible tengan el mismo nivel de habilidad (u otro atributo) que caracterice a aquellos en quienes se va a usar la prueba. Como se verá en los últimos capítulos, las csiadísticas de ltems S: pueden ajustar para tomar en cuenta las diferencias entre la muestra de ensayo y la población que finalmente se va a probar, pero es preferible que tales ajustes sean pequeños y, desde lue- go, es más simple si no tienen que hacerse en absoluto.

En forma ideal, el grupo de ensayo debe extraerse de varias escuelas o localidades, de modo que las estadísticas de ltems no se distorsionen por las peculiaridades de tina sola localidad. Por lo tanto, un item específico, digamos un item de números primos, puede ser demasiado fácil en una es- cuela, si el tema se aca5a de ensefiar la semana anterior. El uso de diversas fuentes tien& a disniinuir dichos efectos locales. Se puede obtencr una mues. tra altamente representativa cuando se pueda incorporar una sección del material de ensayo a una pnlepa operacional que se use, por ejemplo, con alguno de los programas ilacionales de pruebas. Sin embargo, el elaborador de pruebas con frecuencia debe contentarse con una muestra "en trozos" que viene quizá de una media docena de escuelas o empresas. Cuando esta es la situación, es mas deseable que los grupos sean heterogéneos, pcro rc. presentando el mismo espectro geográfico, de habilidad, o de especializa. ción, que podrá encontrarse cuando se use la prueba.

No es fácil especificar números mínimos. Evidentemente mientras más grandes sean las muestras de ensayo, mas seguras serán las estimaciones del g a d o de dificulta,d y de los parámetros de discriminación. Para una prueba que se va a usar con grandes grupos, el míilimo que se debe considerar ade- cuado para.proporcionar parámetros de lteins útiles de 200 a 300 en cada grupo de edad o grado.

Debido al interCs reciente en la "equidad" de los ejercicios de pruebas para grupos con deficiencias culturales sociocconómicas, se sostiene algunas veces que los niateriales de prueba deban cnsayarse en grupos especiales

que representen a las minorías ¿mica's o a las de baja nivel eclonómico. El objetivo de dichos ensayoJ1es identificar ciertos ítems específicos que son, ya sea particularmente difíciles para el grupo especial, o que no sean ade- cuados para diferenciar'? los más capaces de los menos, entre lob sujetos de examen en esevgrupo. Se supone que la mayoría de los ítems qtle Inclu. yan términos y contenido inadecuados para el gmpo especial!ya fuefan iden. tificados por los revisores, particularmente por los miembros del grupo en cuestión, sin embargo, el ensayobuede servir para complementar o, en al. gunos casos, reemplazar dicha.revinión. Si se desea que la informacibn del ensayo con los grupos especiales sea útil, las muestras de esos grupos deben ser lo suficientemente grandes, para axgurar que las propiedadcs aparente. mente desfavorables de ciertos Zums no representan simplemerite fluctua. ciones alcatoriaa en los g m p capedales. En general, parecería que el tamatio mínimo para los grupos especiales do debiera ser menor que el mínimo pa. ra la muestra general de ensayo. En la práctica con frecuencia es dificil ob- tener muestras adecuadaa de eso& grupos. * , . , , . , ,

a Los aspectos de la extensión de los cuadernillos de ensayo (er. tCrminos del número de iums) y los limites de tiempo para un ensayo, están relacio- nados estrechamente. El princlpio que determina a ambos, es que se desea, tanto como sea posible. hacer que cada sujeto intente resolver cada'item. Si el límite de tiempo es tan corto, con telaci6n a la exttnsiónldr: la prueba, que algunos sujetos no han tenido tiempo de intentar los últimos itemi, las estadisticas para esos items resu1t;irAn disto\-sionadas. Algunas veced no se toman.medidas para diferenaar entre 103 ítems que fueron leidos pero que no tuvieron respuesta y los items queeno se alcanzaron a leer. Lbs dos casos no son equivaleotes, y no es deseahie que se traten como tal, pero aun cuan. do se den instrucciones para identificar y excluir estos casos, p6r lo general los sujetos que responden los últimos items tienen una capacidad mayor que quienes no los respondieron.'Por lo tanto. puede darsé tiempo suficiente, o bien acortarse suficientemente las pruebas para que.casi todos4puednn leer,e intentar responder cada item. Debido a que los grupos para el erisa- yo no pueden ertar disponibles porimás de 40 6 45 minutos de periodo de clase, eq una buena idea preparariiin material de ensayo compuesto de va. rias,,pmebas 'conas .y, paralelas, de modo que el material presentado a un sujeto no exceda lo quq pueda manipular en un solo período. Frecuente. mente resulta m k fácil multiplicar el número de sujetos por 2, 3 6 4,'que qultiplicar el tiempo de'- ensayo por el mismo factor. .. , j, Otra,decisi6n kmprana.,tes 1a:elección del sistema de ca~iticaci6n. que selva,a'+sar romo criteri~,,con el cual se juzga la efectividad de cada ítem, paqpwier, diferenciar ajos sujetos con más atributo lattntc de aquelloslcon menos aaibuto. En los casos en los que se ensayen nuevos itemk agregados ?.uq pFQgi;ama regular de pruebas,, Son objeto de desarrollar iiuevas formas de,prueb.a'para cate programa, t l prbcedimiento normal y másdatisfactorio es ,usar+ sistema_de crilifkación de la prueba ya existente, o alguria sección

específica de ella, como criterio para juzgar el nuevo ítem. Sin embargo, de- bido a que el sistema de puntuaciin que se usa en dichas pruebas, rara vez est.á al alcance del investigador, por lo general se debe usar la puntuación total como criterio para el conjunto de ítems de la forma de ensayo. Aun cuando pueda haber unos ítems deficientes, que disminuyan la precisih del bloque de ensayo como medida del atributo latente, este efecto es general. mente pequeiio, y la piintuaci6n total proporciona un criterio razonablemente confiable.

PLANEs PARA ANALIZAR Y USAR LA INFORMACI~N DEL ENSAYO

Una vez tomadas !as decisior;es sobre las muestras que se van a probar, debe formularse un plan para el análisis y el uso de los resultados del ensayo. iCuáles análisis estadisticos deben aplicarse? ¿QuC uso se har6 de los resul. tados estadísticos? ¿Que significado tienen los resultados en relación con el contenido y la cobertura representativos del dominio que se va a evaluar cor. la prueba?

El interbs se centra ahora (como se expone con tlciallc cn el capíiiilo 4) sobre la dificultad del ítem y su validez para diferenciar a quiencs califi quen alto de quieries califiquen más bajo en el atributo latente, como se de. fine basándose en el criterio de calificación usado para rcpresent;ir csc atributo. También puede ser de interés, en ciertas pruebas de habilidad, en. contrar cuántos sujetos seleccionaron todas las respuestas equivocadas, y así como en qué proporción eligieron cada una de las mismas, aquellos sujetos menos capaces. Esva última información es útil, principalmente si quien cla. bora la prueha se propone revisar el ítem con objeto de mejorar su cfectivi. dad. Las opiniones difieren acerca de cuánto beneficio se obtiene al tratar de salvar un ítem mal redactado. Algunos elaboradores consideran que la energía se invierte mejor al escribir nuevos items, en lugar dc iraiar tlc rc. forzar los débiles. No obstante, si se emprende tal operación de rescate, la in formación sobre el funcionamiento de cada una de las elecciones errbncas (suponiendo'un ítem de elección múltiple) resulta de, mucha utilidad.

Deben eliminarse los ítems que no 3on útiles, para diferenciar entre los examinados mas capaces y los nienbs, especialmente aquellos que muestran una discrimiriación inversa. Merece dar cierta atención a la selección de items que discriininan en forma tan marcada como sea posible, pero por lo gene- ral, el principal uso de los indices de discriminación, es excluir los ítems defrctuosos. Con el criterio de calificaci6n se puede establecer un nivel mí- ninio de correlación por debajo del cual se rechazarán los ítems. Este míni. mo tiende a descender para grupos homogéneos que, según se espera, tierieii poca variación en el atributo latentr y también en el caso de ítems muy di- versos, con un solo factor comiin, no predominante. Por el contrario, el ni-

i I

42 S PLANUCI~N DE U E L ~ ~ ~ O ~ C I ~ N DE PRUEBAS

ve1 ser& dtÓ cuando la pob,Iación se; heterogtnea. o cuando haya muchos ítems diseñados para representa+ a un solo rasgo básico. Por ejemplo, en una i);rueba de v~cabulario's~~~le,~iplicada a un'muestreo aleatorio en ni. rios'de '0 años de edad, puedk'esp~ríiric que los items muestren índices de

f discriminación telativamtntc altos, para los que se puede establecer un coe- ficiente de correlaci6n biserial niínima de 0.40, o hasta de 0.50. Por el con- trario, un conjunto de íterh que 1) t x k a un espectro amplio y ,variado de aplicación de conocimientos en medicina, y 2) se aplique a un p p s selecto de graduados de una escuela de medicina, probablemente arrojad indices considerablemente más bajos para,diferenciar a los mas capaces de los me. nos; entonces se establecerá un cocficknte de correlación biserial..mínima, con el criterio de calificación tan baja como 0.30, o incluso ile'0.20.' '

En cuanto a los lteins que sobrepasan el mínimo establecido, el plan pue- dc especificar que'si les da& prefer'encia, iinicamerite 5i satisfacen los r& quisitos de la repie,~cnt&ión del contenido. así como el nivel apropiado de

. l I II : dificultad. . ,

Al fo&nular lu especificacione?'de dificultad del 'íte& es importante consideku cómo se van a usar los resultados de la prueba. $uáles decisio- nes,se basaran en ellos? Si hay algún plinto eri la escala del atributo latente que sea un punto dave de decisibn, los ltems deben escogerse de manera que las pruebas rnues.cn diferencias, tan marcadas como sea posible, entre quie: nes quedan debaj?s!os que quedan por encima de dicho piinto:,~n Gnt i sea posible, todos los.ít&& se esfogerln.de modo que la & h a cancteristica de ítems tenga una marcada pendiente, esto es, que el porcentaje de los q u ~ acierten aumente bruscamente en este punto critico. En e! moddo quese presenta en el capitulo l., el p&ch-o II debe y ta r o muy ce reno o en el nivel en el cual incida la decisi6n crltica. Este puede ser el, caso' de, un examen que K va a aplicar p a n otorgar un númem limitado de 6Fcas +anl do hay dn gran número de mlicitantes,'.~ en el otro extremo, pin'ideltifi. car un grupo de estudiarites coi1 bajo,rcndimie,nto, que deban recibir algún' . . ,. ,. . ., ,

tipkde '~nsrmcción ,especial. Sin embargo, fkcuentern,en&, ie, ,&pna"que los items.de una prueba midancon uya precisión casi igual,.uii,nngo bar., unte amplio del a,tributo laten te, y entonces el plan p a h nonhar,l~s dificul., rada de'loi ítem,s d$x se;*&, que &tda lograr, erte objeii* El i&bleini y 1 considebr$ I I . . . . en.mayor::de,td)e > .,: .. . . . . en ..:., el , . ~apftulo 4. , '

I I 8 >! , : '. m * ? ' . , l , L ,

. . . . . . . , , , . , / { ' :, , .!' : , :, , . ; , ! ! t ! t . . i : : ..! * . . < , ' ; . " > . !

, . ! , , . ! , . 0 .:,i,i ; \ .,, . - , o . ;. , . . . . . . , i 1 1> i . ; . ,

Cuando,la.función he yna, pnieba sea definir Ia.p~si,ci6n dc cad? s,ujeto,en .. . 1 < ,

cierto atfíbu,o latenie, es ' d é s e a b ~ ~ . ) . . . .;. ! . , tener.rnedios , . . . . . . p a b ubkar ?,es?;persoria reipecto , . , . ! a '.il Ia$demás,Ín ¡a . e s c a i + : h s vecesw dispone,de una 7spI.a abso. l u k o preestablecida, ~ i + i + a & b + ~ ' i o i n o cnhpr~nsi6n de k c t ~ i ~ ~ . , ~ i s ~ a i i . zación eip'acial,' conocimiento de" los principios mecánicos, y así

PLANES PARA RECABAR I N F O R ~ I A C ~ O N :JORhlA'I'IVA 43

sucesivamente. El daminio de tareas susceptibles de ser cuzntificadas no tiene límites claros, y el rango de posiciones posibles en el atributo latente no tie- ne punto cero así como ningún liinite superior defiiiido. Por esta razhn, Iiis bases de referencia para expresar el rendimiento de un individuo dado, se toman del comportamiento de grupos de personas de edades. niveles de edu. cación y antecedentks o experiencias diferentes.

Este no siempre es el caso. En el iniiestreo con prueba de dominio, el dominio está limitado y demarcado en fornia bien precisa. y la posición dc la persona cn la escala puede describirse en términos absolutos, refiriéiido se a su iiivel de maestría en el dominio en cuestión. Por lo tanto, puede de. cirse: "Dado un pasaje con 20 nombres propios a los cuales'se requiere poner mayúsculas, el examinado identifica cuando menos 18 nombres corrccta mente". Esta es un muestra satisfactoria de maestría, y se dice que en esta prueba con referencia al criterio, cuando se le aplicó al sujeto éste demos- tró maestria al cnlo>arles las mayúsculas a los nombres propios. Un logro tan especifico como éste puede ser útil para p i a r las decisiones del instruc- tor, respecto a !o que el sujeto ha aprendido y lo que ahora se le deba ense. fiar. Sin embargo, para las pruebas de habilidad de mayor alcance se necesitan normas para reunir los grupos apropiados de sujetos.

El grupo de referencia apropiado es aquel con el cual el individuo o el grupo de estudio se puedan comparar de la manera más significativa y exacta posible. Para un propósito determinado, éste puede ser el grupo de todos los candidatos para ingresar eri un tipo particular de trabajo o para un tipo particular de entrenami;nto. Por lo tanto, en los EE.UU., el Comiti. de Exámenes de Admisión a Universidades ha desarrollado noriiias porcen. tuales para los solicitanies de admisión a estudios superiores. que hacen In Prueba de Aptitud Escolástica en un aiio dado, de modo que cada indivi- duo pueda comparar sus resultados con los de aquel grupo. Algunas veces el grupo normativo puede representar una región en particular, o un tipo específico de escuela o de comunidad, por ejemplo: cuando un editor que publica pruebas desarrolla "normas de grai: ciudad". Por lo general, se es. pera que el grupo normativo sea una muestra representativa a nivel nacio nal, que reproduzca con exactitud las características del país entero. Las formas eri las cuales los resultados de esta prueba se van a usar determinan qué tipo de poblacih constituye el grupo de comparación más significativo.

Cuando se llega a una decisi6ii sobre la población con la cual pucden hacerse mejor las comparacioiies, entonces se debe 1) diseiiar un procedi. miento de muestre0 para reproducir las características de la poblaci6n en forma fiel y siii desviacibn, y 2) llevar a cabo el diseño con tan poca "disper- sión" como sea posible. Las instrucciones de diseño de muestras se expon- drán con miis detalle en el capitulo 5. Sin embargo, la muestra de más ingenioso diseno es de poca utilidad, a menos que los grupos solicitados en la muestra puedan, de Iiecho, ser examinados. Por lo tanto. los arreglos pa- ra Iiacer llegar las pruebas a los individuos o los grupos apropiados para

. . , . , , * I

44 ' P ~ M C I ~ N DE U EXABOUACI~N DE PRUEBAS

la muestra planeada requlereli' di: aptitud de organización y tiahilidad ad ministrativa. Uno de los requisitos de la planeación consiste en obtener la colaboración de personas ¿c.la localidad qtie supervisen y lleven a cabo la pmeba, siguiendo los proctcJimientos especificados, cumpliendo coh los pro- gramas establecidos y reintegrando ai tiempo debido los resultados a la cene tral de procesamiento de los datos. Un programa que se ciirnpla rin contratiempos se debe planear con meticuloso detalle.

Al mismo tiempo que se planeen las normas se debe tratar de visualizar todos los análisis que se realimrán con el conjunto de los datos obtenidos. El programa para estos análisis debe desglosarse en detalle para tet:er la se. guridad de que se recabaron todos los datos necesarios. De otro modo, se puede encontrar por ejemplo, que se deseaba hacer análisis separados para niños de diferentes p p o s Ctnicos, pero que no se solicitó información so* bre el p p o itnico de cada niño. Si se establecen normas para una nueva forma de prueba, el plan d tbe incluir un diseño de prueba que permitirá el ajuste de la prueba nueva a las ya existentes. En el capitulo 5 se exponen varios ejemplos de tales modelos. Si se requieren análisis de correlación de las calificaciones parciales, deben hacerse planes para calificar cada parte por separado.

Por supuesto, la planeación debe incluir decisiones sobre los tipo:. de calificaciones convcrtidas que se van a requerir (percentiles, puntuaciones estándar, puntuaciones en una escala bkica del atributo latente). Una ver tomadas estas decisiones, debe establecerse, paso por paro, el programa de los análisis estadísticos de los resultados de la prueba, que se requerirán pa- ra convertir las puntuacioneí.

MANUAL DE LA PRUEBA Y MATEMALES DE APOYO

SI se prepara una prueba que usarán otras personls, quien la elabore pre- parará uno o más manuales para los usuarios de la prueba. La pla~eación debe incluif la especificación del contenido de dichos manuales. Esta pla. neación ayuda a garantizar que el manual quedará completo, y.que el con- jxnto de datos necesarios para producirlo estará disponible conforme se necesite. Entre los elementos que deben incluirse en el manual están los si- guientes: l , 1 1

1 I

1. Indicación de los usos para los cuales se destina. 2. Instrucciones completas para aplicai la prueba. : , 3. Tablas de normas para convenir la puntuacióri parcial en valores es-

' ' < , tándar con el fin de'interpretarlas. 4. Evidencia de la confiabilidad de la prueba y precisión de la medida. 5. Evidencia de la validez de la prueba para lograr los objetivos desea.

dos. (Esto puede incluir la evidencia de validez predictiva en forma

de correlaciones del criterio con las variables específicas. Con fre. ciiencia se incluye una amplia variedad de evidencias que demues. tren que la construcción de la prueba es válida conio una medida del atributo latente que se intenta evaluar, y que abarca las correla ciones con otras pruebas, análisis factorial y evidencia de las diferen. cias de grupos o del efecto de intervenciones experime~tales.)

6. Si se consideran necesarias, guías y sugerencias para el uso de los resulta2os de la prueba.

Se necesita preparar los materiales de soporte para diferentes personas: las que aplicarán la prueba. las que harán uso práctico de los resultados. y aquellas que evaluarán la validez de la prueba para usos diferentes, o que llevarán a cabo investigaciones con base en ésta. Será necesario entonces que se preparen diferentes tipos de documentos de soporte, tales como: un manual para el examinador, uno para el consejero o administrador y iin manual tecnico. ..

Un gran númcro Jc pruebas se elaboran con el requisito de que c s t h <lis. ponibles para aplicarse en una fecha cspccifica. Esta exigencia es coiiiúii cn los exámenes que forman parte de un servicio de exámenes periódicos, co. mo los de colegios, o divcrsas formas de exámenes de licenciatura. así como en los de cursos o qxámeiies de conocimientos generales en escuelas y un¡. versidades. Además. cualquier examen publicado con fines conierciales, tie. ne una fecha fija en la cual debe ofrecerse al público. En la iiiayoría de las pruebas son esenciales las fechas límite y si se desea ciii:iplir este plazo cs menester establecer un progTaina de producción apegado a la realidad.

La forma norrnal de generar un programa es trabajar "hacia ati-is". dcs. de la fecha en que la prueba debe estar lista para usarse. se establece la fc. cha del día del examen, nienos tantos días, semanas c meses durante los cuales deba tcrininarse cada paso preliminar. I.ic secuencia dc los pasos variará un poco. de acuerdo con el tipo de prueba. Así como el paso de preparar normas adicionales. el cual puede representar la mayor parte del trabajo en pruebas destinadas a distribución comercial, tal vez sería innecesario en un examen de licenciatura o para candidatos a puestos administrati~os. Aun cuando un prograina debe ser principalmeiite lineal, con un paso siguien- do al otro, siempre habrá pasos paralelos y algunas actividades que puedan realizarse en forma concurrente.

En cualquier programa, hay momentos críticos dererininados por la se. cueticia de eventos fuera del control de quien elabora la prueba. Supóngase que se van a establecer normas para griipos acadéiiiicos al principio del aiio escolar. Dichos griipos cst;in disponibles solaiiiente una \.ez al aiio, de 1110.