1

Tema 4: Diseo de la investigacin. Problemas educativos y diseos. Tipos de diseos: no experimentales, cuasi experimentales y experimentales

INDICE

PRESENTACIN

1. INTRODUCCIN 2. EL DISEO DE INVESTIGACIN

2.1. Concepto 2.2. Objetivos 2.3. Tipos

3. CRITERIOS PARA SELECCIONAR EL DISEO 3.1. Responder a las preguntas de la investigacin 3.2. Controlar la varianza 3.3. Grado de generalizacin

4. PROBLEMAS EDUCATIVOS Y DISEOS 5. EL DISEO EXPERIMENTAL RESUMEN

2

PRESENTACIN

Toda investigacin arranca de un problema, esto es, de una realidad para la que no

tenemos una respuesta convincente o satisfactoria. Ante el mismo, el investigador se

plantea la forma de resolverlo, y hacerlo de un modo correcto y eficaz, tarea en la que

encuentra en el diseo la solucin adecuada.

Por ello, el objeto central del presente tema es el anlisis de la vinculacin del problema

a investigar con el diseo de investigacin como medio para afrontar su resolucin, para

dar respuesta a las preguntas en que aquel se concrete.

A los efectos pertinentes, se aconseja que la formulacin del problema se lleve a cabo

en forma de preguntas, cuanto ms claras y precisas, mejor. Por tanto, la eleccin del

diseo deber atender a las exigencias derivadas de la naturaleza de las preguntas;

determinadas preguntas se limitan a constatar si se da relacin entre variables; pero

otras, como apreciaremos ms adelante, nos ponen ante metas ms ambiciosas, tales

como establecer si la relacin es causal, esto es: si la variable independiente es la causa

de los efectos apreciados en la variable dependiente. Obviamente, las exigencias en este

caso son mayores y se concretan en un trmino clave en investigacin cuantitativa: el de

control, control de las variables extraas que, de no ser controladas, pueden conducir a

invalidar el diseo y, en consecuencia, a no poder responder a las preguntas del

problema.

Siguiendo los planteamientos de Kerlinger, debemos analizar no slo la naturaleza de

las preguntas en que se concreta el problema, sino esa idea del control, que, adems de

referirse a las posibles variables extraas, tiene en la varianza un componente

fundamental cuando de investigacin cuantitativa se trata.

La varianza, medida de dispersin o variabilidad, es la expresin de la incidencia de una

variable o de la falta de la misma- sobre otra. Cuando tal influjo se da, apreciaremos dispersin en mayor o menor grado; cuando no se produce, la dispersin es nula o

despreciable en trminos estadsticos. La asignacin de tal dispersin a un origen

concreto, en nuestro caso a la variable independiente, ser objeto del diseo y de nuestra

atencin.

Como toda investigacin no es sino un proceder riguroso, metdico y sistemtico

destinado a dar respuesta a las preguntas en que se concreta el problema de

investigacin, la calidad de un diseo vendr relacionada, entre otros aspectos, por su

adecuacin a la naturaleza de tales preguntas.

Dado que la investigacin segn el enfoque positivista tiene como meta el

establecimiento de relaciones causales entre las variables del diseo antecedentes o independientes y consecuentes o dependientes- someteremos a anlisis y valoracin los

tres grandes tipos de diseos existentes: pre, cuasi y experimentales.

1. INTRODUCCIN

Los saberes que adquirimos pueden ser clasificados de diversas formas; una de ellas se

refiere al tipo de conocimientos de que se trate. As, la mayora de los conocimientos a

3

adquirir tienen que ver con el saber disponible, ms o menos elaborado, organizado y

estructurado.

Pero otros saberes, y este es el caso de la presente asignatura, tienen como objeto no

tanto lo ya conocido como el procedimiento para aumentar, corregir o descubrir nuevos

saberes.

El ser humano, a lo largo de su historia sobre la Tierra ha ido ampliando su acervo de

conocimientos y lo ha hecho aplicando diversos procedimientos, desde su observacin

de la realidad circundante o la acumulacin de experiencias fruto de su vivir diario a

aquellas otras perseguidas y hasta provocadas como consecuencia de su natural

curiosidad y tendencia a indagar sobre lo desconocido.

La investigacin es una de esas formas de indagar, de abrir camino, de buscar respuestas

a fenmenos para los que el ser humano no tena una respuesta convincente. Cuando eso

ocurra, las respuestas han ido por la va de la magia, de la autoridad, la supersticin

Pero el ser humano tiene, entre sus cualidades naturales, la tendencia a que las

respuestas a sus inquietudes sean convincentes, satisfagan su racionalidad. En estos

casos, necesita procedimientos que, al menos de entrada, sean capaces de satisfacer a su

inteligencia y razn.

A tales procedimientos se les ha dado el nombre de investigacin; investiga el juez,

investiga la polica, investiga el tcnico, investiga el mdico, y cada uno de ellos lo hace sobre sus problemas especficos, pero siempre buscando una respuesta convincente

capaz de descartar otras alternativas. Encontrar tal respuesta y descartar otras posibles

requiere procedimientos rigurosos.

El contenido de esta materia se centra, precisamente, en el aprendizaje de

procedimientos rigurosos para investigar. Ahora bien, de entre tales procedimientos, el

objeto de nuestra atencin se concreta en aquellos que denominamos empricos, esto es,

que acuden a datos e informacin disponible o elaborada al efecto para encontrar estas

respuestas.

Entre tales procedimientos se encuentran algunos especialmente exigentes porque

pretenden alcanzar respuestas que satisfagan las mayores cotas de la curiosidad humana:

nos referimos a los procedimientos experimentales, difciles de aplicar, como veremos,

en el campo de la educacin.

La investigacin cientfica es la bsqueda intencionada de conocimiento o de soluciones

a problemas de carcter cientfico. La investigacin se caracteriza por ser un proceso

sistemtico, planificado, organizado y con pretensiones de resultados objetivos.

Es sistemtico, porque responde a un plan, cuya manifestacin ms rigurosa es el

denominado mtodo cientfico; en los planteamientos de enfoque cuantitativo, ese

mtodo suele conocerse como hipotticodeductivoexperimental. Hipottico, porque trata de contrastar en condiciones exigentes, rigurosas, la conjetura hiptesis- que, a priori, podra ser la solucin del problema.

4

Es planificado y organizado porque, lejos de toda improvisacin u ocurrencia, todo el

hacer al servicio del contraste de la hiptesis responde a un plan ordenado, un plan

exigente y convincente, aunque todo ello no asegure el xito tanto por limitaciones

humanas como por las del propio plan, al margen, claro est, de aquellas que se deben a

los errores o a las limitaciones del propio investigador.

Y pretende unos resultados objetivos, esto es, unas conclusiones que deriven de los

datos rigurosamente obtenidos y no de la interpretacin ms o menos subjetiva, a veces

forzada, para que se ajusten a ideas preconcebidas.

Pues bien, un proceso as caracterizado encuentra en el diseo de la investigacin la

herramienta fundamental, precisamente por responder a tales exigencias. Pero no

debemos dejar de lado que el diseo no es algo infalible sino una forma rigurosa de

proceder en manos del investigador, que nunca debera intentar retorcer los

procedimientos para que los resultados concuerden con sus planteamientos iniciales. He

ah el papel de la deontologa profesional, clave aqu como en todo hacer humano.

2. EL DISEO DE INVESTIGACIN

Entre las diferentes acepciones del trmino diseo segn el Diccionario de la RAE se encuentran las de Traza o delineacin de un edificio o de una figura. Proyecto, plan. Concepcin original de un objeto u obra Por su parte, en el de Mara Moliner leemos. Apunte. Boceto. Croquis. Esbozo. Esquema.

De alguna manera, todas esas acepciones enlazan con el concepto tcnico de diseo

aplicado a la investigacin emprica en general y a la experimental en particular.

2.1. Concepto

No obstante, tal vez sea la ms adecuada la de proyecto o plan pudiendo servir de referencia su aplicacin a la arquitectura, donde toma la forma de plano.

En efecto: al igual que el arquitecto antes de ponerse a la compleja tarea de levantar un

edificio debe analizar con detalle la situacin y tomar en consideracin cuantas

variables tengan relacin con su futura obra, desde las caractersticas de lugar en que se

ubicar o su peso y volumen hasta su forma, tamao, estructura a fin de hacer un edificio slido, funcional y hasta bello, el investigador no puede ponerse sin ms a la

tarea de investigar sin pararse a pensar en lo que quiere hacer, si cuenta con los medios

y recursos para ello y si estn dispuestos de forma adecuada para llegar a buen trmino

su trabajo: resolver el problema.

Pues bien: en lneas generales esa es, de modo genrico, la concepcin del diseo. No

obstante, y para precisar su naturaleza, funciones y objetivos, ser bueno acudir a las

definiciones dadas por expertos en la materia.

As, contamos con aportaciones que, sin dar una definicin formal, acuden a la

enumeracin de las tareas que integran el diseo. Tal es el caso de Finney1 para quien

en el diseo deben considerarse, de una parte, aquellos tratamientos que van a ser

1 FINNEY, D.J. (1960) Experimental Design and its Statistical basics. Chicago: The University of

Chicado Press.

5

comparados y las unidades a las que se aplicarn los tratamientos, y de otra las reglas

para asignar los tratamientos a las unidades seleccionadas y las medidas a tomar en cada

unidad.

Segn McGuigan2 el diseo toma en consideracin el planteamiento del problema, la

formulacin de la hiptesis, la manipulacin de la variable independiente y su medida,

el procedimiento a seguir, la previsin de los anlisis de datos recogidos y de los

resultados esperados.

Entre nosotros, Arnau3, tambin desde una perspectiva descriptiva, considera que, bajo

ese concepto, se incluyen los procedimientos requeridos en una investigacin experimental, incluyendo entre ellos desde la formulacin de la hiptesis a la obtencin de las conclusiones.

Otros planteamientos se orientan a su finalidad. Tal es el caso de dos importantes

figuras en este campo, con su breve pero fundamental librito sobre el tema. Se trata de

Cambell y Stanley4, quienes entienden que lo fundamental del diseo es su capacidad

para controlar las distintas fuentes de invalidez interna y externa.

En lnea con el enfoque de la finalidad del diseo, Domenech i Massons5 lo entiende

como las tcnicas de realizacin de experiencias que permiten estudiar la influencia de uno o varios factores o variables.

A nuestro juicio, el planteamiento ms correcto, y la definicin ms sencilla a la vez que

completa, es la debida a Kerlinger6. Estas son sus palabras:

Diseo es el plan, estructura y estrategia de una investigacin cuyo objetivo es dar respuesta a ciertas preguntas y controlar la varianza.

En apenas veinte palabras el autor hace una definicin formal y, adems, la completa

incluyendo sus objetivos, como tendremos ocasin de comentar. Veamos ahora cmo

define cada uno de sus trminos:

El plan es un esquema global o programa que consiste en bosquejar lo que har el investigador, desde la redaccin de la hiptesis y sus consecuencias operacionales, hasta el

anlisis final de los datos. La estructura es ms especfica: es el bosquejo, el esquema, el

paradigma de operacin de las variables. Al trazar diagramas donde se describen las

variables, su relacin y yuxtaposicin, construimos esquemas estructurales que nos

permiten alcanzar las finalidades operacionales de la investigacin. El significado de

estrategia comprende los mtodos mediante los cuales se reunirn y analizarn los datos. En otras palabras, indica cmo se conseguirn los objetivos de la investigacin y cmo se

abordarn los problemas que se hallen en ella.

2 McGUIGAN, F.J. (1976) Psicologa experimental. Mxico: Trillas.

3 ARNAU GRASS, J. (1981) Diseos experimentales en Psicologa y Educacin. Vol. 3. Mxico:

Trillas. 4 CAMPBELL, D. y STANLEY, J. (1978) Diseos experimentales y cuasi-experimentales en la

investigacin social. Buenos Aires: Amorrortu. 5 DOMNECH I MASSONS, J.M (1980) Bioestadstica. Mtodos estadsticos para investigadores.

Barcelona: Herder. 6 KERLINGER, F.N. (1981) Investigacin del comportamiento. Tcnicas y metodologa. 2 edicin,

Mxico: Interamericana, cap. 17

6

Como hemos podido apreciar, Kerlinger utiliza la mayora de los trminos recogidos del

diccionario y referidos al diseo en general.

Veamos estos planteamientos en un posible ejemplo de investigacin, ligado a un

problema actual en nuestras universidades, como es el relacionado con las competencias

como objeto de formacin de los estudiantes:

El problema surge en el investigador al plantearse dudas sobre qu procedimientos de actuacin sern ms eficaces para alcanzar las competencias asignadas a una determinada materia del currculo. Despus de analizada la literatura sobre el tema, de definir el concepto de competencia, de analizar las diversas metodologas utilizadas se plantea una pregunta:

Se darn diferencias en eficacia en el logro de las competencias en funcin de las dos metodologas ms utilizadas, A o B?

Su anlisis sobre el estado de la cuestin le lleva a considerar que, tal vez, variables como los estudios de que se trate Grado acadmico- la asignatura, el tipo de enseanza presencial o a distancia y, dentro de esta, la tradicional o la que se realiza on line, la edad de los alumnos, el curso (primeros o ltimos cursos del grado), el lugar donde reside (ciudad o pequeo ncleo rural), pueden influir en los resultados, lo que le lleva a plantear su pregunta de forma ms concreta:

Se darn diferencias en eficacia en el logro de las competencias en funcin de las dos metodologas ms utilizadas, A o B, cuando se aplican en los ltimos cursos del Grado de Economa, en la asignatura Macroeconoma, en estudios a distancia llevados a cabo on line?

Siguiendo con sus lecturas, reflexiones y experiencia profesional se puede plantear que las metodologas, por su diferente naturaleza, deben dar lugar a diferencias en eficacia, atrevindose a formular la siguiente hiptesis:

La aplicacin de las metodologas A o B en los ltimos cursos del grado de Economa, en la asignatura Macroeconoma avanzada, da lugar a diferencias en la eficacia del aprendizaje por parte de alumnos a distancia que siguen el curso on line.

Incluso, como consecuencia de sus lecturas y experiencia docente, basndose en sus conocimientos sobre el aprendizaje adulto, puede arriesgarse a conjeturar que la metodologa A debe ser ms eficaz:

La aplicacin de la metodologa A en los ltimos cursos del grado de Economa, en la asignatura Macroeconoma avanzada, da lugar mejores resultados en el aprendizaje por parte de alumnos a distancia que siguen el curso on line.

La primera de las dos hiptesis se conoce como bilateral ya que se cumplira quedara validada- tanto si la metodologa A da mejores resultados que la B como en el caso contrario. La segunda, en la que el investigador arriesga ms, se denomina unilateral, y solo queda validada si, en efecto, los mejores resultados se logran con la A y no con la B.

En una concepcin amplia de diseo la hiptesis forma ya parte del mismo: el

investigador ha llegado a una conjetura ms o menos audaz, segn vimos decir a M.

Bunge, pero ahora llega el momento de ser muy rigurosos en someterla a contraste. Y

aqu es donde aparece el diseo como plan.

7

La cuestin es ahora decidir qu hacer para dar la respuesta que demanda el problema y

para contrastar la conjetura, de forma que quede o no validada, aunque, como tendremos

ocasin de constatar, sea de forma probabilstica, esto es: no con seguridad sino con un

riesgo ms o menos elevado de error, admitido a priori por el investigador.

En ese plan parece ser necesario:

Definir con toda claridad las dos metodologas, A y B. Es ms, con el fin de que las diferencias puedan surgir, convendr que ambas sean claramente diferentes7.

Decidir sobre los alumnos a los que se aplicarn las metodologas. Nuestra formulacin del problema deja fuera los de todas las carreras excepto Economa y, dentro de esta, todos menos los de Macroeconoma avanzada.

Del mismo modo, deber decidir si selecciona a todos o a una muestra, en cuyo caso deber cuidar su tamao y el procedimiento imparcial de muestreo.

Habr de tomar decisiones sobre la asignacin de los alumnos a los grupos y de la metodologa a los grupos.

Se deber decidir cmo medir la eficacia, cundo recoger los datos y qu anlisis har de ellos, as como el tratamiento estadstico de los mismos

Y ser preciso avanzar los resultados que le permitiran aceptar la hiptesis como validada o, por el contrario, considerar que esto no ha sido posible.

Junto al plan debe plantearse la estructura:

Parece necesario contar con dos grupos de estudiantes de la asignatura, uno para cada una de las metodologas.

Entre los posibles esquemas para abordar la cuestin, podemos analizar los siguientes8: Primero:

V. independiente V. dependiente V. independiente V. dependiente Metodologa A Media de A Metodologa B Media de B

Resultado: Media A Media de B Segundo:

Variable independiente Variable dependiente Metodologa Logro de competencias A Media de A B Media de B Resultado: Media de A - Media de B

Tercero:

Nivel previo V. independiente. V. dependiente

7 Ms adelante analizaremos este punto, dentro de denominado principio MAX- MIN- CON de Kerlinger,

formando parte del MAX. 8 V.i.: variable independiente; V.d.: variable dependiente

8

en competencias Metodologa Logro de competencias Media A1 A Media de A2 Media B1 B Media de B2 Resultado: (A2 - A1) - (B2 - B1) Estos esquemas, en los que se relacionan la V.i. (metodologa) con la V.d. (logro de las competencias), nos indican diferentes formas de actuar. Veamos: En el primer caso, contamos con un solo grupo de estudiantes, al que se aplican sucesivamente ambas metodologas, comprobando al final si de dan diferencias entre los efectos de una y otra. En el segundo nos valemos de dos grupos; cada uno de ellos recibe una metodologa y, al finalizar, constatamos los resultados, pudiendo comprobar si se dan o no diferencias entre las medias de un grupo y otro, o lo que es lo mismo, entre los resultados con una y con otra metodologa. Por ltimo, en el tercer esquema, preocupados por las posibles diferentes iniciales en competencias en los grupos sobre los que se aplicarn las metodologas, medimos el nivel previo, aplicamos como en el caso anterior las dos metodologas y medimos los resultados. Este esquema nos permitir comprobar el efecto de ambas tomando en consideracin el nivel de partida: podra darse el caso de que resultados ms bajos en uno de los grupos supusieran mayor ganancia que la debida al otro, teniendo en cuenta ese nivel previo. No entramos por el momento a valorar las alternativas, algo que haremos ms adelante; simplemente se trata de dejar constancia de diferentes estructuras de accin. Y, ahora, la estrategia. Si optamos por la primera estructura, con un solo grupo, deberemos decidir si es indiferente el orden en que se presenten las dos metodologas, si cabe esperar que la aplicada en segundo lugar se ver alternada por la primera, cul es el tiempo que debe mediar entre la aplicacin de una y otra metodologas, si convendra tener datos previos sobre la situacin del grupo en las competencias que se desea conseguir (lnea de base) Si optamos por acudir a dos grupos es preciso decidir qu grupo recibir qu metodologas, por qu procedimiento se asignarn las metodologas, qu actuaciones debern llevarse a cabo que puedan garantizar no ya la igualdad de ambos antes de aplicar la V.i. en sus dos niveles o modalidades pero s al menos la equivalencia, de forma que no haya entre ellos diferencias iniciales que pudieran explicar las diferencias finales. Se trata de evitar una variable extraa que pueda anular nuestro planteamiento. As, en los modelos 2 y 3 anteriores se acude a dos procedimientos diferentes; mientras en el tercero se ha decidido medir la situacin de los grupos antes de aplicar la metodologa correspondiente (V.I.) lo que implica contrastar al final las ganancias conseguidas por cada una9, en el segundo no. Nada se dice sobre cmo se ha procedido, pero las opciones van desde la formacin de los grupos tal como se han seleccionado (incorrecta) a su constitucin por procedimientos aleatorios (la mejor, pero habitualmente difcil de lograr) pasando por la constitucin de bloques homogneos o, en el extremo, la formacin de los grupos mediante emparejamientos, es decir: asignar a un grupo un sujeto y al otro un nuevo sujeto que pueda considerarse parejo o equivalente al primero.

9 Kerlinger no es partidario de este procedimiento sino sustituirlo por el anlisis de covarianza, que

presentaremos ms adelante, y que compara al final las medias finales ajustadas a las diferencias iniciales.

9

Deberemos buscar procedimientos que eviten la influencia de variable extraas durante el tiempo de dure la investigacin.

2.2. Objetivos

Siguiendo lo indicado por Kerlinger, los grandes objetivos del diseo son:

Responder a las preguntas del problema de investigacin

Controlar la varianza

Veamos una y otra cuestin, su significado y las actuaciones a su servicio.

2.2.1. Responder a las preguntas del problema de investigacin

El diseo no es algo rgido, sino un plan al servicio de la investigacin. Preguntas como

las siguientes exigen diseos diferentes:

1. Hay relacin entre los mtodos y las competencias? 2. Se dan diferencias en los resultados en el logro de competencias en funcin del

mtodo utilizado?

3. Aprenden los alumnos antes las competencias con una metodologa que con otra?

4. Aprenden los alumnos ms competencias con una metodologa que con otra? 5. Permanece durante ms tiempo el aprendizaje de competencias con una

metodologa que con otra?

6. El aprendizaje de competencias alcanzado con una metodologa, es de mayor aplicacin que con otra?

7. Aprenden ms (antes, durante ms tiempo) los alumnos adultos que los ms jvenes?

8. Es ms eficaz una concreta metodologa con alumnas que con alumnos? 9. Es ms eficaz una metodologa en el aprendizaje on line que en la enseanza

presencial?

10. Aprenden ms (antes, durante ms tiempo...) las competencias en unos grados que en otros (ciencias frente a humanidades)?

11. Aprenden ms (antes, durante ms tiempo..) en una tipologa de materias y asignaturas que en otras?

Etc.

Pues bien, la primera pregunta, entendiendo el trmino relacin como correlacin en trminos estadsticos, solo pide contar con las medidas de los resultados en

competencias, diferenciados segn el mtodo y proceder al clculo estadstico mediante

una correlacin biserial puntual.

Sin embargo, en los casos 2 a 6 el inters del investigador parece ir ms all de la mera

constatacin de tal relacin, estando interesado en atribuir al mtodo el origen de las

posibles diferencias. Decimos el origen aunque, en realidad, querramos decir la causa;

ahora bien: para probar si los mtodos son esa causa entramos en el terreno de la

investigacin experimental y necesitaremos de diseos que puedan controlar las

hiptesis alternativas a la del investigador, esto es, las variables extraas.

10

Si analizamos las preguntas 7 a 11, nos encontramos ante una dificultad, en efecto: por

un lado tenemos la misma preocupacin del investigador en relacin con el efecto que

puedan producir las metodologas sobre el aprendizaje de las competencias. Pero, por

otro, aparece una preocupacin aadida: si tal efecto difiere en funcin de la edad, el

sexo, el tipo de enseanza, la naturaleza de los grados acadmicos, las materias o las

asignaturas.

Una solucin consistira en plantear diseos paralelos: uno para comprobar la eficacia

de las metodologas con alumnos adultos y otro para alumnos jvenes; uno para

alumnas y otro para alumnos; uno para la enseanza presencial y otro para la enseanza

on line, solucin poco satisfactoria y con evidentes dificultades a la hora de comparar.

Por ello, el investigador puede plantearse preguntas ms complejas y, en consecuencia,

demandar diseos que tambin lo fueran. Por ejemplo:

1. Se dan diferencias en los resultados en el logro de competencias en funcin del mtodo utilizado y de la tipologa de las materias?

2. Aprenden los alumnos antes las competencias con una metodologa que con otra en grados cientficos y de humanidades?

3. Aprenden los alumnos ms competencias con una metodologa que con otra segn la materia?

4. Permanece durante ms tiempo el aprendizaje de competencias con una metodologa que con otra en los primeros cursos o en los ltimos?

5. El aprendizaje de competencias alcanzado con una metodologa, es de mayor aplicacin que con otra segn la tipologa de las materias?

6. Aprenden ms (antes, durante ms tiempo) los alumnos adultos que los ms jvenes con una metodologa que con otra?

7. Es ms eficaz una concreta metodologa con alumnas que con alumnos? 8. Es ms eficaz una metodologa en el aprendizaje on line que en la enseanza

presencial?

9. Se aprende ms (antes, durante ms tiempo...) las competencias en unos grados que en otros (ciencias frente a humanidades) segn las metodologas?

10. Aprenden ms (antes, durante ms tiempo..) en una tipologa de materias y asignaturas que en otras segn la metodologa utilizada?

11. Etc.

En todos estos casos, el inters del investigador no se limita a la accin de una variable

independiente, la metodologa, con al menos dos niveles (A y B) sino que lo hace

teniendo en cuenta, a la vez, el influjo de otra, sea el sexo, el curso, el tipo de

enseanza, el grado, la materia En este tipo de situaciones, el esquema de accin que hemos analizado en el apartado anterior ser, obviamente, ms complejo y contemplar

simultneamente esas dos variables independientes. Por ejemplo (cuadro 4.1):

Grado universitario

Metodologa

Fsica Filosofa TOTAL

A: presencial B: on line

TOTAL

11

Cuadro 4.1. Esquema de un diseo complejo, con dos variables independientes

La ventaja de este planteamiento es que, simultneamente podemos probar el efecto de

la variable metodologa y de la variable grado sobre el logro de las competencias y apreciar si una metodologa da, en ambos casos, mejores resultados que la otra.

Y algo ms, y de mayor aportacin cientfica y prctica: podra darse el caso de que una

metodologa, la A, diera mejores resultados con Filosofa, mientras la B lo hiciera con

Fsica. Este caso, aportacin especfica de este tipo de diseos, denominados

factoriales, se denomina interaccin, y es especialmente relevante en el mbito de las

ciencias humanas.

2.2.2. Controlar la varianza

Hasta ahora hemos podido apreciar cmo diferentes enunciados de las preguntas que se

hace el investigador en torno a su problema, requieren esquemas de accin diferentes,

esto es, diseos distintos.

A continuacin analizaremos con algn detenimiento la segunda gran cuestin, el

segundo objetivo del diseo: controlar la varianza

Debemos recordar que entendemos por varianza una medida de dispersin de las

puntuaciones en torno a la medida del grupo. Si en un determinado grupo todos sus

componentes obtuvieran la misma puntuacin, por ejemplo, la misma talla, el mismo

peso, la misma calificacin en ortografa, su desviacin tpica s- seria nula -0- y su varianza s2- tambin. Sin embargo, con tan solo un caso en que la puntuacin fuera diferente de las dems, por pequea que fuera la diferencia, s habra dispersin, el valor

de s y el de s2 seran diferentes de 0. El problema en el diseo es el de poder asignar esa

dispersin o varianza a una fuente concreta, a una variable concreta.

Parece evidente en nuestro diseo que lo deseable es poder asignar la dispersin a las

metodologas, pero la situacin no es tan sencilla como parece. No podra darse el caso

de influencias alternativas o simultneas a las metodologas?. Por ejemplo: el influjo del

profesor que aplica la metodologa, la asignatura de que se trate, el grado acadmico, el

curso de dicho grado, la edad o el sexo de los alumnos

La cuestin se nos plantea en trminos de control: deberamos poder asignar la

variacin o dispersin a la metodologa y solo a ella. No por el hecho de que nos

interese comprobar si una metodologa es ms eficaz que otra podremos asignar la

variacin que se produzca (varianza) a tal variable; si hay otras variables que puedan

influir, y parece razonable que las enunciadas puedan hacerlo, deberemos evitar que se

conviertan en explicaciones rivales de la nuestra, en conjeturas o hiptesis rivales o

alternativas, y eso solo podremos conseguirlo si el diseo cumple con este segundo

objetivo, el control de la varianza.

Este aspecto, crucial en toda investigacin experimental, se denomina tcnicamente

validez interna del diseo, consistente en poder afirmar que los efectos medidos en la

variable dependiente se deben a, y solo a, la variable independiente.

Como podemos comprender este objetivo presenta dos momentos claramente diferentes:

12

Poder afirmar, antes de comenzar la investigacin, que los dos grupos que hemos formado para recibir cada uno de los niveles de la v.i. metodologa, A y

B, son no ya iguales pero s equivalentes, que tanto da asignar a uno de ellos la

metodologa A como la B, y viceversa.

Que una vez iniciada la investigacin las condiciones y circunstancias en que esta se desarrolla son las mismas para cada uno de los grupos que forman parte

de la investigacin.

Si lo primero no siempre es fcil, como tendremos ocasin de apreciar, lo segundo

resulta francamente difcil en el campo de la Educacin. Las dificultades para controlar

todos los posibles factores influyentes con seres humanos y fuera del laboratorio la vida habitual de los sujetos, al margen del tiempo y el espacio de la investigacin- lo

hacen prcticamente imposible, aunque el investigador deba hacer todo lo que est en

sus manos para acercarse al ideal.

Si se lograra tal control estaramos ante un caso como el siguiente: la dispersin o

variabilidad, medida en trminos de varianza, sera igual en trminos estadsticos10

antes

de comenzar la investigacin. Por tanto, si pasado el tiempo en que los grupos reciben

diferentes metodologas, se constatara una variacin entre ambos, y se diera ese control,

la dispersin no podra tener otro origen que la v.i.: una metodologa producira cambios

mayores o diferentes a los originados por la otra.

Ms adelante tendremos ocasin de conocer los procedimientos existentes para abordar

este control en sus dos manifestaciones. Sin embargo, s es el momento de concretar las

principales cuestiones en torno al diseo acudiendo a un principio fundamental,

formulado magistralmente por Kerlinger: el principio MAX MIN CON.

Como sealbamos, con un buen diseo se pretende dar respuestas a las preguntas en

que se concreta el problema de investigacin; junto a ello, y, en gran medida, como un

medio para lograrlo, el segundo objetivo es controlar la varianza.

En toda medida de una variable, por ejemplo, de la variable dependiente de un diseo,

se produce una determinada varianza, esto es, la dispersin de las puntuaciones en tal

variable. La dispersin, que puede ser mayor o menor, puede tener su origen en los

cambios introducidos por el investigador al manipular al decidir sus niveles- la variable independiente, o bien en otros factores alejados de los intereses del

investigador. La primera varianza se denomina sistemtica porque tiene un origen

concreto, y experimental, porque la produce la variable independiente o experimental.

La segunda, suele ser una varianza aleatoria pues sus efectos vienen a compensarse al

afectar por igual a los grupos en que se concreta el diseo de investigacin. Su origen se

encuentra en las diferencias individuales existentes entre los sujetos dentro de los

grupos del diseo y en las ligadas a los errores de medida. Se la denomina varianza de

error. El diseo nos dar una u otra respuesta a las preguntas en funcin de la relacin

entre una y otra. Parece lgico pensar que si la primera es claramente superior a la

segunda, cabe esperar que se deba a la manipulacin de la variable independiente...

10

Queremos decir que ese ser igual no debe entenderse como exactamente igual, sino que las diferencias entre uno y otro grupo no son estadsticamente significativas, esto es: sus diferencias no van

ms all de lo esperado por puro azar.

13

siempre que se hayan controlado las posibles hiptesis rivales de la formulada por el

investigador.

En definitiva, pues, un buen diseo deber responder al principio que Kerlinger

denomin Max-Min-Con:

Max representa la meta de maximizar, esto es, de hacer tan grande como sea necesario,

la varianza debida a la variable independiente; min, por el contrario, la de minimizar o

hacer tan pequea como se pueda aquella varianza explicable por efecto de las

diferencias individuales o del azar; y con no es sino la gran exigencia: el control de toda

hiptesis rival o alternativa de la formulada por el investigador, algo que se denomina

tcnicamente validez interna.

Max y min son importantes para conseguir que los resultados de una investigacin

puedan llegar a ser estadsticamente significativos, esto es, para que el investigador

pueda decidir, con un elevado nivel de confianza, que no se deben al azar sino al efecto

de la variable independiente, lo que representa la posibilidad de rechazar H0, esto es, la

hiptesis nula o de nulidad y, en consecuencia, poder aceptar la suya, H1, admitiendo un

riesgo cuya probabilidad denominamos nivel de significacin, representado por , y cuyo valor es complementario del nivel de confianza.

11

Pero aunque Max y Min logren ese objetivo, si con el diseo no se consigue el Con, no

habremos hecho nada. En efecto: podremos afirmar que las diferencias son

estadsticamente significativas, pero no sabremos a qu se deben, ya que, junto a nuestra

variable independiente, caben otras explicaciones, otras hiptesis rivales o alternativas:

las correspondientes a las variables extraas, esto es, no controladas.

2.3. Tipos

Siguiendo la citada obra de Campbell y Stanley presentaremos tres tipos de diseos:

pre-experimentales, cuasi-experimentales y experimentales.

2.3.1. Diseos pre-experimentales

Al presentarlos utilizaremos el smbolo X para la variable independiente e Y para la

dependiente. Pues bien, los tres siguientes diseos son considerados pre-experimentales

ya que carecen de control (Cuadro 4.2):

1) Diseo de caso nico, con una sola medicin X Y

2) Diseo pretest postest de un solo grupo: Y1 X Y2

3) Diseo de comparacin con un grupo no tratado experimentalmente: X Y1

Y2

11

Si el nivel de confianza fuera del 95%, el de significacin es del 5%. O en trminos de probabilidad:

0,95 y 0.05 respectivamente.

14

Cuadro 4.2. Esquemas de los diseos pre experimentales

En el diseo 1) no hay justificacin que permita asignar los efectos medidos en Y a la

v.i. X; muchas otras variables distintas de X pueden estar ocurriendo a la vez que X y

ser la causa o parte de la causa de los resultados medidos en Y.

El investigador suele plantear sus resultados ponindolos en relacin con la realidad que

l conoce, por su experiencia, por datos de otros estudios, por informacin acumulada

de otros trabajos Cualquiera estas comparaciones no est justificada y las conclusiones derivadas no son defendibles.

En el diseo 2) estamos ante una comparacin formal: disponemos de informacin

previa al inicio del experimento -Y1- aplicamos la v.i. y medimos sus efectos.

Aparentemente, el planteamiento es ms exigente; desde luego, permite la comparacin

antes despus, pero no evita los riesgos de 1) ya que variables extraas alternativas o simultneas pueden estar actuando a la vez que X. Es decir: la diferencia Y2 - Y1 ser la

que fuere, pero su origen o causa no tiene por qu ser X sino otras X diferentes o ambas

a la vez en forma y proporcin desconocidas.

Por ltimo, en 3) estamos ante una comparacin de nuestro grupo experimental con otro

grupo; el primero ha recibido X y el segundo no, pero disponemos de informacin que

asegure que ambos grupos eran comparables en todo menos en la recepcin o no de X?.

Evidentemente, no. El segundo grupo puede ser muy diferente del primero en inters,

motivacin, dedicacin, conocimientos previos, dominio inicial de las competencias que podran explicar la diferencia Y2 - Y1 al margen del hecho de haber recibido o no X.

2.3.2. Diseos experimentales

Si en los tres tipos de diseos anteriores el problema reside en la falta de control de la

varianza, en los tres siguientes este hecho desaparece. Veamos (Cuadro 4.3):

4) Diseo de dos grupos, inicialmente igualados por asignacin al azar Azar Y1 X Y2

Azar Y3 Y4

5) Diseo de cuatro grupos de Solomon Azar Y1 X Y2

Azar Y3 Y4

Azar X Y5

Azar Y6

6) Diseo de grupo de control con solo pretest: Azar X Y1

Azar Y2 Cuadro 4.3. Esquemas de diseos experimentales

En el diseo 4) estamos ante dos grupos, constituidos ambos por seleccin y asignacin

aleatoria de los sujetos, a uno de los cuales se somete a la influencia de v.i, esto es, de

X, y a otro no. Vale la pena sealar que ese no estar sometido a X no equivale a no

15

recibir ninguna influencia, esto es: no contrastamos X contra no X, sino X frente a una

forma de influencia no especificada, que suele ser la forma ordinaria de trabajo, en

nuestro caso la forma ordinaria de actuacin para alcanzar las competencias.

Conviene, por tanto, esmerarse en definir ese no X al igual que se define X, porque las diferencias, si las hubiere, no sern de X frente a no X sino de X frente a esa

modalidad concreta de no X.

Tericamente, este diseo, al partir de una asignacin de sujetos y tratamientos al azar,

controla las hiptesis rivales a la del investigador. Ms adelante analizaremos esta

importantsima cuestin al hablar de la validez interna.

Conocidas las limitaciones existentes en la medida de las variables, ligadas a su

fiabilidad (errores de medida), y las diferencias que se dan entre muestras, incluso

cuando han sido seleccionadas utilizando procedimientos aspticos e imparciales como

el azar (errores muestrales), cualquier tentacin de limitarnos a comparar directamente

las dos medias: Y2 Y4 no estara justificado.

Tampoco lo estara, sin ms, la comparacin de las ganancias: (Y2 Y4) - (Y1 Y3) ya que a ambas diferencias les podemos aplicar las mismas restricciones de errores de

medida y muestrales. Por otra parte, y como seala Kerlinger12, las diferencias del

grupo de control y del grupo experimental pueden carecer de importancia cuando de

hecho existe un efecto sustancial y se apoya en Cronbach y Furby quienes afirman que las puntuaciones de cambio no se deben utilizar, siendo lo importante si se dan

diferencias entre ambos grupos.

La alternativa en estos casos es la tcnica del anlisis de covarianza que estudiaremos

ms adelante. En ella se contrastan las diferencias finales ajustadas a las diferencias

iniciales. Esto es: se comparan las medias finales ajustadas a las diferencias iniciales

medidas en el pre-test (Y1 y Y3).

El diseo 5 hace una importante aportacin a las posibilidades de generalizacin de los

resultados, algo que estudiaremos ms adelante como validez externa.

En efecto: como podemos apreciar, estamos ante una investigacin en que se combina el

cuatro (los dos primeros grupos) con el 3, si bien aqu con asignacin de sujetos y

tratamientos al azar.

Las principales comparaciones que podemos realizar son ms que en el caso anterior:

Por una parte Y2 frente a Y1: Hay ganancias por la introduccin de una v.i.?

Por otra Y2 frente a Y4: Hay diferencias como efecto de X frente a no X?

Si tomamos ahora los dos primeros grupos podemos llevar a cabo las comparaciones propias del diseo 4.

Adems, Y5 frente a Y6: Hay diferencias como consecuencia de la introduccin de una v.i.?

Y, por ltimo: Y6 frente a Y3: Hay diferencias en el caso de medidas iniciales en otro grupo con medidas finales en el propio?

12

KERLINGER, F.N. (1981) Investigacin del comportamiento. Tcnicas y metodologa. 2vedi. Mxico:

Interamericana, p. 239

16

Tomando en conjunto estos dos ltimos grupos podemos hacer las comparaciones del diseo 3, mejoradas por contar con las ventajas derivadas

de la aleatorizacin.

Lo ms importante de este diseo es que analiza la existencia o no de diferencias en

situaciones diferentes; caso de darse concordancia, se eleva la credibilidad de los

resultados.

Cuando conozcamos los factores que atentan a la validez interna y externa podremos

comprobar que este diseo sale al paso de factores como los denominados historia y

maduracin (dos primeros grupos), de la interaccin entre pruebas y v.i. (tres primeras

filas) y los efectos que puedan darse durante la investigacin (las cuatro filas).

Si desde el punto de vista de la finalidad del diseo este es un buen diseo, los

problemas que arrastra consigo se refieren, por un lado, a la dificultad para llevarlo a

cabo y, por otra, al anlisis estadstico.

El primero es obvio: es ms difcil articular un diseo con cuatro grupos que con dos. El

segundo reside en que no existe una prueba que permita decidir de una forma global en

torno a las preguntas del investigador y contrastar las hiptesis. S podemos, como

hemos sealado en los diseos 3 y 4, estudiar las diferencias entre Y5 e Y6 mediante una

prueba t de Student y entre Y2 e Y4 ajustadas a las diferencias iniciales mediante una

covarianza.

Otras propuestas que se plantean son comparar las Y4 e Y5 con el promedio de Y1 e Y3 a

la vez que la magnitud de las diferencias entre Y2 e Y4.

La complejidad y problemtica apuntada llevan a Kerlinger a afirmar que sera mejor reservarlos para experimentos de gran trascendencia en los cuales, hiptesis ya

demostradas con diseos ms sencillos, vuelven a ser verificadas con mayor rigor y

control13

El diseo 6) difiere del 4) en la carencia de pretest. Esta limitacin no lo es tal si

tenemos en cuenta que sujetos y tratamientos son asignados acudiendo al azar, la tcnica

por experiencia para lograr, en general, una equiparacin de los grupos antes de

comenzar la investigacin. Podramos decir que si el azar es posible, el diseo 6 puede

ser preferible en la medida en que nos ahorra medidas pretest y puede aplicrsele un

tratamiento estadstico ms sencillo.

Por otra parte, debemos reconocer que no siempre estamos en condiciones de disponer

de pretest y que, a veces, su aplicacin tiene inconvenientes14

. Es ms, si en el diseo 4

necesitaramos identificar a los sujetos para en el caso de formar grupos por

emparejamiento, en este caso, al utilizar el azar, no es preciso.

Si en el diseo 4, dada la existencia de medidas pretest se aconseja acudir a la

covarianza como tcnica estadstica especfica, en este caso podemos hacerlo con el

1313

Idem., p. 241. Recuerde el lector que no nos parece adecuado utilizar el trmino verificar; preferimos,

por ms preciso y correcto, el de validar. 14

Al estudiar la validez externa podremos comprender lo que se denomina el efecto reactivo del pretest,

que puede alterar los resultados y limitar su generalizacin.

17

anlisis de la varianza sencillo, para dos grupos (prueba F) si bien no es preciso porque

se dispone de la conocida prueba t de Student, aplicable en este caso.

Diseo 7: Diseo factorial

La complejidad de los procesos educativos hace que, con mucha frecuencia, la

simplificacin que representan diseos tan correctos como el 4, resulte poco concorde

con la misma.

Es fcil argumentar que, en muchos procesos educativos, hay dos o ms variables

independientes actuando simultneamente sobre la v.d. Aunque aqu representaremos el

caso de dos v.i., la realidad es todava ms compleja, pero nos sirve para comprender lo

que este hecho representa para su diseo y su resolucin estadstica (Cuadro 4.4).

Cuadro 4.4. Esquema de un diseo factorial

Las aportaciones de este diseo son, fundamentalmente, dos:

Poder someter a contraste simultneamente dos hiptesis, una en relacin con cada una de las dos v.i., en nuestro caso Metodologa y Sistema de motivacin.

Adems, y esto es lo fundamental, poder apreciar si se da el efecto denominado de interaccin, esto es, el hecho de que los efectos de una de las v.i. estn

condicionados por la otra v.i. En efecto: puede ocurrir que una de las dos v.i.

siempre d mejores resultados que la otra, pero tambin, y esto es la interaccin,

que una v.i. d mejores resultados con uno de los niveles de la otra, alterndose

la situacin con el otro nivel. Por ejemplo: que la combinacin motivacin

intrnseca / trabajo individual d mejores resultados, pero que la extrnseca los

d con la metodologa cooperativa.

El tratamiento estadstico de este diseo es el anlisis de la varianza (ANAVA, o

ANOVA en ingls), esto es, la prueba F de Fisher.

F slo indica si alguna de las posibles diferencias entre medias es o no significativa; por

eso, en caso afirmativo, se deben proseguir las pesquisas para ver entre qu par de

medias se dan las diferencias, acudiendo a los denominados contrastes a posteriori

mediante pruebas como las de Tukey (si el valor de n en las celdillas es el mismo) o

Sheff, tambin aplicable a este caso pero especialmente adecuado cuando tales valores

no lo son.

2.3.3. Diseos cuasiexperimentales

Metodologa

Sistema de motivacin

Trabajo

individual

A

Trabajo

cooperativo

B

Mixto

C

Puntuaciones

Intrnseca (X) A / X B / X C / X

Extrnseca (Y) A / Y B / Y C / Y

Puntuaciones

18

Podra parecer ms correcto haber analizado estos diseos inmediatamente despus de

los pre - experimentales; sin embargo, hemos preferido este orden porque la diferencia

esencial entre ellos y los experimentales radica en las limitaciones que pondremos de

manifiesto en cuanto a las posibilidades de control.

Este hecho es una realidad especialmente habitual en el campo de la investigacin sobre

seres humanos en los que el experimento se realiza en un contexto de vida normal. Por ejemplo: las investigaciones sobre el aprendizaje de competencias se llevarn a cabo

principalmente en el mbito acadmico, pero luego los alumnos, en la calle y en su

domicilio desarrollan esa vida normal, de relaciones con amigos y la familia, de

distraccin, de acceso a las tecnologas Incluso, hasta pueden comunicarse con otros compaeros que pueden estar realizando el mismo experimento, y ello tanto participando de un mismo nivel de la v.i. como de la otra.

Esta situacin es comn en nuestro campo del saber y con ella debemos familiarizarnos

con el fin de trabajar con ella sacando el mximo fruto. Para ello conviene conocer

cules son las variables que no controla cada diseo, algo que veremos ms adelante.

Pasamos a analizar los principales diseos cuasi- experimentales (Cuadro 4.5).

Diseo 8: pretest postest con grupo de control no equivalente.

Y1 X Y2

Y3 Y4

Cuadro 4.5. Esquemas de un diseo cuasi experimental: pretest / postet con grupo de control no equivalente

Como se aprecia aqu, ambos grupos, el experimental y el de control, han recibido un

pretest pero este no asegura la inicial equivalencia antes de aplicar X, que deber

asignarse por procedimiento aleatorio.

Por lo general, los grupos son naturales, esto es: se encuentran constituidos previamente

al diseo de la investigacin, razn por la cual, aunque puedan ser prximos a la

equivalencia, no lo son en la realidad. Esta es la razn fundamental para necesitar del

pretest.

Si esos grupos naturales fueran en verdad cercanos a la equivalencia inicial y, con ello,

ms similares las puntuaciones pretest de ambos grupos, mejor resultar este diseo

para probar el efecto de X. Ms adelante, al igual que en los dems diseos,

analizaremos las posibles variables que atentan a su validez.

Estadsticamente, el anlisis de covarianza es la tcnica ms adecuada pues, como se ha

sealado, las puntuaciones de ganancia suelen estar desaconsejadas.

Diseo 9: Diseo de cuadrado latino (Cuadro 4.6)

Este tipo de diseos forma parte de un grupo ms amplio denominado de diseos

compensados.

19

En l la v.i., generalmente denominada tratamiento, tiene tantos niveles como grupos

haya en el diseo, presentndose una vez por fila y columna, de forma que no coincida

el mismo nivel dos veces en la misma fila o en la misma columna.

En cada una de las celdillas se cruzan dos variables independientes, denominadas de

bloqueo, porque su misin es homogenizar los grupos en tales variables (bloques); las

puntuaciones de cada celdilla son las de la variable dependiente, por ejemplo, en nuestro

caso, las obtenidas en competencias, mediante la aplicacin de tres metodologas, A, B

y C:

Cuadro 4.6. Esquemas de un diseo cuasi experimental: cuadrado latino

La ventaja de este diseo radica en el control del efecto que puedan representar las dos

variables utilizadas para homogeneizar los grupos, en nuestro caso la clase social y el

rendimiento previo.

Por el contrario, el riesgo salta a la vista: en cada casilla confluye el tratamiento o

variable independiente con el cruce de ambas variables de homogeneizacin; a este

efecto se le denomina interaccin, un efecto que es muy beneficioso y de utilidad en

otro tipo de diseos ya conocidos, los denominados factoriales, pero que en el diseo

que analizamos resulta indeseable ya que no podramos diferenciar el efecto debido a la

variable tratamiento (metodologa) del existente por la interaccin. Si recordamos que la

meta de los diseos experimentales es poder atribuir los resultados medidos en la v.d. a

y solo a la v.i., comprenderemos lo que este hecho representa.

El tratamiento estadstico adecuado a este tipo de diseos es el anlisis de varianza. Lo

fundamental es poder descartar el efecto de interaccin; si as fuera, lo importante es

probar si los tratamientos, niveles de la v.i. o factores, dan lugar a diferencias en la v.d.

Si fuera as, tendramos otro problema ya que la prueba F solo indica que al menos una

de las diferencia son significativas, pero nada dice de entre qu pares de medias se dan.

Diseo 10. Series cronolgicas

En este tipo de diseo, el investigador cuenta con una serie de medidas repetidas,

previas a la introduccin de la v.i.; despus de introducirla, se vuelven a realizar

medidas de la v.d. de forma que se pueda apreciar si X da lugar a cambios.

Su representacin esquemtica es la siguiente (Cuadro 4.7):

Rendimiento previo

Clase social

ALTO MEDIO BAJO

Puntuaciones

Alta A Alto/alta

B

Medio/alta

C

Bajo/alta

Media B Alto/media

C

Medio/media

A

Bajo/media

Baja C Alto/baja

A

Medio/baja

B

Bajo/baja

Puntuaciones

20

Y1 Y2 Y3 Y4 X Y5 Y6 Y7 Y8

Cuadro 4.7. Esquemas de un diseo cuasi experimental: diseo de series cronolgicas

Algunas observaciones a tener en cuenta:

Podemos aplicar esta estructura a sujetos individuales o a grupos Para que alcance un carcter riguroso, debe estar fundamentada la hiptesis de

que los cambios que puedan ocurrir despus de X pueden deberse a X. No sera

adecuado partir de datos existentes y tomarlos como Y1 Y2 Y3 Y4

El nmero de medidas Y antes y despus de X no es fijo. Normalmente, las previas a Y buscan lo que se denomina lnea de base, esto es, una situacin

estable del sujeto o del grupo en la realidad medida.

La interpretacin de los resultados Y5 Y6 Y7 Y8 depende de los previos a X y de

la forma que tomen despus de Y. Podemos apreciarlo en el grfico que

tomamos de Campbell y Stantley (figura 4.1).

Figura 4.1: Posibles resultados en un diseo de series cronolgicas.(Tomado de Campbell y Stanley, p. 78)

Como podemos comprobar, en el caso A la cuestin es clara: se dan o no

diferencias entre las mediciones O5 y O4. (Para nosotros Y5 e Y4)

En la situacin B no es suficiente, dado que el cambio que se aprecia desaparece

pronto, tal vez producido por su novedad; pero pasada esta, la situacin vuelve a

la normalidad.

C representa una situacin especial: viene aprecindose antes de X una ganancia,

que aumenta con X y que sigue elevndose a continuacin.

21

D muestra un efecto retardado; la situacin se complica por la tendencia a perder

fuerza el efecto de X pasado el tiempo. Tal vez lo conveniente fuera seguir

haciendo mediciones de Y.

En fin: como se puede apreciar, se dan, o pueden darse, muchas situaciones

diferentes que obligan a contrastes estadsticos en algunos casos pero, sobre

todo, a anlisis cuidadosos y, con frecuencia, prolongados.

3. CRITERIOS PARA SELECCIONAR EL DISEO

A la luz de lo hasta aqu dicho, es fcil deducir que los dos grandes criterios tienen que

ver con los dos objetivos planteados por Kerlinger. Esto es: debemos seleccionar aquel

diseo que pueda dar respuesta a las preguntas en que se concreta el problema y acorde

con la hiptesis del investigador, y de entre los posibles, aquel que controle en mayor

medida la varianza de las variables extraas, a fin de evitar que se conviertan en

hiptesis rivales a la del investigador.

3.1. Responder a las preguntas de la investigacin

La primera cuestin parece obvia, pero no siempre el investigador analiza si su diseo

cumple con requisito tan lgico.

En este punto se puede fallar, fundamentalmente, de dos maneras: utilizando un nmero

menor o mayor de grupos que los aludidos en la pregunta, o acudiendo a diseos ms

sencillos que la complejidad de dicha pregunta. Veamos:

Si el investigador desea responder a la siguiente cuestin: Cul de los mtodos, A, B y

C, da mejores resultados en el logro de las competencias?, se puede plantear un diseo

con cuatro grupos, el de control y tres experimentales (Cuadro 4.8):

Grupo de control: Azar Y1 Grupo experimental A Azar XA Y2 Grupo experimental B Azar XB Y3

Grupo experimental C Azar XC Y4

Cuadro 4.8. Criterios para la seleccin del diseo adecuado

Realmente, la pregunta no exige el grupo de control como tal ya que todos ellos se

pueden tomar con control de resto. Bastara con los tres grupos experimentales.

Sin embargo, ese diseo sera adecuado si la pregunta fuere: Cul de los tres mtodos,

A, B o C da mejores resultados para el logro de las competencias en relacin con la

actual metodologa (no X)?

5.1. Controlar la varianza

El segundo criterio se puede apreciar en el siguiente enunciado del problema: Cul de

los mtodos, A, B o C, y de los sistemas de motivacin, M y N, da mejores resultados

en el logro de las competencias?

22

Si el investigador acude a dos diseos segn el tipo 4, aparte de aumentar el trabajo,

estar renunciado a una excelente aportacin a la teora pedaggica: la posibilidad de

interaccin.

Veamos primero las alternativas incorrectas:

Grupo de control Azar Y1

Grupo experimental Azar X (mtodo) Y2

Grupo de control Azar Y1

Grupo experimental Azar X (sistema de motivacin) Y2

Cuadro 4.9. Criterios para la seleccin del diseo adecuado. Alternativas incorrectas

Como se puede apreciar, hacemos en realidad dos investigaciones y no estar justificado

integrar el resultado de una y otra.

Sin embargo, en el siguiente esquema, de una sola investigacin, probamos las dos

hiptesis y la posibilidad de interaccin entre las variables (aqu denominadas factores,

por lo general).

Sistema de motivacin

M N

A

Mtodo B

C

Cuadro 4.10. Criterios para la seleccin del diseo adecuado. Alternativa correcta

Los sujetos de cada una de las celdillas reciben el cruce del nivel correspondiente de las

dos v.i.

Estas dos cuestiones deben completarse con otro importante aspecto: el control de las

posibles variables extraas, antes y durante la realizacin del trabajo experimental.

A tales efectos, en este momento nos debe bastar con saber:

Que hay sistemas para tratar de asegurar que, antes de aplicar la v.i., estamos controlando determinadas variables. Por ejemplo, la asignacin al azar de sujetos

y tratamientos (en nuestro caso, mtodos y sistemas de motivacin) es, en

general, el preferido. Cuando no es posible, podemos acudir a formar parejas de

sujetos o bloques de sujetos, ms o menos equiparados en las variables

relevantes. Veremos este importante aspecto ms adelante.

Que debemos estar atentos, durante el tiempo de exposicin de los sujetos a la variable independiente a que no ocurran acontecimientos que puedan alterar el

diseo. Este importante aspecto lo estudiaremos bajo el nombre de validez

interna.

5.3. Grado de generalizacin

M / A N / A

M / B N / B

M / C N / C

23

Por ltimo, un tercer criterio a tener en cuenta. Al investigador le interesa ante todo,

contrastar su hiptesis para poder decidir sobre su validacin (no verificacin), pero,

una vez alzando esto, o sea, una vez lograda la validez interna, su preocupacin, como

debemos recordar de aspectos ya analizados, es la de poder extender sus conclusiones al

mayor nmero de sujetos y circunstancias posibles, esto es: generalizar los resultados

por procedimientos de inferencia.

El anlisis de la generalizacin, denominado validez externa, lo haremos, tambin, ms

adelante.

4. PROBLEMAS EDUCATIVOS Y DISEOS

Como hemos sealado con anterioridad, la investigacin realizada a travs del mtodo

cientfico experimental es transversal a prcticamente todas las disciplinas que

constituyen el curriculum pedaggico, probablemente con la nica excepcin de la

Filosofa de la Educacin y materias anejas y, tal vez, de las asignaturas histricas. Se

puede decir, pues, que todos los problemas son abordables experimentalmente?

Esta parece ser la opinin de Garca Hoz15

cuando afirma:

"Cualquier cuestin pedaggica que pueda ser objeto de experiencia cae dentro de la

Pedagoga experimental. Si muchos problemas quedan an sin resolver ello se debe no

a la incapacidad intrnseca de la Pedagoga experimental, sino a la imperfeccin actual

de algunas tcnicas de medida y de evaluacin"

y a la insuficiencia de ciertos diseos y de pruebas estadsticas adecuadas, aadiramos

nosotros. Garca Hoz, de acuerdo con Buyse, llega a dejar fuera de su campo

nicamente "la determinacin de los fines trascendentales" de la educacin y algunos

temas por problemas morales, aunque reconoce que el fin de la educacin, en cuanto

que ha de ser perseguido en forma progresiva, puede ser objeto de estudio emprico,

quedando nicamente fuera el fin en cuanto tal, esto es, en cuanto que trasciende

aquello de lo cual es fin.

En el mismo sentido se expresaba Piaget, para quien el que un problema sea abordable o

no experimentalmente est ligado a un momento histrico concreto, de tal manera que

problemas tpicos de la filosofa en el siglo XIX son ahora abordados por la psicologa

experimental Piaget16 pone el ejemplo del juicio en el marco de la inteligencia-; pues bien, nuestro autor considera que, en la medida en que un problema concreto pueda

delimitarse con suficiente precisin como "para dar lugar a una solucin por la

experiencia y el clculo" y en que las soluciones alcanzadas por este procedimiento

logren "la aceptacin general de los investigadores", estamos ante un problema

abordable experimentalmente.

En el pasado, Buyse, en el II Congreso Internacional de la Enseanza Universitaria de la

Pedagoga (Florencia, 1957), le seal como contenido propio para su actuacin el

representado por este triple campo:

15

O.c., p. 93 16

PIAGET, J. (1973): La psicologa, en J. PIAGET, J. y otros: O. c. pp. 121-198, p. 124

24

Los problemas generales referentes al estudio y el aprendizaje.

Los problemas de didctica experimental, referidos a la eficacia de mtodos y procedimientos para mejorar el rendimiento.

El estudio de las diferencias individuales y el tratamiento adecuado a las deficiencias o talentos.

Ms adelante, De Landsheere17

, fijara cinco grandes objetivos de investigacin

referidos al conocimiento:

del alumno,

de los educadores y de la enseanza,

de las materias que deben ser enseadas

del sistema educativo y

de las soluciones aportadas por otros.

Por su parte, J. Simon, al estudiar el dominio propio de la disciplina, resea tres grandes

sectores de interacciones, referidas al escolar y

a) los conocimientos,

b) los mtodos, tanto generales como didcticos y,

c) sus profesores.

Como puede apreciarse existe un acuerdo prcticamente general en referir la Pedagoga

experimental tomado este trmino en su sentido ms amplio de emprica- a una gran diversidad de campos; sin embargo, salvo las palabras de Piaget y Garca Hoz, no hay

una referencia expresa a nuestra idea inicial de referirse a prcticamente todos los

campos excepto aqullos que corresponden a materias que, como la propia Pedagoga

experimental, son de carcter metodolgico. En efecto, en las concreciones de Simon,

De Landsheere o de Buyse parece echarse de menos una referencia, al menos explcita,

a todo el proceso formativo, representado entre nosotros por aquellas materias que

englobamos bajo el rea de Orientacin, a no ser que le otorguen un sentido muy amplio

al concepto de aprendizaje; igualmente parecen faltar referencias explcitas a los

problemas organizativos, aunque puedan entenderse englobados bien en las referencias

al sistema educativo, bien a los tratamientos que se entienden adecuados a las

deficiencias o al desarrollo de los talentos.

De cualquier manera la aplicacin de la metodologa experimental a campos tan amplios

y variados no puede por menos de requerir tcnicas ms o menos especficas, adems de

un conocimiento general de aqulla, y, por supuesto, un dominio suficientemente

profundo de aquellas materias sobre las que va a versar la investigacin; ante la

dificultad real para unir en una sola persona conocimientos a veces muy dispares a un

nivel de especializacin suficiente, nosotros nos manifestamos por una investigacin

emprica interdisciplinar dentro del marco de las ciencias de la educacin, sin excluir la

participacin de especialistas en otras reas, especialmente en economa y planificacin,

y, en el caso de los mtodos y recursos didcticos, de profesionales y especialistas en las

diversas reas (Fsica, Qumica, idiomas, Geografa...) de docencia-aprendizaje.

17

LANDSHEERE, G. DE (1964) Introduction la recherche pdagogique. Pars, Colin-Bourreliere, p.

16

25

Concluimos nuestra reflexin haciendo una mencin expresa a la importancia de la

investigacin en pro de la calidad de la educacin, y acudimos para ello a dos

documentos de la UNESCO:

En el artculo 5 de la Declaracin mundial sobre la educacin superior

en el siglo XXI: Visin y accin y Marco de accin prioritaria para el cambio y el

desarrollo de la educacin superior 18

leemos:

Artculo 5. Promocin del saber mediante la investigacin en los mbitos de la ciencia, el arte y las humanidades y la difusin de sus resultados

a) El progreso del conocimiento mediante la investigacin es una funcin esencial de todos los sistemas de educacin superior que tienen el deber de promover los estudios de postgrado. Deberan fomentarse y reforzarse la innovacin, la interdisciplinariedad y la transdisciplinariedad en los programas, fundando las orientaciones a largo plazo en los objetivos y necesidades sociales y culturales. Se debera establecer un equilibrio adecuado entre la investigacin fundamental y la orientada hacia objetivos especficos. b) Las instituciones debern velar por que todos los miembros de la comunidad acadmica que realizan investigaciones reciban formacin, recursos y apoyo suficientes. Los derechos intelectuales y culturales derivados de las conclusiones de la investigacin deberan utilizarse en provecho de la humanidad y protegerse para evitar su uso indebido. c) Se debera incrementar la investigacin en todas las disciplinas, comprendidas las ciencias sociales y humanas, las ciencias de la educacin (incluida la investigacin sobre la educacin superior), la ingeniera, las ciencias naturales, las matemticas, la informtica y las artes, en el marco de polticas nacionales, regionales e internacionales de investigacin y desarrollo. Reviste especial importancia el fomento de las capacidades de investigacin en los establecimientos de enseanza superior con funciones de investigacin puesto que cuando la educacin superior y la investigacin se llevan a cabo en un alto nivel dentro de la misma institucin se logra una potenciacin mutua de la calidad. Estas instituciones deberan obtener el apoyo material y financiero necesario de fuentes pblicas y privadas.

.Y ms adelante, en su artculo 11, en relacin con la evaluacin de la calidad,

ntimamente ligada a la evaluacin en su enfoque de investigacin evaluativa, se lee

Artculo 11. Evaluacin de la calidad

a) La calidad de la enseanza superior es un concepto pluridimensional que debera comprender todas sus funciones y actividades: enseanza y programas acadmicos, investigacin y becas, personal, estudiantes, edificios, instalaciones, equipamiento y servicios a la comunidad y al mundo universitario. Una autoevaluacin interna y un examen externo realizados con transparencia por expertos independientes, en lo posible especializados en lo internacional, son esenciales para la mejora de la calidad. Deberan crearse instancias nacionales independientes, y definirse normas comparativas de calidad, reconocidas en el plano internacional. Con miras a tener en cuenta la diversidad y evitar la uniformidad, debera prestarse la atencin debida a las particularidades de los contextos institucional, nacional y regional. Los protagonistas deben ser parte integrante del proceso de evaluacin institucional.

18

http://www.unesco.org/education/educprog/wche/declaration_spa.htm

26

b) La calidad requiere tambin que la enseanza superior est caracterizada por su dimensin internacional: el intercambio de conocimientos, la creacin de sistemas interactivos, la movilidad de profesores y estudiantes y los proyectos de investigacin internacionales, aun cuando se tengan debidamente en cuenta los valores culturales y las situaciones nacionales.

c) Para lograr y mantener la calidad nacional, regional o internacional, ciertos elementos son especialmente importantes, principalmente la seleccin esmerada del personal y su perfeccionamiento constante, en particular mediante la promocin de planes de estudios adecuados para el perfeccionamiento del personal universitario, incluida la metodologa del proceso pedaggico, y mediante la movilidad entre los pases y los establecimientos de enseanza superior y entre los establecimientos de educacin superior y el mundo del trabajo, as como la movilidad de los estudiantes en cada pas y entre los distintos pases. Las nuevas tecnologas de la informacin constituyen un instrumento importante en este proceso debido a su impacto en la adquisicin de conocimientos tericos y prcticos.

El comunicado de la Conferencia Mundial sobre la Educacin Superior - 2009: La

nueva dinmica de la educacin superior y la investigacin para el cambio social y

el desarrollo19

, afirma en sus puntos 17 y 18:

17. Los resultados de la investigacin cientfica deberan difundirse ms ampliamente mediante las TIC y el acceso gratuito a la documentacin cientfica. 18. La formacin que ofrecen los establecimientos de enseanza superior debera atender las necesidades sociales y anticiparse al mismo tiempo a ellas. Esto comprende la promocin de la investigacin con miras a elaborar y aplicar nuevas tecnologas y a garantizar la prestacin de capacitacin tcnica y profesional, la educacin empresarial y los programas de aprendizaje a lo largo de toda la vida.

RESUMEN

Una vez recordado lo que representa la investigacin cientfica, hemos analizado dos

grandes cuestiones:

La primera se refiere a uno de los dos conceptos de nuestra asignatura, el diseo. Tras

considerar algunas definiciones, nos hemos centrado en la ofrecida por Kerlinger, como

el plan, la estructura y la estrategia de la investigacin, por su calidad y capacidad de

sntesis, as como por aadir, en forma breve, los dos grandes objetivos: responder a las

preguntas de la investigacin y controlar la varianza.

El concepto de diseo ha sido desarrollado mediante la consideracin y la

caracterizacin de los tres grandes tipos: pre-experimentales, experimentales y cuasi-

experimentales, as como sus puntos fuertes y sus limitaciones.

19

Vid. http://www.unesco.org/education/WCHE2009/comunicado_es.pdf

27

La segunda gran cuestin analizada tiene que ver con los criterios que deben someterse

a consideracin del investigador antes de decidir cul es el diseo ms adecuado. En

este punto, hemos tomado como referencia los objetivos citados por Kerlinger:

responder a las preguntas de la investigacin y controlar la varianza En igualdad de

estas caractersticas, aadimos un tercer criterio, grado de generalizacin, dado que,

aade a su validez interna un mayor o menor grado de generalizacin de los resultados.

Por ltimo, hemos analizado las posibilidades de aplicacin de la metodologa

cientfico-experimental, en su acepcin ms amplia, entendida esta como emprica, a los diferentes mbitos y problemas educativos, comprobando su gran aplicabilidad y su

relacin con la mejora de la calidad de la Educacin, aportando al respecto las ideas de

UNESCO.