Delineamento experimental básico

Ψ

Psicologia Experimental

Aula 4

Delineamento experimental básico

Prof. Dr. Caio Maximino

Ψ

Objetivos da aula● Conceituar delineamento experimental

● Analisar criticamente a relação entre as variáveis confundidas e a validade interna, e enumerar as “ameaças” à validade interna

● Descrever algumas características do delineamento experimental adequado e inadequado

● Analisar as vantagens e desvantagens dos métodos de alocação de sujeitos/participantes

● Analisar as vantagens e desvantagens da utilização de medidas repetidas

Ψ

Conceitos importantes● Tratamento é uma denominação genérica para designar qualquer

método, elemento, ou material cujo efeito desejamos medir e comparar – Equivale à variável independente

● Experimento ou ensaio é um trabalho previamente planejado, que segue determinados princípios básicos (controle, randomização, &c), no qual se faz a comparação dos efeitos dos tratamentos

● Unidade experimental é a unidade na qual o tratamento é aplicado (um indivíduo, um grupo, &c)

● Delineamento experimental é o plano utilizado para realizar o experimento; implica na maneira como os diferentes tratamentos deverão ser distribuídos nas unidades experimentais e como serão analisados os dados a serem obtidos

Delineamentoe validade

Qualidade doplanejamento

Alocação

Medidasrepetidas

Ψ

Breve história dos delineamentos experimentais

● O primeiro “ensaio clínico sistematizado” foi feito em 1747, quando James Lind, trabalhando como médico no barco HMS Salisbury, comparou diferentes remédios para escorbuto

● Charles Sanders Peirce, em Illustrations of the Logic of Science (1877-1878) e A Theory of Probable Inference (1883), delineou uma teoria sobre a inferência estatística que introduziu o conceito de alocação aleatória– Forte impacto na Psicologia e na Educação

● Wald, Chernoff, Zacks – uso de sequências de experimentos cujo delineamento depende do resultado do experimento prévio



Alocação

Medidasrepetidas

Ψ

Princípios do delineamento definidos por Ronald Fisher



Alocação

Medidasrepetidas

● The Arrangement of Field Experiments (1926) e The Design of Experiments (1935) – aplicações dos métodos estatísticos à agricultura

● Comparação: Nos campos em que não há um padrão metrológico, a comparação entre tratamentos (incluindo controle) é favorecida

● Randomização: Alocação aleatória de unidades experimentais a grupos

● Replicação estatística: Como as mensurações são sujeitas à variação e à incerteza, são repetidas; experimentos inteiros podem ser repetidos

● Blocagem: Arranjo das unidades experimentais em unidades que são similares entre si

● Ortogonalidade: Ausência de correlação entre VIs

● Utilização de experimentos fatoriais: Combinação de Vis em um único experimento

Ψ

Variáveis confundidas e validade interna

● Boa parte da pesquisa experimental em Psicologia busca examinar a efetividade de um programa ou tratamento, ou saber se uma manipulação causa um resultado/efeito

● Para que possamos estabelecer inferências causais, necessitamos de (Cook & Campbell, 1979):– Covariação – Mudanças na causa presumida devem estar relacionadas

a mudanças no efeito presumido– Precedência temporal – A causa presumida deve ocorrer antes do

efeito presumido– Ausência de explicações alternativas plausíveis – A causa presumida

deve ser a única explanação razoável para as mudanças observadas.

● Em Psicologia, entretanto, a terceira condição é a mais difícil de ser alcançada



Alocação

Medidasrepetidas

Ψ

Variáveis confundidas e validade interna



Alocação

Medidasrepetidas

● Se os efeitos de duas variáveis independentes estão entrelaçados, não podemos determinar qual delas é responsável pelo efeito observado

● Variáveis confundidas introduzem uma explicação alternativa para o efeito observado que impede a análise causal – ou seja, reduzem a validade interna

Ψ

Minimizando as ameaças à validade interna

● A melhor forma de eliminar explicações alternativas plausíveis é um bom delineamento experimental

● Outras maneiras auxiliares de minimizar (Trochim e Land, 1982)1) Por argumento: Argumentar que uma ameaça em potencial não se

aplica à situação (inútil por si só)

2) Por mensuração ou observação: Medir ou observar outras variáveis, na ausência do tratamento, para descartá-las

3) Por análise: Realizar análises estatísticas mais complexas (p. ex., com pseudo-tratamentos, ANCOVA) para eliminar o efeito de variáveis

4) Por ação preventiva: Intervenções usadas para diminuir o efeito de atitudes que possam interferir (efeito de grupo); usar controle de qualidade; usar métodos de auditoria



Alocação

Medidasrepetidas

Ψ

Experimentos mal-planejados ilustram ameaças à validade interna● Estudo de caso instantâneo (Campbell &

Stanley, 1966): Ausência de grupos de controle ou de comparação

● Delineamento pré-teste/Pós-teste sem grupo de comparação: Participantes submetidos a uma medida antes e depois do tratamento



Alocação

Medidasrepetidas

Ψ

Ameaças à validade interna (Campbell & Stanley, 1963)

● História: Eventos diferentes do tratamento influenciam o resultado– Morte de celebridade por câncer de pulmão entre a primeira e a

segunda medida; efeito da interação, mas não do programa de intervenção; preço do cigarro sobe; proibição de uso; &c

● Maturação: Mudanças psicológicas que ocorrem nos participantes durante o estudo mas não estão relacionadas ao tratamento– Pessoas ficam mais preocupadas com a saúde conforme envelhecem

● Teste: A exposição a um pré-teste ou avaliações da intervenção influenciam o desempenho no pós-teste– Registrar diariamente o número de cigarros pode ser suficiente para

reduzir o hábito



Alocação

Medidasrepetidas

Ψ

Ameaças à validade interna (Campbell & Stanley, 1963)

● Desgaste do instrumento: Os instrumentos ou condições de testagem são inconsistentes; os observadores mudam; ou o pré-teste e o pós-teste não são equivalentes, criando a ilusão de mudança– No início da tarefa, os participantes podem estar muito

motivados para registar todos os cigarros que fumam, mas na época do pós-teste podem estar cansados da tarefa

● Regressão em direção à média: Escores muito altos ou muito baixos tendem a regredir à média durante o pós-teste– Erros de mensuração durante a seleção podem selecionar

artificialmente participantes que estavam fumando muito na época, mas que normalmente não o fazem



Alocação

Medidasrepetidas

Ψ

Experimentos mal-planejados ilustram ameaças à validade interna● Delineamento com grupo de controle não-equivalente:

Utiliza grupo de controle separado, mas os participantes/sujeitos não são equivalentes

● A diferença entre os sujeitos torna-se uma variável confundida

● Diferenças de Seleção: Existência de diferenças sistemáticas nas características dos sujeitos em diferentes tratamentos– Ex: no estudo sobre o fumo, os participantes no grupo que

passa pela intervenção podem ter sido voluntários, e o grupo controle seria composto de fumantes que não se voluntariaram



Alocação

Medidasrepetidas

Ψ

Outras ameaças à validade interna (Campbell & Stanley, 1963)

● Mesmo com o uso de grupos de controle, algumas dificuldades podem surgir

● Atrito: Mortalidade ou desistência dos participantes– Fumantes mais pesados poderiam abandonar o

experimento, e no final somente fumantes mais leves permaneceriam, confundindo a causa

● Difusão dos tratamentos: A implementação de um tratamento influencia os sujeitos em outro tratamento



Alocação

Medidasrepetidas

Ψ

Experimentos bem planejados

● 3 passos importantes para o bom planejamento dos experimentos:1) Definir claramente os objetivos: Registrar precisamente

o que você quer testar com o experimento

2) Definir uma estratégia: Registrar precisamente como você pode alcançar o objetivo. Magnitude e estrutura do experimento (quantos tratamentos? Quantas replicações? Qual a unidade experimental? Como os resultado serão analisados?

3) Definir os detalhes operacionais: Como o experimento será realizado na prática? Em que ordem os passos serão realizados? Os tratamentos serão randomizados? O experimento poderá ser realizado em um dia? Haverá intervalo? &c



Alocação

Medidasrepetidas

Ψ

Características essenciais do bom delineamento experimental

(Trochim e Land, 1982)

1) Baseado em teoria: Boas estratégias de pesquisa refletem as teorias que estão investigando;

● Ex.: se a teoria prevê que um tratamento deve alterar uma medida e não outra, incluir ambas no delineamento é importante

2) Situacional: Reflete o contexto da investigação● Ex.: o estudo da rivalidade entre grupos pode ser melhorado pelo uso de grupos de comparação que não estão em

contato direto com o grupo original

3) Factível: Pode ser implementado facilmente, com planejamento adequado da sequência e intervalo entre eventos, antecipação de problemas, e adição de grupos ou medidas adicionais que corrigem explicitamente esses problemas

● Ex.: uso de medidas pré-teste para verificar efeitos sobre o atrito

4) Redundante: Flexibilidade resultante da duplicação de características essenciais

● Ex.:Replicações múltiplas de um tratamento em contextos diferentes

5) Eficiente: Equilíbrio entre redundância e a simplicidade, através da utilização de outras estratégias para eliminar ameaças à validade

● Ex: Usar testes estatísticos com pseudo-variáveis ou covariáveis



Alocação

Medidasrepetidas



Alocação

Medidasrepetidas

Ψ

Experimentos bem planejados

● O delineamento experimental mais simples possível tem duas variáveis, VI (tratamento) e VD

● O tratamento apresenta dois níveis: um grupo experimental e um grupo de controle– Participantes/sujeitos devem ser alocados

aleatoriamente, para reduzir o efeito de variáveis estranhas

– Grupos devem ser equivalentes

– Controle experimental sobre variáveis estranhas



Alocação

Medidasrepetidas

Ψ

Características do controle● A forma mais simples de estabelecer grupos de controle é não

expor um grupo ao tratamento

● Controle negativo: Uso de grupos onde espera-se que o fenômeno não apareça (sem exposição ao tratamento, exposição a engodo, placebo, &c) → efeito nulo/negativo– Se o efeito do controle negativo for positivo, uma variável confundida está

em ação

● Controle positivo: Uso de grupos onde espera-se que o fenômeno apareça (“padrão-ouro”, intervenções de efeito conhecido, &c)– Se o efeito do controle positivo for negativo, há algo errado com o o

procedimento, que deve ser replicado

● Outros usos do controle: controle de qualidade, controle interno, &c



Alocação

Medidasrepetidas

Ψ

Delineamento com pós-teste apenas

● Dois grupos equivalentes; introdução do tratamento; mensuração do efeito do tratamento sobre a VD



Alocação

Medidasrepetidas

Ψ

Delineamento com pré-teste e pós-teste

● Aplicação de um pré-teste (mensuração de VD) antes de introduzir a manipulação experimental

● Aumenta a certeza da equivalência entre os grupos– Desnecessária com alocação aleatória quando a amostra tem tamanho adequado

● Pode ser usado para identificar valores extremos em uma amostra– Para evitar viés de seleção, somente sujeitos com valores extremos devem ser

usados, e devem ser alocados aleatoriamente entre os tratamentos

● Se há possibilidade de desgaste/atrito (abandono do experimento), usar um pré-teste permite investigar se os níveis pré-intervenção afetam o atrito

● O pré-teste pode sensibilizar os participantes em relação à medida, alterando o resultado do tratamento– Soluções: Mascaramento, delineamento de quatro grupos de Solomon



Alocação

Medidasrepetidas

Ψ

Exercício 1 (Cozby, 2004)● Chefes da polícia militar, responsáveis por diferentes bairros

de Marabá, selecionaram dois policiais para participar de um programa destinado a reduzir preconceito, aumentando a sensibilidade em relação a diferenças raciais e étnicas entre grupos e questões da comunidade. O programa de treinamento foi realizado toda sexta-feira pela manhã durante três meses. Na primeira reunião e na última, os policiais responderam a um questionário para medir preconceito. Para avaliar a eficácia do programa, comparou-se o escore médio de preconceito na primeira reunião com o escore na última reunião, e esse escore de fato diminuiu após o programa.(a) Que tipo de delineamento é esse?

(b) Que problemas específicos surgem se concluirmos que o programa de treinamento foi responsável pela redução do preconceito?



Alocação

Medidasrepetidas

Ψ

Delineamento de quatro grupos de Solomon



Alocação

Medidasrepetidas

● As comparações A e A1 avaliam a mudança dentro dos grupos; se houve mudança em A1, o efeito não se deve ao tratamento

● A comparação B avalia a qualidade da alocação aleatória e o efeito do atrito

● A comparação C avalia o efeito geral do tratamento

● As comparações D e F permitem determinar se o pré-teste influencia os resultados– Se a ≠ entre os grupos C e D difere da ≠ entre os

grupos A e B

– Se há ≠ entre os grupos A e C

● A comparação E permite determinar efeitos de história, maturação ou desgaste

● A comparação G permite determinar se o pré-teste afeta o efeito de forma independente (i.e., sem tratamento)

Ψ

Desvantagens do delineamento de quatro grupos



Alocação

Medidasrepetidas

● Demanda muitos recursos de tempo, espaço e equipamentos

● Multiplicação de unidades experimentais aumenta enormemente o tamanho da amostra

● A análise estatística é extremamente complexa

Ψ

Expandindo o delineamento básico● Expansão no tempo: Inclusão de observações antes (pré-teste)

ou depois do tratamento (análise da estabilidade do efeito); inclusão de tratamentos (delineamentos ABAB)

● Expansão no tratamento: Delineamentos ABAB; particionamento do tratamento em níveis

● Expansão nas observações: Incluir medidas similares (validade convergente); incluir medidas de controle negativo (validade discriminante); incluir medidas de memória do estado pré-teste

● Expansão nos grupos: Adição de grupos extras para diminuir ameaças à validade (dados normatizados, grupos de coorte, controle positivo)



Alocação

Medidasrepetidas

Ψ

Unidades experimentais e pseudo-replicação

● A unidade experimental é a unidade na qual o tratamento é aplicado

● Cada vez que o tratamento é aplicado, obtemos uma replicação

● Nem sempre a unidade experimental é o participante; p. ex., se aplicamos uma intervenção a uma classe de alunos, esta é a unidade experimental, e não cada aluno individual– Se tratamos cada unidade da amostra como se fosse uma

unidade experimental, fazemos uma pseudo-replicação



Alocação

Medidasrepetidas

Ψ

Tipos de pseudo-replicação (Hurlbert, 1984)

● Simples: Só existe uma unidade experimental por tratamento– Impossibilidade de separar a variabilidade causada pelo tratamento

e a variabilidade intrínseca da unidade experimental

● Temporal: As unidades experimentais diferem significativamente no momento da aplicação do tratamento

● Sacrificial: Os tratamentos foram replicados, mas ou os dados são agregados antes da análise, ou a análise trata sub-amostras como replicações

● Implícita: Caracterização de sub-amostras sem análise estatística (comparação entre distribuições)



Alocação

Medidasrepetidas

Ψ

Alocação

● Uma vez definida a unidade experimental, ela deverá ser alocada aos diferentes tratamentos

● Existem duas formas básicas: distribuição aleatória de participantes a somente um grupo (delineamento com grupos independentes), e distribuição a mais de um grupo (delineamento com medidas repetidas).



Alocação

Medidasrepetidas

Ψ

Delineamentos com grupos independentes

● Unidades experimentais diferentes são designadas para cada uma das condições/tratamentos

● A alocação casualizada pode ser completa ou emparelhada



Alocação

Medidasrepetidas

Ψ

Alocação aleatória simples● Distribuição / alocação randômica

/ aleatória / casual simples, ou delineamento inteiramente casualizado

● Unidades experimentais destinadas a cada tratamento de forma inteiramente aleatória

● Leva em conta apenas os princípios de replicação e randomização

● Impede vieses sistemáticos, garante equivalência se a amostra tiver tamanho adequado



Alocação

Medidasrepetidas

● Exige que o material experimental seja semelhante e que as condições de estudo sejam completamente uniformes

● Os aspectos que devem ser considerados na semelhança entre as U.E. são aqueles que interferem nas respostas das mesmas aos tratamentos

● Geralmente é mais utilizado em experimentos nos quais as condições experimentais podem ser bastante controladas (por exemplo em laboratórios)

● Recomendado em situações onde se corre risco de perder repetições durante o experimento.

Ψ

Delineamento em blocos casualizados

● O procedimento de emparelhamento ou blocagem garante a uniformidade dos grupos e o controle experimental

● Levam em consideração os princípios de replicação, randomização e blocagem

● Quando não há certeza na homogeneidade das condições experimentais, deve-se estabelecer sub-ambientes homogêneos (blocos)

● Cada bloco inclui todos os tratamentos; dentro de cada bloco, os tratamentos são distribuídos aleatoriamente

● P. ex., um psicólogo quer comparar o efeito de uma intervenção clínica em adultos e crianças. Definiu que a intervenção seria o tratamento e a faixa de idade (adultos e crianças) os blocos



Alocação

Medidasrepetidas

Ψ

Alocação aleatória emparelhada



Alocação

Medidasrepetidas

● Distribuição / alocação randômica / aleatória / casual emparelhada

● Variação do delineamento em blocos casualizados

● A variável de emparelhamento costuma ser uma característica fortemente relacionada à VD

● Primeiro mensura-se a variável de emparelhamento para cada unidade experimental; o pesquisador então emparelha valores semelhantes, e as unidades experimentais de cada par então são alocadas aleatoriamente para cada tratamento

● Aumenta a capacidade para detectar efeitos do tratamento, dado que é possível explicar as diferenças individuais nas respostas

Ψ

Exercício 2 (Cozby, 2004)

● Planeje um experimento para testar a hipótese de que salas de aula separadas por gênero favorecem a aprendizagem de matemática por adolescentes do sexo feminino.

● Defina operacionalmente as variáveis independente e dependente

● Seu experimento deve ter dois grupos e usar alocação de distribuição randômica emparelhada; justifique sua seleção da variável de emparelhamento

● Defenda sua opção por um delineamento com pós-teste apenas ou por um delineamento com pré-teste/pós-teste



Alocação

Medidasrepetidas

Ψ

Delineamentos com medidas repetidas

● Participantes passam por repetidas mensurações da VD

● Pode ou não incluir a apresentação de mais de uma VI antes de cada VD; – Quando existe mais de um tratamento, os

delineamentos mais comuns são ABA e ABC

– Outros delineamentos: multi-elementos; linhas de base múltiplas



Alocação

Medidasrepetidas

Ψ

Exemplo 1



Alocação

Medidasrepetidas

Ψ

Vantagens e desvantagens● Necessita de menos participantes, dado que cada um passa por todas as

condições

● Útil quando– Se quer determinar a efetividade relativa de mais de um tratamento sobre uma

mesma VD– Dados de linha de base (pré-teste) estão ausentes ou são instáveis– Os tratamentos diferem suficientemente entre si– Os participantes conseguem discriminar entre os níveis ou tratamentos

● Desvantagens:– Ausência de controle de variáveis estranhas; efeitos são julgados um em relação ao

outro, e não em termos absolutos– Não é apropriado para analisar comportamento que é aprendido em estágios– Não é apropriado para testar efeitos de tratamentos contínuos ou com efeitos de

longo prazo (p. ex., intervenções terapêuticas)– Efeito de sequência – a ordem de apresentação dos tratamentos afeta a VD



Alocação

Medidasrepetidas

Ψ

Tipos de efeitos de sequência

● Associados à passagem do tempo:– Efeito de prática: Melhora do desempenho

resultante da prática repetida numa tarefa, independente do efeito do tratamento

– Efeito de fadiga: Piora do desempenho resultante de cansaço, tédio ou distração

● Associados ao efeito dos tratamentos (“carryover”)– Efeito de contraste: A resposta ao segundo

tratamento é alterada por comparação com a primeira



Alocação

Medidasrepetidas

Ψ

Contrabalanceamento: Contrabalanceamento completo

● Todas as ordens possíveis de apresentação das condições são incluídas no experimento



Alocação

Medidasrepetidas

Ψ

Contrabalanceamento: Quadrados latinos

● Conjunto limitado de ordens de apresentação que garante que (1) cada tratamento apareça em cada posição possível e (2) cada tratamento preceda e siga cada tratamento uma vez

● Constrói-se uma matriz n x n, com n diferentes tratamentos de tal maneira que ocorram no máximo uma vez em cada linha ou coluna

● A ordem para a primeira linha é determinada da seguinte forma, onde U é o último tratamento:– A, B, U, U-1 , D, U-2, E...

– A, B, F, C, E, D

● A ordem para a segunda linha é determinada aumentando a letra em cada posição da primeira linha– B, C, A, D, E, F

● Após terminar todas as linhas, atribuir aleatoriamente cada um dos tratamentos a cada letra



Alocação

Medidasrepetidas

Ψ

Contrabalanceamento:Blocos randomizados

● Quando variações do tratamento são repetidas, podem ser blocadas– Ex.: Se quero testar a memória de durações

em função da modalidade sensorial, cada modalidade pode ser um bloco

● O efeito da ordem de apresentação dos blocos deve ser controlado por randomização



Alocação

Medidasrepetidas

Ψ

Manipulando o intervalo de tempo entre tratamentos

● Além de contrabalançar a ordem dos tratamentos, também é preciso escolher cuidadosamente o intervalo de tempo entre apresentações e as atividades possíveis entre tratamentos– Período de descanso pode se contrapor à

fadiga; realizar uma tarefa não-relacionada pode diminuir efeito de contraste

● A introdução de intervalos prolongados de tempo pode criar efeitos de atrito/mortalidade



Alocação

Medidasrepetidas

Education

Delineamento experimental básico