Donald T. Campbell -- Methods for the Experimenting Society_1

8/10/2019 Donald T. Campbell -- Methods for the Experimenting Society_1

1/38

T R C E S

T R A C E S a r e w h a t e va l u a to r s le f t b e h i n d - d i s c o v e r i e s , r ec or ds , t r a c k s - w h i c h

ma de mar ks on the pr o fes s ion o f p r ogr am evalua tion . Pub l i s hed her e ar e excer p t s

f r om our pas t e .g ., a r ti cl es , pas s ages f r om books, s peeches ) tha t s how w her e we

have bee n or a f f ec ted wh er e we ar e g r )o w ) ing . Sugges t ions fo r inc lusion s hou ld

be s en t to the Ed i to r , a long w i th r a t iona le fo r the i r impor t. Pho tocop ies o f the

or ig ina lpr in ted ver s ions ar e pr e fer r ed w i th u l l b ib l iogr aph ic in formation . Cop y ing

r igh t s w i l l be s ec ur ed by the Ed i to r .

Editor 's Note: We are proud to present here a widely dis tr ibuted but previously

unpublished pap er by Donald C ampbell. Afte r publication of his milestone paper,

Refo rms as Experimen ts , in 1969

Am er ican Ps ycho log is t ,

24(4) , 409-429), C ampbell

wr ote a series of papers elaborating on his ideas for an experim enting society. M ethods

for the Exp erime nting Soc iety, printed here, wa s the basis for his 1971 abbre viated and

extem pora neou s presentations to the Eastern Psychological A ssociation and the Am eri-

can Psych ological Association. In the paper, C am pbell proposed that a few social scientists

dedicate th em selves to being m ethodologists for the experim enting society. H e then

recounted m any of the problem s that m ust be addressed and discussed possible solutions.

In 1988, the 1971 draft wa s revised and published in a selection of Ca m pb ell 's papers

entitled

M e t h o d o l o g y a n d E p i s t em o l o g y f o r S o c i a l S c i e n c e

(edited by E. Samuel Overm an

and published by Th e University of Chica go Press). But the original versio n, here in

E P ,

contains m ore detail on the m ethods. Certainly we ca n trace a great deal of our evaluation

history to Dr. Campbell. W e are grateful for his perm ission to publish the paper in

E P .

M ethod s for the xper iment ing Soc ie ty

DON AL D T CAMPBELL

T h e e x p e r i m e n t i n g s o c i e ty w i l l b e o n e w h i c h w i ll v i g o r o u s l y t r y o ut p r o p o s e d

s o l ut i on s t o r e cu r r e nt p r o b l e m s , w h i c h w i l l m a k e h a r d - h e a d e d a n d m u l t i d i m e n s i o n a l

e v a l u a t io n s o f th e o u t c o m e s , a n d w h i c h w i l l m o v e o n t o tr y o th e r a l t e rn a t iv e s w h e n

e v a l u a t i o n s h o w s o n e r e f o r m t o h a v e b e e n i n e f f e c t i v e o r h a r m f u l . W e d o n o t h a v e s u c h

a s o c i e ty t o d a y . W h i l e a ll s o c ie t i e s a r e e n g a g e d i n tr y i n g o u t i n n o v a t i v e r e f o r m s , n o n e

i s y e t o r g a n i z e d t o a d e q u a t e l y e v a l u a t e t h e o u t c o m e s . P r o g r a m s a r e i n s t e a d c o n t i n u e d

o r d i s c o n t i n u e d o n i n a d e q u a t e o r o t h e r g r o u n d s . T h i s i s d u e i n p a r t t o th e i n e r ti a o f

s o c i a l o r g a n i z a t i o n s , i n p a r t t o p o l i ti c a l p r e d i c a m e n t s w h i c h o p p o s e e v a l u a t i o n , a n d i n

p a r t t o t he f a c t t h a t t he m e t h o d o l o g y o f e v a l u a t i o n i s s ti ll i n a d e q u a t e .

va l u a t i on

Pra c t ice Vo l . 12 No . 3 1991 pp . 223 -260 . Copy r igh t 1991 by JAI Pre ss Inc.

ISSN: 0191 -8036 Al l r ights of reproduction in any form reserved.

223


2/38

224 EVA LUA TION PRAC TICE, 12(3), 1991

W h i l e t h e e x p e r i m e n t i n g s o c i e t y is n o w h e r e y e t a n a c t u a li t y , t h e r e a re i n m a n y

c o u n t r i e s p o l i t i c a l f o r c e s m o v i n g i n t h i s d i r e c t i o n . F i n l a n d , E n g l a n d , Y u g o s l a v i a ,

P o l a n d , C z e c h o s l o v a k i a , C h i le , a n d t h e U n i t e d S t a t es c o m e t o m i n d a s a f e w a m o n g t h e

m a n y n a t i o n s i n w h i c h s u c h a s o c i e ty m i g h t e m e r g e . I n d e v e l o p i n g a n e x p e r i m e n t i n g

s o c i e t y , t h e s k il l s o f th e s o c i a l s c i e n t i s t w i l l b e o f u t m o s t i m p o r t a n c e . W h a t I a m

p r o p o s i n g i n th i s p a p e r i s th a t a f e w o f u s t h e w o r l d o v e r n o w s e l f - c o n s c i o u s l y d e d i c at e

o u r s e l v e s to b e i n g m e t h o d o l o g i s t s f o r t h e e x p e r i m e n t i n g s o c i e t y , t h at w e n o w t o o l

u p f o r t h a t fu t u r e d a y b y t h i n k i n g t h r o u g h a s w e l l a s w e c a n t h e p r o b l e m s t h a t w il l

e m e r g e . T h i s p a p e r i s a p r e l im i n a r y o v e r v i e w o f th e f i el d , a s u r v e y o f p r o b l e m s w e c o u l d

n o w b e g i n w o r k i n g o n . It is b r o a d e r i n sc o p e , b u t b u i l d s u p o n R e f o r m s as E x p e ri -

m e n t s . ( C a m p b e l l , 19 6 9 . S e e a l s o C a m p b e l l , 1 9 7 0. )

T H E E X P E R I M E N T I N G S O C I E T Y

B e f o r e g e t t i n g i n t o t h e m e t h o d o l o g i c a l d e ta i l s , a l it tl e m o r e n e e d s t o b e s a i d a b o u t t h e

n a t u r e o f t h e e x p e r i m e n t i n g s o c i e t y a s a n i d e o l o g y f o r a p o li ti c a l s y s t e m ( H a w o r t h ,

1960) .

I t w i l l be an

a c t i ve so c i e t y

( E t z i o n i , 1 9 6 8 ) p r e f e r r i n g e x p l o r a t o r y i n n o v a t i o n t o

i n a c t i o n . I t w o u l d b e a s o c i e t y w h i c h e x p e r i m e n t s , t r i es t h i n g s o u t , e x p l o r e s p o s s i b i l i-

t i e s in a c t i o n ( a s w e l l a s , o r e v e n i n s t e a d o f , i n th o u g h t a n d s i m u l a t i o n ) . I t w o u l d b o r r o w

f r o m e p i s t e m o l o g y a n d t h e h i s t o r y o f s c i e n c e t h e t r u i s m t h a t o n e c a n n o t k n o w f o r

c e r t a i n i n a d v a n c e , t h a t a c e r t a i n a m o u n t o f t r ia l - a n d - e r r o r i s e s s e n t i a l. F a c e d w i t h a

c h o i c e b e t w e e n i n n o v a t in g a n e w p r o g r a m o r c o m m i s s i o n i n g a th o r o u g h s t u d y o f th e

p r o b l e m a s a p r e l u d e t o a c t io n , i ts b i as w o u l d b e t o w a r d i n n o v a t i n g . It w i l l b e c o m m i t t e d

to a c t i o n r e s e a r c h t o a c t io n a s r e s e a r c h r a t h e r t h a n r e s e a r c h a s a p o s t p o n e m e n t o f a c t i o n

( L e w i n , 1 9 4 6 ; S a n f o r d , 1 9 7 0 ). I t w i l l b e a n

e v o l u ti o n a r y l e a r n i n g s o c i e t y

( D u n n ,

1971) .

I t w i l l be an h o n e s t s o c i e t y c o m m i t t e d t o rea l i ty tes t ing t o se l f -c r i t i c i sm, to

a v o i d i n g s e l f - d e c e p t i o n . I t w i l l s a y i t l ik e i t is , f a c e u p t o t h e f a c t s , b e u n d e f e n s i v e a n d

o p e n i n s e l f -p r e s e n t a t i o n . G o n e w i l l b e t h e i n s t it u t i o n a l i z e d b u r e a u c r a t i c t e n d e n c y to

p r e s e n t o n l y a f a v o r a b l e p i c t u r e i n g o v e r n m e n t r e p o rt s . F o r m a n y a c i vi l s e r v a n t o n b o t h

s i d e s o f t h e I r o n C u r t a i n t h i s f r e e d o m t o b e h o n e s t w i l l b e o n e o f t h e s t ro n g e s t a t t r a c t i o n s

o f t h e e x p e r i m e n t i n g s o c i e ty . T h e m o t i v e o f h o n e s t y i n p o l it ic a l r e f o r m , r e v o l u t i o n , a n d

p e r s o n a l h e r o i s m h a s b e e n g e n e r a l l y n e g l e c t e d u n t il r e c e n t l y . It i s o f c o u r s e n o w a

d o m i n a n t t h e m e a m o n g o u r y o u n g i d e a li s ts , s h o w i n g u p i n t h ei r s t a n d a r d s f o r t h e ir o w n

i n t e r p e r s o n a l r e l a t i o n s a n d i n t h e i r c r i t i c is m o f th e c o w a r d l y h y p o c r i s y , d o u b l e - t a l k ,

a n d d i s h o n e s t y o f t h e i r e ld e r s . I t a l s o e m e r g e s a s a m a j o r p o l i t ic a l f o r c e w i t h i n t h e

C o m m u n i s t c o u n t r i e s , as P o l a n y i ( 1 9 6 6 ) h a s a r g u e d i n th e c a s e o f t h e H u n g a r i a n

u p r i s in g s o f 1 9 5 6 . W h i l e t h a t r e v o l u t i o n n o d o u b t h a d c o m p l e x r o o ts , m a n y o f w h i c h

m i g h t a c c u r a t e l y b e c a l l e d r e a c t i o n a r y o r F a s c i s t, P o l a n y i p e r s u a d e s m e i n h i s a n a l y s i s

o f t h e m o t i v e s o f t h e P e t f f i C i r cl e . T h e s e e l it e c o m m u n i s t j o u r n a li s t s, w e l l r e w a r d e d

b y t h e i r e s t a b l i s h m e n t w i t h p o w e r a n d w e a l t h , w e r e m o t i v a t e d b y t h e p a i n o f


3/38

M ethods or the Experim entingSociety 225

co n t i n u a l l y h av i n g t o w r i t e l ie s an d b y t h e p r o m i s e o f a s o c i e t y i n w h i ch t h ey c o u l d w r i t e

t h e t ru t h a s th e y s a w it. H o n e s t y w a s a l so a m o n g t h e p r i m e m o t i v e s o f t h e C z e c h o s l o v a k

l ead e r s h i p an d f o l l o w er s h i p o f 1 9 6 8 , a cco u n t i n g f o r b o t h i ts g r ea t p o p u l a r i t y an d i t s

d i s f u n c t i o n a l l y p r o v o ca t i v e ex ces s e s i n ex p o s i n g p as t l ie s . 1

I t wi l l be a

nondo gm a t i c s oc i e ty .

W h i l e i t w i l l s ta t e i d ea l g o a l s an d p r o p o s e w i s e

m e t h o d s f o r r each i n g t h em, i t w i l l n o t d o g m a t i ca l l y d e f en d t h e v a l u e an d t ru t h o f th e s e

g o a l s an d m e t h o d s ag a i n s t d i s co n f i r mi n g ev i d en ce o r c r it i c is m .

I t wi l l be a

sc ien t i fi c soc ie ty

i n t h e f u l le s t s en s e o f t h e w o r d s c i en t i fi c . Th e

s c i en t i fi c v a l u es o f h o n es t y , o p en c r i ti c i sm , ex p e r i me n t a t i o n , w i l l i n g n es s t o ch an g e

o n ce - ad v o ca t ed t h eo r i e s i n t h e f ace o f ex p e r i men t a l an d o t h e r ev i d en ce w i l l b e

ex emp l i f i ed . Th i s u s ag e s h o u l d b e d i s t i n g u i s h ed f r o m an ea r l i e r u s e o f t h e t e r m

s c i en t i fi c i n s o c i a l p l an n i n g . I n t h i s o l d e r u s ag e , o n e s c i en t i fi c th eo r y i s j u d g ed t o b e

es t ab l i s h ed a s t r u e . O n t h e b a s i s o f t h is s c i en t i fi c th eo r y , ex t r ap o l a t i o n s a r e ma d e t o t h e

d es i g n o f an o p t i ma l s o c i a l o r g an i za t i o n . Th i s p r o g r am i s t h en p u t i n t o e f f ec t , b u t

w i t h o u t ex p l i c i t m ech an i s m s fo r t e s t i n g th e v a l i d i ty o f t h e t h eo r y t h r o u g h t h e r e s u lt s

o f i m p l e m e n t i n g it. S u c h s o c ia l p l a n n i n g b e c o m e s d o g m a t ic , n o n - e x p e r i m e n t a l, a n d i s

n o t s c i en t i f i c i n t h e s en s e u s ed h e r e ev en t h o u g h t h e g r o u n d s o f i t s d o g ma a r e t h e

p r o d u c t o f p r e v io u s s c i en c e . S u c h d o g m a t i s m h a s b e e n a n o b v i o u s d a n g e r in i m p l e m e n -

t a t io n s o f M ar x i s t s o c i a li s m . I t i s a ls o a co m m o n b i a s o n t h e p a r t o f g o v e r n m en t a l an d

i n d u s tr i a l p lan n e r s ev e r y w h er e . I n s u ch p l an n i n g , t h e r e i s d e t a i led u s e o f av a i l ab le

s c i e n c e b u t n o u s e o f t h e i m p l e m e n t e d p r o g r a m a s a c h e c k o n t h e v a li d it y o f t h e p l a ns

o r o f t h e s c i en ti f ic th eo r i e s u p o n w h i ch t h ey w er e b a s ed . Th u s eco n o m i s t s , o p e r a t i o n s

r e s ea r ch e r s an d ma t h ema t i ca l d ec i s i o n t h eo r i s t s t r u s t i n g l y ex t r ap o l a t e f r o m p as t

s c i en ce an d co n j ec t u r e , b u t i n g en e r a l f a il t o u s e t h e i m p l em en t ed d ec i s i o n s to co r r ec t

o r e x p a n d t h a t k n o w l e d g e .

I t wi l l be an accountable chal l engeable due-p rocess soc ie ty . Th e r e w i l l b e p u b l i c

acces s t o t h e r eco r d s o n w h i ch s o c i a l d ec i s i o n s a r e mad e . R eco u n t s , au d it s , re an a l y s e s ,

r e in t e rp re t a t i on s o f r esu l ts wi l l be po ss ib l e . Jus t as in sc i enc e ob j ec t i v i t y i s ach i eved by

t h e co m p e t i t i v e c ri t ic i s m o f i n d ep e n d en t s c i en ti s ts , s o t o o t h e e x p e r i m en t i n g s o c i e ty

w i l l p r o v i d e s o c i a l o rg an i za t i o n a l f ea t u re s m ak i n g co m p e t i t i v e c r i ti c i s m p o s s i b l e a t t h e

l ev e l o f s o c i a l ex p e r i men t a t i o n . Th e r e w i l l b e s u f f i c i en t s ep a r a t io n o f g o v e r n m en t a l

p o w er s s o t h a t me an i n g f u l leg a l s u it s ag a i n s t t h e g o v e r n m en t a re p o s s i b l e . C i ti z en s n o t

a p a r t o f t he g o v e r n m e n t a l b u r e a u c r a c y w i l l h a v e t h e m e a n s t o c o m m u n i c a t e w i t h t h e ir

f e l l o w c i t i z en s d i s ag r eem en t s w i t h o f f i c ia l an a l y s e s an d t o p r o p o s e a l te r n a t iv e ex p e r i -

m en t s . I t w i l l b e an open soc ie ty (Popper , 1945) .

I t wi l l be a decen t ra l i z ed soc ie ty o n a l l f e a s i b le a s p ec t s . E i t h e r t h r o u g h au t o n o m y

or de l i bera t e d iver s i f i ca t i ons , d i f f e ren t admin i s t r a t i ve un i t s wi l l t ry ou t d i f f e ren t

am e l i o r a ti v e i n n o v a t i o n s an d w i l l c ro s s - v a l id a t e t h o s e d i s co v e r i e s th ey b o r r o w f r o m

o t h er s . T h e s o c i a l- s y s te m i n d e p e n d e n c e w i l l p r o v i d e s o m e t h i n g o f t h e r e p l i c a ti o n a n d

v e r if i c a ti o n o f s u c c e s s f u l e x p e r im e n t s f o u n d i n s c ie n c e . S e m i a u t o n o m y w il l p r o v i d e

s o m e o f t h e co m p e t i t i v e c r i ti c i s m t h a t ma k e f o r s c i en t i fi c o b j ec t i v it y .

I t w i l l b e a s o c i e t y co m m i t t ed to m e ans - i de a l i s m as wel l as ends - ideal i sm. As in

m o d e m v i e w s o f s c ie n c e , th e p r o c e s s o f e x p e r i m e n t i n g an d i m p r o v i n g w i l l b e e x p e c t e d

t o co n t i n u e i n d e f i n i te l y w i t h o u t r each i n g t h e a s y m p t o t e o f p e r f ec t i o n . I n t h i s s en s e , a ll


4/38


f u t u r e p e r i o d s w i l l b e m e d i a t i o n a l , t r a n s i ti o n a l , r a t h e r t h a n p e r f e c t g o a l s t a te s . E n d s

c a n n o t b e u s e d t o j u s t i f y m e a n s , f o r a ll w e c a n l o o k f o r w a r d t o a r e m e a n s . T h e m e a n s ,

t h e t r an s i ti o n a l s te p s , m u s t i n t h e m s e l v e s b e i m p r o v e m e n t s .

I t w i l l b e apop ularly responsive society w h o s e g o a ls a n d m e a n s a r e d e t e rm i n e d

b y c o l l e c ti v e g o o d a n d p o p u l a r p r e f e r e n c e . W i t h i n t h e l i m i ts d e t e r m i n e d b y t h e

c o m m o n g o o d , i t w i l l b e a voluntaristic society p r o v i d i n g f o r i n d i v i d u a l p a r t i c ip a t i o n

a n d c o n s e n t a t a ll d e c i s i o n - l e v e l s p o s s i b l e . I t w i l l b e a n

equa litarian society

v a l u i n g

t h e w e l l - b e i n g a n d t h e p r e f e r e n c e s o f e a c h i n d iv i d u a l e q u a l ly .

T h i s t o o b r i e f s k e tc h h a s g l o s s e d o v e r m a n y p r o b l e m s . A f e w o f t h e s e a r e

c o n s i d e r e d l a t e r o n i n t h e p a p e r. A f e w n e e d b e c o n s i d e r e d n o w . W h i l e t h e e x p e r i m e n t -

i n g s o c i e t y t hu s d e s c r i b e d h a s m a n y a t tr a c ti v e f e a tu r e s , it o b v i o u s l y h a s m a n y d a n g e r s

a n d c o s t s . W e m e t h o d o l o g i s t s f o r t h e e x p e r i m e n t i n g s o c i e t y s h o u ld b e s e n s it iv e t o o u r

o w n a n d o t h e r s a m b i v a l e n c e s a b o u t it. W e s h o u l d a n t i c ip a t e i ts d a n g e r s an d m i s u s e s

a s w e l l a s it s p r o m i s e s . W e s h o u l d o f c o u r s e d e s i g n w a y s o f o b v i at i n g t h e s e w h e r e

p o s s i b l e . B u t w e s h o u l d k e e p o p e n t h e p o s s i b i l i t y t h a t w e w i l l e n d u p o p p o s i n g i t. W e

w h o n o w s p e c i a li z e in t h i n k i n g a b o u t t h e e x p e r i m e n t i n g s o c i e t y s h o u ld b e t h e f ir s t t o

d e c i d e t h a t it is u n w o r k a b l e o r i n t h e n e w u n d e s i r a b l e , i f it is a n d i f th i s c a n b e

a s c e r t a i n e d i n a d v a n c e o f t r y i n g i t.

T h e i d e a ls d e s c r i b e d a s c h a r a c t e r iz i n g t h e e x p e r i m e n t i n g s o c i e t y a re f o r t h e m o s t

p a r t i d ea l s th a t a ll o f t o d a y s m a j o r i d e o l o g i e s cl a i m a s t h ei r o w n . T h e y a r e e n d o r s e d

in b o t h c o m m u n i s t a n d c a p i ta l is t c o u n t r i e s , m o s t c l e a r l y in e a c h o n e s c r i t i c is m o f t h e

o t h er . W h i l e n e i t h e r t y p e o f s o c i e t y is a s y e t a c h i e v i n g t h e s e e n d s , t h e e x p e r i m e n t i n g

s o c i e t y c o u l d g r o w o u t o f e i th e r , o r o u t o f b o th . A c o m p e t i t i o n to s e e w h i c h c o u l d b e s t

a n d s o o n e s t i m p l e m e n t i t m i g h t e v e n b e e n v i s a g e d . I n a n y e v e n t , w e m e t h o d o l o g i s t s

f o r th e e x p e r i m e n t i n g s o c i e t y sh o u l d c o n s i d e r t h e p r o b l e m s o f i m p l e m e n t i n g i t u n d e r

a ll f o r m s o f p o l i t i c a l - e c o n o m i c o r g a n i z a t i o n , a n d s h o u l d r e g a r d d e s i g n i n g a ll r o u t e s a s

a p a rt o f o u r m e t h o d o l o g i c a l c h a l l e n g e . S u c h u n i v e r s a li s m is m a d e e a s i e r b o th b y t h e

c o m m o n i d ea l s, a n d b y t h e f a ct th a t t h e i d e o l o g y o f t h e e x p e r i m e n t i n g s o c i e t y i s a

m e t h o d i d e o l o g y , n o t a c o n t e n t i d e o l o g y . T h a t i s , i t p r o p o s e s w a y s o f t e s t i n g a n d

r e v i s i n g t h e o r i e s o f o p t i m a l p o l i t i c a l - e c o n o m i c - s o c i a l o r g a n i z a t i o n r a t h e r th a n p r o p o s -

i n g a s p e c i f i c p o l i ti c a l a n d e c o n o m i c s y s t e m . ( O f c o u r s e t h is i s t o o s i m p l e , f o r t h e

r e q u i r e m e n t s o f t h e e x p e r i m e n t i n g s o c i e t y e x c l u d e m a n y f o r m s o f p o l i t i c a l- e c o n o m i c -

s o c i a l o r g a n i z a t i o n , b u t t h o s e e x c l u d e d a r e n o t b e i n g a d v o c a t e d b y e i t h e r s i d e o f th e

c o l d w a r . )

O n c e i m p l e m e n t e d in b o t h c a p it a li s t a n d c o m m u n i s t c o u n t ri e s , o n e m i g h t e x p e c t

t h a t s o c i a l e x p e r i m e n t a t i o n w o u l d t e n d t o p r o d u c e i n c r e a s e d s i m i l a r i t y o f s o c i a l

o r g a n i z a t i o n , m u c h a s in d u s t r i a l iz a t i o n h a s t e n d e d t o d o . T h i s e x p e c t a t i o n i s o f c o u r s e

b a s e d u p o n t h e a s s u m p t i o n o f s o m e u n i v e r s a l s i n h u m a n p r e f e r e n c e s f o r t h e g o o d l if e

a n d t h e g o o d s o c i e ty . O n c e t h e s e p r e f e r e n c e s b e c o m e t h e s e l e c t iv e c r i te r i a f o r c h o o s i n g

a m o n g a l t e r a t i o n s o f e x i s t i n g f o r m s , t h e s e u n i v e r s a l s w i ll p r e s u m a b l y s h a p e s o c i e t i e s


5/38

Methods or the xperimenting Society 227

t o w a r d a c o m m o n o p t i m u m . ( T h i s n e e d s q u a l i f y i n g i n t e r m s o f t h e t h e o r y o f t h e

co n d i t i o n s o f co n v e r g en c e an d n o n c o n v e r g e n ce in i t e ra t iv e p r o ces s e s . )

T h e r e a r e o f c o u r s e f o r c e s o p e r a ti n g a g a in s t th e d e v e l o p m e n t o f t h e e x p e r i m e n t i n g

s o c i e t y i n b o t h cap i t a li s t an d co m m u n i s t co u n t r i e s , b o t h i n i d eo l o g y a s w e l l a s i n cu r r en t

p r ac ti ce . Th u s t h e M a r x i s t- Len i n i s t co m m i t m en t t o th e n eces s i t y o f a d i c t a to r s h i p

d u r i n g t h e t r an s i t i o n a l p h as e h a s s e r v ed i n p r ac t i ce t o j u s t i f y a d o g ma t i s m an d

i n t o le r an ce o f c r i ti c i s m t h a t a r e i n co n s i s t en t w i t h t h e e x p e r i m en t i n g s o c i e ty . Y e t i n t h e

t o ta l co m p l ex b o d y o f M ar x i st t h eo r y t h e r e a r e s t a ted p e r s p ec t i v e s an d i d ea l s q u it e

s u f f i c i en t t o j u s t i f y a t r u ly e x p e r i m en t a l s o c i a l is m ( S ch a f f , 1 9 6 0 ; S k o l i mo w s k i , in

p r e s s ; F e l d m an an d C am p b e l l , in p r ep a r a ti o n ) .

W i t h i n w es t e r n d em o cr a t i c cap i ta l i sm , t h e r e a r e a n u m b er o f f av o r ab l e f ea tu r e s .

T h e s e i n c lu d e t h e l e g a l t ra d it io n , t h e s u c c e s s f u l a c h i e v e m e n t o f c h a n g e s i n g o v e r n m e n t

t h r o u g h e l ec t io n s , an d t h e g en u i n e p l u r a li s m o f d ec i s i o n - m ak i n g u n it s . Th e s o - ca l l ed

m ar k e t mec h an i s m s o f cap it a li s t e co n o m i c t h eo r y can b e r eg a r d ed in id ea l f o r m a s

s e l f - reg u l a t o r y cy b e r n e t i c feed b ack s y s t em s im p l em en t i n g h e co l lec t i v e a s p ec ts o f th e

p r e f e r en ces o f i n d i v i d u a l d ec i s io n m ak e r s . B u t t h e i d eo l o g i ca l j u s t if i c a t io n an d

e f f ec t iv e p r ac t i ce o f t h e a ccu m u l a t i o n o f g r ea t i n eq u a l it ie s i n i n d i v i d u a l an d co r p o r a t e

w e a l t h , a n d t h e r o l e o f w e a l t h i n p r o v i d i n g g ro s s ly u n e v e n w e i g h t i n g s o f s o m e p e r s o n s '

p r e f e r en ces o v e r t h o s e o f o t h e r s , p r o v i d e g r ea t o b s t ac l e s w h i ch may e f f ec t i v e l y

s a b o ta g e p r o g r a m d e c i s io n s g e n u i n e l y b a s e d o n t h e p u b l ic g o o d . W h a t e v e r o n e ' s l o n g -

r an g e ex p ec t a t i o n s o n t h is ma t te r , it s h o u l d b e n o t ed t h a t th e U .S . g o v e r n m en t u n d e r

b o t h t h e J o h n s o n an d N i x o n ad mi n i s t r a t i o n s , i n p r o g r ams s u ch a s t h e O f f i ce o f

Ec o n o m i c O p p o r t u n i t y , h a s m ad e g r ea t s t ri d e s in t h i s d ir ec t io n , p r o v i d i n g t h e s o c i a l

s c i e nc e m e t h o d o l o g y c o m m u n i t y w i t h m o r e o p p o r t u n i ti e s t o w o r k o n d e v e l o p i n g

m e t h o d s f o r th e ex p e r i m en t i n g s o c ie t y th an t h ey h av e b een r ead y f o r .

W i t h in b o t h cap i t a l is t an d co m m u n i s t co u n t r i e s th e r e a r e u n i v e r s a l a s p ec t s o f

p o l i ti c a l p r o ces s e s w h i ch w o r k ag a i n s t t h e em er g en ce o f t h e ex p e r i m en t i n g s o c i e t y an d

w h i ch m ay i n t h e l o n g r u n p r e c l u d e i t. A m o n g t h e s e a r e i n s t i t u ti o n a l i n e rt ia , t h e g en e r a l

o p p o s i t i o n t o a ll ch an g e an d i n n o v a t i o n . M o r e i mp o r t an t a r e t h e s ev e ra l s o u r ce s o f f ea r

o f ev a l u a ti o n . Th e m eas u r em en t m ach i n e r y th a t is u s ed to r e fl ec t u p o n p r o g r am

ef f ec t i v en es s can a l s o b e u s ed t o ev a l u a t e t h e e f f ic acy o f ad mi n i s t r a to r s an d o f

o r g an i za t io n a l u n i ts . S u c h ev a l u a t i o n , v a li d o r i n v a li d , i s u n d e r s t an d ab l y f ea r ed , an d

i s m ore t o be f eared t he m ore e l abora t e and sc i en t i f i c i t appea r s t o be .

O ver and abo ve th i s gene ra l f ear o f eva lua t ion a re fear s t ha t a re spec i f i ca l l y li nked

t o p r o g r am i n n o v a t i o n i t s e l f . Th e overadvocacy t rap m e r g e s f r o m t h e e x t r e m e

d i f f icu l t y w i t h i n an y p o l i ti c a l s y s t em o r b u r eau c r acy o f g e t t i n g a n ew p r o g r am ad o p t ed .

Th e ad v o c acy i n v o l v e d is a l mo s t c e r ta i n to m ak e ex ag g e r a t ed c l a i ms a s to t h e d eg r ee

an d ce r t a i n t y o f th e p r o g r am ' s e f f ec t iv en es s . I n th i s u b i q u i t o u s co n d i t io n h a r d h ea d ed

ev a l u a t i o n o f t h e p r o g r a m ' s e f f ec t i v en es s i n v o l v es a l mo s t c e r ta i n p o l i ti c a l j eo p a r d y .

Th e ad v o ca cy o f d i f f e r en t r e f o r ms b y c o m p e t i t o r s f o r p o s i t i o n s o f p o w er ex ace r b a t e s

t h is t h r eat . A n t i c i p a t i o n o f m ar g i n a l e f f ec t s d u e t o p r o g r am f o cu s o n t h e f a i lu r e s o f

p r ep o n d e r an t l y e f fec t i v e g en e r a l s e r v ice s , o r d u e t o t h e t r iv i a l mag n i t u d e o f t h e p r o g r am

as i mp l em en t ed , p r o v i d e u n d e r s t an d ab l e g r o u n d s f o r o p p o s i t i o n to ev a l u a t i o n ( R o s s i ,

1969) .


6/38


T h e S o c i a l S c i e n ti s ts a s S e r v a n t o f t h e x p e r i m e n t i n g S o c i e ty

S o c i e t i e s w i ll c o n t i n u e t o u s e p r e p o n d e r a n t l y u n s c i e n t i f i c p o l it ic a l p r o c e s s e s t o

d e c i d e u p o n a m e l i o r a t i v e p r o g r a m i n n o v a t io n s . W h e t h e r i t w o u l d b e g o o d t o i n c re a s e

t h e r o l e o f s o c i al s c i e n c e i n d e c i d i n g o n t h e c o n t e n t o f t h e p r o g r a m s t r ie d o u t i s n o t a t

i s s u e h e r e . T h e e m p h a s i s i s r a th e r o n t h e m o r e p a s s i v e r o l e f o r th e s o c i a l s c i e n t is t a s an

a i d in h e l p i n g s o c i e t y d e c i d e w h e t h e r o r n o t i ts i n n o v a t i o n s h a v e a c h i e v e d d e s i r e d g o a l s

w i t h o u t d a m a g i n g s i d e e f f e c t s . T h e j o b o f t h e m e t h o d o l o g i s t f o r t h e e x p e r i m e n t i n g

s o c i e t y i s n o t t o s a y

what is to be done

b u t r a t h e r t o s a y

wha thas been done. The

a s p e c t

o f s o c i a l s c i e n c e t h a t i s b e i n g a p p l i e d i s p r i m a r i l y i ts r e s e a r c h m e t h o d o l o g y r a t h e r th a n

i ts d e s c r i p t iv e t h e o r y , w i t h t h e g o a l o f l e a r n i n g m o r e t h a n w e d o n o w f r o m t h e

i n n o v a t i o n s d e c i d e d u p o n b y t h e p o li ti c al p r o c e s s . A s i s e l a b o r a t e d b e l o w , e v e n t h e

c o n c l u s i o n d r a w i n g a n d t h e r e la t i v e w e i g h i n g o f c o n f l i c t in g i n d i c a to r s , m u s t b e l e f t u p

t o t h e p o l i t ic a l p r o c e s s .

T h i s e m p h a s i s s e e m s t o b e q u i t e d i f f e r e n t f r o m t h e p r e s e n t ro l e a s g o v e r n m e n t

a d v i s o r s o f m o s t e c o n o m i s t s , i n t e r n a t i o n a l re l a t io n s p r o f e s s o r s , f o r e i g n a r e a e x p e r t s ,

p o l i t ic a l s c i e n t i s ts , s o c i o l o g i s t s o f p o v e r t y a n d r a c e r e l a ti o n s , p s y c h o l o g i s t s o f c h il d

d e v e l o p m e n t a n d l e a rn i n g , et c . G o v e r n m e n t a s k s w h a t t o d o, a n d s c h o l a rs a n s w e r w i t h

a n a s s u r a n c e q u i t e o u t o f k e e p i n g w i t h t h e s c i e n t i f i c st a tu s o f th e i r f ie l d s . I n th e p r o c e s s ,

t h e s c h o l a r - a d v i s o r s t o o f a l l i n t o t h e o v e r a d v o c a c y t r ap a n d f a i l t o b e i n t e r e s t e d in

f i n d i n g o u t w h a t h a p p e n s w h e n t h e ir a d v i c e i s f o l l o w e d . C e r t a i n t y t h at o n e a l r e a d y

k n o w s p r e c l u d e s f i n d i n g o u t h o w v a l i d o n e s t h e o r ie s a r e. W e s o c ia l s c i en t is t s c o u l d

a f f o r d m o r e o f t h e m o d e s t y o f th e p h y s i c a l s c ie n c e s , s h o u ld m o r e o f t e n s a y th a t w e c a n t

k n o w u n t il w e v e t r ie d . F o r t h e g r e a t b u l k o f s o c i a l s c ie n c e w h e r e w e h a v e n o p o s s ib i li ty

o f e x p e r i m e n t a l p r o b i n g o f o u r t h e o r i e s, w e s h o u l d b e p a r t ic u l a rl y m o d e s t . W h i l e t h e

e x p e r i m e n t s o f t h e e x p e r i m e n t i n g s o c i e t y w i l l n e v e r b e i d e a l f o r t es t in g t h e o r y , t h e y

w i l l p r o b a b l y b e t h e b e s t w e h a v e , a n d w e s h o u l d b e w i l l i n g to l e a r n f ro m t h e m e v e n

w h e n w e h a v e n o t d e s i g n e d t h e m . M o r e i m p o r t a n t l y , m e a s u r i n g t h e e f f e c ts o f a

c o m p l e x p o l i ti c a ll y d e s i g n e d a m e l i o r a ti v e p r o g r a m i n v o l v e s a ll o f th e p r o b l e m s o f

e x p e r i m e n t a l i n f e r e n c e f o u n d i n m e a s u r i n g t h e e f f e c t s o f a c o n c e p t u a l l y p u r e t r e a t m e n t

v a r i a b l e - - a l l a n d m o r e . T h e s c i e n t if i c m e t h o d s d e v e l o p e d f o r t h e l a tt e r ar e n e e d e d f o r

a m e l i o r a t i v e p r o g r a m e v a l u a ti o n . W i t h t h e m o s t m i n o r o f ex c e p t i o n s , it ca n b e s a i d f o r

t h e U n i t e d S t a t e s th a t n o n e o f o u r m a j o r a m e l i o r a ti v e p r o g r a m s h a v e h a d a d e q u a t e

e v a l u a t i o n s ( S c h w a r t z , 1 9 6 1 ; H y m a n a n d W r i g h t , 1 9 6 7 ; E t z i o n i , 1 9 6 8 ; R o s s i , 1 9 6 9 ;

C a m p b e l l , 1 9 6 9 a , W h o l e y , 1 9 7 0; C a m p b e l l a n d E r l e b a c h e r , 1 9 7 0 ; C a r o , 1 9 7 1 ). T h e r e

i s g e n e r a l a g r e e m e n t a m o n g t h e s e a u t h o r s t h at t h e p r o s p e c ti v e l y d e s i g n e d e x p e r i m e n t

o f f e r s t h e b e s t p o s s i b i l i ti e s o f e v a l u a t i o n .

T h e d i s t i n c t i o n i s o v e r d r a w n . I t r e f l e c t s m y o w n j u d g m e n t t h a t i n t h e s o c i a l

s c i e n c e s , i n c l u d in g e c o n o m i c s , w e a r e s c i e n t if i c b y i n t en t io n a n d e f f o r t , b u t n o t y e t b y

a c h i e v e m e n t . W e h a v e n o e l e g a n t l y s u c c e s s f u l t h e o r ie s t h a t p r e d i ct p r e c i s e ly i n w i d e l y

d i f f e r e n t s e t t i n g s . N o r d o w e h a v e t h e c a p a c i t y t o m a k e d e f i n i t i v e c h o i c e s a m o n g

c o m p e t i n g t h e o r i es . E v e n i f w e h a d , t h e s o c ia l s e t ti n g s o f a m e l i o r a t i v e p r o g r a m s

i n v o l v e s o m a n y c o m p l e x i t i e s th a t th e g u e s s e s o f th e e x p e r i e n c e d a d m i n i s t r a to r a n d

p o l i t i c ia n a r e a p t t o b e o n t h e a v e r a g e a s w i s e a s t h o s e o f s o c ia l s c i e n ti s t s . B u t w h a t e v e r

t h e s o u r c e o f t h e i m p l e m e n t e d g u e s s , w e l e a rn o n l y b y c h e c k i n g i t o u t. C e r t a in l y i n th e


7/38

Method s for the Experim enting Society 9

e x p e r i m e n t i n g s o c i e t y , s o c ia l s c i e n ti s ts w i l l c o n t i n u e t o b e c a l le d u p o n t o h e l p d e s i g n

s o l u t i o n s t o s o c i a l p r o b l e m s , a n d t h i s i s a s it s h o u l d b e . P e r h a p s a l l I a m a d v o c a t i n g i n

e m p h a s i z i n g t h e r o l e o f s e r v a n t r a t h e r t h a n l e a d e r , i s t h a t s o c i a l s c i e n t i s t s a v o i d

c l o a k i n g t h e i r r e c o m m e n d a t i o n s i n a s p e c i o u s p s e u d o - s c i e n t i f i c c e r ta i n ty , a n d i n s te a d

a c k n o w l e d g e t h e ir a d v i c e a s c o n s i s t i n g o f b u t w i s e c o n j e c t u r e s t h a t n e e d t o b e t e st e d

i n i m p l e m e n t a t i o n .

T h e s e r v a n t - l e a d e r c o n t r a s t is o v e r d r a w n i n o t h e r s e n s e s a l so . T h e t r u i sm t h a t

m e a s u r e m e n t i t s e l f i s a c h a n g e a g e n t i s p a r ti c u la r ly a p p l i c ab l e t o t h e e x p e r i m e n t i n g

s o c i e ty . A d v o c a t i n g h a r d h e a d e d e v a l u a t io n o f s o c ia l p r o g r a m s i s a r e c o m m e n d a t i o n f o r

c e r ta i n k i n d s o f p o l it ic a l i n s t it u t io n s . I n c o n s i d e r i n g t h e m e t h o d o l o g i c a l c h a l l e n g e s o f

t h e e x p e r i m e n t i n g s o c i e t y i n w h a t f o l l o w s , a p p e a l s t o t h e t h e o ry a n d c o n t e n t o f t h e

s o c i a l sc i e n c e s w i l l b e m a d e , a s w e l l a s t o th e i r m e t h o d o l o g y .

T h e p l a n o f t h e fo l l o w i n g s e c t io n s i s t o ta k e s t a n d a r d m e t h o d o l o g i c a l p r o b l e m s

a n d t o r e c o n s i d e r t h e m a s th e y r e l at e t o t h e e x p e r i m e n t i n g s o c i e ty . T h i s w i l l u n c o v e r

a h o s t o f p r o b l e m s t h at w il l h a v e t o be s o l v e d , a n d o n m a n y o f w h i c h m e t h o d o l o g i s t s

f o r t h e e x p e r i m e n t i n g s o c i e t y c o u l d n o w b e w o r k i n g . T h e r e w i l l b e f r a g m e n t a r y

g l i m p s e s o f w h a t a n e x p e r i m e n t i n g s o c i e ty w i ll b e l ik e , a n d t h e s e m a y g i v e u s g r o u n d s

f o r r e j e c t i n g i t .

P r o b l e m s o f e x p e r i m e n t a l d e s i g n i s c o n s i d e r e d f i rs t, t r u e e x p e r i m e n t s , t h e n q u a s i -

e x p e r i m e n t s . T h e n p r o b l e m s o f m e a s u r e m e n t : p r o c e d u r e s , v a l i d it y , a n d b ia s . In a ll o f

t h e s e , a p p l i c a t i o n t o t h e e x p e r i m e n t i n g s o c i e t y t u r n s o u t t o r a i s e a h o s t o f n e w

m e t h o d o l o g i c a l i ss u e s. F o l l o w i n g t h e se , m o r e g e n e r a l i s s u e s o f s c ie n t i fi c m e t h o d a r e

c o n s i d e r e d , s u c h a s c ri ti c i sm a n d r e p l i ca t io n . F i n a l l y , t h e p r o b l e m o f l e g is l a ti v e

a s s i m i l a ti o n o f e v a l u a t i o n a l e v i d e n c e i s c o n s id e r e d .

U s e s o f x p e r i me n t a t i o n in t h e x p e r i me n t i n g S o c i e ty

T h e e x p e r i m e n t i n g s o c i e t y w i l l a t te m p t e x p e r i m e n t a l e v a l u a t i o n s o f al l p r o g r a m

i n n o v a t i o n s f o r w h i c h s u c h i s p o s s i b l e a n d u s e f u l. T h i s e s s a y a d v o c a t e s g r e a t ly

e x p a n d e d u s e o f e x p e r i m e n t a l e v a lu a t i o n s . Y e t it w o u l d b e w r o n g t o d e m a n d t h a t o n l y

t h o se i n n o v a t i o n s b e m a d e w h i c h c a n b e e x p e r i m e n t a l l y e va l ua t ed . W e m u s t b e w a r y

o f u s i n g a r e q u i r e m e n t f o r h a r d h e a d e d e v a l u a t io n a s a g r o u n d s f o r i n a c ti o n o r

p o s t p o n e m e n t . W e m u s t r e c o g n i z e t h a t i n a n y s c ie n c e u s a b l e e x p e r i m e n t a l l a b o r a to r i es

a re u n e v e n l y d i s tr i b u t e d a n d m a y n o t b e a v a i la b l e f o r a n y g i v e n p r o b l e m . T h u s t h e s h if t

t o n e w m a t h i n e l e m e n t a r y e d u c a t i o n w a s b o t h t r i e d o u t a n d e s t a b l i s h e d w i t h o u t

e x p e r i m e n t a l e v i d e n c e f o r i ts s u p e r i o r it y b e c a u s e t h e n e w m a t h m a d e t h e a v a il a b le

a c h i e v e m e n t t e s t s i r r e l e v a n t ) . I t h a s b e e n p l a u s i b l y a r g u e d t h a t m a n y b r o a d - a i m

p r o g r a m s m a y b e u n e v a l u a b l e W e i ss a n d R e i n , 1 9 6 9 , 1 9 7 0 ; C a m p b e l l , 1 97 0 ). T h e r e

w i l l a l so b e i n s t a n c e s i n w h i c h r e a s o n a b l e e s t im a t e s o f t h e p o s s i b l e i n f o r m a t i o n a l g a i n

f a il t o j u s t if y t h e c o s t s o f e x p e r i m e n t a l e v a l u a t io n . N o n e o f t h e s e c o n d i t i o n s s h o u l d b e

u s e d t o a r g u e a g a i n s t im p l e m e n t i n g a n e w p r o g r a m u n l e s s s u p e r i o r a l te r n a ti v e s a re a t

h a n d .

E x p e r i m e n t s a r e to d a y m o s t c o m m o n a s p i lo t p r o g r a m s , t e s ti n g o u t o n e x p e r im e n -

t al p o p u l a t i o n s a n d f o r e x p e r i m e n t a l p e r i o d s p r o g r a m s o r a s p e c t s o f p r o g r a m s t h a t a re

c a n d i d a t e s f o r a d o p t i o n a s n a t i o n a l p o l i c y . T h e N e w J e r s e y n e g a t i v e i n c o m e t a x


8/38

230 EV AL UA TIO N PRAC TICE, 12 3) , 1991

e x p e r i m e n t W a t ts 1 9 6 9 ; 1 9 7 1 ; O f f i c e o f E c o n o m i c O p p o r t u n i t y , 1 9 7 1 ; O r r , H o l l is t er ,

L e f c o w i t z a n d H e s t er , 1 9 7 1 ) a n d t h e o t h e r s th a t a re f o l l o w i n g i t a re t h e m o s t v i v i d

e x a m p l e s . T h i s i s a m o s t i m p o r t a n t fu n c t i o n a n d m a y r e m a i n t h e m o s t f r e q u e n t o c c a s io n

o f r e se a r c h d e s i g n s i n v o l v i n g t h e r a n d o m a s s i g n m e n t o f so c i a l u n i t s t o e x p e r i m e n t a l

a n d c o n t r o l t r e a tm e n t s . B u t s u c h p i l o t p r o g r a m s w i l l i n e v i t a b l y s u f f e r i n g e n e r a l i z a b i l i t y

d u e t o s o m e d e g r e e o f a r t if ic i a li ty , r e a c t iv e m e a s u r e m e n t s , H a w t h o r n e e f fe c t s, e tc .

E x p e r i m e n t a l d e s i g n i s a ls o i m p o r t a n t a l t h o u g h m o r e d i f fi c u lt , w h e n a n i n n o v a -

t i o n i s a d o p t e d a s n a t i o n a l p o l i c y . A t s u c h a t i m e , t h e r e s u lt s o f t h e p i lo t e x p e r i m e n t

s h o u l d b e c r o s s - v a l id a t e d i n fu l l a p p li c a ti o n . T h e r e a re p e r h a p s f o u r g e n e r a l m o d e l s a s

t o h o w t h is m i g h t b e d o n e . I f th e i n t r o d u c t i o n o f t h e n e w p o l i c y w i l l b e s p r e a d o u t i n

t i m e w i t h s o m e r e g i o n s b e i n g a f f e c t e d s o o n e r t h a n o t h e rs , a p o l i c y o f s t a g e d i m p l e m e n -

t a t i o n w h i c h s e l e c t s t h e e a r l i e s t a n d l a t e s t r e g i o n s f o r m a x i m u m c o m p a r a b i l i t y c a n

a c h i e v e t r u e e x p e r i m e n t a l s t a t u s f o r f ir s t y e a r e f f e c t s, w i t h t h e a d d e d b o n u s o f h a v i n g

t h e e f fe c t d e m o n s t r a t e d a s e c o n d t im e w h e n i m p l e m e n t e d in t h e d e l a y e d -i n t ro d u c t i o n

r e g i o n s S e e P a r k e r , 1 9 6 3 , f o r a n u n p l a n n e d v e r s i o n o f s u c h a d e s i g n ) . T h e p e r i o d o f

i n t r o d u c t i o n t h u s m a y p r o v i d e t h e la s t g o o d c h a n c e f o r l e a rn i n g s o m e t h i n g o f t h e e f fe c t

o f a n e w n a t i o n a l p r o g r a m . B u t a t s u c h a t i m e , t h e c u r i o s it y a b o u t i ts e f fe c t s m a y b e l e s s

t h a n z e ro , e i th e r t h r o u g h p o s t - d e c i s i o n d i s s o n a n c e - a v o i d i n g m e c h a n i s m s , o r d u e to a

f e e l i n g t h a t t h e i n f o r m a t i o n w o u l d b e o f n o u s e n o w t h a t t h e d e c i s i o n h a s b e e n

i r re v o c a b l y m a d e . W h i l e t h e l i k e l i h o o d o f i m m e d i a t e u s e i s u n d o u b t e d l y l e s s

p o s t d e c i s i o n a l l y , t h e f u t u r e u s e o f t h e i n f o r m a t i o n i n l a t e r r e c o n s i d e r a t i o n s a n d

m o d i f i c a t i o n s j u s t i f i e s t h e e f fo r t , a n d a l s o d o e s i t s v a l u e f o r t h e s c i e n c e w h i c h w i l l b e

u s e d i n d e s i g n i n g l a t e r i n n o v a t i o n s a n d t h e m e t a s c i e n c e i n v o l v e d i n e x t r a p o l a t i o n s

f r o m t h e p i lo t e x p e r i m e n t s t o i m p l e m e n t e d p o l ic y . T h i s s t a ge d i m p l e m e n t a t i o n

e x p e r i m e n t is n o t id e a l , b e c a u s e i t i s l i m i t e d t o i n i ti a l r e a c t i o n s t o t h e n e w p o l i c y . T h e

s o c i a l m e c h a n i s m s o f a c c o m m o d a t i o n , e x p l o i t a t i o n , a n d e v a s i o n m a y n o t h a v e

e m e r g e d i n f u l l s t r e n g t h , o r , m o r e h o p e f u l l y , t h e f u l l i m p a c t m a y n o t y e t b e f e l t .

G e n e r a l i z in g f r o m e a r ly i m p l e m e n t a t i o n t o w e l l e s t a b l is h e d c u s t o m h a s th e s a m e k i n d

o f p r o b l e m s t h a t g e n e r a l i z i n g f r o m p i l o t e x p e r i m e n t t o i m p l e m e n t e d p o l i c y h a v e ,

t h o u g h p r o b a b l y t o a l e s se r d e g r e e .

A s e c o n d m e t h o d a v a i l ab l e f o r e v a l u a t in g n e w p r o g r a m s a f f e c ti n g a ll p e r s o n s i s

t h e i n t e r ru p t e d ti m e - s e r i e s q u a s i - e x p e r i m e n t a l d e s i g n C a m p b e l l , 1 9 6 9 , p p . 4 1 2 - 4 1 9 ;

R o s s , C a m p b e l l a n d G l a ss , 1 9 7 0 ). T h i s r e q u i re s t h e e x i s t e n c e o f r e le v a n t d a t a s e ri e s a n d

a n a b r u p t r a t h e r t h a n g r a d u a l i m p l e m e n t a t i o n . I f s i m i l a r st a te s o r n a t i o n s e x i s t w h i c h

a re n o t m a k i n g t h e c h a n g e a t t h e s a m e t i m e , b u t a re s i m i l a r in o t h e r p o t e n t ia l c h a n g e

a g e n t s , t h e n c o n t r o l - s e r i e s a d d i n f e r e n t i a l s t r e n g t h . F o r t h i s d e s i g n a s f o r t h e s t a g e d

i n t r o d u c t i o n , o n l y p r o g r a m changes n o t o n g o i n g p r o g r a m s , c a n b e e v a l u a t e d .

M a n y a m e l i o r a t i v e p r o g r a m s , p a r t ic u l a r ly c o m p e n s a t o r y o n e s , d o n o t a f fe c t al l

c i ti z e n s a n d a r e in s h o r t s u p p l y . S u c h p r o g r a m s c a n b e e x p e r i m e n t a l l y e v a l u a t e d w h i l e

i n re g u l a r o p e r a t i o n , a s w e l l a s i n p i lo t o r in o n s e t. R a n d o m a s s i g n m e n t f r o m g r o u p s

o f e l ig i b l e s la r g e r th a n p r o g r a m c a p a c i t y m a k e s p o s s i b l e tr u e e x p e r i m e n t s . Q u a n t i f ic a -

t i o n o f t h e e l i g i b i l i t y c r i t e r i a a n d u s e o f a s h a r p c u t t i n g p o i n t m a k e s p o s s i b l e t h e

r e g r e s s i o n - d i s c o n t i n u i t y q u a s i - e x p e r i m e n t a l d e s ig n C a m p b e l l , 1 9 6 9 , p p . 4 1 9 - 4 2 6 ) .

I n a d d i t i o n t o e x p e r i m e n t s b y g o v e r n m e n t , t h e e x p e r i m e n t i n g s o c i e t y s h o u l d

m a k e p o s s i b l e t h e u s e o f sc i e n ti f ic e x p e r i m e n t a l t e c h n i q u e s b y c i t i z en g r o u p s i n d e p e n -


9/38

Methods for the Experimenting Society 231

d e n t o f , o r i n c r it ic i sm o f g o v e r n m e n t ( G o r d o n , 1 9 7 1 ). H a u s s e n s t a m m ' s u s e o f

e x p e r i m e n t a l ly i n t r o d u c e d B l a c k P a n t h e r b u m p e r s ti c k er s t o d e m o n s t r a te d i s c r im i n a -

t o r y en f o r cem en t o f t ra f f ic law s p r o v i d es o n e ex am p l e ( 1 9 7 0; S ee a l s o G o r d o n an d

M y er s , 1 9 7 0 ) .

P r o g r a m e v a l u a ti o n s a b o u n d . M o s t a r e a n e c d o t a l, o r d o c u m e n t th e d e l i v e r y o f

s e r v i ce s w i t h o u t e s t i ma t e s o f t h e e f f ec ts o f t h o s e s e r v i ce s. Th e m o r e e l ab o r a t e o n es a r e

co r r e l a t i o n a l ( Lev i n e , 1 9 6 9 ) . T r u l y ex p e r i men t a l o n es a r e r a r e . Y e t i t mu s t b e

em p h a s i zed t h a t th e r e i s a s p ec i a l k i n s h i p am o n g d e l i b e ra t e e f f o r ts to i m p r o v e s o c ie t y ,

t h e co n ce p t o f c au s e , an d t h e ex p e r i me n t . W h er eas s o c i a l s c ien t i st s o f ten a r g u e t h a t

t h ey , l ik e t h e a s t r o n o me r s , c an b u i l d a s c i en ce o n co r r e l a ti o n a l ev i d en c e a lo n e , an d can

d o w i t h o u t t h e p r im i t i v e c o n c e p t o f c a u s e a s d o e s p h y s i c s , w h e n i t c o m e s t o k n o w l e d g e

r e l ev an t t o d e s i g n i n g a b e t t e r s o c i e t y , th i s c an n o t b e s o .

Th i s i s n o t t o d en y t h a t t h e co n cep t o f c au s e i s a l o g i ca l h o d g ep o d g e , i n v o l v i n g

a n u m b er o f an a l y t i c c ri te r ia o f n o l o g i ca l r e la t i o n s h i p to each o t h e r , an d o f n o en t a i l ed

s t a tu s b ey o n d o b s e r v a t i o n o f p a s t co r r e la t io n . Le t u s a ccep t t h e f ac t t h a t ma n ' s d eep l y

i n g r a i n ed co n ce p t o f c au s e i s a p r o d u c t o f b i o lo g y , p s y ch o l o g y an d ev o l u t i o n ( Lo r en z ,

1 9 3 9 ; C a m p b e l l , 1 9 7 4 ) r a t h e r t h an a p u r e an a l y t ic co n cep t . I f s o , i t r e f lec t s t h e ad ap t i v e

ad v an t ag e o f b e i n g ab l e t o i n t e r v en e i n t h e w o r l d t o d e l i b e r a t e ly ch an g e t h e r e l a t io n s h i p

o f o b j ec ts . F r o m am o n g a l l th e o b s e r v ab l e co r r e l a t io n s i n t h e en v i r o n m en t , m an an d h i s

p r e d e c e s s o r s f o c u s e d u p o n t h o s e f e w w h i c h w e r e , f o r h i m , m a n i p u l a b le c o r re l at io n s .

F r o m t h is e m e r g e d m a n ' s p r e d i le c t io n f o r d i s c o v e r in g c a u s e s , r a th e r t h a n m e r e

cor re l a t i ons . In l abora to ry sc i ence , th i s search i s rep re sen t ed i n t he expe r im en t , w i th i ts

w i l l f u l , d e l i b e r a te i n t r u s i o n in t o o n g o i n g p ro ces s e s . S i m i l a rl y f o r t h e am e l i o r a ti v e

s o c i a l s c ien t is t : O f a l l o f t h e co r r e l a t i o n s o b s e r v ab l e i n t h e s o c i a l en v i r o n m en t , w e a r e

i n t e r e s t ed i n t h o s e f ew w h i ch r ep r e s en t man i p u l ab l e r e l a t i o n s h i p s , i n w h i ch b y

i n t e r v en i n g an d ch an g i n g o n e v a r i ab l e w e can a f f ec t an o th e r . N o am o u n t o f p a s s i v e

d es c r i p t i o n o f t h e co r r e l a t io n s in t h e so c i a l en v i r o n m en t can s o r t o u t w h i ch a r e cau s a l

i n t h i s s en s e . To l ea r n ab o u t t h e man i p u l ab i l i t y o f r e l a t i o n s h i p s o n e mu s t t r y o u t

m an i p u l a t i o n . Th e s c i en t if i c , p r o b l em - s o l v i n g , s e lf - h ea l i n g s o c i e ty m u s t b e an ex p e r i -

m e n t i n g s o c ie t y .

P r o b l e m s o f t h e T r u e x p e r i m e n t s f o r t h e x p e r i m e n t i n g S o c ie t y

A r b i t r a r y c o n t r o l a n d d i s g u i s e

T r u e e x p e r i m e n t s i n v o l v i n g r a n d o m i z a t io n a re

u n d o u b t ed l y th e m o s t e f f ic i en t an d v a l id . W h i l e I h av e b een an ad v o c a t e o f s o me q u as i -

ex p e r i m en t a l d e s i g n s w h e r e r an d o m i za t i o n is n o t p o s s i b le , d e t a i led co n s i d e r a t i o n o f

s p ec i f ic ca s e s ag a i n an d ag a i n r e i n f o r ce s m y b e l i e f in t h e s u p e r i o r it y o f tr u e ex p e r i -

m e n t s . A s a d v i so r s to t h e e x p e r i m e n t i n g s o c ie t y w e w i ll o f t e n r e c o m m e n d s u c h

r e s ea r ch d es i g n s . Y e t t h ey p r e s en t s p ec i a l mo r a l p r o b l ems w h i ch w e w i l l h av e t o

co n s i d e r . T r u e e x p e r i m en t s a re b e s t d o n e w h e r e t h o s e d e s i g n i n g an d d i r ec t i n g t h e s t u d y

h av e m o s t co m p l e t e an d a r b i t ra r y co n t r o l o v e r t h e p eo p l e p a r t i c i p a t in g i n t h e s t u d y , t h a t

i s in t o ta l i n s t i tu t i o n s s u ch a s p r i s o n s an d a r m i es ( D u b o s , 1 9 7 0 ). O n e n ee d s o p t i m a l l y

t o b e ab l e to r an d o m l y a s s i g n p e r s o n s to ex p e r i men t a l t r e a t men t s an d t o en f o r ce 1 0 0

% p a r t i c ip a t i o n in t h e s e t r ea t men t s . To av o i d r eac t i v e a r r an g em en t s , t h e p a r t ic i p an t s

s h o u l d b e u n aw ar e o f t h e ex p e r i m en t , u n aw ar e t h a t o t h e r p eo p l e a r e d e l i b e ra t e l y b e i n g


10/38


g i v e n d i f f e r e n t t r e a t m e n t s (C a m p b e l l , 1 9 6 9 b , p p . 3 6 7 - 3 7 7 ) . S p e a k i n g f r o m t h e p o i n t

o f v i e w o f h u m a n i s t i c e x i s te n t ia l so c i a li s m , J a n o u s e k ( 1 9 7 0 ) h a s cr i ti c iz e d R e f o r m s

a s E x p e r i m e n t s o n t h e s e g r o u n d s . H e a r g u e s t h a t t h e w h o l e o r i e n ta t io n o f a ss i g n i n g

p e r s o n s t o t r e a tm e n t s b y r a n d o m i z a t i o n b e t o k e n s a n a u t h o r i ta r ia n p a t e r n a l is t i c i m p o -

s i t io n , t r e a t i n g c i t i z e n s a s p a s s i v e r e c i p i e n t s r a t h e r th a n a s c o - a g e n t s d i r e c t i n g t h e i r o w n

s o c i e ty , a s s u b j e c t s i n t h e p s y c h o l o g i s t ' s a n d m o n a r c h i s t ' s s e n s e , a s v i c t i m s o f t h e

e x p e r i m e n t r a t h e r th a n a s c o l l eg i a l a g e n t s o f t h e e x p e r i m e n t .

T h e e n f o r c e m e n t o f a s s i g n e d t r e a t m e n t s v i o l a t es t h e e g a l it a ri a n a n d v o l u n t a r i st i c

i d e a ls o f t h e e x p e r i m e n t i n g s o c i et y . T h e d i s g u i s e d e x p e r i m e n t v i o l a te s t h e s e t o o a n d

i n a d d i ti o n t h e o p e n n e s s , h o n e s t y , a c c o u n t a b i li t y . H o w e v e r m u c h w e m a y w e i g h t t he

v a l u e o f s c i e n t i f i c i n f o r m a t i o n i n d e c i d i n g u p o n t h e e t h i c s o f d e c e i t a n d l a c k o f

i n f o r m e d c o n s e n t i n h a r m l e s s e x p e r i m e n t a t i o n d o n e t o t e s t s c ie n t i fi c t h e o r ie s ( C o o k e t

a l ., 1 9 71 ; C a m p b e l l , 1 9 6 9 b , p p . 2 7 0 - 2 7 7 ) , s o c i a l e x p e r i m e n t a t i o n fo r p o l i c y d e c i s i o n s

m u s t a d h e r e m e t i c u l o u s l y to m e a n s i d e a l i s m o n t h e s e is s u e s, a n d s h o u l d i n c l u d e n o

r e s e a r c h p r o c e d u r e s t h a t w o u l d b e e x c l u d e d a s a p a r t o f r e g u l a r g o v e r n m e n t a l

p r o c e d u r e s . P a r t i c i p a t i o n i n p o l i c y e x p e r i m e n t s i s m o r e a k i n t o p a r t i c i p a t i n g i n

d e m o c r a t i c p o li ti c a l d e c i s i o n m a k i n g t h a n t o p a r t ic i p a ti n g in t h e p s y c h o l o g y l a b o r a -

t o r y . T h e s e r e s t r i c t io n s a l l h a v e c o s t s i n t h e v a l i d i t y o f e x p e r i m e n t a l i n f e r e n c e . T h e y

a r e c o s t s w h i c h w e m u s t l i v e w i t h , a n d t r y t o c o m p e n s a t e f o r in o t h e r w a y s .

T h u s t h e t a s k o f f ir s t p r i o r it y f o r t h e m e t h o d o l o g i s t s o f t h e e x p e r i m e n t i n g s o c i e t y

i s t o d e s i g n e x p e r i m e n t a l a r r a n g e m e n t s t h a t o b v i a t e t h e s e d i f f i c u l t i e s . J a n o u s e k h a s

s u g g e s t e d t h a t s o m e s y s t e m o f r o ta t io n b e t w e e n t h e r o le s o f e x p e r i m e n t e r an d s u b j e c t

b e d e s i g n e d . W h i l e t h is i s n o t o b v i o u s l y f e a s i b l e , it i s w o r t h m o r e d e t a i l e d c o n s i d e r -

a t io n . T h e f o l l o w i n g s u g g e s t i o n s a r e l ik e w i s e o n l y i n i ti al f u m b l i n g s t o w a r d p o s s i b le

so lu t ions .

Randomized invitations W h e r e t h e r e is a n e w t r e a t m e n t in s h o r t s u p p l y , a n d

w h e r e t h e r e i s o n h a n d a r e l e v a n t d a t a c o l l e c t i n g s y s t e m c o v e r i n g a l l p o t e n t i a l

p a r t i c i p a n t s ( e .g . , F i s h e r , 1 9 7 1 ; H e l l e r, 1 9 7 1 ; L e v e n s o n a n d M c D i l l , 1 9 6 6 ) , r a n d o m -

i z e d i n v i t a t io n s c a n b e u s e d a s a d e m o c r a t i c m e a n s o f a l l o c a t i n g th i s s c a r c e r e s o u r c e .

T h u s S t a p l e to n ( 1 9 7 0 ; S t a p l e t o n a n d T e i t e l b a u m , i n p re s s ) o f f e r e d a r a n d o m s a m p l e o f

a r r e s te d j u v e n i l e s t h e s e r v i c e s o f a p ro j e c t l a w y e r . T h u s o n e m i g h t o f f e r p s y c h o t h e r a p y

t o a r a n d o m s a m p l e o f s t u d e n ts o r l if e in s u r a n c e s a l e s m e n p e r f o r m i n g p o o r l y a s j u d g e d

b y g r a d e p o i n t a v e r a g e o r v o l u m e o f sa le s . O r t h o s e d r a w i n g u n e m p l o y m e n t in s u r a n c e

o r s h o w i n g l o w e a r n i n g s o n w i t h h o l d i n g t a x r e c o r d s m i g h t b e i n v i t e d t o a s p e c i a l

t r a in i n g p r o g r a m , o r i n c o m e s u p p l e m e n t p r o g r a m , e tc . T h e c o n t r o l g r o u p a r e th o s e

u n i n v i t e d , e q u a l l y e l i g i b l e b u t n o t s e l e c t e d i n t h e l o t te r y . T h e i n v i t e e s a r e o f c o u r s e

a w a r e o f t h e e x p e r i m e n t . I n g e n e r a l it is t h e d e c e p t i o n o f t h o s e b e i n g e x p e r i m e n t e d w i t h

t h a t is c r u c ia l , s o t h e c o n t r o l p o p u la t i o n m i g h t w e l l b e l e f t u n i n f o r m e d o r i n f o r m e d o n l y

t h r o u g h p u b l i c a n n o u n c e m e n t th a t s u c h a l o t te r y w a s t o ta k e p l ac e , o r t h e y m i g h t b e

i n f o r m e d i n d i v i d u a l ly a b o u t t h e e x p e r i m e n t .

R a t e s o f a c c e p t a n c e f o r m o s t s u c h p r o g r a m s w i l l b e s o l o w a s to c r e a t e s p ec i a l

p r o b l e m s o f a n a l y s is t h a t n e e d s o l v i n g . I n S t a p l e t o n ' s s t u d y , o n l y 6 0 % a c c e p t e d . In

o t h e r s t u d i e s t h e r a t e w i l l b e m u c h l o w e r . T h e r e r e s u l t a s le a s t t h r e e g r o u p s : I n v i t e d -

T r e a t e d , I n v i t e d - U n t r e a t e d , a n d U n i n v i t e d . C o m p a r i s o n s o f t h e T r e a t e d w i t h t h e

U n i n v i t e d a r e b i a se d , b e c a u s e t h e a c c e p t a n c e p r o c e s s i n v o l v e s a s y s t e m a t i c s e l e c ti o n


11/38

M ethods for the Experim enting Society 233

n o t p a r a l l e led i n t h e u n i n v i t ed g r o u p , an d t h i s s e lec t i o n a l o n e can p r o d u c e s i g n i fi can t

d i f f e rences . S t ap l e ton i l l u s t r a t es t h i s se l ec t ion a lone can p roduce s ign i f i can t d i f f e r -

en ces . S t ap l e t o n i l l u st r a te s t h i s l i k e l i h o o d i n s u p p l em en t a r y an a l y s e s o f p r e - t ri a l d a t a .

A n u n b i a s ed co m p ar i s o n p o o l s a l l t h o s e i n v i ted , w h e t h e r t r ea t ed o r n o t , an d co m p ar e s

t h em w i t h a ll o f t h e u n i n v i t ed . B u t t h i s o b v i o u s l y d i l u te s t h e e f f ec t s b y i n c l u d i n g t h e

i n v i t ed - u n t rea t ed . W h i l e a s t r o n g e f f ec t may s ti ll s h o w u p i n s p i t e o f th i s , m an y g en u i n e

e f f ec t s w i l l b e s w am p ed . H e r e i s a p r o b l em w o r t h y o f d e t a i l ed a t ten t i o n b y m a t h em a t i -

ca l s t a t i s t i c i ans and o ther s . One l i ne o f approach i s t o go back to t he t r ea t ed ver sus

u n i n v i t e d c o m p a r i s o n , a n d d e v i s e m e t h o d s f o r e s t im a t i n g li m i ts o n h o w m u c h o f t h is

d i f f e r en ce co u l d b e a t tr ib u t ed t o s e l ec t i o n r a th e r t h an t r ea t men t . A n o t h e r ap p r o ach

av a i l ab le w h e n th e meas u r e is co n t i n u o u s e . g ., i n co m e) r a t h e r t h an d i ch o t o m o u s e . g .,

g u i l t y v s . n o t g u i l t y ) i s t o f o cu s t h e co m p ar i s o n o n t h e u p p e r ed g e o f t h e p o s t t e s t o r g a i n

s co r e s , u s i n g e i t h e r a ch i- s q u a r e o r r an d o m i za t i o n t -t e s t C am p b e l l an d B o r u ch , 1 9 7 0 ).

A n o t h e r ap p r o ach i n v o l v es ap p r o x i m a t e e f f o rt s t o d i v i d e t h e u n i n v i t ed co n t r o l g r o u p

a l o n g l i n e s s imi l a r to t h e i n v i t a ti o n - s e l ec t io n o f t h e i n v i ted s A n d r ew G o r d o n , p e r s o n a l

co m m u n i ca t i o n s ) . Th u s f o r a s am p l e o f th e u n i n v i t ed , in f o r m a t i o n ab o u t t h e ex p e r i-

m e n t a n d t h e f a c t th a t t h e y w e r e n o t c h o s e n c o u l d b e a c c o m p a n i e d b y a n i n q u ir y a s t o

w h e t h e r t h e y w o u l d h a v e a c c e p t e d i f th e y h a d b e e n i n v i te d , a n d w h e t h e r o r n o t t h e y

w o u l d b e i n t e r e s t ed i f a f u t u r e o p p o r t u n i t y a r o s e . Wh i l e m o s t e x p o s t fa c t o m a t c h i n g s

a r e u n u s a b l y b i a se d , t h e e x i s t e n c e o f t h e p r io r r a n d o m i z a t i o n m i g h t m a k e s o m e s u c h

p r o ces s u s ab l e i n t h i s s e t t i n g , s o me t h i n g o n t h e o r d e r o f p o s t h o e b l o ck i n g . Th o s e

b ack g r o u n d v a r i ab l e s w h i ch d i s t i n g u i s h accep t e r s f r o m n o n accep t e r s i n t h e i n v i t ed

g r o u p w o u l d b e u s ed t o p u r i fy b o t h t h e i n v i ted accep t e r s p lu s n o n accep t e r s ) an d t h e

u n i n v i te d , h o p e f u l l y t h u s s h r i n k in g t h e s iz e o f t h e i n v i t e d -n o n a c c e p t e r s m u c h m o r e

t h an t h e o t h e r g r o u p s . W i t h i n th i s p u r i f ied s am p l e , t h e co m p ar i s o n w o u l d s t i ll p o o l

accep t e r s an d n o n acc ep t e r s , b u t s i n ce t h e l a tt e r w o u l d b e a r e l a t iv e l y s ma l l e r g r o u p , th ey

w o u l d d i l u t e t h e co mp ar i s o n le s s . N o t e t h a t t h e o p p o r t u n i s m i n v o l v ed i n s e l ec t i n g

v a r i ab l e s mi g h t p r o d u ce a s y s t ema t i c b i a s. ) Th es e a r e u n m a t u r ed s u g g es t i o n s . H o p e -

f u ll y t h e y c o n v e y t h e c h a l l e n g e to t h e i n v e n ti v e n e s s o f t h e m e t h o d o l o g i c a l c o m m u n i t y .

V o l u n t e e r s f o r e x p e r i m e n t a t i o n

A n o t h e r ap p r o ach i s t o a s s emb l e v o l u n t ee r s

w h o a r e t o ld ab o u t t h e ex p e r i m en t an d ag r ee to p a r ti c ip a t e n o ma t t e r w h i ch t r ea t m en t

o r co n t r o l g r o u p t h ey e n d u p i n ; a ccep t i n g t h e s c i en t if i c n eces s i t y o f r an d o m i za t i o n . A l l

p a r t i c ip an t s a r e p r e t e s ted , an d t h en r an d o m l y a s s i g n ed t o t r ea t men t s , w i t h o r w i t h o u t

b l o ck i n g v a r i ab le s . R ev e r s i n g t h is o r d e r an d r an d o m i z i n g b e f o r e p r e t e s ti n g w o u l d

t h r o w l i g h t o n t h e r eac t i v i ty o f t h e p r o ces s . ) Th i s d e s i g n m ax i m i zes s e l f - co n s c i o u s

e f f ec t s f o r th e t r ea t m en t g r o u p s an d d e p r i v a t i o n fee l i n g s o n t h e p a r t o f t h e co n t r o l s .

S e l i g m an , 1 9 6 9 , p o i n t s o u t w h a t s t r o n g an d u n u s u a l t rea t me n t s a s o - ca ll ed co n t r o l

g r o u p m ay b e g e t t in g . Th i s p r o b l em n eed s e l ab o r a t io n f o r s o c i a l ex p e r i m en t a t i o n .) B u t

ev en w i t h a ll t h is a r t if ic i a li ty , s u ch e x p e r i m en t s w i l l b e w e l l w o r t h d o i n g i f w e can d o

no be t t e r .

Th i s d e s i g n i s p a r t icu l a r ly ap p r o p r i a t e f o r p a r t ic i p an t - d es i g n ed ex p e r i m en t s i f t h e

m e t h o d o l o g i c a l c o m m u n i t y c a n e d u c a t e p a r t ic i p a n t p o p u l a t io n s o n t h e i m p o r t a n c e o f

t h is me t h o d i n l e a r n i n g w h e t h e r o r n o t t h e p r o g r am t h ey h av e d es i g n e d is e f f ec ti v e an d

w o r t h r e c o m m e n d i n g t o o th e r s.


12/38


Problem s with randomization

I n s p i t e o f a g e o l d t r a d i t i o n s f o r u s e o f l o t t e r ie s

i n s o c ia l d e c i s i o n m a k i n g ( M o o r e , 1 9 5 7 ; A u b e r t , 1 9 5 9 ) , a n d i ts r e c e n t r i t u a l iz a t i o n i n

d r a f t lo t t e ri e s , th e r e is g r e a t p u b l i c o p p o s i t i o n t o r a n d o m i z a t i o n . T h e m e t h o d o l o g i s t f o r

t h e e x p e r i m e n t i n g s o c i e t y n e e d s t o s t u d y t h e s e o b j e c t i o n s a n d t h e v a l u e s t h e y r e f le c t .

W h e r e t h e y r e p r e s e n t v a l i d f e a r s , h e m u s t p r o v i d e m e t h o d s t o o b v i a t e t h e d a n g e r s .

W h e r e t h e y r e p r e s e n t m i s u n d e r s t a n d i n g s , w a y s o f c l a ri f ic a t io n a n d j u s ti f ic a t i o n m u s t

b e d e v e l o p e d . A s h a s b e e n m e n t i o n e d a b o v e , w h e n a n e w i n n o v a t i o n i s in s h o r t s u p p l y ,

a s a ll a r e i n t h e ir p i lo t t e s t in g a n d m o s t c o m p e n s a t o r y p r o g r a m s a r e c o n t i n u a l l y , th e n

r a n d o m i z a t i o n i s l e g it i m a t e l y p r e s e n t e d a s t h e m o s t d e m o c r a t i c w a y o f d i s tr i b u ti n g t h e

b o o n a m o n g t h o s e e li g ib l e : a ll h a v e a n e v e n c h a n c e , t h e d e c i s io n b e i n g f a i r l y m a d e b y

a n u n b i a s e d l o t t e r y , w i t h t h e a d d i t i o n a l m o r a l g a i n f r o m t h e s o c i a l v a l u e o f t h e

i n f o r m a t i o n a b o u t p r o g r a m e f f e c t i v e n e s s m a d e p o s s i b le .

B u t i t i s n o t o n l y t h e r e c ip i e n t s w h o f e e l u n e a s y a b o u t r a n d o m i z a t i o n p r o c e d u r e s ,

i t is a l s o th e a d m i n i s t r a t o r s w h o a r e a s k e d to i m p l e m e n t th e m . O n e w a y t h e y e x p r e s s

t h is o b j e c t i o n i s t o s a y t h a t t h e y d o n ' t w a n t t o p l a y g o d w i t h o t h e r p e o p l e s l iv e s .

S t r a n g e l y e n o u g h , u s i n g a r a n d o m a s s i g n m e n t p r o c e d u r e g i v e s th e m t h is p l a y i n g g o d

f e e l i n g w h e n t h e ir u s u a l u s e o f t h e ir o w n i m p e r f e c t j u d g m e n t d o e s n o t. T h e s e c u l a ri z a -

t io n o f o u r w o r l d v i e w h a s p r o d u c e d a d r a m a t i c r e v er s a l o f ca u s a l p e r c e p t io n s h e r e . I n

p a s t a g es , l o tt e r y w a s u s e d w h e n p e o p l e w a n t e d t o g o b e y o n d h u m a n j u d g m e n t w i t h i ts

p o t e n t i a l f o r p a r t is a n b i a s a n d l e t G o d d e c i d e i n s t e a d . T h o s e c o n d u c t i n g t h e l o t te r y f e lt

t h a t t h e d e c i s io n w a s o u t o f t h e ir h a n d s a n d i n G o d ' s . D e c i s i o n s b a s e d u p o n f a l li b l e

h u m a n j u d g m e n t , r at h e r t h a n l o t te r y , w e r e i n s t a n c e s o f p l a y i n g g o d i n t h o s e d a y s .

T o d a y , n o l o n g e r b e l i e v i n g i n a n o m n i s c i e n t i n t e r v e n i n g G o d , w e s e e u s i n g a ta b le o f

r a n d o m n u m b e r s a s i m p o s i n g o u r o w n a r b it r ar y r u le u p o n o t h e rs . I n c o n tr a s t, p e r s o n a l

j u d g m e n t a l d e c i s i o n s b a s e d u p o n p a r ti a ll y i n a d e q u a t e a n d e r r o rf u l in f o r m a t i o n s e e m

f a i r e r , l e s s a r b i t r a r y , l es s d i c t a t o r ia l , l e s s e x a l t i n g o n e s e l f to a g o d w h o p l a y s w i t h

o t h e r s ' l i v e s . F o r t h e t i m e b e i n g I j u d g e t h i s t o b e m a g i c a l t h i n k i n g , a n d m o r e i r r a t i o n a l

t h a n t h e a n c i e n t G o d - t r u s t i n g l o t te r y ( a l th o u g h a s a p o l i c y I b e l i e v e o n e s h o u l d s u s p e c t

t h a t i n a l l s u c h f e e l i n g s l i es a h i d d e n k e r n e l o f t r u t h ) .

T h e p h y s i c a l f o r m o f t h e l o t t e ry m a y b e i m p o r t a n t . A p u b l ic m i x i n g a n d d r a w i n g

o f n a m e s m a y p r o d u c e m o r e a p p r o p r i a te c a u s a l p e r c e p t io n s o n t h e p a rt s o f b o th

a d m i n i s t r a to r s a n d r e c i p i e n t s t h a n d o e s t h e s o l it a r y c o p y i n g o f r a n d o m n u m b e r s f r o m

a t a b le o n t o a n a m e r o s t e r. S u b j e c t iv e e x p e r i e n c e s u n d e r s u c h c o n t r a s t in g c o n d i t i o n s

a r e w o r t h s t u d y i n g , e x p e r i m e n t a l l y o r i n r o l e - p l a y i n g s i m u l a t io n .

A b h o r r e n c e o f t h e d e p r iv a t i o n s u f f e r e d b y a n u n t r e a te d c o n t r o l g r o u p is m u c h

s t r o n g e r w h e n t h a t g r o u p h a s b e e n c r e a t e d b y a r a n d o m i z a t i o n p r o c e s s t h a n w h e n

a c h i e v e d c a s u a l l y , b y u n e x p l i c i t a s p e c t s o f t h e p o l it i c a l b u r e a u c r a t i c p r o c e s s . T h i s t o o

s e e m s a n i r ra t i o n a l o b j e c t i o n , a l t h o u g h t h e o r g a n i z a t i o n a l c a p a c i t y w h i c h a c h i e v e d t h e

r a n d o m i z a t i o n p r o c e s s c o u l d u s u a l l y h a v e d e l i v e r e d th e t r e a t m e n t t o t h e c o n tr o l s h a d

it w a n t e d t o, a n d t hi s i s m o r e u n i f o r m l y tr u e f o r r a n d o m i z e d c o n t r o l s t h a n f o r c a s u a l

c o m p a r i s o n g r o u p s .

T h e U n i v e r s i t y o f I l l i n o i s t w o y e a r s a g o r a n d o m l y s e l e c t e d a r t s a n d s c i e n c e s

a p p l ic a n t s f r o m a m o n g a p o o l o f t h o s e h i g h l y e l ig i b le . T h i s p o l i c y w a s s c o l d e d i n

e d i t o r i a ls a c r o s s t h e n a t i o n , i n c l u d i n g o n e i n Science ( 1 9 7 0 , 1 6 7 , 1 2 0 1 ) s u r p r i s i n g l y

e n o u g h . I n t h e s e e d i t o r i a l s , l e tt e r s to t h e e d i t o r s , a n d l e t te r s i n t h e u n i v e r s i t y ' s f i le o f

c o m p l a i n t s , i s t h e r a w m a t e r i a l f o r a f u l l e r s t u d y o f o b j e c t io n s , a n d a c o n c r e t e t o p i c f o r


13/38

M ethods for the xperimen ting Society

235

s t u d ie s o f p e rs u a s i o n a n d e d u c a t i o n . O u r m e t h o d s b o o k m u s t i n c l u d e n o t o n l y

a r g u m e n t s a n d e d u c a t i o n a l a p p r o a c h e s , b u t a ls o a re p e r t o ir e o f c o m p r o m i s e p o s i ti o n s ,

a n d s u b s t it u t e e x p e r i m e n t s o r i n d i r e c t e x p e r i m e n t s a s Z e i s e l ( 1 9 7 0 , 1 9 7 1 ) c a ll s t h e m .

P e r h a p s a t ie - b r e a k in g r a n d o m i z a t i o n w o u l d b e a l l o w e d i n t h e b o r d e r l i n e c u t - o f f r a n g e

o f e li g ib i li ty . P e r h a p s a s p e c i al s e t o f o p p o r t u n i t y a d m i s s i o n s c o u l d b e g i v e n r a n d o m l y

a m o n g t h o s e l a c k i n g t h e u s u a l q u a l i f i c at i o n s .

O n e r e a s o n o f f e r e d a g a i n s t r a n d o m i z a t i o n i s t h a t i t n e g a t e s d i f f e r e n c e s i n

e l i g i b il i ty , b e t h e s e d i f f e r e n c e s i n d e s e r v i n g u e s s o r n e e d i n e s s . P o p u l a r p r e f e r e n c e i n th e

U n i v e r s i ty o f I ll i n o is c a s e w a s t o g i v e t h e o p p o r t u n i t y t o t h o s e m o s t d e s e r v i n g . I n s u c h

a s i tu a t io n , i f t h e d e c i s i o n m a k e r s w i l l m a k e e x p l i c it t h e ir g r o u n d s o f d e t e r m i n i n g

e l i g i b il i ty , a n d p r o v i d e a n o r d e r i n g o f c a n d i d a t e s o n e l i g i b i l it y , t h e n t h e p o w e r f u l q u a s i -

e x p e r i m e n t a l r e g r e s s i o n - d i s c o n t in u i t y d e s i g n c a n b e u s e d ( C a m p b e l l , 1 9 6 9 a ) . H e r e t o o

t h e m e t h o d s o f i m p l e m e n t a t i o n , o f e s t a b l i s h i n g i n i n s t i t u t i o n a l p r a c t i c e p r o c e d u r e s

p r o v i d i n g a n a c c e p t a b l e q u a n t i f i c a ti o n o f t h e n e t e l i g ib i li ty d i m e n s i o n , n e e d t o b e

d e v e l o p e d .

E v e n w h e n r a n d o m i z a t i o n is a c c e p t e d a s p o l i c y , t h e r e a re m a n y m e t h o d o l o g i c a l

d e t a il s t o b e w o r k e d o u t ( C o o k a n d D i a m o n d , 1 9 7 1 ) , a n d p r o c e d u r a l g u i d e b o o k s t o b e

d e v e l o p e d . C o n s i d e r , f o r e x a m p l e , a V e t e r a n s ' H o s p i t a l R e s t o r a t io n C e n t e r , a h a l f - w a y

h o u s e . T h e m a n a g e r s a n d m a n y o f th e f e e d e r p e r s o n n e l r e c o g n i z e t h a t t h is o n e f a c il it y

c a n n o t m e e t t h e p o t e n t i a l d e m a n d , a n d t h a t i f it s e ff i c a c y w e r e t o b e e s t a b l is h e d , t r ip l in g

o r q u a d r u p l i n g t h e f a c i l i ti e s w o u l d b e d e s i r a b l e . P o t e n t i a l l y , th e s c a r c i t y o f t h e f a c il i ty

s h o u l d b e u s a b l e t o j u s t i fy r a n d o m a s s i g n m e n t o f p a t i e n ts t o t h e r e s to r a t io n c e n t e r o r

t o d ir e c t d i s c h a r g e i n t o th e i r h o m e c o m m u n i t y , a n d t h u s t h r o u g h l o n g t e r m f o l l o w u p

t o d e t e rm i n e w h e t h e r r e a d m i s s i o n s a n d u n e m p l o y m e n t w e r e l e ss f o r th o s e r e c ei v in g

t h is s p e c i a l f o r m o f g e n t le d d i s c h a r g e . T h e h i g h e r a d m i n i s tr a t io n i s s y m p a t h e t i c t o s u c h

a h a r d e v a l u a t i o n , i f f e a s ib l e a d m i n i s t r a t iv e p r o c e d u r e s c a n b e w o r k e d o u t , a n d i f t h e s e

c a n b e s o l d to t h o s e d e c i s i o n m a k e r s i n v o l v e d a t e a c h o f t h e a s s i g n m e n t d e c i s io n s t e p s .

B u t t h e r e a r e m a n y p r o c e d u r a l d i f f ic u l t ie s fo r w h i c h t h e a l te r n a t iv e m o d e s o f h a n d l i n g

e a c h h a s i ts o w n s ta t is ti c a l bi a s t e n d e n c i e s o r i m p o s e d d i s a p p o i n t m e n t s . T h e m e t h o d -

o l o g y i n t hi s ar e a h a s y e t t o b e a c c u m u l a t e d a n d f o r m a l i z e d . S o m e e x a m p l e s : I f o n e

w e r e t o a s s e m b l e a l a r g e g r o u p o f e a g e r a p p l i c a n ts f o r t h e re s t o r at i o n c e n t e r, a n d t h e n

r a n d o m l y r e j e c t h a l f, o n e h a s i n t r o d u c e d n o t o n l y t h e e x p e r i m e n t a l t r e a t m e n t o f t h e

r e s t o r a t i o n c e n t e r , b u t a l s o t h e t r e a t m e n t o f r e j e c t i o n a n d d i s a p p o i n t e d e x p e c t a t i o n s .

F o r t h e s e re a s o n s o f r e ac t iv e a r r a n g e m e n t s it m i g h t s e e m b e t t e r to r a n d o m i z e a m o n g

s u p e r v i s o r - d e s i g n a t e d e l ig i b le s , a n d t h e n r a n d o m l y i n v i te h a l f t o p a r t ic i p a te , l e a v i n g

t h e n o n - i n v i t e d u n a w a r e o f th e i r lo s t o p p o r t u n i ty . B u t t h i s p r o d u c e s t h r e e a w k w a r d l y

c o m p a r a b l e t r e a t m e n t g r o u p s : U n i n v i t e d , i n v it e d - tr e a t ed , a n d i n v i t e d - d e c l in e d ( c o n -

s i s ti n g i n p a rt o f t h o s e w h o p r e f e r re d r e l e a s e d i r e c tl y i n t o t h e c o m m u n i t y . ) T h e p r e s e n t

p r o c e d u r e i n v o l v e s s c r e e n i n g i n t e r v i e w s b y t h e R e s t o r a ti o n C e n t e r s t af f, w h o r e je c t o n

c o m p a t i b i l it y g r o u n d s , e t c . I f t h is f e a t u r e i s to b e k e p t , r a n d o m i z a t i o n w o u l d i d e a ll y

f o l l o w t h is s t e p. A t t h e p r e s e n t t i m e , t h e t r e a tm e n t u n i t s u s e l o w e r s t a n d a r d s o f h e a l th

f o r a s s i g n m e n t t o t h e R e s t o r a t io n C e n t e r t h a n f o r d i r e c t d i sc h a r g e . C a n t h o s e r e j e c te d

o n o n e l o t t e r y b e p l a c e d o n a w a i t i n g l i st o r b e e l i g i b le f o r c h a n c e s f o r a l a te r a s s i g n m e n t ,

o r d o e s t h is v it ia t e t h e r a n d o m i z a t i o n d e s i g n ? T h e r a n d o m a l lo c a t io n s y s t e m m u s t t a k e

i n to a c c o u n t t h e f e a tu r e t h a t th r e e t o fi v e p e r s o n s m u s t b e a s s i g n e d e a c h w e e k , k e e p i n g

t h e b e d s f i ll e d , a n d t h a t n o b a c k l o g p o o l o f p e r s o n s w a i t i n g o n t h e r e g u l a r w a r d s f o r


14/38


a s s i g n m e n t i s a c ce p t a b le . R a n d o m i z a t i o n p r o c e d u r e s w i th d e t a i l e d a d m i n i s t ra t i v e

i n s t ru c t i o n s m u s t b e d e v e l o p e d b e f o r e e x p e r i m e n t a t i o n c a n t a k e p l a c e i n s u c h s e t t in g s .

Differential loss of contact with controls.

I n t y p i c a l s o c i a l a m e l i o r a t i v e a n d

e d u c a t i o n a l e x p e r i m e n t s t h e r e s e a r c h p r o g r a m m u s t g e n e r a t e t h e p o s t te s t m e a s u r e s , a n d

t h e c o n t a c t s w h i c h o b t a i n t h e s e , f r o m b o t h e x p e r i m e n t a l a n d c o n t r o l g r o u p s . I n th i s c a s e

i t i s t y p i c a l t h a t t h e ra t e o f s u c c e s s f u l c o n t a c t a n d c o o p e r a t i o n i s m u c h h i g h e r w i t h t h e

e x p e r i m e n t a l s th a n w i t h t h e c o n t ro l s . F o r e x a m p l e I k e d a , Y i n g e r , a n d L a y c o c k ( 1 9 7 0 )

a re c o n d u c t i n g a t ru e e x p e r i m e n t w i t h an U p w a r d B o u n d t y p e p r o g r am . F o r

q u e s t i o n n a i r e f o ll o w - u p s , 2 1 % o f c a s e s a re l o st f r o m t h e e x p e r i m e n t a l g r o u p a n d 3 7 %

f r o m t h e c o n t ro l g r o u p . I n s o m e c o m p a r i s o n s t h e d i f f e r e n ti a l i s e v e n w o r s e . D e v e l o p i n g

m e t h o d s t o c o n t r o l t h is p o t e n t i al s o u r c e o f b ia s r e p r e s e n t a n i m p o r t a n t c h a l l e n g e t o

t e c h n i c a l m e t h o d o l o g i s t s . O n e a p p r o a c h i s to d e g r a d e t h e q u a l it y o f th e e x p e r i m e n t a l

g r o u p t o a d e g r e e c o m p a r a b l e t o t h a t o f th e c o n t r o l g r o u p , a s b y e m p l o y i n g i n a m a i l e d

f o l l o w - u p a s o u t - o f - d a t e a d d r e s s es f o r t h e e x p e r i m e n t a l g r o u p a s f o r th e c o n t ro l s , e v e n

t h o u g h b e t t e r a d d r e s s e s f o r t h e e x p e r i m e n t a l s a r e a v a i la b l e . S i m i l a r l y , b y h a v i n g t h e

f o l l o w - u p d o n e b y a n i n d e p e n d e n t a g e n c y t o w h i c h t h e e x p e r i m e n t a l s o w e n o g r a t i tu d e ,

t h e r e f u s a l r a t e s o f t h o s e a c t u a l l y c o n t a c t e d m i g h t b e c o m e a s l a r g e a s f o r t h e c o n t r o l s .

H y p o t h e s e s o f s e l e c t i o n b i a s i n t h e d i f f e r e n t i a l l o s s o f c o n t r o l c a s e s m u s t b e

s p e c i f i c t o b e p l au s i b le . T h o s e h y p o t h e s e s w h i c h p r o d u c e d i f f e r e n c e s in t h e s a m e

d i r e c ti o n a s w o u l d t h e t r e a t m e n t a r e m o s t i n v a li d a ti n g . T h e p r e s e n c e o f s e l e c t io n b i a s

m a y b e d e m o n s t r a b l e o n p r e t e s t m e a s u r e s o r p r e t r e a t m e n t c o r r el a te s , a n d s u c h a n a l y s e s

m a y p r o d u c e u s e f u l e s t im a t e s b o th o f d ir e c t io n a n d m a x i m u m p o s s i bl e m a g n i t u d e o f

t h e s e l e c t i o n e f f e c t (e . g ., e s t i m a t e s b a s e d o n t h e a s s u m p t i o n o f a . 9 0 c o r r e l a ti o n b e t w e e n

s o m e p r e t r e a t m e n t m e a s u r e a n d p o s t t e s t ) . T h r o u g h s u c h e x p l o r a t i o n s o n e m i g h t

e n c o u n t e r r e a s o n a b l e w a y s o f e s t i m a t i n g m a x i m u m s e l e c t i o n e f f e c t s s o t h a t l a r g e

d i f f e r e n c e s m i g h t b e f a i r l y a t t r i b u t e d t o t h e t r e a t m e n t . C o n s e r v a t i v e t e s t s o f s i g n i f i -

c a n c e to a c c o m p a n y s u ch c o m p a r i s o n m i g h t b e d e v e l o p e d .

G e n e r a l i z e d s u r v e y s o f t h e c h a r a c t e r i s t i c s o f l o s t c a s e s m a y a l s o b e h e l p f u l ,

a l t h o u g h l o c a l s i tu a t i o n s w i l l h a v e l o c a l la w s . ( I n I k e d a ' s s t u d y , th e s o u r c e n e i g h b o r -

h o o d s w e r e s u c h t h at c h i ld r e n w i t h m o r e a d e q u a t e f a m i l ie s w o u l d b e m o s t l i k e ly to

m o v e a w a y , a n d t h e r e is t h e p ro b a b i l it y t h a t s o m e o f t h e e x p e r i m e n t a l f a m i l ie s s t a y e d

b e c a u s e o f th e p r o g r a m . )

I n t h e O b e r l i n s t u d y , a s i n m a n y o t h e r s , t h e c o n t r o l s r e c e i v e d s o m e m i n i m a l

t r e a t m e n t j u s t t o k e e p c o n t a c t f o r f o l l o w - u p a n d r e d u c e d i f f e r e n t i a l a t tr i ti o n . S o m e

e x p e r i m e n t e r s c al l s u c h t r e a t m e n t s p l a c e b o s , b u t t h is c o n n o t e s a d e c e p t i o n w h i c h i s

o f t e n n o t p r e s e n t, a n d s h o u l d n o t b e i n p o l i c y - r e l e v a n t e x p e r i m e n t s . W o r t h s t u d y i n g i s

t h e u s e o f a g r a d u a t e d s e r i e s o f

Documents

Donald T. Campbell -- Methods for the Experimenting Society_1