Powell () the Role of Wrong Answers in Learning Dynamics

8/2/2019 Powell () the Role of Wrong Answers in Learning Dynamics

1/40


2/40

I n t r o d u c t i o n

W h a t d o e s r e s e a r c h s a a b o u t t h n a t u r e o l e a r n i n g w h e n a l a n s w e r s e l e c t i o n s a r c o n s i d e r e d ?

P i a g e t ' s ' m o d e l f o t h e p i s t e m o l o g y o l e a r n i n g d e s c r i b e s t w t y p e s o l e a r n i n g :1 A s s i m i l a t i o n : A d d i n g o i n f o r m a t i o n t o u e x i s t i n g s t o r e .2 A c c o m m o d a t i o n : A d a p t i n g t d i s e q u i l i b r i u m p r o d u c e d b y c o n t r a d i c t i o n s b e t w e e n

w h a t w h a v e a s s u m e w e k n o w a n a s i t u a t i o n s w e x p e r i e n c e . T h i s c o n t r a d i c t i o n i o f t e n r e s o l v e d b a i n s i g h t t h a t c h a n g e s o a u g m e n t s o u t h i n k i n g .

H e r e i a e x a m p l e o l i f e - c h a n g i n g i n s i g h t :T h d a i a l c h a n g e d 2

I p r o v i d i n g f o i n s i g h t t h e w a t g i v e s t u d e n t s a p p r e c i a t i o n o t h e i r o w c a p a b i l i t i e s ?T h s t r e a m e r s f r o m t h e f a n l o l l e d l a z i l y o t h a t h o t a f t e r n o o n i M a o 1 9 4 3 . T h h u g e f a

b l o w i n g c o o l a i f r o m t h b a s e m e n t w a n o t a c c o m p l i s h i n g m u c h t o w a r d c o o l i n g t h s c h o o l b e c a u s em o s t o t h e t e a c h e r s h a d o p e n e d t h e i r c l a s s r o o m w i n d o w s .

I w a t h c l a s s b e f o r e a f t e r n o o n r e c e s s . M r F r a n k l i n w a t e a c h i n g s c i e n c e t h i s i x t h g r a d e ." H e r e i h o s o u n d i c r e a t e d , " h e x p l a i n e d . H p u h i l e f t e l b o w o h i l e c t e r n a n

m o v e d h i f o r e a r m a c r o s s i f r o n t o h i m .P o i n t i n g t h i p a l m , a i d e s c e n d e d i a a r c , h s a i d , " A t h t i n e o t h t u n i n g f o r k m o v e s

t o w a r d t h a i i c o m p r e s s e s i t T h i s p r o d u c e s c o n d e n s a t i o n t h a t t r a v e l s o u t w a r d i a l d i r e c t i o n sf r o m t h f o r k . "

H t h e n s w u n g h i a r i t h o t h e r d i r e c t i o n . O n c e a g a i n p o i n t i n g t h i p a l m h e x p l a i n e d ," A t h t i n e s w i n g s t h o t h e r w a y , i s t r e t c h e s t h e a i r e d u c i n g i t p r e s s u r e . T h i s r a r e f a c t i o n f o l l o w st h c o n d e n s a t i o n o u i n t o t h a i r . W h e n s u c h c h a n g e s i a i p r e s s u r e r e a c h o u e a r s w h e a rs o u n d . "

H c o n t i n u e d h i e x p l a n a t i o n , " O c o u r s e , i s o m e t h i n g s h o u l d h a p p e n t h a t t w s u c h w a v e sa r p r o d u c e d , s t h a t t h c o n d e n s a t i o n i o n e x a c t l y c o i n c i d e s w i t h t h r a r e f a c t i o n o t h o t h e r , t h p r e s s u r e d i f f e r e n c e s c a n c e l e a c h o t h e r o u t . W w o n ' t h e a r a n y t h i n g . T h i s e v e n t i c a l l e d b e i n g i c o u n t e r p h a s e d

" T h e r e i s o m e t h i n g w r o n g h e r e , " t o l d m y s e l f . F r o m w h a t M r F r a n k l i n h a j u s td e m o n s t r a t e d , v i s u a l i z e d b o t h s i d e s o h i h a n d . A t h p a l m d e s c e n d e d , a n h i p a l m w a s q u a s h i n g t h a i t h b a c k o h i h a n d w a s s t r e t c h i n g i t T h o p p o s i t e w a t r u e o t h r e v e r s e s w i n g ." I f t h e a i o b o t h s i d e s o t h t i n e i r e s p o n d i n g a s a u n i t , t h e y s h o u l d c a n c e l e a c h o t h e r o u t . T h o p p o s i t e s i d e s o t h t i n e w o u l d b i c o u n t e r p h a s e . T h e r e f o r e w s h o u l d h e a r n o t h i n g ! "

t e s t e d t h i s i d e a b p l a c i n g p i e c e o f p a p e r o m p a l m . w a v e d m a r t h r o u g h t h a i t o w a r d t h e p a p e r . t h e n m o v e d m p a l m a w a y f r o m t h e p a p e r . I t f e l l t t h f l o o r . t r i e d t h s a m em o v e m e n t s o n t h b a c k o m h a n d , w i t h i d e n t i c a l r e s u l t s .

" P i c k u t h a t p a p e r ! " M r F r a n k l i n r e p r i m a n d e d a t h r e c e s s b e l l r a n g .s t o p p e d a h i d e s k a n t r i e d t o e x p l a i n m o b s e r v a t i o n .

" G o u t o p l a y ! " h e g r o w l e d b y w a o r e p l y . s h r u g g e d a n h e a d e d f o r t h e p l a y g r o u n d .


3/40

T h i s i n c i d e n t c h a n g e d m f o r e v e r . h a s e e n c o n t r a d i c t i o n i t h l o g i c o t h a t e x p l a n a t i o n .k n e w t h e x p l a n a t i o n h h a g i v e n w a w r o n g . h a j u s t h a m f i r s t t r u l y i n d e p e n d e n t t h o u g h t .

h a a l s o j u s t l e a r n e d t h a t c o u l d n o t r u s t t e a c h e r s t b " r i g h t " a l t h t i m e . r e a l i z e d t h a t c o u l dn o t h i n k f o m y s e l f . T g e t t h t r u t h w o u l d h a v e t w o r k s t e p - b y - s t e p t h r o u g h t h l o g i c o f a ne x p l a n a t i o n o m o w n !

W i t h t h e s e r e a l i z a t i o n s , b e c a m e i n s u l a t e d f r o m t h i n a n i t i e s a n c r u e l t i e s o s c h o o l i n g .S c h o o l w a n l o n g e r ' h e l l , ' m e r e l y m o s t l y s i l l y . T h i s r e a l i z a t i o n w a m f i r s t m a j o r s t e p t o w a r d t h i d e a t h a t p e o p l e a r o f t e n u n a w a r e o w h a t t h e y d n o k n o w .

I t h u n i m a g i n a b l e i n v i s i b l e ?T h r o l e o i n s i g h t s i l e a r n i n g

I n v o l v e d w i t h t h i s i n s i g h t w a t h t h o u g h t b o r r o w e d f r o m m o v i e h a r e c e n d y s e e n . I p o r t r a y e d a a i r p l a n e c r a s h f r o m m e t a l f a t i g u e . M t h o u g h t w a t h a t d i t i n e s e n t o u p u l s e o e n e r g y a t h e n o e a c h s w i n g . T h i s m e a n t t w o p u l s e s c a m e f r o m e a c h s w i n g , n o j u s t o n f o e a c hc y c l e . l a t e r d i s c o v e r e d t h a t t h i s c o n c l u s i o n w a i n c o r r e c t a s w e l l . I w a c o r r e c t a b o u t t h n u m b e ro p u l s e s b u d i n o e x p l a i n t h r o l e o a i i t h t r a n s m i s s i o n o s o u n d . N o t i c e h o t h i s i n s i g h tp r o d u c e d s y n t h e s i s w i t h p e r s o n a l e x p e r i e n c e s .

K n o w i n g t h a t M r F r a n k l i n ' s e x p l a n a t i o n w a w r o n g , r e s o l v e d t b e c o m e p h y s i c i s t t o f i n dt h r i g h t a n s w e r . W i t h t h i s m o t i v a t i o n , t a u g h t m y s e l f h o t r e a d a n h o t l e a r n . b e c a m es c i e n c e f i c t i o n f a a n a v i d r e a d e r o S c i e n t i f i c A m e r i c a n . M m a r k s i m p r o v e d s u b s t a n t i a l l y i n t h s e v e n t h g r a d e . c o n t i n u e d t h i s l i f e f o c u s u n t i l c i r c u m s t a n c e s c a u s e d m t w i t h d r a w f r o m h i g hs c h o o l w i t h o u t g r a d u a t i n g . T h f u l l s t o r y i i m b o o k ; M a k i n g P e a s a n t s i n t o K i n g s . 3

l a t e r f o u n d t h t r u e e x p l a n a t i o n w h e n r e a d a b o u t B r o w n i a n m o t i o n a n r e a l i z e d t h a t t h a i m o l e c u l e s w e r e l i k e m i n i a t u r e p i n g p o n g b a l l s r e s p o n d i n g t t h v e l o c i t y c h a n g e o d i t i n e , w i t hs o m e o v e r t a k i n g o t h e r s t p r o d u c e t h v a r y i n g p r e s s u r e p u l s e s o f s o u n d . T h i s r e a l i z a t i o n g a v e t w p u l s e s p e c y c l e . I a l s o e x p l a i n e d t h r o l e o a i i t r a n s m i t t i n g s o u n d .

t e l l t h i s s t o r y f r o m m b o o k b e c a u s e i i l l u s t r a t e s t w t y p e s o i n s i g h t :1 L i f e a n t h o u g h t - c h a n g i n g i n s i g h t s l i k e t h i s o n m a n i f e s t m e n t a l s h i f t t h a t i

o i t h o g o n a l t t h p r e v i o u s t h o u g h t p a t t e r n s a b o u t s e l f . A t h e b u t t o m u c h t e a s i n gb e c a u s e w a p o o r o r a l r e a d e r ( a d y s l e x i c ) h a l o o p i n i o n o m m e n t a lc a p a b i l i t i e s . w a c o n d i t i o n a l l y p a s s e d f r o m t h f i r s t t o t h e s e c o n d g r a d e s . U n l i k e m s i s t e r , w h w a r a p i d a n v o r a c i o u s r e a d e r a n a s t u d e n t , l i m p e d a l o n g w i t hC s a n d D s . S u d d e n l y , r e a l i z e d c o u l d t h i n k f o m y s e l f a n t h a t t h j u d g m e n t sm a d e a b o u t m y s e l f a n d i o s e o o t h e r s a b o u t m c o u l d b w r o n g .

2 T h t h o u g h t a u g m e n t i n g t y p e o i n s i g h t t h a t a d d s t t h u n d e r s t a n d i n g b u t d o e s n o tc h a n g e t h i n i t i a l i m p a c t o f t h e l i f e - c h a n g i n g i n s i g h t . a d d e d B r o w n i a n m o t i o n t m e x p l a n a t i o n w h e n r e a l i z e d m t h e o r e t i c a l e r r o r . N o k n e w c o u l d d i i n k f o m y s e l f a n w a n o a d u l l a a n o t h e r s t h o u g h t m t o b e .

N o t i c e t h a t m p r e v i o u s s e l f - i n s i g h t s w e r e s e l f - d e p r e c a t i n g . T h i s l o e s t i m a t e o m c a p a b i l i t i e s h a l e a r n e d a h o m e w h e r e , i c o n t r a s t w i t h m s i s t e r , a p p e a r e d t b s l o w l e a r n e r .I n s c h o o l , t h e t a u n t s o m p e e r s a n t h r e j e c t i o n s o m t h i n k i n g b m t e a c h e r s a d d e d t t h i sp o o r s e l f - i m a g e . c o u l d h a v e b e c o m e s c h o o l d r o p - o u t a n g o n e n o w h e r e i l i f e . M n e i n s i g h t sm a d e m a l i f e - l o n g l e a r n e r .


4/40


5/40

5 T h s t u d e n t s c h a n g e t h e i r a n s w e r s f r o m a n w r o n g ( i A ) a n s w e r t t h e c o r r e c t o n ( A a t h e y l e a r n .

6 G i v i n g r i g h t a n s w e r a n u n d e r s t a n d i n g t h c o n c e p t i t h q u e s t i o n a r e q u i v a l e n te v e n t s .

7 A l l l e a r n i n g i c u m u l a t i v e a n i t h e r e f o r e l i n e a r .8 s i n g l e a n s w e r i n t e s t i t o u n s t a b l e t b u s e f u l f o i n t e r p r e t i n g t e s t r e s u l t s .

A s s u m p t i o n 1 R e p r e s e n t a t i v e s a m p l eT h i s a s s u m p t i o n i t h m o s t i m p o r t a n t a l t h e s e a s s u m p t i o n s . I u n d e r p i n s a l c o n t e n t ,

p r o c e s s a n s t r u c t u r a l c o n s i d e r a t i o n s i t h d e s i g n o r s e l e c t i o n o f a n i t e m . F o t h i s r e a s o n , w w i l ld e f e r t h d i s c u s s i o n o t h i s a s s u m p t i o n u n t i l l a t e r i t h i s p a p e r .A s s u m p t i o n 2 M e a s u r e m e n t e r r o r

M e a s u r e m e n t e r r o r i f u n d a m e n t a l i d e a i a l s c i e n c e . T h e r e a r t w w a y s o l o o k i n g a t t h i sc o n c e p t :

1 I n s t r u m e n t a l i n a c c u r a c y , i n c l u d i n g o b s e r v e r e r r o r .2 P r o p o r t i o n o f e x p l a i n e d v a r i a b i l i t y . " 1 '

I c l a s s i c a l t e s t t h e o r y ( C T T ) , t h e s e f i r s t t w a s s u m p t i o n s t r a n s l a t e i n t o t h e e q u a t i o n :T X E ( 1

T h a t i s e a c h i n d i v i d u a l ' s ( z t r u e s c o r e o t h t e s t i t h e i r o b s e r v e d s c o r e m i n u s a e s t i m a t eo m e a s u r e m e n t e r r o r . I n i t i a l l y , t h e i d e a w a t h a t e v e r y w r o n g a n s w e r w a m i n d l e s s g u e s s . T h i st h o u g h t l e a d s t t h t h i r d a s s u m p t i o n .A s s u m p t i o n 3 d e f i n a b l e p r o p o r t i o n o r i g h t a n s w e r s a r g u e s s e s .

I t h i s c a s e , i t h t e s t h a t h r e e w r o n g o p t i o n s , t h e n t h b e s t e s t i m a t e f o e a c h p e r s o n ' s t r u es c o r e w o u l d b e

T X X , / 3 ( 2 E s s e n t i a l l y , b c h a n c e , o n t h i r d o t h r i g h t a n s w e r s m u s t o n t h a v e r a g e a l s o b g u e s s e s .T h o r i g i n a l b a s i s f o t h i s t h e o r y , i t h e a r l y t w e n t i e t h c e n t u r y , w a t h a t t h e b r a i n w a l i k e

t e l e p h o n e e x c h a n g e i w h i c h k n o w l e d g e w a s p l u g g e d i o i w a n o t . I i t a b s e n c e , s t u d e n t s h a n r e c o u r s e b u t g u e s s b l i n d l y . T h i s a p p r o a c h c a m e f r o m m i c r o s c o p i c e x a m i n a t i o n o f b r a i n t i s s u et h a t r e v e a l e d c o m p l i c a t e d n e t w o r k o i n t e r c o n n e c t i o n s .

T h i s c o r r e c t i o n f o g u e s s i n g w a s a b a n d o n e d w h e n i w a r e a l i z e d t h a t i i l i n e a r t r a n s f o r m a t i o no t h e s e d a t a h a v i n g n a f f e c t t h r e l a t i v e o r d e r o e v e r ) ' s t u d e n t ' s s c o r e s . I r e d u c e d e v e r y s c o r e b o n t h i r d b u t p r o v i d e d n n e i n f o r m a t i o n .

B e f o r e l o n g , m e a s u r e m e n t e x p e r t s b e g a n t o r e a l i z e t h a t s o m e s t u d e n t s m i g h t b e a b l e t e l i m i n a t e a t l e a s t o n o t h o p t i o n s t h o u g h t f u l l y . T h i s t h o u g h t f u l n e s s w o u l d i n c r e a s e t h e i rl i k e l i h o o d o f a n s w e r i n g c o r r e c d y , r e q u i r i n g t h d i v i s i o n b s o m e i n d e t e r m i n a t e n u m b e r . B e c a u s ev i o l a t i o n s o e q u a t i o n ( 2 d i n o n e c e s s a r i l y d i s t u r b t h r e s u l t s f r o m e q u a t i o n ( 1 ) , p r o f e s s i o n a l t e s td e v e l o p e r s w e r e c o m f o r t a b l e d i s c o n t i n u i n g u s i n g t h c o r r e c t i o n f o g u e s s i n g .


6/40

T h i s r e a l i z a t i o n l e d , h o w e v e r , t a t t e m p t s t p r o v i d e p a r t i a l c r e d i t 1 2 f o n e a r l y r i g h ta n s w e r s . 1 3 T h i d e a b e h i n d t h i s c o n c e p t i a d m i r a b l e . T h p r o b l e m r e m a i n e d t h a t t h p r o c e d u r e i y e a n o t h e r w a t f o r c e l i n e a r i t y u p o n t h e s e d a t a .

T h e r e e m e r g e d i t h m o d e l y e a n o t h e r a s s u m p t i o n .A s s u m p t i o n 4 T h m i n d l e s s c h o i c e o i a n s w e r s m e a n s t h a t t h e y c o n t a i n e d n u s e f u li n f o r m a t i o n

T h m i n d l e s s n e s s a s s u m p t i o n m e a n t t h a t w c o u l d c o l l a p s e a l t h u n a c c e p t a b l e a n s w e r s ( i A )i n t o z e r o s ( 0 ) . T h i s a s s u m p t i o n h a r e m a i n e d i p l a c e b e c a u s e i n c l u d i n g ( . A ) a n s w e r s c r e a t e dl i n e a r d e p e n d e n c y t h a t p r e v e n t e d t h u s o G L s t a t i s t i c a l p r o c e d u r e s w i t h t h e s e d a t a .

T h i s l i n e a r d e p e n d e n c y a r i s e s b e c a u s e t h s u o a l t h r i g h t a n s w e r s a n a l t h w r o n ga n s w e r s c h o s e n b s t u d e n t w h a n s w e r e d e v e r y q u e s t i o n i t h n u m b e r o i t e m s o t h t e s t . T h i sn u m b e r i c o n s t a n t f o e v e r y c o m p l e t e l y a n s w e r e d t e s t , w h i c h p l a y s h a v o c w i t h t h m a t h e m a t i c s o t h e s e s t a t i s t i c a l p r o c e d u r e s .

T h a t i s I , , ( 3 )W h e r e X , i t h n u m b e r o r i g h t a n s w e r s e a c h s t u d e n t s e l e c t s o t h t e s t

E n i t h n u m b e r o w r o n g a n s w e r s e a c h s t u d e n t s e l e c t s o t h t e s t a n E , i s t h t o t a l n u m b e r o i t e m s t a n s w e r o t h t e s t .

A w c a s e e , t h t h i r d m e m b e r o t h i s e q u a t i o n i c o n s t a n t v a l u e f o e a c h t e s t , u n l e s sa n s w e r s a r o m i t t e d o r m u l t i p l e a n s w e r s a r p r o v i d e d .A s s u m p t i o n 5 T h s t u d e n t s c h a n g e t h e i r a n s w e r s f r o m a n y w r o n g ( - i A ) a n s w e r t t h c o r r e c t o n ( A a t h e y l e a r n .

I p r a c t i c e , t h a p p l i c a t i o n o t h r i g h t / w r o n g s c o r i n g p r o c e d u r e s e e m s t h a v e b e e ns u p p o r t i n g t h e s e a s s u m p t i o n s s t h a t t h t e s t i n g o t h i s f i f t h h y p o t h e s i s f o i t v a l i d i t y h a s b e e n ,u n t i l r e c e n t l y , s e l d o m u n d e r t a k e n . R e s e a r c h e r s a r n o e x p l o r i n g t h p o s s i b i l i t i e s o p o l y t o m o u sd a t a 1 4 a n o n o n - p a r a m e t r i c i t e m r e s p o n s e t h e o r y ( N I R T ) . ' 5

H i d d e n b e h i n d t h i s f i f t h a s s u m p t i o n i a l s o a s i x t h o n e , n a m e l y :A s s u m p t i o n 6 G i v i n g r i g h t a n s w e r a n u n d e r s t a n d i n g t h c o n c e p t i t h q u e s t i o n a r e q u i v a l e n t e v e n t s .

T h i s a s s u m p t i o n h a a l s o r e m a i n e d u n t e s t e d i t h l i t e r a t u r e . A w s h a l l s e s h o r t l y ,e q u i v a l e n c e 6 a s s u m p t i o n s , b e c a u s e t h e y c a n y a i m p l i e d a l i t h e i r s t r u c t u r e , n e e d s i n g l e e x a m p l ef o r e f u t a t i o n .A s s u m p t i o n 7 L e a r n i n g i c u m u l a t i v e a n t h e r e f o r e l i n e a r

P i a g e t 1 7 a r g u e s t h a t t h e r e a r t w t y p e s o l e a r n i n g :1 A s s i m i l a t i o n : I w h i c h c h i l d r e n f i n e l e a r n i n g i n t o t h e i r e x i s t i n g k n o w l e d g e .2 A c c o m m o d a t i o n : i w h i c h t h s c h e m a t a c u r r e n t l y b e i n g e m p l o y e d n e e d s t b

a d a p t e d t f i t h n e k n o w l e d g e .H i a r g u m e n t s u g g e s t s t h a t s o m e f o r m o i n s i g h t i r e q u i r e d t m a k e t h i s c h a n g e i

p e r s p e c t i v e . O u p e r s p e c t i v e i t h a t t h e r e a r t w t y p e s o f i n s i g h t , d e p e n d i n g u p o n w h e t h e r t h


7/40

p e r s p e c t i v e i o r t h o g o n a l t t h e a r l i e r o n e , o r a d a p t i v e t i t W i l l u s t r a t e d b o t h t y p e s a b o v e ( P p .

A s s u m p t i o n 8 s i n g l e a n s w e r i t e s t i t o o u n s t a b l e t b u s e f u l f o i n t e r p r e t i n g t e s tr e s u l t s

W h a v e a l r e a d y p a r t i a l l y a d d r e s s e d t h i s a s s u m p t i o n i t h p r e s e n t a t i o n t h a t i n t r o d u c e dC T T . T h o r i g i n a l n o t i o n w a t h a t m e a s u r e m e n t e r r o r i t h t h e o r y c o u l d b a t t r i b u t e d t o g u e s s i n gc o m p o n e n t i t h e s e l e c t i o n o f a n s w e r c h o i c e s .

T h e r e a r e , o f c o u r s e o t h e r f o r m s o f e r r o r i t h m e a s u r e m e n t o i n t e l l e c t u a l a c t i v i t i e s , s u c ha u n i n t e n t i o n a l a m b i g u i t y i a i t e m , c u l t u r a l l y i n a p p r o p r i a t e r e f e r e n c e s , o b s c u r i t y o w o r d i n g , e t c .

T h C T d e f i n i t i o n o m e a s u r e m e n t e r r o r p r o v i d e s l a r g e a m o u n t o e r r o r p r e s e n t . T h h i s t o r y o s c i e n c e , i n p a r t , h a r e v o l v e d a r o u n d t h r e d u c t i o n o m e a s u r e m e n t e r r o r , 1 8 b o t h t h r o u g hi m p r o v e d i n s t r u m e n t a t i o n a n t h r o u g h i m p r o v e d t h e o r y .

w a a r o u n d t h i s p r o b l e m i t d i s c u s s e r r o r i t e r m s o e x p l a i n e d v a r i a b i l i t y o r n o i s er e d u c t i o n i n s t e a d o c o v e r t a c t i o n s a t t r i b u t e d t o p a r t i c i p a n t s . A i s s u e i w h e t h e r c o i n t o s s ( w i t ht w o p t i o n s ) o r d i c e r o l l ( w i t h s i o p t i o n s ) i b e t t e r m o d e l f o t e s t t a k i n g b e h a v i o r w i t h f o u r -o p t i o n m u l t i p l e - c h o i c e t e s t . I p r o b a b i l i s t i c m o d e l f o r l e a r n i n g , t h a d d i t i o n o n e a w a r e n e s sp r o v i d e s b i a s t h a t i n f l u e n c e s t h e o u t c o m e , c h a n g i n g t h p r o b a b i l i t i e s o t h s e v e r a l p o s s i b l er e s p o n s e s .

W w i l l a d d r e s s e a c h o t h e s e a s s u m p t i o n s i n a l o g i c a l o r d e r o t h e r t h a n t h d e v e l o p m e n t a lo r d e r p r e s e n t e d a b o v e .

R i g h t A n s w e r s R e p r e s e n t U n d e r s t a n d i n gI w c a a s s u m e , a i A 6 , t h a t t h e r e i e q u i v a l e n c e b e t w e e n g i v i n g r i g h t a n s w e r a n d

u n d e r s t a n d i n g t h u n d e r l y i n g c o n c e p t , t h e n t h r i g h t a n s w e r s , e x c e p t f o l u c k g u e s s e s , w i l l b a r e a s o n a b l e m e a s u r e o w h a t t h s t u d e n t s k n o w .

T a b l eP r e l i m i n a r y T e s t o f t h e

E q u i v a l e n c e A s s u m p t i o nP r e - : e s t R e s u l t s

A n s w e r C o n f o r m i t y

R i g h t W r o n g T o t a l s

.

T o t a l s

2

3

5

2

3

5

4

6

1 0

P o s t - t e s t R e s u l t s

A n s w e r C o n f o r m i t yR i g h t W r o n g T o t a l s

e - S ' i a , i l

T o t a l s

S

1

8

2

2

7

2

8

0 . 0 3 , r s o l s i g n i f i c a n t 0 . 0 8 , n o s i g n i f i c a n t

S o u r c e : P o w e l l , J C M i k i , H ( 1 9 8 5 ) . A n s w e r a n o m a l i e s , h o s e r i o u s ? N a s h v i l l e , T N P a p e r p r e s e n t e d t t h P s y c h o m e t r i c S o c i e t y .


8/40

T t e s t t h i s e q u i v a l e n c e a s s u m p t i o n , H a r l e y M i k i a n r a s t u d y i h i m a t h e m a t i c s c l a s s .H g a v e t h s a m e p r e - a n p o s t t e s t o t h e t o p i c o t h a n g l e - s u m r u l e . T h e r e w e r e 1 i t e m s o t h t e s t . H c a l l e d f o r v o l u n t e e r s . T h e r e w e r e n i n e o h i s t u d e n t s w h v o l u n t e e r e d p r e - , o n o t h e mw a a b s e n t o t h p o s t t e s t . H i n t e r v i e w e d t h e s e v o l u n t e e r s p r e - a n p o s t o t h u n i t , t a p er e c o r d i n g a n t r a n s c r i b i n g t h e i n t e r v i e w s . W b o t h s c o r e d t h t e s t s r i g h t / w r o n g w i t h 1 0 0 %a g r e e m e n t . W b o t h s c o r e d t h i n t e r v i e w s u n d e r s t o o d t h c o n c e p t o d i n o u n d e r s t a n d f o e v e r yi t e m w i t h 8 9 a g r e e m e n t . H e r e a r t h r e s u l t s :

W c o m p a r e d t h f r e q u e n c i e s u s i n g t h p h ( ( ) ) ) c o e f f i c i e n t a p p r o p r i a t e f o s u c h c o n t i n g e n c yt a b l e s . W e x p e c t e d s i g n i f i c a n t c o r r e l a t i o n b e t w e e n t h e s e t w v a r i a b l e s f o r t h e p o s t t e s t . S i n c en e i t h e r c o r r e l a t i o n s w e r e s i g n i f i c a n t , t h o n l y c o n c l u s i o n w c a d r a w i t h a t r i g h t a n s w e r s p r o v i d ea i n d i c a t i o n o w h a t i r e m e m b e r e d ( a s s i m i l a t i v e l e a r n i n g ) b u t n o t n e c e s s a r i l y w h a t i u n d e r s t o o d( a c c o m m o d a t i v e l e a r n i n g ) . I n d i r e c t s u p p o r t f o t h e s e f i n d i n g s w a f o u n d i o t h e r s t u d i e s .

T h i s a s s u m p t i o n d i s p o s e d o f b s u p p o r t f o H o W c a n n o t a s s u m e t h a t b e c a u s e a a n s w e r i s c o r e d c o r r e c t , t h a t t h s t u d e n t g i v i n g t h a n s w e r u n d e r s t o o d t h c o n c e p t b e h i n d i t S u c hp r o b l e m s o a n s w e r i n t e r p r e t a t i o n , i n p a r t , l e d t o t h e d e v e l o p m e n t o c o n c e p t i n v e n t o r i e s . T h i s f i n d i n g ,h o w e v e r , i n d i c a t e s t h a t t h e t o t a l / c o r r e c t s c o r e s m a g i v e s o m e i n d i c a t i o n o t h a m o u n t o a s s i m i l a t i v e l e a r n i n g t h a t h a o c c u r r e d . I w o u l d b e w o r t h w h i l e t o r e p l i c a t e t h i s s t u d y i v a r i e t y o c o n t e x t s . A l t h o u g h a s i n g l e s t u d y i n e c e s s a r y a n s u f f i c i e n t t o r e f u t e a e q u i v a l e n c e a s s u m p t i o n ,p r o v i d e d t h s t u d y w a w e l l c o n d u c t e d a n a c c u r a t e l y r e p o r t e d , t h n u m b e r o o b s e r v a t i o n s h e r e i t o s m a l l f o d e f i n i t i v e r e f u t a t i o n .G e t t i n g S t a r t e d

W n o t u r n o u a t t e n t i o n t o A 4 . I a l t e r n a t i v e a n s w e r s c o n t a i n n u s e f u l a c h i e v e m e n ti n f o r m a t i o n , a l o t h e r c o n s i d e r a t i o n s a r b e s i d e t h p o i n t .

I i o n t h i n g f o t e a c h e r s t r e c o g n i z e t h a t t h e i r s t u d e n t s a r e s e l e c t i n g w r o n g a n s w e r sm i n d f u l l y . I i a n o t h e r t d e m o n s t r a t e s c i e n t i f i c a l l y t h a t m i n d f u l - s e l e c t i o n i s u f f i c i e n d y f r e q u e n to c c u r r e n c e t h a t a t t e n t i o n s h o u l d b p a i d t t h e s e o b s e r v a t i o n s . T h s m a l l s a m p l e s i z e i t h s t u d yj u s t r e p o r t e d s u p p o r t e d o u e x p e c t a t i o n s , b u i d i n o p r o d u c e a e a r t h q u a k e i t h m e a s u r e m e n tc o m m u n i t y . I f a c t , o n o m c o l l e a g u e s i t h e d u c a t i o n a l m e a s u r e m e n t c o m m u n i t y a c c u s e d m o " p r o c e s s i n g t h n o i s e i t h s y s t e m . " A w s h a l l s e e , t h i s r e m a r k m a h a v e a n i n t e r e s t i n go p p o s i t e i n t e r p r e t a t i o n .

I n 1 9 5 8 , u s i n g i n t e r v i e w s , o b s e r v e d s t u d e n t s a n s w e r i n g m m u l t i p l e - c h o i c e ( M / C ) h i s t o r yt e s t b a s e d u p o n t h e i r i n t e r p r e t a t i o n s o t h q u e s t i o n s . T h i s u n s c i e n t i f i c o b s e r v a t i o n l e t o c h a n g ei t h w a t a u g h t , a n t o g r a t i f y i n g i n c r e a s e i t h e l e a r n i n g t h a t r e s u l t e d .

I n 1 9 6 4 , e n t e r e d m P h . D . p r o g r a m d e t e r m i n e d t p r o v i d e a s c i e n t i f i c b a s i s f o t h i so b s e r v a t i o n , i o n c o u l d b f o u n d . T h p e r s o n w a n t e d f o m s e n i o r a d v i s o r s u g g e s t e d t h a t m t o p i c o t h m e a n i n g f u l i n t e r p r e t a t i o n o a l t e r n a t i v e a n s w e r s m i g h t b f u t i l e a n a d v i s e d a g a i n s t i t

B e i n g u n d e t e r r e d b s k e p t i c i s m , u s e d t w c l a s s e s o a d u l t s i t h e v e n i n g p r o g r a m , g a v et h e m b o t h t h s a m e t e s t ( G o r h a m , P r o v e r b s T e s t ) a n a s k e d t h e m t g i v e m w r i t t e n e x p l a n a t i o nf o e a c h a n s w e r t h e y s e l e c t e d . s e l e c t e d o n l y t h e w r o n g a n s w e r s f o r f a c t o r a n a l y s i s t b y p a s s t h l i n e a r d e p e n d e n c y i s s u e . c l a s s i f i e d t h f a c t o r s f r o m t h r e a s o n i n g r e p o r t s i o n c l a s s a n u s e d t h r e a s o n i n g r e p o r t s f r o m t h o t h e r c l a s s t p r e d i c t t h e i r a n s w e r s e l e c t i o n s .


9/40

C h a n c e l e v e l w a s o n e i n t h r e e . T h p r e d i c t i o n l e v e l w a s t w o i n t h r e e , a s t a t i s t i c a l l y s i g n i f i c a n td i f f e r e n c e . T h i s s t u d y , p u b l i s h e d i m a j o r r e f e r e e d j o u r n a l w a s u f f i c i e n t t o g e m t o p i ca p p r o v e d .

A t h i s p o i n t , w s u s p e c t e d t h a t 1 g i v i n g r i g h t a n s w e r s a n u n d e r s t a n d i n g t h c o n c e p t sb e h i n d t h q u e s t i o n w e r e n o n e c e s s a r i l y r e l a t e d ( t h e e q u i v a l e n c e a s s u m p t i o n w a f a l s e ) a n 2 ) a t l e a s tw i t h a d u l t s , t h e s e l e c t i o n o a t l e a s t h a l f o t h a l t e r n a t i v e s a n s w e r s w a s p e r f o r m e d t h o u g h t f u l l y .

A o f t e n h a p p e n s w i t h r e s e a r c h , t h a n s w e r i n g o s o m e q u e s t i o n s r a i s e s o t h e r s . I a n s w e r sw e r e s e l e c t e d t h o u g h t f u l l y , w h a t s o r t o f p e r f o r m a n c e i n f o r m a t i o n d i d t h o u g h t f u l s e l e c t i o n p r o v i d ea n h o m u c h i n f o r m a t i o n d i i p r o v i d e ?

M D i s s e r t a t i o nF o n u m b e r o t e c h n i c a l r e a s o n s , t h e r e s u l t s o m d i s s e r t a t i o n w e r e d i s a p p o i n t i n g . T h

e r r o r c l a s s i f i c a t i o n s y s t e m d e v e l o p e d f o g i v i n g m s p e c i a l l y d e s i g n e d t e s t t f r e s h m a n c l a s s , d i n o s t a n d u w h e n t i m e c o n s t r a i n t s r e q u i r e d t h a t g i v e i t o l a r g e c l a s s o a d u l t s t u d e n t a s u m m e rs c h o o l .

T h s t r o n g e s t f i n d i n g o c c u r r e d w h e n t r a c k e d t h c a t e g o r y c h a n g e s o s p e c i f i c w r o n ga n s w e r s u s i n g l e a s t s q u a r e s t m i n i m i z e t h c h a n g e d i s t a n c e s . T h i s r e o r d e r i n g o s u b t e s t s ( n o n l i n e a r r e o r d e r i n g ) w a t h m o s t s i g n i f i c a n t c r o s s - v a l i d a t i n g v a r i a b l e b e t w e e n t h t w c o m p a r i s o ng r o u p s .

s u b s e q u e n t s t u d y o t h B l o o m ' s T a x o n o m y c l a s s i f i c a t i o n o t h r i g h t a n s w e r s u b s e t s ,c o n f i r m e d t h e i r p l a c e m e n t a c c u r a c y . W f o u n d t h a t A n a l y s i s a n S y n t h e s i s h e l d o p p o s i t e p o l e s o t h s a m e f a c t o r a n E v a l u a t i o n w a t h o n l y c a t e g o r y t h a t d i s t r i b u t e d a c r o s s a l o t h e r c a t e g o r i e s

T a x o n o m i e s , b y d e f i n i t i o n , s h o u l d b l a y e r e d s t r u c t u r e w i t h e a c h h i g h e r l a y e r s u b s u m i n gt h l a y e r s b e l o w . B l o o m ' s w a t c l a s s i f y q u e s t i o n t y p e s i n o t r u e t a x o n o m y , w h i c h d o e s n o td i m i n i s h i t u s e f u l n e s s .W o r k i n g w i t h C h i l d r e n ' s S c o r e s

O n c e i t h f i e l d , a r r a n g e d t g i v e t h e P r o v e r b s T e s t f r o m m f i r s t s t u d y t 5 5 c h i l d r e n( g r a d e s 3 t h r o u g h 8 i g r o u p o f s u b u r b a n e l e m e n t a r y s c h o o l s . c h o s e t h i s t e s t b e c a u s e o f P i a g e t .c l i n i c a l o b s e r v a t i o n s . T h i s t e s t h a t h u n i q u e f e a t u r e t h a t i n a d d i t i o n t h a v i n g 4 a b s t r a c t r i g h ta n s w e r s , i h a 2 c o n c r e t e r i g h t a n s w e r s e m b e d d e d i n t o i t

T h i d e a o f h a v i n g m o r e t h a n o n r i g h t a n s w e r i h a l f t h i t e m s i u n u s u a l a n i r e l a t e d t oi t o r i g i n a l d e s i g n p u r p o s e . M t h o u g h t s w e r e t h a t , i w c o u l d s h o w m e a n i n g f u l n e s s a m o n g t h w r o n g a n s w e r s , t h r e s u l t s m i g h t c a s t l i g h t o t h t r a n s i t i o n f r o m c o n c r e t e t h i n k i n g t a b s t r a c tt h i n k i n g d e s c r i b e d b P i a g e t .

t e a m o u i n t e r v i e w e d r e p r e s e n t a t i v e s a m p l e o t h e s e 5 5 s t u d e n t s i m m e d i a t e l y a f t e r i t a d m i n i s t r a t i o n f o t h e i r r e a s o n i n g b e h i n d t h e i r " w r o n g " a n s w e r s e l e c t i o n a n t r a n s c r i b e d t h e s ei n t e r v i e w s .

W c l u s t e r e d t h e i a n s w e r s u s i n g n o n l i n e a r c l u s t e r a n a l y s i s p r o c e d u r e , c l a s s i f i e d e a c hc l u s t e r b t h m o d e o t h s e l e c t i n g a g e s a n c l a s s i f i e d t h e s e s u b s e t s b t h e i r r e a s o n i n g r e p o r t s . N i n eo t h 1 0 w r o n g a n s w e r s f a i l e d t f o r m s u b t e s t s o a t l e a s t t h r e e m e m b e r s .

T h e r e w e r e f o u r c l u s t e r s a m o n g t h 8 - y e a r - o l d s , t w a m o n g t h 9 - y e a r - o l d s a n o n f o e a c ha g l e v e l h i g h e r e x c e p t f o a g 1 2 O n c l u s t e r w a b i m o d a l . T h e s e n i n e w e r e a l a s s o c i a t e d w i t h


10/40

o l d e r s t u d e n t s b t h e i r a g e s a t h t i m e o a d m i n i s t r a t i o n . W d i n o i n c l u d e t h e s e n i n e i o u o r i g i n a l a t t e m p t s t i n t e r p r e t t e s t o u t c o m e s .

T h s t u d e n t s ' a n s w e r s f r o m t h e s e c l u s t e r s w e r e s c o r e d , a l o n g w i t h t h e c o n c r e t e a n a b s t r a c tr i g h t a n s w e r s . T h s c o r e s w e r e p r o c e s s e d b t h s a m e n o n l i n e a r c l u s t e r a n a l y s i s p r o c e d u r e . W o m i t t e d t h n i n e a n s w e r s t h a t d i n o c l u s t e r . I w a o u h o p e t h a t b o m i t t i n g 1 5 o t h a n s w e r s ,w w o u l d b y p a s s l i n e a r d e p e n d e n c y .

W d i n o a n a l y z e t h c o n c r e t e a n a b s t r a c t r i g h t a n s w e r s f o c l u s t e r s t r u c t u r e , a s s u m i n gt h a t t h e y w e r e h o m o g e n e o u s .

T h c o n c r e t e r i g h t a n s w e r s w e r e e m b e d d e d w i t h t h f o u r e i g h t - y e a r o l d s u b s c o r e s . T h t w n i n e y e a r - o l d s u b s c o r e s c o m b i n e d w i t h t h e t e n y e a r - o l d s u b - s c o r e . T h r e m a i n d e r s t o o d a l o n e . T h b i m o d a l c l u s t e r f i l l e d t h m i s s i n g 1 y e a r - o l d s l o t .

T h c l u s t e r i n g p r o c e d u r e p r o d u c e d t r e e c h a r t t h a t s h o w e d c o n n e c t i o n s a n o r d e r e d t h c l u s t e r s i n t o c o r r e l a t i o n a l l y a s s o c i a t e d s e q u e n c e . T h h i e r a r c h i c a l s e q u e n c e t h a t e m e r g e d e x a c t l yr e c a p i t u l a t e d t h c h r o n o l o g i c a l o r d e r o t h m o d e s o s e l e c t i o n ( : 1 . 0 0 ) T h i s r e s u l t i r a r e r e s u l t f o h u m a n s u b j e c t s .

O e q u a l o r g r e a t e r i n t e r e s t w a t h m e a n i n g f u l n e s s o f t h i s o r d e r . T h f o u r y e a r o l ds u b s c o r e s a l d i s p l a y e d a n e l e m e n t o e g o c e n t r i c i t y ( i P i a g e t ' s ) t e r m s . T h f a c t t h a t t h C o n c r e t e r i g h ta n s w e r s w e r e p a r t o t h i s g r o u p s u p p o r t s t h e a u t h o r ' s d e s i g n i n t e n t i o n s a n o u g e n e r a li d e n t i f i c a t i o n o t h i s a g e g r o u p .

T h t h r e e p a r t g r o u p t h a t h u n g t o g e t h e r f o t h a g e s o a n 1 r e p r e s e n t e d a s p e c t s o l i t e r a lt h i n k i n g t h a t i s i m i l a r t o P i a g e t ' s C o n c r e t e O p e r a t i o n s .

T h r e m a i n d e r l e i t r a n s i t i o n a l s e q u e n t t t h A b s t r a c t r i g h t a n s w e r s , f i t t i n g P i a g e t ' sc h r o n o l o g y f o t h e s e s t a g e s . I p l a c e d F o r m a l O p e r a t i o n s , b e i n g a c h i e v e d a a g 1 6 a t h t o o t h s e q u e n c e . I n s h o r t , t h e s e " w r o n g " a n s w e r s w e r e d e v e l o p m e n t a l l y a p p r o p r i a t e , p a r a l l e l i n g P i a g e t ' s c l i n i c a lo b s e r v a t i o n s .

T h e s e a n s w e r s w e r e b e i n g c h o s e n t h o u g h t f u l l y , b a s e d u p o n t h e i r m a k i n g d e v e l o p m e n t a l l ya p p r o p r i a t e i n t e r p r e t a t i o n o t h q u e s t i o n s . T h s e c o n d ( w e a k e r ) m o d e f o t h 1 y e a r - o l d s w a p u z z l i n g . I t d y n a m i c s w a e x p l a i n e d i l a t e r r e s e a r c h .

T h c o r r e l a t i o n m a t r i x o t h s u b s c o r e s d i s p l a y e d t h e p r o p e r t i e s o G u t t m a n n S i m p l e x .T h e y w e r e d i s t r i b u t e d i f u l l b i p o l a r o r d e r f r o m h i g h n e g a t i v e f o t h 8 y e a r - o l d s t o h i g h p o s i t i v e f o rt h 1 y e a r - o l d s f o l l o w i n g t h m o d a l - a g e s e q u e n c e . M o r e r e c e n t l y , t h i s p a t t e r n h a b e e n c a l l e dc o n j o i n t . T a b l e g i v e t h i s S i m p l e x p a t t e r n w i t h t h c e l l s i t h t a b l e t h a t a r e c o n j o i n t m a r k e d w i t hd i a g o n a l a r r o w p o i n t i n g u p w a r d a n t o t h e r i g h t .

1


11/40

T a b l eW r o n g A n s w e r s ( i A ) C o n t a i n C h r o n o l o g i c a l l y

O r d e r e d S c a l a b l e I n f o r m a t i o n

R l Q f l i

S c a l e s

A b s l r a o l

W r o n or , u W ) o

a y

N a M * i

B y P /

O . I O

o

O O *

- o c a

" o " Y

S h o w l n o H i . - C o n j oB y t /

O

A

- O . 3

a

C o n c r o i e

"

O . Z - T

f r 1

H y 8 y R / P e

O . J f l

'

' 1 1

D O . 1 S

( 4 I

n R e l a t i o n s h i p *0 y

W / l O

L i

< - i . i

, , u .

- O . 2 2

1 H i m o d a i 1 2 O / I r T

1 3 l f l y +O / S i

T h i s o b s e r v a t i o n m e a n s t h a t t h e r e i s c a l a b l e i n f o r m a t i o n e m b e d d e d i t h i s t a b l e . T h f r e q u e n c y o c o n j o i n t c e l l s i 4 1 . 8 % w i t h t h c o n c r e t e r i g h t a n s w e r s a n t h l o w e r a g l e v e l sa c c o u n t i n g f o l e s s t h a n t h r e s t . W i t h s u c h m a s s i v e s u p p o r t f o t h t h o u g h t f u l n e s s o i s e l e c t i o n ,w s e e m e d t h a v e o p e n e d n e p o s s i b i l i t y f o t e s t i n t e r p r e t a t i o n , b a s e d u p o n t h d e v e l o p m e n tc h a r a c t e r i s t i c s o f s c h o o l - a g e d c h i l d r e n .

T h i s i n f o r m a t i o n i l o s t w h e n w r o n g a n s w e r s a r r e d u c e d t z e r o ( 0 ) . E x c e p t f o t h n i n ea n s w e r s t h a t d i n o c l a s s i f y , a n w e r e n o i n c l u d e d , a l t h e s e a n s w e r s w e r e s e l e c t e d t h o u g h t f u l l y .T h e y a r e , t h e r e f o r e , c o g n i t i v e l y m e a n i n g f u l a n s h o u l d n o t b i g n o r e d w h e n a s s e s s i n g t h p e r f o r m a n c e s t a t u s o s t u d e n t s .

T h e s e f i n d i n g s a l s o c o n t r a d i c t A ( t h e e q u i v a l e n c e a s s u m p t i o n . I w a c o r r e c t p o l i c y t d i s c o n t i n u e t h c o r r e c t i o n - f o r - g u e s s m g b e c a u s e I t u s w a i n c o n s e q u e n t i a l . A p p a r e n t l y , b l i n du n r e a s o n e d s e l e c t i o n i a i n f r e q u e n t e v e n t , p a r t i c u l a r l y w i t h t h m o r e m a t u r e s t u d e n t s . H e n c e ,t h e r e i c o n s i d e r a b l e p e r f o r m a n c e i n f o r m a t i o n t b f o u n d a m o n g i a n s w e r s .

W h a t t h t h o u g h t f u l c h a r a c t e r i s t i c s o t h e s e n i n e m i g h t b e w d i n o t d e t e r m i n e b e c a u s e w o m i t t e d t h e m f r o m t h a n a l y s i s . T h i s e r r o r o e x c l u s i o n w a r e c t i f i e d i l a t e r s t u d i e s .

T h d y n a m i c s o t h t r a n s i t i o n w a n o y e e n t i r e l y e v i d e n t . W s t i l l n e e d e d t a n s w e r t h i m p o r t a n t q u e s t i o n , " A r e t h c h a n g e s b e t w e e n c l u s t e r s a l s o a g a p p r o p r i a t e ? " I t h e s e c h a n g e s a l s of i t h i s p a t t e r n , t h e n t h p r e s e n c e o f d e v e l o p m e n t a l s e q u e n c e o a n s w e r s e l e c t i o n , i n v o l v i n gc h a n g e s f r o m o n e t a n o t h e r w o u l d b s u p p o r t e d . T h n u l l v e r s i o n A i c o n t r a d i c t e d a n A 3 , t h e g u e s s i n g f a c t o r m u s t b m u c h s m a l l e r t h a n o r i g i n a l l y a s s u m e d .C o m p l e t i n g t h S e q u e n c e

I i n e c e s s a r y , b u t n o t s u f f i c i e n t t s h o w t h i s o r d e r i n g o a n s w e r s e l e c t i o n . T h s u f f i c i e n tc o n d i t i o n w o u l d b t h a v e t h c h a n g e s f r o m o n s u b s e t t a n o t h e r f i b e t w e e n t h a g m o d e so b s e r v e d o t h i s s i n g l e a d m i n i s t r a t i o n .

I o r d e r t d e m o n s t r a t e t h i s s e c o n d a r y o r d e r i n g , i i n e c e s s a r y t g i v e t h i s t e s t t w i c e . W n e e d e d t c a p t u r e t h c h a n g e s o f a n s w e r u s i n g c r o s s t a b u l a t i o n a n u n i q u e l y i n c l u d e e v e r y a n s w e r -p a i r i n t o a s i n g l e a n a l y s i s . T h i s a n a l y s i s m u s t b e c o n d u c t e d o c e l l - b y - c e l l b a s i s . c h a n g e f r o mt i i t e m a n y i t e m h a d i f f e r e n t m e a n i n g t h a n c h a n g e f r o m t D

1


12/40

H e r e w a r c o n s i d e r i n g A ( t h a t a n s w e r c h a n g e s a r a l f r o m a n w r o n g a n s w e r t t h r i g h ta n s w e r ) . T h i s c h a n g e p a t t e r n s h o u l d o c c u r , i - i a n s w e r s a r e s e l e c t e d w i t h o u t t h o u g h t f u lc o n s i d e r a t i o n .

T a c h i e v e t h i s e n d , w n e e d e d t l o o k s e p a r a t e l y a n i n d e p e n d e n t l y a e a c h c e l l i n c r o s s t a b u l a t e d m a t r i x . c o n t a c t e d m a t h e m a t i c a l s t a t i s t i c i a n i t h M a t h e m a t i c s D e p a r t m e n t ( N o r mS h k l o v ) w h o , h a v i n g s e e n m r e s u l t s f r o m t h s i n g l e a d m i n i s t r a t i o n , w a f a s c i n a t e d w i t h p r o b l e m .T s o l v e t h e a n a l y t i c a l p r o b l e m m e a n t b y p a s s i n g l i n e a r d e p e n d e n c y a n d e v e l o p i n g p r o c e d u r e t h a ta n a l y z e d d a t a o c e l l - b y - c e l l b a s i s .

I t h m e a n t i m e , h a a r r a n g e d t a d m i n i s t e r t h P r o v e r b s T e s t t w i c e t o r e p r e s e n t a t i v es a m p l e o M i d w e s t e r n i n d u s t r i a l c i t y . W h a d O c t o b e r M a r c h a d m i n i s t r a t i o n s f r o m 3 , 0 0 0 +s t u d e n t s f r o m t h t h i r d g r a d e t h r o u g h t h e n o h i g h s c h o o l .

T h n e a r e s t f a m i l i a r p r o c e d u r e , w h i c h c o m p a r e d o b s e r v e d w i t h e x p e c t e d v a l u e s i e a c h c e l li t h e % 2 a p p r o a c h . T h i s s t a t i s t i c a l p r o c e d u r e c o m p a r e s t h o b s e r v e d f r e q u e n c y i e v e r y c e l l w i t h t h v a l u e o i t e x p e c t e d f r e q u e n c y . H o w e v e r , i r e m a i n s a a n a l y s i s s y s t e m r e t u r n i n g s i n g l e v a l u e f o t h e n t i r e t a b l e . I c a n , w i t h a p p r o p r i a t e m o d e l i n g , d e a l w i t h n o n l i n e a r d a t a , a s B o c h ' s t A u l t i q u a td e m o n s t r a t e s . I n h i p r o c e d u r e , h i g h e r o r d e r c u r v e s , s u c h a q u a d r a t i c a n c u b i c , c a b f i t t e d t t h e s e d a t a .

t a b l e h a o n l y d e g r e e o f r e e d o m . T h i s c o n c e p t m e a n s t h a t w i t h t h t a b l e t o t a lf i x e d , w c a a s s i g n o n l y o n v a l u e t o e i t h e r o t h t w c e l l s b e c a u s e , w i t h t h a t a s s i g n m e n t , t h o t h e rv a l u e i p r e d e t e r m i n e d . W w e r e l o o k i n g f o s o m e t h i n g l i k e r a n g e o v a l u e s f o z e r o ( 0 d e g r e e s o f r e e d o m . T h i s i d e a o n f r e e d o m i t h e c o n s t r u c t i o n o m a t r i c e s i i l l o g i c a l .

T h r a n g e o f p r o c e d u r e s w t r i e d e x h a u s t e d t h s t a t i s t i c a l r e p e r t o i r e a v a i l a b l e i n t h 1 9 7 0 sa n 1 9 8 0 s . O n m o r n i n g h s m i l e d h i k n o w i n g s m i l e a n s a i d , " W a r l o o k i n g a p r o b a b i l i t i e s a r w n o t ? "

" O c o u r s e , " r e p l i e d ." W e l l t h G L i b u i l t u p o n b i n o m i a l p r o b a b i l i t i e s . W w a n t t d e a l w i t h m o r e t h a n t w

v a r i a b l e s s i m u l t a n e o u s l y , l e t ' s t r t h m u l t i n o m i a l e x p a n s i o n o t h b i n o m i a l e q u a t i o n s . "T h e r e i w a s ! O n c e w i d e n t i f i e d t h a t t h t a b l e t o t a l a n t h m a r g i n a l t o t a l s w e r e c o n s t r a i n t s ,

w c o u l d c a l c u l a t e c u m u l a t i v e p r o b a b i l i t y f o r t h o b s e r v e d f r e q u e n c y o l e s s . W c o u l d p e r f o r ms i m i l a r c a l c u l a t i o n f o r d i m a x i m u m p o s s i b l e v a l u e i t h s a m e c e l l . T h i s m a x i m u m w o u l d a l w a y s b b a s e d u p o n t h e l e s s e r o t h t w m a r g i n a l t o t a l s . T h m i n i m u m v a l u e f o t h c e l l w o u l d a l w a y s b z e r o ( 0 ) .

T h c o m p a r a t i v e v a l u e w n e e d e d w o u l d b t h q u o t i e n t o t h e s e t w p r o b a b i l i t i e s . I w o u l dr e p r e s e n t t h p r o p o r t i o n o t h t o t a l p o s s i b l e p r o b a b i l i t y i t h a t c e l l t h a t t h o b s e r v e d f r e q u e n c y o l e s s a c c o m m o d a t e d . I n i t i a l l y , w d i n o k n o w h o t d e t e r m i n e t h m e a s u r e m e n t e r r o r , s w s e i a r b i t r a r i l y a t 0 . 0 5 , a s w i t h p r o b a b i l i t i e s a n i n t e r p r e t e d e a c h c e l l ' s m e a n i n g f u l n e s s f r o m t h i sc o n s t r a i n t .T h S t a t i s t i c a l P r o c e d u r e

H e r e a r e t h e d e t a i l s o t h m a t h e m a t i c s o o u a d a p t a t i o n o t h m u l t i n o m i a l p r o c e d u r e . W m a k e t w a s s u m p t i o n s ; 1 t h m a r g i n a l t o t a l s a n 2 t h t a b l e t o t a l o d a t a m a t r i x a r t h e b e s te s t i m a t e s a v a i l a b l e f o r a n a l y z i n g t h p r o p e r t i e s o t h e s e d a t a . I t h i s s e n s e , t h p r o c e d u r e i

1


13/40

n o n p a r a m e t r i c , b e c a u s e a l t h o t h e r v a l u e s u s e d r e s i d e i t h c e l l s o t h i s m a t r i x , w h i c h w w i l le x a m i n e o a c e l l - b y - c e l l b a s i s .

S t e p 1 T h i s p r o c e d u r e b e g i n s w i t h a m a t r i x o f r e q u e n c i e s 0 a f o l l o w s :

. . O l R O , . , R

/

w h e r e : R 7 =

o o 2

o m c

o #

o , o 2

o m c

O m R

( 4

( 5

a n Z 0 / y . ( 6 1 = 1 ^ = 1

S t e p 2 T h n e x t s t e p i t c o l l a p s e t h i s m a t r i x a r o u n d a n c e l l C T h i s s t e p p r o d u c e s 2 x m a t r i x ,

w i t h t h o b s e r v e d f r e q u e n c y o f ( X b e i n g o o t h s o r t :R ' w h e r e : / R ' - o R ' 2 R ' 2 N - R ' , _

C C ' I C ' o C ' = N - C ' , ,

a n N ( o + f + g ) .I w o r d s , y i t h f r e q u e n c y o t h r e m a i n d e r o f t h r o w , i d i f r e q u e n c y o f t h r e m a i n d e r

o t h c o l u m n a n i t h r e s i d u a l f r e q u e n c y o t h t o t a l t a b l e . T a b l e s a n g i v e n u m e r i c a le x a m p l e o t h e s e f i r s t t w s t e p s i t h i s p r o c e d u r e , b e g i n n i n g w i t h t h 4 x f r e q u e n c y m a t r i x , U s i n ga g l e v e l 1 9 f r o m T a b l e 6

T h i s v a l u e i t h m e d i a n o t h r a n g e o a g e s f r o m 1 9 5 t h r o u g h 1 9 5 . W p a r t i t i o n e d o u d a t ai n t o f i v e m o n t h i n t e r v a l s b e c a u s e t h a d m i n i s t r a t i o n s o t h e s e t e s t s ( O c t o b e r t M a r c h ) w e r e f i v em o n t h s a p a r t . T h i s g a v e u 2 a g i n t e r v a l ( b c o l l a p s i n g t h t a i l s ( 9 a n 2 2 0 ) t p r o d u c er e a s o n a b l y s i z e d g r o u p s f o t h e s e e x t r e m e a g r a n g e s .

T h i s p r e s e n t a t i o n i n e a n a l y s i s . I o u e a r l i e r p r e s e n t a t i o n s a n p u b l i c a t i o n w u s e d t h 1 6 m o n t h r o o t h d a t a . I T a b l e 6 e a c h r o h a 1 m e m b e r s , r e p r e s e n t i n g t h 4 x m a t r i xs t r i c t u r e p r o v i d e d i T a b l e 3 I e v e r y c a s e , f o i t e m 1 8 B i t h r i g h t ( A ) a n s w e r .

1


14/40

T a b l eS a m p l e L i v e D a t a f o t h

M u l t i n o m i a l P r o c e d u r e

S a m p l e C r o s s t a b u l a t i o n ( A g e 1 9 3 )F r o m O c t o b e r s e l e c t i o n s

T M a r c h

B

T o t a l s

1 1

3

B

1 5

7

1

1 3

T o t a l s

3 8

3 1 6

B c h o o s i n g t l o o k a 0 , ( w i t h f r e q u e n c y o 5 6 t h r e p e a t e d c h o i c e o t h e c o r r e c ta n s w e r a s h o w n i t h b o i T a b l e 3 t h c o l l a p s e d m a t r i x b e c o m e s :

T a b l eC o l l a p s e d V e r s i o n o T a b l e

A r o u n d B t h R i g h t ( A A n s w e rT

M a r c hB

C + T o t a l s

F r o m O c t o b e rB

5

2 7

C + 2

5 8

T o t a l s

8

7 1 6

I o r d e r t d e t e r m i n e t h p r o b a b i l i t y t h a t w o u l d b e 5 6 b y c h a n c e a l o n e , i t i s n e c e s s a r y t f i n d t w c u m u l a t i v e p r o b a b i l i t i e s . F i r s t , i i n e c e s s a r y t o f i n d t h c u m u l a t i v e p r o b a b i l i t y f o r t h r a n g e o a l p o s s i b l e v a l u e s i t h a t c e l l w i t h t h e t h r e e m a r g i n a l v a l u e s k e p t c o n s t a n t . S e c o n d , t h e r e i t h n e e d t o f i n d t h e c u m u l a t i v e p r o b a b i l i t y f o r a l s i n g l e t a b l e s t h a t h a v e v a l u e o f 5 6 o l e s s .

T a c h i e v e t h i s e n d , i i n e c e s s a r y t f i n d t h s m a l l e s t p o s s i b l e v a l u e a n t h l a r g e s t p o s s i b l ev a l u e t h a t c a a c h i e v e w i t h i n t h e s e m a r g i n a l c o n s t r a i n t s .

S i n c e t h e s e v a l u e s a r a l f r e q u e n c i e s , t h e l e a s t p o s s i b l e f r e q u e n c y i z e r o ( 0 ) . S i m i l a r l y , t h g r e a t e s t p o s s i b l e v a l u e t h a t c e l l 0 c a c o n t a i n o c c u r s w h e n e i t h e r t h f r e q u e n c y o o o i % e r o ( 0 ) .T h i s e v e n t o c c u r s w h e n t h O t r e a c h e s t h e s m a l l e r o C o R

M a t h e m a t i c a l l y :

( m a x ) t h l e s s e r o R ' a n C T h m i n i m u m v a l u e i ( z e r o ) a n t h m a x i m u m v a l u e i 7 9

( 8

1


15/40

S t e p 3 T h m u l t i n o m i a l f u n c t i o n i a p p l i e d t t h r a n g e o a l p o s s i b l e v a l u e s f r o m t h m i n i m u m ( 0

t t h m a x i m u m ( 7 9 ) , a d d i n g t h e s e p a r t i a l p r o b a b i l i t i e s t o f i n d t h c u m u l a t i v e p r o b a b i l i t y ( P o e v e n t s w i t h i n t h e s e c o n s t r a i n e d c o n d i t i o n s . T h e q u a t i o n b e c o m e s :

( m a x )p . , , N ; ' . 0 , ) " " ( p J * i p ^ < ( P d " " ( 9 I t h i s p r o c e s s , t h v a l u e o i t h i n c r e m e n t a l v a l u e a c r o s s t h r a n g e f r o m o , m m ) t

0 , , . T h i s m e a n s t h a t t h v a l u e s o o a n h w i l l i n c r e a s e b o n ( 1 a n o f / ; / a n d ^ , w i l l d e c r e a s e b o n ( 1 u n t i l t h r a n g e h a b e e n c o m p l e t e d .

T h v a l u e s o p x e t c . a r c o n s t a n t . T h e s e a r t h p r o b a b i l i t i e s f o e a c h o t h f o u r c e l l s t h a ta r d e t e r m i n e d b c o n s t r a i n i n g t h e c a l c u l a t i o n s u s i n g t h m a r g i n a l t o t a l s . T h e s e c o n s t r a i n t s a r i m p o s e d b e c a u s e w a r a s s u m i n g t h a t t h m a r g i n a l p r o p o r t i o n s a r t h b e s t e s t i m a t e s a v a i l a b l e f o rt h e a c t u a l d i s t r i b u t i o n o t h e s e p a r t i c u l a r c h o i c e s i t h t o t a l s a m p l e .

T h e r e f o r e , t h e s e p r o b a b i l i t i e s a r e t h e p r o d u c t o t h j o i n t p r o p o r t i o n s f o e a c h c e l l a f o l l o w s :

( 1 1 )( 1 2 )( 1 3 )

A l s o :

C \ - o u ( 1 5 )a n b N - ( o . + / + & ) ( 1 6 )

I t h i s p a r t i c u l a r e x a m p l e , t h e v a l u e s o p p 2 / > a n p f o a r 0 . 1 8 2 , 0 . 2 5 4 , 0 . 2 3 6 a n 0 . 3 2 8 r e s p e c t i v e l y , w h i c h a d d s t 1 . 0 0 0 , f o t h e s e f o u r p r o b a b i l i t i e s .

S t e p 4 T h n e x t s t e p i t f i n d t h e c u m u l a t i v e p r o b a b i l i t y f o t h o b s e r v e d f r e q u e n c y o l e s s ( P )

t h i s t i m e i t e r a t i n g f r o m o { m i n ) t a t h v a l u e 5 u s i n g t h s a m e e q u a t i o n ( 9 a n c o n t r o lp a r a m e t e r s ( 1 0 - 1 6 ) i s t e p 3 a s f o l l o w s :

" ( m i n ) u i i & ' i T h d i f f e r e n c e b e t w e e n t h e s e t w c a l c u l a t i o n s b e i n g t h a t e q u a t i o n ( 9 i n c r e m e n t s t o ( m a x )

f r o m < ? / m m ) w h e r e a s e q u a t i o n ( 1 7 ) s t o p s i n c r i m i n a t i o n a t h o b s e r v e d v a l u e o o S t e p 5 T h d e s i r e d c u m u l a t i v e p r o p o r t i o n f o t h o b s e r v e d c e l l f r e q u e n c y c a n n o b d e t e r m i n e d .

T h c u m u l a t i v e p r o p o r t i o n f o a l p o s s i b l e e v e n t s w i t h i n t h e s e c o n s t r a i n e d c o n d i t i o n s i ( P f r o m

1


16/40

e q u a t i o n ( 9 a n t h c u m u l a t i v e p r o b a b i l i t y w i t h i n t h e s e c o n s t r a i n t s f o r t h e o b s e r v e d f r e q u e n c y o l e s s i P f r o m e q u a t i o n ( 1 7 ) . T h u s , t h e d e s i r e d p r o b a b i l i t y i t h r a t i o o t h e s e t w p r o b a b i l i t i e s , o r

T h e s e c a l c u l a t i o n s a r e c o n d u c t e d f o e v e r y c e l l . T h e y p r o v i d e a n i n d e p e n d e n t v a l u e f o a l r e p e a t e d a n s w e r s a n f o e v e r y a n s w e r c h a n g e t t h i s q u e s t i o n a a p a r t i c u l a r a g r a n g e ( 1 9 1 1 9 m o n t h s ) a w e l l a a l o t h c h a n g e s f r o m o n a n s w e r t a n o t h e r .

T a b l eS a m p l e L i v e D a t a f o t h M u l t i n o m i a l P r o c e d u r e

w i t h m u l t i n o m i a l ( P V a l u e s C a l c u l a t e dS a m p l e C r o s s t a b u l a t i o n ( A g e 1 9 3 )

F r o m O c t o b e r s e l e c t i o n sT

M a r c h

B

T o t a l s

1 1 . 0 0 0

1 0 . 9 9 9

0 . 0 3 6

0 . 9 5 83

B

1 0 . 9 9 7

5 1 . 0 0 0

1 . 0 0 0

0 . 6 0 17

0 . 1 2 0

0 . 7 1 3

0 . 6 6 1

0 . 9 9 5

0 . 9 7 21

0 . 9 8 3

0 . 1 9 31

1 . 0 0 03

T o t a l s

3

8

3

1 6

T a b l e p r o v i d e s t h r e s u l t s f o e v e r y c e l l f r o m a g l e v e l 1 9 3 .N o t i c e t h a t t h > r e p e t i t i o n h a z e r o ( 0 ) . T h i s i t h f r e q u e n c y i t h o r i g i n a l d a t a b u

i f a i r l y l a r g e , b u n o n - s i g n i f i c a n t p r o p o r t i o n . T h i s p e c u l i a r i t y o t h m e t h o d a r i s e s b e c a u s e t h v a l u e o 0 ! b c o n v e n t i o n , i e q u a l t 1 T h i s f e a t u r e o t h p r o c e d u r e b y p a s s e s L D T h i t r e p e a e dm e a s u r e s , w a l s o n e e d t r e p l a c e t h m a i n d i a g o n a l w i t h z e r o s ( 0 s ) b e f o r e c a l c u l a t i n g t h e o f f -d i a g o n a l e l e m e n t s . W e 3 5 f o u n d i o u t r i a l r u n s t h a t i w d i n o m a k e t h i s s e c o n d o r d e r c a l c u l a t i o n ,h i g h t a b l e f r e q u e n c i e s w e r e o f t e n r e p o r t e d a d i s j o i n t b t h e i r v a l u e s , a l s o r e f l e c t i n g L D

S u b s e q u e n t l y , r e a l i z i n g w h a n e s t a t i s t i c . W h a v e c a l l e d i " T h u r s " w i t h s y m b o l ( P f r o m t h R u n i c a l p h a b e t , b e c a u s e i l o o k s s o m e w h a t l i k e " P . " B o t h t h u p p e r a n l o w e r c a s e P a l r e a d y h a v e s t a t i s t i c a l m e a n i n g s .

T h e P s t a t i s t i c , b e i n g p r o p o r t i o n , h a s r a n g e f r o m :0 . 0 0 0 < 1 . 0 0 0 . ( 1 9 )W w i l l n e e d a s s i s t a n c e f i n d i n g i t m a t h e m a t i c a l e q u a t i o n d e r i v e d f r o m t h m u l t i n o m i a l i

t h i s c a b s i m p l i f i e d . W c u r r e n t l y u s e d t h s t a n d a r d d e v i a t i o n o t h a v e r a g e s o t h s u m s o t h r o w s f o a l 4 i t e m s t o c a l c u l a t e o u e r r o r e s t i m a t e . T h i s a p p r o a c h c o m e s f r o m t h e d e f i n i t i o n f o rt h s t a n d a r d e r r o r . F r o m f o u r d i f f e r e n t d a t a s e t s , o u c a l c u l a t i o n s s u g g e s t t h a t t h e r r o r r a n g e i s

0 . 0 7 0 P 0 . 1 0 0 ( 2 0 )

1


17/40

T h i s r a n g e i v e r y c o n v e n i e n t b e c a u s e l o o k i n g a t a b l e v i s u a l l y , w c a s a y t h a t v a l u e s l a r g e rt h a n 0 . 7 9 t 0 . 8 5 a r e c o n j u n c t i v e l y m e a n i n g f u l a n l e s s t h a n 0 . 1 5 t o 0 . 2 1 a r e d i s j u n c t i v e l ym e a n i n g f u l . F o t h 2 r o w s i e a c h o t h 4 i t e m s o t h t e s t , t h s w a 0 . 0 7 7 .

T a b l e 6 g i v e s t h e r e s u l t s o t h i s a n a l y s i s f o a l r e s p o n s e s f o i t e m 1 o T h P r o v e r b s T e s t .T h i s i t e m w a c h o s e n b e c a u s e t h t h r e e p o s s i b l e i a n s w e r s r e p r e s e n t t h e t h r e e l e v e l s o m a t u r i t ya l r e a d y o b s e r v e d a m o n g t h 5 5 s a m p l e ( E g o c e n t r i c , L i t e r a l a n T r a n s i t i o n a l ) l e a d i n gd e v e l o p m e n t a l l y t t h r i g h t a n s w e r . F o t a b l e w u s e d 0 . 9 2 2 f o o u P c u p o i n t .

T a b l e

A g e s

9

0 O 1 1

2 2 3 3

4 4 5 5 6 6 7 7 8 8 9 9

2 0 2 0 2 1 2 1 2 2

T o t a l sT o t a l s

(

1 1

1 1

1

1 1 1 1

1 1 1 1

1 1

2 5 z o

t o t o

1

1 1

2 1 1 1 1

2 0 1 6

l

1 1 1 1 1

1

1 1

1

1 9 I f y l

M i x e d M u l t i n o m i a l P r o c tO b s e r v e

t

1 1 1

1

1 ( 5 6I 3

l

d u r eF r e q u e n c i e s F o I t e m 1

t B C

1 1 1 1 1 2 1 3 6 5 7 6 5 4 3

3 3 1 3

1

6 7 6 1 2 6 6 3 3

t

4

[ ~ T ~ |

c

6 2

t

T

6 2

t

5 5

t

7 4

t

1 1

1

t

1 \ T

1

1 1 1

1 0 3

1 2 2 1 1

1 9 1 4

t

9 4

t

1

1 1 1 1

1 2

1

1

1 1 2 2 1 1 1 1 1

3 2 2 7 . t

A g G r o u pT o t a l s

2 3 3

1 0 6 9 9 9

1 1 9

1 1 9 8 9 7

1 1 1 8 1 9 2 0 1 7 1 6 1 4 1 1 8 8 5 7

2 8 1 12 2 0 4

M e a r v -i n g f u l

T o i a l s1 1 2 8 3 5 7 4 9 5

0

J J 5

5 5 6 - 8 5 1

}

( J

6 2 2 0 4

S w j n i f i c a i i l t y H i g h ( | 9 ? 3 | C e l l C o u n tS i g n i f i c a n t l y l o ( ( 0 . 0 7 6 ) C e l l C o u n t

0 * i l ! S i g n i f i c a n t C e l l C o u n t .

p o i n t B o l d F a c e .

Q u e s t i o n

1 8 Q U I C K L Y C O M E , O U I C K L Y G O ( t A S Y C O M E , E A S Y G O . Ja . A l w a y s r o m i n , i n c l g o i n g . i n r i n o v t r s a t l t f l s d .t ) W h a t y o B ^ t e a s i l y d o e s n o m e a n m u c h l y o u .c A l w a y i d o t h i n g s o t i m e

U s i n g t h i s c o n s e r v a t i v e c o n s t r a i n t o 0 . 0 7 7 f o m e a n i n g f u l n e s s , t h t a b l e s h o w s t h e n t i r ed a t a s e t f o I t e m 1 o t h P r o v e r b s T e s t . T h t a b l e t o t a l i 2 , 8 1 1 b e c a u s e t h i s w a t h c o h o r t w e r et h e r e w a n m i s s i n g d a t a . W h a v e d i v i d e d t h g r o u p i n t o f i v e - m o n t h a g i n t e r v a l t o a c c o m m o d a t et h f i v e m o n t h ( O c t o b e r M a r c h ) , g i v i n g u s 2 a g l e v e l s f o e a c h v e c t o r o 1 c e l l s .

O u f i r s t o b s e r v a t i o n w a t h a t t h t r a n s i t i o n p o i n t s f o t h d e v e l o p m e n t a l s e q u e n c e w e r e a g a p p r o p r i a t e f o r a b i m o r e t h a n 8 0 f o t h o s e o t h 1 , 6 7 4 o f f - d i a g o n a l c e l l s m e e t i n g t h i s t i g h tc r i t e r i o n f r o m a l 4 i t e m s . T h h y p o t h e s i s o m e a n i n g f u l a g s e q u e n c e e m b e d d e d i t h e s e d a t aw a s u p p o r t e d . T h i s r e s u l t g a v e u r e p l i c a t e d s u p p o r t f o t h s t r o n g d e v e l o p m e n t a l s e q u e n c e f o u n di t h 1 9 7 7 s t u d y a s u g g e s t e d b t h h i g h l e v e l o c o n j o i n t r e l a t i o n s h i p s f o u n d a m o n g t h o s e d a t a .

I i i m m e d i a t e l y c l e a r f r o m t h i s o n e x a m p l e ( a l l o t h e r i t e m s p r e s e n t s i m i l a r a n a l o g o u sp a t t e r n s ) t h e l e a r n i n g , a d e s c r i b e d u s i n g a l a n s w e r s , i c o m p l e x , m u l t i d i m e n s i o n a l p r o c e s s . T h i so b s e r v a t i o n i n v a l i d a t e s A 7

1


18/40


19/40

I F i g u r e 1 w h a v e d u p l i c a t e d t h d e t a i l s o t h w o r d i n g o I t e m 1 f o u n d a t h e f o o t o T a b l e 6 T h a n s w e r i n t e r p r e t a t i o n c o d e i a f o l l o w s :

1 I r A n s w e r s e e m e d i r r e l e v a n t , t o t h e q u e s t i o n . T h i s w a b i m o d a l a a g e s 1 a n 1 7 2 A B A b s t r a c t r i g h t a n s w e r ( m o d a l a g 1 6 ) .3 R T h i s a n s w e r c o m b i n e d w i t h o t h e r s w h e r e c e r t a i n w o r d s w e r e r e d e f i n e d ( R T )

t p r o v i d e t h i n t e r p r e t a t i o n c h o s e n ( m o d a l a g 8 ) 4 L i T h i s a n s w e r a p p e a r e d t i n d i c a t e a a t t e m p t a l i t e r a l t r a n s l a t i o n ( m o d a l a g

1 0 ) .W h e n w l o o k e d a t h i n t e r v i e w n o t e s f o t h i s i t e m , a l t e r n a t i v e w a r e p o r t e d f r e q u e n t l y a

" T h a t ' s w h a t t h t e a c h e r a l w a y s s a y s . " U p o n r e f l e c t i o n , t h i s e x p l a n a t i o n , m o s t c o m m o n w i t h y e a r -o l d s , s e e m s t b a t t e n d i n g o n l y t t h " Q u i c k l y c o m e . . . " p a r t o t h q u e s t i o n . I d e s c r i b e sa c c u r a t e l y t h e f r e n e t i c a c t i v i t y l e v e l o a t h i r d g r a d e c l a s s r o o m . F r o m P i a g e t i a n p e r s p e c t i v e , t h i se x p l a n a t i o n w o u l d b e g o c e n t r i c a n w o u l d b d e v e l o p m e n t a l l y a p p r o p r i a t e .

T h r e a s o n i n g r e p o r t f o r a l t e r n a t i v e w a " I t a l k s a b o u t c o m i n g a n g o i n g . " C o m m o n l yc h o s e n b 1 y e a r - o l d s , i a p p e a r e d t b a a t t e m p t , a w i t h o t h e r i t e m a n s w e r s i t h i s c a t e g o r y t b s e e k i n g l i t e r a l i n t e r p r e t a t i o n o t h f i r s t p a r t o t h i t e m . S u c h l i n g u i s t i c m a n i p u l a t i o n s s u g g e s tP i a g e t ' s C o n c r e t e O p e r a t i o n s . O n c e a g a i n , i t i s d e v e l o p m e n t a l l y a p p r o p r i a t e r e s p o n s e .

W h e r e a l t e r n a t i v e w a c o n c e r n e d , t h e x p l a n a t i o n o i t c h o i c e w a " Y o u s h o u l d s t i c k t j o ' t i l i t ' s f i n i s h e d . " T h e s e 1 y e a r - o l d s s e e m e d t b t r a n s l a t i n g t h f i r s t p a r t o t h q u e s t i o n a t h p r o v e r b " r o l l i n g s t o n e g a t h e r s n m o s s . " S u c h s i f t s o m e a n i n g f i t s t h i r r e l e v a n c y d e s i g n a t i o n .T h e s e s t u d e n t s a r n o t h i n k i n g f i g u r a t i v e l

Documents

Powell () the Role of Wrong Answers in Learning Dynamics