Proof that the Sample Bivariate Correlation has limits (plus or minus) 1

7/24/2019 Proof that the Sample Bivariate Correlation has limits (plus or minus) 1

1/29

" - E D 2 1 6 8 7 4

D O C U M E N T R E S U M E

A U T H O R

O ' B r i e n , - T r a n c i s J .

J r .

C d e f f i c i e n t H a s L i m i t s ( ( P l u s o r M i n u s ) ) 1 .

P U B D A T E

'

8 ' 2

. 1 1

.

N O T E

3 2 p .

:

\

T I T L E '

P r

S E 0 3 7 4 3 9

C o r r e l a t i o n

E D R S P R I C E

D E S C R I P T O R S

.

.

I D E N T I F I E R S

M F 0 1 / P C O 2 P l u s p o s t a g f .

,

* C o r r e l a t i o n ; * E d u c a t i d n a l R e s e a r c h ; H i g h e r

E d u c a t i o n ; M a t h e m a t i c a l F o r m u l a s ; * P r o o f

( M a t h e m a t i c s ) ; * R e s e a r c h T o o l s ; * S t a t i s t i c s

* A p p l i e c O S t a t i s t i c s

A B S T R A C T '

T h i s

e r p r e s e n t s i n d e t a i l a p r o o f o f t h e l i M i t s ,

o f t h ' a s a m p l e b i v a r i a t e c o r r e l a t i o n c d e f f i c i e n t w h i c h r e q u i r e s o n l y

k n o w l e d g e o f a l g e b r a . N o t a t i o n a n d b a s i c f o r m u l a s o f s t a n d a r d ( z )

s c o r e s , b i v a r i a t e c o r r e l a t i o n f o r m u l a s i n

u n s t a n d a r d i z e d a n d

s t a n d a r d i z e d f o r m , a n d a l g e b r a i c i n e q u a l i t i e s a r e ` r e v i e w e d f i r s t ,

i -

s i n c e t h e y a r e n e c e s s a r y f o r u n d e r s t a n d i n g t h e p r o o f . ' T h e n t h e p r o o f

i s p r e s e n t e d , w i t h a n a p p e n d i x . c o n t a i n i n g a d d i t i o n a l p r o o f s o f

r e l a t e d m a t e r i a l . ( N N S )

4

'

, P ,

6

.

O

O

1

I

f ,

o

* * * * * * * * * * * * * * * * * * * * * * * * * * * * 4 , * * * * * * * * * * * * * * 1 * * * * * * * * * * * * * * * * * * * * * * * * * * *

*

R e p r o d u c t i o n s s u p p l i e d b y E D R S a r e t h e b e e t t h a t c a n b e m a d e

*

* ,

f r o m t h e o r i g i n a l d o c u m e n t .

. *

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * v * * * * * * * * * * * * * * * * * * * * * * * * * * * * * -

. f r


2/29

U S . D E P A R T M E N T O F

E D U C A T I O N

N A T I O N A L I N S T I T U T E O F

E D U C A T I O N

D U C A T I O N A L R E S O U R C E S

I N F O R M A T I O N

C E N T E R I E R I C I

A r s a o c u m e n t h a s b e e n

r e p r o d u c e d a s

r e c e r e e d f r o m t h e p e r s o n o r

o f g a n i z a h o n

o n g i n a t i n g I t ,

M i n o r c h a n g e s h a v e b e e n m a d e

t o I m p r o v e

r e p r O d u C n O n Q u a l i t y .

P o i n t s o f c r e w o r % m o n s

s a t e d f n t h i s d o c u

m e e t d o n o t n e c e s s a r a y r e p r e s e n t

o t h c f a l N I E

p o s a f o n o r ' p o k y

P r o o f T h a t t h e S a m p l e B i v a r i a t e C o r r e l a t i o n C o e f f i c i e n t

H a s

L i m i t s

- I : 1

)

P E R M I S S I O N T O R E P R O D U C E T H I S

M A T E R r A L H A S B E E N G R A N T E D B Y

F r a r i c i s J . O ' B r i e n , J r . , ' P h . D .

T , 0 T H E E D U C A T I O N A L R E S O U R C E S

I N F O R M A T I O N C E N T E R ( E R I C ) .

'

V i r t u a l l y a l l s o c i a l s c i e n c e s t u d e n t s w h o h a v e s t u d i e d a p p l i e d

-

,

. .

s t a t i s t i c s h a v e b e e n i n t r o d u c e d t o t h e c o n c e p t s a n d f o r m u l a s

o r s l i n e a r

O

c o r r e l a t i o n o f t w o v a r i a b l e s .

A p p l i e d s t a t i s t i c s t e x t b o o k s r o u t i n e l y

s

r e p o r t t h e t h e o r e t i c a l l i m i t s o f t h e b i v a r i a t e . c o r r e l a t i o n c o e f f i c i e n t ; t a m e l y ,

' t h a t t h e c o e f f i c i e n t i s n o ' m o r e t h a n + 1 a n d n o l e s s t h a n

' H o W e v e r ,

n o c o m m o n l y u s e d a p p l i e d s t a t i s t i c s t e x t b o o k

p r o v e s t h i s .

O n e o f t h e

b e s t t e x t b o o k s a v a i l a b l e t o s t u d e n t s o f e d u c a t i o n a n d p s y c h o l o g y i n t r o d U c e s

o

t h e ' p r O o f ( G l a s s a n d S t a n l e y , 1 9 7 0 ) .

U n d o U b t e d l y , o n e o f t h e c o n s t r a i n t s

o

p l a c e d o n a u t h o r s b y p u b l i s h e r s i s s p a c e l i m i t a t i o n s a v a i l a b l e f o r d e t a i l e d

e x p l a n a t i o n s , d e r i v a t i o n s a n d p r o o f s ;

T h i s p a p e r w i l l s e t f o r t h i n - d e t a i l a p r o o f b f t h e l i m i t s o f t h e s a m p l e

b i v a r i a t e c o r r e l a t i o n c o e f f i c i e n t . S i n c e t h e p r o o f

r e q u i r e s o n l y k n o w l e d g e o f

4

. \

a l g e b r a , m o s t s t u d e n t s o f a p p l i e d s t a t i s t i c s a t t h e a d v a n c e d u n d e i g r a d u a t e

, o r

i n t r o d u c t o r y g r a d u a t e ' l e v e l s h o u l d h a v e l i t t l e d i f f i c u l t y i n u n d e r -

s t a n d i n g . t h e p r o o f .

A s a f o r m e r i n s t r u c t o r o f g r a d u a t e l e v e l i n t r o d u c t o r y

a p p l i e d s t a t i s t i c s ; I k n o w t h a t t h e t y p i c a l s t u d e n t c a n u n d e r s t a n d t h e

p r o d f a s i t i s p r e s e n t e d h e r e .

T h e k e y f d r t i n d e r s t a n d i n g s t a t i s t i c a l p r o o f s i s a p r e s e n t a t i o n

o f d e t a i l e \ d s t e p s i n - 4 w e l l a r t i c u l a t e d a n d c o h e r e n t m a n n e r .

A r e v i e w

1 P 4

o f r e l e v a n t s t a t i s t i c a l a n d m a t h e m a t i c a l c o n c e p t s i s a l s o h e l p f u l

( a n d

%

.

. .


3/29

1 .

' 2 .

'

u s u a l l y r e q u i r e d ) .

W h e n s t u d e n t s a r e p r e s e n t e d

i n d e t a i l i m -

p o r t a n t s t a t i s t i c a l p r o o f s i t h e y f e e l t h a t s o m e o f t h e m y s t e r y a n d m a g i c

o f m a t h e m a t i c s h a s b e e n u n v e i l e d .

M y e x p e r i e n c e h a s b e e n t h a t t h e t y p i c a l

s t u d e n t o f a p p l i e d s t a t i s t i c s c a n f o l l o w a g o o d n u m b e r o f p r o o f s b e c g u s e

m o s t p r o o f s c a n b e p r e s e n t e d a l g e b r a i c a l l y w i t h o u t u s e o f c a l c u l u s . I n a d d i t i o n t o

e n h a n c i n g k n o w l e d g e , a n o c c a s i o n a l

p r o o f o f t e n i n c r e a s e s a c a d e m i c 4

m o t i v a t i o n a l

)

S o m e P r e l i m i n a r y C o n c e p t s

T h e p r o o f r e q u i r e s k n o w l e d g e o f s e v e r a l c o n c e p t s i n s t a t i s t i c s

X

.

a n d m a t h e m a t i c s .

I n o r d e r t o m a k e t h i s p a P e r s e l f - c o n t a i n e d , s o m e

p r e l i m i n a r y c o n c e p t s s t a t e d i n a c o n s i s t e n t n o t a t i o n w i l l b e r e v i e w e d .

W e w i l l r e v i e w t h e c o n c e p t s a n d f o r M u l a s o f s t a n d a r d i s c o r e s ( z s c o r e s ) ,

b i v a r i a t e c o r r e l a t i o n f o r m u l a s i n u n s t a n d a r d i z e d a n d s t a n d a r d i z e d f o r m ,

a n d a l g e b r a i c i n e q u a l i t i e s .

N o t a t i o n a n d B a s i c F o r m u l a s

T a b l e l ' i , a l a y o u t o f s y m b o l i c v a l u e s w r i t t e n i n t h e n o t a t i o n

t o ' b e u s e d i n t h i s p a p e r .

T h e m o d e l p r e s e n t e d i n T a b l e 1 i s o f t w o m e a s u r e s

i n u n s t a n d a r d i z e d ( r a w s c o r e r a n d s t a n d a r d i z e d ( z s c o r e ) f o r m . T a b l e

2

. p r e s e n t s s o m e f a m i l i a r

f o r m u l a s b a s e d o n u n s t a n d a r d i z e d v a r i a b l e s t h a t

w i l l b e u s e f u l ' f o r t h e ; d e v e l o p m e n t o f t h e p r o o f .

1 T h i s p a p e r i s o n e o f a s e r i e s c o n t e m p l a t e d . f o r p u b l i c a t i o n . [ S e e

O ' B r i e n , 1 9 8 2 ] .

E v e n t u a l l y , I h o p e t o p r e s e n t a t e x t b o o k o f a p p l i e d / s t a t '

t i c s p r o o f s a n d d e r i v a t i o n s t o s u p p l e m e n t s t a n d a r d a p p l i e d s t a t i s t i c s

t e x t b o o k s .

6 1 "

3


4/29

T a b l e 1

.

T a b l e L a y o u t f o r T w o M e a s u r e s i n U n s t a n d a r d i z e d a n d S t a n d a r d i z e d F o r m

M e a s u r e

X

M e a s u r e

Y

U n s t a n d a r d i z g d ' , S t a n d a r d i z e d

U n s t a n d a r d i z e d S t a n d a r d i z e d

( X - ; ) / S

Z x1

x

( Y - Y ) / S

= Z

1

1

1

Y 1

X

2

( X

2

- R ) / S '

=

x 2

X

3

( X

3

r R ) / S

x

Z

x

r ,

3

0

t *

J Y

= ' i

2

Y

2

Y

3 '

( Y

3

= Z

Y 3

I

..

( g . 1 - R 1 / S

x

= Z

.

1

x .

Y i

( Y i - ) / S

= Z

1

Y

y i

. .

- X

n

( X

n

- T ) / S

. = Z

( Y

= Z

x

x

n

4 0 n

Y

n '

' S a m p l e

S i z e

S a m p l e

,

M e a n

S a m p l e

V a r i a n c e

n

x

S

2

3 c

n

z x

n

z

Y

Y ,

E

x

y

2

. , 2 *

8

S

2

Y

Y

'

r ' .

,

.

.

# .

.

- N O T E :

a l l s a m p l e s i z e t e r m s a r e e q u a . 1 ; t h 4 t i s : n

x

, 1 = n

z

= T i

y

- = n

z y

:

1

. .

.

. x .

. . .

A n y o f t h e s e

s a m p l e s i z e t e r m s c o u l d b e i d e n t i f i e d b y , j u s t . C h e s y m b o l - - s u c h A s

n .

W e ' w i l l u s e h w h e n i t i s n o t i m p o r t a n t t o d i s i i n g u i s h . . k m o n g t h e o t h e r s a m p l e '

s i z e t e r m s , b u t w i l l I l s e t h e t a b l e ' v a l u e s a b o v e w h e n i t i s n e c e s s a r y o r i m p o r t a n t

.

t o d o s o .

, ,


5/29

T a b l e 2

R e l e v a n t F o r m u l a s f o r U n s t a n d a r d i z e d M e a s u r e s

M e a s u r e

X

M e a s u r e

- Y

n

n

x

Y

- 4

E

X

E

Y .

S a m p l e

X =

1

= 1

X .

1 = 1

1

.

M e a n

.

0

4

n

X

S u m

n x

n x X = T X .

i = 1

n x

S a m p l e

2

S

i = 1

1

V a r i a n c e

x

n

x

n x

S u m o f

( n - 1 ) S

2

= L . . . . ( X i

Y Y

: X )

2 ,

.

( n - 1 ) S 2

=

) , _ _ .

x x

( T . - ( Y . - Y ' ) - ?

S q u a r e s ,

i = 1

i = 1

1

/

(

.

=

Y

n

n Y =

E

Y .

1 = 1

1

n

N O T E S :

l ,

T h e s a m p l e i s i z e t e r m s a r e e q u a l : n

x

= n

y

. A l s o n

x

y

= n . = n 4

.

,

. .

m a n i p u l a t i o n

. , " S u m " i s s i m p l y - a n a l g e b r a i c

a n i p u l a t i o n o f " S a m p l e M e a n " ; i . e . ,

m u l t i p l y o v e r t h e s a m p l e s i z e t e r m i n " S a m p l e M e a n " t o g e t - " S u m " .

A l s o , " S u m o f S q u a r e s

i s s u c h a m a n i p u l a t i o n b a s e d o n " - S a m p l e

V a r i a n c e " . .

" S u m " a n d " S u m o f S q u a r e s " - w i l l b e u s e f u l l a t e r o n .

. .

1

. -

-

.

3 .

D e s c r i p t i v e s t a t i s t i c s f o r s t a n d a r d i z e d s c o r e t ' w i l l b e

.

d e v e l o p e d i n . t h e

b o d y " . o l . t h e t e x t .


6/29

-

a

I l r

a

S t a n d a r d S c o r e s

I t w i l l b e K e c a l l e d t h a t t h e s t a n d a r d s c o r e f o r a n u n s t a n d a r d i z e d

. .

'

m e a s u r e ( r a w s c o r e ) i s " t h e s c o r e - m i n u s t h e m e a n d i v i d e d b y t h e s t a n d a r d

d e v i a t i o n " .

F o r c a s e 1 o f m e a s u r e X i n T a b l e 1 ,

t h e s t a n d a r d ' - ( z ) s c o r e i s :

\

F o r a n y ( h y p o t h e t i c a l l , c a s e , ' t h e s t a n d a r d , s c o r e , o f - a n , X m e a s u r e i s

.

x

.

x

1

Z

=

;

X

.

.

S

X

,

1

1

.

.

. T h e l a m e p r o c e d u r e c a n b e a p p l i e d t o Y m e a s u r d s . . F o r

c a s e ' l :

,

Y

1

Y

1

- Y

y

0

0

S i m i l a r l y ,

f o r t h e i t h ( h y p o t h e t i c a l c a s e ) , - w e h a v e :

Y -

. :

S

y

, S i n c e a s t a n d a r d s c o r e d i s t r i b u p i o n ( s u c h a s

.

.

.

d i s t r i b u t i o n o f v a r i a b l e m e a s u r e s . , w e c a n c a l c u l a t e m e a n s ; s t a n d a r d d e v i a t i o n s ,

,

-

. ,

.

,

.

. .

v a r i a n c e s , c o r r e l a t i o n s , a n d s o f o r t h , j u s t a s w e c a n , c a l c u l a t e

t h e S e -

.

_ _

s t a t i s t i c s f o r u n s t a n d a r d i z e d m e a s u r e s .

i n T a b l e 1 1 i s a

.

0 -

a


7/29

V

M o s t s t u d e n t s w i l l r e c a l l t h a t t h e m e a n o f z s c o r e s i s e q u a l t o 0

6 .

a n d . t h e s t a n d a r d d e v i a t i o n ( a n d v a r i a n c e ) o f s t a n d a r d i Z e d s c o r e s i s e q u a l t o 1 .

( T h e p r o o f o f t h e s e s t a t e m e n t s i s g i v e n i n t h e A p p e n d i x

1

. )

T h e m e a n o f X s t a n d a r d i z e d s c o r e s i s d e f i n e d a s :

Z

x

=

4 0 k

S i m i l a r l y , f o r Y m e a s u r e s :

i = i

z

x i

- 0

4

e

z

n

2

0

T h e v a r i a n c e O f X i n z s c o r e n o t a t i o n i s d e f i n e d a s :

n

c z

E ) 2

x

- - .

x

1 1 2 1 = 1

1

4

P

z

n

- 1

= 1

z

.

. . .

.

x

4 ,

.

.

.

.

1

1

T h ' e A p p e n d i i C o n t a i n s p r o o f o f c e r t a i m c o n c e p t s ' o r

r e l a t i o n h i p s

.

t h a t m i y b e o f i n t e r e s t t o t h e r e a d e r b u t a r e n o t c r u c i a l

f o r . t h e . d e v e l o p m e n t

1 6

. , o f t h e p r o o f i n t h i s R a p e r ( t h e t h e o r e t i c a l l i m i t s o f t h e s a m p l e

b i v a r i a t e

c o r r e l a t i o n c o e f f i c i e n t ) .

.

. .


8/29

.

' I

F o r t h e s t a n d e r d i z e d , Y m e a s u r e t h e v a r i a n c e i s d e f i n e d a s :

4 : 0

n

z

Y

1 E : ( z

- z 1

2

S

2

=

i = 1

Y i

Y

z

n z

- 1

S u m o f S q u a r e d S t a n d a r d S c o r e s .

-

T o u n d e r s t a n d t h e p r o o f i t i s n e c e s s a r y t o k n o w t h e r e s u l t

o f s u m m i n g a d i s t r i b u t i o r k o f s q u a r e d s t a n d a r d

s c o r 4 s .

I f w e s q u a r e

/ .

7 .

e a c h , s t a n d a r d s c o r e f o r t h e X m e a s u r e i n T a b l e 1 a n d s u m t h e m , w e o b t a i n :

1 1 ,

> . . . . . Z 2

=

Z 2

+

Z

2

+

.

.

x

4

.

i = 1

X i "

, , , - . I - 2

V

. ,

*

Z - 2

n

I f w e s u b s t i t u t e t h e a p p r o p r i a t e m e a n s a n d v a r i a n c e s i n . t h e r i g h t h a n d s i d e

o f t h e e x p r e s s i o n , w e o b t a i n : .

0

,

' n

z x

- - - - - -

2

.

2

0 (

1

4 0 2 ( X

2

- X ) .

( X - X )

n

E

z 2

.

+

+

. i . 7 1

x i S

x

2

2

I

. r '

; .

S

2

x

x


9/29

S i n c e

C ,

t h e

S

2

i s a q o n s t a n t , w e c a n . f a c t o r i t o u t s i d e , a n d w r i t e :

'

8 .

n ,

z

x

,

. .

,

,

'

.

z -

. .

. 1

.

( x

1

- x )

2

+ ( x

2

- x r

2

+ . . . + ( x

n .

) i )

4

2

I

1 = 1

4 '

.

S ,

.

. , . , )

. e 0 8

4

.

R e w r i t i n g t h e r i g h t h a n d - s i d e i n s u m m a t i o n n o t a t i o n , w e o b t a i n :

h

( X

- - c o

z

2

1

x

x

k = 1 ,

1 :

2

x

S

2

i . x '

i = 1

.

.

F r o m T a b l e 2 , w e k n o w t h a t w e c a n s u b s t i t u t e t h e s u m o f s q u a r e s t e r m

i n t o t h e n u m e r a t o r o n ' t h e r i g h t h a n d s i d e . T h i s r e s u l t s i n :

4

( R e c a l l t h a t n - 1 = n - 1 ) .

*

I f w e w e r e t o w o r k t h r o u g h t h e s a m e s t e p s f o r Y , w e w o u l d o b t a i n :

. 5

t

( n L l ) S

2

x x

5

n x - 1

=

n 7 1

S

2

k

-

( R e c a l l t h a t n 7 1 = n - 1 ) .

, ( n - 1 ) S

Y

y

O

S

2

- - . 1 a - 1

=

, Y

4 1 .

4

i


10/29

A s

9 .

T h e u r e l a t i o n s h i p s b e t w e e n s q u a r e d . z s c o r e s

a n d s a m p l e s i z e a r e v e r y i m p o r t a n t '

,

f o r t h e p r o o f ' l a t e r o n .

T h e y w i l l b e s u m m a r i z e d d a t e r o n f o r e a s y

r e f e r e n c e . _ . ,

C o r r e l a t i o n F o r m u l a s

U n s t a n d a r d i z e d F o r m .

I

U s i n g t h e n o t a t i o n ' a n d v a r i a b l e s i n

T a b l e s 1 a n d 2 , t h e i i n s t a n d

d i z e d

' f o r m . c o r c , e l a t i o n ' f o r t w o m e a s u r e s ( V a n d Y ) i s d e f i n e d a s

f o l l o w s :

r

x y

n

1

E

i = 1

1

3 ;

0 ;

- 7

n

n

- X ) 2

i = 1

n - 1

x

1

= 1

-

m a .

n - 1 ,

Y

6 . . . 1 .

N o t e t h a t t h e n u m e r a t o r c o n t a i n s t h e t e r m

n - 1 b e c a u s e i t i s n o t i m p o r t a n t

9

o r n e c e s s a r y t o d i s t i n g u i s h

b e t w e e n n

x

- 1 o r n

y

- 1 .

H o w e v e r , i n t h e d e n o m - ,

i n a t o r i t i s h e l p f u l t o d i s t i n g p i s h n n - 1

f r o m n - 1 .

I n a n y c a s e , a l l

Y

o f t h e s a m p l e s i z e t e r m s w o u l d b e

e q u a l , t o t h e s a m e n u m e r i c a l ' v a l u e

i f 5 a ,

, . . . . s e r r e / a t i o n c o e f f i c i e n t w e r e c o m p u t e d o n a s e t

o f d a t a ( n

x

- 1 =

- 1 = n - 1 )

r

4 '

1 0


11/29

J r

S t a n d a r d i z e d F o r m

T h e c o r r e l a t i o n o f m e a s u r e , X s a n d

m e a s u r e

Y i n s t a n d a r d s c o r e f o r m

i s d e f i n e d a s f o l l o w s :

r z x ` z Y

1 1 E : ( Z

- - E ) ( Z

)

x .

x

1 7 .

y

n - 1 i = 1

1

n

.

z x

2

E ( Z

)

x . x

i = 1 ,

n z - - 1

x

z .

- Z

Y

)

2

Z

i = 1

z

y ,

I t i s p r o v e n i n t h e A p p e n d i x t h a t t h i s c o r r e l a t i o n f o r m u l a i s e g d a l t o

r z z

- 1

x y

1 0 .

I

n

i

E . Z Z

x .

.

d = 1

1 7 1 .

I f w e r e a r r a n g e j t h i s f o r m u l a y m u l t i p l y i n g o v e r t h e n - 1 t e r m , w e

o b t a i n :

i

( n - 1 ) r

z z

x y

- n

Z

x . , y .

i = 1 "

T h i s r e l a t i o n s h i p w i l l b e u s e f u l i n , t h e p r o o f

i t w i l l b e r e s t a t e d f o r

e a s y r e f e r e n c e l a t e r .

T h e r e a d e r m a y r e c a l l , t h a t t h e s a m e c o r r e l a t i o n c o e f f i c i e n t r e s u l t s

w h e n t h e v a r i a b l e s a r e i n r a w s c o r e f o r m o r s t a n d a r d s c o r e f o r m . T h a t i s : '

O


12/29

C

r

. _ _

T h i s s t a t e m e n t i s p r o v e n i n t h e A p p e n d i x .

W & w i l l r e s t a t e i t p r i o r t o t h e

. .

,

.

.

p r o o f f o r t h e r e a d e r s c o n v e n i e n c e .

,

' C '

(

.

.

l l :

.

.

0

, I n e q u a l i t i e s -

.

,

t o

B e f o r e s t a r t l n g t h e p r O o r

i t i t n e c e s s a r y t o r e v i e

o n e e i f u r t h e r

t o p i c : a l g e b r a i c i n e q u a l i t i A .

I n t h e p r o o f w e a r e r e q u i r e d t o

m a n i p - -

u l a t e

f o r m o f i n e q u a l i t y :

t h e f o l m " g f e a t e k t h a n - o r e q U a l t o "

a n d

-

A i r l e s s t h a n , o r e q u a l t o " . A n e x a m p l e w i l l s e r v e a s a r e f r e s h e r .

.

F o r t w o v a r i a b l e s , s a y A a n d B , w e C a n . w r i t e :

A

> B

w h i c h m e a n s " A i s - g r e a t e r t h a n o r e q u a l t o B " .

E q u i v a l e n t l y , w e c a n w r i t e , i ,

,

B

- 1 ) ,

o f ' r

( i . e . , e

A + 1 ) .

x y

.

x y

P r o o f t h a t

r

4

+ 1

x y

o

a n d

t h e s e c o n d ' p a r t s h o w s t h e u p p e r l i m i t

W e w i l l p r o v e

t h e ' u p p ' e r l i m i t f i r s t .

g 7

T o p r O v e t h i s l i m i t , w e s i l l p e r f o r m

a l g e b r a i c m a n i p u l a t i o n s

o n a s t a t e m e n t w h i c h - i s

m a t h e m a t i c a l l y t r u e .

T h a t s t a t e m e n t i s :

n

D z

z .

1

2

Y i

x i

i = 1

1 5

o

1 4 .


16/29

I n , w d r d s , t h e s t a t e m e n t m e a n s : : t h e s u m o f s q u a r e d

d i f f e r e n c e s o f n

s t a n d a r d i z e d v a l u e p a i r s w i l l a l w a y s b e e q u a l ' t o o r g r e a t e r t h a n

O . T h e

e ,

r e a d e r m a y r e f e r t o . T a b l e 1 f o r c l a r i f i c a t i o n .

T h e s q u a r e d d i f f e r e n c e s

a r e t a k e n 1 7 e a c h r o w ( p a i r s ) o f

a n d

v a l u e s s t a r t i n g a t

f i

Y i

Z

Z

x l , y i a n d c o n t i u i n g d o w n , t o t h e l a s t p a i r o f Z ' s ( Z x , Z

) .

n

Y n

. . . 4 4 .

1 5 .

M o s t s t u d e n t s r e a d i l y a g r e e t h a t t h e s q u a r e d s u m

w i l l b e g r e a t e r t h a n O .

' ,

B u t c a n i t e v e r b e e x a c t l y e q u a l t o 0 ? Y e s ,

t h e o r e t i c a l l y i t c a n .

R e f e r -

4

.

r i n g t o T a b l e 1 , i f

o l l e ; i m a g i n e s e a c h s t a n d a r d i z e d X a n d Y m e a s u r e t o h a v e

0

1

t h e s a m e n u m e r i c a l v a l u e , t h e n i t i s a p p a r e n t t h a t e a c h d i f f e r e n c e

w i l l b e

0 ; s o , t h e s q u a r e d

v a l u e

o f 0 i s a l s o O .

N o w , a s u m o f s q u a r e d O ' s .

w i l l i t s e l f b e e q u a l t o i 0 .

W h i l e i t m a y b e u n l i k e l y t o o c c u r

i n p r a c t i c e ,

i t i s o n l y r e q U i r e d

t h a t

: , ( Z

)

1 = 1

x i

Y i

0

b e t r u e i n a m a t h e m a t i c a l

i

s e n s e .

T h u s , t h e s t a t e m e n t i s t r u e .

W e w i l l e x p a n d t h i s s q u a r e d , s u m ,

p e r f o r m a l g e b i a i c m a n i p u l a t i o n s a n d s u b s t i t u t i o n s ,

a n d a r r i v e a t t h e p r o o f

f o r t h e u p p e r l i m i t o f t h e s a m p l e c o r r e l a t i o n c o e f f i c i e n t .

T h e a c t u a l s t e p s i n t h e

d e r i v a t i o n w i l l n o w b e p r e s e n t e d .

N o t e s

. p e r t a i n i n g t o t h e

a l g e b r a a r e p r o v i d e d f o r t h e r e a d e r s r e f e r e n c e .

R e f e r ,

t o T a b l e s 1 , 2 a n d 3 a s n e e d e d .

I t i s s u g g e s t e d t h a t t h e r e a d e r f i r s t

e x a m i n e t h e a l g e b r a i c s t a t e m e n t o n t h e l e f t s i d e o f t h e p a g e .

T h e n r e a d t h e

c o m m e n t o n t h e r i g h t s i d e f o r e x p l a n a t i o n . S e e n e x t p a g e .

1

T h a t i s , w i t h i n p a i r s , n o t a l l p a i r s .

E x a m p l e :

Y .

1 . 4 1

1 . 4 1

- . 6 8

- . 6 8

. 0 5

. 0 5

e t c .

4 0 .

o b


17/29

Z ( Z

- Z

)

.

0

,

Y 1

1 = 1 '

; t ( Z 2

4

-

2 Z

Z

) > 0

1 x . y .

1 = 1

3 . 3 .

1 7

\

n

n

2

+ " Z -

x . Y 1

1 = 1 1 : 4 :

1 = 1

I

2 E

Z Z

x . y .

1

1

1 = 1

T h a t

r

+ 1

x y

0

t i

N o t e s

y e s t a t e m e n t

f r o m b e f o r e . S q u a r i n g

e a c h t e r m , w e o b t a i n a n e x p a n s i o n o f

t h d b i n o m i a l i n t h i s f o r m :

( A - B . )

2

= A 2 +

B 2

- 2 A B ,

D i s t r i b u t i n g t h e s u m m a t i & o p e l - a t o r

t o ' e a c h t e r m , a n d , b r i n g i n g g - t h e

c o n s t a n t 1 2 ) P o u t s i d e t h e s u m m a t i o n s i g n

c o ,

T h i s n e x t s t e t ) i s v e r y i m p o r t a n t . W e w i l l

s u b s t i t u t e t h r e e q u a n t i t i e e , a , 1 1 f r d m

T a b l e 3 . T h e y a r e :

n

2 : Z 2 = n - 1

, x .

i = 1 1

n

. 1 . Z 2

n - 1

Y

i = 1

,

i = 1

x Z y

=

( n - 1 ) r

z z

( n - 1 )

. .

3 . 3 .

x y

.

3


18/29

1 3

S o

( n - 1 )

( n - 1 )

2 ( . 1 - 1 )

2 ( n - 1 ) r

> 0

' x y

2 . ( n - 1 ) r

x y

> 0

2 ( n - 1 ) ( 1 7 r

]

> 0

x y

2 ( n - 1 ) ( 1 - r x y ]

2 ( n - 1 ) '

( 1 - r

)

0

x y

0

2 ( n - 1 )

- 1 [ ( 1 - r

x y

)

>

0 ]

= r

x y

- 1

0

r

x y

1

+

1

' + i

x y

0

+

M a k i n g t h e

C o l l e c t i n g , t h e

t

. F a c t O r i n g t h e

D i v i d i n g e a c h

2 ( n - 1 ) w h i c h

e q u a l i t y s g n

p o s i t i v e b c a

H e r e w e m a k e

i n e q u a l i t y ' b

u s m u l t i p l y

b y - 1 _ ( s e e T a

t h e i n e q u a l i t

N o w , a d d

: + 1

T h i s g i v e s u s

E N D O F P R O O F

f "

r e e s u b s t i t u t i o n s

l i i c e t e i - m s o f ( n r 1 )

A .

n - 1 ) . t e r m

s i d e o f t h e i n e q u a l i t y b y

o e s n o t c h a n g e t h e i n - ,

a s

2 ( p - 1 ) . i s a l w a y s

s e n m u t t , a l w a y S , b e >

2

e

s e o f m u l t i p l y i n g a n

a n e g a t i v e n u m b e r .

L e t

c h s i d e o f t h e i n e q u a l i t y

l e 3 )

w h i c h r e v e r s e s

s i g n a n d r e v e r s e s t h e 1 - r

x y

t o e a c h s i d e

O R . U P P E R L I M I T .

'


19/29

P r o o f t h a t

r

- 1

x y

, P a r t t w o o f t h e p r o o f

w i l l b e m u c h s i m p l e r b e c a u s e t h e s t r u c t u r e

1 8 .

o f o f t h e p r o o f i s v e r y m u c h

t r u e , n a m e l y : g .

f o l l o w t h e a m e b a s i c s t e p s . W e s t a r t o u t w i t h a s t a t e m e n t t h a t i s m a t h e -

.

.

,

e t h e f i r s t p a r t .

W e w i l l

2 : ( z

+

z

y .

) 2

1 = 1

x

' o

,

A g a i n t h i s s t a t e m e n t i s t r u e i n a m a t h e m a t i c a l s e n s e e v e n t h r o u g h t h e

4 1 1 ; , '

.

" e q u a l s 0 " a s p e c t i s v e r y , u n l i k e l y t o o c c u r i n

s t a t i s t i c a l , p r a c t i c e .

0

T h e d e v e l o p m e n t o f t h e p r o o f w i t h a p p r O p r i a t e n o t e s - b e g i n s o n t h e

n e x t p a g e -

-

- 1

4

0


20/29

,

, . n

Z x +

Z

) 2

d

Y

i = 1

O

>

, 0

0 '

- 4 1 N h a

.

r

x y

; . . ?

0

n

,

E z

2

+ Z

2

+

2 Z

Z )

x .

.

y .

i = 1

1

Y i

e

x .

1

1

/

2

i = 1 1

i = 1 1 1 1

2 ( n - 1 ) [ 1 + r

]

x y

p

+

2 E Z Z , 0

x

i

y

i

M a k i n g s t h e s a m e t h r e e s u b s t i t u t i o n s

. '

A s i n p a r t o n e

/

w e o b t a i n e r

0

>

( 2 ,

4

S t e p ) r e s t a t e d .

S q u a r i n g e a c h t e r m

r e s u l t s i n a b i n o m i 4 a 1 e x p a n s i o n i n

t h i s f o r m :

1

( A + B )

2

= A

2

+

B

2

+ 2 A B

D i s t r i b u t i n g t h e s u m m a t i O n o p e r a t o r

.

,

.

a n d b r i n g i n g o u t t h e 2

. . . .

( n - 1 )

t +

2 ( n - 1 ) r

A

x y

i

A d d i n g l i k e t e r m s a n d f a c t o r i n g

0

D i v i d i n g e a c h s i d e b y ; p i - 1 )

1

r

. >

0

A d d i n g .

. 4 1 " 4 " ' t o . e a c h s i d e

x y

r

1 i %

.

1 .

+

r

- 1

> 0

1

S i m p l i f y i n g

x y 0

r

x y

>

- 1

E N D O F P R O O F F O R L O W E R L I M I T

2 3

2 2

.

j o l t

r a

J O ,


21/29

4

, r

2 0 .

. ' . .

,

. . .

_

W e h a v e j u s t p r o v e n t h a t 1

Documents

Proof that the Sample Bivariate Correlation has limits (plus or minus) 1