Combinare Regressionee ANOVA: predittori quantitativi ecategoriali … · 2016. 1. 22. · Nicola Tedesco (Statistica Sociale) Combinare Regressione eANOVA: predittoriquantitativi

Combinare Regressione e ANOVA: predittori

quantitativi e categoriali

Nicola Tedesco (Statistica Sociale) Combinare Regressione e ANOVA: predittori quantitativi e categoriali 1 / 58

Introduzione

Controllare per una Covariata

La regressione multipla consente di studiare la relazione tra variabiliquantitative

L’ANOVA consente di verificare come le medie di una variabile quantitativa simodifichino al variare di più predittori categoriali (qualitativi)

Domanda: è possibile costruire modelli che studino le variazione tra le mediein relazione a predittori di qualsiasi tipo?

Ciò è possibile combinando le due metodologie

Esempio: si stanno confrontando i redditi di M e F anche in relazione aidifferenti livelli di esperienza (anzianità di servizio)

Si vuole studiare come variano i redditi medi tra i due gruppi (M e F)controllando per i valori di un altro predittore quantitativo (esperienza)

Introduzione

Analisi della Covarianza

In questo caso la variabile rispetto alla quale si effettua il controllo prende ilnome di covariata

Il modello di regressione, in presenza di covariate, prende il nome di Analisidella Covarianza

Sostanzialmente, gli effetti di un predittore (qualitativo) possono modificarsial variare dei livelli di un altro predittore (quantitativo) definito covariata

Es.: i redditi di M e F sono generalmente differenti (+M -F). Ma sappiamoche il reddito è positivamente correlato con l’esperienza. Se i M tendono adavere più esperienza lavorativa delle F, allora la differenza nei loro redditi èdovuta alla variabile esperienza e non al sesso

Per ragioni di semplicità espositiva ci limiteremo al caso di un predittorecategoriale e di un predittore quantitativo

Introduzione

Confrontare le medie e le rette di regressione

Notazione:

a X variabile esplicativa quantitativa

b Z variabile esplicativa categoriale. Se dicotomica è una dummy, se politomicasegue un set di dummy

Se controllo per Z, sto studiando la relazione di X su Y in ogni categoria di Z

Se controllo per X, sto studiando se vi sono differenze nelle medie di Y alvariare di Z, per ogni valore di X

Notazione:

Confrontare le rette di regressione

Riprendiamo l’esempio sui prezzi di vendita delle caseCasa Prezzo Dimensione Tasse Stanze Letto Bagni Nuova1 279900 2048 3104 4 2 no2 146500 912 1173 2 1 no3 237700 1654 3076 4 2 no4 200000 2068 1608 3 2 no5 159900 1477 1454 3 3 no6 499900 3153 2997 3 2 s̀ı7 265500 1355 4054 3 2 no8 289900 2075 3002 3 2 s̀ı

La variabile risposta è il Prezzo

I predittori sono: Dimensione (in yarde quadrate) e Casa Nuova (1 = S e0 = N)

L’analisi consisterà nel costruire due rette di regressione (una per le casenuove e una per le vecchie) e confrontare i risultati

Con l’analisi della covarianza è possibile confrontare lerette di regressione perciascun livello del predittore qualitativo

Ad es., si osservi la figura

x

y

x

y

x

yz 5 1

z 5 0

z 5 1

z 5 0

z 5 0 or 1

(a) No interaction (b) No interaction, with identical y-intercepts

(c) Interaction

Il caso (a) ci dice che i prezzi delle case N e V dipendono allo stesso mododal predittore X (Dimensione)

Il caso (b) ci dice che il prezzo delle case N o V è lo stesso per ogni valore diX

Il caso (c) ci dice che il predittore X influenza il prezzo delle case in mododiverso a seconda del fatto che sia N o V (è l’interazione)

x

y

x

y

x

yz 5 1

z 5 0

z 5 1

z 5 0

z 5 0 or 1

(c) Interaction

x

y

x

y

x

yz 5 1

z 5 0

z 5 1

z 5 0

z 5 0 or 1

(c) Interaction

x

y

x

y

x

yz 5 1

z 5 0

z 5 1

z 5 0

z 5 0 or 1

(c) Interaction

x

y

x

y

x

yz 5 1

z 5 0

z 5 1

z 5 0

z 5 0 or 1

(c) Interaction

x

y

x

y

x

yz 5 1

z 5 0

z 5 1

z 5 0

z 5 0 or 1

(c) Interaction

Può accadere che il modo in cui X influenza Y sia diverso al variare dei livellidi Z

La figura mostra come la relazione di X su Y sia nel complesso positiva, masi annulla per ogni livello di Z

x

yOverallrelationship

Partialrelationships

Category 1Category 2Category 3

x

Confrontare le medie di Y controllando per X

L’altro caso riguarda lo studio di come la covariata Z influenza Y ,controllando per i diversi valori di X

L’esempio è quello del reddito Y , il sesso Z e l’esperienza X

La relazione nota è che il reddito dei M sia superiore a quello delle F, quindiZ influenza Y

Tuttavia controllando per l’esperienza può accadere che tale relazionescompaia, cioè M e F hanno redditi uguali a parità di esperienza

Si tratterebbe di una relazione concatenata dove i M hanno un redditomaggiore delle F solo perchè hanno complessivamente più esperienza (tracoloro con elevata esperienza prevalgono i M sulle F)

Se cos̀ı non fosse, allora davvero il sesso Z influenzerebbe il reddito Y

Confrontare le le medie di Y controllando per X

La figura mostra molto bene i diversi casi

x

y

x

y

x

y

(a) No interaction (b) No interaction, with identical regression lines

Men

Women

(c) Interaction

Il caso (a) mostra come non ci sia interazione tra sesso e esperienza. Larelazione tra X e Y è la stessa per M e F

Il caso (b) mostra come M e F abbiano lo stesso reddito a parità diesperienza (la relazione Z su Y è la stessa controllando per X )

Il caso (c) mostra, invece, come il reddito dei M sia superiore a quello delle F(influenza di Z ), e cresca più velocemente a parità di esperienza X

x

y

x

y

x

y

Men

Women

(c) Interaction

x

y

x

y

x

y

Men

Women

(c) Interaction

x

y

x

y

x

y

Men

Women

(c) Interaction

Regressione con predittori quantitativi e categoriali

Variabili esplicative quantitative e dummy

Si consideri il modello con un regressore quantitativo X e uno categoriale a 3livelli, da cui conseguono 2 dummy

E (y) = α+ βx + β1z1 + β2z2.

Il coefficiente β indica l’effetto di X sulla media di Y

I coefficienti β1 e β2 indicano, rispettivamente, gli effetti per le categoriedell’altro predittore (Z )

Ovviamente si tratta di effetti che si aggiungono (algebricamente) a quellorappresentato da β

E (y) = α+ βx + β1z1 + β2z2.

Esempio 13.1 — Regressione Reddito Istruzione e Gruppo

Etnico-Razziale

Si è considerato un campione di americani ultra 25-enni su cui si sono rilevatele seguenti variabili:

1 y = reddito annuale

2 x = anni di istruzione (12 = high school graduate, 16 = college)

3 z = gruppo etnico-razziale (Neri, Ispanici, Bianchi)

Il campione di n = 80 intervistati è cos̀ı suddiviso: n1 = 16 neri, n2 = 14ispanici e n3 = 50 bianchi

Si hanno, in pratica, 3 gruppi di soggetti diversi per gruppo etnico-razziale, esi vuole studiare se il reddito annuale dipende dall’istruzione e/o dal gruppoetnico di appartnenza

Si introduce il controllo per gruppo etnico

Lo schema delle dummy è il seguente:

a z1 = se il soggetto è nero, z1 = 0 altrimenti;

b z2 = se il soggetto è ispanico, z2 = 0 altrimenti;

c z1 = z2 = 0 se il soggetto è bianco.

Etnico-Razziale

Tabella: y = Reddito Annuale (in Migliaia di Dollari) e x = Numero di Anni di Istruzioneper 3 Gruppi Etnici

Black Hispanic White White White

y x y x y x y x y x

16 10 32 16 30 14 62 16 50 1618 7 16 11 48 14 24 10 50 1426 9 20 10 40 7 50 13 22 1116 11 58 16 84 18 32 10 26 1234 14 30 12 50 10 34 16 46 1622 12 26 10 38 12 52 18 22 942 16 20 8 30 12 24 12 24 942 16 40 12 76 16 22 14 64 1416 9 32 10 48 16 20 13 28 1220 10 22 11 36 11 30 14 32 1266 16 20 10 40 11 24 13 38 1426 12 56 14 44 12 120 18 44 1220 10 32 12 30 10 22 10 22 1230 15 30 11 60 15 82 16 18 1020 10 24 9 18 12 24 1230 19 88 17 26 12 56 20

46 16 104 14

I dati della Tabella mostrano chiaramente che i redditi si differenziano tra igruppi etnici

Tuttavia ciò potrebbe essere dovuto alle differenze nelle distribuzioni dellavariabile Istruzione

Se ciò fosse vero, controllando per l’Istruzione, ci aspetteremmo redditi medisimili

In sintesi abbiamo:

Tabella: Redditi Medi e Istruzione, per Gruppo Etnico

Neri Ispanici Bianchi TotaleMedia Reddito y1 = 27.8 y 2 = 31.0 y3 = 42.4 y = 37.6Media Istruzione x̄1 = 12.2 x̄2 = 11.6 x̄3 = 13.1 x̄ = 12.7Dim. campionaria n1 = 16 n2 = 14 n3 = 50 n = 80

Appare chiaro che i Bianchi hanno il Reddito maggiore ma anche il valore piùelevato per Istruzione

Domanda: qual è l’effetto più rilevante?

In sintesi abbiamo:

La Tabella riporta i risultati di un modello di regressione con le dummy per ilGruppo Etnico

Tabella: Modello senza interazioni per la Variabile risposta y = Reddito e VariabiliEsplicative Istruzione e Gruppo Etnico (con variabili dummy per le categorie Neri eIspanici)

IC 95%Parametri B Std. Error t Sig Inferiore Superiore

Intercetta -15.663 8.412 -1.862 .066 -32.4 1.09istruzione 4.432 .619 7.158 .000 3.2 5.70razza = N -10.874 4.473 -2.431 .017 -19.8 -2.00razza = I -4.934 4.763 -1.036 .304 -14.4 4.60razza = B 0

R-Quadro = .462

Si ottiene il seguente modello

ŷ = −15.7 + 4.4x − 10.9z1 − 4.9z2.

Considerando i Neri, z1 = 1 e z2 = 0, l’equazione è

ŷ = −15.7 + 4.4x − 10.9(1)− 4.9(0) = −26.6 + 4.4x .

Per gli altri gruppi etnici avremo

ŷ = −20.6 + 4.4x (Ispanici)ŷ = −15.7 + 4.4x (Bianchi)

I coefficienti angolari sono tutti uguali. Cosa significa?

ŷ = −15.7 + 4.4x − 10.9z1 − 4.9z2.

ŷ = −15.7 + 4.4x − 10.9(1)− 4.9(0) = −26.6 + 4.4x .

ŷ = −15.7 + 4.4x − 10.9z1 − 4.9z2.

ŷ = −15.7 + 4.4x − 10.9(1)− 4.9(0) = −26.6 + 4.4x .

ŷ = −15.7 + 4.4x − 10.9z1 − 4.9z2.

ŷ = −15.7 + 4.4x − 10.9(1)− 4.9(0) = −26.6 + 4.4x .

L’effetto dell’Istruzione sul Reddito è lo stesso in tutti i Gruppi Etnici

White

White (y 5 215.7 1 4.4x)

Black

Black (y 5 226.6 1 4.4x)

Income

Hispanic

Hispanic (y 5 220.6 1 4.4x)

Education105

0

20

40

60

80

100

120

15 20

ˆ

Si può concludere, quindi che il modo in cui l’Istruzione influenza il Reddito èlo stesso in ogni Gruppo Etnico, quindi i Bianchi guadagnano di più non permotivi discriminatori, ma perchè mediamente più istruiti.

L’effetto dell’Istruzione sul Reddito è lo stesso in tutti i Gruppi Etnici

White

White (y 5 215.7 1 4.4x)

Black

Black (y 5 226.6 1 4.4x)

Income

Hispanic

Hispanic (y 5 220.6 1 4.4x)

Education105

0

20

40

60

80

100

120

15 20

ˆ

Si può concludere, quindi che il modo in cui l’Istruzione influenza il Reddito èlo stesso in ogni Gruppo Etnico, quindi i Bianchi guadagnano di più non permotivi discriminatori, ma perchè mediamente più istruiti.

Interpretazione dei parametri: il Modello senza Interazioni

Riprendiamo il modello teorico

E (y) = α+ βx + β1z1 + β2z2.

Per la categoria 1 di Z , con z1 = 1 e z2 = 0, si ha