Upload
gitel
View
78
Download
0
Embed Size (px)
DESCRIPTION
14.1 Introdução 14.2 Comentários sobre as variáveis na equação de regressão. 14.3 Regressão múltipla em termos matriciais. 14.4 Os coeficientes de regressão como valores padronizados e percentagens 14.5 Suposições básicas que evitam viés no estimador do coeficiente e do seu desvio padrão - PowerPoint PPT Presentation
Citation preview
1
Capítulo 14. Regressão linear múltipla
14.1 Introdução 14.2 Comentários sobre as variáveis na equação de regressão.14.3 Regressão múltipla em termos matriciais. 14.4 Os coeficientes de regressão como valores padronizados e percentagens 14.5 Suposições básicas que evitam viés no estimador do coeficiente e do seu desvio padrão14.6 Comparando R2 entre equações de tamanhos diferentes.14.7 R2 Ajustado.14.8 ANOVA para testar a significância da equação inteira: teste F. 14.9 Teste de hipotese para os coeficientes individuais.14.10 Variável binária e outras variáveis artificiais: tendência e sazonalidade14.11 Exemplo com as variáveis binárias. 14.12 Multicolinearidade14.13 Questões e exercícios. 14.14 Referências
2
14.1 Introdução Vamos apresentar a equação de regressão na seguinte forma estática, sem considerar o aspecto de tempo:
Y = a + b1X1 + b2X2 + b3X3 +... + eNID(0,σe)
mais variáveis independentes podem ser colocadas
se os graus de liberdade (número de dados observados – número de coeficientes estimados) não sofrem uma queda desproporcionada.
O erro deve ser NID(0,σe), distribuído Normalmente, e
os erros devem ser Independentes (erros não devem ser auto correlacionados), com média zero e desvio padrão constante σe.
3
14.2 Comentários sobre as variáveis na equação de regressão.
Quais tipos de variáveis podemos usar para Y e X?
Y terá que ser uma variável aleatória e contínua. A variável Y não deve sofrer restrições sobre seus possíveis valores, mas sim tem potencial de assumir valores longe da média, 4 ou 5 desvios padrão da média em geral são suficientes. Esta característica vai garantir que a distribuição de Y é simétrica, um requisito estatístico da distribuição normal para assegurar coeficientes não enviesados, quer dizer, boas estimativas próximas aos valores existentes na grande população desconhecida.
Os valores de X são praticamente livres de restrições, assumindo valores contínuos ou discretos. Os números binários 0 e 1 serão utilizados para diferenciar qualidades não necessariamente mensuráveis como homem/mulher ou americano/iraquiano. Uma seqüência temporal (1,2,3,4...) podem refletir tendência nos dados ou algum tipo de sazonalidade.
4
14.3 Regressão múltipla em termos matriciais.
Y1 = a + b1X1,1 + b2X1,2 + e1NID(0,σe)
Y2 = a + b1X2,1 + b2X2,2 + e2NID(0,σe)
Y3 = a + b1X3,1 + b2X3,2 + e3NID(0,σe)
...
...YT = a + b1XT,1 + b2XT,2 + eTNID(0,σe)
Y = Xb + e
T2T1
1211
XX1
XX1
YXX)X( b -1 ˆ
5
Tabela 14.2 – Peso determinado por temperatura e composição química em 12 ensaios.
EnsaioResposta peso (Y)
Temperatura (temp 0C)
Composição química %
(CQ)1 67,1 100 42 64 110 43 44,3 120 44 45,1 130 45 69,8 100 206 58,5 110 207 46,3 120 208 44,1 130 209 74,5 100 3810 60,7 110 3811 49,1 120 3812 47,6 130 38
0,086
0,89-
156,61ˆ YXX)X( b 1-
peso = 156,61 - 0,89temp + 0,086CQ + e
6
Matriz de variância e covariância
-1X)X( )bvar( 2ˆes
151,253 -1,276 -14,865
-1,276 0,011 -2,4E-15
-14,865 -1,3E-15 71,930
7
14.4 Os coeficientes de regressão como valores padronizados e percentagens
• A vantagem de converter os coeficientes em percentagens ou valores padronizados é que o
coeficiente deixa de ser dependente da unidade de medida.
• Quando o coeficiente depende da unidade de medida das variáveis, a interpretação do
coeficiente pode ficar mais difícil. No exemplo dos dados da tabela 14.2, peso medido em quilos ou libras altera o valor do coeficiente, dificultando a
análise da força da relação.
8
Elasticidade (ElasYX)A variação percentual de uma variável causada pela variação percentual em outra pode ser escrita assim,
Y
XbElasYX
o coeficiente estimado é multiplicado pela razão entre as médias.
Com os dados apresentados na tabela 14.3, para o coeficiente de temperatura, a elasticidade é
ElasYX = - 0,89*115/55,925 = -1,83.
Uma variação de temperatura de um por cento causa um declínio no peso de 1,83 por cento.
Até mesmo peso medido em libras ou onças e temperatura medidaem graus Kelvin, a validade do coeficiente em percentagem continua.
9
Padronizar o coeficiente em termos de desvios padrão - coeficiente beta .
O coeficiente beta é definido assim,
S
Sbbeta
Y
XYX
O coeficiente estimado é multiplicado pela razão dos dois desvios padrão. Para o coeficiente de temperatura a conversão para
desvio padrão leva
betaYX = -0,89*11,677/11,109 = -0,936.
Se a temperatura variar em um desvio padrão, vai haver uma variação de 0,936 desvio padrão no peso.
10
Tabela 14.4 – Os coeficientes e as várias maneiras de calcular a força de
relacionamento.
MédiaDesvio padrão
Coeficiente original
elasYXCoeficiente
betaInterseção 156,62
Temperatura 115 11,677 -0,89 -1,832 -0,936Composição
química20,6 14,5 0,0859 0,0317 0,112
Y = Peso 55,925 11,109
11
14.5 Suposições básicas que evitam viés no estimador do coeficiente e do seu desvio padrão
Violações das suposições causam uma falha na representatividade dos estimadores no sentido de que valores estimados podem se desviar sistematicamente dos valores corretos. É necessário averiguar nos dados e nas relações entre dados a subordinação às suposições, e na presença de transgressões, as medidas cabíveis terão que ser tomadas.
1. Erro de regressão não enviesado. E(e) = 02. Homocedasticidade. E(e2) = constante = e
2 3. Independência. COV(et,et-j) = 0 4. Normalidade. et N(0, e).
1, 2, 3 e 4 Resumidas: et = NID(0, e2I)
5. cov(et,X) = 0. 6. Multicolinearidade. COV(Xi,Xj) = 0. 7. Linearidade.
12
14.6 Comparando R2 entre equações de tamanhos diferentes.
• No contexto de regressão múltipla, esta medida (Coeficiente de determinação - R2.). se caracteriza por uma grande desvantagem especialmente quando utilizada para comparar uma equação contra outra: o valor de R2 é diretamente relacionado ao número de variáveis na equação.
• Quer dizer, cada vez que se acrescentam mais uma variável na equação, o valor de R2 sempre aumenta, mesmo se tratando de variáveis irrelevantes na explicação de Y.
13
Comparando R2 entre equações
Colocar duas equações para comparar, destacando o erro residual como função dos coeficientes. Nota-se que a primeira equação tem uma variável independente a mais X2:
1a. equação: e(a, b1, b2) = Y - a + b1X1 + b2X2
2a. equação: e(a, b1) = Y - a + b1X1
Vamos mostrar que o erro da primeira equação é sempre menor que o erro da segunda equação (e portanto R2 maior), até mesmo com qualquer variável X2 relevante
ou não para explicar Y.
14
Comparando R2 entre equações
SQE( 21 b,b,a ) ≤ SQE(a, b1, 0) Deve ser claro que a segunda SQE com b2 = 0 é que pertence à
segunda equação contando com uma variável a menos,
(2a. equação: e(a, b1) = Y - a + b1X1 )
e que será sempre maior que a primeira SQE otimizada.
Conseqüentemente, será sempre o caso do coeficiente de determinação da primeira equação, R2 ser maior que o coeficiente R2 da segunda equação, R2(a, b1, 0), independentemente
da relevância da nova variável X2
15
14.7 R2 Ajustado.
Vamos corrigir esta falha do R2 e apresentar o R2 ajustado.
1TSQT
1kTSQE
1TSQT
ajR 2
2Y
2e
2Y2
t
tt
σ
σσajR
2Y
2e
2Y2
t
tt
S
SSajR
Onde (T–1) são graus de liberdade associados a SQT, e (T – k -1) são os graus de liberdade associados a SQE,
onde k é o número de variáveis independentes.
16
Tabela 14.5 –R2 ajustado e a representatividade da equação de regressão, adaptada do Excel (2002). Tabela 14.2
temp e CQ somente tempR2 0,890 0,877
R2 aj 0,865 0,865Erro padrão 4,080 4,086
Observações (n) 12 12
teσ
R2aj é constante entre as duas equações, indicando o efeito fraco ou não existente da variável composição química CQ. O resultado do erro padrão favorece a equação com duas variáveis (temp e CQ), mas o favorecimento é questionável, avaliando a pequena diferença entre as duas medidas. A tomada de decisão baseada em evidencias tão fracas é insustentável. O pesquisador precisa investigar mais a situação e buscar conclusões contundentes.
17
14.8 ANOVA para testar a significância da equação inteira: teste F.
O mais básico teste de hipótese é um teste com a estatística F sobre todas as estimativas simultaneamente.
Esse tópico foi tratado na seção 13.10 (Teste de hipótese da representatividade da equação como um todo, a estatística F).
Y = a + b1X1 + b2X2 + b3X3 + e
As hipóteses nula e alternativa são:
H0: b1 = b2 = b3 = 0H1: não há igualdade a zero
F(k, T – k – 1) = (SQR/k) / (SQE/(T – k – 1) )
18
Tabela 14.6 – ANOVA, Estatística F e valor p.
gl SQ MQ F valor - p
Regressão k = 2 1207,9 603,9 36,27 4,93E-05Erro
Residual T-k-1=9 149,8 16,6
Total T – 1 = 11 1357,7
gl = grau de liberdade; SQ = Soma de Quadrados; MQ = Média de Quadrados
O valor da estatistica F é relativamente alto igual a 36,27 (= 603,9/16,6) e valor p correspondente igual a 0,0000493, praticamente igual a zero. Portanto, podemos rejeitar a hipotese nula e concluir que a equação de regressão tem elementos de relação significante entre a variavel resposta, peso, e pelo menos uma das variáveis independentes, temperatura e composição química.
19
14.9 Teste de hipotese para os coeficientes individuais.
O teste de hipótese para a significância de coeficientes
individuais foi visto na seção 13.12 (Teste de hipótese, o exemplo de coeficientes individuais de regressão) no
contexto de regressão simples.
O procedimento para regressão múltipla é idêntico.
Vamos voltar ao exemplo dos dados da tabela 14.2. Foram calculadas as estatísticas da equação de
regressão cujos coeficientes já foram apresentados:
peso = 156,61 - 0,89temp+ 0,086CQ + e
20
Tabela 14.7 – Teste de hipótese para coeficientes individuais
Coeficientes Erro padrão estatística t valor-P
Interseção 156,615 12,299 12,734 0,000
Temperatura (temp) -0,891 0,105 -8,457 0,000
Composição química % (CQ) 0,086 0,085 1,013 0,338
As estatísticas t para a interseção (a) e para a temperatura (temp) são altos e os valores-p correspondentes baixos que nos dois casos determina a rejeição da hipótese nula de coeficientes individuais iguais a zero.
Por outro lado, o valor-p relativamente alto associado ao coeficiente de composição química determina a aceitação da hipótese nula. A não significância da variável CQ já foi indicada pela análise de R2 ajustado, e agora com a insignificância vindo da estatística t o resultado é comprovado mais uma vez. .
21
14.10 Variável binária e outras variáveis artificiais: tendência e sazonalidade
A variável binária é criada artificialmente para ser utilizada em regressões de diferenciar aspectos qualitativos e não mensuráveis. Um exemplo é de diferenciar homens e mulheres.
Y = a + dD + b1X1 + b2X2 + … + et
onde D é a binária, zero para homem e unidade para mulher.
O coeficiente d modifica o intercepto. Quando analisando as mulheres, D será igual a unidade e o intercepto será igual a (a + d), e analisando os homens o intercepto será simplesmente a, pois D é zero para os homens.
22
Armadilha da variável binária. Criar duas novas variáveis, uma para homem e outra para mulher, e segue então a mesma metodologia montando duas variáveis binárias.
A equação é:
Y = a + d1Dm + d2Dh + b1X1 + b2X2 + … + et
T1
21
11
X101
X101
X011
X
A primeira coluna de X é uma combinação linear da segunda e terceira. A condição é incompatível com o procedimento de mínimos quadrados. O intercepto tem que ser eliminado da equação. Assim, a armadilha da variável binária será resolvida.
23
SazonalidadeO uso das variáveis sazonais resulta em uma equação de regressão como a seguinte:
Y = aDJAN + bDFEV + cDMAR +... + e
com coeficientes estimados a, b, c, … cada coeficiente representando a sazonalidade do respectivo mês. A variável binária pode representar um ano ou os dias da semana, se for o caso, sendo sazonalidade definida como qualquer padrão repetitivo e constante no decorrer da série temporal. Em muitos pacotes computacionais especializados para regressão, a criação de variáveis binárias é praticamente automática em função do seu uso tão comum.
24
14.11 Exemplo com as variáveis binárias.
Vamos ver agora um exemplo prático da realidade de fábricas de confecções. A confecção necessita de uma previsão de demanda para seu item mais popular, um pijama para criança.
A estação de venda dura 30 semanas todo ano. São disponíveis dados históricos de 2005 a 2008, esse último ano ainda incompleto.
A previsão será montada com o suporte de uma regressão múltipla. Opta pela utilização de variáveis artificiais na equação, entre variáveis binárias para os anos e o número da semana da estação de 1 a 30.
Veja os dados na tabela 14.9.
25
Tabela 14.10 – A matriz X de dados da regressão para as primeiras 9 semanas de 2005
vendas soma acumulada
da estaçao VD2005 D2006 D2007 D2008
Número da
semana S
Número da
semana S
quadrado
Número da
semana S
cúbico
0 1 0 0 0 1 1 12.262 1 0 0 0 2 4 81.730 1 0 0 0 3 9 272.541 1 0 0 0 4 16 645.813 1 0 0 0 5 25 1258.198 1 0 0 0 6 36 2169.604 1 0 0 0 7 49 343
10.601 1 0 0 0 8 64 51211.595 1 0 0 0 9 81 729
26
A regressão múltiplaA equação de regressão múltipla terá 7 coeficientes para estimar, 4 coeficientes para as variáveis binárias representando os anos das estações e 3 coeficientes para captar tendências lineares e não-lineares na série, e terá o seguinte formato:
Vendas = b1D2005 + b2D2006 + b3D2007 + b4D2008
+ c1S + c2S2 + c3S
3
+ e
Nota-se a ausência do coeficiente a, a constante da equação. O coeficiente a foi eliminado da equação por causa do problema da armadilha da variável binária
27
Tabela 14.11 – Resultados preliminares da regressão da equação com todas as variáveis
R-Quadrado 0,968R-quadrado
ajustado 0,956
Erro padrão 1478,549
Observações 104
Já é notável o tamanho do R2 e o R2 ajustado, quase igual a 1,0, indicando que o inicio desse processo já mostra fortes possibilidades de encontrar estimativas relevantes para o propósito de montar previsões para o final da estação do ano 2008.
28
Tabela 14.12 – Teste F
ANOVA gl SQ MQ F valor-P
Regressão 7 6448079082 921154155 421 4,2E-69Resíduo 97 212052256 2186106
Total 104 6660131338
29
Tabela 14.13 – Teste estatística t, coeficientes individuais, todas as variáveis inclusas
Coeficientes Erro padrão estatística t valor-PD2005 -6668,2 667,1 -10,00 0,000D2006 -501,6 667,1 -0,75 0,454D2007 -4623,8 667,1 -6,93 0,000D2008 -3921,3 721,8 -5,43 0,000
S 2848,0 175,6 16,22 0,000Squad -94,25 13,40 -7,04 0,000Scúb 0,96 0,29 3,33 0,001
Desde que o coeficiente de D2006 não é significante e, portanto a hipótese nula de coeficiente nulo não pode ser rejeitada, o pesquisador permite que a variável seja eliminada do modelo.
30
Tabela 14.14 – Teste F, D2006 excluída
ANOVA
gl SQ MQ F valor-P
Regressão 6 6,45E+09 1,07E+09 494 2,38E-70
Resíduo 98 2,13E+08 2176411
Total 104 6,66E+09
foi eliminada a variável D2006, e o valor da estatística F melhorou acompanhada pela melhoria no valor-p.
Foi eliminada a variável D2006, e o valor da estatística F melhorou acompanhada pela melhoria
no valor-p.
31
Tabela 14.15 – Teste estatística t, coeficientes individuais, D2006 excluída
Coeficientes Erro padrão estatística t valor-PD2005 -6248,74 364,99 -17,12 0,00D2007 -4204,37 364,99 -11,52 0,00D2008 -3519,15 483,59 -7,28 0,00
S 2739,72 100,21 27,34 0,00Squad -87,10 9,41 -9,26 0,00Scúb 0,82 0,22 3,70 0,00
Vendas = - 6248,74*D2005 - 4204,37*D2007 - 3519,15*D2008 + 2739,72*S - 87,10*S2 + 0,82*S3
32
Tabela 14.16 – Previsões das
vendas na segunda metade
da estação de 2008
Ano Semanavendas soma acumulada da
estação2008 15 20760
2008 16 213942008 17 219332008 18 223812008 19 227442008 20 230272008 21 23235
2008 22 23372
2008 23 23444
2008 24 23455
2008 25 23411
2008 26 233162008 27 231752008 28 229942008 29 227772008 30 22529
33
14.12 Multicolinearidade
Na seção 14.5 sobre as suposições básicas, foi colocado a suposição numero 6 de multicolinearidade.
Não é permitido relacionamento entre duas ou mais variáveis independentes: cov(Xi,Xj) = 0.
O resultado para a análise de regressão da presença de correlação entre variaveis independentes são erros padrão dos coeficientes enviesados com valores altos demais, e portanto a indicação de coeficientes nulos quando na realidade sao significantes e não nulos.
34
Multicolinearidade - soluçãoAs vezes a multicoliniaeridade existe entre variaveis mas ainda nao é um problema nos procedimentos de regressao, principalmente quando as variaveis e os seus coeficientes sao significantes pela estatistica t.
A significancia dos coeficientes significa que a multicolinearidade embora existente foi superada pela força da relação entre as variaveis.
Por outro lado, multicolinearidade se torna problematica quando a equação é muito fraca, por exemplo quando nao passa pelo teste da estatistica F, ou quando quase todas as variaveis e seus coeficientes sao insignificantes. Nesses casos, é obrigado calcular os coeficientes de correlação entre as variaveis independentes e se tiver valores altos,então ele deve eliminar algumas variaveis ou trabalhar com índices de combinações das variaveis similhantes.
35
14.14 Referências
• Paulino, C. D.; Singer, J.M. (2006). Análise de Dados Categorizados. 1. ed. São Paulo: Edgard Blücher, v. 1. 629 p.
• • Souza, G.P. Samohyl, R.W., Miranda, R.G.
(2008) Métodos Simplificados de Previsão Empresarial, 192 páginas, 1aª edição, Editora Ciência Moderna.