Metodos Predictivos

Introducción a MP Regresión Simple Regresión Múltiple Regresión Cuadrática Interacción

Métodos PredictivosResumen de Clases

Por: Oliver Amadeo Vilca [email protected]

Departamento de Ingeniería de Sistemas - UNAP

Abril del 2011


1 ¿Porqué es importante los métodos predictivos?Introducción

2 Regresión SimpleRegresión Simple

La linea de mínimos cuadrados que mejor se ajusta

Estimaciones puntuales de mínimos cuadrados

Coeficiente de determinación y correlación simple

Intérvalo de confianza para un valor individual de y

Prueba F global

3 Regresión MúltipleIntroducción

Enfoque matricial

Coeficiente de determinación múltiple R2

Prueba F global

Prueba T

4 Regresión CuadráticaIntroducción

Ejemplo

5 InteracciónIntroducción

Fin


Capítulo 1:

INTRODUCCCIÓN A LOSMÉTODOS PREDICTIVOS


Introducción

¿Porqué es importante los métodos predictivos?

La finalidad de los modelos predictivos es la obtención depronósticos acerca de la evolución futura de determinadasvariables.

Es importante en muchas empresas y entidades ya que laspredicciones de hechos futuros se pueden incorporar al procesode toma de decisiones.

La intuición no necesariamente da los mejores resultados.

Mejora la planeación y competitividad.


Introducción

El análisis de regresión es una técnicca estadística parainvestigar y modelar la relación entre variables.

Son muchas las aplicaciones y las hay en casi cualquiercampo: ingeniería, ciencias, físicas y químicas, economía,administración, biología y en las ciencias sociales, de hecho,puede ser que el análisis de regresión sea la técnica estadísticamás usada (Montgomery et al., 2007).


Introducción

Pronósticos

Las predicciones de hechos y condiciones futuros se llamanpronósticos.

Se analiza los datos para poder identificar un patrón que sepueda utilizar para describirlo. Luego, este patrón seextrapola, o se amplía, hacia el futuro con el objeto depreparar un pronóstico. Se apoya en el supuesto de que elpatrón que se identificó sigue siendo el mismo en el futuro.

No se puede esperar que una técnica de predicción dé buenaspredicciones a menos que esta hipótesis sea válida.


Introducción

Pronosticos

La información tranversal consta de valores observados enun punto en el tiempo.

Notas del último examen del semestre.Índice de percepciones de corrupción 2010, america latina.Número de consultas realizadas a un Sistema Informacióndurante el último mes.

Una serie de tiempo es una sucesión cronológica deobservaciones de una variable en particular.

Población de la ciudad de Puno con respecto al tiempo.Índice de percepciones de corrupción en Perú, del 2000 al2010.


Introducción

Partes de una serie de tiempo:

Tendencia.

Ciclo.

Variaciones estacionales.

Fluctuaciones irregulares.


Introducción

Medición de los errores de pronóstico

et = yt − yt

yt valor real de la variable de interés en el periodo de tiempo t.

yt el valor predicho.

et error de pronóstico para un pronóstico particular yt .

Con frecuencia un examen de los errores de pronóstico en eltiempo indica si la técnica de predicción va de acuerdo o nocon el patrón. Por ejemplo: si una técnica de predicciónpredice exáctamente la tendencia, la variación estacional o elcomponente cíclico que están presentes en una serie detiempo, los errores de pronóstico reflejarán sólo el componenteirregular.


Introducción

Medición de la magnitud de los errores

Desviación absoluta:

et = |yt − yt |

Desviación absoluta media DAM:∑n

t=1 |et |n

=

∑nt=1 |yt − yt |

n

Error cuadrático:

(et)2 = (yt − yt)

2

Error cudrático medio (ECM):∑n

t=1(et)2

n=

∑nt=1(yt − yt)

2

n


Introducción

Medición de la magnitud de los errores

Una manera de medir el error de pronóstico que facilita lacomparación de diferentes series de tiempo con valores de distintasmagnitudes es dividir las desviaciones absolutas entre el valor realyt y luego multiplicarlo por 100.

Error absoluto de porcentaje EAP:

|et |yt

(100) =|yt − yt |

yt

(100)

Error absoluto de porcentaje medio EAPM:∑n

t=1 EAPt

n=

100∑n

t=1|yt−yt |

yt

n


Regresión Simple


Regresión Simple

Regresión Lineal Simple

Capítulo 2:

REGRESIÓN LINEAL SIMPLE


Regresión Simple

Los modelos de regresión en los que se emplea una variabledependiente y una variable independiente se denominan modelosde regresión lineal (o de una recta) simple.

Modelo de regresión lineal simple

y = uy ;x + ǫ = β0 + β1x + ǫ

uy ;x es el valor medio de la variable dependiente y cuando elvalor de la variable independiente es x . Recta de medias.

β0 es la ordenada al origen. β0 es el valor medio de y

cuando x es igual a cero.

β1 es la pendiente, es el cambio (incremento o decremento)en el valor medio de y asociado con un incremento de unaunidad de x .

ǫ es un término de error que describe los efectos sobre y detodos los otros factores que no son los valores de la variableindependiente x .


Regresión Simple

y xVariable dependiente Variable independienteVariable respuesta Variable predictoraVariable VariableEjm: Consumo de combustible por se-mana

Ejm: Temperatura promedio por horadurante la semana

Cuadro: Denominaciones de las variables.



El método de mínimos cuadrados fue descrito primero porCarl Friedrich Gauss alrededor 1794.

El día de Año Nuevo de 1801, el astrónomo italiano GiuseppePiazzi descubrió el planeta Ceres. Fue capaz de seguir suórbita durante 40 días. Durante el curso de ese año, muchoscientíficos intentaron estimar su trayectoria con base en lasobservaciones de Piazzi. La mayoría de evaluaciones fueroninútiles; el único cálculo suficientemente preciso, que permitióal astrónomo Franz Xaver von Zach, reencontrar a Ceres alfinal del año fue el método Gauss.



Escoge β0 y β1 de tal manera que para un conjunto de datos, lasuma de residuos al cuadrado

∑

e2t sea lo mas pequeño posible.

∑

e2t =

∑

(yt − yt)2 =

∑

(yt − β0 − β1xt)2

Para que sea lo mímino, se deriva respecto a β0 y β1:

−2∑

(yt − β0 − β1xt)2 = 0 (1)

−2∑

xt(yt − β0 − β1xt)2 = 0 (2)

Reordenando se obtiene las denominadas ecuaciones normales:∑

yt = β0n + β1

∑

xt (3)∑

xtyt = β0

∑

xt + β1

∑

x2t (4)

Resolviendo el sistema de ecuaciones para β0 y β1 se tiene:

β1 =

∑

xiyi −∑

xi

∑

yi

n∑

x2i − (

∑

xi )2

n

y β0 = y − β1x



Sea n la cantidad de observaciones, asimismo, y =∑

yi

ny x =

∑

xi

n

La estimación puntual de los mínimos cuadrados de lapendiente:

β1 =

∑

(xi − x)(yi − y)∑

(xi − x)2=

∑

xiyi −∑

xi

∑

yi

n∑

x2i − (

∑

xi )2

n

=SSxy

SSxx

La estimación puntual de los mínimos cuadrados de laordenada al origen β0 es:

β0 = y − β1x

Con objeto de simplificar la notación, con frecuencia se omiten loslímites de la sumatoria. Es decir usamos

∑

en lugar de∑n

i=1



Suposiciones para el modelo de regresión

La media de la población de los valores potenciales deltérmino de error es igual a cero.

Suposición de la varianza constante (homoscedasticidad): La varianza de la población de los valores potenciales deltérmino de error no depende del valor de x . La varianzaconstante se denota como σ2.

Suposición de normalidad: La población de los valorespotenciales del término de error tiene una distribución normal.

Suposición de independencia: Un valor cualquiera deltérmino de error ǫ es estadísticamente independiente decualquier otro valor de ǫ.



Variación total: Suma de los errores de predicción alcuadrado que se obtiene cuando no empleamos la variablepredictora x . Mide la cantidad total de variación que muestranlos valores observados de y .

SSyy =∑n

i=1(yi − y)2 =∑n

i=1 y2i − (

∑n

i=1yi)

2

n

Variación inexplicada: Suma de los errores de predicción alcuadrado que se obtiene cuando usamos la variable predictorax (otro nombre para SSE).SSE =

∑ni=1(yi − yi)

2

Variación explicada:∑n

i=1(yi − y)2

Se puede demostrar que:

n∑

i=1

(yi − y)2 =n

∑

i=1

(yi − yi)2 +

n∑

i=1

(yi − y)2



Coeficiente de determinación simple r2

El coeficiente de determinación simple: Es una medida deutilidad del modelo de regresión lineal simple.

r2 =variacion explicada

variacion total

r2 es la proporción de la variación total en los n valoresobservados de la variable dependiente que explica el modelode regresión lineal simple.

También se puede calcular utilizando la fórmula:

r2 =β2

1

∑ni=1(xi − x)2

∑ni=1(yi − y)2



Coeficiente de correlación simple r

Coeficiente de correlación simple: Medida de relación entredos variables y y x , varia entre -1 y 1. Un valor cercano a ceroquiere decir que hay una pequeña relación lineal entre y y x .Un valor de r cercano a 1 significa que y y x tienen una fuertetendencia a desplazarse juntas en una forma lineal con unapendiente positiva (correlación positiva, no significa que existauna relación causa efecto).

r = +√

r2 si la pendiente es positiva

r = −√

r2 si la pendiente es negativa

Coeficiente de correlación simple también se puede calcularusando la fórmula que da automáticamente el signo (+ o -):

r =SSxy

√

SSxxSSyy



Para efectuar las pruebas de hipótesis cuando se aplica el modelode regresión lineal, es necesario calcular las estimaciones puntualesσ2 y σ(la varianza constante y la desviación estándar de lasdiferentes poblaciones de términos de error)

Error cuadrático medio y error estándar

Una estimación puntual de σ2 es el error cuadrático medio:

s2 =SSE

n − 2

Una estimación puntual de σ es el error estándar:

s =

√

SSE

n − 2



El valor de la distancia para la regresión lineal simple

Para un valor particular x0 de x es:

Valor de distancia =1n+

(x0 − x)2

SSxx


Si se sustentas las suposiciones de regresión, un intérvalo depredicción

[y ± t(n−2)[α/2] s

√1 + valor de distancia]



67

89

1011

1213

14C

onsu

mo

de c

ombu

stib

le p

or s

eman

a

25 30 35 40 45 50 55 60 65Temperatura promedio por hora durante la semana

Intérvalo de predicción para un valor individual al 95%

Consumo de combustible por semana


Prueba F global

Una prueba F para el modelo de regresión lineal simple

Una manera de evaluar la utilidad del modelo de regresión esprobar la significancia de la relación de regresión entre y y x .Probamos la hipótesis nula:

H0 : β1 = 0

Es decir, que la relación de regresión entre y y x no essignificante. Contra:

Ha : β1 6= 0

Lo cual quiere decir que la relación entre y y x es significante.

Si se puede rechazar H0 al nivel de significancia α, entoncesse dice que el modelo de regresión lineal simple es significanteen el nivel de significancia α.


Prueba F global

Una prueba F para el modelo de regresión lineal simple

Definamos la estadística F global como

F (modelo) =Variacion explicada

(Variacion inexplicada)/(n − 2)

También definimos el valor p relacionado con F(modelo) comoel área bajo la curva de distribución F(con 1 y n − 2 grados delibertad) a la derecha de F(modelo). Se puede aceptar Ha: enel nivel de significancia α si se mantiene algunas de lascondiciones siguientes:

F(modelo) > F[α]

valor p < α

Donde el punto F[α] se basa en 1 grados de libertad para elnumerador y n − 2 para el denominador.


Introducción

Capítulo 3:

REGRESIÓN LINEAL MÚLTIPLE


Introducción

Los modelos de regresión en los que se emplean más de unavariable independiente se denominan modelos de regresiónmúltiple. Para expresar una variable dependiente en función decualquier cantidad de variables independientes.

Modelo de regresión múltiple

y = uy ;x1,x2,··· ,xk+ ǫ = β0 + β1x1 + β2x2 + · · · + βkxk + ǫ.

uy ;x1,x2,··· ,xkes el valor medio de la variable dependiente y

cuando los valores de la variables independientes sonx1, x2, · · · , xk .

β0, β1, β2, · · · , βk son parámetros de regresión (desconocidos)que relacionan el valor medio de y con x1, x2, · · · , xk .

ǫ es un término de error que describe los efectos sobre y detodos los otros factores que no son los valores de las variablesindependientes x1, x2, · · · , xk .


Introducción

Interpretación de los parámetros de regresión:

y = β0 + β1x1 + β2x2 + ǫ

Consumo de combustible = f(temperatura horaria promedio ,índice de enfriamiento)

Los parámetros relacionan la media de la variable dependientecon las variables independientes en un sentido global.

β0: ordenada al origen.

β1: cambio en el consumo medio de combustible a la semanaque se asocia con el incremento de un grado en la temperaturapromedio cuando no cambia el índice de enfriamiento.

β2: cambio en el consumo medio de combustible a la semanaque se asocia con el incremento de una unidad en el índice deenfriamiento cuando no cambia la temperatura horariapromedio.


Introducción

Suposiciones para el modelo de regresión múltiple

En cualquier combinación dada de valores de x1, x2, · · · , xk

La media de la población de los valores potenciales deltérmino de error es igual a cero.

Suposición de la varianza constante: La varianza de lapoblación de los valores potenciales del término de error nodepende de la combinación de valores de x1, x2, · · · , xk . Lavarianza constante se denota como σ2.

Suposición de normalidad: La población de los valorespotenciales del término de error tiene una distribución normal.

Suposición de independencia: Un valor cualquiera deltérmino de error ǫ es estadísticamente independiente decualquier otro valor de ǫ.


Enfoque matricial

Hay k variables regresoras y n observaciones y el modelo querelaciona las variables regresoras con la variable de repuesta es:yi = β0 + β1xi1 + β2xi2 + · · · + βkxik + ǫi , para i = 1, 2, · · · , n

Este es un modelo de n ecuaciones que en notación matricialpuede expresarse como: Y = X β + ǫ donde:

Y =

y1

y2

...yn

X =

1 x11 x12 . . . x1k

1 x21 x22 . . . x2k

1...

.... . .

...1 xn1 xn2 . . . xnk

β =

β0

β1

β2

...βk

ǫ =

ǫ1

ǫ2

...ǫn


Enfoque matricial

Las estimaciones puntuales de mínimos cuadrados:

(X ′X )−1X ′Y =

β0

β1

β2

...βk

= β

Y es el vector columna de los n valores observados de lavariable dependiente y1, y2, . . . , yn

Y =

y1

y2

...yn

X =

1 x11 x12 . . . x1k

1 x21 x22 . . . x2k

1...

.... . .

...1 xn1 xn2 . . . xnk


Enfoque matricial

Variación inexplicada y explicada

Variación total:

SSyy =n

∑

i=1

(yi − y)2 =n

∑

i=1

y2i − (

∑ni=1 yi)

2

n

Variación inexplicada:

SSE =n

∑

i=1

(yi − yi)2 =

n∑

i=1

y2i − β′X ′Y

Variación explicada:

β′X ′Y − (∑n

i=1 yi)2

n


Enfoque matricial

Para efectuar las pruebas de hipótesis cuando se aplica el modelode regresión lineal, es necesario calcular las estimaciones puntualesσ2 y σ(la varianza constante y la desviación estándar de lasdiferentes poblaciones de términos de error)

Error cuadrático medio y error estándar

Una estimación puntual de σ2 es el error cuadrático medio:

s2 =SSE

n − (k + 1)

Una estimación puntual de σ es el error estándar:

S =

√

SSE

n − (k + 1)


Coeficiente de determinación múltiple R2

Variación total: SSyy =∑n

i=1(yi − y)2 =∑n

i=1 y2i − (

∑n

i=1yi)

2

n

Variación inexplicada:SSE =

∑ni=1(yi − yi)

2 =∑n

i=1 y2i − β′X ′Y

Variación explicada:∑n

i=1(yi − y)2 = β′X ′Y − (∑n

i=1yi)

2

n

Coeficiente de determinación múltiple:

R2 =variacion explicada

variacion total

Coeficiente de correlación múltiple: R =√

R2

Coeficiente de determinación múltiple ajustado (R2 ajustado):

R2 =

(

R2 − k

n − 1

) (

n − 1n − (k + 1)

)


Prueba F global

Una prueba F para el modelo de regresión lineal

Una manera de evaluar la utilidad del modelo de regresión esprobar la significancia de la relación de regresión entre y yx1, x2, · · · , xk (k+1 parámetros). Probamos la hipótesis nula:

H0 : β1 = β2 = · · · = βk = 0

La cual establece que ninguna de las variables independientesestá relacionado significativamente con y (la relación deregresión no es significante).

Ha : por lo menos uno de β1, β2, · · · , βk no es igual a cero.

Lo cual quiere decir que por lo menos una de las variablesindependientes está significativamente relacionado con y .


Prueba F global

Una prueba F para el modelo de regresión lineal

Definamos la estadística F global como

F (modelo) =(Variacion explicada)/k

(Variacion inexplicada)/[n − (k + 1)]

También definimos el valor p relacionado con F(modelo) comoel área bajo la curva de distribución F que tiene k y[n − (k + 1)] grados de libertad a la derecha de F(modelo). Sepuede aceptar Ha: en el nivel de significancia α si se mantienealgunas de las condiciones siguientes:

F(modelo) > F[α]

valor p < α

Donde el punto F[α] se basa en k grados de libertad para elnumerador y n − (k + 1) para el denominador.


Prueba T

Prueba de la significancia de la variable independiente xj

¿Cuáles variables independientes afectan significativamente ay? (individualmente). Para probar la significancia de xj

probamos la hipótesis nula contra la hipótesis alternativa:

H0 : βj = 0

Ha : βj 6= 0

La estadística de prueba.

t =βj

Sbj

=βj

S√

cjj

Condición del punto de rechazo H0 si

|t| > t(n−(k+1))[α/2]

n − (k + 1) grados de libertad.


Introducción

Sección 3.2:

Regresión Cuadrática


Introducción

Una forma útil del modelo de regresión lineal es la que sedenomina modelo de regresión cudrática.

Modelo de regresión cuadrática

y = β0 + β1x + β2x2 + ǫ.

Donde β0 + β1x + β2x2 es uy ;x es el valor medio de la variabledependiente y cuando es valor de la variable independiente esx .

β0, β1, β2 son parámetros de regresión (desconocidos) querelacionan el valor medio de y con x .

ǫ es un término de error que describe los efectos sobre y detodos los otros factores que no son x y x2.


Ejemplo

Ejemplo

Una compañia desea mejorar la cantidad de kilómetrosrecorridos por galón de gasolina en los automóviles que usansu gasolina. Los químicos de la compañía recomiendan unaditivo (Cripton19) se mezcle con la gasolína.

Determinar la cantidad de unidades de aditivo que se debemezclar con la gasolina para maximizar las millas recorridas. Ala compañía le gustaría predecir la cantidad máxima de millasrecorridas por galón que se puede alcanzar utilizando eladitivo.


Ejemplo

X = Número de unidades de aditivo Y = Cantidad de millas recorridas0 25.80 26.10 25.41 29.61 29.21 29.82 32.02 31.42 31.73 31.73 31.53 31.24 29.44 29.04 29.5

Cuadro: Millas recorridas según unidades de aditivo.


Ejemplo

scatter y x, title("Millas Recorridas según aditivo")subtitle("Petroleos S.A.") caption("Fuente: Elaboración propia")scheme(sj)

2426

2830

32M

illas

rec

orrid

as

0 1 2 3 4Aditivo

Fuente: Elaboración propia

Métodos Predictivos 2010Millas Recorridas según aditivo


Ejemplo

generate xx = x*xregres y x xx


Ejemplo

Cantidad de aditivo que maximiza los kilómetros recorridos

Ecuación de predicción de mínimos cuadrados orginarios:

y = 25,71524 + 4,976191x − 1,019048x2

Cantidad de unidades de aditivo que maximiza los kilómetrosrecorridos:

Usamos cálculo diferencial:diff(25.71524 + 4.976191*x - 1.019048*x*x , x , 1);

4.976191 - 2.038096*x

solve( %,x),float;

x = 2.44 unidades de aditivo.

La cantidad predicha de kilometros recorridos por galón:

ev(25.71524 + 4.976191*x - 1.019048*x*x , x=2.44 );

31.7901 kilómetros por galón.


Ejemplo

22

24

26

28

30

32

0 1 2 3 4 5 6

Kilo

me

tro

s p

or

ga

lon

Unidades de aditivo

GRAFICA DE LA ECUACION DE PREDICCION


Introducción

Sección 3.3:

Interacción


Fin

Gracias por su atención.

Education

Metodos Predictivos