REVISION DE CONCEPTOS BÁSICOS

Análisis de Regresión Lineal Fortino Vela ¨Peón

Agosto, 2012 Depto. de Producción Económica, UAM-X

REVISION DE CONCEPTOS BÁSICOS

Objetivos

� Introducir, de manera muy general , algunos de los conceptos matemáticos

y estadísticos que se utilizan en el análisis de regresión.

� La revisión no es rigurosa y no se dan pruebas debido a que existen diversos

textos que hacen muy bien ese trabajo.

� La revisión se basa en el apéndice A de Gujarati y Porter (2010) .



A.1 OPERADORES DE SUMATORIA Y DE PRODUCTO � La letra mayúscula griega ∑ (sigma) se utiliza para indicar la sumatoria.

1 21

...n

i ni

X X X X=

= + +∑

� Algunas de las propiedades más importantes del operador de

sumatoria son

i) 1

n

i

K nK=

=∑ donde K es una constante.

ii) 1 1

n n

i ii i

KX K X= =

=∑ ∑ donde K es una constante.

iii) T T

t tt=1 t=1

(a + bX ) = Ta + b X∑ ∑ , donde a y b son constantes y donde se hace

uso de las propiedades (i) y (ii) anteriores.

iv) n n n

i i i ii=1 i=1 i=1

(X Y ) = X Y± ±∑ ∑ ∑



� El operador de sumatoria también puede ampliarse a sumas múltiples.

Así, ∑∑ , el operador de doble sumatoria , es definido como

1 21 1 1

( ... )n m n

ij i i imi j i

X X X X= = =

= + + +∑∑ ∑

11 21 1 12 22 2( ... ) ( ... )n nX X X X X X= + + + + + + + +

1 2... ( ... )n n nmX X X+ + + +



Algunas de las propiedades de ∑∑ son:

i) 1 1 1 1

n m m n

ij iji j j i

X X= = = =

=∑∑ ∑∑ , es decir, el orden en el cual se realice la

doble sumatoria es intercambiable .

ii) 1 1 1 1

n m n m

ij ij iji j i j

X X Y= = = =

=∑∑ ∑ ∑

iii) 1 1 1 1 1 1

( )n m n m n m

ij ij ij iji j i j i j

X Y X Y= = = = = =

+ = +∑∑ ∑∑ ∑∑

iv)

2 12

1 1 1 1 1

2n n n n

i i i ji i i j

X X X X−

= = = = +

= + ∑ ∑ ∑ ∑



El operador de producto se define como A.2 CÁLCULO DIFERENCIAL (se vio en el propedéutico) . A.3 ALGEBRA MATRICIAL (más adelante)

1 21

...n

i ni

X X X X=

= ⋅ ⋅∏

∏



A.4 ESTADÍSTICA � Rama de las matemáticas encargada de la recolección,

sistematización, síntesis, análisis e interpretació n de datos . � Clasificación por sus funciones: estadística descriptiva y

estadística inferencial . � La estadística descriptiva reúne al conjunto de procedimientos que

tienen por objeto resumir , mediante tablas, gráficos y/o medidas(indicadores), a un conjunto de datos (sean de la población o muestrales). Es la primera etapa a desarrollar en un análisis de datos.

� La estadística inferencial es la encargada de elaborar

estimaciones y afirmaciones sobre el valor de un parámetro a partir de la información contendida en una muestra procedente de dicha población .



Tipos de inferencia

paramétrica : busca estimar el parámetro desconocido de una distribución poblacional cuya forma funcional es conocida.

a) según la característica a estimar

no paramétrica : estima sin conocimiento de la distribución de probabilidad que género los datos muestrales.



exacta : cuando el tamaño de la muestra es finito.

b) según el tamaño de la muestra

asintótica : cuando el tamaño de la muestra es infinito.

puntual : estima un solo valor para la característica poblacional.

c) según la finalidad última

intervalo : estima un rango de valores donde puede encontrarse la característica poblacional.



Conceptos básicos

� Población. � Muestra.

� Parámetro

� Estadísticos (muestrales)

� Variable



Clasificación de variables

1. Nivel de medición. 2. Escala de medición. 3. Grado de abstracción. 4. Papel en la investigación.



Escala de medición

Una variable puede ser medida en cuatro diferentes escalas : � Razón : cumple con las propiedades:

1. la razón de dos variables; 2. la distancia entre dos variables; y 3. ordenamiento de las variables

� Intervalo : no satisface la primera de las propiedades. � Ordinal : solo cumple con la tercera propiedad.

� Nominal : no cumple ninguna propiedad.



Nivel de abstracción

- Abstractas o conceptuales - Intermedias - Empíricas

Papel en la investigación

- Dependiente - Independiente



A.5 PROBABILIDAD Medida de la incertidumbre en la ocurrencia de un suceso o evento.

Enfoques 1. Clásico 2. Frecuentista 3. Subjetiva 4. Axiomática i) ii) ii)

Casos favorables ( )

Total de resultados posiblesp A =

Casos favorables ( )

Total de veces que se llevo a cabo el experimentop A =

( ) 0p A ≥

( ) 1ii

p A =∑

0 ( ) 1p A≤ ≤



Conceptos básicos � Se denomina como el espacio muestral al conjunto de todos los

resultados posibles de un experimento aleatorio. � Cada miembro del espacio muestral se denomina un punto

muestral . � Un evento es un subconjunto del espacio muestral.

� Se dice que los eventos son mutuamente excluyentes si la

ocurrencia de uno impide la ocurrencia de otro. � Se dice que los eventos son exhaustivos (colectivamente) si todos

los resultados posibles de un experimento se agotan.



A.6 PROBABILIDAD CONDICIONAL E INDEPENDENCIA DE EVE NTOS Tabla de contingencia: es un cuadro de doble entrada, donde en cada casilla figurará el número de casos o individuos que poseen un nivel de una de las características analizadas y otro nivel del otro factor analizado. Ejemplo Sea A= hombre, B= fumador

B B Total A 38 50

A 30 50 Total 100



Tabla de probabilidades

B B Total A 0.38 0.12 0.50

A 0.20 0.30 0.50 Total 0.58 0.42 1.00

p(A)=probabilidad total, marginal o incondicional de A. p(B)=probabilidad total, marginal o incondicional de B. p(A B)=probabilidad conjunta de A y B.∩ p(A\B)=probabilidad de A dado B=probabilidad condicional A dado B.p(B\A)=probabilidad de B dado A=probabilidad condicional B dado A.

p(A B)p(A\B)=

p(B)

∩



Se elige de manera aleatoria a un individuo, ¿Cuál es la probabilidad de fumar dado que es hombre?

p(A B) 0.38p(B\A)= 0.6552

p(A) 0.58

∩ = =

Independencia de eventos Dos eventos se dicen independientes si y solo si (ssi)

p(A B)=p(A) p(B)∩ ⋅ Alternativamente

p(A) p(B)p(A\B)= ( )

p(B)p A

⋅ =



Teorema de Bayes Es un procedimiento para calcular probabilidades condicionales a partir de información limitada.

i ii

i i1

p(A ) p(B\A )p(A \B)=

p(A ) p(B\A )i=

⋅⋅∑



A.7 VARIABLES ALEATORIAS

� Una variable aleatoria (v.a.) es una variable cuyo valor está

determinado por el resultado de un experimento al a zar. � Se denotan por letras mayúsculas, mientras que sus valores por

letras minúsculas. � Una v.a. discreta solo toma valores enteros . � Una v.a. continua toma cualquier valor dentro de un intervalo

dado . �



A.8 FUNCIÓN DE DENSIDAD DE PROBABILIDAD (FDP) 1

Para una v.a. discreta Sea X una v.a. discreta que toma valores 1 2, , . . . , nx x x diferentes. A la función

( ) 1,2,...,f(x) =

0i

i

p X x para i n

para x x

= =≠

se denomina la función de densidad de probabilidad discreta (FDP) de X, donde p(X=xi) significa la probabilidad de que la v.a. discreta X tome el valor de xi. 1 También denominada, en el idioma inglés como PDF (Probability Density Function).



Ejemplo En un lanzamiento de dos dados, si la v.a. X se define como la suma de los números que aparecen en los dos dados. La v.a. puede tomar uno de 11 valores. La FDP de esta v.a. se muestra a continuación.

Figura 1. Función de densidad de la v.a. la suma de los números que aparecen en los dos dados

f(x)



Para una v.a. continua Sea X una v.a. continua. Se dice que f(x) es la FDP de X si se satisfacen las siguientes condiciones : Figura 2. FDP para una v.a. continua

1) f(x) > 0

2) f(x) dx=1 ∞

−∞∫

3) f(x) dx=p(a x b) b

a

≤ ≤∫

Geométricamente, se tiene la figura 2. Nótese que para una v.a. continua, en contraste con una v.a. discreta, la probabilidad de que X tome un valor específico es cero ; la probabilidad para tal variable puede medirse solamente sobre un rango o intervalo dado, tal como (a, b) que aparece en la figura 2.



A.8.1 Funciones de densidad de probabilidad conjunt a, marginal, condicional e independencia Para una v.a. discreta � Sean X y Y dos v.a. discretas. La función de densidad de

probabilidad conjunta discreta, f(x,y), muestra la probabilidad de que X tome el valor de x y Y tome el valor de y de forma conjunta.

f(x,y)=p(X=x ∩ Y=y)

f(x.y) = =0 cuando X ≠ y Y ≠ y

� En relación con f(x,y), f(x) y f(y) se denominan funciones de

densidad de probabilidad individuales o marginales . Estas FDP marginales se obtienen de la siguiente manera:



( ) ( , )

y

f x f x y=∑ FDP marginal de X

( ) ( , )x

f y f x y=∑ FDP marginal de Y

� Con frecuencia resulta de interés estudiar el comportamiento de una

variable condicional a los valores de otra u otras variables. Esto puede hacerse considerando la FDP condicional . La función f(x\y)= p(X=x\Y=y) se conoce como la FDP condiciona l de X ; ésta da la probabilidad de que X tome el valor de x dado que Y ha asumido el valor y. En forma similar, f(y\x)= p(Y=y\X=x) lo cual da la FDP condicional de Y .

� Las FDP condicionales pueden obtenerse de la siguiente manera:

( , )

( \ )( )

f x yf x y

f y=

y

( , )( \ )

( )

f x yf y x

f x=



� Dos v.a. X y Y son independientes si y solo si (ssi)

( , ) ( ) ( )f x y f x f y= ⋅ Para una v.a. continua � La FDP f(x, y) de dos variables continuas X y Y es tal que

f(x,y) 0≥

- -

f(x,y)dxdy=1∞ ∞

∞ ∞∫ ∫

c a

f(x,y)dxdy=p(a , )d b

x b c y d≤ ≤ ≤ ≤∫ ∫



A.9 Características de las distribuciones de probab ilidad

Una distribución de probabilidad a menudo puede resumirse en términos de algunas de sus características , conocidas como los momentos de la distribución . Dos de los momentos más ampliamente utilizados son la media , o valor esperado y la varianza. Valor esperado : Denotado por E(X)=µ, se define como: Discretas

x

E(X) = xf(x)∑

Continuas

-

E(X) = xf(x)dx∞

∞∫



A.9.1 Propiedades del operador esperanza matemática Sea c una constante y X e Y v.a. Entonces

1. [ ]E c c=

2. [ ] [ ]E cX cE X=

3. [ ] [ ] [ ]E X Y E X E Y± = ± 4. Si X y Y son independientes Sin embargo, observe que

[ ][ ]

E XXE

Y E Y ≠

5. Si X es una v.a. con FDP f(x). y si g(x) es cualquier función de X, entonces

[ ]( ) ( ) ( )x

E g x g x f x=∑ y

[ ]-

( ) xf(x)dxE g x∞

∞

= ∫

[ ] [ ] [ ]E XY E X E Y= ⋅



Varianza : Sea X es una v.a. y E(X)=µ. La distribución o dispersión de los valores de X alrededor del valor esperado puede ser medida por la varianza , la cual se define como:

2 2xV(X)=Var(X) = = E(X - )σ µ

La raíz cuadrada positiva de , es decir, está definida como la desviación estándar de X . La varianza o la desviación estándar da una indicación de qué tan cercanos o dispersos están los valores individuales de X con respecto al valor de su media. Observe que

2 2 2V(X)= E(x - ) ( ) 2 ( )E x E xµ µ µ= − +

2 2( )E x µ= −

La varianza definida anteriormente se calcula de la siguiente forma:

2x σ x σ



Discretas

2

x

V(X) = (x- ) f(x)µ∑

Continuas

2

-

V(X) = (x- ) f(x)dxµ∞

∞∫

A.9.2 Propiedades de la varianza Sea c una constante y X e Y v.a. Entonces

1. V(c) = 0

2. 2V(cX) =c V(X)

3. Si X y Y son independientes

V(X+Y) =V(X)+V(Y) V(X-Y) =V(X)-V(Y) pero si X e Y no son independientes

V(X+Y) =V(X)+V(Y)+2Cov(X,Y) V(X-Y) =V(X)+V(Y)-2Cov(X,Y)



Covarianza � Establece como dos variables están relacionadas entre sí. � La formulación clásica se simboliza por la letra griega sigma (Σxy)

cuando ha sido calculada en la población. Si se obtiene sobre una muestra, se designa por la letra "Sxy". Tambien resulta factible referirse a ella como Cov(X,Y).

� La varianza de una variable es la covarianza de dicha variable con ella misma, es decir, Cov(X,X)=Var(X). La covarianza se calcula de la siguiente manera:

si Ay y son variables aleatorias discretas y cov(X, Y) = £f_(X - /ij(y - Ht )f\x,y)dx dy = r.rmXYf(x,y)dxdy-ni nt si X y Y son variables aleatorias continuas. A.9.3 Propiedades de la covarianza

1. Cov(X,Y)=0 siempre y cuando X y Y son independientes. 2. Cov(a+bX, c+dY)= bd cov(X, Y) donde a, b,c y d son constantes.



A.10 Coeficiente de correlación El coeficiente de correlación (poblacional) ρ (rho) está definido como

Cov(X,Y) Cov(X,Y)

Var(X) Var(Y) x y

ρσ σ

= =⋅⋅

Mide el grado de asociación lineal entre dos variables y se encuentra entre -1 y + 1, donde -1 indica una perfecta asociación negativa y + 1 indica una perfecta asociación positiva.



A.11 Esperanza condicional Sea f(x,y) la FDP conjunta de las variables aleatorias X y Y. La esperanza condicional de X, dada Y= y, se define como si X es discreta

si X es continua

donde E(X | Y = y) significa la esperanza condicional de X dado Y = y, y donde f(X | Y = y) es la FDP condicional de X. La esperanza condicional de Y, E(Y | X = x), está definida en forma similar.

x

E(X | Y = y) = x f(x | Y = y)∑

-

E(X | Y = y) = x f(x | Y = y)dx∞

∞∫



A.12 Momentos superiores de las distribuciones de p robabilidad � Si bien la media, la varianza y la covarianza son las medidas

resumen más frecuentemente utilizadas de las FDP univariadas y multivariadas, en ocasiones se requiere considerar momentos de orden mayor de las FDP, tales como los momentos tercero y cuarto .

� Los momentos tercero y cuarto de una FDP univariada f(x) alrededor

del valor de su media (µ) se definen como:

Tercer momento: 3E(X - )µ

Cuarto momento: 4E(X - )µ

� En general, el momento r-ésimo alrededor de la media se define

como:

r-ésimo momento: rE(X - )µ



� El tercero y cuarto momentos de una distribución se utilizan a menudo para estudiar la "forma ” de una distribución de probabilidad .

� En particular, su asimetría , A (es decir, falta de simetría) y su

apuntamiento o curtosis C



A.13 DISTRIBUCIONES DE PROBABILIDAD TEÓRICAS IMPORT ANTES

Distribución normal � La más conocida de todas las distribuciones de probabilidad

teóricas. � Su forma de campana es familiar a cualquiera que tenga un mínimo

conocimiento estadístico. � Se dice que una v.a. continua X está normalmente distribuida si su

FDP tiene la siguiente forma:

2

2

1 1 ( )( ) exp

22

xf x

µσσ π

−= −



Propiedades - Simétrica alrededor de la media. - Aprox. 68% del área bajo la curva se encuentra entre µ ± σ 95% del área bajo la curva se encuentra entre µ ± 2σ Regla 99% del área bajo la curva se encuentra entre µ ± 3σ empírica - Depende de los parámetros µ y σ2. - Si µ=0 y σ2=1 se a una FDP de la variable normal estandarizada , denominada por Z, que por convención, se denota como Z~N(0,1), normal estandarizada. - Sea X1~

21 1N( , ) µ σ y X2~

22 2N( , ) µ σ y supóngase que son

independientes. Considérese ahora la combinación lineal

1 2Y = aX + bX



donde a y b son constantes. Entonces,

2 2 2 21 2 l 2Y ~ N[(a , + b ), (a + b )]µ µ σ σ

Una combinación lineal de variables normalmente distribuidas es normalmente distribuida (puede generalizarse fa una combinación lineal de más de dos variables normalmente distribuidas).



Distribución χχχχ2 (ji-cuadrada) Sean Z1, Z2,…,Zk variables normales estandarizadas independientes, se dice que la cantidad

2i

1

Zk

i

Z=

=∑

sigue la distribución χ2 con k grados de libertad (g. de l.), donde el término significa el número de cantidades independientes en la suma anterior.



Propiedades de la distribución χχχχ2 - Es una distribución asimétrica ; el grado del asimetría depende de los g. de l. (cuando los g. de l. son comparativamente pocos, la distribución está altamente sesgada hacia la derecha; pero, a medida que el número de g de l. aumenta, la distribución se hace cada vez más simétrica).

- La media de la distribución ji-cuadrada es k y su varianza es 2k, donde k son los g. de l. - Si Z1 y Z2 son dos variables ji-cuadrada independientes con k1 y k2 g. de I., entonces la suma Z1 + Z2 es también una variable ji-cuadrada con g. de I. = k1 + k2.



Distribución t de Student Si Z1, es una variable normal estandar [es decir, Z1~N(0, 1)], y otra variable Z2 sigue la distribución ji-cuadrada con k g. de l. y está distribuida independientemente de Z1, entonces la variable definida como

1

2( / )

Zt

Z k=

sigue la distribución t de Student con k g. de l.



Propiedades de la distribución t de Student - Es simétrica, pero es más plana que la normal. Sin embargo, a medida que aumentan los g de I, la distribución t se aproxima a la distribución normal. - La media de la distribución t es cero y su varianza es k / (k-2).



Distribución F Si Z1 y Z2 son variables ji-cuadrada distribuidas en forma independiente con k1, y k2 g. de l., respectivamente, la variable

1 1

2 2

/

/

Z kF

Z k=

sigue la distribución F (de Fisher) con k1 y k2 g de l. Se denota por , donde los subíndices indican los g. de l. asociados al numerador y al denominador.

1 2k , kF



Propiedades de la distribución F Sesgada hacia la derecha pero a medida que k1 y k2 aumentan, la distribución F se acerca a la distribución normal. El valor de la media de una variable con distribución F es: k2/(k2 -2), el cual está definido para k2> 2.



A.14 Estimación

Documents

REVISION DE CONCEPTOS BÁSICOS