REGRESI LINIER SEDERHANA

ARYA FENDHA IBNU SHINA, S.Si, M.Si

AKADEMI ILMU STATISTIKA MUHAMMADIYAHSEMARANG

2015

1

Model regresi linier sederhana adalah suatu model yang terdiri darisatu variabel dependen dan satu variabel independen. Model regresilinier sederhana digambarkan sebagai berikut :

iii XY 10

= Variabel Dependen= Variabel Independen= Intersep= Koefisien Regresi/Kemiringan garis regresi/untuk mengukur

besarnya pengaruh x terhadap y kalau x naik satu unit.= Error

iYiX

0

Taksiran Persamaan Regresi Linier :

= Variabel Dependen= Variabel Independen= Intersep= Koefisien Regresi/Kemiringan garis regresi/untuk mengukur

besarnya pengaruh x terhadap y kalau x naik satu unit.= Error

iX

01

i

110ˆˆˆ XY

METODE KUADRAT TERKECILORDINARY LEAST SQUARE (OLS)

n

i

n

iii

n

iiii xyyyeJKG

1 1

2

101

22 ˆˆˆ

Apabila kita memiliki segugus data berpasanganmaka nilai dan dapat ditentukan dengan cara meminimalkanJKG.Dengan kalkulus diferensial, didapatkan rumus sebagai berikut:

niyx ii ,...,2,1;,

0b 1b

n

i

n

iii

n

iiii xyyyeJKG

1 1

2

101

22 ˆˆˆ

;ˆ

1

2

1

2

1 111

n

i

n

iii

n

i

n

ii

n

iiii

xxn

yxyxn

xy 10ˆˆ

Taksiran/estimator yang diperoleh dengan metode OLS akanmemenuhi syarat sebagai estimator yang baik yaitu tak bias, efisien,dan konsisten jika memenuhi asumsi sebagai berikut :

1. merupakan variabel acak.Karena memiliki distribusi, sedangkan tidak memiliki distribusimaka juga memiliki distribusi yang sesuai dengan .

Y X

1. merupakan variabel acak.Karena memiliki distribusi, sedangkan tidak memiliki distribusimaka juga memiliki distribusi yang sesuai dengan .Y

XY

Komponenrandom

Komponensistematis

Komponenrandom

0)(.2 iE

)()()( 1010 iiii XEXEYE

dengan demikian,

3. Variansi error konstan (Homoskedastisitas)

221 )(...)()( iiii XVarXVarXVar

sebagai akibatnya :

221 )(...)()( iiii XYVarXYVarXYVar

4. Residual berdistribusi normal, sebagai akibatnya variabeldependen juga berdistribusi normal

),0(~ 2 NiAsumsi 1-4 ASUMSI NORMALITAS

Untuk menguji normalitas residual, dapat digunakan metode grafikdengan membuat plot antara ei vs pi . Dimana ei sebagai axis dan pi

sebagai ordinat. Jika membentuk suatu garis lurus, maka asumsinormalitas terpenuhi.Dimana :

ei adalah residual yang diurutkan dari kecil ke besar

Pi =(i-0,5)/n

Penyebab tidak terpenuhinya asumsi normalitas adalah :1. Ada data pencilan (outlier)2. Data dimungkinkan memang tidak berdistribusi normal atau

berdistribusi lain, seperti eksponensial, gamma, dll.

Pengujian untuk mendeteksi pelanggaran asumsi normalitas dapatdilakukan dengan uji Kolmogorov-Smirnov, uji Anderson-Darling,uji Shapiro-Wilk, dan uji Jarque-Bera.

5. NonautokorelasiArtinya, pengamatan ke-i dan pengamatan ke-j saling bebas(independen).

0),( jiCov

Untuk menguji ada tidaknya autokorelasi, dapat digunakanmetode grafik dengan membuat plot antara e(t) vs e(t-1) . Dimana e(t)

sebagai ordinat dan e(t-1) sebagai axis.

Untuk menguji ada tidaknya autokorelasi, dapat digunakanmetode grafik dengan membuat plot antara e(t) vs e(t-1) . Dimana e(t)

sebagai ordinat dan e(t-1) sebagai axis.Atau menggunakan plot antara residual (ordinat) vs waktu

(axis). Jika plotnya berpola acak maka asumsi nonautokorelasiterpenuhi.

Jika membentuk suatu pola tertentu (siklik, kuadratik, linier)maka terdapat autokorelasi.

Penyebab tidak terpenuhinya asumsi ini adalah :

1. Adanya variabel independen penting yang tidak masuk didalam model

Pengujian untuk mendeteksi pelanggaran asumsi normalitasdapat dilakukan dengan dapat dilakukan pengujian DurbinWatson dan pengujian ACF (Autocorrelation Function)

1. Adanya variabel independen penting yang tidak masuk didalam model

2. Data pengamatan merupakan data time series, adanyamanipulasi data.

3. Homogenitas Varian (homoskedastisitas)

221 )(...)()( iiii XVarXVarXVar

sebagai akibatnya :

221 )(...)()( iiii XYVarXYVarXYVar

Homogenitas Varian (homoskedastisitas) berarti bahwavariansi dari error bersifat konstan (tetap). Lawan darihomoskedastistias adalah heteroskedastisitas

Homogenitas Varian (homoskedastisitas) berarti bahwavariansi dari error bersifat konstan (tetap). Lawan darihomoskedastistias adalah heteroskedastisitas

Untuk mengidentifikasi secara formal adanya pelanggaranasumsi homogenitas varian, dapat dilakukan pengujian ujiPark, uji Glejser, Uji Gold-Quandt, dan uji Breusch-Pagan.

Untuk menguji terpenuhi tidaknya homogenitas variansi, makadapat digunakan metode grafik dengan membuat plot antara

1. Variabel dependen (Y) dengan masing-masing variabelindependen (X). Y sebagai ordinat dan X sebagai axis.

2. dengan prediksi dari variabel dependen2ie Y

3. Dengan variabel indedependen (X)2ie

Jika di dalam grafik dihasilkan plot yang tidak berpola, makahomogenitas variansi terpenuhi.

Penyebab tidak terpenuhinya asumsi homogenitas varianadalah :

1. Adanya manipulasi data

2. Kesalahan input data

3. Data pengamatan merupakan data time series3. Data pengamatan merupakan data time series

4. Terjadi kasus heteroskedastisitas alami misalnya

pada data ekonomi

TABEL ANALISIS VARIAN (ANOVA)

)ˆ()ˆ()( yyyyyy iiii

)ˆ()ˆ()( iiii yyyyyy

n

iiii

n

ii yyyyyy

1

2

1

2 )ˆ()ˆ()(

Perhatikan penguraian persamaan di bawah ini :

n

iiii

n

ii yyyyyy

1

2

1

2 )ˆ()ˆ()(

n

i

n

iiii

n

ii yyyyyy

1 1

22

1

2 )ˆ()ˆ()(

JKGJKRJKT

TABEL ANALISIS VARIAN (ANOVA)

SumberVariasi JK dk RK F-hit

Regresi 1

Galat n-2

n

ii yy

1

2)ˆ(

n

iii yy

1

2)ˆ(

1/)ˆ(1

2

n

ii yyRKR

)2/()ˆ(1

2

nyyRKGn

iii

RKGRKR /

Total n-1

n

ii yy

1

2)(

2,1~ nhit FRKG

RKRF

Statistik Uji :

0:

0:

:

11

10

H

H

Hipotesis Kriteria Penolakan :Tolak HN jikaF hitung> Ftabel

Uji F disebut pula uji serentak

Uji t (Uji Individual)

H0 : 1=0 vs H1: 1 0

Statistik uji:

2

)ˆ(

)(

ˆ

22

2

2

ˆ

ˆ

1

1

1

n

yyS

xx

SS

St

ii

i

Ho ditolak jika t>tα/2,n-2

2

)ˆ(

)(

ˆ

22

2

2

ˆ

ˆ

1

1

1

n

yyS

xx

SS

St

ii

i

KOEFISIEN DETERMINASI)( 2R

n

ii

n

ii

yy

yy

JKT

JKRR

1

2

1

2

2

)(

)ˆ(

Koefisien korelasi diformulasikan sebagai berikut :

10 2 RNilai 10 2 RNilai

,02 R berarti model regresi yang terbentuk tidak tepat untukmeramalkan nilai variabel dependen,hal ini disebabkan karenatidak adanya hubungan antara variabel independen dan variabeldependen .

,12 R berarti bahwa model regresi yang terbentuk dapat meramalkannilai variabel dependen dengan sempurna.

KORELASI

Tingkat keerataan hubungan antara dua variabel, katakanlahvariabel X dan variabel Y ditunjukkan oleh koefisien korelasi yangdilambangkan dengan .XYr

.

Statistik uji Pearson Product Moment adalah uji yang mengukurkorelasi antar dua variabel dimana kedua variabel tersebut diukurdengan skala interval atau rasio.

Tingkat keerataan hubungan antara dua variabel, katakanlahvariabel X dan variabel Y ditunjukkan oleh koefisien korelasi yangdilambangkan dengan .XYr

.

1

2

1

2

2

1 1

2

1 11

n

i

n

iii

n

i

n

iii

n

i

n

ii

n

iiii

XY

YYnXXn

YXYXnr

XYr 11 XYr Nilai berada di dalam rentang

.

Nilai +1 menunjukkan hubungan positif sempurna, sedangkannilai -1 menunjukkan hubungan negatif sempurna.

Jika nilai variabel X dan Y berbanding lurus, maka dikatakan

keduanya memiliki hubungan positif.

Namun apabila nilai variabel X dan Y berbanding terbalik, maka

dikatakan keduanya memiliki hubungan negatif.

Jika nilai variabel X dan Y berbanding lurus, maka dikatakan

keduanya memiliki hubungan positif.

Namun apabila nilai variabel X dan Y berbanding terbalik, maka

dikatakan keduanya memiliki hubungan negatif.

SELANG KEPERCAYAAN

Selang Kepercayaan untuk 0

)ˆ(ˆ)ˆ(ˆ0)2/;2(000)2/;2(0 StSt nn

2

2

)(0 xxn

xSS

i

i

Selang Kepercayaan untuk 1

)ˆ(ˆ)ˆ(ˆ1)2/;2(111)2/;2(1 StSt nn

2

2

)(1 xx

SS

i

2

2

)(0 xxn

xSS

i

i

SELANG KEPERCAYAAN DANPREDIKSI UNTUK Y

Seringkali kita ingin mencari taksiran nilai Y pada suatu nilai X yangbelum ada dalam data pengamatan.

Nilai Y yang seperti ini dinamakan sebagai nilai Y pada suatu nilaiX.

Prediksi rata-rata nilai Y pada suatu nilai X ))(( 0xYE Prediksi rata-rata nilai Y pada suatu nilai X

)ˆ(ˆ)()ˆ(ˆ 0)2/;2(000)2/;2(0 yStyxYEySty nn

2

20

0

1)ˆ(

xx

xx

nSyS

i

))(( 0xYE

Prediksi suatu nilai tunggal Y pada suatu nilai X,misal X=X0

)ˆ(ˆ)ˆ(ˆ 0)2/;2(000)2/;2(0 yStyyySty nn

2

20

0

11)ˆ(

xx

xx

nSyS

i

2

20

0

11)ˆ(

xx

xx

nSyS

i

Diduga kemampuan siswa di mata pelajaran Matematika mempengaruhikemampuannya di mata pelajaran Fisika. Dua belas mahasiswa mempunyainilai Matematika dan Fisika sebagai berikut :

i Mtk Fsk1 3 22 4 23 3 44 2 1

Latihan :

4 2 15 4 46 3 47 2 38 1 19 3 310 2 311 4 312 2 0

a. Gambarlah plot antara X dan Yb. Hitunglah nilai koefisien regresinyac. Ujilah asumsi-asumsi klasik (normalitas,

homogenitas varian, nonautokorelasi) denganmetode grafik

d. Buatlah tabel ANOVA kemudian lakukan UjiSerentak (Uji F)

e. Lakukan uji tf. Hitung nilai koefisien determinasig. Hitung nilai korelasih. Hitung selang kepercayaan parameter dan

prediksi

a. Gambarlah plot antara X dan Yb. Hitunglah nilai koefisien regresinyac. Ujilah asumsi-asumsi klasik (normalitas,

homogenitas varian, nonautokorelasi) denganmetode grafik

d. Buatlah tabel ANOVA kemudian lakukan UjiSerentak (Uji F)

e. Lakukan uji tf. Hitung nilai koefisien determinasig. Hitung nilai korelasih. Hitung selang kepercayaan parameter dan

prediksi