View
18
Download
0
Category
Preview:
Citation preview
BAB II
TINJAUAN PUSTAKA
A. Regresi
Regresi adalah suatu studi statistik untuk menjelaskan hubungan dua variabel
atau lebih yang dinyatakan dalam bentuk persamaan. Salah satu variabel merupakan
variabel dependen sedangkan semua variabel yang lain merupakan variabel
independen.
(a) Variabel dependen yang biasanya dinyatakan dengan simbol disebut juga
variabel kriteria, yaitu variabel tidak bebas karena nilainya dipengaruhi oleh nilai
variabel-variabel yang lain.
(b) Variabel independen yang biasanya dinyatakan dengan simbol , atau
disebut juga variabel prediktor, yaitu variabel bebas karena
nilainya tidak dipengaruhi oleh nilai variabel-variabel yang lain.
Regresi linear adalah bentuk hubungan antara variabel dependen dan variabel
independen yang masing-masing berpangkat satu.
1. Regresi Linear Sederhana (RLS)
RLS adalah suatu regresi linear yang memiliki satu variabel dependen dan
satu variabel independen. Model dari RLS adalah :
dengan
: nilai variabel dependen pada observasi ke-i .
: nilai variabel independen pada observasi ke-i.
5
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
: komponen galat yang diasumsikan berdistribusi Normal dengan mean 0 dan
memiliki variansi .
dan : koefisien regresi. Bilangan menyatakan titik potong (intercept) garis
regresi dengan sumbu y. Bilangan menyatakan kemiringan (slope) garis
regresi.
Secara matematis, intercept merupakan ordinat titik perpotongan antara garis
regresi dengan sumbu y pada sistem sumbu kartesius, yaitu nilai y pada nilai x=0.
Nilai dari intercept dapat diartikan sebagai nilai rata – rata dari variabel y jika
variabel x bernilai 0. Demikian pula, secara matematis, slope menyatakan ukuran
kemiringan dari garis regresi. Slope adalah kofisien regresi untuk variabel x
(variabel bebas). Nilai dari slope dapat diartikan sebagai rata – rata penambahan
atau pengurangan yang terjadi pada variabel y untuk setiap peningkatan satu
satuan variabel x.
Pada statistika hubungan antara dua variabel yang digambarkan sebagai titik-
titik, biasanya kumpulan titik–titik itu merupakan diagram pencar, tidak terletak
tepat pada garis lurus. Data yang ada menunjukkan hasil observasi hubungan
linear yang mengandung galat eksperimen random atau random error.
Pengertian error dalam regresi linear diartikan sebagai semua hal yang mungkin
mempengaruhi variabel tak bebas , yang tidak teramati.
2. Regresi Linear Berganda (RLB)
RLB adalah regresi linear yang memiliki satu variabel dependen dan lebih
dari satu variabel independen. Model dari RLB adalah :
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
dengan
: nilai variabel dependen pada observasi ke-i .
: nilai variabel independen pada observasi ke-i.
: banyaknya variabel independen yang berpengaruh variabel dependen .
: komponen galat yang diasumsikan berdistribusi Normal dengan mean 0 dan
memiliki variansi .
: koefisien regresi.
Nilai koefisien regresi merupakan intercept yang diartikan sebagai nilai
rata – rata y jika masing-masing sama dengan nol. Nilai koefisien
merupakan slope pada variabel y terhadap dan mengganggap
adalah konstan. Nilai koefisien merupakan slope pada variabel y terhadap
dan mengganggap dan adalah konstan, dan seterusnya.
B. Probability Density Function (pdf)
Variabel random merupakan suatu fungsi dari ruang contoh ke himpunan
bilangan nyata. Misalnya disebut variabel random pada ruang contoh , apabila
untuk setiap tertentu sebuah bilangan nyata ( ) Variabel random dibedakan
menjadi dua jenis, yaitu variabel random diskrit dan variabel random kontinu.
1. Variabel Random Diskrit dan pdf nya
Variabel random X dikatakan diskrit jika daerah nilai variabel random X
merupakan himpunan yang berhingga atau takberhingga yang countable
(terbilang). Jika X merupakan variabel random diskrit dengan nilai
yang berbeda, maka pdf dari X dapat didefinisikan, seperti berikut:
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
( ) , [ ]
Salah satu contoh pdf dari variabel random diskret ialah fungsi distribusi peluang
Poisson yang rumusnya adalah:
( )
2. Variabel Random Kontinu dan pdfnya
Variabel random X dikatakan kontinu jika memiliki daerah nilai suatu interval.
Jika adalah variabel random, maka yang disebut Cummulative Distribution
Function (CDF) dari adalah fungsi, misalnya , yang rumusnya adalah
( ) ( ) untuk setiap bilangan , artinya
( ) ( )
{
∑ ( )
∫ ( )
Jika X merupakan variabel random kontinu dengan CDF ( ), maka pdf dari X
dapat didefinisikan, seperti berikut:
( ) ( )
∫ ( )
Salah satu contoh pdf dari X yang berdistribusi normal dengan rata – rata dan
variansi atau ditulis ( ), yaitu:
( )
√
( )
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
3. Sifat pdf Bersama dari Variabel Random Diskrit
Jika ( ) merupakan variabel random diskret berdimensi ,
maka pdf bersama dari variabel tersebut adalah:
( ) ( )
Salah satu contoh pdf bersama dari X, dimana ( ) merupakan
variabel random diskrit berdimensi n dan berdistribusi Poisson dengan parameter
θ, dimana saling bebas, adalah
( ) ∑
∏
4. Sifat pdf Bersama dari Variabel Random Kontinu
Misal ( ) merupakan variabel random berdimensi dengan
CDF bersama ( ), variabel tersebut dikatakan kontinu jika terdapat
fungsi ( ) yang disebut pdf bersama dari dan didefinisikan
sebagai:
( )
( )
(∫
∫ ( )
)
( )
Salah satu contoh pdf dari , dimana ( ) merupakan variabel
random kontinu berdimensi dan berdistribusi Normal dengan rata – rata dan
variansi , dimana , saling bebas, adalah
( )
(√ )
∑ ( ) ( )
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
C. Teorema Bayesian
Teorema Bayesian merupakan suatu formula sederhana yang dikembangkan
dari peluang bersyarat. Teorema Bayesian menggabungkan dua buah sumber
informasi yaitu distribusi prior atau informasi awal dan informasi sampel. Dengan
kata lain, penggabungan distribusi prior atau informasi awal dengan informasi
sampel digabung menjadi distribusi posterior. Peluang bersyarat dari peristiwa θ
dengan syarat peristiwa y terjadi, memiliki bentuk umum
( | ) ( )
( ) ( )
1. Kasus Variabel Random Diskrit
Misal merupakan kejadian saling asing yang merupakan partisi dari
ruang sampel S, yaitu:
⋃
sedangkan y merupakan sebarang kejadian dalam S, maka
⋃ ( )
Kejadian saling asing, sehingga berdasarkan rumus peluang
kejadian bersyarat di atas, didapat persamaan
( ) ∑ ( )
( )
dimana, ( ) ( | ) ( ), dari persamaan (2.3) dapat dibentuk
persamaan
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
( ) ∑ ( | ) ( )
Jika disyaratkan bahwa y terjadi, maka
( | ) ( )
( )
atau,
( | ) ( | ) ( )
∑ ( | ) ( )
( )
Jika y diketahui, maka variabel random hanyalah θ yang daerah nilainya adalah
* +. Dengan menggunakan teorema Bayesian, informasi awal yang
dinyatakan dalam distribusi prior ( ) dan informasi sampel yang dinyatakan
dalam fungsi likelihood ( | ) dikombinasikan, maka akan membentuk
distribusi posterior θ yang dinyatakan dalam persamaan sebagai berikut.
( | ) ( | ) ( )
∑ ( | ) ( )
( )
2. Kasus Variabel Random Kontinu
Jika distribusi prior dinyatakan sebagai ( ), dan distribusi sampel dinyatakan
sebagai ( | ) maka distribusi posterior, yaitu distribusi bersyarat θ dengan
syarat y terjadi, dapat dinyatakan sebagai berikut.
( | ) ( | ) ( )
( ) ( )
Distribusi marginal dari y adalah
( ) ∫ ( | ) ( ) ( )
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
Jika daerah nilai θ adalah ( ), maka ( ) dapat dinyatakan dalam
bentuk integral sebagai berikut.
( ) ∫ ( | ) ( )
( )
Diperoleh Teorema Bayesian untuk variabel random kontinu yaitu:
( | ) ( | ) ( )
∫ ( | ) ( )
( )
3. Teorema Bayesian untuk Parameter
Untuk variabel random diskrit dan variabel random kontinu, dapat ditulis
( ) {∫ ( | ) ( )
∑ ( | ) ( )
Dengan demikian dari persamaan,
( | ) ( | ) ( )
( ) ( )
dapat diperoleh persamaan, sebagai berikut
( | ) ( | ) ( ) ( )
Hal ini terjadi karena ( ) tidak mengandung sehingga dapat dianggap
konstanta, ( ) disebut distribusi prior dan ( | ) disebut distribusi posterior
dengan syarat y terjadi. Dengan demikian dapat ditulis Teorema Bayesian,
sebagai berikut.
( | ) ( | ) ( ) ( )
Simbol maksudnya ialah „sebanding dengan‟. Dengan kata lain, Teorema
Bayesian menyatakan bahwa distribusi peluang untuk posterior ( | )
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
sebanding dengan perkalian dari distribusi prior ( ) dan likelihood ( | ),
yaitu
D. Estimasi Parameter Regresi
Estimasi adalah suatu proses yang menggunakan sampel statistik untuk
menduga atau menaksir parameter populasi yang tidak diketahui. Estimasi ini
merupakan suatu cara untuk memprediksi karakteristik dari suatu populasi. Hakekat
mengestimasi suatu parameter merupakan suatu prosedur untuk mencari parameter
dari sebuah model yang paling cocok pada suatu data pengamatan yang ada. Ada
beberapa estimasi parameter yaitu dapat berupa estimasi titik dan estimasi selang.
Contoh dan mengestimasi parameter dan pada persamaan regresi
, sehingga estimasi regresinya menjadi .
E. Metode Bayesian dalam Mengestimasi Regresi
1. Regresi Linear Sederhana (RLS)
Model dari RLS adalah :
Dalam menyelesaikan model RLS dibentuk asumsi sebagai berikut:
(1) ( ) untuk semua , atau ekuivalen dengan ( )
.
(2) ( ) untuk semua , atau ekuivalen dengan ( )
.
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
(3) ( ) untuk semua , atau ekuivale n dengan ( )
untuk semua .
Asumsi 1 menyatakan bahwa model RLS sudah benar yang mengartikan
hanya bergantung pada . Asumsi 2 menyatakan bahwa varians dari atau y
tidak bergantung pada nilai – nilai . Asumsi 3 menyatakan bahwa ( )
atau ( ) tidak berkorelasi satu sama lain. Dalam model ini,
berdistribusi Normal dengan mean ( ) dan variansi .
a. Likelihood dari Distribusi Normal
Model RLS, berdistribusi Normal dengan mean ( ) dan variansi
untuk n pengamatan, didapat fungsi kepadatan peluang dalam bentuk sebagai
berikut.
( | ) ( ) *∑ , ( )-
+ ( )
Fungsi likelihood untuk parameter, yaitu:
( | ) ( ) *
∑ , ( )-
+ ( )
Bentuk ∑ , ( )-
akan ditransformasikan sehingga didapat
persamaan likelihood menjadi seperti berikut.
( | ) ( ) * ( )
( )
+ ( )
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
dimana
∑
∑( )
∑( )( )
∑( )
( )
b. Non-informatif Prior
Bentuk dari non-informatif prior dengan menggunakan metode Jeffrey‟s
yaitu:
( ) ( ) ( )
c. Posterior dari Distribusi Normal
Jika sebuah variabel random dikatakan berdistribusi Normal dengan mean
μ dan variansi dapat ditulis ( ), maka memiliki fungsi kepadatan
peluang dalam bentuk:
( | )
√ [
.
/
] ( )
untuk , dimana dan .
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
Perkalian prior dan likelihood menghasilkan distribusi posterior sebagai
berikut.
( | ) ( ) . /
* ( )
( )
+ ( )
2. Regresi Linear Berganda (RLB)
Model dari RLB adalah :
Dalam menyelesaikan model RLB dibentuk asumsi sebagai berikut.
(1) ( ) untuk semua , atau ekuivalen dengan ( )
.
(2) ( ) untuk semua , atau ekuivalen dengan ( )
.
(3) ( ) untuk semua , atau ekuivalen dengan ( )
untuk semua .
Asumsi 1 menyatakan bahwa model RLB sudah benar yang mengartikan seluruh
variabel independen saling berpengaruh terhadap variabel dependen dan
masing – masing variabel bekerja secara linear. Asumsi 2 menyatakan bahwa
varians dari adalah konstan sehingga tidak bergantung pada . Asumsi 3
menyatakan bahwa y tidak berkorelasi satu sama lain. Dalam model ini,
berdistribusi Normal dengan mean ( ) dan
variansi . Model RLB untuk pengamatan dapat dibentuk dalam persamaan
sebagai berikut.
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
Bentuk persamaan tersebut dapat ditulis dalam bentuk matriks sebagai berikut.
(
, (
,(
, (
,
Persamaan matriks tersebut dapat ditulis dalam bentuk regresi yaitu:
( )
dengan
: vektor kolom nilai variabel dependen.
: matriks berordo nilai variabel independen.
: vektor kolom koefisien regresi.
: vektor kolom galat yang diasumsikan berdistribusi Normal dengan mean 0
dan memiliki variansi .
di mana
(
,
(
,
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
(
,
(
,
Asumsi yang digunakan untuk model (2.19) yaitu:
(a) ( ) atau ( )
(b) ( ) atau ( )
Catatan
Asumsi ( ) mencakup kedua asumsi yaitu ( ) dan
( ) . Dalam model ini, berdistribusi Normal dengan mean dan
covariansi .
a. Likelihood dari Distribusi Normal
Model RLS, berdistribusi Normal dengan mean (
) dan variansi untuk n pengamatan, didapat fungsi kepadatan
peluang dalam bentuk sebagai berikut.
( | ) ( ) [∑ . ( )/
]
Persamaan umum regresi linear dalam bentuk matriks, yaitu:
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
Fungsi kepadatan peluangnya mempunyai ( ) dan ( ) .
Dapat dikatakan bahwa berdistribusi ( ), sehingga didapat
persamaan pdf berikut:
( | )
√ (
( ) ( ) ( ) ( )
)
Fungsi likelihood dapat ditulis sebagai berikut.
( | )
√ (
( ) ( ) ( ) ( )
)
( | ) ( ) * ( ) ( )
+
dimana
[
]
( )
dan
( ) ( )
b. Non-informatif Prior
Bentuk dari distribusi non-informatif prior dengan metode Jeffrey‟s adalah
( ) ( )
c. Posterior dari Ditribusi Normal
Setelah didapatkan fungsi likelihood dan distribusi prior maka dapat
ditentukan distribusi posteriornya, sebagai berikut.
( | ) ( ) ( ) * ( ) ( )
+
Estimasi Parameter Regresi..., Marina Anggun Tias Dewanti, FKIP, UMP, 2014
Recommended