BAB 3
ENTROPI DARI BEBERAPA
DISTRIBUSI
Untuk lebih memahami mengenai entropi, pada bab ini akan diberikan perhitungan
entropi untuk beberapa distribusi diskrit dan kontinu.
3.1 Distribusi Diskrit
Pada sub bab ini dibahas rataan, variansi dan entropi dari beberapa distribusi baik
diskrit maupun kontinu.
a. Geometri (p)
Misalkan X menyatakan peubah acak yang berdistribusi Geometri dengan
parameter (p) dan fungsi densitas peluang
( ) ( ) 11 , 1, 2,...0 , lainnya
kp p kP X kk
−⎧ − =⎪= = ⎨⎪⎩
Rataan : µ = ( ) 1
0
1 k
k
kp p∞
−
=
−∑ = 1p
Variansi : σ 2 = ( )2
1
0
1 1 k
k
k p pp
∞−
=
⎛ ⎞− −⎜ ⎟
⎝ ⎠∑ =
( )2
1- pp
Entropi: H(X=x) ( )( ) ( )1 1
0log 1 1
nk k
kp p p p− −
=
= − −∑ = ( )1log log 1pp pp−
− − −
23
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
24
Pada distribusi geometri ini, entropi dapat mudah dihitung seperti halnya
menghitung rataan dan variansinya dengan entropi ini berlaku untuk p∈ (0,1).
Tabel perhitungan entropi untuk distribusi geometri dengan beberapa nilai p,
(dengan basis dua) ditampilkan di bawah ini.
p H 0,1 4,6900 0,2 3,6096 0,3 2,9376 0,4 2,4274 0,5 2,0000 0,6 1,6183 0,7 1,2590 0,8 0,9024 0,9 0,5211
Tabel 3.1 : Entropi distribusi Geometri (p)
Entropi distribusi Geometri (p )
00.5
11.5
22.5
33.5
44.5
5
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1p
H
Gambar 3.2 : Grafik entropi untuk distribusi Geometri (p)
Terlihat dari tabel 3.1 dan gambar 3.1 bahwa untuk 0<p<0,4, p meningkat dan
entropi, H(X=x) menurun cukup cepat. Tetapi ketika 0,4<p<1, nilai
entropinya menurun lebih lambat daripada 0<p<0,4.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
25
a. Binomial (n, p)
Misalkan X menyatakan peubah acak yang berdistribusi Binomial dengan
parameter (n,p) dan fungsi padat peluang
( ) ( )1 , 0,1,2,...,
0 , lainnya
n kknp p k
P X k kk
−⎧⎛ ⎞− =⎪⎜ ⎟= = ⎨⎝ ⎠
⎪⎩
n
Rataan :( ) ( )
( )( ) ( ) ( )
0
1
1
! 1! !
1 !1
1 ! !
nn kk
k
nn kk
k
nk p pk n k
nnp p p np
k n k
µ −
=
−−
=
= −−
−= −
− −
∑
∑ =
Variansi : ( ) ( ) ( ) (22
0
! 1 1! !
nn kk
k
nk np p p np pk n k
σ −
=
= − − = −−∑ )
n k
Entropi: H(X=x)0log (1 ) (1 )
nk n k k
k
n np p p p
k k− −
=
⎛ ⎞⎛ ⎞ ⎛ ⎞= −⎜ ⎟⎜ ⎟ ⎜ ⎟
⎝ ⎠ ⎝ ⎠⎝ ⎠∑ −
0
(1 ) log log( ) (1 ) log(1 )n
k n k
k
n np p np p n p
k k−
=
⎛ ⎞ ⎛ ⎞= − − − −⎜ ⎟ ⎜ ⎟
⎝ ⎠ ⎝ ⎠∑ p−
Entropi dari distribusi binomial ini mempunyai bentuk yang cukup rumit
karena dibutuhkan perhitungan logaritma dari kombinasi (n,k) berbeda dengan
mean dan variansinya. Oleh karena itu, penggunaan software seperti Maple
akan lebih memudahkan mencari entropinya. Di gambar berikut ditampilkan
entropi untuk beberapa p dengan n sebesar 50 kali.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
26
Entropi Distribusi Binomial (n,p )
0
20
40
60
80
100
120
0 10 20 30 40 50 60n
H
p=0,03
p=0,25
p=0,5
p=0,6
p=0,99
Gambar 3.3 : Grafik entropi untuk distribusi binomial
Dari grafik di atas, terlihat bahwa n≥20 tapi proporsi, p berbeda, entropi
semakin nyata perbedaannya. Dapat dikatakan bahwa untuk n≥20 tersebut,
entropi binomial mendekati distribusi kontinu. Untuk p=0,25 dan p=0,6
semakin jauh letaknya untuk n≥20.
Selain itu, ingin dilihat pula pengaruh kenaikan proporsi peluang terhadap
entropi. Pada distribusi binomial ini, dapat dilihat bahwa untuk parameter n
yang semakin tinggi sedangkan peluang sukses, p tetap maka entropi dari
distribusi binomial ini juga akan berubah menjadi semakin tinggi.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
27
Sebagai perbandingan, parameter n ditetapkan sebesar 20 sedangkan proporsi
peluangnya meningkat maka hasil perhitungan dapat dilihat pada tabel di
bawah ini.
p 0,1 0,15 0,2 0,25 0,3 0,35 0,4 0,45 0,5
H 16,3547 21,7038 26,0086 29,4606 32,1750 34,2258 35,6608 36,5108 36,7923
p 0,55 0,6 0,65 0,7 0,75 0,8 0,85 0,9
H 36,5108 35,6608 34,2258 32,1750 29,4606 26,0086 21,7038 16,3547
Tabel 3.4 : Entropi untuk distribusi binomial untuk n=20
Hasil perhitungan di atas digambarkan dalam grafik berikut.
Entropi Binomial (p ; n=20)
10.0013.00
16.0019.00
22.0025.00
28.0031.00
34.0037.00
40.00
0 0.2 0.4 0.6 0.8 1
p
H
Gambar 3.5 : Grafik entropi binomial untuk n=20
Dari tabel dan grafik di atas dapat dikatakan bahwa untuk proporsi peluang,
0<p<0,5, entropi meningkat secara eksponensial. Kemudian, hal yang
menarik, untuk 0,5<p<1 entropi menurun secara eksponensial pula. Entropi
mencapai nilai maksimum pada saat p=0,5.
BAB 3 ENTROPI DARI BEBERAPA DISTRIBUSI
27
n 1 2 3 4 5 6 7 8 9 10
0,1 0,4689 1,1179 1,8349 2,592 3,3768 4,1822 5,0036 5,8379 6,6827 7,53630,2 0,7219 1,7639 2,9266 4,1552 5,4259 6,7262 8,048 9,3863 10,7373 12,09860,3 0,8813 2,1826 3,6424 5,1835 6,7735 8,3956 10,0403 11,7016 13,3754 15,05920,4 0,9709 2,4219 4,0542 5,7756 7,5484 9,3536 11,1811 13,0245 14,88 16,7449
p
0,5 1 2,5 4,1887 5,9694 7,8018 9,6666 11,5534 13,4558 15,3701 17,2936 n 11 12 13 14 15 16 17 18 19 20
0,1 8,3973 9,2647 10,1376 11,0152 11,8971 12,7827 13,6716 14,5634 15,4578 16,35470,2 13,4683 14,8448 16,2271 17,6143 19,0056 20,4006 21,7987 23,1997 24,603 26,00860,3 16,7508 18,4489 20,1524 21,8604 23,5724 25,2877 27,0059 28,7267 30,4498 32,1750,4 18,6173 20,4959 22,3797 24,2678 26,1597 28,0548 29,9528 31,8533 33,7561 35,6609
p
0,5 19,2245 21,1615 23,1036 25,0499 27,0001 28,9535 30,9096 32,8684 34,8293 36,7923Tabel 3.6 : Entropi untuk distribusi Binomial (n,p) dengan 2 sebagai basis logaritma
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
28
b. Poisson (λ)
Misalkan X menyatakan peubah acak yang berdistribusi Poisson dengan
parameter (λ) dan fungsi padat peluang,
( ) , 0,1, 2,...!
0 , lainnya
ke kP X k kk
λλ−⎧=⎪= = ⎨
⎪⎩
Rataan : µ = ( )
1
0 1! 1
k k
k k
ek ek k
λλλ λλ
− −∞ ∞−
= =
=!−∑ ∑ =λ
Variansi : σ 2 = ( )2
0 !
k
k
ekk
λλλ−∞
=
−∑ = λ
Entropi : H(X=x) =0log
! !
k k
k
e ek k
λ λλ λ− −∞
=
⎛ ⎞⎜ ⎟⎝ ⎠
∑ = ( ) ( )0
log !1 log
!
k
k
ke
kλ λ
λ λ∞
−
=
− + ∑
Entropi untuk distribusi Poisson mempusnyai kerumitan dalam perhitungan
yang tidak sederhana dan memerlukan analisis yang lebih kuat.
3.1 Distribusi Kontinu
a. Uniform (a,b)
Misalkan X menyatakan peubah acak yang berdistribusi uniform dengan
fungsi distribusi,
1 , ( )
0, lainnya
a x bf x b a
x
⎧ < <⎪= −⎨⎪⎩
Rataan : µ = 12
b
a
a bx dxb a
+=
−∫
Variansi : σ 2 = ( )2
22 1 12 12
b
a
a bx dx b ab a
⎛ ⎞ +⎛ ⎞− = −⎜ ⎟ ⎜ ⎟− ⎝ ⎠⎝ ⎠∫
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
29
Entropi: H(X=x) 1 1lnb
a
dxb a b a
⎛ ⎞= − ⎜ ⎟− −⎝ ⎠∫
( )1ln ln b ab a
⎛ ⎞= − = −⎜ ⎟−⎝ ⎠
Dari perhitungan tersebut, entropi untuk distribusi uniform hanya ditentukan
oleh lebar intervalnya.
b. Normal N(α,β2)
Misalkan X menyatakan peubah acak yang berdistribusi normal dengan
parameter (α,β2) dan fungsi padat peluang,
( ) ( )2
2
1 exp22
xf x
αββ π
⎛ ⎞−⎜= −⎜ ⎟⎝ ⎠
⎟ , -∞ < x < ∞
Rataan : µ = ( )2
2
1 exp22
xx dx
αββ π
∞
−∞
⎛ ⎞−⎜ ⎟−⎜ ⎟⎝ ⎠
∫ = α
Variansi : σ 2= ( ) ( )22
2
1 exp22
xx dx
αα
ββ π
∞
−∞
⎛ ⎞−⎜ ⎟− −⎜ ⎟⎝ ⎠
∫ = β 2
Untuk menghitung entropi dari distribusi-distribusi kontinu, digunakan basis
logaritmanya adalah e sehingga
Entropi : H(X=x)
2 21 12 21 1log
2 2
x x
e eα αβ β
β π β π
⎛ ⎞ ⎛ ⎞− −∞ − −⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠
−∞
⎛ ⎞⎜ ⎟= −⎜ ⎟⎝ ⎠
∫ dx
( )( ) ( )21 11 ln 2 ln 22 2
πβ π= + = + β
Entropi dari distribusi normal tidak bergantung pada nilai mean melainkan
pada standar deviasi. Apabila digambarkan dalam kurva maka entropi untuk
distribusi normal meningkat untuk standar deviasi yang meningkat, dengan
mean yang sama.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
30
Gambar 3.7 : Grafik entropi distribusi Normal
Untuk lebih memperjelas, diambil contoh kasus distribusi Normal dengan
mean tetap yaitu 7, tetapi variansi meningkat. Hasilnya ditabelkan seperti di
bawah ini.
β2 0,00001 0,0001 0,001 0,0625 0,125 0,25
H -3,4186 -2,2673 -1,1160 0,9516 1,2982 1,6447
β2 0,5 1 2 4 6 8
H 1,9113 2,3379 2,6845 3,0310 3,2338 3,3776
Tabel 3.8 : Hasil perhitungan entropi distribusi normal
Dari tabel di atas dapat dilihat bahwa untuk variansi yang meningkat maka
nilai entropi juga meningkat. Entropi distribusi normal akan bernilai negatif
untuk variansi yang cukup kecil. Grafik yang didapat juga tampak seperti
pada Gambar 3.5.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
31
c. Gamma (θ,α)
Fungsi padat peluang dari distribusi Gamma adalah
( ) ( )1
, 0
0 , lainnya
x
x e xf x
x
θ α
θθ α
−−⎧⎪⎪ >= ⎨Γ⎪⎪⎩
(3.1)
Rataan : ( ) ( )
( )( )
11 11
xxx ex dx xx e dx
θ αθ α
θ θ
α θµ θα
θ α θ α θ
−∞ ∞− −−
−∞ −∞
Γ += = =
Γ Γ Γ∫ ∫ = (3.2)
Variansi : ( ) ( )1
22
x
x ex dθ α
θ2xσ αθ θα
θ α
−∞ −
−∞
= − =Γ∫ (3.3)
Entropi : H(X=x) ( ) ( )
1 1
0
ln
x x
x e x e dxθ θα α
θ θθ α θ α
− −∞ − −⎛ ⎞⎜ ⎟= − ⎜ ⎟Γ Γ⎜ ⎟⎝ ⎠
∫ (3.4)
( )( ) ( ) ( )ln 1θ α θ θ ψ θ= + Γ + − (3.5)
dengan ( )kψ adalah fungsi digamma, ( ) ( )( )' θ
ψ θθ
Γ=Γ
.
Pada distribusi Gamma, rataan dan variansi dapat dihitung dengan mudah,
sedangkan pada entropinya muncul fungsi digamma. Hal ini menjadi lebih
sulit karena diperlukan turunan dari fungsi gamma, terlebih untuk α bukan
bilangan bulat.
Kasus khusus dari distribusi Gamma adalah distrbusi eksponensial. Untuk
mendapatkan distribusi eksponensial, ditetapkan θ =1 pada persamaan (3.6),
sehingga fungsi padat peluangnya menjadi
( ) , 0
0 , lainnya
x
e xf x
x
α
α
−⎧⎪ >= ⎨⎪⎩
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
32
Rataan : µ =
x
ex dxα
α
−∞
−∞∫ = 1 x
xe dxα
α
∞−
−∞∫ = α
Variansi : σ 2 = ( )2
x
ex dxα
αα
−∞
−∞
−∫ = ( )21 x
x e dxααα
∞−
−∞
−∫ = α2
Entropi : H(X=x) 0
ln
x x
e e dxα α
α α
− −∞ ⎛ ⎞⎜ ⎟= − ⎜ ⎟⎜ ⎟⎝ ⎠
∫
( )0
1 ln lnxx
e e dx⎞αα α
λ
−∞− ⎛ ⎛ ⎞
−⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠
( )1 ln= − ∫ α= +
Entropi untuk distribusi eksponensial ini akan menjadi negatif untuk α yang
kecil, seperti dapat terlihat pada grafik.
Gambar 3.9 : Grafik entropi distribusi eksponensial
Kasus lain dari distribusi Gamma yaitu distribusi chi kuadrat yang diperoleh
dengan 2rθ = dan 2α = sehingga persamaan (3.6) menjadi
( ) ( )1
2 2/ 2
1 , 0/ 2 2
0 , lainnya
r x
r x e xrf x
x
− −⎧< < ∞⎪Γ= ⎨
⎪⎩
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
33
Rataan : µ = ( ) ( )
1 12 2 2 2
/ 2 / 2
1 1/ 2 2 / 2 2
r x r x
r rx x e dx xx e dx rr r
∞ ∞− − − −
−∞ −∞
= =Γ Γ∫ ∫
Variansi : σ ² = ( ) ( )12 2 2
/ 2
1 2/ 2 2
r x
rx r x e dr
∞− −
−∞
x r− =Γ∫
Entropi : H(X=x) ln 2 12 2 2r r r ψ⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞= + Γ + −⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟
⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠ 2r , dengan ( ) ( )
( )' a
aa
ψΓ
=Γ
.
Perhitungan entropi untuk beberapa r dapat dilihat pada lampiran.
r H
2 1,6931
3 2,0541
4 2,2703
5 2,4231
6 2,5227
7 2,6362
8 2,7165
9 2,7858
10 2,8467
Tabel 3.10 : Perhitungan entropi untuk distribusi chi kuadrat
Pada tabel tersebut, untuk nilai derajat kebebasan (r) yang semakin meningkat
maka entropi untuk peubah acak chi-kuadrat ini juga meningkat. Untuk lebih
jelasnya akan digambarkan dalam grafik seperti berikut.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
34
Entropi khi kuadrat
1.0
1.5
2.0
2.5
3.0
0 2 4 6 8 10 1
r
H
2
Gambar 3.11 : Grafik entropi untuk distribusi chi kuadrat (r)
Dari grafik, entropi pada distribusi chi kuadrat akan meningkat dengan derajat
kebebasan yang meningkat pula. Hal ini dapat dilihat karena informasi yang
terkandung juga semakin banyak.
c. Pareto (α,θ)
Distribusi Pareto sering digunakan untuk bidang-bidang yang berhubungan
dengan sosial, asuransi, geofisika dan sains. Salah satu contohnya adalah
frekuensi kata-kata untuk teks yang panjang, di mana kata-kata pendek sering
digunakan dan kata yang panjang jarang digunakan. Fungsi padat peluang dari
distribusi Pareto dituliskan
( ) ( ) 1 , 0
0 , lainnya
xf x x
x
α
α
αθθ +
⎧>⎪= +⎨
⎪⎩
Rataan : µ = ( ) 1 1
x dxx
α
α
αθ θαθ
∞
+−∞
=−+∫
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
35
Variansi : σ ² = ( )
2
11x dx
x
α
α
θ αθα θ
∞
+−∞
⎛ ⎞− =⎜ ⎟−⎝ ⎠ +∫ ( ) ( )
2
21 2θ α
α α− −
Entropi : H(X=x) ( ) ( )1 1
0
ln dxx x
α α
α α
αθ αθθ θ
∞
+ +
⎛ ⎞⎜ ⎟= −⎜ ⎟+ +⎝ ⎠
∫
1ln 1αθ α
⎛ ⎞= +⎜ ⎟⎝ ⎠
+
Untuk distribusi Pareto, bentuk entropi lebih sederhana dan dapat dengan
mudah dihitung seperti halnya mean dan variansi.
d. Lognormal (α,β )
Contoh penggunaan distribusi lognormal yaitu pada long-term return rate
pada investasi barang. Fungsi padat peluang dari distribusi lognormal adalah
( ) ( )2
2
ln( )1 exp22x
f xx
αββ π
⎛ ⎞−⎜ ⎟= −⎜ ⎟⎝ ⎠
, x−∞ < < ∞
Rataan : µ =( )2
22
ln( )1 1exp exp2 22x
x dxx
αα β
ββ π
∞
−∞
⎛ ⎞− ⎛ ⎞⎜ ⎟− = ⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠∫ +
Variansi : ( )222 2
2
ln( )1 1exp exp2 22
xx dx
xα
σ α βββ π
∞
−∞
⎛ ⎞−⎛ ⎞⎛ ⎞ ⎜ ⎟= − + −⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠⎝ ⎠ ⎝ ⎠∫
( )( ) ( )2 2exp 1 exp 2β α β= − +
Entropi :
H(X=x)= ( ) ( )2 2
2 20
ln( ) ln( )1 1ln exp exp2 22 2x x
dxx x
α αβ ββ π β π
∞ ⎛ ⎞⎛ ⎞ ⎛ ⎞− −⎜ ⎟⎜ ⎟ ⎜ ⎟− − −
⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠⎝ ⎠∫
( ) ( )2 21 1 1ln 2 ln 22 2 2
eπβ α π β= + + = +α
Entropi untuk distribusi lognormal bergantung pada parameter α dan β.
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
36
Entropi dari beberapa distribusi kontinu pada Bab 3 ditampilkan pada tabel berikut.
N
o
Distribusi Fungsi Padat Peluang µ σ 2 H
1 Uniform
(a,b) 1 ,
( )0, lainnya
a x bf x b a
x
⎧ < <⎪= −⎨⎪⎩
2a b+ ( )21
12b a− ( )ln b a−
2 Normal
(α,β2) ( ) ( )2
2
1 exp22
xf x
αββ π
⎛ ⎞−⎜ ⎟= −⎜ ⎟⎝ ⎠
,
-∞ < x < ∞
α β 2 ( )1 ln 22
πβ+
3 Gamma
(θ,α) ( ) ( )1
, 0
0 , lainnya
x
x e xf x
x
θ α
θθ α
−−⎧⎪⎪ >= ⎨Γ⎪⎪⎩
θα θα2 ( )( ) ( ) ( )ln 1θ α θ θ ψ θ+ Γ + − ,
( ) ( )( )' θ
ψ θθ
Γ=Γ
4 Eksponens
ial (α) ( ) , 0
0 , lainnya
x
e xf x
x
α
α
−⎧⎪ >= ⎨⎪⎩
α
α2 ( )1 ln α+
5 Khi
kuadrat (r) ( ) ( )1
2 2/ 2
1 , 0/ 2 2
0 , lainnya
r x
r x e xrf x
x
− −⎧< < ∞⎪Γ= ⎨
⎪⎩
r 2r ln 2 12 2 2r r r ψ⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞+ Γ + −⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟
⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠
( )
2r
( )( )' a
aa
ψΓ
=Γ
6 Pareto
(α,θ) ( ) ( ) 1 , 0
0 , lainnya
xf x x
x
α
α
αθθ +
⎧>⎪= +⎨
⎪⎩
1θ
α − ( ) ( )
2
21 2θ α
α α− −
1ln 1αθ α
⎛ ⎞ + +⎜ ⎟⎝ ⎠
7 Lognormal
(α,β )
( ) ( )2
2
ln( )1 exp22x
f xx
αββ π
⎛ ⎞−⎜ ⎟= −⎜ ⎟⎝ ⎠
,
x−∞ < < ∞
212e
α β⎛ ⎞+⎜ ⎟⎝ ⎠
( ) ( )2 21 2e eβ α β− +
( )21 ln 2
2eπ β α+
Tabel 3.12 : Entropi untuk distribusi kontinu
BAB III ENTROPI DARI BEBERAPA DISTRIBUSI DAN HASIL SIMULASI
37
3.2 Entropi dari Bivariat normal
Untuk kasus bivariat, diambil contoh distribusi bivariat normal dengan fungsi padat
peluang untuk mean, µX dan µY serta variansi σX dan σY dituliskan
( ) ( )
22
22
1 1, exp 22 12 1
y yx x
x x y yx y
y yx xf x yµ µµ µρ
σ σ σ σρπσ σ ρ
⎛ ⎞⎡ ⎤⎛ ⎞ ⎛ ⎞− −⎛ ⎞ ⎛ ⎞− −−⎜ ⎟⎢ ⎥= − ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟+
⎢ ⎥−− ⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎣ ⎦⎝ ⎠
x−∞ < < ∞ , (3.11) y−∞ < < ∞
Entropi untuk peubah acak yang berdistribusi bivariate normal adalah
H(x,y)( )
22
22
1 1exp 22 12 1
y yx x
x x y yx y
y yx x dxdyµ µµ µρ
σ σ σ σρπσ σ ρ
∞ ∞
−∞ −∞
⎛ ⎞⎡ ⎤⎛ ⎞ ⎛ ⎞− −⎛ ⎞ ⎛ ⎞− −−⎜ ⎟⎢ ⎥= − ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎢ ⎥−− ⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎣ ⎦⎝ ⎠∫ ∫ +
Terlihat bahwa entropi untuk kasus bivariat kontinu semakin sulit untuk dihitung
secara manual. Hal ini terpengaruh juga oleh bentuk fungsi padat peluang dari
distribusi bivariat normal.