Aleksandra Jovi£i¢mdjumic/uploads/diplomski/JOV10.pdfpromatramo specijalne funkcije kk p;kk 1: Rn![0;+1i, za p 1 te pokazujemo da su te funkcije norme. U tu svrhu koriste se poznate

Sveu£ili²te J.J. Strossmayera u OsijekuOdjel za matematiku

Diplomski sveu£ili²ni nastavni£ki studij matematike i informatike

Aleksandra Jovi£i¢

p - norme na Rn i problemi linearne aproksimacije

Diplomski rad

Osijek, 2011.

Sveu£ili²te J.J. Strossmayera u OsijekuOdjel za matematiku

Diplomski sveu£ili²ni nastavni£ki studij matematike i informatike

Aleksandra Jovi£i¢

p - norme na Rn i problemi linearne aproksimacije

Diplomski rad

Voditelj: Doc. dr. sc. Kristian Sabo

Osijek, 2011.

Sadrºaj

1. Uvod 1

2. p - norme na Rn 32.1. Vektorski prostor Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2. Skalarni produkt na Rn i euklidska norma . . . . . . . . . . . . . . . . 42.3. p - norma na Rn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3. Problem linearne aproksimacije 123.1. Problem najmanjih kvadrata . . . . . . . . . . . . . . . . . . . . . . . . 123.2. Problem najmanjih apsolutnih udaljenosti . . . . . . . . . . . . . . . . 153.3. Problem najmanjih maksimalnih apsolutnih odstupanja . . . . . . . . . 16

4. Numeri£ki primjeri 17

Literatura 45

Saºetak 46

Summary 47

�ivotopis 48

1

1. Uvod

Problem najbolje linearne aproksimacije u normiranom vektorskom prostoru izuzetnoje vaºan problem u primijenjenoj matematici. Veliki broj konkretnih problema kojidolaze iz razli£itih podru£ja primjena kao ²to su primjerice ekonomija, biologija, me-dicina i poljoprivreda, mogu se svesti na spomenuti problem najbolje aproksimacije unormiranom vektorskom prostoru.

U ovom diplomskom radu dajemo pregled metoda za rje²avanje problema najboljeaproksimacije u normiranom vektorskom prostoru. Pri tome problem rje²avamo u lpnormi, gdje je p = 1, 2,∞. Rad je podijeljen u 3 poglavlja: p−norme na Rn, Problemlinearne aproksimacije te Numeri£ki primjeri.

U prvom poglavlju de�niramo vektorski prostor (Rn,+, ·). U vektorskom prostoru(Rn,+, ·) uvodimo funkciju (·|·):Rn × Rn → R koju nazivamo skalarni produkt. Vek-torski prostor na kojem je de�niran skalarni produkt zove se unitarni vektorski prostor.Svakom vektoru x ∈ Rn na jednozna£an na£in moºe se pridruºiti nenegativan realanbroj ‖x‖2 =

√(x|x). Funkciju ‖ · ‖2 : Rn → [0,+∞〉 nazivamo euklidskom normom na

Rn. Nadalje, dokazana je poznata Cauchy-Schwartz-Buniakowsky nejednakost. Op¢e-nito na vektorskom prostoru (Rn,+, ·) de�niramo funkciju ‖ · ‖ : Rn → [0,+∞〉 kojazadovoljava svojstva (N1) pozitivna semide�nitnost, (N2) pozitivna de�nitnost, (N3)homogenost, (N4) nejednakost trokuta. Takvu funkciju zovemo norma na Rn. Tako�er,promatramo specijalne funkcije ‖·‖p, ‖·‖∞ : Rn → [0,+∞〉, za p ≥ 1 te pokazujemo dasu te funkcije norme. U tu svrhu koriste se poznate nejednakosti kao ²to su Hölderovanejednakost te nejednakost Minkowskog.

U drugom poglavlju analiziraju se problemi najbolje linearne aproksimacije u nor-miranom prostoru. Drugim rije£ima rje²avamo sljede¢i problem:

Ako je zadana matrica A ∈ Rm×n te vektor b ∈ Rm treba odrediti vektor x ∈ Rn takoda je ‖Ax− b‖p → min

x.

U radu se razmatraju slu£ajevi kada je p = 1, p = 2 i p =∞.Drugo poglavlje sastoji se od tri odjeljka. U prvom odjeljku promatramo problem

najbolje linearne aproskimacije u smislu norme ‖ · ‖2, koji se obi£no naziva problemnajmanjih kvadrata. Navodimo metodu za rje²avanje problema najmanjih kvadrata. Udrugom i tre¢em odjeljku analiziramo problem najbolje linearne aproskimacije u smislunorme ‖ · ‖1 i ‖ · ‖∞. Pri tome prvi problem zovemo problem najmanjih apsolutnihodstupanja, dok drugi problem nazivamo problem najmanjih maksimalnih apsolutnihodstupanja. Oba problema svodimo na problem linearnog programiranja.

U posljednjem tre¢em poglavlju £iji je naslov Numeri£ki primjeri, rje²avaju se pro-blemi linearne aproksimacije za p = 1, p = 2 i p = ∞ uz pomo¢ programskog paketaMathematica te se ilustriraju razlike u tri navedena pristupa. Posebno je nagla²ena raz-lika u rezultatima, ako se u komponenatama vektora b ∈ Rm pojavljuju str²e¢i podaci

2

tzv. outlieri. U tom slu£aju pokazuje se da je metoda najmanjih apsolutnih odstupanjanajmanje osjetljiva dok je metoda najmanjih maksimalnih udaljenosti najosjetljivijana takve podatke.

3

2. p - norme na Rn

2.1. Vektorski prostor Rn

Ure�enu trojku (Rn,+, ·) koja se sastoji od skupa

Rn = {(x1, . . . , xn) : xi ∈ R, i = 1, . . . , n}

te sljede¢e dvije operacije:

(i) zbrajanje +:Rn × Rn → Rn koje je de�nirano formulom

(x1, . . . , xn) + (y1, . . . , yn) := (x1 + y1, . . . , xn + yn),

(ii) mnoºenje realnim brojevima ·:R× Rn → Rn koje je de�nirano formulom

λ · (x1, . . . , xn) = (λx1, . . . , λxn),

zovemo realni vektorski prostor.Nije te²ko vidjeti da u tom prostoru vrijede sljede¢a svojstva:

(VP1) (komutativnost zbrajanja)

(∀x, y ∈ Rn), x+ y = y + x,

(VP2) (asocijativnost zbrajanja)

(∀x, y, z ∈ Rn), x+ (y + z) = (x+ y) + z,

(VP3) (postojanje nul vektora)

(∃0 ∈ Rn)(∀x ∈ Rn), x+ 0 = 0 + x = x,

(VP4) (postojanje suprotnog vektora)

(∀x ∈ Rn)(∃x′ ∈ Rn), x+ x′ = x′ + x = 0,

(VP5) (kompatibilnost mnoºenja)

(∀α, β ∈ R)(∀x ∈ Rn), α(βx) = (αβ)x,

(VP6) (distributivnost mnoºenja prema zbrajanju u Rn)

(∀α ∈ R)(∀x, y ∈ Rn), α(x+ y) = αx+ αy,

(VP7) (distributivnost mnoºenja prema zbrajanju u R)

(∀α, β ∈ R)(∀x ∈ Rn), (α + β)x = αx+ βx,

(VP8) (netrivijalnost mnoºenja)

(∀x ∈ Rn), 1 · x = x.

Elemente skupa Rn nazivamo to£kama, a ponekad i vektorima.

4

2.2. Skalarni produkt na Rn i euklidska norma

U (Rn,+, ·) uvodimo preslikavanje (·|·):Rn × Rn → R na sljede¢i na£in:

De�nicija 2.1 Preslikavanje (·|·):Rn × Rn → R koje svakom paru vektora x, y ∈ Rn

pridruºuje realan broj (x|y) de�niran formulom

(x|y) =n∑

i=1

xiyi, (1)

nazivamo standardni skalarni produkt, te zbog toga za vektorski prostor (Rn,+, ·) kaºemo

da je unitarni prostor.

Moºe se pokazati da preslikavanje (1) ima sljede¢a svojstva (vidi [4]):

(S1) (x|x) ≥ 0, za svaki x ∈ Rn (pozitivna semide�nitnost),

(S2) (x|x) = 0⇔ x = 0, za svaki x ∈ Rn (pozitivna de�nitnost),

(S3) (x|y) = (y|x), za svaki x, y ∈ Rn (simetri£nost),

(S4) (x+ y|z) = (x|z) + (y|z), za svaki x, y, z ∈ Rn (aditivnost u prvom argumentu),

(S5) (λx|y) = λ(x|y), za svaki x, y ∈ Rn i svaki λ ∈ R (homogenost u prvom argu-mentu).

De�nicija 2.2 Svakom vektoru x ∈ Rn na jednozna£an na£in moºemo pridruºiti ne-

negativan realan broj

‖x‖2 =√

(x|x). (2)

Tako de�nirana funkcija ‖ · ‖2 : Rn → [0,+∞〉 naziva se euklidska norma na Rn.

Kako je na prostoru (Rn,+, ·) de�nirana norma, za njega kaºemo da je normirani prostor.

U nastavku navodimo jednu vaºnu nejednakost koja ome�uje apsolutnu vrijednost ska-larnog produkta vektora s produktom euklidskih normi tih vektora.

Teorem 2.1 (Cauchy-Schwartz-Buniakowsky) Za svaka dva vektora x, y ∈ Rn

vrijedi nejednakost

|(x|y)| ≤ ‖x‖2‖y‖2 (3)

Pri tome jednakost vrijedi onda i samo onda ako su x i y kolinearni vektori.

Dokaz. (vidi [5]) De�nirajmo kvadratnu funkciju f : R→ [0,+∞〉 formulom

f(t) = ‖x+ ty‖22.

5

Vrijedif(t) = ‖x+ ty‖22 = (x+ ty|x+ ty) = t2‖y‖22 + 2t(x|y) + ‖x‖22.

Kako je funkcija f nenegativna funkcija (f(t) ≥ 0, t ∈ R), njezina diskriminanta jeD = 4(x|y)2−4‖y‖22‖x‖22 ≤ 0, pa slijedi traºena nejednakost. Jednakost vrijedi (D = 0)onda i samo onda ako postoji realan broj t0 takav da je f(t0) = 0, tj. ako f ima nulto£ku.Budu¢i da je f(t0) = 0 onda i samo onda ako je x+ t0y = 0, odnosno onda i samo ondaako su vektori x i y kolinearni. 2

Teorem 2.2 Neka je (·|·) standardni skalarni produkt na Rn. Onda funkcija

‖ · ‖2 : Rn → [0,+∞〉 zadana formulom

x 7→√

(x|x) = ‖x‖2

zadovoljava sljede¢a svojstva:

(N1) ‖x‖2 ≥ 0, za svaki x ∈ Rn (pozitivna semide�nitnost),

(N2) ‖x‖2 = 0⇔ x = 0, za svaki x ∈ Rn (pozitivna de�nitnost),

(N3) ‖λx‖2 = |λ|‖x‖2, za svaki x ∈ Rn i svaki λ ∈ R (homogenost),

(N4) ‖x+ y‖2 ≤ ‖x‖2 + ‖y‖2, za svaki x, y ∈ Rn (nejednakost trokuta).

Dokaz. (vidi [7]) U dokazu koristimo svojstva standardnog skalarnog produkta. Svoj-stva (N1) i (N2) su trivijalna te ¢emo dokazati svojstva (N3) i (N4).(N3) ‖λx‖22 = (λx|λx) = λ2(x|x) = |λ|2‖x‖22, pa je ‖λx‖2 = |λ|‖x‖2.(N4) Vrijedi

‖x+ y‖22 = (x+ y|x+ y) = (x|x) + 2(x|y) + (y|y)= ‖x‖22 + 2(x|y) + ‖y‖22≤ ‖x‖22 + 2|(x|y)|+ ‖y‖22.

Primjenimo li sada nejednakost Cauchy-Schwartz-Buniakowsky dobivamo

‖x+ y‖22 ≤ ‖x‖22 + 2‖x‖2‖y‖2 + ‖y‖22 = (‖x‖2 + ‖y‖2)2,

odakle slijedi ‖x+ y‖2 ≤ ‖x‖2 + ‖y‖2. 2

Op¢enito svaku funkciju ‖ · ‖ : Rn → [0,+∞〉 koja zadovoljava svojstva

(N1) ‖x‖ ≥ 0, za svaki x ∈ Rn (pozitivna semide�nitnost),

(N2) ‖x‖ = 0⇔ x = 0, za svaki x ∈ Rn (pozitivna de�nitnost),

(N3) ‖λx‖ = |λ|‖x‖, za svaki x ∈ Rn i svaki λ ∈ R (homogenost),

(N4) ‖x+ y‖ ≤ ‖x‖+ ‖y‖, za svaki x, y ∈ Rn (nejednakost trokuta).

zovemo norma na Rn. U sljede¢em odjeljku de�nirat ¢emo neke druge vaºne norme naRn koje ¢emo koristiti u nastavku ovog rada.

6

2.3. p - norma na Rn

De�nicija 2.3 Neka je p ≥ 1. Na vektorskom prostoru Rn de�niramo funkcije

‖ · ‖p, ‖ · ‖∞ : Rn → [0,+∞〉, formulama

x 7→ ‖x‖p = (n∑

i=1

|xi|p)1p , p ≥ 1 (4)

x 7→ ‖x‖∞ = maxi=1,...,n

|xi| (5)

Dokazat ¢emo da su funkcije x 7→ ‖x‖p, p ≥ 1 te x 7→ ‖x‖∞ zadane sa (4) i (5) normena Rn. Kako su svojstva (N1)-(N3) trivijalna za oba preslikavanja, potrebno je dokazatisamo svojstvo (N4), odnosno da za svaki x, y ∈ Rn, p ≥ 1 vrijedi ‖x+y‖p ≤ ‖x‖p+‖y‖pte ‖x+y‖∞ ≤ ‖x‖∞+‖y‖∞. Prije no ²to dokaºemo tu tvrdnju navest ¢emo tri pomo¢netvrdnje koje ¢e nam trebati u daljnjim razmatranjima.

Lema 2.1 (Nejednakost trokuta za realne brojeve) Za svaka dva realna broja

a, b ∈ R vrijedi |a+ b| ≤ |a|+ |b|.

Dokaz. (Vidi [5]) Vrijedi

|a+ b|2 = (a+ b)2 = a2 + 2ab+ b2 ≤ |a|2 + 2|a||b|+ |b|2 = (|a|+ |b|)2,

odakle je |a+ b| ≤ |a|+ |b|. 2

Lema 2.2 Ako su a, b > 0 te p, q > 1 takvi da je 1p+ 1

q= 1, onda je

ab ≤ ap

p+bq

q.

Jednakost vrijedi onda i samo onda ako je ap = bq.

Dokaz (Vidi [6]) De�nirajmo pomo¢nu funkciju f : 〈0,+∞〉 → R formulom

f(t) = qtp − qpt+ p.

Lako se vidi da je f ′(t) = qptp−1 − qp te f ′′(t) = qp(p− 1)tp−2. Rije²imo li jednadºbuf ′(t) = 0, dobivamo da je t∗ = 1 jedinstvena stacionarna to£ka funkcije f . Nadaljekako je f ′′(1) > 0, slijedi da funkcija f u t∗ = 1 postiºe jedinstveni strogi globalniminimum, odnosno da za svaki t > 0 vrijedi

f(t) = qtp − qpt+ p ≥ q − qp+ p = f(1),

pri £emu jednakost vrijedi onda i samo onda ako je t = 1.

7

Ako je ap 6= bq, onda je t0 = ab−q/p 6= 1 pa je

f(t∗) = qapb−q − qpab−q/p + p > q − qp+ p,

odakle slijedi

ab <ap

p+aq

q.

Specijalno jednakost

ab =ap

p+aq

q,

vrijedi onda i samo onda ako je ap = bq. 2

Lema 2.3 (Hölderova nejednakost) Ako su xi, yi ∈ R, i = 1, . . . , n te p, q > 1

realni brojevi takvi da je 1p+ 1

q= 1, onda vrijedi

n∑i=1

|xiyi| ≤

(n∑

i=1

|xi|p)1/p( n∑

i=1

|yi|q)1/q

.

Dokaz. (Vidi [6]) Najprije uo£imo da je za p = q = 2 Hölderova nejednakost upravonejednakost Cauchy-Schwartz-Buniakowsky. U svrhu dokaza ove nejednakosti de�ni-rajmo realne brojeve a, b > 0 na sljede¢i na£in

a =|xi|

(∑n

i=1 |xi|p)1/p, b =

|yi|(∑n

i=1 |yi|q)1/q,

te za tako de�nirane brojeve a i b primijenimo nejednakost iz Leme 2.2. Dobivamo

|xi|(∑n

i=1 |xi|p)1/p· |yi|(∑n

i=1 |yi|q)1/q≤ 1

p

|xi|p

(∑n

i=1 |xi|p)+

1

q

|yi|q

(∑n

i=1 |yi|q), i = 1, . . . , n.

Zbrojimo li prethodnih n nejednakosti dobivamo∑ni=1 |xiyi|

(∑n

i=1 |xi|p)1/p

(∑n

i=1 |yi|q)1/q≤ 1

p+

1

q= 1,

odakle slijedi Hölderova nejednakost. 2

Vrijedi sljede¢i teorem.

Teorem 2.3 Za svaki x, y ∈ Rn te p > 1 vrijedi

a) ‖x+ y‖1 ≤ ‖x‖1 + ‖y‖1;

b) ‖x+ y‖p ≤ ‖x‖p + ‖y‖p, p > 1;

c) ‖x+ y‖∞ ≤ ‖x‖∞ + ‖y‖∞

8

Dokaz. (Vidi [6])

a) Prema Lemi 2.1 slijedi da je

‖x+ y‖1 =n∑

i=1

|xi + yi| ≤n∑

i=1

(|xi|+ |yi|) =n∑

i=1

|xi|+n∑

i=1

|yi| = ‖x‖1 + ‖y‖1.

b) Ova nejednakost u literaturi poznata je pod nazivom nejednakost Minkow-skog. Primjenom nejednakosti trokuta (Lema 2.1) i Hölderove nejednakosti(Lema 2.3) slijedi

n∑i=1

|xi + yi|p =n∑

i=1

|xi + yi| · |xi + yi|p−1

≤n∑

i=1

|xi||xi + yi|p−1 +n∑

i=1

|yi||xi + yi|p−1

≤

( n∑i=1

|xi|p) 1

p

+

(n∑

i=1

|yi|p) 1

p

(n∑

i=1

|xi + yi|q(p−1))1q

= (‖x‖p + ‖y‖p)(n∑

i=1

|xi + yi|p)1q = (‖x‖p + ‖y‖p)‖x+ y‖

pq ,

odnosno

(‖x+ y‖p)p ≤ (‖x‖p + ‖y‖p)(‖x+ y‖p)pq . (6)

Ako je x+ y 6= 0, onda zbog p− pq= p(1− 1

q) = 1 iz (6) dobivamo nejednakost

‖x+ y‖p ≤ ‖x‖p + ‖y‖p

koja vrijedi i ako je x+ y = 0. 2

c) Iz nejednakosti trokuta (Lema 2.1) slijedi

|xi + yi| ≤ |xi|+ |yi| ≤ max{|xi|}+max{|yi|} = ‖x‖∞ + ‖y‖∞,

odakle je max{|xi + yi|} ≤ ‖x‖∞ + ‖y‖∞, pa je

‖x+ y‖∞ ≤ ‖x‖∞ + ‖y‖∞.

2

U svrhu ilustracije navedimo jedan jednostavan primjer.

Primjer 2.1 Ako je x = (3, 2, 1) ∈ R3 onda je

‖x‖1 = ‖(3, 2, 1)‖1 = |3|+ |2|+ |1| = 6,

‖x‖2 = ‖(3, 2, 1)‖2 =√32 + 22 + 1 =

√14,

‖x‖∞ = ‖(3, 2, 1)‖∞ = max{|3|, |2|, |1|} = 3.

9

De�nicija 2.4 Neka su ‖ · ‖ i ‖ · ‖′ norme na vektorskom prostoru (X,+, ·). Kaºemo

da je ‖ · ‖ ekvivalentna s ‖ · ‖′ ako postoje realni brojevi m,M > 0 tako da za svaki

x ∈ X vrijedi

m · ‖x‖ ≤ ‖x‖′ ≤M · ‖x‖.

Teorem 2.4 Norma ‖x‖2 i ‖x‖∞ su me�usobno ekvivlentne.

Dokaz. (Vidi [6]) Dokaºimo da vrijede nejednakosti

‖x‖∞ ≤ ‖x‖2 ≤√n‖x‖∞. (7)

O£ito je

|xi| =√x2i ≤

√√√√ n∑j=1

x2j = ‖x‖2,

odakle slijedi prva nejednakost.Drugu dobivamo na sljede¢i na£in:

‖x‖2 =

√√√√ n∑j=1

x2j ≤

√√√√ n∑j=1

(maxjx2j)

2 =√n‖x‖2∞ =

√n‖x‖∞.

Stoga vrijedi (7), pa za norme ‖ · ‖2 i ‖ · ‖∞ kaºemo da su ekvivalentne. 2

Teorem 2.5 Norma ‖x‖1 i ‖x‖2 su me�usobno ekvivlentne.

Dokaz.(Vidi [6]) Neka je x = (x1, . . . , xn) ∈ Rn. Kako je ‖x‖1 = |x1| + · · · + |xn|i ‖x‖2 =

√x21 + · · ·+ x2n, prema aritmeti£ko-geometrijskoj nejednakosti za brojeve

|xi| ≥ 0 (vidi [9]) dobivamo

|x1|+ · · ·+ |xn|n

≤√|x1|2 + · · ·+ |xn|2

n

odakle dobivamo‖x‖1 ≤

√n‖x‖2. (8)

Obratno,

(|x1|+ · · ·+ |xn|)2 = |x1|2 + · · ·+ |xn|2 + 2|x1||x2|+ · · ·+ 2|xn−1||xn|≥ x21 + · · ·+ x2n,

tj.(‖x‖1)2 ≥ ‖x‖22.

Korjenovanjem dobivamo‖x‖1 ≥ ‖x‖2 (9)

Pokazali smo da ∀x ∈ Rn vrijedi ‖x‖2 ≤ ‖x‖1 ≤√n‖x‖2, pa iz (8) i (9) slijedi da su

‖x‖1 i ‖x‖2 ekvivalentne. 2

10

Teorem 2.6 Norma ‖x‖∞ i ‖x‖1 su me�usobno ekvivlentne.

Dokaz.(Vidi [6]) Znamo da je ‖x‖∞ = max{|x1|, . . . |xn|}. Slijedi

|xi| =√x2i ≤

√√√√ n∑j=1

x2j = ‖x‖2 ≤ ‖x‖1. (10)

‖x‖2 =

√√√√ n∑j=1

x2j =

√√√√ n∑j=1

|xj|2 ≤

√√√√ n∑j=1

(maxjx2j)

2 =√n‖x‖2∞ =

√n‖x‖∞.

Iz (8) slijedi‖x‖1 ≤

√n‖x‖2 ≤

√n ·√n‖x‖∞ = n · ‖x‖∞. (11)

Iz (10) i (11) slijedi da su norme ‖ · ‖∞ i ‖ · ‖1 me�usobno ekvivalentne. 2

Primijetimo da svaki x ∈ Rn \ {0}, te p ≥ 1, vrijedi

‖x‖p = ‖x‖∞

(m∑i=1

(|xi|‖x‖∞

)p)1/p

,

odakle slijedi da je‖x‖∞ ≤ ‖x‖p ≤ n1/p‖x‖∞. (12)

Prema tome ‖ · ‖∞ norma ekvivalentna je sa svakom ‖ · ‖p normom. Osim toga iznejednakosti (12) slijedi da je

limp→∞‖x‖p = ‖x‖∞.

De�nicija 2.5 Jedini£na kuglina ljuska (sfera) sa sredi²tem u O ∈ Rn u normi ‖ · ‖de�niramo na sljede¢i na£in

∂Kn = {x ∈ Rn: ‖x‖ = 1}.

Jedini£ne kugline ljuske za n = 2 i norme ‖ · ‖1,‖ · ‖2 i ‖ · ‖∞ prikazane su na slici 1.

Slika 1. Jedini£ne kugle za norme ‖ · ‖1,‖ · ‖2 i ‖ · ‖∞

11

Promatrajmo euklidski n-dimenzionalni prostor

Rn = {(x1, . . . , xn) : xi ∈ R, i = 1, . . . , n}

i njegov podskup K.

De�nicija 2.6 Kaºemo da je podskup K konveksan ako za bilo koje dvije to£ke x, y ∈ Kvrijedi

αx+ (1− α)y ∈ K, 0 ≤ α ≤ 1.

De�nicija 2.7 Za funkciju f de�niranu na konveksnom skupu K kaºemo da je ko-

nveksna ako za svaki x, y ∈ K i svako α, 0 ≤ α ≤ 1 vrijedi

f(αx+ (1− α)y) ≤ αf(x) + (1− α)f(y).

Teorem 2.7 Neka je Rn normirani vektorski prostor. Tada je preslikavanje

‖ · ‖p : Rn → [0,∞], 1 ≤ p <∞ de�nirano na Rn konveksna funkcija na Rn.

Dokaz. (vidi [12]) ∀x, y ∈ Rn i λ ∈ [0, 1] ⊆ R iz nejednakosti trokuta slijedi:

‖λx− (1− λ)y‖p ≤ ‖λx‖p + ‖(1− λ)y‖p= |λ|‖x‖p + |(1− λ)|‖y‖p= λ‖x‖p + (1− λ)‖y‖p.

2

Primjedba 2.1 Moºe se lako vidjeti da funkcija Fp:Rn → [0,∞〉 zadana s Fp(x) =

(∑n

i=1 |xi|p)1p , 0 < p < 1 nije norma na Rn. Primjerice, ako uzmemo p = 1

2, te

x = (1, 2), y = (2, 1) onda je Fp(x + y) = 12, dok je Fp(x) + Fp(y) = 6 + 4√2 pa nije

zadovoljena nejednakost trokuta.

Na slici 2. prikazane su jedini£ne kugle za funkciju Fp, p = 12, 13.

Slika 2. Jedini£ne kugle za funkciju Fp, p =12, 13

12

3. Problem linearne aproksimacije

Zadana je matrica A ∈ Rm×n te vektor b ∈ Rm. Sukladno poznatom Kronecker-Capellijevom teoremu (vidi [5]) sustav linearnih jednadºbi Ax = b ima rje²enje onda isamo onda ako je rang matrice A jednak rangu pro²irene matrice [A, b]. Ako je brojjednadºbi ve¢i od broja nepoznanica onda obi£no nije zadovoljen uvjet spomenutogteorema. U tom slu£aju kaºemo da je sustav Ax = b preodre�en pa je umjesto njegovogrje²avanja smisleno rje²avati sljede¢i problem:

Treba odrediti vektor x ∈ Rn takav da je

‖Ax− b‖p → minx, 1 ≤ p <∞. (13)

Problem (13) zovemo problem linearne aproksimacije u p-normi.

Razmatrat ¢emo slu£ajeve kada je p = 1, p = 2 i p = ∞, koji su u literaturi redompoznati pod nazivom problemi najmanjih apsolutnih udaljenosti (eng. least absolute de-viation LAD), problemi najmanjih kvadrata (eng. least square LS), te problemi najmanje

maksimalne udaljenosti (eng. least maximal deviation LMD).

3.1. Problem najmanjih kvadrata

U ovom odjeljku govorit ¢emo o matri£nom problemu najmanjih kvadrata. Pokazat¢emo da ako matrica sustava A ima linearno nezavisne stupce onda je rje²enje problemanajmanjih kvadrata jedinstveno.

Neka je zadan preodre�eni sustav Ax = b od m jednadºbi s n nepoznanica, pri £emuje m > n. Kako za normu vektora x vrijedi ‖x‖22 = xTx, problem najmanjih kvadrata

‖Ax− b‖22 → minx

moºemo zapisati kao(Ax− b)T (Ax− b)→ min

x.

Uvedimo sada oznaku

Q(x) = ‖Ax− b‖22 = (Ax− b)T (Ax− b)= xTATAx− bTAx− xTAT b+ bT b

= xTBx− 2xT c+ β (14)

gdje jeB = ATA, c = AT b, β = ‖b‖22.

U jednodimenzionalnom slu£aju ideju za postupak daje: ako su x, B, c i β realnibrojevi, tada je Q(x) = Bx2 − 2xc + β kvadratna parabola £iji se minimum nalazi u

13

to£kix =

c

B, B 6= 0.

U vi²edimenzionalnom slu£aju tome odgovara

x = B−1c, uz uvjet da je matrica B regularna,

pa je x rje²enje sustavaBx = c

odnosnoATAx = AT b.

Ovaj sustav jednadºbi zove se sustav normalnih jednadºbi.

Sada ¢emo pokazati da je u slu£aju kada je matrica A punog ranga rje²enje sustavanormalnih jednadºbi ujedno rje²enje problema najmanjih kvadrata.

Teorem 3.1 Neka su stupci matrice A linearno nezavisni, odnosno rang(A) = n.

Tada je rje²enje x problema najmanjih kvadrata Q(x) → min ujedno i jedinstveno

rje²enje normalne jednadºbe ATAx = AT b.

Dokaz. (Vidi [11]) Neka je y bilo koji n-dimenzionalni vektor i neka je h = y − x.Tada je prema (14)

Q(x) = yTBy − 2yT c+ β

= (x+ h)TB(x+ h)− 2(x+ h)T c+ β

= xTBx+ hTBx+ xTBh+ hTBh− 2xT c− 2hT c+ β.

Kako je Bx = c, to jehTBx = hT c,

zbog BT = (ATA)T = B vrijedi

xTBh = (xTBh)T = hTBTx = hTBx = hT c.

Uvrstimo li dobiveno u Q(y) imamo

Q(y) = xTBx+ hTBh− 2xT c+ β = Q(x) + hTBh.

Pokaºimo da je izraz hTBh ve¢i ili jednak od nule. Zaista

hTBh = hTATAh = (Ah)TAh = ‖Ah‖22 ≥ 0,

odakle jeQ(y) ≥ Q(x),

14

tj. vrijednost Q(x) je najmanja mogu¢a.Pokaºimo jo² da je rje²enje x jedinstveno. Ako je

Q(y) = Q(x), x 6= y,

tada je ‖Ah‖2 = 0. No tada je i Ah = 0, ²to skupa s h = y − x 6= 0 zna£i da su stupcimatrice A linearno zavisni, ²to je kontradikcija. 2

Primjetimo da su vektori Ax i Ax− b me�usobno okomiti:

(Ax) · (Ax− b) = (Ax)T (Ax− b) = xTAT (Ax− b) = 0.

Geometrijski to zna£i da je vektor Ax ortogonalna projekcija vektora b na skup {Ay :

y proizvoljan}. Nadalje, vektori Ax, b i Ax− b tvore pravokutni trokut s hipotenuzomb.

Slika 3. Geometrijska interpretacija najmanjih kvadrata

Rje²enje problema najmanjih kvadrata zove se jo² i kvadrati£na prilagodba sustavu Ax =

b u smislu najmanjih kvadrata. Kvalitetu prilagodbe mjerimo s:

q =‖Ax− b‖2‖b‖2

.

Iz £injenice da je b hipotenuza pravokutnog trokuta sa stranicama Ax, Ax−b i b slijedida je q uvijek izme�u 0 i 1. Ukoliko je q = 0 prilagodba je najbolja mogu¢a, odnosnox je to£no rje²enje sustava Ax = b. Ukoliko je q mali, prilagodba je dobra, a ukoliko jeq blizu jedan, prilagodba je lo²a.

Ako je rang(A) < n onda A ima nerivijalan nulprostor i rje²enje problema najmanjihkvadrata nije jedinstveno. Ako je x partikularno rje²enje problema najmanjih kvadrataonda je skup svih rje²enja najmanjih kvadrata S = {x = x + z : z ∈ N (A)}. Akoje x ⊥ N (A) onda ‖x‖22 = ‖x‖22 + ‖z‖22, i stoga je x jedinstveno rje²enje najmanjihkvadrata minimalne norme.

Sustav normalnih jednadºbi nije numeri£ki stabilan na£in pa umjesto njega koristimoQR faktorizaciju ili rastav singularnih vrijednosti (SVD - singular value decomposition)(vidi [2]).

15

3.2. Problem najmanjih apsolutnih udaljenosti

Neka su A ∈ Rm×n te vektor b ∈ Rm. Treba odrediti vektor x ∈ Rn takav da je

‖Ax− b‖1 → minx. (15)

Kao sto smo ve¢ rekli problem (15) zovemo problem najmanjih apsolutnih udaljenosti(eng. least absolute deviation � LAD problem).

Neka je

‖Ax− b‖1 = ‖r(x)‖1 =m∑i=1

|ri|, ri := ri(x).

Uvedimo nove varijable ui, vi ≥ 0 tako da je ri = ui − vi, i = 1, . . . ,m te cj, dj ≥ 0

sa svojstvom xj = cj − dj, j = 1, . . . , n. Neka su u, v ∈ Rm, c, d ∈ Rn, te ozna£imo se = (1, . . . , 1)T ∈ Rm. Promatramo sljede¢i problem linearnog programiranja:

m∑i=1

(ui + vi) = eTu+ eTv + 0T c+ 0Td → minu,v,c,d

−u+ v + A(c− d) = b

u, v, c, d ≥ 0,

odnosno, u matri£nom obliku

(eT , eT , 0T , 0T )

uvcd

→ minu,v,c,d

(−I I A − A)

uvcd

= b (16)

u, v, c, d ≥ 0.

Uo£imo da za svaki i ∈ {1, . . . ,m} varijable ui i vi u sustavu uvjeta (16) stoje uzdva linearno zavisna stupca matrice (−I I A − A) pa oba ne mogu istovremeno bitibazi£ne dopustive varijable, odnosno mora vrijediti uivi = 0, i = 1, . . . ,m. Prematome |ui− vi| = ui + vi, i = 1, . . . ,m, ²to zna£i da je problem linearnog programiranja(16) ekvivlanetan LAD problemu (15).

16

3.3. Problem najmanjih maksimalnih apsolutnih odstupanja

Problem najmanjih maksimalnih apsolutnih odstupanja (eng. least maximal deviations-LMD problem) glasi:Neka su A ∈ Rm×n, £iji su retci aTi , i = 1, . . . ,m te b ∈ Rm, £ije su komponente realnibrojevi bi, i = 1, . . . ,m. Treba odrediti vektor x ∈ Rn takav da je

‖Ax− b‖∞ = maxi=1,...,m

|aTi x− bi| → minx. (17)

Ovaj problem mogu¢e je zapisati i rje²avati kao problem linearnog programiranja (vidi[1]). Ozna£imo u tu svrhu s

z = maxi=1,...,m

|aTi x− bi|.

Pripadni problem linearnog programiranja glasi

z → min

uz uvjete

aTi x− bi ≤ z,

−aTi x+ bi ≤ z, i = 1, 2, . . . ,m.

17

4. Numeri£ki primjeri

Primjer 4.1

Uzmimo pravac y = 2t + 4. Uniformno generirajmo 20 realnih brojeva na [−5, 5] teneka su to apscise podataka ti. Za ordinate podataka yi uzmimo yi = 2ti + 4 + εi,εi ∼ N (0, 1). Za tako dobivene podatke (ti, yi) primjenit ¢emo sve tri metode iz po-glavlja 3. Dobivene rezultate usporedit ¢emo s polaznim pravcem te obrazloºiti kojametoda daje bolju rekonstrukciju.

Za postupak uniformnog generiranja podataka koristimo programski paket Mathema-

tica, te dobivamo sljede¢e podatke:

t -4.34261 -3.8858 -3.12197 -2.91949 -2.88174 -2.68845 -2.58639y -3.96564 -3.01661 -2.60757 -3.33341 -1.1799 -2.61774 -2.42135t -2.52505 -2.0713 -1.03994 -0.771494 0.422466 0.780562 2.00474y -1.87882 0.415544 2.92064 2.88737 3.69865 4.34595 10.7292t 2.48657 2.89526 3.17389 3.25163 4.25275 4.77172y 9.65817 9.84217 9.02329 10.8531 12.3298 12.3076

Tablica 4.1.

Za podatke (ti, yi), i = 1, . . . , r iz tablice 4.1. treba odrediti pravac s jednadºbomy = kt + l, k, l ∈ R koji u nekom smislu najbolje aproksimira dane podatke. Pro-blem najmanjih kvadrata rje²ava se preko sustava normalnih jednadºbi dok LAD iLMD problem svodimo na problem linearnog programiranja i primjenimo naredbuLinearProgramming.

Rje²avaju¢i dane probleme dobivamo sljede¢e pravce:

LS pravac: y = 3.87822 + 1.99681t

LAD pravac: y = 4.26724 + 1.89584t

LMD pravac: y = 4.62538 + 2.02789t

Na sljede¢im slikama prikazani su podaci, polazni pravac te jedan od pravaca LS, LADili LMD.

Slika 4.1. a) To£ke i pravci (LS-crveni i po£etni pravac-zeleni)

18

Slika 4.1. b) To£ke i pravci (LAD-crni i po£etni pravac-zeleni)

Slika 4.1. c) To£ke i pravci (LMD-ljubi£asti i po£etni pravac-zeleni)

Kako se radi o normalnoj distribuciji, uzmemo li za standardnu devijaciju npr. σ = 0.2

dobiveni pravci se dobro poklapaju s polaznim pravcem y = 2t+4 (vidi sliku 4.1. d)),dok za standardnu devijaciju σ = 3 dobivamo slu£aj kao na slici 4.1. e).

Slika 4.1. d) To£ke i pravci sa standardnom devijacijom σ = 0.2

Slika 4.1. e) To£ke i pravci sa standardnom devijacijom σ = 3

19

Ako je y = kt + l originalni pravac, a y = k∗t + l∗ neka njegova rekonstrukcija, ondamoºemo smatrati da je bolja ona rekonstrukcija za koju je veli£ina

‖(k, l)− (k∗, l∗)‖2 (18)

manja.

Primjenom (18) dobivamo sljede¢e rezultate:

LS: ‖(1.99681, 3.87822)− (2, 4)‖2 = 0.121822

LAD: ‖(1.89584, 4.26724)− (2, 4)‖2 = 0.286822

LMD: ‖(2.02789, 4.62538)− (2, 4)‖2 = 0.626002

odakle moºemo zaklju£iti da najbolje rje²enje daje metoda najmanjih kvadrata.

Ilustrirajmo osjetljivost pravaca na str²e¢e podatke, tzv. outliere. Poznato je da je pra-vac dobiven primjenom pristupa 2, odnosno LAD najneosjetljiviji na str²e¢e podatke,dok je pravac dobiven pristupom 3, odnosno LMD najosjetljiviji na outliere. Ilustrirat¢emo to tako da podatak (4.77172, 12.3076) zamijenimo s podatkom (4.77172, 2). Zanove podatke dobivamo sljede¢e pravce:

LS pravac: y = 3.28847 + 1.68659t

LAD pravac: y = 4.26724 + 1.89584t

LMD pravac: y = 4.0359 + 0.693442t

Na sljede¢im slikama prikazani su podaci, polazni pravac te jedan od novo dobivenihpravaca LS, LAD ili LMD.

Slika 4.1. f) To£ke i pravci (LS-crveni i po£etni pravac-zeleni)

20

Slika 4.1. g) To£ke i pravci (LAD-crni i po£etni pravac-zeleni)

Slika 4.1. h) To£ke i pravci (LMD-ljubi£asti i po£etni pravac-zeleni)

Rekonstruirajmo rje²enje u ovom slu£aju. Odredimo li normu (18) za nove (k∗, l∗)

dobivamo sljede¢e rezultate:

LS: 0.777496

LAD: 0.286822

LMD: 1.30705

Iz dobivenih rezultata moºemo vidjeti da nam najbolje rje²enje u ovom slu£aju dajeLAD, dok LMD daje najlo²ije rje²enje.

21

Primjer 4.2

Zadana je parabola y = t2 + 2t + 1. Uniformno generirajmo 20 realnih brojevana [−5, 5] te neka su to apscise podataka ti. Za oridinate podataka yi treba uzetiyi = t2i +2ti+1+εi, εi ∼ N (0, 1). Za tako dobivene podatke (ti, yi) primjenit ¢emo svetri metode iz poglavlja 3. Usporedit ¢emo dobivene rezultate s polaznom parabolom iobrazloºiti koja metoda daje bolju rekonstrukciju.



t -4.34261 -3.8858 -3.12197 -2.91949 -2.88174 -2.68845 -2.58639y 11.8926 9.08286 4.13912 2.19001 4.12453 1.61005 1.26807t -2.52505 -2.0713 -1.03994 -0.771494 0.422466 0.780562 2.00474y 1.49706 1.70584 1.00212 0.482568 0.877131 1.95523 11.7481t 2.48657 2.89526 3.17389 3.25163 4.25275 4.77172y 12.8412 15.2247 16.0969 18.4262 27.4157 32.0769

Tablica 4.2.

Za dane podatke (ti, yi), i = 1, . . . , r iz tablice 4.2. treba odrediti parabolu s jednadº-bom y = at2+bt+c, a, b, c ∈ R koja u nekom smislu najbolje aproksimira dane podatke.Problem najmanjih kvadrata rje²ava se preko sustava normalnih jednadºbi dok LADi LMD problem svodimo na problem linearnog programiranja i primjenimo naredbuLinearProgramming.

Rje²avaju¢i dane probleme dobivamo sljede¢e parabole:

LS parabola: y = 1.00664 + 2.00202t+ 0.98483t2

LAD parabola: y = 1.35937 + 1.9028t+ 0.993269t2

LMD parabola: y = 1.95435 + 2.18106t+ 0.942662t2

Na sljede¢im slikama prikazani su podaci, polazna parabola i LS, LAD ili LMD para-bola.

Slika 4.2. a) To£ke i parabole (LS-crvena i po£etna parabola-zelena)

22

Slika 4.2. b) To£ke i parabole (LAD-crna i po£etna parabola-zelena)

Slika 4.2. c) To£ke i pravci (LMD-ljubi£asta i po£etna parabola-zelena)


dobivene parabole izgledaju kao na slici 4.2. d), dok za standardnu devijaciju σ = 3

dobivamo slu£aj kao na slici 4.2. e).

Slika 4.2. d) To£ke i parabole sa standardnom devijacijom σ = 0.2

23

Slika 4.2. e) To£ke i parabole sa standardnom devijacijom σ = 1

Ako je y = at2 + bt+ c originalna parabola, a y = a∗t2 + b∗t+ c∗ neka njezina rekons-trukcija, onda moºemo smatrati da je bolja ona rekonstrukcija za koju je veli£ina

‖(a, b, c)− (a∗, b∗, c∗)‖2 (19)

manja.


LS: 0.0166843

LAD: 0.372343

LMD: 0.973069

odakle moºemo vidjeti da metoda najmanjih kvadrata daje najbolje rje²enje.

Ilustrirajmo osjetljivost parabole na str²e¢e podatke, tzv. outliere. Poznato je da jeparabola dobivena primjenom pristupa 2, odnosno LAD najneosjetljivija na str²e¢epodatke, dok je parabola dobivena pristupom 3, odnosno LMD najosjetljivija na outli-ere. Ilustrirat ¢emo to tako da podatak (4.77172, 32.0769) zamijenimo s podatkom(4.77172, 9). Za nove podatke dobivamo sljede¢e parabole:

LS parabola: y = 3.04581 + 1.44394t+ 0.587995t2

LAD parabola: y = 1.35937 + 1.9028t+ 0.993269t2

LMD parabola: y = 9.70405 + 1.80702t+ 0.0116715t2

24

Na sljede¢im slikama prikazani su podaci, polazna parabola te jedna od novo dobivenihparabola LS, LAD ili LMD.

Slika 4.2. f) To£ke i pravci (LS-crveni i po£etni pravac-zeleni)

Slika 4.2. g) To£ke i pravci (LAD-crni i po£etni pravac-zeleni)

Slika 4.2. h) To£ke i pravci (LMD-ljubi£asti i po£etni pravac-zeleni)

Rekonstruirajmo rje²enje u ovom slu£aju. Odredimo li normu (19) za na nove (a∗, b∗, c∗)dobivamo sljede¢e rezultate:

LS: 2.15969

LAD: 0.372343

LMD: 8.76211


25

Primjer 4.3

Zadan je pravac y = 2t + 4. Uniformno generirajmo 20 realnih brojeva na [−5, 5] teneka su to apscise podataka ti. Za oridinate podataka yi treba uzeti yi = 2ti + 4 + εi,gdje εi imaju Laplaceovu distribuciju s varijancom 1. Za tako dobivene podatke (ti, yi)primijenit ¢emo sve tri metode iz poglavlja 3. Usporedit ¢emo dobivene rezultate spolaznim pravcem i obrazloºiti koja metoda daje bolju rekonstrukciju.



t -4.34261 -3.8858 -3.12197 -2.91949 -2.88174 -2.68845 -2.58639y -4.50974 -5.12779 -2.73356 -1.28729 -2.01045 -0.355441 -1.60248t -2.52505 -2.0713 -1.03994 -0.771494 0.422466 0.780562 2.00474y -0.84367 -0.104334 0.835489 2.40058 5.79768 1.81762 7.55338t 2.48657 2.89526 3.17389 3.25163 4.25275 4.77172y 9.83971 6.05898 10.1026 10.4175 12.4196 14.1505

Tablica 4.3.

Za dane podatke (ti, yi), i = 1, . . . , r iz tablice 4.3. treba odrediti pravac s jednadº-bom y = kt + l, k, l ∈ R koji u nekom smislu najbolje aproksimira dane podatke.Problem najmanjih kvadrata rje²ava se preko sustava normalnih jednadºbi dok LADi LMD problem svodimo na problem linearnog programiranja i primjenimo naredbuLinearProgramming.


LS pravac: y = 3.60838 + 1.94982t

LAD pravac: y = 3.93794 + 1.99271t

LMD pravac: y = 2.62974 + 1.95825t


Slika 4.3. a) To£ke i pravci (LS-crveni i po£etni-zeleni)

26

Slika 4.3. b) To£ke i pravci (LAD-crni i po£etni-zeleni)

Slika 4.3. c) To£ke i pravci (LMD-ljubi£asti i po£etni-zeleni)

Usporedimo sada dobivene pravce s polaznim pravcem. Kako se radi o podacima kojiimaju Laplaceovu distribuciju s varijancom 1 dobivamo slu£aj kao na slici 4.3. d), dokza podatke s varijancom 0.1 dobivamo slu£aj kao na slici 4.3. e).

Slika 4.3. d) To£ke i pravci s varijancom 1

Slika 4.3. e) To£ke i pravci s varijancom 0.1

27


‖(k, l)− (k∗, l∗)‖2

manja.


LS pravac: ‖(1.94982, 3.60838)− (2, 4)‖2 = 0.394823

LAD pravac: ‖(1.99271, 3.93794)− (2, 4)‖2 = 0.0624856

LMD pravac: ‖(1.95825, 2.62974)− (2, 4)‖2 = 1.3709


28

Primjer 4.4

Zadana je parabola y = t2 + 2t + 1. Uniformno generirajmo 20 realnih brojevana [−5, 5] te neka su to apscise podataka ti. Za oridinate podataka yi treba uzetiyi = t2i + 2ti + 1 + εi, gdje εi imaju Laplaceovu distribuciju s varijancom 1. Za takodobivene podatke (ti, yi) primijenit ¢emo sve tri metode iz poglavlja 3. Usporedit ¢emodobivene rezultate s polaznom parabolom i obrazloºiti koja metoda daje bolju rekons-trukciju.



t -4.34261 -3.8858 -3.12197 -2.91949 -2.88174 -2.68845 -2.58639y 11.3485 6.97168 4.01312 4.23613 3.29398 3.87235 2.08693t -2.52505 -2.0713 -1.03994 -0.771494 0.422466 0.780562 2.00474y 2.53222 1.18596 -1.08304 -0.00421727 2.97616 -0.573108 8.57235t 2.48657 2.89526 3.17389 3.25163 4.25275 4.77172y 13.0227 11.4415 17.1762 17.9906 27.5055 33.9198

Tablica 4.4.



LS parabola: y = 0.251575 + 1.93533t+ 1.04215t2

LAD parabola: y = 0.605925 + 1.97172t+ 1.02369t2

LMD parabola: y = 2.48645 + 1.63406t+ 1.04691t2

Na sljede¢im slikama prikazani su podaci, polazna parabola te jedna od parabola LS,LAD ili LMD.

Slika 4.4. a) To£ke i parabole (LS-crvena i po£etna-zelena)

29

Slika 4.4. b) To£ke i parabole (LAD-crna i po£etna-zelena)

Slika 4.4. c) To£ke i parabole (LMD-ljubi£asta i po£etna-zelena)

Usporedimo sada dobivene parabole s polaznom parabolom. Na slici 4.4. d) prikazanje slu£aj parabole s varijancom 1, dok je na slici 4.4. e) prikazan slu£aj parabole svarijancom 0.1

Slika 4.4. d) To£ke i parabole s varijancom 1

Slika 4.4. e) To£ke i parabole s varijancom 0.1

30


‖(a, b, c)− (a∗, b∗, c∗)‖2

manja.


LS parabola: 0.752395

LAD parabola: 0.395798

LMD parabola: 1.53155

odakle moºemo zaklju£iti kako nam najbolju rekonstrukciju daje LAD.

31

Primjer 4.5

Uzmimo pravac y = t+3. Uniformno generirajmo 20 realnih brojeva na [−4, 4] te nekasu to apscise podataka ti. Za ordinate podataka yi uzmimo yi = ti+3+εi, εi ∼ N (0, 1).Za tako dobivene podatke (ti, yi) primjenit ¢emo sve tri metode iz poglavlja 3. Do-bivene rezultate usporedit ¢emo s polaznim pravcem te obrazloºiti koja metoda dajebolju rekonstrukciju.

Za postupak uniformnog generiranja podataka koristimo programski paket Mathema-tica, te dobivamo sljede¢e podatke:

t -3.47409 -3.10864 -2.49757 -2.33559 -2.30539 -2.15076 -2.06911y 0.245496 0.64635 0.138795 -0.830022 1.27819 -0.391598 -0.31768t -2.02004 -1.65704 -0.831951 -0.617195 0.337973 0.624449 1.60379y 0.151238 1.90111 3.16857 2.81316 2.19169 2.40928 7.32347t 1.98926 2.31621 2.53912 2.6013 3.4022 3.81737y 5.67429 5.36786 4.21462 5.95113 6.22645 5.58158

Tablica 4.5.



LS pravac: y = 2.87822 + 0.996011t

LAD pravac: y = 3.26724 + 0.869794t

LMD pravac: y = 3.62538 + 1.03486t



32



Kako se radi o normalnoj distribuciji, uzmemo li za standardnu devijaciju σ = 1

dobivamo slu£aj kao na slici 4.5. d), dok za σ = 0.2 pravci se dobro poklapaju spolaznim pravcem y = t+ 3 kao ²to je prikazano na slici 4.5. e).

Slika 4.5. d) To£ke i pravci sa standardnom devijacijom σ = 1

Slika 4.5. e) To£ke i pravci sa standardnom devijacijom σ = 0.2

33


‖(k, l)− (k∗, l∗)‖2

manja.

Primjenom (18) dobivamo slijede¢e rezultate:

LS 0.121845

LAD 0.297272

LMD 0.626352

Iz dobivenih rezultata moºemo zaklju£iti da najbolje rje²enje daje metoda najmanjihkvadrata.

Ilustrirajmo osjetljivost pravaca na str²e¢e podatke, tzv.outliere. Poznato je da je pra-vac dobiven primjenom pristupa 2, odnosno LAD najneosjetljiviji na str²e¢e podatke,dok je pravac dobiven pristupom 3, odnosno LMD najosjetljiviji na outliere. Ilustrirat¢emo to tako ²to ¢emo podatak (3.81737, 5.58158) zamijeniti podatkom (3.81737, 1).Za nove podatke dobivamo sljede¢e pravce:

LS pravac: y = 2.61609 + 0.823654t

LAD pravac: y = 3.26724 + 0.869794t

LMD pravac: y = 3.35555 + 0.297421t

Na sljede¢im slikama prikazani su podaci i novodobiveni pravci:

Slika 4.5. f) To£ke i pravci (LS-crveni i po£etni-zeleni)

34

Slika 4.5. g) To£ke i pravci (LAD-crni i po£etni-zeleni)

Slika 4.5. h) To£ke i pravci (LMD-ljubi£asti i po£etni-zeleni)

Rekonstruirajmo rje²enje u ovom slu£aju. Odredimo li normu (18) za na nove (k∗, l∗)

dobivamo sljede¢e rezultate:

LS 0.422479

LAD 0.297272

LMD 0.787422

Iz dobivenih rezultata moºemo zaklju£iti da najbolje rje²enje daje LAD.

35

Primjer 4.6

Uzmimo pravac y = t+3. Uniformno generirajmo 20 realnih brojeva na [−4, 4] te nekasu to apscise podataka ti. Za ordinate podataka yi uzmimo yi = ti + 3 + εi, gdje εiimaju Laplaceovu distribuciju s varijancom 1. Za tako dobivene podatke (ti, yi) primje-nit ¢emo sve tri metode iz poglavlja 3. Dobivene rezultate usporedit ¢emo s polaznimpravcem te obrazloºiti koja metoda daje bolju rekonstrukciju.


t -3.47409 -3.10864 -2.49757 -2.33559 -2.30539 -2.15076 -2.06911y -0.298606 -1.46483 0.0127979 1.2161 0.447637 1.87071 0.501186t -2.02004 -1.65704 -0.831951 -0.617195 0.337973 0.624449 1.60379y 1.18639 1.38123 1.08342 2.32637 4.29072 -0.119059 4.14769t 1.98926 2.31621 2.53912 2.6013 3.4022 3.81737y 5.85582 1.58467 5.29392 5.51553 6.31631 7.42441

Tablica 4.6.



LS pravac: y = 2.60838 + 0.937281t

LAD pravac: y = 2.93794 + 0.990884t

LMD pravac: y = 1.62974 + 0.947808t



36



Na slici 4.6. d) prikazani su to£ke i pravci s varijancom 1, dok su podaci s varijancom0.2 i dobiveni pravci prikazani na slici 4.6.e).


Slika 4.6. e) To£ke i pravci svarijancom 0.2

37

Ako je y = kt+ l originalni pravac, a y = k∗t+ l∗ neka njegova rekonstrukcija, ondamoºemo smatrati da je bolja ona rekonstrukcija za koju je veli£ina

‖(k, l)− (k∗, l∗)‖2

manja.

Primjenom (18) dobivamo slijede¢e rezultate:

LS 0.396612

LAD 0.0627245

LMD 1.37126

Iz dobivenih rezultata moºemo zaklju£iti da najbolje rje²enje daje LAD.

38

Primjer 4.7

Zadana je parabola y = 3t2 + 2t + 1. Uniformno generirajmo 20 realnih brojevana [−4, 4] te neka su to apscise podataka ti. Za oridinate podataka yi treba uzetiyi = 3t2i + 2ti + 1 + εi, εi ∼ N (0, 1). Za tako dobivene podatke (ti, yi) primjenit ¢emosve tri metode iz poglavlja 3. Usporedit ¢emo dobivene rezultate s polaznom parabo-lom i obrazloºiti koja metoda daje bolju rekonstrukciju.


t -3.47409 -3.10864 -2.49757 -2.33559 -2.30539 -2.15076 -2.06911y 30.9793 24.5287 14.3549 11.1993 12.9173 9.33499 8.45688t -2.02004 -1.65704 -0.831951 -0.617195 0.337973 0.624449 1.60379y 8.3729 6.48143 2.41305 1.33875 0.872344 2.20354 14.6437t 1.98926 2.31621 2.53912 2.6013 3.4022 3.81737y 17.535 21.7785 24.0951 26.8528 42.3536 51.116

Tablica 4.7.



LS parabola: y = 1.00664 + 2.00253t+ 2.9763t2

LAD parabola: y = 1.35937 + 1.8785t+ 2.98948t2

LMD parabola: y = 1.95435 + 2.22632t+ 2.91041t2

Na sljede¢im slikama prikazani su podaci, polazna parabola i LS, LAD ili LMD para-bola.

Slika 4.7. a) To£ke i parabola (LS-crvena i po£etna parabola-zelena)

39

Slika 4.7. b) To£ke i parabola (LAD-crna i po£etna parabola-zelena)

Slika 4.7. c) To£ke i parabola (LMD-ljubi£asta i po£etna parabola-zelena)


dobivamo slu£aj kao na slici 4.7. d), dok za standardnu devijaciju σ = 3 dobivamoslu£aj kao na slici 4.7. e).

Slika 4.7. d) To£ke i parabole sa standardnom devijacijom σ = 0.2

40

Slika 4.7. e) To£ke i parabole sa standardnom devijacijom σ = 3


‖(a, b, c)− (a∗, b∗, c∗)‖2

manja.


LS: 0.0247462

LAD: 0.379499

LMD: 0.984907

Iz dobivenih rezultata moºemo vidjeti da metoda najmanjih kvadrata daje najboljerje²enje.

Ilustrirajmo osjetljivost parabole na str²e¢e podatke, tzv. outliere. Poznato je daje parabola dobivena primjenom pristupa 2, odnosno LAD najneosjetljivija na str-²e¢e podatke, dok je parabola dobivena pristupom 3, odnosno LMD najosjetljivija naoutliere. Ilustrirat ¢emo to tako da podatak (3.81737, 51.116) zamijenimo s podatkom(3.81737, 14). Za nove podatke dobivamo sljede¢e parabole:

LS parabola: y = 4.28635 + 0.880529t+ 1.97903t2

LAD parabola: y = 1.35937 + 1.8785t+ 2.98948t2

LMD parabola: y = 15.2788 + 1.69016t+ 0.501234t2

41

Na sljede¢im slikama prikazani su podaci, polazna parabola te jedna od novo dobivenihparabola LS, LAD ili LMD.

Slika 4.7. f) To£ke i parabola (LS-crveni i po£etni pravac-zeleni)

Slika 4.7. g) To£ke i parabola (LAD-crni i po£etni pravac-zeleni)

Slika 4.7. h) To£ke i parabola (LMD-ljubi£asti i po£etni pravac-zeleni)

Rekonstruirajmo rje²enje u ovom slu£aju. Odredimo li normu (19) dobivamo sljede¢erezultate:

LS: 3.6188

LAD: 0.379499

LMD: 14.4991


42

Primjer 4.8

Zadana je parabola y = 3t2 + 2t + 1. Uniformno generirajmo 20 realnih brojevana [−4, 4] te neka su to apscise podataka ti. Za oridinate podataka yi treba uzetiyi = t2i + 2ti + 1 + εi, gdje εi imaju Laplaceovu distribuciju s varijancom 1. Za takodobivene podatke (ti, yi) primijenit ¢emo sve tri metode iz poglavlja 3. Usporedit ¢emodobivene rezultate s polaznom parabolom i obrazloºiti koja metoda daje bolju rekons-trukciju.



t -3.47409 -3.10864 -2.49757 -2.33559 -2.30539 -2.15076y 30.4352 22.4175 14.2289 13.2455 12.0867 11.5973-2.06911 -2.02004 -1.65704 -0.831951 -0.617195 0.337973 0.6244499.27575 9.40806 5.96155 0.327894 0.851966 2.97137 -0.3247991.60379 1.98926 2.31621 2.53912 2.6013 3.4022 3.8173711.4679 17.7165 17.9953 25.1744 26.4172 42.4434 52.9588

Tablica 4.8.



LS parabola: y = 0.251575 + 1.91917t+ 3.06585t2

LAD parabola: y = 0.605925 + 1.96465t+ 3.03702t2

LMD parabola: y = 2.48645 + 1.54258t+ 3.0733t2

Na sljede¢im slikama prikazani su podaci, polazna parabola te jedna od parabola LS,LAD ili LMD.

Slika 4.8. a) To£ke i parabole (LS-crvena i po£etna-zelena)

43

Slika 4.8. b) To£ke i parabole (LAD-crna i po£etna-zelena)

Slika 4.8. c) To£ke i parabole (LMD-ljubi£asta i po£etna-zelena)

Na slici 4.8. d) prikazan je slu£aj parabole s varijancom 1, dok je na slici 4.8. e)prikazan slu£aj parabole s varijancom 0.2


Slika 4.8. e) To£ke i pravci s varijancom 0.2

44


‖(a, b, c)− (a∗, b∗, c∗)‖2

manja.


LS parabola: 0.755653

LAD parabola: 0.397385

LMD parabola: 1.55697

odakle moºemo zaklju£iti kako nam najbolju rekonstrukciju daje LAD.

45

Literatura

[1] D. Bertsimas, J. N. Tsitsiklis, Introduction to linear optimization, Athena Scien-ti�c, Belmont, Massachusetts, 1997.

[2] A. Bjorck, Numerical problems for least square problems, Linkoping University,Linkoping, Sweden, 1996.

[3] B. Gulja², Predavanja - Metri£ki prostori, Osijek, 01.03.2010.

[4] P. Javor, Matemati£ka analiza 2, Element, Zagreb, 2000.

[5] D. Juki¢, R. Scitovski, Matematika I, Elektrotehni£ki fakultet, Osijek, 2000.

[6] S. Kurepa, Funkcionalna analiza - Elementi teorije operatora, �kolska knjiga, Za-greb, 1992.

[7] S. Marde²i¢, Matemati£ka analiza u n-dimenzionalnom vektorskom prostoru, �kol-ska knjiga, Zagreb, 1991.

[8] L. Nerali¢, Uvod u matemati£ko programiranje 1, Element, Zagreb, 2003.

[9] J. Pe£ari¢, Nejednakosti, Hrvatsko matemati£ko dru²tvo, Zagreb, 1996.

[10] R. Scitovski, Numeri£ka matematika, Odjel za matematiku Sveu£ili²ta u Osijeku,Osijek, 2004.

[11] I. Slapni£ar, Metoda najmanjih kvadrata i QR rastav, 2004.,http://www.fesb.hr/mat2/ls

[12] L. Vandenberghe, S. Boyd, Convex optimization, Cambrige University Press, NewYork, 2004.

[13] R. J. Vanderberi, Linear programming: Foundations and Extensions, Kluwer Aca-demic Publishers, Boston/Dordrecht/London, 2001.

46

Saºetak

U ovom diplomskom radu dajemo pregled metoda za rje²avanje problema najboljeaproksimacije u normiranom vektorskom prostoru. Pri tome problem rje²avamo u lpnormi, gdje je p = 1, 2,∞. Rad je podijeljen u 3 poglavlja: p−norme na Rn, Problemlinearne aproksimacije te Numeri£ki primjeri.U prvom poglavlju de�niramo vektorski prostor (Rn,+, ·). U vektorskom prostoru(Rn,+, ·) uvodimo funkciju (·|·):Rn × Rn → R koju nazivamo skalarni produkt. Sva-kom vektoru x ∈ Rn na jednozna£an na£in moºe se pridruºiti nenegativan realan broj‖x‖2 =

√(x|x). Funkciju ‖ · ‖2 : Rn → [0,+∞〉 nazivamo euklidskom normom na Rn.

Tako�er, promatramo specijalne funkcije ‖ · ‖p, ‖ · ‖∞ : Rn → [0,+∞〉, za p ≥ 1. Udrugom poglavlju analiziraju se problemi najbolje linearne aproksimacije u normira-nom prostoru. Najve¢u paºnju posvetilo se posljednjem tre¢em poglavlju £iji je naslovNumeri£ki primjeri, gdje se rje²avaju problemi linearne aproksimacije za p = 1, p = 2 ip =∞ uz pomo¢ programskog paketa Mathematica te se ilustriraju razlike u tri nave-dena pristupa. Posebno je nagla²ena razlika u rezultatima, ako se u komponenatamavektora b ∈ Rm pojavljuju str²e¢i podaci tzv. outlieri. U tom slu£aju pokazuje se da jemetoda najmanjih apsolutnih odstupanja najmanje osjetljiva dok je metoda najmanjihmaksimalnih udaljenosti najosjetljivija na takve podatke.

47

SummaryIn this paper we give an overview of methods for solving the best approximation pro-blems in normed vector space. We solve this problem in lp norms, where p = 1, p = 2

and p = ∞. The paper is divided into 3 chapters: p-norm on Rn, the linear approxi-mation problem and numerical examples.The �rst chapter de�nes a vector space (Rn,+, ·). In vector space (Rn,+, ·) we intro-duce a function (·|·):Rn × Rn → R called the dot product. Each vector x ∈ Rn in anunambiguous way, can join non-negative real number ‖x‖2 =

√(x|x). The function

‖·‖2 : Rn → [0,+∞〉 is called Euclidean norm of the vector space Rn. We also, observespecial functions ‖ · ‖p, ‖ · ‖∞ : Rn → [0,+∞〉, for p ≥ 1.The second chapter analyzes the best linear approximation problems in normed space.The most of the attention gets the last chapter, Numerical examples, where we solvethe problemsof linear approximations for p = 1, p = 2 and p =∞.Special emphasis is placed on the di�erence in results if the vector components b ∈ Rm

have the outliers. In this case, we show that the method of least absolute deviationisis the least sensitive method while the least maxmal deviation is most sensitive to suchdata.

48

�ivotopis

Aleksandra Jovi£i¢ ro�ena je 11. studenog 1985. godine u Slavonskom Brodu, Hr-vatska. Osnovnu ²kolu �Ðuro Pilar " u Slavonskom Brodu zavr²ava 2000. godine.Iste godine upisuje Tehni£ku ²kolu u Slavonskom Brodu, smjer tehni£ar cestovnog pro-meta. Srednju ²kolu zavr²ava 2004. godine, a 2005. godine upisuje se na Sveu£ili²te J.J. Strossmayera, Odjel za matematiku, Osijek, smjer matematika i informatika.

Documents

Aleksandra Jovi£i¢mdjumic/uploads/diplomski/JOV10.pdfpromatramo specijalne funkcije kk p;kk 1: Rn![0;+1i, za p 1 te pokazujemo da su te funkcije norme. U tu svrhu koriste se poznate