Nela Bosner Numericke metode ﬁnancijske matematikeˇnela/nmfmpredavanja/nmfm_predavanja.pdf · Interpolacija i aproksimacija splajnovima Diskretna Fourierova transformacija Numeriˇcko

Numerickemetode

financijskematematike

Nela Bosner

MATLAB

Sustavilinearnihjednadžbi

Problemsvojstvenihvrijednosti

Dekompozicijasingularnihvrijednosti

Problemnajmanjihkvadrata

Interpolacija iaproksimacijasplajnovima

DiskretnaFourierovatransformacija

Numerickorješavanjediferencijalnihjednadžbi

Numericke metode financijske matematikePredavanja

Nela Bosner

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi

Kontrola tokaprograma

Spremanje i citanjevarijabli u i izdatoteke

Dokumentacija








MATLAB

MATLAB je interaktivni programski jezik za tehnicko iznanstveno racunanje. U njemu su integrirani

racunanjevizualizacijaprogramiranje

u okolini koja je jednostavna za korištenje, u kojoj suproblemi i rješenja izraženi u standardnoj matematickojnotaciji.

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Matrice

U MATLAB-u matrica je pravokutno polje brojeva. Podimenzijama dijele se na:

m × n pravokutne ili n × n kvadratne matricen × 1 stupcani ili 1× n retcani vektor1× 1 skalar.

MATLAB omogucuje brz i jednostavan rad sa cijelimmatricama.

Unos matrica – po recima:elementi retka se razdvajaju prazninom ( ) ili zarezom(,)kraj retka se oznacava skakanjem u novi red (Enter) ilitockom-zarezom (;)cijela lista elemenata omedena je uglatim zagradama [ ]

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








PrimjerUnos u komandnom prozoru:

A = [16 3 2 13; 5 10 11 8; 9 6 7 12; 4 15 14 1]

Odmah nakon toga MATLAB ispisuje ono što smo upravounjeli:

A =16 3 2 135 10 11 89 6 7 124 15 14 1

Matrica A je sada spremljena u MATLAB-ovu radnumemoriju (Workspace) i sa ovim imenom može se koristiti umatricnim izrazima.Ovaj ispis može se dobiti kada se u komandnu liniju upiše A.

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Pristup elementima matrice:A(i,j) — element u i-tom retku i j-tom stupcuA(i:j,k:l) — podmatrica A(i , k) · · · A(i , l)

......

A(j , k) · · · A(j , l)

A(:,k:l) = A(1:n,k:l) — za matricu sa n redaka

Operator : definira retcani vektorpocetak : kraj — vektor s elementimapocetak pocetak+1 pocetak+2 · · · kraj

pocetak : korak : kraj — vektor s elementimapocetak pocetak+korak pocetak+2*korak · · · pocetak+i*korak

gdje je|pocetak+i*korak|≤|kraj|<|pocetak+(i+1)*korak|

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








PrimjerUnos u komandnom prozoru:

1:10

Ispis:

1 2 3 4 5 6 7 8 9 10

Unos u komandnom prozoru:

0:3:10

Ispis:

0 3 6 9

Ako se unos završi sa ; ispis se nece izvršiti.

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Izrazi

Varijable MATLAB ne zahtijeva deklaraciju tipavarijable ili dimenzija matrica.Kada se pojavi novo ime varijableautomatski se kreira varijabla i alociraodgovarajuca kolicina memorije. (A=· · · )Ako varijabla vec postoji mijenja se njensadržaj, ili ako je potrebno alocira se novamemorija.

Brojevi MATLAB koristi uobicajenu decimalnunotaciju, sa opcionalnom decimalnomtockom, ili vodecim znakom + ili −.Eksponencijalna notacija koristi slovo e zaoznaku eksponenta baze 10.Kompleksni brojevi koriste i ili j zaoznaku imaginarnog dijela.

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Svi brojevi interno se spremaju koristecilong format (double) za brojeve spomicnom tockom.Brojevi s pomicnom tockom imaju otprilike16 znacajnih znamenki i konacni rasponod oko 10−308 do oko 10308.Formati ispisa:

format short format s fiksnom tockom i s 4 znamenkenakon decimalne tocke (3.1416)

format long format s fiksnom tockom i s 14 do 15 znamenkinakon decimalne tocke (3.14159265358979)

format short e format s pomicnom tockom i s 4 znamenkenakon decimalne tocke (3.1416e+000)

format long e format s pomicnom tockom i s 14 do 15 znamenkinakon decimalne tocke (3.141592653589793e+000)

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








PrimjerSlijedi nekoliko primjera legalnih brojeva

3 -99 0.00019.6397238 1.60210e-20 6.02252e231i -3.14159j 3e5i

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Operatori

A+B ili A-B zbrajanje ili oduzimanje; A i B moraju imatijednake dimenzije ili jedan od njih je skalar

A*B množenje matrica; broj stupaca od A mora bitijednak broju redaka od B ili jedan od njih jeskalar

A.*B množenje po elementima; A i B moraju imatijednake dimenzije ili jedan od njih je skalar(A(i,j)*B(i,j))

A\B matricno lijevo dijeljenje; ako je A kvadratnamatrica tada je X=A\B rješenje sustavajednadžbi AX=B izracunat Gaussovimeliminacijama; ako je A pravokutna matrica tadaje X=A\B rješenje problema najmanjih kvadrata

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








A.\B lijevo dijeljenje po elementima; A i B moraju imatijednake dimenzije ili jedan od njih je skalar(B(i,j)/A(i,j))

A/B matricno desno dijeljenje; ekvivalentno (B’\A’)’A./B desno dijeljenje po elementima; A i B moraju imati

jednake dimenzije ili jedan od njih je skalar(A(i,j)/B(i,j))

Aˆp matricno potenciranjeA.ˆB potenciranje po elementima; A i B moraju imati

jednake dimenzije ili jedan od njih je skalar(A(i,j)ˆB(i,j))

A’ kompleksno konjugirano transponiranje (A∗)A.’ transponiranje (AT )

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








∼A logicki NE po elementima (0 je false, <>0 je true)A&B logicki I po elementima (0 je false, <>0 je true)A|B logicki ILI po elementima (0 je false, <>0 je true)A<B JE MANJE po elementima (0 je false, <>0 je true)A<=B JE MANJE ILI JEDNAKO po elementima (0 je false,

<>0 je true)A>B JE VECE po elementima (0 je false, <>0 je true)A>=B JE VECE ILI JEDNAKO po elementima (0 je false,

<>0 je true)A==B JE JEDNAKO po elementima (0 je false, <>0 je

true)A∼=B NIJE JEDNAKO po elementima (0 je false, <>0 je

true)

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Funkcije MATLAB sadrži veliki broj matematickihfunkcija

elementarne funkcije: sin, cos, asin,acos, sinh, cosh, asinh, acosh, exp,log, log10, sqrt, abs, round, mod,factorial,. . .matricne funkcije: size, diag, eye,ones, rand, randn, zeros, tril, triu,sort, min, max, funkcije za kreiranjeraznih specijalnih matrica,. . .

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








funkcije linearne algebrefunkcije za rad s polinomimafunkcije za interpolaciju i racunskugeometrijufunkcije za transformaciju koordinatnogsustavafunkcije za rješavanje diferencijalnih iintegralnih jednadžbi, i optimizacijuspecijalne matematicke funkcijefunkcije za rad sa rijetko popunjenimmatricamafunkcije koje vracaju znacajnematematicke konstante: eps, i, j, Inf,NaN, pi,. . .

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








PrimjerUnesimo matricu

A = [1 2 3 4; 5 6 7 8; 9 10 11 12; 13 14 15 16;17 18 19 20]

s ispisom

A =1 2 3 45 6 7 89 10 11 1213 14 15 1617 18 19 20

Pozivi raznih funkcija vratit ce sljedece vrijednosti.

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)size(A)

ans =5 4

min(A)

ans =1 2 3 4

max(A)

ans =17 18 19 20

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)sort(A,2,’descend’)

ans =4 3 2 18 7 6 512 11 10 916 15 14 1320 19 18 17

diag(A)

ans =161116

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)diag(diag(A))

ans =1 0 0 00 6 0 00 0 11 00 0 0 16

triu(A)

ans =1 2 3 40 6 7 80 0 11 120 0 0 160 0 0 0

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)tril(A)

ans =1 0 0 05 6 0 09 10 11 013 14 15 1617 18 19 20

eye(5,4)

ans =1 0 0 00 1 0 00 0 1 00 0 0 10 0 0 0

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)zeros(5,4)

ans =0 0 0 00 0 0 00 0 0 00 0 0 00 0 0 0

ones(5,4)

ans =1 1 1 11 1 1 11 1 1 11 1 1 11 1 1 1

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)

rand(m,n) — kreira m×n matricu pseudo-slucajnihbrojeva uniformne distribucije na segmentu [0,1]

randn(m,n) — kreira m×n matricu pseudo-slucajnihbrojeva normalne distribucije sa ocekivanjem 0 istandardnom devijacijom 1eps — udaljenost od 1 do prvog sljedeceg brojadvostruke preciznosti

ans =2.2204e-016

i ili j — imaginarna jedinicaans =

0 + 1.0000i

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Primjer (nastavak)Inf — reprezentacija IEEE aritmetike za pozitivnubeskonacnost (1/0)NaN — reprezentacija IEEE aritmetike za“Not-a-Number”, rezultat matematicki nedefiniraneoperacije (0/0)pi — π

ans =3.141592653589793

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Kontrola toka programa

Uvjetno grananje

naredbe if, else i elseifif logicki_izraz_1

naredbe_1elseif logicki_izraz_2

naredbe_2...

elseif logicki_izraz_knaredbe_k

elsenaredbe_k+1

end

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








naredbe switch, case i otherwiseswitch izraz

case vrijednost_1naredbe_1

case vrijednost_2naredbe_2...

otherwisenaredbe_k+1

end

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








naredbe for, while, continue i breakfor indeks=pocetak:korak:kraj

naredbeend

while izraznaredbe

end

naredba return

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Funkcijedefinicija funkcije

function [izlaz_1, izlaz_2, ...] = imefun(ulaz_1, ulaz_2, ...)naredbe

end

poziv funkcije

[var_1, var_2, ...] = imefun(ulaz_1, ulaz_2, ...)

spremanje funkcije u M-file — definicija sepiše u editoru i sprema u istoimenudatoteku s ekstenzijom .m

imefun.m

M-file skripte — bilo koji niz MATLABnaredbi sprema se u datoteku sekstenzijom .m

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Spremanje i citanje varijabli u i iz datoteke

naredba save

save imedat var_1 var_2 ...

varijable se spremaju u datotekuimedat.mat

naredba load

load imedat

postavlja sve varijable iz imedat.mat na vrijednostikoje su definirane u istoj datoteci

Numerickemetode


Nela Bosner

MATLABMatrice

Izrazi



Dokumentacija








Dokumentacija

Za svaku MATLAB-ovu naredbu ili funkciju može seupisati

help naredba

u komandni prozor, cime se ispisuje dokumentacija zatu naredbu ili funkcijuOdabir opcije MATLAB help u Help izborniku.

Numerickemetode


Nela Bosner

MATLAB

SustavilinearnihjednadžbiIterativne metode

Matricne norme

Standardne iteracije

Jacobijeva metoda

Gauss–Seidelovametoda

SOR metoda

Zadaci

Iteracije izKrylovljevihpotprostora

Metoda konjugiranihgradijenata

Zadaci







Sustavi linearnih jednadžbi

Primjer

Portfelj koji se sastoji od n razlicitih vrijednosnica možese opisati pomocu njihovih težina

ωi =xiSi(0)

V (0), i = 1, . . . ,n,

gdje je xi broj dionica tipa i u portfelju, Si(0) je pocetnacijena vrijednosnice i, a V (0) je kolicina koja je pocetnoinvestirana u portfelj.Definirajmo

ωωω =

ω1ω2...ωn

, e =

11...1

∈ Rn.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

Iz definicije je vidljivo da je∑n

i=1 ωi = 1, odnosno

eTωωω = 1.

Pretpostavimo da povrat i-te vrijednosnice Ri imaocekivanje µi = E(Ri), i definirajmo

R =

R1R2...

Rn

, µµµ =

µ1µ2...µn

.Nadalje, kovarijancu izmedu dva povrata oznacimo sacij = Cov(Ri ,Rj) i definirajmo matricu kovarijance

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

C =

c11 c12 · · · c1nc21 c22 · · · c2n...

.... . .

...cn1 cn2 · · · cnn

.Dobro je poznato da je matrica kovarijance simetricnapozitivno definitna matrica, pa je prema tome regularnai inverz C−1 postoji.Ocekivani povrat µP = E(RP) i varijanca σ2

P = Var(RP)portfelja sa težinama ωωω dani su sa

µP =µµµTωωω

σ2P =ωωωT Cωωω

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Portfelj sa najmanjom varijancom ima težine

ωωωmin =C−1e

eT C−1e.

Gornju tvrdnju možemo pokazati traženjem minimumafunkcije ωωωT Cωωω uz uvjet eTωωω = 1Definirajmo funkciju

F (ωωω, λ) = ωωωT Cωωω + λ(1− eTωωω),

gdje je λ Lagrangeov multiplikator.Buduci da tražimo minimum, rješavamo jednadžbu

∇ωF (ωωω, λ) =02Cωωω − λe =0

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Rješenje jednadžbe je

ωωω =λ

2C−1e,

što je nužni uvijet za minimum.Dalje to uvrštavamo u uvjet, i dobivamo

λ

2eT C−1e = 1,

odakle slijedi rezultat.Portfelj sa najmanjom varijancom i sa ocekivanimpovratom µP ima težine

ωωωµp =(µµµT C−1µµµ− µP · eT C−1µµµ)C−1e + (µp · eT C−1e− eT C−1µµµ)C−1µµµ

eT C−1e ·µµµT C−1µµµ− (eT C−1µµµ)2 .

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Gornju tvrdnju možemo pokazati traženjem minimumafunkcije ωωωT Cωωω uz uvjete eTωωω = 1 i µµµTωωω = µP .Definirajmo funkciju

F (ωωω, λ1, λ2) = ωωωT Cωωω + λ1(1− eTωωω) + λ2(µP −µµµTωωω),

gdje su λ1 i λ2 Lagrangeov multiplikatori.Buduci da tražimo minimum, rješavamo jednadžbu

∇ωF (ωωω, λ1, λ2) =02Cωωω − λ1e− λ2µµµ =0

Rješenje jednadžbe je

ωωω =12

C−1(λ1e + λ2µµµ),

što je nužni uvijet za minimum.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Dalje to uvrštavamo u uvjete, i dobivamo

λ1eT C−1e

2+ λ2

eT C−1µµµ

2=1

λ1µµµT C−1e

2+ λ2

µµµT C−1µµµ

2=µP

Zbog jednostavnosti, uvodimo oznake

a = eT C−1e, b = eT C−1µµµ = µµµT C−1e, c = µµµT C−1µµµ,

jer je C simetricna, pa je i C−1 simetricna.Jednadžbe za λ1 i λ2 su sada oblika

aλ1 + bλ2 =2bλ1 + cλ2 =2µP

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Rješenje prethodnog sustava je

λ1 =2(c − bµP)

ac − b2 , λ2 =2(aµP − b)

ac − b2 .

Uvrštavanjem ovih vrijednosti za λ1 i λ2 u jednadžbu zaωωω

ωωω =λ1

2C−1e +

λ2

2C−1µµµ,

dobivamo rezultat.Zbog efikasnog racunanja ωωωµp možemo napisati u obliku

ωωωµp =cC−1e− bC−1µµµ

d+ µP

aC−1µµµ− bC−1ed

=g + µPh

gdje je d = ac − b2.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

Riješimo konkretan problem za zadane ocekivanepovrate i za zadanu matricu kovarijance:

µµµ =

0.080.030.05

, C =

0.3 0.02 0.010.02 0.15 0.030.01 0.03 0.18

.U ovom slucaju promatrat cemo 51 razlicitu vrijednostod µP u rasponu od 0.03 do 0.08 uz korak 0.001.Za svaki µP iracunat cemo odgovarajuci ωωωµP saminimalnom varijancom i standardnu devijacijuσµp =

√ωωωTµP

CωωωµP tog portfelja.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)MATLAB funkcija koja rješava ovaj konkretan primjernalazi se u M-fileu

primjer_sustav_portfelj.m

na adresihttp://www.math.hr/ñela/nmfm.html

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primijetimo da je u ovom M-fileu izracunat inverz C−1 izatim je on primijenjen 9 puta na vektor e ili µµµ.To je zapravo vrlo neefikasan nacin jer je ekvivalentanrješavanju linearnog sustava CX = I gdje je I n × nidentiteta (sustav sa n razlicitih desnih strana).Još k tome imamo 9 množenja matrice s vektorom.S druge strane u našem primjeru pojavljuju se samoC−1e i C−1µµµ što je ekvivalentno sustavima s dvijerazlicite desne strane

Cx = e, i Cx = µµµ.

Dakle potrebno je samo jedanput izracunati te vektore,spremiti ih, i onda ih upotrijebiti 9 puta.Vrlo rijetko se koristi samo inverz matrice. Puno cešcese on množi s vektorom i onda imamo posla sarješavanjem sustava linearnih jednadžbi.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer

Efikasna tržišna hipoteza predvida da ce se log povratidionica ponašati kao bijeli šum.Zbog toga se log povrati jednostavno modeliraju ARMA(autoregressive moving avarage) procesima.ARMA proces zt stupnja (p,q), centriran oko nule,definira se diferencijskom stohastickom jednadžbom

zt − φ1zt−1 − · · · − φpzt−p = et − θ1et−1 − · · · − θqet−q,

gdje je e1, e2,. . . ,et ,. . . bijeli šum.Pod pretpostavkom normalno distribuirane greške,promatramo konacni segment ovog niza z=[z1,...,zn]T kojiima multivarijatnu normalnu distribuciju sa ocekivanjemnula i matricu kovarijance Cn.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

Buduci da je ARMA proces stacionaran, matricakovarijance Cn = [cij ] zadovoljava

cij = Cov(zi , zj) = γ(i − j) = γ(|i − j |),

gdje funkcija kovarijance γ(k) ovisi o parametrimamodela φ1,. . . ,φp, θ1,. . . ,θq.Takva matrica ima specijalnu strukturu – konstantnedijagonale, i zove se Toeplitzova matrica.Za razne statisticke analize, cesto je potrebnoizracunati izraz

xT C−1n y,

za neke vektore x i y.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

Za slucaj kada je p = 0, pri cemu se onda radi o MA(moving avarage) procesu, tada je matrica kovarijancevrpcasta i γ(k) = 0 za k > q.Za rješavanje sustava sa takvom matricom može senpr. koristiti faktorizacija Choleskog za vrpcastematrice, koja zahtijeva samo O(n(q + 1)) operacija, štoje obicno puno manje od broja operacija zanestrukturirane pozitivno definitne matrice O(n3).Za spremanje matrice potrebno je zapamtiti samo q + 1vrijednosti — velika ušteda.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dakle, iz primjera vidimo da se u primjeni mogu pojavitistrukturirane matrice (sa puno nula) ili matrice velikihdimenzija.Za takve matrice Gaussove eliminacije ili faktorizacijaCholeskog nisu najpogodnije metode.Problemi koji se javljaju kod rješavanja linearnihsustava Gaussovim eliminacijama su:

Elemente matrice sustava velikih dimenzija jeproblematicno spremiti u memoriju, zbog ogranicenostiradne memorije.Vrijeme izvršavanja Gaussovih eliminacija nadmatricama velikih dimenzija je neprihvatljivo dugo.Za strukturirane matrice nepotrebno je sprematielemente koji su jednaki nula, pa se matrica sprema uposebnom formatu — problem je što Gaussoveeliminacije mogu upropastiti tu specijalnu strukturu, irezultat se ne može spremiti u istom formatu.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Iterativne metode

Sustavi linearnih jednadžbi pojavljuje se kao posljedicarješavanja mnogih problema u financijama, fizici, kemiji,biologiji, strojarstvu, gradevini . . .Problem: Za regularnu matricu A ∈ Rn×n i vektorb ∈ Rn naci x ∈ Rn takav da je

Ax = b.

Rješenje: x = A−1bBuduci da su sustavi linearnih jednadžbi cesto rezultataproksimacije pocetnog matematickog modelajednostavnijim modelom, ne moramo nužno težitipronalaženju egzaktnog rješenja.Umjesto toga želimo naci dovoljno dobruaproksimaciju x .U tim se slucajevima koriste iterativne metode.Željena tocnost aproksimativnog rješenja postiže sezadavanjem odgovarajuceg kriterija zaustavljanja.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (Iterativna metoda)

x0 zadan;k = 0;while ∼kriterij_zaustavljanja

k = k + 1;xk = f (xk−1);

endx ≈ xk ;

Važno je da:za svaki k formula f (xk−1) za racunanje xk jejednostavnaxk teži prema x = A−1b i za neki k (obicno k n) je xkprihvatljiva aproksimacija za xkonvergencija xk prema x je što brža

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Matricne norme

Kod nekih iterativnih metoda za rješavanje sustavalinearnih jednadžbi racunanje kriterija zaustavljanjazahtijeva racunanje matricne norme.S druge strane, matricne norme koriste se za mjerenjagreški buduci da se kod numerickog rješavanja oneuvijek pojavljuju zbog korištenja aritmetike konacnepreciznosti.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Definicija

Preslikavanje ν : Cm×n −→ R je matricna norma na Cm×n

ako zadovoljava sljedece uvjete:1 ν(A) ≥ 0, za svako A ∈ Cm×n

2 ν(A) = 0 ako i samo ako je A = 03 ν(αA) = |α|ν(A), za α ∈ C, A ∈ Cm×n

4 ν(A + B) ≤ ν(A) + ν(B), za sve A,B ∈ Cm×n

Nazivi uvjeta:1.–2. → pozitivna definitnost,

3. → homogenost,4. → nejednakost trokuta.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Definicija

Neka su µ, ν i ρ matricne norme na Cm×n, Cn×k i Cm×k

redom. One su konzistentne ako je

ρ(AB) ≤ µ(A)ν(B),

za svaki izbor A ∈ Cm×n i B ∈ Cn×k .Specijalno, matricna norma ν na Cn×n je konzistentna ako je

ν(AB) ≤ ν(A)ν(B),

za sve A,B ∈ Cn×n.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Napomena

Gornja definicija obuhvaca i konzistentnost matricne ivektorske norme, jer prirodno identificiramo Cn×1 i Cn.Ako je ν konzistentna matricna norma na Cn×n i A1,A2,. . . ,Am ∈ Cn×n proizvoljne matrice, indukcijom seodmah vidi da je

ν(A1A2 · · ·Am) ≤ ν(A1)ν(A2) · · · ν(Am).

Specijalno, za svako A ∈ Cn×n i m ∈ N je

ν(Am) ≤ ν(A)m.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Standardna Euklidska vektorska norma ima jednopovoljno svojstvo, a to je:

‖Ux‖2 = ‖x‖2, x ∈ Cn, U ∈ Cn×n U∗U = UU∗ = I,

Buduci da je U unitarna matrica ovo svojstvo zove seunitarna invarijantnost vektorske norme, pri cemudjelovanje matrice U cuva udaljenosti.Takvo svojstvo može se definirati i za matricne norme.

Definicija

Norma ν na Cm×n je unitarno invarijantna ako je:

ν(U∗AV ) = ν(A),

za sve unitarne matrice U ∈ Cm×m, V ∈ Cn×n i sveA ∈ Cm×n.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







TeoremAko je ν konzistentna matricna norma na Cn×n, onda postojivektorska norma ‖ ‖ na Cn koja je konzistentna sa ν.

Dokaz.Za svaki izbor matrica A,B ∈ Cn×n znamo da vrijediν(AB) ≤ ν(A)ν(B).Tražimo normu ‖ ‖ : Cn −→ R takvu da je

‖Ax‖ ≤ ν(A)‖x‖, za ∀x = [xi ] ∈ Cn.

Neka je a = [ai ] ∈ Cn, a 6= 0, tada je

xaT =

x1...

xn

[ a1 · · · an]

=

x1a1 · · · x1an...

...xna1 · · · xnan

∈ Cn×n.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz (nastavak).Definirajmo sada

‖x‖ = ν(xaT ), za ∀x ∈ Cn,

i provjerimo uvjete iz definicije norme.1 ‖x‖ = ν(xaT ) ≥ 0 za ∀x ∈ Cn zbog pozitivne

definitnosti matricne norme ν.2 ‖x‖ = 0 ⇐⇒ ν(xaT ) = 0 ⇐⇒ xaT = 0 zbog pozitivne

definitnosti matricne norme ν.Slijedi xiaj = 0 za i , j = 1, . . . ,n.Jer je a 6= 0, postoji j0 ∈ 1, . . . ,n takav da je aj0 6= 0pa je xiaj0 = 0 za i = 1, . . . ,n.⇐⇒ x = 0.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz (nastavak).3 ‖αx‖ = ν((αx)aT ) = ν(α(xaT )) = |α|ν(xaT ) = |α|‖x‖,

za ∀α ∈ C i ∀x ∈ Cn zbog homogenosti matricne normeν.

4 ‖x + y‖ = ν((x + y)aT ) = ν(xaT + yaT ) ≤ν(xaT ) + ν(yaT ) = ‖x‖+ ‖y‖ za ∀x , y ∈ Cn zbognejednakosti trokuta matricne norme ν.

Dakle, ‖ ‖ je vektorska norma.‖Ax‖ = ν((Ax)aT ) = ν(A(xaT )) ≤ ν(A)ν(xaT ) =ν(A)‖x‖ zbog konzistentnosti matricne norme ν.

Konacno možemo zakljuciti da je vektorska norma ‖ ‖konzistentna sa matricnom normom ν.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Definicija

Neka je A ∈ Cn×n, tada je sa

spr(A) = ρ(A) = max|λ| : λ ∈ σ(A)

definiran spektralni radijus matrice A.

TeoremNeka je ν konzistentna matricna norma na Cn×n. Tada zasvaku matricu A ∈ Cn×n vrijedi

ρ(A) ≤ ν(A).

Dokaz.ν je konzistentna matricna norma pa postoji vektorskanorma ‖ ‖ na Cn koja je konzistentna sa ν.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz (nastavak).

Neka je λ ∈ σ(A), tada postoji x ∈ Cn, x 6= 0 takav da jeAx = λx .Znamo da vrijedi sljedece:

‖Ax‖ =‖λx‖ = |λ|‖x‖‖Ax‖ ≤ν(A)‖x‖

Dakle, imamo|λ|‖x‖ ≤ ν(A)‖x‖,

a kako je x 6= 0 slijedi da gornju nejednadžbu možemopodijeliti s ‖x‖ > 0, cime dobivamo

|λ| ≤ ν(A).

Buduci da prethodna nejednakost vrijedi za ∀λ ∈ σ(A),vrijedi i za ρ(A).

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







TeoremZa svaku matricu A ∈ Cn×n i za svaki ε > 0 postojikonzistentna matricna norma νA,ε na Cn×n takva da je

νA,ε(A) ≤ ρ(A) + ε.

TeoremNeka je ‖ ‖ proizvoljna norma na Cn. Preslikavanjeν : Cn×n −→ R, definirano sa

ν(A) = max‖x‖=1

‖Ax‖ = maxx 6=0

‖Ax‖‖x‖

,

za A ∈ Cn×n, je konzistentna matricna norma na Cn×n,konzistentna je sa ‖ ‖, i zove se operatorska norma naCn×n, inducirana vektorskom normom ‖ ‖.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz.ν je dobro definirana obzirom na max.Lako se provjere da su svi uvjeti definicije normezadovoljeni.Provjeravamo konzistentnost matricne norme.

Za A,B ∈ Cn×n i x ∈ Cn, x 6= 0 imamo:

ν(AB) = maxx 6=0

‖ABx‖‖x‖

= maxx /∈N (B)

‖ABx‖‖x‖

= maxx /∈N (B)

‖ABx‖‖Bx‖

‖Bx‖‖x‖

≤ maxx /∈N (B)

‖ABx‖‖Bx‖

maxx 6=0

‖Bx‖‖x‖

≤ maxy 6=0

‖Ay‖‖y‖

maxx 6=0

‖Bx‖‖x‖

=ν(A)ν(B)

‖Ax‖‖x‖

≤maxx 6=0

‖Ax‖‖x‖

= ν(A)

‖Ax‖ ≤ν(A)‖x‖

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







NapomenaNužan uvijet da bi ν bila operatorska norma je

ν(I) = max‖x‖=1

‖Ix‖ = max‖x‖=1

‖x‖ = 1,

pri cemu je I identiteta.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjeri matricnih normi

Neka je A = [aij ] ∈ Cn×n. Sljedeca preslikavanja definirajukonzistentne matricne norme na Cn×n.

Primjer

‖ ‖F : Cn×n −→ R,

‖A‖F =

√√√√ n∑i=1

n∑j=1

|aij |2 =√

tr(A∗A),

zove se Frobeniusova ili Euklidska norma. (Na Cn×1 ∼= Cn

je ‖ ‖F = ‖ ‖2.)

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Frobeniusova norma nije operatorska norma za n > 1jer je

‖I‖F =√

n.

Frobeniusova matricna norma ‖ ‖F i euklidskavektorska norma ‖ ‖2 su konzistentne jer je za x ∈ Cn

‖Ax‖F ≤ ‖A‖F‖x‖F = ‖A‖F‖x‖2.

Frobeniusova norma ‖ ‖F je unitarno invarijantna.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer

‖ ‖2 : Cn×n −→ R,

‖A‖2 =√ρ(A∗A),

zove se spektralna norma.Spektralna matricna norma ‖ ‖2 je operatorska normana Cn×n inducirana vektorskom normom ‖ ‖2

‖A‖2 = max‖x‖2=1

‖Ax‖2

Maksimum se postiže u vektoru y (2) za kojeg vrijedi

A∗Ay (2) = λmax (A∗A)y (2), ‖y (2)‖2 = 1,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

tj. y (2) je jednak jedinicnom svojstvenom vektorumatrice A∗A koji odgovara najvecoj svojstvenojvrijednosti λmax (A∗A), i tada je

‖Ay (2)‖2 = ‖A‖2.

Vrijedi konzistentnost s vektorskom normom, za x ∈ Cn

‖Ax‖2 ≤ ‖A‖2‖x‖2

Spektralna norma ‖ ‖2 je unitarno invarijantna.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer

‖ ‖1 : Cn×n −→ R,

‖A‖1 = maxj=1,...,n

n∑i=1

|aij |.

Matricna norma ‖ ‖1 je operatorska norma na Cn×n

inducirana vektorskom normom ‖ ‖1

‖A‖1 = max‖x‖1=1

‖Ax‖1

Maksimum se postiže u vektoru

y (1) = ej0 =[

0 · · · 0 1 0 · · · 0]T,

j0

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

pri cemu je j0 ∈ 1, . . . ,n takav da je

n∑i=1

|aij0 | = maxj=1,...,n

n∑i=1

|aij | = ‖A‖1,

i tada je‖Ay (1)‖1 = ‖A‖1.


‖Ax‖1 ≤ ‖A‖1‖x‖1

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer

‖ ‖∞ : Cn×n −→ R,

‖A‖∞ = maxi=1,...,n

n∑j=1

|aij |.

Matricna norma ‖ ‖∞ je operatorska norma na Cn×n

inducirana vektorskom normom ‖ ‖∞

‖A‖∞ = max‖x‖∞=1

‖Ax‖∞

Maksimum se postiže u vektoru

y (∞)(j) =

ai0 j

|ai0 j | , ai0j 6= 0

1, ai0j = 0

, j = 1, . . . ,n,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

pri cemu je i0 ∈ 1, . . . ,n takav da je

n∑j=1

|ai0j | = maxi=1,...,n

n∑j=1

|aij | = ‖A‖∞,

i tada je‖Ay (∞)‖∞ = ‖A‖∞.


‖Ax‖∞ ≤ ‖A‖∞‖x‖∞

Sve prikazane norme mogu se definirati i na Cm×n.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Obzirom da je Cm×n ∼= Cmn a na Cmn sve su vektorskenorme ekvivalentne, to vrijedi i za matricne norme.

Napomena

Neka su ‖ ‖p i ‖ ‖q matricne norme na Cm×n, tada je zasvaku matricu A ∈ Cm×n

‖A‖p ≤ αpq‖A‖q,

pri cemu se jednakost dostiže, a konstante αpq tabeliranesu u sljedecoj tablici.

‖ ‖q‖ ‖p

‖ ‖1 ‖ ‖2 ‖ ‖∞ ‖ ‖F

‖ ‖1 1√

m m√

m‖ ‖2

√n 1

√m 1

‖ ‖∞ n√

n 1√

n‖ ‖F

√n

√rang(A)

√m 1

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak

Zadane su dvije matrice A = [aij ],B = [bij ] ∈ R5×5, pri cemuje

aij =1

i + j − 1, Hilbertova matrica

bij =diag(1,2,3,4,5), dijagonalna matrica

U MATLAB-u izracunajte norme ‖ ‖1, ‖ ‖2, ‖ ‖∞ i ‖ ‖F , za tematrice, i uvjerite se da vrijede sljedece tvrdnje:

‖AB‖p ≤ ‖A‖p‖B‖p, pri cemu je p = 1,2,∞,F.Za vektor x ∈ R5 slucajnih brojeva vrijedi‖Ax‖p ≤ ‖A‖p‖x‖p, pri cemu je p = 1,2,∞.Za gore definirane vektore y (p) zaista vrijedi‖Ay (p)‖p = ‖A‖p, pri cemu je p = 1,2,∞.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)UPUTE:

Za generiranje matrica koristiteA=hilb(5)B=diag([1:5])

Za racunanje matricnih i vektorskih normi koristitenorm(A,1)norm(A,2)norm(A,inf)norm(A,’fro’)

za generiranje vektora x koristitex=rand(5,1)

za generiranje vektora y (2) koristite[u,d]=eig(A’*A)y2=u(:,5)

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci








Iterativnu metodu pokušavamo naci u obliku

xk+1 = Txk + c, k = 0,1,2, . . . , x0 zadan,

gdje je T ∈ Rn×n matrica iteracije i c ∈ Rn.Jedan nacin odabira iterativne matrice T je taj damatricu sustava A rastavimo na

A = M − N, M regularna.

Tada se polazni linearni sustav transformira u

x = M−1Nx + M−1b, tj. x = Tx + c

gdje jeT = M−1N, c = M−1b

Rješenje sustava je onda fiksna tocka iteracija

xk+1 = M−1Nxk + M−1b, k = 0,1,2, . . .

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Konvergencija standardnih iteracija

TeoremNeka je b ∈ Rn i A = M − N ∈ Rn×n regularna matrica. Akoje

M regularna matrica,ρ(M−1N) < 1 (spektralni radijus),

tada niz iteracija xk , k ≥ 0 definiran sa

xk+1 = M−1Nxk + M−1b, k = 0,1,2, . . .

konvergira prema x = A−1b za proizvoljnu pocetnu iteracijux0. Tvrdnja teorema vrijedi i ako je ‖M−1N‖ < 1 za bilo kojukonzistentnu matricnu normu ‖ ‖.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz.Definirajmo grešku u svakom koraku kao

ek = xk − x , k = 0,1,2, . . .

Tada za x = A−1b vrijedi

xk+1 =M−1Nxk + M−1b

x =M−1Nx + M−1b

xk+1 − x =M−1N(xk − x)

ek+1 =M−1Nek = (M−1N)2ek−1 = · · ·=(M−1N)k+1e0.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz (nastavak).

Prema jednom od prethodnih teorema o matricnimnormama, za 0 < ε < 1− ρ(M−1N) postoji konzistentnamatricna norma ‖ · ‖ na Rn×n takva da vrijedi:

‖M−1N‖ ≤ ρ(M−1N) + ε < 1,

odakle je

‖ek+1‖ ≤ ‖M−1N‖k+1‖e0‖ −→ 0, kad k →∞.

Znaci:

limk→∞

ek =0

limk→∞

xk =x .

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Teorem

Neka vrijede pretpostavke za T = M−1N kao uprethodnom teoremu uz ‖T‖ < 1, gdje je ‖ · ‖ neka odnormi ‖ · ‖1, ‖ · ‖2 ili ‖ · ‖∞.Pretpostavimo da tražimo aproksimaciju rješenja takvuda vrijedi

‖xk − x‖ < ε,

gdje je ‖ ‖ odgovarajuca vektorska norma koja induciragornju operatorsku normu.

Za kriterij zaustavljanja dovoljno je tražiti da je

‖T‖k

1− ‖T‖‖x1 − x0‖ < ε, tj, k >

ln(ε(1−‖T‖)‖x1−x0‖

)ln(‖T‖)

.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz.Za k ,p ∈ N0 promatrimo sljedece:

‖xk+p − xk‖ =

=‖xk+p − xk+p−1 + xk+p−1 − xk+p−2 + · · ·+ xk+1 − xk‖≤‖xk+p − xk+p−1‖+ ‖xk+p−1 − xk+p−2‖+ · · ·+

+ ‖xk+1 − xk‖=‖T p−1(xk+1 − xk )‖+ ‖T p−2(xk+1 − xk )‖+ · · ·+

+ ‖(xk+1 − xk )‖

≤(‖T‖p−1 + ‖T‖p−2 + · · ·+ 1

)‖xk+1 − xk‖

≤(‖T‖p−1 + ‖T‖p−2 + · · ·+ 1

)‖T‖k‖x1 − x0‖

≤ ‖T‖k

1− ‖T‖‖x1 − x0‖.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Dokaz (nastavak).Kad pustimo da p →∞ dobivamo

‖x − xk‖ ≤‖T‖k

1− ‖T‖‖x1 − x0‖,

pa je dovoljno tražiti da je

‖T‖k

1− ‖T‖‖x1 − x0‖ < ε,

odnosno

k >ln(ε(1−‖T‖)‖x1−x0‖

)ln(‖T‖)

.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







PrimjerZadan je sustav, gdje je

A =

5 0 0 0.1 0.15 5 0 0 0.1

0.1 0 5 0 00 0 0 5 0.1

0.1 0.1 5 0 5

, b =

−9.7−14.8−0.2

5.29.7

.Trebamo odrediti rastav matrice A kao A = M − N iodgovarajucom iterativnom metodom riješite sustav, tako dagreška u svakoj nepoznanici bude manja od 10−3.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

Rastavimo matricu A = M − N na sljedeci nacin:

M =

5 0 0 0 05 5 0 0 00 0 5 0 00 0 0 5 00 0 5 0 5

, N =

0 0 0 −0.1 −0.10 0 0 0 −0.1

−0.1 0 0 0 00 0 0 0 −0.1

−0.1 −0.1 0 0 0

.

Lako se može provjeriti da je

M−1 =

0.2 0 0 0 0−0.2 0.2 0 0 0

0 0 0.2 0 00 0 0 0.2 00 0 −0.2 0 0.2

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

i za T = M−1N, c = M−1b vrijedi

T =

0 0 0 −0.02 −0.020 0 0 0.02 0

−0.02 0 0 0 00 0 0 0 −0.020 −0.02 0 0 0

, c =

−1.94−1.02−0.04

1.041.98

.

Za iteracije

x (k+1) = Tx (k) + c, k = 0,1,2, . . .

najprije trebamo provjeriti da li konvergiraju:

ρ(T ) ≤ ‖T‖∞ = 0.04 < 1,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)

Dakle iteracije ce prema prethodnim teoremimakonvergirati.Sada još trebamo pronaci broj iteracija koji je potrebanza postizanje aproksimacije rješenja, cija greška ima‖ · ‖∞ normu manju od ε = 10−3.Uzet cemo da je x (0) = 0 i onda je x (1) = c.

‖T‖k∞1− ‖T‖∞

‖c‖∞ <10−3

0.04k

0.96· 1.98 <10−3

0.04k <4.85 · 10−4

−3.2189k <− 7.6317k >2.3709,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Primjer (nastavak)Mora biti

k = 3Kada se izracunaju iteracije dobivamo:

x(0) =

00000

, x(1) =

−1.94−1.02−0.04

1.041.98

, x(2) =

−2.0004−0.9992−0.0012

1.00042.0004

, x(3) =

−2.000016−0.999992

0.0000080.9999921.999984

,

a egzaktno rješenje je

x =

−2−1

012

.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Jacobijeva metoda

Matricu A ∈ Rn×n rastavimo kao

A = L + D + R,

tako da suL = donji trokut od AD = dijagonala od AR = gornji trokut od A

uz pretpostavku da A nema nula na dijagonali.Kod Jacobijeve metode je

MJ = D, NJ = −(L + R),

ona je iterativna metoda oblika

xk+1 = TJxk + cJ , k = 0,1,2, . . .

za koju je

TJ = −D−1(L + R), cJ = D−1b.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (Jacobijeva metoda)x0 zadan;k = 0;while ∼kriterij_zaustavljanja

k = k + 1;for i = 1 : n

x1(i) = b(i);for j = 1 : i − 1

x1(i) = x1(i)− A(i, j) ∗ x0(j);endfor j = i + 1 : n

x1(i) = x1(i)− A(i, j) ∗ x0(j);endx1(i) = x1(i)/A(i, i);

endx0 = x1;

endx ≈ x0;

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Konvergencija Jacobijeve metode

TeoremAko je matrica sustava A = [aij ] ∈ Rn×n strogo dijagonalnodominantna matrica, tj. ako vrijedi

n∑j=1j 6=i

|aij | < |aii |, i = 1, . . . ,n,

tada Jacobijeva metoda konvergira za svaku pocetnuiteraciju.

Dokaz:Vrijedi

‖TJ‖∞ = maxi=1,...,n

n∑j=1

|(TJ)ij | = maxi=1,...,n

1|aii |

∑j 6=i

|aij | < 1,

pa jednom od prethodnih teorema, Jacobijeve iteracijekonvergiraju za svaku pocetnu iteraciju.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Gauss–Seidelova metoda

Matricu A ∈ Rn×n rastavimo isto kao kod Jacobijeve metode

A = L + D + R.

Kod Gauss–Seidelova metode je

MGS = D + L, NGS = −R,


xk+1 = TGSxk + cGS, k = 0,1,2, . . .

za koju je

TGS = −(D + L)−1R, cGS = (D + L)−1b.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (Gauss–Seidelova metoda)x0 zadan;k = 0;while ∼kriterij_zaustavljanja

k = k + 1;for i = 1 : n

x0(i) = b(i);for j = 1 : i − 1

x0(i) = x0(i)− A(i, j) ∗ x0(j);endfor j = i + 1 : n

x0(i) = x0(i)− A(i, j) ∗ x0(j);endx0(i) = x0(i)/A(i, i);

endendx ≈ x0;

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Konvergencija Gauss–Seidelova metode

TeoremAko je matrica sustava A ∈ Rn×n strogo dijagonalnodominantna matrica, tada Gauss–Seidelova metodakonvergira za svaku pocetnu iteraciju.

TeoremAko je matrica sustava A ∈ Rn×n simetricna pozitivnodefinitna matrica, tada Gauss–Seidelova metoda konvergiraza svaku pocetnu iteraciju.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







SOR metoda

U iteracije se uvodi parametar relaksacije ω kojinastoji smanjiti spektralni radijus matrice iteracije iubrzati konvergenciju.To se radi pomocu sljedeceg rastava:

A =1ω

D + L +ω − 1ω

D + R.

Kod SOR metode je

MSOR,ω =1ω

D + L, NSOR,ω =1− ωω

D − R,


xk+1 = TSOR,ωxk + cSOR,ω, k = 0,1,2, . . .

za koju je

TSOR,ω=(D+ωL)−1[(1−ω)D−ωR], cSOR,ω=ω(D+ωL)−1b.

Za ω = 1 SOR se svodi na Gauss–Seidelovu metodu.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (SOR metoda)x0, omega zadani;k = 0;while ∼kriterij_zaustavljanja

k = k + 1;for i = 1 : n

x0(i) = (1− omega) ∗ x0(i);pom = b(i);for j = 1 : i − 1

pom = pom − A(i, j) ∗ x0(j);endfor j = i + 1 : n

pom = pom − A(i, j) ∗ x0(j);endx0(i) = x0(i) + pom ∗ omega/A(i, i);

endendx ≈ x0;

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Konvergencija SOR metode

TeoremAko je matrica sustava A ∈ Rn×n simetricna pozitivnodefinitna matrica, tada SOR metoda konvergira za ω ∈ 〈0,2〉i za svaku pocetnu iteraciju.

TeoremSOR metoda ne konvergira za ω < 0 i ω ≥ 2.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadaci

ZadatakU MATLAB-u napišite M-file funkciju sor() kojaimplementira SOR metodu za rješavanje linearnih sustavajednadžbi. Funkcija neka ima ulazne parametre

matricu sustava A i desnu stranu sustava bpocetnu iteraciju x0

toleranciju tol na relativnu normu rezidualaparametar ω

Kriterij zaustavljanja je ‖b − Axk‖2/‖b‖2 ≤ tol, a zaracunanje norme koristite MATLAB-ovu funkciju norm().

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)

Funkcija neka vracaaproksimaciju rješenja xk

broj iteracija k potrebnih za dostizanje aproksimativnogrješenja tražene tocnostivektor duljine k + 1 sa relativnim normama reziduala zasvaku iteraciju i = 0, . . . , k

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







ZadatakNapišite M-file funkciju sor_konvergencija() koja zazadanu matricu A crta graf spektralnih radijusa matriceiteracija za SOR metodu TSOR,ω.

Matrica A je jedini ulazni parametar.Funkcija neka generira ω iz ekvidistantne mreže nasegmentu [0,2] s korakom 0.01, i za svaki ω racunaρ(TSOR,ω).Sve vrijednosti ω i odgovarajuce ρ(TSOR,ω) spremite uvektore omega i ro, koji ce se koristiti za crtanje grafa sω na x osi i ρ(TSOR,ω) na y osi.

Graf ce služiti za odredivanje optimalnog ω.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)Koristite MATLAB-ove funkcije funkcije

diag(), triu() i tril() za generiranje matriceiteracija TSOR,ω

max(abs(eig(T))) za racunanje spektralnogradijusaplot() za crtanje grafaaxis() za odredivanje granica na x i y osima grafaxlabel() i ylabel() za oznacavanje x i y osi

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







ZadatakRiješite sustav Ax = b, pri cemu su

A =

16 −4 8 12−4 4 −7 38 −7 78 32

12 3 32 113

, b =

32−4111160

,pomocu SOR metode.

U ovom slucaju uzmite tol = 10−8.Nacrtajte graf spektralnih radijusa matrice iteracija zaSOR metodu.Provjerite brzinu konvergencije za Gauss–Seidelovumetodu, i za SOR sa optimalnim ω.Nacrtajte grafove relativnih normi reziduala za iteracijeobiju metoda pomocu MATLAB funkcije semilogy().

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







ZadatakVratimo se ponovo na problem s portfeljom.

Neka su zadani vektor ocekivanih povrata vrijednosnicai matrica kovarijance

µµµ =

0.080.030.05

, C =

0.3 0.02 0.010.02 0.15 0.030.01 0.03 0.18

.Izracunajte težine portfelja sa najmanjom varijancom isa ocekivanim povratom µp = 0.05, pomocu SORmetode sa optimalnim parametrom.U ovom slucaju uzmite tol = 10−8.Izracunajte samo C−1e i C−1µµµ spremite ih u varijable ionda ih primijenite u izrazu za racunanje težina.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)Nacrtajte graf spektralnih radijusa matrice iteracija zaSOR metodu.Provjerite brzinu konvergencije za Gauss–Seidelovumetodu i za SOR sa optimalnim ω, za oba vektoradesne strane sustava.Nacrtajte grafove relativnih normi reziduala za SORmetodu s optimalnim ω, za oba vektora desne stranesustava.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Iteracije iz Krylovljevih potprostora

Rezultat iz linearne algebre: svaka matrica poništava svojkarakteristicni i minimalni polinom.

κA(A) = a0I + a1A + · · ·+ an−1An−1 + anAn = 0,

gdje je

A ∈ Rn×n, κA(λ) = det(A− λI) =n∑

i=0

aiλi .

Kada je matrica regularna⇒ a0 6= 0,

A−1 = − 1a0

(a1I + · · ·+ an−1An−2 + anAn−1).

Rješenje sustava Ax = b možemo zapisati kaox = A−1b,

x = −a1

a0b − · · · − an−1

a0An−2b − an

a0An−1b,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







odnosno

x ∈ spanb,Ab, . . . ,An−1b = Kn(A,b).

Prostor Kn(A,b) zovemo Krylovljevim prostorommatrice A i inicijalnog vektora b.Ideja za iterativne metode rješavanja sustava linearnihjednadžbi: iteracije su aproksimacije rješenja izKrylovljevih potprostora.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Jedan nacin definicije iteracije je

xk+1 = xk + αk (b − Axk ) = xk + αk rk

gdje je αk dinamicki parametar koji se odreduje iz nekihoptimizirajucih uvjeta.Najprije definirajmo osnovne pojmove:

x0 = pocetna aproksimacija

ek = x − xk = greška, k = 0,1, . . . (x = A−1b)

rk = b − Axk = Aek = rezidual, k = 0,1, . . .

rk+1 = b − Axk − αkArk = rk − αkArk

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Pogledajmo sada u kojim potprostorima se nalazeovakve iteracije.

x0 = x0

x1 = x0 + α0r0 ∈ x0 + spanr0x2 = x1 + α1r1 = x0 + α0r0 + α1(r0 − α0Ar0) =

= x0 + (α0 + α1)r0 − α0α1Ar0

∈ x0 + spanr0,Ar0...

xk = xk−1 + αk−1rk−1 ∈ x0 + spanr0,Ar0, . . . ,Ak−1r0.

Dakle, opcenito za xk = xk−1 + αk−1rk−1 vrijedi

xk ∈ x0 +Kk (A, r0), k = 0,1, . . .

Na koji nacin cemo birati parametar αk?

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Metoda konjugiranih gradijenata

To je iterativna metode iz Krylovljevih potprostora, zarješavanje sustava Ax = b, A ∈ Rn×n, b, x ∈ Rn, pricemu je matrica sustava A simetricna pozitivnodefinitna:

AT = AyT Ay > 0 za svaki y ∈ Rn, y 6= 0

Ideja odabira parametra αk u k -toj iteraciji metode je tada se minimizira neka norma greške ek+1 = ek − αk rk .Problem je što nam je greška jednako tako nepoznatakao i samo rješenje, pa norma ‖ · ‖2 ne dolazi u obzir.Ono što možemo izracunati je rezidual.rk+1 = Aek+1 = rk − αkArk .Zato za simetricnu pozitivno definitnu matricu A imasmisla definirati A-normu ‖ · ‖A

‖v‖A =√〈v , v〉A =

√vT Av .

Uvjerite se da je ‖ · ‖A zaista norma na Rn.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Definirajmo sada funkciju f : R −→ R kao

f (αk ) =eTk+1Aek+1 =

=α2k rT

k Ark − 2αk rTk Aek + eT

k Aek =

=α2k rT

k Ark − 2αk rTk rk + eT

k Aek .

Traženje minimuma funkcije f (αk ) je ekvivalentnotraženju minimuma ‖ek+1‖A.Funkcija f (αk ) je kvadratna funkcija po varijabli αk , iparametar uz α2

k je rTk Ark ≥ 0, što znaci da funkcija

poprima minimum u tjemenu, koje je jedina nultockaderivacije funkcije f ′.

0 = f ′(αk ) = 2αk rTk Ark − 2rT

k rk ,

odakle slijedi da se minimalna A-norma greške ek+1postiže za

αk =rTk rk

rTk Ark

.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zbog ovakvog odabira parametra αk vrijedi da je rk+1okomit na rk , tj.

rTk rk+1 = rT

k rk − αk rTk Ark = rT

k rk −rTk rk

rTk Ark

rTk Ark = 0.

Važno je još primijetiti, da tako dugo dok nismo našliegzaktno rješenje (rk 6= 0), αk je strogo veci od nule.Zbog okomitosti rk+1 i rk slijedi

‖ek‖2A = ‖ek+1‖2A + α2k‖rk‖2A > ‖ek+1‖2A,

odakle se vidi da se A-norma greške smanjuje usvakom koraku.Ova metoda, zbog nacina odabira parametra, zove semetoda najbržeg silaska.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (Metoda najbržeg silaska)

x0 zadan;r0 = b − Ax0;k = 0;while ∼kriterij_zaustavljanja

αk =rTk rk

rTk Ark

;

xk+1 = xk + αk rk ;rk+1 = rk − αkArk ;k = k + 1;

end

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







ZadatakNapišite funkciju najbrzi_silazak() koja implementirametodu najbržeg silaska. Ulazni parametri neka su

matrica A i vektor bpocetna iteracija x0

tolerancija tola izlazni parametri neka su

aproksimacija rješenja xbroj iteracija k potrebnih za dostizanje tražene tocnostivektor duljine k + 1 sa relativnim normama reziduala zasvaku iteraciju i = 0, . . . , k

Kriterij zaustavljanja je ‖rk‖2/‖b‖2 ≤ tol, gdje jerk = b − Axk .

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)Svoju funkciju primijenite na matricu C i vektor e izzadatka o portfelju.Koliki je broj iteracija potreban za tol = 10−8 ix0 = [ 0 0 0 ]T ?

Medutim, ova metoda može dosta sporo konvergirati, jer secesto dogada da ona radi korake u smjeru kojim je nekiraniji korak vec prošao.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







01

23

4

0

1

2

3

4

5

6

0

2

4

6

x(2)

x(1)

x(3)

Slika: Iteracije metode najbrzeg silaska za C i e.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Da bi se izbjegla spora konvergencija, unaprijedodabiremo skup A-ortogonalnih vektora, odnosnosmjerove traganja d0, d1,. . . , dn−1.Dva vektora di i dj su A-ortogonalna ili konjugirana akovrijedi da je

〈di ,dj〉A = dTj Adi = 0.

Lagano se može provjeriti da su A-ortogonalni vektorilinearno nezavisni.Znaci u svakom koraku biramo tocku

xk+1 = xk + αkdk

s minimalnom A-normom greške.Dakle, u svakom smjeru dk napravit cemo tocno jedankorak, takav da cemo poništiti komponentu vektoragreške ek u smjeru Adk .Nakon n koraka bit cemo gotovi.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







U (k + 1)-om korak ek+1 je jednak pocetnoj grešci kojojsu odstranjene sve komponente u smjerovimaAd0,. . . ,Adk , odnosnoek+1 je A-ortogonalan na d0,. . . ,dk .A-ortogonalnost izmedu ek+1 i dk je ekvivalentnanalaženju tocke minimuma duž smjera traganja dk , kaoi u metodi najbržeg silaska.Ponovo cemo derivirati po αk funkciju

g(αk ) = eTk+1Aek+1

i izjednaciti je s nulom, samo što je u tom slucaju rk+1okomit na dk .

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Ako opet uvrstimo da je rk+1 = rk − αkAdk iek+1 = ek − αkdk

g(αk ) = α2kdT

k Adk − 2αkdTk Aek + eT

k Aek ,

slijedi da je

g′(αk ) = 2αkdTk Adk − 2dT

k rk

odakle cemo dobit izraz za αk

αk =dT

k rk

dTk Adk

.

Ovako dobivena metoda naziva se metodakonjugiranih smjerova.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (Metoda konjugiranih smjerova)

x0 zadan;A-ortogonalni vektori d0,d1, . . . ,dn−1 zadani;r0 = b − Ax0;k = 0;while ∼kriterij_zaustavljanja

αk =dT

k rk

dTk Adk

;

xk+1 = xk + αkdk ;rk+1 = rk − αkAdk ;k = k + 1;

end

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







TeoremZa metodu konjugiranih smjerova vrijede sljedeca svojstva:

dTj Adi = 0 (i 6= j)

dTj ri = dT

j Aei = 0 (j < i)

dTi r0 = dT

i r1 = · · · = dTi ri .

Skalar αi može se zato napisati kao

αk =dT

k r0

dTk Adk

.

TeoremMetoda konjugiranih smjerova je m-koracna metoda(m ≤ n), u smislu da je u m-tom koraku aproksimacija xmjednaka rješenju x = A−1b.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Preostaje nam još pronaci odgovarajuce vektored0,d1, . . . ,dn−1.Skup A-ortogonalnih smjerova di možemo dobitiprimjenom Gramm–Schmidtove metodeA-ortogonalizacije na niz linearno nezavisnih vektorau0,. . . ,un−1 sa skalarnim produktom 〈·, ·〉A.Dakle, A-ortogonalne vektore možemo dobiti kao

dk = uk +k−1∑i=0

βkidi ,

pri cemu su koeficijenti oblika

βki = −dT

i Auk

dTi Adi

.

Konkretan odabir vektora u0,. . . ,un−1 vodi nas dometode konjugiranih gradijenata (CG).

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Metoda konjugiranih gradijenata (CG) je, zapravo,metoda konjugiranih smjerova za ui = ri .Cinjenica da su vektori ri dobiveni metodomkonjugiranih smjerova linearno nezavisni, može seprovjeriti uz pomoc prethodnih teorema.Ponovo vrijedi

spand0,d1, . . . ,dk−1 = spanr0, r1, . . . , rk−1,

i buduci da je rk ortogonalan na prethodne smjerovetraganja vrijedi

rTi rj = 0, i 6= j .

Promatramo sljedeci skalarni produkt

rTk ri+1 = rT

k ri − αi rTk Adi ,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







odakle vrijedi

dTi Ark =

1αi

(rTk ri − rT

k ri+1).

Za i < k − 1 lijeva strana ove jednakosti je jednaka 0,pa su βki = 0 za i = 0,1, . . . , k − 2, a za βk = βk ,k−1zbog izraza za αk−1 i prethodnih teorem vrijedi

βk =−dT

k−1Ark

dTk−1Adk−1

=rTk rk

αk−1dTk−1Adk−1

=rTk rk

dTk−1rk−1

=rTk rk

rTk−1rk−1

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Takoder, zbog istih teorema možemo i αk napisati uljepšem obliku

αk =rTk rk

dTk Adk

,

odakle se vidi, da ukoliko nismo našli egzaktno rješenjeu k -tom koraku, αk je pozitivan.Ovime smo u potpunosti definirali metodu konjugiranihgradijenata.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Algoritam (Metoda konjugiranih gradijenata (CG))

x0 zadan;d0 = r0 = b − Ax0;k = 0;while ∼kriterij_zaustavljanja

αk =rTk rk

dTk Adk

;

xk+1 = xk + αkdk ;rk+1 = rk − αkAdk ;

βk+1 =rTk+1rk+1

rTk rk

;

dk+1 = rk+1 + βk+1dk ;k = k + 1;

end

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







NapomenaZa primjenu metode konjugiranih gradijenata netrebamo pristupati pojedinim elementima matrice.Dovoljno je znati djelovanje matrice na vektor A · y —cesto se zadaje kao funkcija od y.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Konvergencija metode konjugiranih gradijenata

TeoremGreška ek dobivena u k-tom koraku metodekonjugiranih gradijenata ima najmanju A-normu naprostoru

e0 + spanAe0,A2e0, . . . ,Ake0.

U svakom koraku CG algoritma, duljina vektora greškeek = x − xk se reducira, pri cemu je A−1b = x = xm, zaneki m ≤ n.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Napomena

Buduci da je ek ∈ e0 + spanAe0,A2e0, . . . ,Ake0,greška u k-tom koraku metode ima oblik

ek = e0 +k∑

i=1

ψiAie0 =

(I +

k∑i=1

ψiAi

)e0.

Koeficijenti ψi su u linearnoj vezi sa koeficijentima αi iβi , a metoda konjugiranih gradijenata bira ψj takve daoni minimiziraju ‖ek‖A.Tada, izraz za grešku možemo izraziti kao

ek = pk (A)e0,

gdje je pk polinom k-tog stupnja kod kojeg zahtijevamoda je pk (0) = 1.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Napomena (nastavak)

Kako je matrica A simetricna i pozitivno definitna, tadaju možemo zapisati kao produkt matrica A = UΛUT , pricemu su za Λ = diag(λ1, . . . , λn), λ1, . . . , λn svojstvenevrijednosti od A i UT U = UUT = I.Još imamo da je pk (A) = Upk (Λ)UT .A1/2 je hermitski drugi korijen od A i vrijediA1/2 = UΛ1/2UT , pa komutira sa A i sa pk (A).Zbog toga slijedi

‖ek‖A = minpk∈Pk ,pk (0)=1

‖pk (A)e0‖A = minpk∈Pk ,pk (0)=1

√eT

0 pk (A)Apk (A)e0 =

= minpk∈Pk ,pk (0)=1

‖A1/2pk (A)e0‖2 = minpk∈Pk ,pk (0)=1

‖pk (A)A1/2e0‖2 ≤

≤ minpk∈Pk ,pk (0)=1

‖pk (A)‖2‖A1/2e0‖2 = minpk∈Pk ,pk (0)=1

‖pk (Λ)‖2‖e0‖A,

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Napomena (nastavak)

Dakle, konacno možemo napisati

‖ek‖A ≤ minpk∈Pk ,pk (0)=1

maxi=1,...,n

|pk (λi)|‖e0‖A.

KorolarPrimijenjiva ocjena dana je sa

‖ek‖A ≤ 2

(√κ2(A)− 1√κ2(A) + 1

)k

‖e0‖A.

pri cemu je κ(A)2 = ‖A‖2 · ‖A−1‖2 = λmax/λmin brojuvjetovanosti matrice A.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadaci

ZadatakNapišite funkciju cg() koja implementira metodukonjugiranih gradijenata. Ulazni parametri neka su

matrica A i vektor bpocetna iteracija x0

tolerancija tola izlazni parametri neka su

aproksimacija rješenja xbroj iteracija k potrebnih za dostizanje tražene tocnostivektor duljine k + 1 sa relativnim normama reziduala zasvaku iteraciju i = 0, . . . , k

Kriterij zaustavljanja je ‖rk‖2/‖b‖2 ≤ tol, gdje jerk = b − Axk .

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)Svoju funkciju cg primijenite na matricu C i vektor e izzadatka o portfelju.Koliki je broj iteracija potreban za tol = 10−8?

0 0.5 1 1.5 2 2.5 3 3.5 40

2

4

6

0

1

2

3

4

5

x(1)

x(3)

x(2)

Slika: Iteracije metode konjugiranih gradijenata za C i e.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







ZadatakMatrica sustava u ovom zadatku je simetricna pozitivnodefinitna 100× 100 matrica, sa svojstvenim vrijednostimaλ(A) ∈ 1,4,9, . . . ,10000 (κ(A) = 104), a dobivena je

kao produkt A = QΛQT ,pri cemu je Λ dijagonalna matrica svojstvenihvrijednosti,a Q slucajna ortogonalna matrica.

Za generiranje matrice Q koristite MATLAB-ove funkcijerand() i qr().

Za pocetnu iteraciju uzet cemo x0 = [0 0 . . . 0]T ,a za desnu stranu sustava, b je odreden tako darješenje sustava bude jednako x = [1 1 . . . 1]T ,odnosno da je b = A · x.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







Zadatak (nastavak)

Napišite M-file koji riješava ovaj sustav pomocu metodekonjugiranih gradijenata, u svakom koraku k kontrolirajterelativnu normu reziduala ‖rk‖2/‖b‖2 i na kraju nacrtajtenjen graf. Iteriranje se treba zaustaviti kada je ona manja odtol = 10−8.

Numerickemetode


Nela Bosner

MATLAB


Matricne norme


Jacobijeva metoda


SOR metoda

Zadaci



Zadaci







ZadatakSituacija u ovom zadatku je slicna prethodnom, samo štopozitivno definitna matrica A ima deset razlicitih svojstvenihvrijednosti, svaka od njih kratnosti 10. Dakle,

A = QΛQT ,gdje je Λ dijagonalna matrica svojstvenih vrijednostiλ(A) ∈ 1,2, . . . ,10 (κ(A) = 10),a Q slucajna ortogonalna matrica.

b i x0 se odreduju kao u prethodnom zadatku. NapišiteM-file koji riješava ovaj sustav pomocu metode konjugiranihgradijenata, u svakom koraku k kontrolirajte relativnu normureziduala ‖rk‖2/‖b‖2 i na kraju nacrtajte njen graf te gausporedite s grafom iz prethodnog zadatka. Iteriranje setreba zaustaviti kada je ona manja od tol = 10−8.

Numerickemetode


Nela Bosner

MATLAB


ProblemsvojstvenihvrijednostiMetoda potencija

Inverzne iteracije

Zadaci

Schurovadekompozicija

Numericko racunanjeSchurovedekompozicije

Hessenbergovaforma itridijagonalizacija

QR metoda

Zadaci






Problem svojstvenih vrijednosti

PrimjerPretpostavimo da korporacije mogu biti u jednom od nmogucih kreditnih razreda (“credit rating”), i da one mogupreci iz jednog razreda u bilo koji drugi u diskretnimjedinicam vremena, recimo svake godine.

Neka je aij vjerojatnost da korporacija prijede u razred isljedece godine, ako se trenutno nalazi u razredu j.Pretpostavimo da je ovaj sustav zapravo Markovljevlanac, tj. da vjerojatnosti prelaska ovise samo otrenutnom razredu, a ne o prošlim razredima.

Svojstva matrice A = [aij ]:0 ≤ aij ≤ 1, jer se radi o vjerojatnostima.∑

i aij = 1, za svako j, buduci da sustav uvijek mora preci u nekinovi razred.

Kvadratna matrica A = [aij ] ima nenegativne elemente, i sumaelemenata svakog stupca je 1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)Pretpostavimo da imamo velik skup korporacija, i neka ujpredstavlja udio u tom skupu onih korporacija, koje su urazredu j u pocetnom trenutku, uz svojstva 0 ≤ uj ≤ 1 i∑

j uj = 1.Ako je skup dovoljno velik, i ako se prelazak iz razredau razred svake korporacije odvija neovisno o drugima,tada se udio korporacija u skupu svih korporacija kojece se nakon jedne godine nalaziti u razredu i, oznacensa vi , dobiva kao

vi =∑

j

aijuj , ili v = Au.

Primijetimo da je∑i

vi =∑

i

∑j

aijuj =∑

j

(∑i

aij

)uj =

∑j

uj = 1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)

Opcenito, ako sa u(k) oznacimo vektor gustoce nakon kkoraka, tada

u(k) = Au(k−1) = Aku(0).

Prema tome dugorocno ponašanje gustoce ovisi osvojstvima visokih potencija matrice A.Prema gornjim pretpostavkama, moguce je procijenitivjerojatnosti prelaska na osnovu povijesnih podataka.U sljedecoj tablici nalaze se vjerojatnosti prelaskaizraženi u postocima, za jednu godinu, objavljeni uCredit Metrics za 2001. godinu.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)Konacni Pocetni razredrazred AAA AA A BBB BB B CCC DAAA 90.81 0.70 0.09 0.02 0.03 0 0.22 0AA 8.33 90.65 2.27 0.33 0.14 0.11 0 0A 0.68 7.79 91.05 5.95 0.67 0.24 0.22 0

BBB 0.06 0.64 5.52 86.93 7.73 0.43 1.30 0BB 0.12 0.06 0.74 5.30 80.53 6.48 2.38 0B 0 0.14 0.26 1.17 8.84 83.46 11.24 0

CCC 0 0.02 0.01 0.12 1.00 4.07 64.86 0D 0 0 0.06 0.18 1.06 5.20 19.79 100

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)Sada se postavlja pitanje što se dogada kad k →∞?Da li se sustav smiruje u ravnotežnom stanju?Ako postoji ravnotežno stanje u(∞) = u, tada moravrijediti

Au = u,

tako da se ono ne mijenja u nadolazecim godinama.Dakle, u mora biti svojstveni vektor matrice A kojipripada svojstvenoj vrijednosti jednakoj 1.Ako pogledamo tablicu, takoder je jasno da je jedantakav svojstveni vektor jednak [0, . . . ,0,1]T , tj. ako susvi u razredu D tada svi i ostaju u tom razredu.To nužno ne mora znaciti, da svi teže ka razredu D.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)Pretpostavimo da A ima n linearno nezavisnihsvojstvenih vektora v1, . . . , vn i n svojstvenih vrijednostiλ1, . . . , λn, i pretpostavimo da je v1 svojstveni vektorkoji pripada svojstvenoj vrijednosti λ1 = 1.Tada u(k) možemo raspisati po komponentama usmjerovima v1, . . . , vn kao

u(k) = ν(k)1 v1 + · · ·+ ν

(k)n vn.

Imamo

u(k+1) = Au(k) =n∑

j=1

ν(k)j Avj =

n∑j=1

λjν(k)j vj .

Prema tome dobiva se da je ν(k+1)j = λjν

(k)j , odnosno

ν(k)j = λk

j ν(0)j .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)Komponenta vektora u smjeru j-tog svojstvenog vektoraili raste ili trne eksponencijalno kad k →∞, ovisno otome da li je odgovarajuca svojstvena vrijednost veca ilimanja od 1 po apsolutnoj vrijednosti.Jasno je da niti jedna svojstvena vrijednost od A nemože biti veca od 1 po apsolutnoj vrijednosti,

jer da to nije tako, apsolutna vrijednost od u bi raslaeksponencijalno,što je u suprotnosti sa cinjenicom da je suma svih komponentiod u jednaka 1.

Mi znamo da postoji najmanje jedna svojstvenavrijednost jednaka 1.Prema tome, ako su sve ostale svojstvene vrijednostipo apsolutnoj vrijednosti manje od 1, tada ce njihovekomponente utrnuti, i dugorocno gledano razred kojemce svi težiti je razred D.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)MATLAB funkcija koja rješava ovaj konkretan primjernalazi se u M-fileu

primjer_sv_vrij_kredit.m

a matrica A je spremljena u datotekukreditni_razredi_A.mat

na adresihttp://www.math.hr/ñela/nmfm.html

Izracunajte svojstvene vrijednosti i svojstvene vektorematrice A pomocu MATLAB-ove funkcije eig() iprovjerite dobivene rezultate.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Napomena

Vidimo da je, prema ocekivanom 1 najveca svojstvenavrijednost.Prva sljedeca svojstvena vrijednost je oko 0.988, što jevrlo blizu 1, i koja ukazuje da ce konvergencija premaravnotežnom stanju biti vrlo spora.Njen svojstveni vektor, osim zadnje komponente, imanajvece komponente u 3. i 4. koordinati.Zbog toga 3. i 4. koordinate od u najsporije padaju.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Definicija

Neka je A ∈ Cn×n. Skalar λ ∈ C zove se svojstvenavrijednost matrice A, ako postoji vektor x ∈ Cn, x 6= 0 takavda je

Ax = λx .

Takav vektor x zove se svojstveni vektor od A, koji pripadasvojstvenoj vrijednosti λ.

Ukoliko za matricu A = [a1 . . . an] možemo napisati daje A = SDS−1, za neku regularnu matricuS = [s1 . . . sn], i D = diag(d1, . . . ,dn) dijagonalnumatricu tada vrijedi:

AS = SD ⇒ Asi = disi i = 1, . . . ,n.

Dakle, u tom slucaju dijagonalni elementi matrice Dpredstavljaju svojstvene vrijednosti matrice A, a stupcimatrice S predstavljaju svojstvene vektore matrice A.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Definicija

Matrica A = [aij ] ∈ Cn×n jenormalna ako je A∗A = AA∗,hermitska ako je A∗ = A,hermitska pozitivno definitna ako je A∗ = A i x∗Ax > 0za svaki x 6= 0,lijevo stohasticka ako je aij ≥ 0 i ako vrijedi∑

i

aij = 1, za j = 1, . . . ,n.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






TeoremAko je A ∈ Cn×n normalna matrica, onda postojiunitarna matrica U ∈ Cn×n i dijagonalna matricaΛ = diag(λ1, . . . , λn), takve da je

A = UΛU∗.

Ako je A ∈ Cn×n hermitska matrica, onda postojiunitarna matrica U ∈ Cn×n i dijagonalna matricaΛ = diag(λ1, . . . , λn), pri cemu su λi ∈ R za i = 1, . . . ,n,takve da je

A = UΛU∗.

Ako je A ∈ Cn×n hermitska pozitivno definitna matrica,onda vrijedi λi > 0 za i = 1, . . . ,n.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Teorem (Perron–Frobenius)

Ako je A = [aij ] ∈ Rn×n matrica takva sa su aij ≥ 0 zai , j = 1, . . . ,n, tada je

ρ(A) svojstvena vrijednost od A,i postoji vektor v = [vj ] takav da su vj ≥ 0 zaj = 1, . . . ,n, ‖v‖2 = 1 i vrijedi da je

Av = ρ(A)v .

Tvrdnja teorema vrijedi i za stohasticke matrice.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Metoda potencija

Iz prethodnog primjera vidjeli smo da smo uzastopnomprimjenom matrice A na neki vektor dobiliaproksimaciju svojstvenog vektora.Radilo se o svojestvenom vektoru koji odgovarasvojstvenoj vrijednosti sa najvecom apsolutnomvrijednošcu.Dakle, rijec je o primjeni potencije matrice A na vektor.Metoda potencija je najjednostavnija metoda zaracunanje svojstvenih vrijednosti i vektora.S ozirom da vektori Akx mogu jako narasti ili postatijako mali, potrebno je normiranje: Akx/‖Akx‖.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Algoritam (Metoda potencija)

x0 zadan sa ‖x0‖2 = 1;k = 0;while ∼kriterij_zaustavljanja

yk+1 = Axk ;xk+1 =

yk+1‖yk+1‖2

;k = k + 1;

end

Postavlja sa pitanje, kada ova iterativna metodakonvergira i kako brzo.S obzirom da svakoj jednostrukoj svojstvenoj vrijednostipripada cijeli jednodimenzionalan svojstveni potprostor,prirodnije je kao mjeru konvergencije promatrati kutizmedu potprostora.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Konvergencija metode potencija

TeoremNeka je A ∈ Cn×n dijagonalizabilna matrica, cije susvojstvene vrijednosti λi i = 1, . . . ,n uredene na nacin

|λ1| > |λ2| ≥ · · · ≥ |λn|,

neka su svojstveni vektori definirani kao

Avi = λivi , ‖vi‖2 = 1, i = 1, . . . ,n.

Pretpostavimo da zapis od x0 u bazi svojstvenih vektora imanetrivijalnu komponentu u smjeru v1, tada niz xk linearnokonvergira ka

limk→∞

xk = v1,

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Teorem (nastavak)a konvergencija ovisi o izrazu(

|λ2||λ1|

)k

,

tj. kako se brzo taj izraz približava nuli.

NapomenaIz prethodnog teorema vidimo da ako je jedinstvenadominantna vrijednost dobro izolirana od ostatka spektra,tada ce metoda potencija brzo konvergirati. U suprotnom,konvergencija je spora.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.

Buduci da je A dijagonalizabilna, tada je A = V ΛV−1

gdje je Λ = diag(λ1, . . . , λn) i V = [ v1 · · · vn ]regularna matrica svojstvenih vektora.Prema tome v1, . . . , vn cini bazu prostora.Napišimo vektor x0 u toj bazi:

x0 = ξ1v1 +n∑

i=2

ξivi .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Buduci da je prema pretpostavci teorema ξ1 6= 0,možemo napisati

Akx0 =ξ1λk1v1 +

n∑i=2

ξiλki vi

=ξ1λk1

(v1 +

n∑i=2

ξi

ξ1

(λi

λ1

)k

vi

).

Zbog toga što je xk ∈ spanAkx0 kut izmedjupotprostora razapetih sa v1 i xk je jednak kutu izmedupotprostora razapetih sa v1 i Akx0. (Kut izmedupotprostora je definiran na segmentu [0, π/2].)

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Vrijedi,

cos(∠(xk , v1)) = cos(∠(Akx0, v1)) =|v∗1 Akx0|‖Akx0‖2

=

|ξ1λk1|∣∣∣∣1 +

∑ni=2

ξiξ1

(λiλ1

)kv∗1 vi

∣∣∣∣|ξ1λ

k1|∥∥∥∥v1 +

∑ni=2

ξiξ1

(λiλ1

)kvi

∥∥∥∥2

odakle je zbog |λi ||λ1| < 1 za i = 2, . . . ,n limk→∞

(λiλ1

)k= 0,

limk→∞

cos(∠(xk , v1)) = 1 =⇒ limk→∞

∠(xk , v1) = 0.

Dakle, možemo zakljuciti da xk konvergira kajedinicnom svojstvenom vektoru od λ1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Kada zaustaviti iteracije?Pretpostavimo da smo izracunali aproksimacijusvojstvenog vektora w i aproksimaciju svojstvenevrijednosti µ matrice A, tada je razumna ocjenaaproksimacije dana normom reziduala

r = Aw − µw .

Ako imamo samo aproksimaciju svojstvenog vektora w ,kao u slucaju metode potencija, zanima nas koji µ dajenajmanju normu reziduala ‖r‖2.Za w 6= 0 definiramo Rayleighev kvocijent

% = %(A,w) =w∗Aww∗w

,

i promatramo pripadni rezidual

r% = Aw − %w .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Vrijedi sljedece:1 r% je okomit na w :

w∗r% = w∗Aw − w∗Aww∗w

w∗w = 0.

2 r% ima najmanju normu od svih reziduala sa vektoromw , pa je % najbolja aproksimacija svojstvene vrijednosti:

‖r‖22 =‖Aw − µw‖2

2 = ‖Aw − %w + %w − µw‖22

=‖r% + (%− µ)w‖22 (w∗r% = 0 ⇒)

=‖r%‖22 + |%− µ|2‖w‖2

2 ≥ ‖r%‖22.

Primijetimo da ukoliko je w = vi svojstveni vektor tadaje

% =v∗i Avi

v∗i vi=λiv∗i vi

v∗i vi= λi ,

odnosno, Rayleighev kvocijent je jednak svojstvenojvrijednosti λi .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Promatrajmo sada matricu A− r%w∗w w∗.

Za nju vrijedi sljedece:(A− r%

w∗ww∗)

w =Aw − w∗ww∗w

r% = Aw − r%

=Aw − Aw + %w = %w ,

odnosno (%,w) je njen svojstveni par.Ako dalje definiramo

δA = − r%w∗w

w∗,

tada je njena norma jednaka

‖δA‖2 =

∥∥∥∥− r%w∗

w∗w

∥∥∥∥2

=‖r%‖2‖w‖2‖w‖22

=‖r%‖2‖w‖2

.

Na ova razmatranja možemo primijeniti sljedeci teorem.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Teorem (Bauer–Fike)

Neka je A dijagonalizabilna, A = V ΛV−1. Ako je µsvojstvena vrijednost matrice A + δA onda je

mini=1...,n

|λi − µ| ≤ ‖V‖p‖V−1‖p‖δA‖p, p = 1,2,∞.

Korolar

Neka je A dijagonalizabilna, A = V ΛV−1 i ‖w‖2 = 1, i nekaje % = w∗Aw Rayleighev kvocijent sa pripadnim rezidualomr% = Aw − %w. Tada je

mini=1...,n

|λi − %| ≤ ‖V‖2‖V−1‖2‖r%‖2.

Odavde vidimo da je uvjet ‖r%‖2 < tol dobar kriterijzaustavljanja metode potencija, narocito za normal. m.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Inverzne iteracije

Metoda potencija je racunala svojstveni vektor kojipripada najvecoj po modulu svojstvenoj vrijednosti.A što ako želimo izracunati neki drugi svojstveni vektor?Primijetimo sljedece:

1 Avi = λivi , tj. λi ∈ σ(A).2 Pomnožimo prethodnu jednakost sa A−1 slijeva i dobit

cemoA−1vi =

1λi

vi , tj.1λi∈ σ(A−1).

3 (A− µI)vi = (λi − µ)vi , tj. λi − µ ∈ σ(A− µI).4 Iz prethodne jednakosti ponovo slijedi

(A− µI)−1vi =1

λi − µvi , tj.

1λi − µ

∈ σ((A− µI)−1) .

i u svim slucajevima imamo isti svojstveni vektor.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Neka je A dijagonalizabilna matrica kojoj su svojstvenevrijednosti uredene na nacin

|λ1| ≥ |λ2| ≥ · · · ≥ |λn−1| > |λn| > 0,

pri cemu je najmanja po modulu svojstvena vrijednostrazlicita od nule i dobro odvojena od preostalihsvojstvenih vrijednosti.Ako metodu potencija primijenimo sada na A−1 kojaima svojstvene vrijednosti uredene na nacin∣∣∣∣ 1

λn

∣∣∣∣ > ∣∣∣∣ 1λn−1

∣∣∣∣ ≥ ∣∣∣∣ 1λ2

∣∣∣∣ ≥ ∣∣∣∣ 1λ1

∣∣∣∣ ,onda ce ona konvergirati ka svojstvenom vektoru kojipripada

∣∣∣ 1λn

∣∣∣, a to je vn.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Ovim postupkom dobit cemo svojetveni vektor kojipripada najmanjoj po modulu svojstvenoj vrijednosti odA.Zbog korištenja inverza matrice A−1 u ovoj metodi onase zove inverzne iteracije.U svakoj iteraciji inverznih iteracija racunamoyk+1 = A−1xk , odnosno rješavamo linearni sustavAyk+1 = xk .Brzina konvergencije je odredena kvocijentom

|λ−1n−1||λ−1

n |=|λn||λn−1|

.

Buduci da u svakoj iteraciji moramo rješavati linearnisustav, postavlja se pitanje možemo li konvergencijunekako ubrzati?Možemo li na taj nacin izracunati i ostale svojstvenevektore koji ne pripadaju λ1 ili λn?

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Odgovor na ova pitanja je primjena inverznih iteracijana matricu A− µI, pri cemu je µ pogodno odabraniskalar.Ako je µ puno bliži svojstvenoj vrijednosti λn od bilokoje druge svojstvene vrijednosti, tada je brzinakonvergencije odredena kvocijentom

|λn − µ||λn−1 − µ|

,

koji može biti puno manji od |λn||λn−1| .

Ako je µ puno bliži nekoj drugoj svojstvenoj vrijednostiλi od bilo koje druge svojstvene vrijednosti, onda jeλi − µ najmanja svojstvena vrijednost od A− µI iinverzne iteracije ce konvergirati ka svojstvenomvektoru vi koji pripada λi .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Brzina konvergencije odredena je tada kvocijentom

|λi − µ|minj 6=i|λj − µ|

.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Algoritam (Inverzne iteracije)

µ zadan;x0 zadan sa ‖x0‖2 = 1;k = 0;while ∼kriterij_zaustavljanja

riješi sustav (A− µI)yk+1 = xk ;xk+1 =

yk+1‖yk+1‖2

;k = k + 1;

end

Eventualni problemi:Kako izabrati µ?Ako je µ vrlo blizu svojstvene vrijednosti, tada je A− µIblizu singularne matrice i rješavanje linearnog sustavas tom matricom je loše uvjetovan problem.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadaci

ZadatakU MATLAB-u napišite M-file funkcijumetoda_potencija() koja implementira metodupotencija. Funkcija neka ima ulazne parametre

matricu Apocetnu iteraciju x0

toleranciju tol na normu reziduala ‖r%‖2Kriterij zaustavljanja je ‖Axk − (xT

k Axk )xk‖2 ≤ tol. Funkcijaneka vraca

aproksimaciju svojstvenog vektora xk

broj iteracija k potrebnih za dostizanje aproksimativnogvektora tražene tocnostivektor duljine k + 1 sa normama reziduala za svakuiteraciju i = 0, . . . , k

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






ZadatakPrimijenite svoju funkciju metoda_potencija() namatricu A iz zadatka o kreditnim razredima, s ulaznimparametrima

x0 = [ 1 0 · · · 0 ]T

tol = 10−5

Nacrtajte norme reziduala u logaritamskoj skali. Koliko jeiteracija potrebno? Koliki je kvocijent |λ2|/|λ1|?

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






ZadatakU MATLAB-u napišite M-file funkcijuinverzne_iteracije() koja implementira inverzneiteracije. Funkcija neka ima ulazne parametre

matricu Apocetnu iteraciju x0

skalar mitoleranciju tol na normu reziduala ‖r%‖2

Kriterij zaustavljanja je ‖Axk − (xTk Axk )xk‖2 ≤ tol.

Rješavanje sustava sa matricom A− µI implementirajte takoda prije iteriranja izracunate njenu LU faktorizaciju spivotiranjem P(A− µI) = LU pomocu MATLAB-ove funkcijelu(). Slijedi da je

(A− µI)−1 = U−1L−1P.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadatak (nastavak)

Dakle, u svakoj iteraciji primjenite yk+1 = U−1L−1Pxk iumjesto rješavanja linearnog sustava rješavate trokutastesustave s matricama L i U (supstitucije u naprijed i unazad). Funkcija neka vraca

aproksimaciju svojstvenog vektora xk

broj iteracija k potrebnih za dostizanje aproksimativnogvektora tražene tocnostivektor duljine k + 1 sa normama reziduala za svakuiteraciju i = 0, . . . , k

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






ZadatakPrimijenite svoju funkciju inverzne_iteracije() namatricu A iz zadatka o kreditnim razredima, s ulaznimparametrima

x0 = [ 1 0 · · · 0 ]T

µ = 1.001tol = 10−5

Nacrtajte norme reziduala u logaritamskoj skali. Koliko jesada iteracija potrebno? Koliki je kvocijent |λ1 − µ|/|λ2 − µ|?

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Schurova dekompozicija

U finacijama cesto se pojavljuje problem pronalaženjasvih svojstvenih vrijednosti i svojstvenih vektora matricekovarijance.Matricu A želimo faktorizirati na nacin da iz njenihfaktora lako možemo ocitati njene svojstvenevrijednosti.Npr. za regularnu matricu S matrica B = S−1AS jeslicna matrici A, i njene svojstvene vrijednosti sujednake svojstvenim vrijednostima od A:

Bx = λx =⇒ ASx = λSx .

Bilo bi poželjno da se svojstvene vrijednosti matrice Blako nadu.Još je poželjnije da se matrica S lako invertira, kao npr.ortogonalne matrice za koje je S−1 = ST .Sljedeci teorem pokazuje da Schurova dekompozicijaobjedinjuje ova poželjna svojstva.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Teorem (Schurova dekompozicija)

Neka je A ∈ Cn×n i neka su λ1, . . . , λn svojstvene vrijednostiod A u proizvoljnom poretku. Tada postoji

unitarna matrica U igornje trokutasta matrica T = [tij ]

takve da je

A = UTU∗, i tii = λi , i = 1, . . . ,n.

Ako je A ∈ Rn×n i ako su sve svojstvene vrijednosti od Arealne, onda je T takoder realna i U se može odabrati dabude ortogonalna.

DefinicijaDekompoziciju A = UTU∗ zovemo Schurova dekompozicijaod A, a matrica T zove se Schurova forma od A.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.Dokaz se provodi matematickom indukcijom po n.

Baza n = 1 i A = 1 · A · 1∗, pri cemu skalar Amožemo smatrati degeneriranom 1× 1 gornjetrokutastom matricom, a 1 je unitarna 1× 1matrica.

Korak Neka je A ∈ Cn×n i pretpostavimo da tvrdnjateorema vrijedi za svaku (n − 1)× (n − 1)matricu.

Promatramo svojstvenu vrijednost λ1 ipripadni svojstveni vektor u1 tako da je

Au1 = λ1u1, ‖u1‖2 = 1.

Skup u1 nadopunimo sa u2, . . . ,un doortonormirane baze u Cn.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Definirajmo ortonormiranu matricuV2 = [ u2 · · · un ] ∈ Cn×(n−1).Tada je matrica U1 = [ u1 V2 ] ∈ Cn×n unitarnamatrica za koju vrijedi

U∗1AU1 =

[u∗1V ∗2

][ Au1 AV2 ] =

[u∗1V ∗2

][ λ1u1 AV2 ]

=

[λ1 u∗1AV20 A2

], A2 = V ∗2 AV2 ∈ C(n−1)×(n−1).

Iz cinjenice da je

det(A− λIn) = (λ1 − λ) · det(A2 − λIn−1),

slijedi da su λ2, . . . , λn svojstvene vrijednosti od A2.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Po pretpostavci indukcije postoji unitarna matricaU2 ∈ C(n−1)×(n−1) i gornje trokutasta matricaT2 ∈ C(n−1)×(n−1) sa λ2, . . . , λn na dijagonali, takve da

A2 = U2T2U∗2 .

Definirajmo sada

U = U1 ·[

1 00 U2

]∈ Cn×n,

za koju vrijedi sljedece

U∗U =

[1 00 U∗2

]U∗1U1

[1 00 U2

]=

[1 00 U∗2U2

]= In,

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).pa je U unitarna matrica sa svojstvom

U∗AU =

[1 00 U∗2

]U∗1AU1

[1 00 U2

]=

[1 00 U∗2

] [λ1 u∗1AV20 A2

] [1 00 U2

]=

[λ1 u∗1AV2U20 U∗2A2U2

]=

[λ1 u∗1AV2U20 T2

]

=

λ1 u∗1AV2U2

0000

λ2 ∗ · · · ∗0 λ3 · · · ∗

0 0. . . ∗

0 0 · · · λn

= T

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






NapomenaKonstrukcija opisana u dokazu prethodnog teoremanije jako prakticna jer direktno koristi svojstvenevrijednosti i vektore.Numericko racunanje Schurove dekompozicije svodi sena beskonacan niz transformacija slicnosti kojesustavno reduciraju elemente ispod glavne dijagonale iosiguravaju trokutastu formu tek u limesu.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






KorolarTrokutasta matrica T u Schurovoj dekompoziciji A = UTU∗

je dijagonalna ako i samo ako je matrica A normalna.Specijalno vrijede sljedeci spektralni teoremi:

Schurova forma hermitske matrice je realnadijagonalna matrica.Schurova forma antihermitske matrice je dijagonalna sacisto imaginarnim dijagonalnim elementima.Schurova forma unitarne matrice je dijagonalna sa|λi | = 1 i = 1, . . . ,n.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.Neka je AA∗ = A∗A i A = UTU∗.Buduci da je T unitarno slicna matrici A, onanasljedjuje njena svojstva poput normalnosti,hermiticnosti, antihermiticnosti i unitarnosti:

A je normalna

TT ∗ = U∗AUU∗A∗U = U∗AA∗U = U∗A∗AU = U∗A∗UU∗AU = T ∗T

A je hermitska

T ∗ = U∗A∗U = U∗AU = T

A je antihermitska

T ∗ = U∗A∗U = −U∗AU = −T

A je unitarna

T ∗T = U∗A∗UU∗AU = U∗A∗AU = U∗U = I

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Dakle, T je gornje trokutasta i TT ∗ = T ∗T pa moramojoš provjerit da je T zaista dijagonalna.Dokazujemo matematickom indukcijom po n.

Baza n = 1 pa je tvrdnja trivijalna (skalar možemoshvatiti i kao trokutastu i kao dijagonalnumatricu).

Korak Neka je A ∈ Cn×n i pretpostavimo da tvrdnjateorema vrijedi za svaku (n−1)×(n−1) matricu.

Prikažimo matricu T kao

T =

[t11 t∗20 T2

],

pri cemu je T2 ∈ C(n−1)×(n−1) gornjetrokutasta.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Vrijedi

T ∗T =

[¯t11 0t2 T ∗2

] [t11 t∗20 T2

]=

[|t11|2 ¯t11t∗2t11t2 t2t∗2 + T ∗2 T2

]TT ∗ =

[t11 t∗20 T2

] [¯t11 0t2 T ∗2

]=

[|t11|2 + t∗2 t2 t∗2T ∗2

T2t2 T2T ∗2

]Iz jednakosti TT ∗ = T ∗T slijedi

|t11|2 = |t11|2 + t∗2 t2 odakle zakljucujemo da jet∗2 t2 = ‖t2‖2

2 = 0 i t2 = 0.t2t∗2 + T ∗2 T2 = T2T ∗2 , odnosno zbog prethodnogzakljucka je T ∗2 T2 = T2T ∗2 .Kako je T2 ∈ C(n−1)×(n−1) po pretpostavci indukcije onaje dijagonalna T2 = diag(t22, . . . , tnn), pa napokonimamo

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

T =

[t11 00 T2

]=

t11 0 0 · · · 00 t22 0 · · · 00 0 t33 · · · 0

. . .0 0 0 · · · tnn

.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






NapomenaVišestruke svojstvene vrijednosti su višestrukoproblematicne:

Svojstveni vektor jednostruke svojstvene vrijednosti jeodreden do na množenje netrivijalnim skalarom —pripadni svojstveni potprostor je jednodimenzionalanSvojstvenoj vrijednosti algebarske kratnosti 2

pripada jedan takav svojstveni vektor ako je njenageometrijska kratnost jedan,ili je svaki netrivijalni vektor iz dvodimenzionalnogpotprostora svojstveni vektor — geometrijska kratnostte svojstvene vrijednosti je onda jednaka dva.

Višestrukost svojstvene vrijednosti je osjetljivo svojstvoi lako ga je izgubiti.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






PrimjerNeka je

A =

[a bc d

], det(λI − A) = λ2 − (a + b)λ+ ab − cd

sa svojstvenim vrijednostima

λ1,2 =a + b ±

√(a + b)2 − 4(ab − cd)

2.

Matrica A ce imati dvostruku svojstvenu vrijednostλ1 = λ2 = (a + b)/2 ako i samo ako je∆ = (a + b)2 − 4(ab − cd) = 0, tj. ako je diskriminantasvojstvenog polinoma jednaka nuli.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Primjer (nastavak)Jasno je da se proizvoljno malim promjenamakoeficijenata a, b, c, d diskriminantu ∆ može iztrivijalne ∆ = 0 pretvoriti u netrivijalnu vrijednost,uslijed npr. grešaka zaokruživanja u aritmetici konacnepreciznosti.Znamo da je u slucaju kada su sve svojstvenevrijednosti razlicite matrica dijagonalizabilna.

Napomena

MATLAB-ova funkcija eig() za svaku matricu A vracaregularnu matricu V i dijagonalnu matricu D takve da jeAV ≈ VD, tj. A ≈ VDV−1 iako matrica A ne mora bitidijagonalizibilna. Kako je to moguce? Odgovor na ovopitanje daje sljedeci korolar.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






KorolarMatrice sa jednostrukim svojstvenim vrijednostima sugust podskup u Cn×n. U proizvoljnoj ε okolini svakematrice A nalazi se matrica A sa jednostrukimsvojstvenim vrijednostima.Specijalno su dijagonalizabilne matrice gust podskup uCn×n.Pri tome, ako je A normalna, hermitska, antihermitska,ili unitarna, matrica A može se odabrati tako da buderedom, normalna, hermitska, antihermitska, ili unitarna.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.Neka A ima s razlicitih svojstvenih vrijednosti λ1, . . . , λssa algebarskim kratnostima n1, . . . ,ns, i neka je

γ = mini 6=j|λi − λj |.

Zanima nas netrivijalan slucaj kada je s < n.Neka je ε > 0 proizvoljan.U Schurovoj dekompoziciji A = UTU∗ svih nidijagonalnih elemenata matrice T = [tij ] za koje jetjj = λi , malim promjenama:

tjj = tjj + δj , |δj | < min

ε√n,γ

2

možemo pretvoriti u ni razlicitih elemenata tjj .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Ovim postupkom za sve λi i = 1, . . . , s dobit cemo nmedusobno razlicitih vrijednosti tjj j = 1, . . . ,n.

Neka je T matrica dobivena iz T zamjenom tii s tii ,i = 1, . . . ,n.Tada vrijedi

‖T − T‖F =‖diag(δ1, . . . , δn)‖F =

√√√√ n∑i=1

|δi |2

<√

nε√n

= ε

Ako definiramo A = UTU∗, onda A ima n medusobnorazlicitih svojstvenih vrijednosti i‖A− A‖F = ‖T − T‖F < ε.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Postoji beskonacno mnogo matrica A kojezadovoljavaju ovu konstrukciju.Ako je A normalna, onda su T i T dijagonalne, pa je i Anormalna.Ako je A hermitska (antihermitska), onda je Tdijagonalna sa dijagonalnim elementima na realnoj(imaginarnoj) osi i opisana varijacija dijagonalnihelemenata se ocito može provesti tako da T budedijagonalna hermitska (antihermitska) sa dijagonalnimelementima na realnoj (imaginarnoj) osi i A hermitska(antihermitska).

U tom slucaju biramo realne (imaginarne) δj .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Ako je A unitarna, onda, zakljucujuci na isti nacin,vidimo da A može biti odabrana da bude unitarna.

U tom slucaju je |tjj | = 1 tj. tjj = eiφj , j = i , . . . ,n i biramoδj = tjj (eiθj − 1) za neke kuteve θj .Tada vrijedi

tjj = tjj + tjj (eiθj − 1) = tjjeiθj = ei(φj +θj ),

pa je |tjj | = 1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






U primjenama se vrlo cesto koriste realne matrice kojeopcenito imaju kompleksne svojstvene vrijednosti, alise cesto ocekuje da svojstvene vrijednosti i svojstvenivektori budu realni.Zbog toga je poželjno da sve operacije kao i samadekompozicija budu realne, jer su kompleksneoperaciju puno “skuplje” od realnih.Kako kompleksne svojstvene vrijednosti realne matricedolaze u parovima kompleksno–konjugiranih brojeva,onda svaki kompleksno–konjugirani par možemoprikazati kao spektar realne 2× 2 matrice na dijagonaliod T .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Provjerimo spektar realne 2× 2 matrice

B2 =

[α β−β α

].

Vrijedi

det(B2 − λI2) = (α− λ)2 + β2 = λ2 − 2αλ+ α2 + β2,

pa su svojstvene vrijednosti matrice B2

λ1,2 =2α±

√4α2 − 4(α2 + β2)

2= α± iβ,

par konjugirano kompleksnih brojeva.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Teorem (Realna Schurova dekompozicija)

Neka je A ∈ Rn×n. Neka A ima r realnih svojstvenihvrijednosti i k kompleksno konjugiranih parova. Tada postojirealna ortogonalna matrica U i blok gornje trokutastamatrica T , blok dimenzije (r + k)× (r + k), tako da je

UT AU =

T[11] T[12] T[13] · · · · · · T[1,r+k ]

T[22] T[23] · · · · · · T[2,r+k ]

. . . . . ....

T[ii] · · · T[i,r+k ]

. . ....

T[r+k ,r+k ]

.

Pri tome r dijagonalnih blokova T[ii] ima dimenzije 1× 1, a kdijagonalnih blokova ima dimenzije 2× 2.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Teorem (nastavak)1× 1 blokovi su realne svojstvene vrijednosti od A,a svojstvene vrijednosti svakog 2× 2 bloka su jedan parkompleksno konjugiranih svojstvenih vrijednosti od A.

Dokaz.Dokaz ide matematickom indukcijom po k .

Baza Za k = 0 sve svojstvene vrijednosti su relane,matrica T je trokutasta i dokaz je analogan kaokod kompleksne Schurove dekompozicije.

Korak Neka A ima k > 0 parova konjugiranokompleksnih svojstvenih vrijednosti ipretpostavimo da postoji realna Schurovadekompozicija za j < k parova.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Neka je λ = α + iβ kompleksna svojstvena vrijednostod A, tada postoje vektori y , z ∈ Rn takvi da je

A(y + iz) =(α + iβ)(y + iz)

=(αy − βz) + i(βy + αz)

odakle slijediAy = αy − βz, Az = βy + αz,

što skraceno možemo napisati

A[ y z ] = [ y z ]

[α β−β α

].

Dakle, spany , z predstavlja dvodimenzionalni realniinvarijantni potprostor od A.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Neka je

[ y z ] = U1

[R0

], U1 ∈ Rn×n,R ∈ R2×2

QR faktorizacija matrice [ y z ].Tada vrijedi

AU1

[R0

]= U1

[R0

] [α β−β α

],

odnosno

UT1 AU1

[R0

]=

R[

α β−β α

]0

.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Za particiju

UT1 AU1 =

[T11 T12T21 T22

]2

n − 22 n − 2

iz prethodne jednakosti slijedi

[T11RT21R

]=

R[

α β−β α

]0

.Kako je T21R = 0, zbog regularnosti matrice R jeT21 = 0. (y i z ne smiju biti kolinearni jer bi u protivnombio β = 0 i imali bi realnu svojstvenu vrijednost.)

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Dakle, možemo zakljuciti

UT1 AU1 =

[T11 T120 T22

],

pri cemu je σ(T11) = α + iβ, α− iβ.Zbog toga što T22 ima k − 1 parova konjugiranokompleksnih svojstvenih vrijednosti, po pretpostavciindukcije postoji unitarna matrica U2 ∈ R(n−2)×(n−2) iblok gornje trokutasta matrica T22 ∈ R(n−2)×(n−2) sadijagonalnim blokovima dimenzija 1× 1 ili 2× 2, takveda je

T22 = U2T22UT2 .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Definirajmo sada

U = U1 ·[

I2 00 U2

]∈ Rn×n,

za koju vrijedi sljedece

UT U =

[I2 00 UT

2

]UT

1 U1

[I2 00 U2

]=

[I2 00 UT

2 U2

]= In,

pa je U ortogonalna matrica.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).U još ima svojstvo

UT AU =

[I2 00 UT

2

]UT

1 AU1

[I2 00 U2

]=

[I2 00 UT

2

] [T11 T120 T22

] [I2 00 U2

]=

[T11 T12U20 UT

2 T22U2

]=

[T11 T12U2

0 T22

]cime je UT AU blok gornje trokutasta matrica sadijagonalnim blokovima dimenzija 1× 1 ili 2× 2.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






KorolarMatrica A ∈ Rn×n je normalna ako i samo ako postoji realnaortogonalna matrica U i blok dijagonalna matrica T tako daje

UT AU =

T[11]

. . .T[r+k ,r+k ]

.Pri tome r dijagonalnih blokova T[ii] ima dimenzije 1× 1, a kdijagonalnih blokova ima dimenzije 2× 2.

A je simetricna, A = AT , ako i samo ako su svidijagonalni blokovi 1× 1, tj. A = UΛUT , gdjeΛ = diag(λ1, . . . , λn) sadrži svojstvene vrijednosti, aodgovarajuci stupci od U su svojstveni vektori.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






KorolarU proizvoljnoj ε okolini svake realne matrice A nalazi serealna matrica A sa jednostrukim svojstvenim vrijednostima.Pri tome, ako je A normalna, simetricna, antisimetricna, iliortogonalna, matrica A može se odabrati tako da buderedom normalna, simetricna, antisimetricna, ili ortogonalna.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Numericko racunanje Schurove dekompozicije

Numericki algoritam za racunanje Schurove formematrice A, o kojoj nemamo nikakvu spektralnuinformaciju, mora biti potpuno konstruktivan i svakinjegov korak mora biti jednostavan za implementacijuna racunalu.Kako je racunanje svojstvenih vrijednosti nužnoiterativna procedura koja tek u limesu otkriva spektar,jasno je da ce u praksi te iteracije biti zaustavljenenakon nekog dovoljno velikog konacnog broja.Pri tome je važno da se iterativni dio izvršava namatricama koje imaju strukturu pogodnu zajednostavan pristup.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zato se algoritam sastoji od 2 koraka:1 Nekom jednostavnom transformacijom unitarne

slicnosti baziranom na konacno elementarnih koraka,prebacujemo proizvoljnu matricu A u matricuH = Q∗AQ koja je jednostavnije strukture i pogodna zaracunanje Schurove forme.

2 Primjena iteratvne metode za racunanje Schuroveforme matrice H.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Hessenbergova forma i tridijagonalizacija

DefinicijaKažemo da je n × n matrica H u Hessenbergovoj formi ili daje Hessenbergova matrica ako je Hij = 0 za i > j + 1.

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

DefinicijaZa n × n Hessenbergovu matricu H kažemo da je strogoHessenbergova ako je Hj+1,j 6= 0 za sve j = 1, . . . ,n − 1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






TeoremNeka je A ∈ Cn×n.

Postoje n × n unitarna matrica Q i Hessenbergovamatrica H, tako da je A = QHQ∗.

Ako je A realna matrica,onda Q možemo odabrati da bude realna ortogonalna,a H realna Hessenbergova.

Ako je u dekompoziciji A = QHQ∗ matrica H strogoHessenbergova, onda je ta dekompozicija jedinstvenoodredena u sljedecem smislu:

Ako je A = QHQ∗ takoder dekompozicija s unitarnom Qi Hessenbergovom H, te ako je Q = [ q1 · · · qn ] iQ = [ q1 · · · qn ], onda q1 = eiφ1q1 povlaci Q = QΦ,gdje je Φ = diag(eiφ1 , . . . ,eiφn ).U slucaju realne dekompozicije realne matrice A svi sueiφ1 ∈ −1,1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.Matricu A svodimo na Hessenbergovu formu tako dapomocu pogodno odabranih unitarnih transformacijamaslicnosti sustavno poništavamo elemente na pozicijama(i , j) za i > j + 1.Te unitarne transformacije su Householderovi reflektori.Ovu konstrukciju ilustrirat cemo na primjeru 5× 5:

A = A1 =

∗ ∗ ∗ ∗ ∗× ∗ ∗ ∗ ∗× ∗ ∗ ∗ ∗× ∗ ∗ ∗ ∗× ∗ ∗ ∗ ∗

,

pri cemu su elementi oznaceni sa × (A1(2 : n,1)) važniza odredivanje prve unitarne transformacije.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Konstruirajmo (n− 1)× (n− 1) Householderov reflektorQ1 takav da je

Q1A1(2 : n,1) = ±‖A1(2 : n,1)‖2e1 =

∗0...0

.n × n unitarnu transformaciju definiramo kao

Q1 =

[1 00 Q1

].

Vezano uz Q1 uocimo sada dvije stvari:

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).1 transformacija slicnosti A2 = Q∗1 AQ1 djeluje na sljedece

elemente matrice A

A2 =

[1 00 Q∗1

]A1

[1 00 Q1

]=

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗

,pri cemu

primjena Q∗1 slijeva mijenja elemente ∗,primjena Q1 zdesna mijenja elemente ∗,dok primjena obiju transformacija mijenja elemente ∗.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).2 S druge strane, zbog izbora Householderovog

reflektora Q1 i cinjenice da primjena Q1 zdesna nemijenja 1. stupac, imamo situaciju

A2 =

[1 00 Q∗1

]A1

[1 00 Q1

]=

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗0 × ∗ ∗ ∗0 × ∗ ∗ ∗0 × ∗ ∗ ∗

,pri cemu su elementi oznaceni sa × (A2(3 : n,2)) važniza odredivanje druge unitarne transformacije.

Konstruirajmo (n− 2)× (n− 2) Householderov reflektorQ2 takav da je

Q2A2(3 : n,2) = ±‖A2(3 : n,2)‖2e1.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).n × n unitarnu transformaciju definiramo kao

Q2 =

[I2 00 Q2

].

Nova transformacija slicnosti A3 = Q∗2A2Q2 je sadaoblika

A3 =

[I2 00 Q∗2

]A2

[I2 00 Q2

]=

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 × ∗ ∗0 0 × ∗ ∗

,

pri cemu su elementi oznaceni sa × (A3(4 : n,3)) važniza odredivanje trece unitarne transformacije.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Konstruirajmo još zadnji (n − 3)× (n − 3)Householderov reflektor Q3 takav da je

Q3A3(4 : n,3) = ±‖A3(4 : n,3)‖2e1.

n × n unitarnu transformaciju definiramo kao

Q3 =

[I3 00 Q3

].

Transformacija slicnosti A4 = Q∗3A3Q3 je sada oblika

A4 =

[I3 00 Q∗3

]A3

[I3 00 Q3

]=

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Dakle, matrica A4 = Q∗3Q∗2Q∗1AQ1Q2Q3 je u željenojHessenbergovoj formi.Opcenito, postigli smo to u n − 2 koraka generirajucin − 2 Householderova reflektora Qi , od kojih Qiponištava Ai+1(i + 2 : n, i) = 0.Ovime je završena konstrukcija Hessenbergove forme:matrica Q = Q1Q2 · · ·Qn−2 ima svojstvo da jeH = Q∗AQ gornje Hessenbergova.Dokažimo još da je Hessenbergova forma esencijalnojedinstvena.Pretpostavka je: H = Q∗AQ, H = Q∗AQ i q1 = eiφ1q1.Jer jeh11 = q∗1Aq1, h11 = q∗1Aq1 = ei(−φ1+φ1)q∗1Aq1 = q∗1Aq1,slijedi da je h11 = h11.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

U jednakostima AQ = QH i AQ = QH promatramosamo prve stupce:

Aq1 = h11q1 + h21q2, eiφ1Aq1 = eiφ1h11q1 + h21q2.

Ako prvu jednakost u prethodnom izrazu pomnožim seiφ1 dobivamo

h21q2 = eiφ1h21q2.

Kako je po pretpostavci H strogo Hessenbergovamatrica tj. h21 6= 0, zakljucujemo da je |h21| = |h21|, i

q2 = eiφ1h21

h21q2 = eiφ2q2.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Naposljetku još vrijedi

h22 =q∗2Aq2 = ei(−φ2+φ2)q∗2Aq2 = q∗2Aq2 = h22

h21 =q∗2Aq1 = ei(−φ2+φ1)q∗2Aq1 = ei(φ1−φ2)h21

h12 =q∗1Aq2 = ei(−φ1+φ2)q∗1Aq1 = ei(φ2−φ1)h12

Nastavljamo dalje induktivno: pretpostavimo da smo zam < n vektora dobili qj = qjeiφj , j = 1, . . . ,m.Promatrajuci m-te stupce u jednakostima AQ = QH iAQ = QH, dobivamo relacije

Aqm =m∑

j=1

hjmqm + hm+1,mqm+1

eiφmAqm =m∑

j=1

ei(φm−φj )hjmeiφj qj + hm+1,mqm+1

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Na isti nacin kao za m = 1 zakljucujemo da je

hm+1,mqm+1 = eiφmhm+1,mqm+1.

Kako je hm+1,m 6= 0, i |hm+1,n| = |hm+1,m|, vrijedi

qm+1 = eiφmhm+1,m

hm+1,mqm+1 = eiφm+1qm+1.

PropozicijaSvojstvene vrijednosti strogo Hessenbergove matrice Himaju geometrijsku kratnost jedan.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Napomena

U kontekstu racunanja Schurove dekompozicije,numericki algoritmi uvijek rade na strogoHessenbergovim matricama.Jer, ako je neki hj+1,j = 0 onda se problem razbija nadva problema manje dimenzije:

H =

∗ ∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗ ∗0 0 0 ∗ ∗ ∗0 0 0 ∗ ∗ ∗0 0 0 0 ∗ ∗

=

[H[11] H[12]

0 H[22]

].

Nakon racunanja Schurovih dekompozicija matrica odH[11] i H[22] Schurova dekompozicija od H može sejednostavno sastaviti.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






NapomenaAko je matrica A hermitska, A = A∗, onda je iHessenbergova forma H = Q∗AQ hermitska.Kako je H Hessenbergova i hermitska, onda je nužnotridijagonalna.

DefinicijaKažemo da je n × n matrica T tridijagonalna ako je Tij = 0za |i − j | > 1.

∗ ∗ 0 0 0∗ ∗ ∗ 0 00 ∗ ∗ ∗ 00 0 ∗ ∗ ∗0 0 0 ∗ ∗

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






QR metoda

Preostalo nam je definirati iterativnu metodu koja ce najednostavan nacin racunati Schurovu dekompozicijuHessenbergove matrice.

Algoritam (QR metoda)

A(1) = A;k = 1;while ∼kriterij_zaustavljanja

izracunaj QR faktorizaciju A(k) = Q(k)R(k);A(k+1) = R(k)Q(k);k = k + 1;

end

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






TeoremMatrice izracunate QR metodom imaju sljedeca svojstva:

Za svaki k jeA(k+1) = (Q(k))∗A(k)Q(k),

tj. algoritam generira niz unitarno slicnih matrica.Za svaki k je

A(k+1) = (Q(1) · · ·Q(k))∗A(Q(1) · · ·Q(k)).

Ako definiramo

Q[1:k ] = Q(1) · · ·Q(k), R[1:k ] = R(k) · · ·R(1),

onda jeAk = Q[1:k ]R[1:k ]

QR faktorizacija potencije Ak .

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.Vrijedi

A(k+1) =R(k)Q(k) = (Q(k))∗Q(k)R(k)Q(k)

=(Q(k))∗A(k)Q(k).

Induktivno, koristeci prethodnu tvrdnju, imamo:

A(k+1) =(Q(k))∗A(k)Q(k)

=(Q(k))∗(Q(k−1))∗A(k−1)Q(k−1)Q(k) = · · ·

Razmotrimo prvih nekoliko potencija:

A2 = Q(1) R(1)Q(1)︸︷︷︸A(2)=Q(2)R(2)

R(1) = Q(1)Q(2)R(2)R(1)

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

A3 =A · A2 = Q(1) R(1)Q(1)︸︷︷︸A(2)=Q(2)R(2)

Q(2)R(2)R(1) =

=Q(1)Q(2) R(2)Q(2)︸︷︷︸A(3)=Q(3)R(3)

R(2)R(1) =

=Q(1)Q(2)Q(3)R(3)R(2)R(1)

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Konvergencija QR metode

TeoremNeka je A ∈ Cn×n regularna matrica sa svojstvenimvrijednostima

|λ1| > |λ2| > · · · > |λn−1| > |λn| > 0.

Tada niz matrica A(k) izracunat QR metodom konvergira usljedecem smislu: Postoje dijagonalne unitarne matrice Φ(k)

takve da je

limk→∞

(Φ(k))∗A(k+1)Φ(k) =

λ1 ∗ ∗ · · · ∗0 λ2 ∗ · · · ∗...

. . ....

0 0 · · · λn−1 ∗0 0 · · · 0 λn

= Q∗AQ,

gdje je Q = limk→∞Q(1) · · ·Q(k)Φ(k).

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






QR metoda s Hessenbergovim matricama

U prethodnom teoremu pretpostavka je bila da jematrica A regularna.S druge strane bilo bi poželjno imati algoritam zaracunanje Schurove dekompozicije i za singularnematrice.Kako nam je cilj naci dekompoziciju T = U∗AU, T jegornje trokutasta i U unitarna, tada su najpogodnijetransformacije unitarne slicnosti:

1 ako je H = (U(0))∗AU(0) unitarna slicnost2 ako je T = (U(1))∗HU(1) Schurova dekompozicija

onda U = U(0)U(1) daje Schurovu formu T = U∗AUmatrice A.Pri tome 1. transformacija se provodi u konacno mnogokoraka, a matrica H je takve strukture da je svaki korakQR metode u 2. transformaciji puno efikasniji nego kadje primijenjen na matricu A.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






PropozicijaNeka je H = QR QR faktorizacija Hessenbergove matriceH. Vrijedi:

Matrice Q i RQ su takoder Hessenbergove.Ako je H strogo Hessenbergova i singularna, onda jeRnn = 0 i Rjj 6= 0 za j = 1, . . . ,n − 1.Ako je H strogo Hessenbergova, onda su Q i Resencijalno jedinstvene (neovisno o rangu od H).

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz.Dokaz cemo ilustrirati na 5× 5 matrici

H =

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

u kojoj treba poništiti elemente oznacene s ∗.

Za poništavanje elementa na poziciji (2,1) koristimogivensovu rotaciju G(1), i definiramo H(1) = (G(1))∗H

c1 s1 0 0 0−s1 c1 0 0 0

0 0 1 0 00 0 0 1 00 0 0 0 1

∗ ∗ ∗ ∗ ∗~ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

=

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

= H(1).

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).

Za poništavanje elementa na poziciji (3,2) u H(1)

koristimo givensovu rotaciju G(2), i definiramoH(2) = (G(2))∗H(1)

1 0 0 0 00 c2 s2 0 00 −s2 c2 0 00 0 0 1 00 0 0 0 1

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 ~ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

=

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗

= H(2).


koristimo givensovu rotaciju G(3), i definiramoH(3) = (G(3))∗H(2)

1 0 0 0 00 1 0 0 00 0 c3 s3 00 0 −s3 c3 00 0 0 0 1

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 ~ ∗ ∗0 0 0 ∗ ∗

=

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗0 0 0 ∗ ∗

= H(3).

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).


koristimo givensovu rotaciju G(4), i definiramoR = H(4) = (G(4))∗H(3)

1 0 0 0 00 1 0 0 00 0 1 0 00 0 0 c4 s40 0 0 −s4 c4

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗0 0 0 ~ ∗

=

∗ ∗ ∗ ∗ ∗0 ∗ ∗ ∗ ∗0 0 ∗ ∗ ∗0 0 0 ∗ ∗0 0 0 0 ∗

= H(4).

Opcenito trebamo n − 1 rotaciju, i QR faktorizacija jeoblika

H = G(1) · · ·G(n−1)︸︷︷︸Q

R.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Dalje, u našem 5× 5 primjeru je

Q =

c1 −s1 0 0 0s1 c1 0 0 00 0 1 0 00 0 0 1 00 0 0 0 1

1 0 0 0 00 c2 −s2 0 00 s2 c2 0 00 0 0 1 00 0 0 0 1

·

·

1 0 0 0 00 1 0 0 00 0 c3 −s3 00 0 s3 c3 00 0 0 0 1

1 0 0 0 00 1 0 0 00 0 1 0 00 0 0 c4 −s40 0 0 s4 c4

=

c1 −s1c2 s1s2c3 −s1s2s3c4 s1s2s3s4s1 c1c2 −s2c1c3 s2s3c1c4 −s2s3s4c10 s2 c2c3 −s3c2c4 s3s4c20 0 s3 c3c4 −s4c30 0 0 s4 c4

,odavde se lako vidi da je za svaki n > 2 matrica QHessenbergova.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Lako se provjeri da je produkt RQ gornje trokutaste iHessenbergove matrice nužno Hessenbergova matrica.U slucaju strogo Hessenbergove matrice mora bitiRjj 6= 0 za j = 1, . . . ,n − 1.

Rjj može biti 0 ako i samo ako je u j-tom stupcu matriceH(j−1) i dijagonalni i ispoddijagonalni element jednak 0.

Ako je matrica još i singularna, onda je nužno i Rsingularna, pa je Rnn = 0.Iz prethodno dokazanih tvrdnji znamo da su prvih n − 1stupaca u H linearno nezavisni, pa teorem ojedinstvenosti QR faktorizacije jedinstveno (do namnoženje brojevima modula jedan) odreduje prvihn − 1 stupaca matrice Q.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Dokaz (nastavak).Kako je Q unitarna, onda se njen n-ti stupac nalazi ujednodimenzionalnom potprostoru koji je ortogonalanna linearnu ljusku prvih n − 1 stupaca, pa je odredendo na množenje skalarom modula jedan.

Korolar

Ako QR iteracije H(k) = Q(k)R(k); H(k+1) = R(k)Q(k)

primijenimo na Hessenbergovu matricu H, onda su svematrice H(k), Q(k) Hessenbergove.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Razmotrimo još sada složenost ovakvog algoritma.Pocetna redukcija matrice A na Hessenbergovu formuH zahtijeva O(n3) operacija.Kako QR iteracije cuvaju Hessenbergovu formu, svakaQR faktorizacija H(k) = Q(k)R(k) se racuna sa O(n2)operacija.To je bitno brže od QR faktorizacije A(k) = Q(k)R(k)

opcenite kvadratne matrice za koju je potrebno O(n3)operacija.Kako je Q(k) = G(k ,1) · · ·G(k ,n−1) produkt od n − 1Givensovih rotacija, a svaku od njih se može primijenitis O(n) operacija, onda

H(k+1) = R(k)G(k ,1) · · ·G(k ,n−1)

pokazuje da je prijelaz sa H(k) na H(k+1) moguc sasamo O(n2) aritmetickih operacija.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadaci

ZadatakU MATLAB-u napišite M-file funkciju hessenberg() kojarealnu matricu A transformacijama unitarne slicnosti svodina Hessenbergovu formu. Funkcija neka ima ulazniparametar

matricu Aizlazne parametre

Hessenbergovu matricu H,ortogonalnu matricu Q takvu da je A = QHQT .

Za generiranje Householderovih reflektora koristiteMATLAB-ovu funkciju gallery(’house’,...).

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Podsjetnik na Householderove reflektore

Za zadani vektor x ∈ Rn, x 6= 0, tražimo ortogonalnumatricu H ∈ Rn×n takvu da je

Hx = αe, gdje je e ∈ Rn, ‖e‖2 = 1 zadani vektor.

Za x = 0 je H = I i nužno je α = 0.Za H zahtijevamo da je oblika

H = In − βvvT , gdje je β > 0, v 6= 0.

Matrica H je Householderov reflektor.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Svojstva Householderovog reflektora:H je simetricna matrica, tj. HT = H.Za β = 2

‖v‖22

je H ortogonalna matrica.

Zbog ortogonalnosti od H mora biti ‖x‖2 = |α|, padefiniramo

α =

−‖x‖2, eT x ≥ 0‖x‖2, eT x < 0

Predznak se bira zbog stabilnosti metode, daizbjegnemo fatalno kracenje.Da bi vrijedila tražena svojstva matrice H, moramodefinirati sljedece:

v =x − αe

β =1

‖x‖2(‖x‖2 + |eT x |)

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Napomena

Da bismo racunali sa Householderovim reflektorom Huopce ga ne trebamo posebno racunati kako bismodobili njegov matricni oblik.Za y ∈ Rn je:

Hy =(

I − βvvT)

y = y − (βvT y)v .

Dakle, potrebno je izracunati samo skalarni produktvT y i µ = βvT y ∈ R, odakle je

Hy = y − µv ,

što je manje operacija nego generirati matricu H imnožiti je vektorom.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






ZadatakU MATLAB-u napišite M-file funkciju schur_qr() koja zarealnu Hessenbergovu matricu H racuna realnu Schurovudekompoziciju pomocu QR metode. Funkcija neka imaulazne parametre

n × n Hessenbergovu matricu H,toleranciju tol na apsolutne vrijednostiispoddijagonalnih elemenata.

i izlazne parametreblok gornje trokutastu matricu T s dijagonalnimblokovima dimenzija 1× 1 ili 2× 2,ortogonalnu matricu U takvu da je H = UTUT ,

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadatak (nastavak)

jednodimenziono polje ind2, ciji element ind2(i) = joznacavaju pocetni indeks 2× 2 bloka na dijagonali odT [

tjj tj,j+1tj+1,j tj+1,j+1

];

ind2 ima onoliko elemenata koliko ima 2× 2 blokova nadijagonali od T ,broj iteracija k QR metode potrebnih za postizanjedanog kriterija zaustavljanja.

Detalji:Prije svake iteracije QR metode funkcija mora provjeritida li je neki ispoddijagonalni element jednak 0, tj da li jeH strogo Hessenbergova matrica.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadatak (nastavak)Ispoddijagonalni element hi+1,i postavljamo na 0 akovrijedi

|hi+1,i | ≤ tol(|hi,i |+ |hi+1,i+1|).

Ako takvog elementa hi+1,i nema normalno se izvodiiteracija metode.Ako se pojavi barem jedan element za kojeg možemostaviti hi+1,i = 0, tada polazni problem razbijamo napodprobleme manjih dimenzija.Ako na primjer postoje takva 2 ispodijagonalnaelementa hi1+1,i1 = 0 i hi2+1,i2 = 0, onda imamosljedecu situaciju

H =

H11 H12 H130 H22 H230 0 H33

,

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadatak (nastavak)

pri cemu su H11 = H(1 : i1,1 : i1),H22 = H(i1 + 1 : i2, i1 + 1 : i2) i H33 = H(i2 + 1 : n, i2 + 1 : n)

strogo Hessenbergove matrice.Sada se racunaju Schurove dekompozicije matricaH11 = U11T11UT

11, H22 = U22T22UT22 i H33 = U33T33UT

33rekurzivnim pozivom funkcije schur_qr().Nakon svake Schurove dekompozicije blokdijagonalnog elementa potrebno je ažurirati matricu H:

H =

UT11 0 00 I 00 0 I

H11 H12 H130 H22 H230 0 H33

U11 0 00 I 00 0 I

=

T11 UT11H12 UT

11H130 H22 H230 0 H33

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadatak (nastavak)

H =

I 0 00 UT

22 00 0 I

H11 H12 H130 H22 H230 0 H33

I 0 00 U22 00 0 I

=

H11 H12U22 H130 T22 UT

22H230 0 H33

H =

I 0 00 I 00 0 UT

33

H11 H12 H130 H22 H230 0 H33

I 0 00 I 00 0 U33

=

H11 H12 H13U330 H22 H23U330 0 T33

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zadatak (nastavak)Smanjivanje dimenzija radi se tako dugo dok nedobijemo m ×m matricu sa m ≤ 2.U tom slucaju ne radi se ništa vece se samo vrateodgovarajuci izlazni parametri.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Podsjetnik na Givensove rotacije

Givensove rotacije su kvadratne matrice koje sudobivene ulaganjem dvodimenzionalnih rotacija u vecujedinicnu matricu.

G(p, q;φ) =

1...

.

.

.

. . ....

.

.

. 0

1...

.

.

.· · · · · · · · · c · · · · · · · · · −s · · · · · · · · ·

.

.

. 1...

.

.

.. . .

.

.

.... 1

.

.

.· · · · · · · · · s · · · · · · · · · c · · · · · · · · ·

.

.

.... 1

0...

.

.

.. . .

.

.

.... 1

p

q

p q

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






gdje su

G(p,q) = G(p,q;φ) ∈ Rn×n

c = cosφs = sinφφ ∈ [0,2π〉,

a p i q su pivotni indeksi i smatramo da je p < q.Matrica G(p,q;φ) je ocito ortogonalna i vrijedi

G(p,q;φ)−1 = G(p,q;φ)T = G(p,q;−φ).

Pomnožimo li matricu A ∈ Rm×n slijeva sa G(p,q;φ)T ,u A se promijeni samo p-ti i q-ti redak, a sve ostaloostaje isto.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Zato umjesto velike matrice možemo gledati pripadnuravninsku rotaciju

G = G(p,q;φ) =

[c −ss c

]i samo p-ti i q-ti redak od A.Neka su

[a1 a2 · · · an] i [b1 b2 · · · bn]

p-ti i q-ti redak od A i neka je A = GT A.Zapravo mijenjamo samo ovo:[

c s−s c

] [a1 a2 · · · anb1 b2 · · · bn

]=

[a1 a2 · · · anb1 b2 · · · bn

].

φ cemo odabrati tako da se u A poništi element namjestu (q, r), tj. tako da je br = 0.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Imamo:

cai + sbi =ai

−sai + cbi =bi , i = 1, . . . ,n

Iz uvjeta br = 0, je

cbr = sar ,

GT[

arbr

]=

[ar0

].

Buduci da je G ortogonalna vrijedi

|ar | =

∥∥∥∥[ ar0

]∥∥∥∥2

=

∥∥∥∥GT[

arbr

]∥∥∥∥2

=

∥∥∥∥[ arbr

]∥∥∥∥2

=

√a2

r + b2r .

ar biramo tako da bude pozitivan:

ar =

√a2

r + b2r > 0.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Ako je ar = br = 0 tada G = I.Napokon, dobivamo

c =ar

ar, s =

br

ar.

Napomena

Zbog tocnijeg racunanja u aritmetici konacne preciznosti, c is se cesto racunaju kao

|br | > |ar |

τ =ar

br, s =

sign(br )√1 + τ2

, c = sτ,

|br | ≤ |ar |

τ =br

ar, c =

sign(ar )√1 + τ2

, s = cτ.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Domaca zadaca1 SOR metoda i metoda potencija

Generirajte dvije n × n matrice A1 i A2 za n ≥ 10, takveda za A1 SOR metoda s optimalnim parametrom sporokonvergira, a za A2 konvergira brzo.

Iskoristite svoju MATLAB funkcijumetoda_potencija() za racunanje spektralnogradijusa matrice iteracija i odredivanje optimalnogparametra ω.Optimalni parametar ocitajte s grafa dobivenogMATLAB funkcijom sor_konvergencija().Iskoristite svoju MATLAB funkciju sor() za rješavanjesustava A1x = b1 i A2x = b2, gdje su b1 i b2 odredenitako da je egzaktno rješenje u oba slucaja jednako[ 1 · · · 1 ]T . Uzmite optimalne parametre i istutoleranciju tol = 10−8 za oba sustava.Nacrtajte grafove grešaka i relativnih normi reziduala zaoba sustava, pravilno oznacite osi i legendu.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Domaca zadaca (nastavak)2 Metoda konjugiranih gradijenata i Schurova

dekompozicijaGenerirajte dvije n × n matrice A3 i A4 za n ≥ 10, takveda za A3 metoda konjugiranih gradijenata sporokonvergira, a za A4 konvergira brzo.

Iskoristite svoje MATLAB funkcije hessenberg() ischur_qr() za racunanje spektra matrica A3 i A4. Zaschur_qr() uzmite tol = 10−8. Svojstvene vrijednostiocitajte iz njihovih Schurovih formi, pri cemu svojstvenevrijednosti 2× 2 blokova na dijagonali izracunajte kaorješenja kvadratne jednadžbe.Iskoristite svoju MATLAB funkciju cg() za rješavanjesustava A3x = b3 i A4x = b4, gdje su b3 i b4 odredenitako da je egzaktno rješenje u oba slucaja jednako[ 1 · · · 1 ]T . Uzmite istu toleranciju tol = 10−8 zaoba sustava.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Domaca zadaca (nastavak)Nacrtajte grafove grešaka i relativnih normi reziduala zaoba sustava, pravilno oznacite osi i legendu.

3 Programski dio zadaceSvaki student mora sam napisati sve gore navedenefunkcije i matrice, i mora ih znati objasniti nastavniku.Ukoliko se utvrdi da student nije sam napravio svojezadatke nece dobiti minimani broj bodova iz zadace!

4 Pismeni dio zadaceSvaki student ce predati nastavniku pismeni opisrezultata svoje zadace. Potrebno je:

za svaku matricu Ai i = 1,2,3,4 napisati dimenziju, brojuvjetovanosti i karakteristiku matrice koja bi mogla bitivažna za danu iterativnu metodu za rješavanje sustavalinearnih jedadžbi (dijagonalna dominantnost,simetricnost, pozitivna definitnost,. . . ),

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






Domaca zadaca (nastavak)za svaku matricu Ai i = 1,2,3,4 navesti svojstvo zbogkojeg dana iterativna metoda za rješavanje sustavalinearnih jedadžbi sporo ili brzo konvergira, uzobjašnjenje zašto je to tako (odgovarajuci teorem),za svaki sustav Aix = bi i = 1,2,3,4 napisati dobivenuaproksimaciju rješenja u long formatu,za svaki sustav Aix = bi i = 1,2,3,4 nacrtati prethodnoopisane grafove konvergencije,za svaki sustav Aix = bi i = 1,2,3,4 navesti komentaro tome da li se dobiveni rezultati poklapaju sa goreopisanim svojstvom matrice.

Sve matrice i vektore spremite u datoteku naredbomsave.

Numerickemetode


Nela Bosner

MATLAB



Inverzne iteracije

Zadaci




QR metoda

Zadaci






NapomenaKod 1. dijela zadatka metoda potencija može vrlo sporokonvergirati za neke matrice iteracija T , kod kojih je ω blizu0 ili 2. Ovaj problem možete popraviti na sljedeci nacin.Metodi potencija dodajte još jedan izlazni parametar flagkoji ce biti jednak

1, ako je metoda izkonvergirala u manje ili jednako 100koraka,0, ako metoda nije izkonvergirala u 100 koraka; u tomslucaju metoda prekida sa izvršavanjem.

Ukoliko je metoda vratila flag= 0 spektralni radijusizracunajte pomocu MATLAB-ove funkcije eig().

Numerickemetode


Nela Bosner

MATLAB



DekompozicijasingularnihvrijednostiNumericko racunanjeSVD-a

Bidijagonalizacija

Bidijagonalni SVD





Dekompozicija singularnih vrijednosti (SVD)

Vidjet cemo da množenjem razlicitim unitarnimmatricama s lijeva i desna možemo proizvoljnupravokutnu matricu svesti na dijagonalni oblik.Ova dekompozicija ima veze sa svojstvenim problemomi sprektralnim dekompozicijama matrica A∗A i AA∗.SVD ima široku primjenu:

racunanje inverza regularne kvadratne matriceracunanje generaliziranog inverza pravokutne matriceracunanje uvjetovanosti matricerješavanje ortogonalnog Procrustes problemanalaženje presjeka jezgara dvaju linearnih operatoranalaženje kuteva izmedu dva potprostoranalaženje presjeka potprostorarješavanje linearnog problema najmanjih kvadratarješavanje linearnog problema totalnih najmanjihkvadratarješavanje integralnih jednadžbiprocesiranje slika

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Teorem (Dekompozicija singularnih vrijednosti (SVD))

Neka je A ∈ Cm×n matrica ranga r . Tada postoje unitarnematrice U ∈ Cm×m i V ∈ Cn×n takve da je na jedinstvennacin odredena dijagonalna matrica

U∗AV = Σ =

[Σ+ 00 0

]r

m−r

r n−r

gdje je Σ+ = diag(σ1, . . . , σr ), uz σ1 ≥ σ2 ≥ · · · ≥ σr > 0.Kažemo da je A = UΣV ∗ dekompozicija singularnihvrijednosti (SVD) matrice A.

Napomena

Ako je A ∈ Rm×n realna matrica tada postoje ortogonalnematrice U ∈ Rm×m i V ∈ Rn×n takve da je A = UΣV T SVDmatrice A.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Dokaz.Primjetimo da je A∗A ∈ Cn×n hermitska pozitivnosemidefinitna matrica:

x∗A∗Ax = (Ax)∗Ax = ‖Ax‖22 ≥ 0, za ∀x ∈ Cn.

i da ima realne nenegativne svojstvene vrijednosti:

za λ ∈ σ(A∗A) ∃x ∈ Cn, x 6= 0 takav da je A∗Ax = λx ,

vrijedi: x∗A∗Ax = λx∗x ⇒ λ =‖Ax‖22‖x‖22

≥ 0.

Definiramo svojstvene vrijednosti od A∗A:σ(A∗A) = σ2

1, σ22, . . . , σ

2s , σ

2s+1, . . . , σ

2n,

takve da jeσ1 ≥ σ2 ≥ · · · ≥ σs > 0 = σs+1 = · · · = σn.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Dokaz (nastavak).Sada definiramo regularnu dijagonalnu matricuΣ+ = diag(σ1, . . . , σs) ∈ Cs×s.Kako je A∗A hermitska znamo da je njena Schurovaforma upravo dijagonalna matrica[

Σ2+ 0

0 0

]s

n−s

s n−s

što znaci da postoji unitarna matrica V ∈ Cn×n takva da

V ∗A∗AV =

[Σ2

+ 00 0

].

Particionirajmo sada matricu V = [ V1 V2 ], gdje suV1 ∈ Cn×s i V2 ∈ Cn×(n−s).

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Dokaz (nastavak).Odavde slijedi da je[

Σ2+ 0

0 0

]=

[V ∗1V ∗2

]A∗A[ V1 V2 ] =

[V ∗1 A∗AV1 V ∗1 A∗AV2V ∗2 A∗AV1 V ∗2 A∗AV2

],

pa vidimo da mora biti

V ∗1 A∗AV1 = Σ2+,

iV ∗2 A∗AV2 = (AV2)∗AV2 = 0 ⇒ AV2 = 0.

Sada definiramo matricu

U1 = AV1Σ−1+ ∈ Cm×s,

za koju vrijedi

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Dokaz (nastavak).

U∗1U1 =(AV1Σ−1+ )∗AV1Σ−1

+ = Σ−1+ V ∗1 A∗AV1Σ−1

+

=Σ−1+ Σ2

+Σ−1+ = I

dakle, matrica U1 je ortonormalna.Neka su stupci matrice U2 ∈ Cm×(m−s) nadopuna zastupce iz U1 do ortonormirane baze prostora Cm.Tada je U = [ U1 U2 ] ∈ Cm×m unitarna matrica, zakoju zbog jednakosti

U1 = AV1Σ−1+ , V ∗1 A∗AV1 = Σ2

+, AV2 = 0

vrijedi

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Dokaz (nastavak).

U∗AV =

[U∗1U∗2

]A[ V1 V2 ] =

[U∗1AV1 U∗1AV2U∗2AV1 U∗2AV2

]=

[Σ−1

+ V ∗1 A∗AV1 U∗10U∗2U1Σ+ U∗20

]=

[Σ+ 00 0

]= Σ.

Dakle, našli smo unitarne matrice U i V takve da jeU∗AV = Σ, gdje je Σ dijagonalna matrica ranga s.Još vrijedi

s = rang(Σ) = rang(A) = r

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





DefinicijaNenegativni elementi na dijagonali matrice Σ

σ1 ≥ σ2 ≥ · · · ≥ σp ≥ 0, p = minm,n

zovu se singularne vrijednosti matrice A,prvih p stupaca matrice U = [ u1 · · · um ] zovu selijevi singularni vektori matrice A,a prvih p stupaca matrice V = [ v1 · · · vn ] zovu sedesni singularni vektori matrice A.Ako usporedujemo stupce u jednakostima AV = UΣ iA∗U = V Σ∗ dobit cemo da za singularne vrijednosti isingularne vektore vrijedi

Avi =σiui

A∗ui =σivi , i = 1, . . . ,p.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





NapomenaAko izvršimo particiju matrica

U = [ U1 U2 ] V = [ V1 V2 ]r m−r r n−r

onda iz prethodnog teorema slijedi:1 Im(A) = spanu1, . . . ,ur2 Ker(A) = spanvr+1, . . . , vn3 Imamo [

Σ+ 00 0

]=

[U∗1U∗2

]A[ V1 V2 ],

odnosnoΣ+ = U∗1 AV1.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Napomena (nastavak)Dakle, dekompoziciju singularnih vrijednosti možemonapisati u skracenom obliku

A = U1Σ+V ∗1 =r∑

i=1

σiuiv∗i ,

pri cemu su U1 ∈ Cm×r i V1 ∈ Cn×r ortonormalnematrice.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Napomena

Za matricu A ∈ Cm×n ranga r ≤ min(m,n), matriceA∗A ∈ Cn×n i AA∗ ∈ Cm×m su hermitske i pozitivnosemidefinitne. Vrijedi:

V ∗A∗AV = diag(σ21, . . . , σ

2r ,0, . . . ,0︸︷︷︸

n−r

), σ1≥σ2≥···≥σr>0

tj, kvadrati singularnih vrijednosti matrice A susvojstvene vrijednosti matrice A∗A, samo što se medunjima nalazi n − r nula, a stupci matrice V su njenisvojstveni vektori.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Napomena (nastavak)

U∗AA∗U = diag(σ21, . . . , σ

2r ,0, . . . ,0︸︷︷︸

m−r

), σ1≥σ2≥···≥σr>0

tj, kvadrati singularnih vrijednosti matrice A susvojstvene vrijednosti matrice AA∗, samo što se medunjima nalazi m − r nula, a stupci matrice U su njenisvojstveni vektori.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





TeoremNeka je A = UΣV ∗ SVD matrice A ∈ Cm×n ranga r . Zak ∈ 1, . . . , r − 1 definiramo matricu

Ak =k∑

i=1

σiuiv∗i .

Tada je

minrang(B)=k

‖A− B‖2 =‖A− Ak‖2 = σk+1

minrang(B)=k

‖A− B‖F =‖A− Ak‖F =

√√√√minm,n∑i=k+1

σ2i .

Dakle, od svih m × n matrica ranga k matrica Ak je najbližamatrici A u spektralnoj i u Frobeniusovoj normi.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Numericko racunanje SVD-a

Kao i kod racunanja Schurove dekompozicije, racunanjeSVD-a možemo izvesti u dva koraka:

1 Unitarnim transformacijama svesti matricu A ∈ Cm×n

(BSOMP m ≥ n) na bidijagonalnu formu

A = U[

B0

]V ∗, U ∈ Cm×m, B,V ∈ Cn×n,

gdje su U i V unitarne, a B je bidijagonalna

B =

ψ1 φ2

ψ2 φ3. . . . . .

ψn−1 φnψn

.2 Primjena efikasne iteratvne metode za racunanje

SVD-a matrice B.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Bidijagonalizacija

Bidijagonalizacija je bazirana na množenju matrice slijeva i s desna Householderovim reflektorima, takvimada na kraju postupka dobijemo sljedecu relaciju[

B0

]= Un · · ·U1AV1 · · ·Vn−2, U=U1···Un, V =V1···Vn−2,

gdje su Uk i Vk Householderovi reflektori.Householderovi reflektori Uk biraju se tako da poništeelemente matrice A ispod dijagonale.Householderovi reflektori Vk biraju se tako da poništeelemente matrice A iznad 1. gornje sporednedijagonale.Racunanje i primjena Householderovih reflektora Uk iVk medusobno se izmjenjuju:

u k -tom koraku Uk ce poništiti sve elemente ispoddijagonale u k -tom stupcu,a Vk ce poništiti sve elemente desno od 1. gornjesporedne dijagonale u k -tom retku.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Bidijagonalizacija je prikazana na sljedecoj slici.

••••••

••••••

••••••

•••••• • • • •

•••••

•••••

•••••

• •

•••••

•••••

•••••

• •• • •

••••

••••

• •• •

••••

••••

• •• •• •

•••

• •• •• ••

A = U1−−−−−→ V1−−−−−→ U2−−−−−→ V2−−−→

U3−−−−−→ U4−−−−−→ =

[B0

].

Elementi oznaceni sa • su važni za odredivanjeHouseholderovog reflektora u sljedecem koraku.Elementi oznaceni sa • su izracunate vrijednosti nakonprimjene Householderovog reflektora.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Bidijagonalni SVD

Nakon bidijagonalizacije, racuna se SVD bidijagonalnematrice:

B = UBΣV ∗B.

Konacni SVD matrice A dobiva se kao

A =

(U[

UB 00 Im−n

])[Σ0

](VVB)∗.

Iterativna metoda za racunanje SVD-a bidijagonalnematrice pretpostavlja da je bidijagonalna matrica Bnereducirana, tj. da su svi elementi 1. gornje sporednedijagonale razliciti od nule, φi 6= 0 za i = 2, . . . ,n.Ako je npr. φk+1 = 0 za neki k , tada je

B =

[B1 00 B2

]k

n−k

k n−kpa je originalni problem nalaženja SVD-a sveden nadva manja problema sa matricama B1 i B2.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





Metoda za racunanje bidijagonalnog SVD-a bazira sena QR metodi primijenjenoj na pozitivno semidefinitnutridijagonalnu matricu T = B∗B.Ako je T (0) = T , tada ce iteracije

T (k) =UR (QR faktorizacija)

T (k+1) =RU, k = 0,1, . . .

dati novu tridijagonalnu matricu T (k+1) = U∗T (k)U.Ponovo možemo napisati da jeT (k+1) = (B(k+1))∗B(k+1), gdje je B(k+1) bidijagonalna.U metodi se T (k+1) zapravo nikada nece generirati jerse transformacije direktno primijenjuju na B(k).

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





k -ta iteracija se sastoji od sljedecih koraka.1 Izracunaj Givensovu rotaciju V1 takvu da je

V ∗1 T (k)

t (k)11

t (k)210...0

=

∗00...0

.

2 Izracunaj Givensove rotacije V2, . . . ,Vn−1 tako da zaV (k) = V1 · · ·Vn−1 vrijedi da je T (k+1) = (V (k))∗T (k)V (k)

tridijagonalna i V (k)e1 = V1e1.

Ovaj postupak se naziva “naganjanje kvrge” ubidijagonalnoj matrici B(k).k -ti korak završava dobivanjem nove bidijagonalnematrice B(k+1).

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





B(k+1) je sa B(k) povezana sljedecom relacijom

B(k+1) = (U∗n−1 · · ·U∗1)B(k)(V1 · · ·Vn−1) = (U(k))∗B(k)V (k).

Može se pokazati da cijeli postupak konvergira kadijagonalnoj matrici

limk→∞

B(k) = Σ.

Cjeli postupak je ilustriran na 6× 6 matrici.

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





B(k)1 ←− B(k)V1 =

• •• • •

• •• •• ••

B(k)2 ←− UT

1 B(k)1 =

• • •• •• •• •• ••

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





B(k)3 ←− B(k)

2 V2 =

• •• •• • •

• •• ••

B(k)4 ←− UT

2 B(k)3 =

• •• • •• •• •• ••

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





B(k)5 ←− B(k)

4 V3 =

• •• •• •• • •

• ••

B(k)6 ←− UT

3 B(k)5 =

• •• •• • •• •• ••

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





B(k)7 ←− B(k)

6 V4 =

• •• •• •• •• • •

•

B(k)8 ←− UT

4 B(k)7 =

• •• •• •• • •• ••

Numerickemetode


Nela Bosner

MATLAB




Bidijagonalizacija

Bidijagonalni SVD





B(k)9 ←− B(k)

8 V5 =

• •• •• •• •• •• •

B(k)10 ←− UT

5 B(k)9 =

• •• •• •• •• ••

= B(k+1)

Numerickemetode


Nela Bosner

MATLAB




ProblemnajmanjihkvadrataRegresija

Opis linearnogproblema najmanjihkvadrata

Numerickorješavanje problemanajmanjih kvadrata

Rješavanje sustavanormalnih jednadžbi

Transformacija ulinearni sustav vecihdimenzija

Rješavanjeproblema najmanjihkvadrata pomocuQR faktorizacije

Zadaci

Rješavanjeproblema najmanjihkvadrata pomocuSVD-a

Zadaci

Problem odredivanjanumerickog ranga

Osjetljivostnumerickog rješenjaproblema najmanjihkvadrata

Regularizacija

Krnja dekompozicijasingularnihvrijednosti

Generaliziraniproblem najmanjihkvadrata




Problem najmanjih kvadrata

PrimjerU modelu portfelja kad je broj vrijednosnica jako velikracunanje sustava linearnih jednadžbi s matricamavelikih dimenzija postaje vrlo zahtjevno.Capital Asset Pricing Model (CAMP) s druge stranenudi efikasnije racunanje, bez korištenja C−1.U tom modelu pretpostavlja se da svi investitori koristeiste ocekivane povrate, iste standardne devijacije ikorelacije za sve vrijednosnice.Nadalje, pretpostavit cemo da na raspolaganju imamo:

neriskantnu vrijednosnicu s povratom µn i standardnomdevijacijom σn = 0odredeni portfelj riskantnih vrijednosnica tzv. tržišniportfelj s ocekivanim povratom µT = E(RT ) istandardnom devijacijom σT

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)odredeni broj riskantnih vrijednosnica oznacenihindeksom j s ocekivanim povratima µj = E(Rj ) istandardnim devijacijama σj

Mi želimo predvidjeti povrat j-te vrijednosnice natemelju poznavanja povrata tržišnog portfelja.Koristit cemo linearno predvidanje povrata Rj uovisnosti o RT , koje je predstavljeno funkcijom

f (β0, β1) = β0 + β1RT ,

gdje su β0 i β1 parametri koje na neki nacin moramoodabrati.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Najbolje linearno predvidanje znaci da moramo naci β0i β1 takve da je ocekivana kvadrirana greškapredvidanja dana sa

E((Rj − (β0 + β1RT ))2)

minimalna, što znaci da predvidanje u prosjeku budešto je bliže moguce vrijednosti Rj .Ocekivanu kvadriranu grešku predvidanja daljemožemo raspisati kao

E((Rj − (β0 + β1RT ))2) =E(R2j )− 2β0E(Rj)− 2β1E(RT Rj)+

+ β20 + 2β0β1E(RT ) + β2

1E(R2T )

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Minimum cemo naci tako da parcijalne derivacije po β0 iβ1 gornjeg izraza izjednacimo s 0. Dobit cemo

0 =− E(Rj) + β0 + β1E(RT )

0 =− E(RT Rj) + β0E(RT ) + β1E(R2T )

Rješenje ovog sustava linearnih jednadžbi je

β1 =E(RT Rj)− E(RT )E(Rj)

E(R2T )− E(RT )2

=σjT

σ2T

β0 =E(Rj)− β1E(RT ) = E(Rj)−σjT

σ2T

E(RT )

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Hessian od E((Rj − (β0 + β1RT ))2) glasi[1 E(RT )

E(RT ) E(R2T )

]pa je pozitivno definitna matrica, i zaista se radi ominimumu.Dakle, najbolje linearno predvidanje za Rj glasi

Rj = β0 + β1RT = E(Rj) +σjT

σ2T

(RT − E(RT )).

U praksi gornji izraz za Rj ne može se direktno koristitijer obicno ne znamo E(RT ), E(Rj), σjT i σ2

T .

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)Zato se koristi linearna regresija u kojoj se ti nepoznatiparametri zamijenjuju aproksimativnim vrijednostima.Da bismo mogli primijeniti linearnu regresiju,pretpostavimo da imamo bivariatni vremenski nizopažanja (Rj,t ,RT ,t )

nt=1 povrata j-te vrijednosnice i

tržišnog portfelja.Tada nam model linearne regresije predvida da je

Rj,t = β0 + β1RT ,t + εt ,

gdje su nam β0 i β1 ponovo nepoznanice a εt slucajnišum.Koeficijenti regresije β0 i β1 mogu se odrediti metodomnajmanjih kvadrata.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Rezultat problema najmanjih kvadrata su vrijednosti β0i β1 koje minimiziraju sumu kvadrata greški

n∑t=1

(Rj,t − (β0 + β1RT ,t ))2.

U ovom poglavlju upoznat cemo se sa tehnikama zarješavanje ovog problema, a pomocu njih dobiju sekoeficijenti

β1 =

∑nt=1 Rj,t (RT ,t − RT )∑n

t=1(RT ,t − RT )2=

∑nt=1(Rj,t − Rj)(RT ,t − RT )∑n

t=1(RT ,t − RT )2

=sjT

s2T

β0 =Rj − β1RT ,

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)gdje su

Rj =1n

n∑t=1

Rj,t , RT =1n

n∑t=1

RT ,t .

Procjena dobivena metodom najmanjih kvadrata je

Rj = β0 + β1RT = Rj +sjT

s2T

(RT − RT ),

što je diskretna verzija najboljeg linearnog predvidanjaza Rj .

Dakle, β1 je aproksimacija β1.Na kraju, CAMP nam daje rezultat

µj − µn = β1(µT − µn).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






0 0.2 0.4 0.6 0.8 10.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1.1

1.2

RT

Rj

Rj=β0+β1RT

Slika: Pravac Rj = β0 + β1RT dobiven metodom najmanjihkvadrata

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Regresija

Regresija je jedna od najviše korištenih statistickihmetoda.Od dostupnih podataka imamo

jednu promatranu zavisnu varijablu Y koja predstavljareakciju promatranog modela na neki ulazn nezavisnih poznatih varijabli Xj na temelju kojih sevrši predvidanje

sve varijable su izmjerene u m razlicitih mjerenja, gdjeje cesto m > n.Oznacimo sa

Yi vrijednost varijable Y u i-tom mjerenjuXi,1,. . . ,Xi,n vrijednosti varijabli X1,. . . ,Xn u i-tommjerenju

gdje je i = 1, . . . ,m.Zadatak modela regresije je naci nacin na koji je Ypovezan sa X1,. . . ,Xn, zatim procjenu uvjetnogocekivanja od Y i predvidanje buducih vrijednosti od Y .

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Model višestruke linearne regresije koja povezuje Y iX1,. . . ,Xn je

Yi = β1Xi,1 + · · ·+ βnXi,n + εi ,

gdje je εi slucajni šum.β1,. . . ,βn su nepoznati koeficijenti koje želimo odrediti.εi se cesto nazivaju greškama mjerenja, ali to nijeuvijek slucaj.Pretpostavljamo da su εi bijeli šum, tj.

ε1,. . . ,εm su nezavisne i imaju iste distribucije,sa ocekivanjem 0 i konstantnom varijancom σ2

ε .

U tom slucaju je

Cov(ε1, . . . , εm) = σ2ε Im.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Ako definiramo matricu X i vektore b i y sa

X =

X1,1 · · · X1,n...

...Xm,1 · · · Xm,n

, b =

β1...βn

, y =

Y1...

Ym

,tada sumu kvadrata grešaka možemo napisati kao

S(b) =m∑

i=1

Yi −n∑

j=1

βjXi,j

2

= (y− Xb)T (y− Xb).

Rezultat metode najmanjih kvadrata je b sa svojstvom

S(b) = min S(b).

Da bismo bili konzistentni sa oznakama u numerici, odsada pa na dalje oznacavat cemo:

A = X, x = b, b = y.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






NapomenaUlogu vektora b je promijenjena, što je rezultat nesretnepodudarnosti u statistickim i numerickim oznakama zarazlicite vektore.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Opis linearnog problema najmanjih kvadrata

Matricna formulacijaZa A ∈ Rm×n, uz pretpostavku, m ≥ n, i b rješavamoproblem

minx∈Rn

‖Ax − b‖2

tj. odredujemo x tako da minimizira rezidual r = Ax − b

minx‖r‖2

Ako je rang(A) < n, onda rješenje x ovog problemaocito nije jedinstveno, jer mu možemo dodati bilo kojivektor iz nul-potprostora od A, a da se rezidual nepromijeni.Medu svim rješenjima x problema najmanjih kvadratauvijek postoji jedinstveno rješenje x najmanje norme, tj.koje još minimizira i ‖x‖2.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Iz geometrijske interpretacije problema najmanjihkvadrata odmah vidimo da je za rješenje x , Axortogonalna projekcija vektora b na Im(A).To se lako može provjeriti ako definiramodiferencijabilnu funkciju

φ(x) =12‖Ax − b‖22,

i izjednacimo ∇φ(x) = 0.Tada možemo raspisati φ(x) kao

φ(x) =12

(Ax − b)T (Ax − b) =12

xT AT Ax − xT AT b +12

bT b =

=12

n∑i,j=1

xi (AT A)ijxj −n∑

i=1

xi (AT b)i +12

bT b =

=12

n∑i

(AT A)iix2i +

12

∑i 6=j

(AT A)ijxixj −n∑

i=1

(AT b)ixi +12

bT b.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Izracunajmo sada k -tu parcijalnu derivaciju od φ(x) iizjednacimo ju sa nulom.

∂

∂xkφ(x) =(AT A)kk xk +

12

∑j 6=k

(AT A)kjxj +12

∑i 6=k

(AT A)ik xi − (AT b)k =

=(AT A)ji =(AT A)ij→

n∑i=1

(AT A)kixi − (AT b)k = (AT Ax − AT b)k .

Dakle,∇φ(x) = AT Ax − AT b,

a iz ∇φ(x) = 0 slijedi

AT (Ax − b) = AT r = 0,

ili da rješenje problema najmanjih kvadrata zadovoljavasustav normalnih jednadžbi

AT Ax = AT b.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Ovime smo dokazali sljedeci teorem.

TeoremSkup svih rješenja problema najmanjih kvadrata oznacimo s

S = x ∈ Rn | ‖Ax − b‖2 = min.

Tada je x ∈ S ako i samo ako vrijedi sljedeca relacijaortogonalnosti

AT (b − Ax) = 0.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Ako sa−→b ,−→Ax i −→r oznacimo vektore u vektorskom

prostoru Rm, pri cemu je x je rješenje problemanajmanjih kvadrata, tada imamo da je

−→b =

−→Ax −−→r ,

a zbog AT r = 0 je (Ay)T r = 0 za svaki y ∈ Rn, odnosno

−→r ⊥ Im(A).

Na kraju možemo zakljuciti da je−→Ax dobiven iz

−→b , tako

što mu se oduzela komponenta okomita na Im(A), pa je−→Ax zaista ortogonalna projekcija od

−→b na Im(A).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






>

-? -

BBBBBBBBN

−→b

−→Ax

−→r

−→Ay

−→Ay−−→b

Slika: Okomitost reziduala rješenja x problema ‖Ax − b‖2 → minna Im(A).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Vratimo se ponovo sustavu normalnih jednadžbi.Matrica AT A je simetricna i pozitivno semidefinitna, asustav normalnih jednadžbi je uvijek konzistentan, jer je

AT b ∈ Im(AT ) = Im(AT A).

Kada smo racunali rješenje sustava ∇φ(x) = 0,odnosno sustava normalnih jedadžbi, da bi ono bilozaista minimum funkcije φ moramo provjeriti Hessian.Vrijedi

∂2

∂xl∂xkφ(x) = (AT A)kl ,

što znaci da jeHφ = AT A.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Hφ je1 pozitivno definitna u slucaju da je matrica A punog

stupcanog ranga, pa tada postoji jedinstveni minimum, ion je rješenje sustava

AT Ax = AT b

2 pozitivno semidefinitna u slucaju da matrica A nemapuni stupcani rang, pa se tada minimum postiže nacitavom afinom potprostu.

To možemo provjeriti na sljedeci nacin.Neka je x rješenje problema najmanjih kvadrata, i nekaje i x + z takoder rješenje istog problema.Tada x i x + z moraju zadovoljavati AT r = 0, pa imamo

0 = AT [A(x + z)− b] = AT (Ax − b) + AT Az = AT Az.

Ako gornju jednakost skalarno pomnožimo sa z, dobitcemo da je ‖Az‖2 = 0, odakle slijedi da je Az = 0odnosno z ∈ Ker(A) (z je u jezgri od A).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Dakle skup rješenja u ovom slucaju cini skup

S = x + Ker(A).

Ako je x ⊥ Ker(A), onda je

‖x + z‖22 = ‖x‖2

2 + ‖z‖22,

pa je x jedinstveno rješenje problema najmanjihkvadrata koje ima minimalnu 2-normu.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






PrimjerProvjerimo sada rezultat linearne regresija iz primjerasa pocetka poglavlja.Matricni oblik tog problema glasi:

minx∈Rn

‖Ax − b‖2

gdje su

A =

1 RT ,1...

...1 RT ,n

, x =

[β0β1

], b =

Rj,1...

Rj,n

.Sustav normalnih jednadžbi za ovaj problem onda glasi

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

AT Ax =AT b[n

∑ni=1 RT ,i∑n

i=1 RT ,i∑n

i=1 R2T ,i

] [β0β1

]=

[ ∑ni=1 Rj,i∑n

i=1 RT ,iRj,i

].

Rješenje ovog sustava je

β1 =

∑ni=1 RT ,iRj,i −

(∑n

k=1 RT ,k )(∑n`=1 Rj,`)

n∑ni=1 R2

T ,i −(∑n

k=1 RT ,k )2

n

β0 =

∑ni=1 Rj,i

n− β1

∑ni=1 RT ,i

n

Malim manipulacijama suma dobije se rezultat navedenu pocetnom primjeru.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Numericko rješavanje problema najmanjihkvadrata

Postoji nekoliko nacina rješavanja problema najmanjihkvadrata u praksi. Obicno se koristi jedna od sljedecihmetoda:

1 rješavanje sustava normalnih jednadžbi,2 transformacija u linearni sustav vecih dimenzija i

njegovo rješavanje,3 rješavanje problema najmanjih kvadrata pomocu QR

faktorizacije.4 rješavanje problema najmanjih kvadrata pomocu

dekompozicije singularnih vrijednosti (SVD).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješavanje sustava normalnih jednadžbi

Ova metoda je najbrža, ali je najmanje tocna.Koristi se kad je AT A pozitivno definitna (A punogranga) i kad je njena uvjetovanost mala:

κ(AT A) = ‖AT A‖2‖(AT A)−1‖2 = ‖A‖22‖A−1‖22 = κ(A)2.

Matrica AT A rastavi se faktorizacijom Choleskog, azatim se riješi linearni sustav

AT Ax = AT b.

Ukupan broj aritmetickih operacija za racunanje AT A,AT b, te zatim faktorizaciju Choleskog jemn2 + 1

3n3 + O(n2).Buduci da je obico m ≥ n, onda je prvi clan dominantanu ovom izrazu, a potjece od formiranja AT A.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Transformacija u linearni sustav vecih dimenzija

Ako matrica A ima puni rang po stupcima, ondaproblem najmanjih kvadrata možemo transformirati i nalinearni sustav razlicit od sustava normalnih jednadžbi.Simetricni linearni sustav[

I AAT 0

] [rx

]=

[b0

],

ekvivalentan je sustavu normalnih jednadžbi.Ako napišemo prvu i drugu blok-komponentu

r + Ax = b, AT r = 0,

onda uvrštavanjem r -a iz prve blok-jednadžbe u drugudobivamo sustav

AT (b − Ax) = 0.

Ovaj sustav ima bitno manji raspon elemenata i boljuuvjetovanost od sustava normalnih jednadžbi.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješavanje problema najmanjih kvadratapomocu QR faktorizacijeTeorem (QR dekompozicija)

Neka je A ∈ Cm×n, uz m ≥ n. Tada postoji unitarnamatrica Q ∈ Cm×m takva da je

Q∗A = R =

[R10

],

gdje je R ∈ Cm×n, a R1 ∈ Cn×n gornje trokutastamatrica s nenegativnim dijagonalnim elementima.Neka je A ∈ Rm×n, uz m ≥ n. Tada postoji ortogonalnamatrica Q ∈ Rm×m takva da je

QT A = R =

[R10

],

gdje je R ∈ Rm×n, a R1 ∈ Rn×n gornje trokutastamatrica s nenegativnim dijagonalnim elementima.

U oba slucaja je A = QR.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija







Q = [ Q1 Q2 ]n m−n

onda iz prethodnog teorema slijedi

A =[

Q1 Q2] [ R1

0

]= Q1R1.

Dakle, QR dekompoziciju možemo napisati u skracenomobliku

A = Q1R1,

pri cemu je Q1 ∈ Cm×n ortonormirana matrica, a R1 ∈ Cn×n

gornjetrokutasta matrica s nenegativnim dijagonalnimelementima.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






KorolarAko je A ∈ Cn×n regularna matrica, tada je matrica Qjedinstvena.

Kao što znamo, QR faktorizaciju možemo izracunati naviše nacina.Najcešca su dva nacina racunanja kod kojih seortogonalna matrica Q dobije uzastopnim množenjemelementarnih ortogonalnih matrica, kao što su:reflektori ili rotacije.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






QR faktorizacija pomocu Householderovihreflektora

Householderove reflektore primijenjujemo direktno nastupce matrice, i to od dijagonale na dolje.Neka je A = [ a(1)

1 · · · a(1)n ] ∈ Rm×n za m ≥ n.

Ako je a(1)1 6= 0, stavimo li

e(1) = e1 ∈ Rm,

znamo naci Householderov reflektor H1 takav da je

H1a(1)1 = α1e(1).

Tada je

A(2) =H1A(1) = [ H1a(1)1 · · · H1a(1)

n ] =

=

α1 ∗ ∗ · · · ∗0... a(2)

2 a(2)3 · · · a(2)

n0

.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Ako je a(1)1 = 0, stavimo H1 = I.

Ako je a(2)2 6= 0 ∈ Rm−1, postoji Householderova

matrica H2 ∈ R(m−1)×(m−1) takva da je

H2a(2)2 = α2e1,

uz e1 ∈ Rm−1.Za

H2 =

[1 00 H2

]je

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






H2A(2) =

[1 00 H2

]α1 ∗ ∗ · · · ∗0... a(2)

2 a(2)3 · · · a(2)

n0

=

α1 ∗ ∗ · · · ∗0 α2...

... H2a(2)3 · · · H2a(2)

n0 0

=

α1 ∗ ∗ · · · ∗0 α2 ∗ · · · ∗0 0...

... a(3)3 · · · a(3)

n0 0

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Nastavljamo tako dalje, svaki puta smanjujuci dimenzijuproblema i radeci sa

A(k)(k : m, k : n) i Hk ∈ R(m−k+1)×(m−k+1),

a Hk ∈ Rm×m definiramo sa

Hk =

[Ik−1 0

0 Hk

].

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






A =

• • • • •• • • • •• • • • •• • • • •• • • • •• • • • •

H1−−−−→

• • • • •• • • •• • • •• • • •• • • •• • • •

H2−−−−→

H2−−−−→

• • • • •• • • •• • •• • •• • •• • •

H3−−−−→

• • • • •• • • •• • •• •• •• •

H4−−−−→

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






H4−−−−→

• • • • •• • • •• • •• •••

H5−−−−→

• • • • •• • • •• • •• ••

= R

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Na kraju imamo

HnHn−1 · · ·H1A =

α1 ∗ ∗ · · · ∗0 α2 ∗ · · · ∗

. . .. . .

0 0 αn0 0 0...

......

0 0 0

= R,

tj. A = QR, gdje je Q = H1 · · ·Hn.Želimo li u R nenegativnu dijagonalu, prethodnujednakost slijeva još pomnožimo matricom

Hn+1 = diag(sign(α1), . . . , sign(αn),1, . . . ,1),

koja je ortogonalna.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






NapomenaI kod QR faktorizacije se može pivotirati i to tako da sestupac najvece norme (od dijagonale na doljea(k)

k , . . . ,a(k)n ) dovede na pivotno mjesto i ponište

njegovi elementi ispod dijagonale.To se koristi kad želimo naci rang matrice, jer sudijagonalni elementi matrice R sortirani padajuce poapsolutnim vrijednostima.Imamo

Hn(· · ·H2((H1(AI1,j1))I2,j2) · · · In,jn ) = R,

tj.QT AP = R, =⇒ AP = QR.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Napomena (nastavak)

Kad se nakon pivotiranja u tekucem koraku iponištavanja ispoddijagonalnih elemenata u tekucemstupcu, na dijagonali nade 0, tada znamo da je donjidesni (m− r)× (n− r) blok matrice R jednak nulmatrici.U tom slucaju je matrica R, a onda i matrica A, ranga r .

R =

∗ ∗ ∗ ∗ ∗∗ ∗ ∗ ∗∗ ∗ ∗

r

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






QR faktorizacija pomocu Givensovih rotacija

Givensove rotacije poništavaju element po elementmatrice A.Za dobivanje QR faktorizacije potrebno je poništiti sveelemente donjeg trokuta matrice A, i to tako da sejednom poništeni element (jednak nuli) više ne mijenja.Nacin na koji biramo kojim redom cemo ih poništavatizove se pivotna strategija.Najcešca pivotna strategija je poništavanje postupcima:

∗ ∗ ∗ ∗ ∗5 ∗ ∗ ∗ ∗4 9 ∗ ∗ ∗3 8 12 ∗ ∗2 7 11 14 ∗1 6 10 13 15

.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Na poziciji (i , j) element se poništava Givensovomrotacijom Gj(i − 1, i), gdje su i − 1 i i pivotni indeksi.Na kraju, za A ∈ Rm×n, m ≥ n dobivamo da je

Gn(n, n + 1)T · · ·Gn(m − 2,m − 1)T Gn(m − 1,m)T · · ·G2(2, 3)T · · ·G2(m − 2,m − 1)T ··G2(m − 1,m)T · G1(1, 2)T · · ·G1(m − 2,m − 1)T G1(m − 1,m)T A = R,

tj. A = QR, gdje se matrica Q tada dobiva kao produktodgovarajucih Givensovih rotacija

Q = G1(m−1,m) · · ·G1(1, 2)G2(m−1,m) · · ·G2(2, 3) · · ·Gn(m−1,m) · · ·Gn(n, n+1).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






A =

• • • • •• • • • •• • • • •• • • • •• • • • •• • • • •

G1(5,6)T

−−−−−−−→

• • • • •• • • • •• • • • •• • • • •• • • • •• • • •

G1(4,5)T

−−−−−−−→

• • • • •• • • • •• • • • •• • • • •• • • •• • • •

G1(3,4)T

−−−−−−−→

• • • • •• • • • •• • • • •• • • •• • • •• • • •

G1(2,3)T

−−−−−−−→

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






• • • • •• • • • •• • • •• • • •• • • •• • • •

G1(1,2)T

−−−−−−−→

• • • • •• • • •• • • •• • • •• • • •• • • •

G2(5,6)T

−−−−−−−→

• • • • •• • • •• • • •• • • •• • • •• • •

G2(4,5)T

−−−−−−−→

• • • • •• • • •• • • •• • • •• • •• • •

G2(3,4)T

−−−−−−−→

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






• • • • •• • • •• • • •• • •• • •• • •

G2(2,3)T

−−−−−−−→

• • • • •• • • •• • •• • •• • •• • •

G3(5,6)T

−−−−−−−→

• • • • •• • • •• • •• • •• • •• •

G3(4,5)T

−−−−−−−→

• • • • •• • • •• • •• • •• •• •

G3(3,4)T

−−−−−−−→

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






• • • • •• • • •• • •• •• •• •

G4(5,6)T

−−−−−−−→

• • • • •• • • •• • •• •• ••

G4(4,5)T

−−−−−−−→

• • • • •• • • •• • •• •••

G5(5,6)T

−−−−−−−→

• • • • •• • • •• • •• ••

= R

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Zadaci

ZadatakNapišite M-file funkciju qr_givens() koja racuna QRfaktorizaciju pravokutne matrice A pomocu Givensovihrotacija. Ulazni parametar funkcije neka je

matrica A,a izlazni parametri neka su

ortogonalna matrica Qgornje trokutasta matrica R

takvi da je A = QR.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješenje problema najmanjih kvadrata

Postoje dvije razlicite situacije kod rješavanja problemanajmanjih kvadrata min ‖Ax − b‖2.

Matrica A je punog stupcanog rangaU tom slucaju rješenje problema je jednako rješenjusustava normalnih jedadžbi

x = (AT A)−1AT b.

Sada napišemo QR faktorizaciju matrice A

A = QR = Q1R1,

gdje je Q1 ortonormalna m × n matrica, a R1 n × nregularna trokutasta matrica i uvrstimo u rješenje.Dobivamo

x =(AT A)−1AT b = (RT1 QT

1 Q1R1)−1RT1 QT

1 b

=(RT1 R1)−1RT

1 QT1 b = R−1

1 R−T1 RT

1 QT1 b = R−1

1 QT1 b.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Dakle, x se dobiva primjenom “invertirane” skraceneQR faktorizacije od A na b.Preciznije, da bismo našli x , rješavamo trokutastilinearni sustav

R1x = QT1 b.

Na ovakav se nacin najcešce rješavaju probleminajmanjih kvadrata.Nije teško pokazati da je cijena racunanja 2mn2 − 2

3n3.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Matrica A nema puni stupcani rangU ovom slucaju prvo trebamo odrediti rang matrice A izbog toga se koristi QR faktorizacija sa stupcanimpivotiranjem.Ako matrica A ima rang r < n, onda njena QRfaktorizacija sa pivotiranjem ima oblik

AP = QR = Q

R11 R120 00 0

rn − rm − n

,

r n − r

gdje je R11 regularna reda r , R12 neka r × (n − r)matrica, a matrica P je n × n matrica permutacija.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Kod rješavanja problema najmanjih kvadrata tadaimamo

‖b − Ax‖22 =‖QT b − (QT AP)(PT x)‖22

=

∥∥∥∥[ cd

]−[

R11 R120 0

] [yz

]∥∥∥∥2

2

=‖(c − R12z)− R11y‖22 + ‖d‖22,gdje je

PT x =

[yz

]r

n − r, i QT b =

[cd

]r

m − r.

Prema tome, ako tražimo x koji minimizira normureziduala, tada on mora zadovoljavati

x = P[

R−111 (c − R12z)

z

].

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Ako stavimo da je z = 0 tada dobivamo osnovnorješenje

x = P[

R−111 c0

],

koje samo ne mora imati minimalnu normu u skupu svihrješenja, ali ga je jednostavno izracunati i ima najviše relemenata razlicitih od nule.Do rješenja problema najmanjih kvadrata saminimalnom normom možemo, s druge strane, docipomocu potpune ortogonalne dekompozicije.U jednakosti AP = QR možemo izvesti još jednu QRfaktorizaciju, i to na sljedeci nacin.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Trebamo izracunati n × n ortogonalnu matricu Z takvuda je

Z[

RT11

RT12

]=

[LT

110

]r

n − rtj.

[R11 R12

]Z T =

[L11 0

],

gdje je L11 r × r donje trokutasta matrica.Tada slijedi

QT AS = L =

[L11 00 0

]r

m − r,

r n − r

gdje je S = PZ T .Primijetimo da je Ker(A) = Im(S(1 : n, r + 1 : n)).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Kod rješavanja problema najmanjih kvadrata tadaimamo

‖Ax − b‖22 =‖(QT AS)ST x −QT b‖2

=

∥∥∥∥[ L11 00 0

] [wv

]−[

cd

]∥∥∥∥2

2

=‖L11w − c‖22 + ‖d‖22,

gdje je

ST x =

[wv

]r

n − rQT b =

[cd

]r

m − r.

Jasno je, da ako x treba minimizirati normu reziduala,tada moramo imati w = L−1

11 c, a da bi x imao minimalnunormu tada mora biti v = 0.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






U tom slucaju je

x = S[

w0

]=[

S(:,1 : r) S(:, r + 1 : n)] [ w

0

]= S(:,1 : r)w .

Vrijedi da je

x ∈ Im(S(:,1 : r)) ⊥ Im(S(:, r + 1 : n)) = Ker(A),

što smo pokazali da mora vrijediti za jedinstvenorješenje problema najmanjih kvadrata sa minimalnomnormom.Dakle, konacno rješenje problema najmanjih kvadratasa minimalnom normom glasi

x = S[

L−111 Q(:,1 : r)T b

0

].

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Zadaci

ZadatakRiješite problem najmanjih kvadrata iz primjera sa pocetkapoglavlja. Opažanja povrata j-te vrijednosnice i tržišnogportfelja u vremenskim instancama dana su u datoteci

primjer_regresija_vrijednosnice.mat

na adresi

http://www.math.hr/ñela/nmfm.html

Vaš zadatak je:1 generirati matricu A i vektor b u problemu najmanjih

kvadrata,2 izracunati QR faktorizaciju matrice A s pivotiranjem

pomocu MATLAB-ove funkcije qr(),

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Zadatak (nastavak)3 izracunati rješenje problema najmanjih kvadrata

[ β0 β1 ]T ,4 nacrtati graf sa prikazanim tockama opažanja

(RT ,t ,Rj,t ) i pravcem Rj,t = β0 + β1RT ,t , sa pravilnooznacenim osima.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješavanje problema najmanjih kvadratapomocu dekompozicije singularnih vrijednosti

Teorem (Dekompozicija singularnih vrijednosti (SVD))

Neka je A ∈ Rm×n matrica ranga r . Tada postojeortogonalne matrice U ∈ Rm×m i V ∈ Rn×n takve da je najedinstven nacin odredena dijagonalna matrica

UT AV = Σ =

[Σ+ 00 0

]r

m−r

r n−r

gdje je Σ+ = diag(σ1, . . . , σr ), uz σ1 ≥ σ2 ≥ · · · ≥ σr > 0.Kažemo da je A = UΣV T dekompozicija singularnihvrijednosti (SVD) matrice A.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija







U = [ U1 U2 ] V = [ V1 V2 ]r m−r r n−r

onda iz prethodnog teorema slijedi:[Σ+ 00 0

]=

[UT

1UT

2

]A[ V1 V2 ],

odnosnoΣ+ = UT

1 AV1 i A = U1Σ+V T1 .

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Matrica A je punog stupcanog rangaU tome slucaju rješenje problema je jednako rješenjusustava normalnih jedadžbi

x = (AT A)−1AT b.

Sada napišemo SVD matrice AA = UΣV T = U1Σ+V T ,

gdje je U1 ortonormalna m × n matrica, V ortogonalnan × n matrica, a Σ+ n × n dijagonalna matrica, iuvrstimo u rješenje.Dobivamo

x =(AT A)−1AT b = (V Σ+UT1 U1Σ+V T )−1V Σ+UT

1 b

=(V Σ2+V T )−1V Σ+UT

1 b = V Σ−2+ V T V Σ+UT

1 b

=V Σ−1+ UT

1 b.

Dakle, x se dobiva primjenom “invertiranog” skracenogSVD-a od A na b.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Matrica A nije punog stupcanog rangaUobicajeno se SVD primjenjuje u metodi najmanjihkvadrata i kad matrica A nema puni stupcani rang, a zarazliku od QR faktorizacije ne moraju se raditi dodatnefaktorizacije.Rješenja su istog oblika, samo što moramo znatiizracunati “inverz” matrice Σ kad ona nije regularna, tj.kad ima neke nule na dijagonali.Takav inverz zove se generalizirani inverz i oznacava saΣ+ ili Σ†.U slucaju da je

Σ =

[Σ+ 00 0

],

pri cemu je Σ+ regularna, onda je

Σ† =

[Σ−1

+ 00 0

].

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Neka matrica A ima rang r < n.Rješenje x koje minimizira ‖Ax − b‖2 može sekarakterizirati na sljedeci nacin.Neka je A = UΣV T SVD od A i neka je

A = UΣV T = [U1,U2,U3]

Σ+ 00 00 0

[V1,V2]T = U1Σ+V T1 ,

gdje je Σ+ regularna matrica reda r , matrice U1 i V1imaju r stupaca, matrice U2 i V2 imaju n − r stupaca, amatrica U3 ima m − n stupaca.Tada se sva rješenja problema najmanjih kvadratamogu napisati u formi

x = V1Σ−1+ UT

1 b + V2z,

gdje je z proizvoljni vektor.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješenje x koje ima minimalnu 2-normu je ono za kojeje z = 0, tj.

x = V1Σ−1+ UT

1 b.

Prethodne tvrdnje cemo sada provjeriti.Korištenjem unitarne invarijantnosti 2-norme, dobivamo

‖Ax − b‖22 =‖UT (Ax − b)‖22 =

∥∥∥∥∥∥ UT

1UT

2UT

3

(U1Σ+V T1 x − b)

∥∥∥∥∥∥2

2

=

∥∥∥∥∥∥ Σ+V T

1 x − UT1 b

−UT2 b

−UT3 b

∥∥∥∥∥∥2

2

=‖Σ+V T1 x − UT

1 b‖22 + ‖UT2 b‖22 + ‖UT

3 b‖22.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Ocito, prethodni izraz je minimiziran kad je prva od trinorme u posljednjem redu jednaka 0, tj. ako je

Σ+V T1 x = UT

1 b,

ili x = V1Σ−1+ UT

1 b.

Stupci matrica V1 i V2 su medusobno ortogonalni, pa jeV T

1 V2z = 0 za sve vektore z.Odavde vidimo da x ostaje rješenje problema najmanjihkvadrata i kad mu dodamo V2z, za bilo koji z, tj. ako je

x = V1Σ−1+ UT

1 b + V2z.

To su ujedno i sva rješenja, jer stupci matrice V2razapinju nul-potprostor Ker(A).Osim toga, zbog spomenute ortogonalnosti vrijedi i

‖x‖22 = ‖V1Σ−1+ UT

1 b‖22 + ‖V2z‖22,a to je minimalno za z = 0.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješenje problema najmanjih kvadrata korištenjemSVD-a je najstabilnije, a može se pokazati da je, zam n, njegovo trajanje približno jednako kao i trajanjerješenja korištenjem QR-a.Za manje m, trajanje je približno 4mn2 − 4

3n3 + O(n2).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Generalizirani inverz

Ako želimo proširiti pojam inverza (X ) i na matrice kojenisu regularne ili cak nisu kvadratne, onda zahtijevamoda on mora zadovoljavati malo oslabljene uvjete negostandardni inverz:

AX = XA = I.

Najpoznatiji generalizirani inverz je tzv.Moore–Penroseov inverz, koji je odreden sa sljedecacetiri uvjeta.Moore–Penroseovi uvjeti:

1 AXA = A2 XAX = X3 (AX )∗ = AX4 (XA)∗ = XA

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Za generalizirani inverz vrijede sljedeca svojstvaNeka je A ∈ Cm×n. Tada postoji jedinstvena matricaX ∈ Cn×m, koja zadovoljava Penroseove uvjete. Tamatrica ima oblik

A† = V[

Σ−1+ 00 0

]U∗, pri cemu je A = U

[Σ+ 00 0

]V ∗

singularna dekompozicija matrice A.Za proizvoljnu matricu A ∈ Cm×n vrijedi:

1(A†)†

= A2(A)†

= (A†)3(AT)†

=(A†)T

4 rang(A) = rang(A†) = rang(AA†) = rang(A†A)5 Ako matrica A ∈ Cm×n ima rang n, tada je

A† = (A∗A)−1A∗ i A†A = In.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






6 Ako matrica A ∈ Cm×n ima rang m, tada je

A† = A∗(AA∗)−1 i AA† = Im.

7 Ako je A = FG i rang(A) = rang(F ) = rang(G), tada je

A† = G†F †.

8 Ako su U i V unitarne matrice, tada je

(UAV )† = V ∗A†U∗.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Dakle, kod problema najmanjih kvadrata za m ≥ n,r = rang(A) ≤ n, i za

V = [ V1 V2 ], Σ =

[Σ+ 00 0

], U = [ U1 U2 ],

pri cemu su U ∈ Rm×m i U1 ∈ Rm×r , Σ ∈ Rm×n iΣ+ ∈ Rr×r , V ∈ Rn×n i V1 ∈ Rn×r , bez obzira da li jematrica punog ranga ili nije, rješenje glasi

x =V1Σ−1+ UT

1 b = [ V1 V2 ]

[Σ−1

+ 00 0

][ U1 U2 ]T b

=V[

Σ−1+ 00 0

]UT b = A†b

U slucaju kada je matrica kvadratna i regularna tada jeA† = A−1, pa je rješenje problema najmanjih kvadratax = A−1b ujedno i rješenje sustava linearnih jednadžbiAx = b.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Za matricu A punog stupcanog ranga, za rješenjenajmanjih kvadrata x i za aproksimaciju rješenja yvrijedi sljedeca ocjena:

‖y − x‖2‖x‖2

=‖A†A(y − x)‖2

‖x‖2· ‖A‖2‖A‖2

≤ ‖A‖2‖A†‖2‖Ay − Ax‖2‖A‖2‖x‖2

≤κ(A)‖Ay − Ax‖2‖Ax‖2

= κ(A)‖Ay − b + b − Ax‖2

‖Ax‖2

=κ(A)‖ry − rx‖2‖b + rx‖2

pri cemu je κ(A) = ‖A‖2‖A†‖2 broj uvjetovanosti, ary = Ay − b i rx = Ax − b su reziduali kod kojih rx imaminimalnu normu.To znaci da relativna norma greška rješenja ovisi obroju uvjetovanosti matrice A i o razlici izmedureziduala.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Numericke metode za rješavanje problema najmanjihkvadrata primijenjene na loše uvjetovane matrice mogudati vrlo netocne aproksimacije rješenja.Specijalno za sustave linearnih jednadžbi je rx = 0, paimamo

‖y − x‖2‖x‖2

≤ κ(A)‖ry‖2‖b‖2

,

gdje na desnoj strani imamo broj uvjetovanosti matriceA i relativnu normu reziduala.To znaci da kada zaustavimo iterativnu metodu zarješavanje sustava linearnih jednadžbi u iteraciji u kojojje postignuta mala ralativna norma reziduala, ako jematrica loše uvjetovana relativna norma greške nemora biti mala i možemo imati netocnu aproksimacijurješenja.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Zadaci

ZadatakRiješite problem najmanjih kvadrata iz primjera sa pocetkapoglavlja. Opažanja povrata j-te vrijednosnice i tržišnogportfelja u vremenskim instancama dana su u datoteci


na adresi


Vaš zadatak je:1 generirati matricu A i vektor b u problemu najmanjih

kvadrata,2 izracunati SVD faktorizaciju matrice A pomocu

MATLAB-ove funkcije svd(),

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Zadatak (nastavak)3 izracunati rješenje problema najmanjih kvadrata

[ β0 β1 ]T ,4 nacrtati graf sa prikazanim tockama opažanja

(RT ,t ,Rj,t ) i pravcem Rj,t = β0 + β1RT ,t , sa pravilnooznacenim osima.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Problem odredivanja numerickog ranga

Vidjeli smo da je kod rješavanja problema najmanjihkvadrata važno da li matrica A ima puni stupcani rang ilinema.U egzaktnoj aritmetici to je lako odrediti:

kod QR faktorizacije ako se pojavljuje 0 na dijagonalimatrice R ona nije regularna, pa nije regularna nitimatrica A,kod SVD-a ako postoje singularne vrijednosti jednake 0matrica A nije regularna.

U aritmetici konacne preciznosti taj problem nije takojednostavan: što znaci da je neki broj jednak 0?Ako 0 mora biti rezultat neke racunske operacije, ondacemo umjesto nje vrlo cesto dobiti neki vrlo mali brojkoji je rezultat grešaka zaokruživanja i grešakaracunskih operacija.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






U toj situaciji teško je odrediti da li je taj vrlo mali brojrezultat operacije koja je u egzaktnoj aritmetici zaista itrebala dati vrlo mali broj, ili operacije koja je trebaladati 0.

Primjer

fl(1.000000000000001− 1) =1.1102e − 015fl(1.0000000000000001− 1− 1e − 16) =− 1.0000e − 016

Vrlo cesto je kod numerickog rješavanja nekogproblema i svejedno na koji nacin smo dobili taj malibroj:

on ce stvarati problema kao da je zaista jednak 0.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Konkretno, u slucaju odredivanja numerickog ranga,ukoliko izracunamo singularnu vrijednost matrice A kojaje npr. reda 10−16, iako je matrica cak i trebala bitipunog ranga, tocnije rješenje cemo dobiti ako problemrješavamo kao da matrica nije punog ranga.Slican problem je i kod QR faktorizacije: pivotiranje seuvodi da bi se lakše numericki mogli odrediti onielementi na dijagonali matrice R koje možemopoistovjetiti sa 0 (zbog padajucih apsolutnih vrijednostidijagonalnih elemenata).

Zbog toga, kada na dijagonali dobijemo dovoljno malibroj, bez obzira trebao li on biti u egzaktnoj aritmeticijednak 0 ili ne, cijeli donji dijagonalni blok matrice Rpoistovijecujemo s 0.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






PrimjerZbog grešaka zaokruživanja, umjesto pravog R,izracunamo

R′ =

R11 R120 R220 0

.Naravno, željeli bismo da je ‖R22‖2 vrlo mala, redavelicine ε‖A‖2, pa da je možemo “zaboraviti”, tj. stavitiR22 = 0 i tako odrediti numericki rang od A.Nažalost, to nije uvijek tako. Na primjer, bidijagonalnamatrica

A =

12 1

. . . . . .. . . 1

12

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer

je skoro singularna (det(A) = 2−n), njena QRfaktorizacija je Q = I, R = A, i nema niti jednog R22 kojibi bio po normi malen.Zbog toga koristimo pivotiranje, koje R11 pokušavadržati što bolje uvjetovanim, a R22 po normi što manjim.

ZadatakU MATLAB-u generirajte bidijagonalnu matricu izprethodnog primjera reda 100.

Izracunajte njenu QR faktorizaciju s pivotiranjem, iprovjerite dijagonalne elemente matrice R.Izracunajte njen SVD, i provjerite njene singularnevrijednosti.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Osjetljivost numerickog rješenja problemanajmanjih kvadrata

PrimjerU datoteci

primjer_osjetljivosti_pnk_Ax.mat

na adresi


spremljeni su matrica A i vektor x .Izracunajmo najprije SVD matrice A i provjerimo da li jeona punog ranga.Vidimo da je matrica A punog ranga i da je njenauvjetovanost velika: κ(A) = 2.924 · 109.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 12010

−2

100

102

104

106

108

i

σ i

Singularne vrijednosti matrice A

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Izracunajte b = A · x , pri cemu treba ispasti da jeb = [ 10000 · · · 10000 ]T .U ovom slucaju x je egzaktno rješenje problemanajmanjih kvadrata min ‖Ax − b‖2.Sada cemo malo pokvariti vektor b i vidjeti kako toutjece na rješenje problema najmanjih kvadrata.Izracunajmo

b = b + η,

gdje su elementi od η slucajni brojevi iz normalnedistribucije.Ovime se elementi od b i b poklapaju u prve 4 vodeceznamenke, a u 5. znamenci se u prosjeku pojavljujegreška.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)Riješimo sada problem najmanjih kvadratamin ‖Ax − b‖2 pomocu SVD-a, i usporedimo ga sa x.Rješenje cemo oznaciti sa xnk .Najprije cemo provjeriti norme reziduala:

‖Ax − b‖2 =0‖Axnk − b‖2 ≈4.7955

Dalje, provjerimo normu razlike xnk − x :

‖xnk − x‖2 ≈ 224.1275.

Dakle, možemo zakljuciti da smo dobili minimalnunormu reziduala, ali greška je ogromna.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 120

−60

−40

−20

0

20

40

60

80

100

i

x nk

xxnk

Slika: Egzaktno rješenje i rješenje najmanjih kvadrata.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






U prethodnom primjeru imali smo loše uvjetovanumatricu, cija je najmanja svojstvena vrijednost

σmin = 1.1610 · 10−2 < 10−9 · ‖A‖2

što je izgleda “dovoljno mala vrijednost” da utjece nanumericki rang.Efekt toga je cinjenica da smo malo pokvarili vektor b, adobili smo totalno drugacije i oscilirajuce rješenje,daleko od ocekivanog.Razmotrit cemo sada dvije tehnike koje se koriste zastabiliziranje jako oscilirajucih rješenja.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Regularizacija

Najcešce korištena metoda za stabiliziranje oscilirajucihrješenja problema najmanjih kvadrata je uvodenjeuvjeta na rješenje x oblika

‖Q(x − x0)‖22 ≤ β2.

Ovdje sux0 opcionalna inicijalna aproksimacija od x ,Q je matricna reprezentacija linearnog operatora uvjeta,β2 je konstanta koja odreduje jacinu uvjeta.

Aproksimacija xλ dobiva se rješavanjem problema

minx

(‖b − Ax‖22 + λ‖Q(x − x0)‖22

),

gdje je parametar λ Lagrangeov multiplikator cijavrijednost ovisi o β2.Rješenje je oblika

xλ = (AT A + λ2QT Q)−1(AT b + λ2QT Qx0).

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Uspjeh regularizacije ovisi o izboru parametra λ, a za topostoji nekoliko nacina.Najcešci izbor za Q je identiteta In ∈ Rn×n.U tom slucaju problem se može izraziti kao prošireniproblem [

bλx0

]=

[AλIn

]x +

[ηλγ

],

sa [ηγ

]∼ N(0, Im+n).

Parametar λ postaje težinska konstanta koja bi trebalabiti dovoljno velika da bi prigušila oscilacijeaproksimativnog rješenja xλ tako da ga drži blizu x0, a sdruge strane dovoljno mala da ne prouzroci rast normekvadrata ‖Axλ − b‖22.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer

Sada cemo primijeniti regularizaciju na naš primjer.Ako ne znamo kakvog nam je oblika rješenje najbolje jeuzeti x0 = 0.Najcešci nacin za odabir optimalnog parametra λbazira se na L krivulji.Koordinate tocaka na L krivulji predstavljaju log10 ‖xλ‖2i log10 ‖Axλ − b‖2 za rješenje problema xλ pomocuregularizacije s parametrom λ.Odabire se ona vrijednost λ za koju je ‖xλ‖2 ogranicenna najbolji moguci nacin, dok istovremeno ‖Axλ − b‖2nije prevelik.Takav λ odgovara tocci u uglu L krivulje.Za naš primjer optimalni λ je λopt = 0.748.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






0.92 0.94 0.96 0.98 1 1.02 1.04 1.06 1.08 1.1 1.12

1.14

1.16

1.18

1.2

1.22

1.24

1.26

1.28

1.3

1.32

1.34

log10( || b−Ax || )

log 10

( ||

x ||

)

L krivuljaoptimalni λnajbolji λ

Slika: L krivulja za 0.1 ≤ λ ≤ 100 sa tockama koje odgovarajuλopt i λnaj .

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)Dakle, rješavamo problem najmanjih kvadrataminx ‖Ax − b‖2, gdje su

A =

[A

λopt In

], b =

[b

λoptx0

],

koristeci SVD.Za rješenje xλopt ovog problema provjerit cemo normureziduala:

‖Axλopt − b‖2 ≈ 7.3050.

S druge strane je norma razlike xλopt − x :

‖xλopt − x‖2 ≈ 2.2425.

Dakle, norma reziduala je malo narasla, ali greška jepuno bolja nego kod rješenja najmanjih kvadrata.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 1200

0.5

1

1.5

2

2.5

3

i

x λ op

t

xxλ opt

Slika: Egzaktno rješenje i rješenje regularizacije za λopt .

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Nekim statistickim metodama može se pokazati daaproksimaciju s najboljom greškom možemo dobiti zaλnaj = 77.5.Zato cemo na kraju riješiti problem najmanjih kvadrataminx ‖Ax − b‖2, za

A =

[A

λnaj In

], b =

[b

λnajx0

],

koristeci SVD.Za rješenje xλnaj ovog problema opet cemo provjeritinormu reziduala:

‖Axλnaj − b‖2 ≈ 20.1267.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)S druge strane je norma razlike xλnaj − x :

‖xλnaj − x‖2 ≈ 0.0221.

U ovom slucaju norma reziduala je još malo narasla, aligreška je prihvatljivo mala.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 1200

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

i

x λ na

j

xxλ naj

Slika: Egzaktno rješenje i rješenje regularizacije za λnaj .

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Krnja dekompozicija singularnih vrijednosti(TSVD)

Za rješavanje loše uvjetovanih problema cesto se koristikrnja dekompozicija singularnih vrijednosti (TSVD),koja koristi aproksimaciju ranga p < r = rang(A).Ako je A = UΣV T SVD matrice A, tada je premajednom teoremu za SVD

Ap =

p∑i=1

σiuivTi ,

najbolja aproksimacija ranga p matrice A.Za m ≥ n, neka su matrice U ∈ Rm×m, V ∈ Rn×n iΣ ∈ Rm×n particionirane na sljedeci nacin

U =[

U1 U2 U3]

p n−p m−n

V =[

V1 V2]

p n−p

Σ =

Σ1 00 Σ20 0

p

n−p

m−n

p n−p

gdje je σp > ζσ1 i σp+1 < ζσ1 za neku toleranciju ζ.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Tada je

Ap = U1Σ1V T1 = U(:,1 : p)Σ(1 : p,1 : p)V (:,1 : p)T .

Rješavanje problema najmanjih kvadrata svodi se naminimizaciju ‖rsvd‖22 = ‖Ax − b‖22, gdje je

‖rsvd‖22 = ‖Σ1V T1 x−UT

1 b‖22+‖Σ2V T2 x−UT

2 b‖22+‖UT3 b‖22,

što je ekvivalentno minimizaciji prva dva izraza ugornjoj jednadžbi.TSVD postavlja σi = 0 za i = p + 1, . . . ,n i minimizirasamo prvi izraz.To je ekvivalentno rješavanju problema najmanjihkvadrata za matricu Ap

min ‖rtsvd‖22 = min(‖Σ1V T1 x−UT

1 b‖22+‖UT2 b‖22+‖UT

3 b‖22).

Važno je odabrati pogodnu toleranciju ζ ili rang p, takoda norma reziduala i norma rješenja budu male.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Rješenje pomocu TSVD je tada oblika

xtsvd =

p∑i=1

uTi bσi

vi = V (:,1 : p)Σ(1 : p,1 : p)−1U(:,1 : p)T b.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer

Sada cemo primijeniti TSVD ponovo na naš primjer.Prvo ponovo trebamo pogledati singularne vrijednostimatrice A, i uociti indekse u kojima singularnevrijednosti padnu za jedan red velicine.

i 1-2 3-4 5-8 9-14 15-24σσσi ≈ 107 106 105 104 103

i 25-36 37-51 52-68 69-78 79-121σσσi ≈ 102 101 100 10−1 10−2

Dalje cemo birati TSVD aproksimacije zap = 2,4,8,14,24,36,51,68,78,121, i oznaciti ih sa xp.Za aproksimacije x2, x4, x8 i x14, odgovarajuci rang jeipak premali.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 120

−0.5

0

0.5

1

1.5

2

i

x 14

p=14

xx14

Slika: Egzaktno rješenje i TSVD rješenje za p = 14:‖Ax14 − b‖2 ≈ 76515, ‖x14 − x‖2 ≈ 12.9085.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 1200

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

i

x 24

p=24

xx24

Slika: Egzaktno rješenje i TSVD rješenje za p = 24:‖Ax24 − b‖2 ≈ 636.9091, ‖x24 − x‖2 ≈ 0.7172.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 1200

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

i

x 36

p=36

xx36


Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 1200

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

i

x 51

p=51

xx51


Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 1200

0.5

1

1.5

2

i

x 68

p=68

xx68


Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 120−2

−1

0

1

2

3

4

5

6

i

x 78

p=78

xx78


Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






20 40 60 80 100 120

−60

−40

−20

0

20

40

60

80

100

i

x 121

p=121

xx121

Slika: Egzaktno rješenje i TSVD rješenje za p = 121 = r :‖Ax121 − b‖2 ≈ 4.7955, ‖x121 − x‖2 ≈ 224.1275.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

Možemo zakljuciti da je najbolja aproksimacijapostignuta za p = 36, i ona je cak i bolja odaproksimacije dobivene regularizacijom za λnaj .Dakle, singularne vrijednosti matrice A manje od 102

možemo zanemariti i izjednaciti sa nulom:

σi ≤ 2.6365 · 10−6σ1, i = 37, . . . ,121,

i pri tome dobiti prilicno zadovoljavajucu aproksimacijurješenja.To znaci da singularni vektori vodecih singularnihvrijednosti koji formiraju matricuA36 = U(:,1 : 36)Σ(1 : 36,1 : 36)V (:,1 : 36)T

sadržavaju dovoljno informacija za rekonstrukcijumatrice A,

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Primjer (nastavak)

‖A− A36‖2 = σ37 = 89.5076 ≤ 2.6365 · 10−6‖A‖2,

a pri tome je A36 bolje uvjetovana matrica od A

κ(A36) = 3.1907 · 105.

Numerickemetode


Nela Bosner

MATLAB










Zadaci


Zadaci



Regularizacija






Generalizirani problem najmanjih kvadrata

Kod linearne regresije koja povezuje Y i X1,. . . ,Xn

Yi = β1Xi,1 + · · ·+ βnXi,n + εi ,

pretpostavili smo da je

Cov(ε1, . . . , εm) = σ2ε Im.

U slucaju kada Cov(ε1, . . . , εm) nije gornjeg oblika, akada je ta matrica poznata do na skalirajuci faktor

Cov(ε1, . . . , εm) = σ2G,

tada rješavamo sustav normalnih jednadžbigeneraliziranog problema najmanjih kvadrata

XT G−1X = XT G−1y.

Zbog toga se cijeli problem mora preformulirati uproblem regresije sa matricom G−1/2X i vektoromG−1/2y, gdje je G1/2 Choleski faktor matrice G.

Numerickemetode


Nela Bosner

MATLAB





Interpolacija iaproksimacijasplajnovimaInterpolacija podijelovimapolinomima

Po dijelovimalinearnainterpolacija

Zadaci

Po dijelovimakvadratnainterpolacija

Po dijelovimakubicnainterpolacija

Po dijelovimakubicna Hermiteovainterpolacija

Kubicna splajninterpolacija

Zadaci

Po dijelovimapolinomnaaproksimacijapomocu diskretnemetode najmanjihkvadrata

Po dijelovimalinearnaaproksimacijapomocu diskretnemetode najmanjihkvadrata

Zadaci

Po dijelovimapolinomnaaproksimacijapomocu neprekidnemetode najmanjihkvadrata

Po dijelovimalinearnaaproksimacijapomocu neprekidnemetode najmanjihkvadrata

Zadaci



Interpolacija i aproksimacija splajnovima

Kod regresije promatrali smo vezu izmedu zavisnevarijable i nezavisnih varijabli.Ta veza izražena je preko funkcije nezavisnih varijabli, stime da smo znali oblik te veze:

linearna regresija pretpostavlja da ta funkcija regresijeovisi linearno o nezavisnim varijablama,nelinearna parametarska regresija pretpostavlja da jefunkcija regresije poznatog nelinearnog oblika (npr.eksponencijalna funkcija),

i nadena funkcija regresije daje najbolja mogucapredvidanja (ili aproksimaciju) zavisne varijable.Neparametarska regresija pretpostavlja da je oblikfunkcije regresije takoder nelinearan, ali nije odredenmodelom, vec se njen oblik procijenjuje iz podataka.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Neparametarska regresija se koristi kadapretpostavljamo ili znamo da je graf funkcije regresijeneka zakrivljena krivulja, ali nemamo model te krivulje.Poželjno je

da na raspolaganju imamo dovoljno podataka,ili da je šum u podacima dovoljno mali,ili da nezavisne varijable variraju u dovoljno velikomrasponu da se može primijetiti nelinearnost u funkcijiregresije.

U tu svrhu najbolje je koristiti splajnove (po dijelovimapolinomne funkcije odredenih svojstava) jer ih se lakokoristi, i predstavljaju prirodno proširenje linearneregresije.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



PrimjerModeli evolucije kratkotrajnih kamatnih stopa su važni ufinancijama.Kao primjer uzet cemo kratkotrajne kamate Euroobveznica.Promatramo podatke vezane uz kamatnu stopudepozita sa dospijecem od 1 mjeseca.Nas interesira kako volatilnost promjena kamatnihstopa ovisi o tekucoj vrijednosti kamatne stope rt .Uobicajeni model za promjenu kratkotrajnih kamatnihstopa je

∆rt = µ(rt−1) + σ(rt−1)εt ,

gdje je ∆rt = rt − rt−1, µ() je funkcija drifta, σ() jefunkcija volatilnosti, a εt je šum iz normalne distribucijeN(0,1).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Slika: Gornja slika: vremenski niz tjednih vrijednosti kamatnestope. Donja slika: vremenski niz promjene kamatnih stopa.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Primjer (nastavak)

Postoje mnogi modeli za µ() i σ(), od kojih je jedan dase te dvije funkcije neparametarski modeliraju.µ() i σ() se odreduju pomocu splajnovaneparametarskom regresijom.Aproksimacija za µ() ispada da je blizu 0 u ovomprimjeru.Ako pretpostavimo da je zaista µ() = 0, tada je

E(∆rt )2|rt−1 = σ2(rt−1).

Prema tome, σ2() možemo procijeniti regresijom (∆rt )2

po rt−1.Ako µ ispadne razlicit od 0, tada σ2() možemoprocijeniti regresijom ∆rt − µ(rt )2 po rt−1, gdje jeµ(rt ) procjena od µ(rt ).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Slika: Gornja slike: tjedne promjene kamatne stope u odnosu nasamu vrijednost kamatne stope; puna linija je splajnaproksimacija funkcije µ(·). Donja slika: kvadrirane tjednepromjene kamatne stope u odnosu na samu vrijednost kamatnestope; puna linija je splajn aproksimacija funkcije σ2(·).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Interpolacija po dijelovima polinomima

Polinomna interpolacija visokog stupnja može imati vrlološa svojstva (velike oscilacije), pa se u praksi ne smijekoristiti.Umjesto toga, koristi se po dijelovima polinomnainterpolacija, tj. na svakom podintervalu vrijedi

ϕ∣∣∣[xk−1,xk ]

= pk , k = 1,2, . . . ,n,

gdje su pk polinomi niskog (ali fiksnog) stupnja.Za razliku od polinomne interpolacije funkcijskihvrijednosti, gdje je bilo dovoljno da su cvoroviinterpolacije medusobno razliciti, ovdje pretpostavljamoda su rubovi podintervala interpolacije uzlaznonumerirani, tj. da vrijedi

a = x0 < x1 < · · · < xn = b.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



To još ne osigurava da je ϕ funkcija jer je mogucadvoznacnost u dodirnim tockama podintervala, ali otome cemo voditi racuna kod zadavanja uvjetainterpolacije.Preciznije, pretpostavimo da na svakom podintervalu[xk−1, xk ] koristimo polinom stupnja m, tj. da je

ϕ

∣∣∣∣[xk−1,xk ]

= pk , k = 1, . . . ,n.

Svaki polinom pk stupnja m odreden je s (m + 1)-imkoeficijentom.Ukupno moramo odrediti koeficijente polinoma pk u npodintervala, tj. ukupno

(m + 1) · n koeficijenata.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Interpolacijski uvjeti su

ϕ(xk ) = fk , k = 0, . . . ,n,

što za svaki polinom daje po 2 uvjeta

pk (xk−1) =fk−1

pk (xk ) =fk , k = 1, . . . ,n,

a ukupno daje 2n uvjeta interpolacije.Uocimo da smo postavljenjem prethodnih uvjetainterpolacije osigurali neprekidnost funkcije ϕ, jer je

pk−1(xk−1) = pk (xk−1), k = 2, . . . ,n.

Primijetimo još da uvjeta interpolacije ima 2n, amoramo naci (m + 1) · n koeficijenata.Bez dodatnih uvjeta to je moguce napraviti samo zam = 1, tj. za po dijelovima linearnu interpolaciju.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Za m > 1 moraju se dodati uvjeti na glatkocuinterpolacijske funkcije ϕ u cvorovima interpolacije.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima linearna interpolacija

Osnovna ideja po dijelovima linearne interpolacije jeumjesto jednog polinoma visokog stupnja koristiti višepolinoma, ali stupnja 1.Na svakom podintervalu [xk−1, xk ], polinom pk jejedinstveno odreden.Obicno ga zapisujemo relativno obzirom na pocetnutocku intervala (razlog je stabilnost) u obliku

pk (x) = c0,k +c1,k (x−xk−1) za x ∈ [xk−1, xk ], k=1,...,n.

Interpolacijski polinom pk možemo zapisati uNewtonovoj formi

pk (x) = f [xk−1] + f [xk−1, xk ] · (x − xk−1),

pa odmah vidimo da vrijedic0,k =f [xk−1] = fk−1

c1,k =f [xk−1, xk ] =fk − fk−1

xk − xk−1, k = 1, . . . ,n.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ako želimo aproksimirati vrijednost funkcije f u toccix ∈ [a,b], prvo treba pronaci izmedu kojih se cvorovatocka x nalazi, tj za koji k vrijedi xk−1 ≤ x < xk .Tek tada možemo racunati koeficijente pripadnoglinearnog polinoma.Za traženje tog intervala koristimo algoritam binarnogpretraživanja.Racunanje vrijednosti splajna u tocci x izvodi se onda udva koraka:

1 za svaki k izracunaj koeficijente c0,k i c1,k ,2 pomocu binarnog pretraživanja pronadi k takav da je

x ∈ [xk−1, xk 〉,3 izracunaj pk (x).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Algoritam (Binarno pretraživanje)

donji = 0;gornji = n;while (gornji − donji) > 1

srednji = fix((donji + gornji)/2);if x < xsrednji

gornji = srednji;else

donji = srednji;end

end

Trajanje ovog algoritma proporcionalno je s log2(n).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ako je funkcija f klase C2[a,b], gdje je [a,b] interval nakojem aproksimiramo, onda je greška takveinterpolacije maksimalna pogreška od svih n linearnihinterpolacija.Na podintervalu [xk−1, xk ] ocjena greške linearneinterpolacije je

|f (x)− pk (x)| ≤Mk

22!|ω(x)|,

pri cemu je

ω(x) = (x − xk−1)(x − xk ), Mk2 = max

x∈[xk−1,xk ]|f ′′(x)|.

Ocijenimo ω(x) na [xk−1, xk ], tj. nadimo njen maksimumpo apsolutnoj vrijednosti.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Kako je graf od ω(x) na [xk−1, xk ] parabola koja sijeceapscisu u xk−1 i xk , maksimum od |ω(x)| je u polovištuintervala

xe =xk−1 + xk

2.

gdje ω(x) zapravo poprima minimum.Dalje vrijedi

|ω(x)| ≤ |ω(xe)| ≤ (xk − xk−1)2

4, ∀x ∈ [xk−1, xk ].

Ako razmak izmedu susjednih cvorova oznacimo shk = xk − xk−1, možemo definirati maksimalni razmaksusjednih cvorova s

h = max1≤k≤n

hk i M2 = max1≤k≤n

Mk2 .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



pa na citavom [a,b], možemo pisati

|f (x)− ϕ(x)| ≤ M2

2!

h2

4=

18

M2 · h2.

Drugim rijecima, ako ravnomjerno povecavamo brojcvorova, tako da h→ 0, onda i maksimalna greška težiu 0.Na primjer, za ekvidistantne mreže, tj. za mreže za kojevrijedi

xk = a + kh, h =b − a

ngreška je reda velicine h2, odnosno n−2 i potrebno jedosta podintervala da se dobije sasvim umjerenatocnost aproksimacije.Na primjer, za h = 0.01, tj. za n = 100, greškaaproksimacije je reda velicine 10−4.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Druga je mana da aproksimacijska funkcija ϕ nijedovoljno glatka, tj. ona je samo neprekidna. Zbog tadva razloga (dosta tocaka za umjerenu tocnost ipomanjkanje glatkoce), obicno se na svakompodintervalu koriste polinomi viših stupnjeva.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



PrimjerPromatramo cijene neke imovine, koje se mijenjajutokom vremena.Informacije o cijenama na tržište stižu u raznimvremenskim trenucima tj koji ne moraju bitiekvidistantni.Prema tome, promatraju se uredeni parovi (tj , xj), pricemu xj = x(tj) predstavlja cijenu u datom trenutku.Inace, kao cijena se najcešce promatra logaritamskasrednja cijena, oblika

x(tj ) =log pponuda(tj ) + log ppotraznja(tj )

2= log

√pponuda(tj )ppotraznja(tj ),

gdje je ppotraznja(tj) ≥ pponuda(tj), a pponuda(tj) ippotaznja(tj) predstavljaju kupovnu i prodajnu cijenu.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Primjer (nastavak)

Buduci da se za mnoge financijske analize uzimajunizovi cijena koje su dobivene na ekvidistantnimcvorovima, ili da se promatraju operatori oblika,

Ω[x ](t) =

∫ t

−∞ω(t − s)x(s)ds,

diskretan skup (tj , xj)|j ∈ S trebamo zamijenitineprekidnom funkcijom nad R.To se najcešce radi po dijelovima linearnominterpolacijom.Za konkretan primjer gledati cemo odnos USD-CHF uroku od 2 dana.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Primjer (nastavak)Vrijeme se mjeri u satima, a mi imamo na raspolaganjuinformacije za vremena:

tj 0 3 4 7 9 15xj 1.465 1.471 1.469 1.458 1.462 1.457

tj 24 25 28 31 33 40xj 1.453 1.460 1.457 1.448 1.455 1.440

tj 42 43 46 48xj 1.438 1.441 1.442 1.440

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadaci

ZadatakNapišite M-file funkciju bintrazenje() koja implementiraalgoritam binarnog pretraživanja. Ulazni parametri funkcijeneka su

tocka tbroj podintervala ncvorovi interpolacije x, gdje je x vektor duljine n + 1

a izlazni parametar neka jeindeks k takav da je t ∈ [x(k), x(k + 1)〉.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



ZadatakZa podatke prikazane u prethodnom primjeru nadite podijelovima linearnu interpolaciju x(t).Izracunajte niz (τi , x(τi)), za τi = t0 + ih gdje je t0 = 0i h = 6 sati.Niz τi je tada ekvidistantan niz.Za svaki i

1 pomocu binarnog pretraživanja pronadite j takav da jeτi ∈ [tj−1, tj〉,

2 izracunajte χi = x(τi ) = pj (τi ).

Nacrtajte graf dobivenog po dijelovima linearnogpolinoma x(t) plavom linijom, i tocke (τi , x(τi))crvenim kružicima.Pravilno oznacite osi.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima kvadratna interpolacija

Ako stavimo m = 2, tj. na svakom podintervalupostavimo kvadratni polinom (parabolu), moramo naci3n koeficijenata, a imamo 2n uvjeta interpolacije.Ako zahtijevamo da aproksimacijska funkcija ϕ ima uunutarnjim cvorovima interpolacije x1, . . . , xn−1neprekidnu derivaciju, onda smo dodali još n − 1 uvjet.A treba nam još jedan!Ako i njega postavimo (a to ne možemo na simetricannacin), onda bismo mogli naci i takvu aproksimaciju.Ona se uobicajeno ne koristi, jer kontrolu derivacijemožemo napraviti samo na jednom rubu (to biodgovaralo inicijalnim problemima).Za razliku od po dijelovima parabolne interpolacije, podijelovima kubicna interpolacija ima vrlo važnu fizikalnupodlogu i vjerojatno je jedna od najcešce korištenihmetoda interpolacije uopce.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima kubicna interpolacija

Kod po dijelovima kubicne interpolacije, restrikcijaaproksimacijske funkcije ϕ na svaki interval je kubicnipolinom.Njega uobicajeno zapisujemo relativno obzirom napocetnu tocku intervala [xk−1, xk ] u obliku

pk (x) = c0,k +c1,k (x − xk−1) + c2,k (x − xk−1)2 + c3,k (x − xk−1)3

za x ∈ [xk−1, xk ], k = 1, . . . ,n.

Buduci da ukupno imamo n kubicnih polinoma, od kojihsvakome treba odrediti 4 koeficijenta, ukupno moramoodrediti 4n koeficijenata.Uvjeta interpolacije je 2n, jer svaki kubicni polinom pkmora interpolirati rubove svog podintervala [xk−1, xk ], tj.mora vrijediti

pk (xk−1) =fk−1

pk (xk ) =fk , k = 1, . . . ,n.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ovi uvjeti automatski osiguravaju neprekidnost funkcijeϕ.Obicno želimo da interpolacijska funkcija bude glada —barem klase C1[a,b], tj. da je i derivacija funkcije ϕneprekidna i u cvorovima.Dodavanjem tih uvjeta za svaki kubicni polinom,dobivamo još 2n uvjeta

p′k (xk−1) =sk−1

p′k (xk ) =sk , k = 1, . . . ,n,

pri cemu su sk neki brojevi.Njihova uloga može biti višeznacna, pa cemo jedetaljno opisati kasnije.Zasad, možemo zamišljati da su brojevi sk nekeaproksimacije derivacije u cvorovima.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Primijetimo da je takvim izborom dodatnih uvjetaosigurana neprekidnost prve derivacije, jer je

p′k−1(xk−1) = p′k (xk−1) = sk−1, k = 2, . . . ,n.

Ako pretpostavimo da su sk zadani brojevi, nadimokoeficijente interpolacijskog polinoma pk .Ponovno, najzgodnije je koristiti Newtonov oblikinterpolacijskog polinoma, ali sada s tzv. dvostrukimcvorovima, jer su u xk−1 i xk dani i funkcijska vrijednosti derivacija.Pretpostavimo li da se u podijeljenoj razlici dva cvorapribližavaju jedan drugom, onda je podijeljena razlikana limesu

limhk→0

f [xk , xk + hk ] = limhk→0

f (xk + hk )− f (xk )

hk= f ′(xk ),

uz uvjet da f ima derivaciju u tocci xk .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Drugim rijecima, vrijedi

f [xk , xk ] = f ′(xk ).

U našem slucaju, ako u tocci xk derivaciju f ′(xk )zadajemo ili aproksimiramo s sk , onda je

f [xk , xk ] = sk .

Sada možemo napisati tablicu podijeljenih razlika zakubicni interpolacijski polinom koji ima dva dvostrukacvora xk−1 i xk :

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



xk f [xk ] f [xk , xk+1] f [xk , xk+1, xk+2] f [xk , xk+1, xk+2, xk+3]

xk−1 fk−1sk−1

xk−1 fk−1f [xk−1, xk ]− sk−1

hk

f [xk−1, xk ]sk + sk−1 − 2f [xk−1, xk ]

h2k

xk fksk − f [xk−1, xk ]

hksk

xk fk

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Forma Newtonovog interpolacijskog polinoma ostat cepo obliku jednaka kao u slucaju da su sve cetiri tockerazlicite, pa imamo

pk (x) =f [xk−1] + f [xk−1, xk−1] · (x − xk−1)

+ f [xk−1, xk−1, xk ] · (x − xk−1)2

+ f [xk−1, xk−1, xk , xk ] · (x − xk−1)2(x − xk )

uz uvažavanje da je

f [xk−1, xk−1] =sk−1

f [xk−1, xk−1, xk ] =f [xk−1, xk ]− f [xk−1, xk−1]

xk − xk−1

=f [xk−1, xk ]− sk−1

hk

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



f [xk−1, xk−1, xk , xk ] =f [xk−1, xk , xk ]− f [xk−1, xk−1, xk ]

xk − xk−1

=

sk − f [xk−1, xk ]

hk− f [xk−1, xk ]− sk−1

hkhk

=sk + sk−1 − 2f [xk−1, xk ]

h2k

.

Uvrštavanjem xk−1 i xk u polinom pk , te u njegovuderivaciju p′k možemo provjeriti da je

pk (xk−1) =fk−1, p′k (xk−1) =sk−1

pk (xk ) =fk , p′k (xk ) =sk

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Newtonov oblik interpolacijskog polinoma možemomalo drugacije zapisati, tako da polinom bude napisanpo potencijama od (x − xk−1).Ako posljednji clan tog polinoma napišemo kao

(x − xk−1)2(x − xk ) =(x − xk−1)2(x − xk−1 + xk−1 − xk )

=(x − xk−1)2(x − xk−1 − hk )

=(x − xk−1)3 − hk (x − xk−1)2,

onda Newtonov interpolacijski polinom poprima oblik

pk (x) =f [xk−1] + f [xk−1, xk−1] · (x − xk−1)

+(f [xk−1, xk−1, xk ]− hk f [xk−1, xk−1, xk , xk ]

)· (x − xk−1)2

+ f [xk−1, xk−1, xk , xk ] · (x − xk−1)3.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Za sve k = 1, . . . ,n, dobivamo

c0,k =pk (xk−1) = fk−1,

c1,k =p′k (xk−1) = sk−1,

c2,k =p′′k (xk−1)

2= f [xk−1, xk−1, xk ]− hk f [xk−1, xk−1, xk , xk ],

c3,k =p′′′k (xk−1)

6= f [xk−1, xk−1, xk , xk ].

Promotrimo li bolje posljednje dvije relacije, otkrivamoda se isplati prvo izracunati koeficijent c3,k , a zatim gaupotrijebiti za racunanje c2,k . Dobivamo

c3,k =sk + sk−1 − 2f [xk−1, xk ]

h2k

,

c2,k =f [xk−1, xk ]− sk−1

hk− hkc3,k .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Dakle, ako znamo skalare sk , onda nije problem nacikoeficijente po dijelovima kubicne interpolacije.Preostaje nam samo odrediti nacin na koji bismo moglibirati sk -ove.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima kubicna Hermiteova interpolacija

Ako su poznate vrijednosti derivacija funkcije f ucvorovima xk , skalare sk možemo izabrati tako davrijedi

sk = f ′(xk ), k = 0, . . . ,n.

U tom slucaju je kubicni polinom odreden lokalno, tj.ne ovisi o drugim kubicnim polinomima.Naime, ako su kubicnom polinomu na rubovimaintervala zadane i funkcijske vrijednost i vrijednostiderivacija, potpuno su odredena njegova cetirikoeficijenta.Interpolacija koja interpolira funkcijske vrijednosti ivrijednosti derivacija u svim zadanim cvorovima zovese po dijelovima kubicna Hermiteova interpolacija.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Nadimo grešku takve interpolacije, uz pretpostavku daje funkcija f ∈ C4[a,b].Prvo, pronadimo grešku na intervalu [xk−1, xk ].Interpolacijski polinom s dvostrukim cvorovima na rubuponaša se kao polinom koji ima cetiri razlicita cvora,takva da se parovi cvorova u rubu “stope”.Zbog toga, možemo promatrati grešku interpolacijskogpolinoma reda 3 koji interpolira funkciju f u tockamaxk−1, xk i još dvijema tockama koje su blizu xk−1 i xk .Grešku takvog interpolacijskog polinoma možemoocijeniti s

|f (x)− pk (x)| ≤Mk

44!|ω(x)|,

pri cemu je, nakon “stapanja tocaka”,

ω(x) = (x − xk−1)2(x − xk )2, Mk4 = max

x∈[xk−1,xk ]|f (4)(x)|.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ostaje samo još pronaci u kojoj je tocci intervala[xk−1, xk ] maksimum funkcije |ω|.Dovoljno je naci sve lokalne ekstreme funkcije ω i unjima provjeriti vrijednost.Derivirajmo

ω′(x) =2(x − xk−1)(x − xk )2 + 2(x − xk−1)2(x − xk )

=2(x − xk−1)(x − xk )(2x − xk−1 − xk ).

Buduci da maksimum greške ne može biti u rubovimaintervala, jer su tamo tocke interpolacije (tj. minimumi igreške i |ω|), onda je jedino još moguce da se ekstremdostiže u nultocci xe od ω′, pri cemu je

xe =(xk−1 + xk )

2.

Lako se provjerava da je to lokalni maksimum.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Vrijednost u xe je kvadrat vrijednosti greške za podijelovima linearnu interpolaciju na istoj mreži cvorova

ω(xe) = (xe − xk−1)2(xe − xk )2 =(xk − xk−1)4

16.

Odatle, prijelazom na apsolutnu vrijednost, odmahslijedi da je xe tocka lokalnog maksimuma za |ω| i

|ω(x)| ≤ |ω(xe)| ≤ (xk − xk−1)4

16, ∀x ∈ [xk−1, xk ].

Definiramo li, ponovno, maksimalni razmak cvorova

h = max1≤k≤n

hk = xk − xk−1 i M4 = max1≤k≤n

Mk4 ,

na citavom [a,b] možemo pisati

|f (x)− ϕ(x)| ≤ M4

4!

h4

16=

1384

M4 · h4.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Drugim rijecima, ako ravnomjerno povecavamo brojcvorova, tako da h→ 0, onda i maksimalna greška težiu 0 i to brže od po dijelovima linearne interpolacije.Ipak, vrlo cesto derivacije funkcije u tockamainterpolacije nisu poznate, na primjer ako su tockedobivene mjerenjem.No, tada možemo aproksimirati prave vrijednostiderivacije korištenjem vrijednosti funkcije u susjednimtockama.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Kubicna splajn interpolacija

Brojeve s0, . . . , sn možemo odrediti na još jedan nacin.Umjesto da su skalari sk neke aproksimacije derivacijefunkcije f u cvorovima, možemo zahtijevati da se skbiraju tako da funkcija ϕ bude još glada — da joj je idruga derivacija neprekidna, tj. da je klase C2[a,b].Nagibe s1, . . . , sn−1 odredujemo iz uvjeta neprekidnostidruge derivacije u unutarnjim cvorovima x1, . . . xn−1.Takva se interpolacija zove kubicna splajninterpolacija.Možemo li iz tih uvjeta jednoznacno izracunati splajn?

Imamo 4n koeficijenata kubicnih polinoma.Uvjeta interpolacije ima 2n.Uvjeta ljepljenja prve derivacije u tockama ima n − 1 jerje toliko unutarnjih tocaka.Uvjeta ljepljenja druge derivacije u tockama ima iston − 1.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Dakle, imamo ukupno 4n − 2 uvjeta, a moramo odrediti4n koeficijenata.Odmah vidimo da nam nedostaju 2 uvjeta da bismo tekoeficijente mogli odrediti, i njih još moramo dodatnoodrediti.Za pocetak, prva derivacija se lijepi u unutarnjimtockama cim postavimo zahtjev da je ϕ′(xk ) = sk u timtockama, bez obzira na to koliki je sk .To nam omogucava da sk -ove odredimo i na neki druginacin.Zbog toga, ostaje nam samo postaviti uvjete ljepljenjadruge derivacije u unutarnjim cvorovima.Zahtjev je

p′′k (xk ) = p′′k+1(xk ), k = 1, . . . ,n − 1.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ako polinome pk pišemo relativno obzirom na pocetnutocku podintervala, tj. ako je

pk (x) = c0,k +c1,k (x−xk−1)+c2,k (x−xk−1)2+c3,k (x−xk−1)3,

onda je

p′′k (x) =2c2,k + 6c3,k (x − xk−1)

p′′k+1(x) =2c2,k+1 + 6c3,k+1(x − xk ),

pa je

p′′k (xk ) =2c2,k + 6c3,k (xk − xk−1)

p′′k+1(xk ) =2c2,k+1.

Podijelimo li prethodne jednadžbe s 2, uvjet ljepljenjaglasi

c2,k + 3c3,k (xk − xk−1) = c2,k+1.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ostaje samo izraziti koeficijente ci,k u terminima fk i skiz relacija koje su dobivene iz uvjeta ljepljenja prvihderivacija.Ponovimo

c3,k =sk + sk−1 − 2f [xk−1, xk ]

h2k

,

c2,k =f [xk−1, xk ]− sk−1

hk− hkc3,k .

Uvrštavanjem u uvjet ljepljenja druge derivacije,dobivamo

f [xk−1, xk ]− sk−1

hk+ 2

sk + sk−1 − 2f [xk−1, xk ]

hk

=f [xk , xk+1]− sk

hk+1− sk+1 + sk − 2f [xk , xk+1]

hk+1.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Sredivanjem dobivamo

−3f [xk−1, xk ] + sk−1 + 2sk

hk=

3f [xk , xk+1]− 2sk − sk+1

hk+1.

Pomnožimo li prethodnu relaciju s hkhk+1 i prebacimo lisve sk na lijevu stranu, a clanove koji nemaju sk nadesnu stranu, za k = 1, . . . ,n − 1, dobivamo

hk+1sk−1+2(hk +hk+1)sk +hk sk+1 = 3(hk+1f [xk−1, xk ]+hk f [xk , xk+1]).

Ovo je linearni sustav s (n + 1)-om nepoznanicom i(n − 1)-om jednadžbom.Ako na neki nacin zadamo rubne nagibe s0 i sn, ondaostaje tocno n − 1 nepoznanica.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Matrica tako dobivenog linearnog sustava jetridijagonalna

2(h1 + h2) h1

h3 2(h2 + h3) h2

. . .. . .

. . .

hn−1 2(hn−2 + hn−1) hn−2

hn 2(hn−1 + hn)

i strogo dijagonalno dominantna po retcima, jer za

svako k vrijedi

2(hk + hk+1) > hk + hk+1.

pa je i regularna (Geršgorin).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Prema tome ovaj linearni sustav sigurno imajedinstveno rješenje s1, . . . , sn−1.Za rješavanje možemo koristiti Gaussove eliminacijebez pivotiranja, jer je i svaka vodeca podmatricaregularna.Primijetimo, sada sk nisu nezavisni, nego ovise jedan odrugom.To znaci da aproksimacija više nije lokalna, jer sepromjenom jedne funkcijske vrijednosti mijenjaju svipolinomi:

promjena jedne vrijednosti fk0 mijenja desne strane u 3jednadžbe (za k0 − 1, k0 i k0 + 1),zbog toga se promijeni cijeli vektor rješenja sustava, tj.svi skalari sk .

Ipak, može se pokazati da su promjene lokalizirane —najviše se promijene sk -ovi za k blizu k0, a promjenepadaju prema rubovima.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Posljednje otvoreno pitanje je kako možemo izabrati s0i sn.Oni se ne moraju direktno zadati, vec se uobicajenozadaju rubni uvjeti na funkciju ϕ iz kojih se odreduju s0 isn ili se dodaju još dvije jednadžbe linearnog sustava(prva i zadnja).Postoji nekoliko tradicionalnih nacina zadavanja rubnihuvjeta, odnosno jednadžbi koje nedostaju a mi cemoobraditi tri od njih.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Potpuni splajn — zadana prva derivacija urubovima

Ako je poznata derivacija funkcije f u rubovima, a to je,recimo slucaj kod rješavanja rubnih problema za obicnudiferencijalnu jednadžbu, onda je prirodno zadati

s0 = f ′(x0), sn = f ′(xn).

Takav oblik splajna se katkad zove potpuni ilikompletni splajn.Greška aproksimacije u funkcijskoj vrijednosti je O(h4).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadana druga derivacija u rubovima

Ako je poznata druga derivacija funkcije f u rubovima,onda treba staviti

f ′′(x0) = ϕ′′(x0) = p′′1(x0), f ′′(xn) = ϕ′′(xn) = p′′n(xn).

Ostaje još samo izraziti p′′1(x0) pomocu s0, s1 te p′′n(xn)pomocu sn−1 i sn.Znamo da je

c2,1 =p′′1(x0)

2=

f ′′(x0)

2,

pa iz izraza za c2,1 izlazi

3f [x0, x1]− 2s0 − s1

h1=

f ′′(x0)

2.

Nakon sredivanja dobivamo jednadžbu

2s0 + s1 = 3f [x0, x1]− h1

2f ′′(x0),

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



koju treba dodati kao prvu jednadžbu linearnogsustava.Slicno, korištenjem relacije

p′′n(xn) = 2c2,n + 6c3,nhn,

te uvrštavanjem izraza za c2,n i c3,n izlazi

sn−1 + 2sn = 3f [xn−1, xn] +hn

2f ′′(xn).

Tu jednadžbu dodajemo kao zadnju u linearni sustav.Dobiveni linearni sustav ima (n + 1)-u jednadžbu i istotoliko nepoznanica, a može se pokazati da ima ijedinstveno rješenje.Ponovno, greška aproksimacije u funkcijskoj vrijednostije O(h4).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Prirodni splajn — slobodni krajevi

Ako zadamo tzv. slobodne krajeve, tj. ako je

ϕ′′(x0) = ϕ′′(xn) = 0

dobivamo prirodnu splajn interpolaciju.Na isti nacin kao u prethodnom slucaju, dobivamo dvijedodatne jednadžbe

2s0 + s1 = 3f [x0, x1], sn−1 + 2sn = 3f [xn−1, xn].

Ako aproksimirana funkcija f nema na rubu drugederivacije jednake 0, onda je greška aproksimacije ufunkcijskoj vrijednosti O(h2), a ako ih ima, onda je kaou prethodnom slucaju greška reda O(h4).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Matrica sustava za prirodni splajn je tada oblika

2 1h2 2(h1 + h2) h1

h3 2(h2 + h3) h2

. . .. . .

. . .hn−1 2(hn−2 + hn−1) hn−2

hn 2(hn−1 + hn) hn−1

1 2

Vektor nepoznanica i vektor desne strane sustava suoblika

s0s1...

sn−1sn

,

3f [x0, x1]3(h2f [x0, x1] + h1f [x1, x2])

· · ·3(hnf [xn−2, xn−1] + hn−1f [xn−1, xn])

3f [xn−1, xn]

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadaci

ZadatakNapišite M-file funkciju prir_kub_splajn() koji racunaparametre si , i = 0, . . . ,n za prirodni kubicni splajn. Ulazniparametri funkcije neka su

vektor interpolacijskih cvorova xvektor interpolacijskih vrijednosti u cvorovima f

a izlazni parametar neka jevektor parametara s, kojeg cine vrijednosti derivacijefunkcije u cvorovima.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



ZadatakNapišite M-file funkciju vrij_kub_splajna() koji racunavrijednost kubicnog splajna u tocci t . Ulazni parametrifunkcije neka su

tocka tvektor interpolacijskih cvorova xvektor interpolacijskih vrijednosti u cvorovima fvektor vrijednosti derivacije funkcije u cvorovima s

a izlazni parametri neka suy, vrijednost splajna u tocci tdy, vrijednost derivacije splajna u tocci td2y, vrijednost druge derivacije splajna u tocci t .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadatak (nastavak)

Izvrednjavanje kubicnog splajna u tocci t odvija se u 2koraka.

1 Pomocu binarnog pretraživanja pronadite k takav da jet ∈ [xk−1, xk 〉.

2 Vrijednost polinoma pk (t) =c0,k + c1,k (t − xk−1) + c2,k (t − xk−1)2 + c3,k (t − xk−1)3

izvrijednite pomocu Hornerove sheme.Analogno se postupa sa 1. i 2. derivacijom splajna.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



ZadatakNeka je

f (x) = sin(πx).

Nadite prirodni splajn koji aproksimira funkciju f na [0,1] scvorovima interpolacije xk = 0.2k, za k = 0, . . . ,5.Izracunajte vrijednost tog splajna u tocci 0.55.

Nacrtajte graf funkcije f (x) = sin(πx) i interpolacijskogprirodnog kubicnog splajna.Nacrtajte grafove 1. i 2. derivacije funkcijef (x) = sin(πx) i interpolacijskog prirodnog kubicnogsplajna.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



NapomenaPogledajmo aproksimacije za funkciju, prvu i druguderivaciju u tocci 0.55.

funkcija prva derivacija druga derivacijaj = 0 j = 1 j = 2

f (j)(0.55) 0.9876883406 −0.4914533661 −9.7480931932ϕ(j)(0.55) 0.9874286861 −0.4849622636 −9.6992452715

greška 0.0002596545 −0.0064911026 −0.0488479218

Vidimo da su aproksimacije vrlo tocne, iako je hrelativno velik.To je zato što funkcija f (x) = sin(πx) zadovoljavaprirodne rubne uvjete f ′′(0) = f ′′(1) = 0, kao i prirodnisplajn.Greška aproksimacije funkcije je reda velicine O(h4),prve derivacije O(h3), a druge derivacije O(h2).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x

y

sin(π x)

splajn

Slika: Funkcija sin(πx) i prirodni kubicni splajn iz zadatka.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−4

−3

−2

−1

0

1

2

3

4

x

y

1.der sin(π x)1.der splajn

Slika: 1. derivacija funkcije sin(πx) i prirodnog kubicnog splajna izzadatka.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−10

−8

−6

−4

−2

0

2

x

y

2.der sin(π x)2.der splajn

Slika: 2. derivacija funkcije sin(πx) i prirodnog kubicnog splajna izzadatka.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima polinomna aproksimacija pomocudiskretne metode najmanjih kvadrata

Ponovo promatramo po dijelovima polinomnu funkcijuϕ

∣∣∣∣[tk−1,tk ]

= pk , k = 1, . . . ,n,

gdje su polinomi pk stupnja `, a rubovi podintervala,koje još nazivamo i cvorovima, oznaceni su sa

a = t0 < t1 < · · · < tn = b.

Ako sa S` oznacimo skup funkcija f : [a,b]→ R sasljedecim svojstvima:

f su po dijelovima polinomi stupnja ` na podintervalima[tk−1, tk ] za k = 1, . . . ,n,f zadovoljavaju odredene uvjete glatkoce na rubovimapodintervala,

tada se može pokazati da je S` vektorski prostorodredene dimenzije d + 1.d + 1 ovisi o broju cvorova n + 1, stupnju polinoma ` iuvjetima na glatkocu u cvorovima.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Prvi korak u primjeni metode najmanjih kvadrata na podijelovima polinomnu funkciju iz prostora S` jepronalaženje baze tog prostora.Pretpostavimo da je Bj,`, j = 0, . . . ,d baza od S`.Tada se ϕ ∈ S` može prikazati u toj bazi kao

ϕ =d∑

j=0

αjBj,`.

Rezultat metode najmanjih kvadrata je tada odredivanjekoeficijenata αj , tako da ϕ najbolje aproksimiraodredeni skup podataka.Kao bazne funkcije uzimamo tzv. B-splajnove Bj,` kojiimaju sljedeca korisna svojstva:

Bj,` poprima netrivijalne vrijednosti unutar segmenta[tj−p, tj+1], p ≤ `, a izvan njega je identicki jednak 0,za svaki x ∈ [a,b] vrijedi

∑dj=0 Bj,`(x) = 1.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Za diskretnu metodu najmanjih kvadratapretpostavljamo da po dijelovima polinomnomfunkcijom želimo aproksimirati podatke izražene um ≥ d + 1 tocaka

(xi , yi) ∈ [a,b], i = 1, . . . ,m.

Dakle, želimo riješiti sljedeci problem

minα0,...,αd

m∑i=1

(yi−ϕ(xi))2 = minα0,...,αd

m∑i=1

yi −d∑

j=0

αjBj,`(xi)

2

.

Ako sve podatke sada prikažemo u matricnom obliku

A =

B0,`(x1) B1,`(x1) · · · Bd ,`(x1)B0,`(x2) B1,`(x2) · · · Bd ,`(x2)

......

...B0,`(xm) B1,`(xm) · · · Bd ,`(xm)

,

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



x =

α0α1...αd

, b =

y1y2...

ym

,tada smo dobili standardni linearni problem najmanjihkvadrata

minx∈Rd+1

‖b − Ax‖2.

Zbog prikazanog svojstva B-splajnova, za svakix ∈ [a,b] postoji najviše `+ 1 B-splajnova za koje jeBj,`(x) 6= 0.Zbog toga matrica A ima vrpcastu strukturu, kod koje usvakom retku matrice postoji najviše `+ 1 netrivijalnihelemenata.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Znamo da ce ovaj problem imati jedinstveno rješenjeako matrica A ima puni stupcani rang.To ce se postici ako za svaki j = 0, . . . ,d postoji xij kojije u nosacu od Bj,`, pri cemu su svi xij , j = 0, . . . ,dmedusobno razliciti.To znaci, da za svaki Bj,`, j = 0, . . . ,d postoji nekizasebni xij za koji je Bj,`(xij ) 6= 0.U tom slucaju matrica A nema niti jedan nulstupac, i svisu linearno nezavisni.

0 5 10

0

2

4

6

8

10

12

14

16

18

20

nz = 40

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima linearna aproksimacija pomocudiskretne metode najmanjih kvadrata

Riješit cemo konkretan problem najmanjih kvadrata zapo dijelovima linearnu aproksimaciju.Po dijelovima linearna funkcija ϕ sada je definirana kao

ϕ

∣∣∣∣[tk−1,tk ]

= pk , k = 1, . . . ,n,

gdje su polinomi pk stupnja 1.Za cvorove

a = t0 < t1 < · · · < tn = b

prostor S1 je dimenzije n + 1, tj. dimenzija od S1jednaka je broju cvorova.Baza Hj = Bj,1 : j = 0, . . . ,n prostora S1 definirana jena sljedeci nacin

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



H0(x) =

t1−xt1−t0

, x ∈ [t0, t1]

0, inace

Hj(x) =

x−tj−1tj−tj−1

, x ∈ [tj−1, tj ]tj+1−xtj+1−tj

, x ∈ [tj , tj+1]

0, inace

j = 1, . . . ,n − 1

Hn(x) =

x−tn−1tn−tn−1

, x ∈ [tn−1, tn]

0, inace

Korisno svojstvo ovih baznih funkcija je

Hj(ti) = δij .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



-

6

1

t0 t1 tj−1 tj tj+1 tn−1 tn

AAAAAA

AAAAAA

AAAAAA

H0 Hj Hj+1 Hn

Slika: Zbog svog izgleda, bazne funkcije Hj zovemo “hatfunctions” ili “šeširne funkcije” ili “krovici”.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Ako uzmemo neki x takav da je x ∈ [tk , tk+1], tada suna tom segmentu samo dvije bazne funkcijenetrivijalne: Hk i Hk+1.Zbog toga u matrici A = [Hj(xi)] svaki redak ima najvišedva netrivijalna elementa.U slucaju da je m = n + 1, i da su xi = ti−1,i = 1, . . . ,n + 1, tada se problem najmanjih kvadratasvodi na rješavanje trivijalnog sustava linearnihjednadžbi za A = I (jer je Hj(ti) = δij ).U tom slucaju radi se o interpolaciji tocaka (xi , yi),i = 1, . . . ,n + 1, a rezultat je αj = yj+1, j = 0, . . . ,n, tj.

ϕ =n∑

j=0

yj+1Hj .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



U slucaju da je m > n + 1, i da za svaki j = 0, . . . ,npostoji xij takav da je xij ∈ 〈tj−1, tj+1〉, pri cemu su svi xij ,j = 0, . . . ,n medusobno razliciti, tada se radi oproblemu najmanjih kvadrata sa jedinstvenimrješenjem

ϕ =n∑

j=0

αjHj .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadaci

ZadatakNapišite M-file funkciju nk_lin_splajn() koja racunamatricu A i vektor b za po dijelovima linearnu aproksimaciju,koji ce se koristiti u metodi najmanjih kvadrata. Ulazniparametri funkcije neka su

vektor cvorova t duljine n + 1vektori podataka x i y duljine m

a izlazni parametri neka sumatrica Avektor b.

Najprije treba podatke (xi , yi) sortirati tako da xi budu uuzlaznom poretku.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



ZadatakNapišite M-file funkciju vrij_lin_splajna() koja racunavrijednost po dijelovima linearne funkcije u tocci x. Ulazniparametri funkcije neka su

tocka xvektor cvorova t duljine n + 1vektor koeficijenata α duljine n + 1

a izlazni parametar neka jey, vrijednost splajna u tocci x.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadatak (nastavak)

Izvrednjavanje po dijelovima linearne funkcije ϕ u tocci xodvija se u 2 koraka.

1 Pomocu binarnog pretraživanja pronadite k takav da jex ∈ [tk , tk+1〉.

2 Izracunajte vrijednost funkcije ϕ kao

ϕ(x) = αkHk (x) + αk+1Hk+1(x).

Obratite posebnu pozornost ako je baš x = tn.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



ZadatakUzmite podatke iz primjera sa pocetka poglavlja o problemunajmanjih kvadrata spremljene u datoteci


na adresi


Ovdje vrijedi da je x = rt i y = rj . Vaš zadatak je1 Izracunati matricu A i b pomocu funkcijenk_lin_splajn().

2 Riješiti problem najmanjih kvadrata min ‖Aααα− b‖2pomocu SVD-a.

3 Izracunati vrijednosti od ϕ =∑n

j=0 αjHj u cvorovima, ispremiti te vrijednosti u polje sy.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadatak (nastavak)4 Nacrtati graf sa prikazanim tockama (xi , yi) i funkcijomϕ izraženom pomocu tocaka sy.

Ovaj zadatak treba napraviti za tri razlicita izbora cvorova:t1 = 0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1t2 = 0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,1t3 = sort(rt)

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima polinomna aproksimacija pomocuneprekidne metode najmanjih kvadrata

Parametre funkcije ϕ =∑d

j=0 αjBi,` možemo odrediti ina još jedan nacin.Pretpostavimo da želimo aproksimirati neku poznatufunkciju f pomocu po dijelovima polinomne funkcije.To se cesto radi za funkcije f koje su numerickizahtjevne za racunanje.Tada, funkciju ϕ možemo izracunati pomocuneprekidne metode najmanjih kvadrata u kojoj seodstupanje od f mjeri na cijeloj njenoj domeni, a nesamo u diskretnim tockama.Radi se o problemu

minϕ∈S`‖f − ϕ‖2,

gdje je ‖ ‖2 posebno definirana norma.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Kako bismo našli minimalnu grešku u neprekidnomslucaju, najprije tebamo definirati skalarni produkt zaneprekidne funkcije na nekom intervalu.Skalarni produkt nam treba zbog svojstva da je rješenjeproblema najmanjih kvadrata dobiveno ortogonalnomprojekcijom na potprostor.Skalarni produkt onda možemo na prirodan nacinpovezati sa normom.

Definicija

Neka je w(x) zadana funkcija. w(x) je težinska funkcija akoje

w(x) ≥ 0 na intervalu [a,b],w(x) može biti jednaka 0 samo u izoliranim tockama.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Definicija

Težinska L2-norma (2-norma) funkcije u na [a,b] je

‖u‖2 =

(∫ b

aw(x)|u(x)|2dx

)1/2

.

Ako je ta norma konacna i za funkciju u i za funkciju v, ondamožemo definirati težinski skalarni produkt

〈u, v〉 =

∫ b

aw(x)u(x)v(x)dx .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Skalarni produkt 〈u, v〉 je dobro definiran (konacan), jervrijedi Cauchy–Schwarzova nejednakost

|〈u, v〉| ≤ ‖u‖2 · ‖v‖2.

〈u, v〉 je zaista skalarni produkt, jer1 〈u,u〉 ≥ 0, a jednak je 0 za one funkcije u koje su nula u

svim tockama gdje je w(x) > 0,2 vrijedi linearnost u prvom argumentu

〈α1u1 + α2u2, v〉 = α1〈u1, v〉+ α2〈u2, v〉,

3 vrijedi antilinearnost u drugom argumentu

〈u, β1v1 + β2v2〉 = β1〈u, v1〉+ β2〈u, v2〉.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Parametre funkcije ϕ =∑d

j=0 αjBi,` odredit cemo kao ikod diskretnog slucaja: rješavanjem sustavanormalnih jednadžbi.Promotrimo sada kvadrat norme greške za relanefunkcije

‖f − ϕ‖22 = 〈f , f 〉 − 2〈f , ϕ〉+ 〈ϕ,ϕ〉.

Ako definiramo

F (α0, . . . , αd ) = ‖f−ϕ‖22 =

∫ b

aw(x)

f (x)−d∑

j=0

αjBi,`(x)

2

dx ,

tada vrijedi sljedece.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



F (α0, . . . , αd ) =

∫ b

aw(x)f (x)2dx−

− 2d∑

j=0

αj

∫ b

aw(x)f (x)Bj,`(x)dx+

+d∑

j=0

α2j

∫ b

aw(x)Bj,`(x)2dx+

+d∑

j,k=0j 6=k

αjαk

∫ b

aw(x)Bj,`(x)Bk ,`(x)dx

Funkcija F (α0, . . . , αd ) je kvadratna funkcija, pa se njenminimum postiže za ∇F (α0, . . . , αd ) = 0, 0dnosnokada su sve njene parcijalne derivacije jednake 0.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Iz predhodnog izraza za F (α0, . . . , αd ) slijedi

∂F (α0, . . . , αd )

∂αi=− 2

∫ b

aw(x)f (x)Bi,`(x)dx+

+ 2d∑

j=0

αj

∫ b

aw(x)Bi,`(x)Bj,`(x)dx ,

i = 0, . . . ,d ,

pa se minimum funkcije F (α0, . . . , αd ) postiže urješenju sustava normalnih jedadžbi

d∑j=0

αj

∫ b

aw(x)Bi,`(x)Bj,`(x)dx =

∫ b

aw(x)f (x)Bi,`(x)dx ,

i = 0, . . . ,d .

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Koeficijenti normalnih jedadžbi su zapravo odgovarajuciskalarni produkti, pa one u pojednostavljenom oblikuglase

d∑j=0

〈Bi,`,Bj,`〉αj = 〈f ,Bi,`〉, i = 0, . . . ,d .

Ako definiramo matricu A, i vektore x i b sa

A =

〈B0,`,B0,`〉〈B0,`,B1,`〉 · · · 〈B0,`,Bd ,`〉〈B1,`,B0,`〉〈B1,`,B1,`〉 · · · 〈B1,`,Bd ,`〉

......

...〈Bd ,`,B0,`〉〈Bd ,`,B1,`〉 · · · 〈Bd ,`,Bd ,`〉

,

x =

α0α1...αd

, b =

〈f ,B0,`〉〈f ,B1,`〉

...〈f ,Bd ,`〉

,

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



onda problem najmanjih kvadrata možemo svesti nasustav normalnih jednadžbi zapisanih u matricnomobliku kao

Ax = b.Promotrimo sada svojstva matrice A:

ona je vrpcasta sa malim brojem dijagonala zbogogranicenog nosaca B-splajnovaona je simetricnaona je pozitivno definitna

Provjerimo pozitivnu definitnost matrice A

xT Ax =d∑

i=0

d∑j=0

αiαj〈Bi,`,Bj,`〉 =d∑

i=0

d∑j=0

〈αiBi,`, αjBj,`〉

=

⟨d∑

i=0

αiBi,`,

d∑j=0

αjBj,`

⟩=

∥∥∥∥∥d∑

i=0

αiBi,`

∥∥∥∥∥2

2

≥ 0

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



xT Ax = 0 ako i samo ako je∑d

i=0 αiBi,` ≡ 0 cim jew(x) > 0.Za slucaj w(x) ≡ 1, buduci da B-splajnovi cine bazuimamo da je

d∑i=0

αiBi,` ≡ 0 ⇒ αi = 0, i = 0, . . . ,d .

Dakle, matrica A je regularna pa postoji jedinstvenorješenje problema najmanjih kvadrata.Da je to zaista minimum, lako se provjeri racunanjemHessiana funkcije F (α0, . . . , αd ):

∂2F (α0, . . . , αd )

∂αi∂αj= 2

∫ b

aw(x)Bi,`(x)Bj,`(x)dx = 2〈Bi,`,Bj,`〉,

odnosno

H = 2A je pozitivno definitna matrica.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Po dijelovima linearna aproksimacija pomocuneprekidne metode najmanjih kvadrata

U slucaju linearne aproksimacije, bazne funkcije su“krovici” Hj , j = 0, . . . ,n, a w(x) = 1.Pogledajmo kako u tom slucaju izgleda matrica A.Prvo možemo zakljuciti da je Hi(x) · Hj(x) = 0 za svex ∈ [a,b] kada je |i − j | > 1.Dalje vrijedi

Hj−1(x) · Hj(x) =

tj−x

tj−tj−1· x−tj−1

tj−tj−1, x ∈ [tj−1, tj ]

0, inace

=

−x2+(tj−1+tj )x−tj−1tj

(tj−tj−1)2 , x ∈ [tj−1, tj ]0, inace

j = 1, . . . ,n

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



H0(x)2 =

(t1−x)2

(t1−t0)2 , x ∈ [t0, t1]

0, inace

=

x2−2t1x+t2

1(t1−t0)2 , x ∈ [t0, t1]

0, inace

Hj(x)2 =

(x−tj−1)2

(tj−tj−1)2 , x ∈ [tj−1, tj ](tj+1−x)2

(tj+1−tj )2 , x ∈ [tj , tj+1]

0, inace

=

x2−2tj−1x+t2

j−1(tj−tj−1)2 , x ∈ [tj−1, tj ]

x2−2tj+1x+t2j+1

(tj+1−tj )2 , x ∈ [tj , tj+1]

0, inace

j = 1, . . . ,n − 1

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Hn(x)2 =

(x−tn−1)2

(tn−tn−1)2 , x ∈ [tn−1, tn]

0, inace

=

x2−2tn−1x+t2

n−1(tn−tn−1)2 , x ∈ [tn−1, tn]

0, inace

Elemente matrice A sada je lako odrediti.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



〈Hj−1,Hj〉 =

∫ b

aHj−1(x)Hj (x)dx =

∫ tj

tj−1

Hj−1(x)Hj (x)dx

=tj − tj−1

6, j = 1, . . . ,n

〈H0,H0〉 =

∫ b

aH0(x)H0(x)dx =

∫ t1

t0H0(x)H0(x)dx

=t1 − t0

3

〈Hj ,Hj〉 =

∫ b

aHj (x)H0(j)dx =

∫ tj+1

tj−1

Hj (x)Hj (x)dx

=tj+1 − tj−1

3, j = 1, . . . ,n − 1

〈Hn,Hn〉 =

∫ b

aHn(x)Hn(x)dx =

∫ tn

tn−1

Hn(x)Hn(x)dx

=tn − tn−1

3

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Matrica A je dakle tridijagonalna, strogo dijagonalnodominantna, pozitivno definitna, oblika

A =

t1−t03

t1−t06

t1−t06

t2−t03

t2−t16

. . . . . . . . .tn−1−tn−2

6tn−tn−2

3tn−tn−1

6tn−tn−1

6tn−tn−1

3

,a vektor b je oblika

b =

∫ t1t0

f (x)H0(x)dx∫ t2t0

f (x)H1(x)dx...∫ tn

tn−2f (x)Hn−1(x)dx∫ tn

tn−1f (x)Hn(x)dx

.

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Sustav Ax = b se sada jednostavno može riješitipomocu faktorizacije Choleskogspecijalnom LDLT metodom za tridijagonalne matriceSOR metodommetodom konjugiranih gradijenata

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadaci

ZadatakNapišite M-file funkciju nnk_lin_splajn() koja racunamatricu A i vektor b za po dijelovima linearnu aproksimaciju,koji ce se koristiti u neprekidnoj metodi najmanjih kvadrata.Ulazni parametri funkcije neka su

vektor cvorova t duljine n + 1pokazivac na funkciju f

a izlazni parametri neka sumatrica Avektor b.

Pokazivac na fukciju imena ime_funkcije je definiran sa@ime_funkcije. Mogu se koristiti i pokazivaci na anonimnefunkcije definirane npr. kao

f=@(x) xˆ2+sin(x)

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadatak (nastavak)Kod anonimnih funkcija radi se o jednostavnim funkcijamakoje se mogu definirati unutar jedne linije.Upute za racunanje vektora b:

Funkcije f (x) · Hj(x) definirajte kao pokazivace naanonimne funkcije.Za j = 1, . . . ,n − 1 napišite dvije verzije te funkcije:jednu za interval [tj−1, tj ], a drugu za interval [tj , tj+1].Integral cemo racunati kao∫ tj+1

tj−1

f (x)Hj(x)dx =

∫ tj

tj−1

f (x)Hj(x)dx +

∫ tj+1

tjf (x)Hj(x)dx .

Za racunanje integrala koristite MATLAB-ovu funkcijuquad().

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



Zadatak (nastavak)

Funkcija quad() zahtijeva pokazivac na funkciju.Za izvršavanje te funkcije potrebno je da su sveoperacije u anonimnim funkcijama koje definirajuf (x) · Hj(x) po elementima (.* i ./).

Numerickemetode


Nela Bosner

MATLAB







Zadaci





Zadaci



Zadaci



Zadaci



ZadatakNeprekidnom metodom najmanjih kvadrata nadite linearnuaproksimaciju funkcije

f (x) = sin(x), x ∈ [0, π].

Vaš zadatak je1 Izracunati matricu A i b pomocu funkcijennk_lin_splajn().

2 Riješiti sustav Aααα = b pomocu neke metode.3 Izracunati vrijednosti od ϕ =

∑nj=0 αjHj u cvorovima, i

spremiti te vrijednosti u polje sy4 Nacrtati graf sa prikazanom funkcijom f (MATLAB-ova

funkcija fplot()) i funkcijom ϕ izraženom pomocutocaka sy.

Ovaj zadatak treba napraviti za t = 0 : pi/10 : pi.

Numerickemetode


Nela Bosner

MATLAB






DiskretnaFourierovatransformacijaTrigonometrijskainterpolacija

Brza Fourierovatransformacija (FFT)

Zadaci


Diskretna Fourierova transformacija

PrimjerPrimjena diskretne Fourierove transformacije ustatistickoj analizi vremenskih nizova ostvaruje se uracunanju periodograma IN(f ), koji mjeri kolikoodredena frekvencija f utjece na varijaciju vremenskogniza yt.Periodogram se obicno definira kao

IN(f ) =N2

[A(f )2 + B(f )2],

gdje su A(f ) i B(f ) aproksimacije periodickihkomponenti niza yt , t = 0, . . . ,N − 1,

A(f ) =2N

N−1∑t=0

yt cos(2πft), B(f ) =2N

N−1∑t=0

yt sin(2πft).

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Primjer (nastavak)Iako je periodogram definiran za sve frekvencijef ∈ [0, 1

2 ], u vecini primjena on ce se izvrednjavati samou nekoliko izabranih frekvencija.Ako odaberemo Fourijerove frekvencije fj = j

N , tadamožemo koristiti diskretnu Fourijerovu transformacijuza racunanje IN(fj):

aj =N−1∑t=0

yte−2πιjt

N

=N−1∑t=0

yt

[cos

(2πjtN

)− ι sin

(2πjtN

)]=

N2

[A(

jN

)− ιB

(jN

)].

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Primjer (nastavak)Odavde slijedi da je

IN

(jN

)=

2N|aj |2,

gdje je ι =√−1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Trigonometrijska interpolacija

Trigonometrijska interpolacija koristi kombinacijetrigonometrijskih funkcija cos(hx) i sin(hx) za cijeli brojh.Mi cemo promatrati linearne interpolacije oblika

ψ(x) =A0

2+

M∑h=1

(Ah cos(hx) + Bh sin(hx)), ili

ψ(x) =A0

2+

M−1∑h=1

(Ah cos(hx) + Bh sin(hx)) +AM

2cos(Mx),

za N = 2M + 1 odnosno N = 2M interpolacijskihtocaka (xk , fk ), k = 0, . . . ,N − 1.Interpolacija ovog oblika pogodna je za podatke koji superiodicni sa poznatom periodom.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Zbog pojednostavljenja racuna uvodimo kompleksnebrojeve i koristimo De Moivreovu formulu

eιkx = cos(kx) + ι sin(kx),

za ι =√−1.

Posebno su važne uniformne particije segmenta [0,2π]

xk =2πkN

, k = 0,1, . . . ,N − 1.

Za takve particije, trigonometrijski interpolacijskiproblem može se transformirati u problem pronalaženjafaznog polinoma reda N (sa N koeficijenata)

p(x) = β0 + β1eιx + β2e2ιx + · · ·+ βN−1e(N−1)ιx ,

sa kompleksnim koeficijentima βj takvima da je

p(xk ) = fk , k = 0,1, . . . ,N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Zaista, zbog periodicnosti s periodom 2π vrijedi

e−hιxk = e−2πιhk

N = e2πι(N−h)k

N = e(N−h)ιxk ,

i zbog toga je

cos(hxk ) =ehιxk + e(N−h)ιxk

2, sin(hxk ) =

ehιxk − e(N−h)ιxk

2ι.

Uvrštavanjem ovih izraza u trigonometrijski polinomψ(x), i grupiranjem izraza sa istom potencijom od eιxk

dobit cemo fazni polinom p(x) sa koeficijentima βj ,j = 0, . . . ,N − 1.βj možemo izraziti preko koeficijenata Ah i Bh nasljedeci nacin:

Numerickemetode


Nela Bosner

MATLAB








Zadaci


(a) Ako je N neparan, tada je N = 2M + 1 i vrijedi

β0 =A0

2

βj =12

(Aj − ιBj), j = 1, . . . ,M

βN−j =12

(Aj + ιBj), j = 1, . . . ,M

A0 =2β0

Ah =βh + βN−h, h = 1, . . . ,MBh =ι(βh − βN−h), h = 1, . . . ,M

Numerickemetode


Nela Bosner

MATLAB








Zadaci


(b) Ako je N paran, tada je N = 2M i vrijedi

β0 =A0

2

βj =12

(Aj − ιBj), j = 1, . . . ,M − 1

βN−j =12

(Aj + ιBj), j = 1, . . . ,M − 1

βM =AM

2A0 =2β0

Ah =βh + βN−h, h = 1, . . . ,M − 1Bh =ι(βh − βN−h), h = 1, . . . ,M − 1AM =2βM

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Trigonometrijski polinom ψ(x) i njen fazni polinom p(x)poklapaju se u tockama xk = 2πk/N

fk = ψ(xk ) = p(xk ), k = 0,1, . . . ,N − 1.

Medutim, ψ(x) = p(x) ne mora vrijediti za tocke x 6= xk .Interpolacijski problemi sa ψ(x) i p(x) ekvivalentni susamo za tocke xk , i u tom slucaju znamo izracunatikoeficijente jedne funkcije preko koeficijenata druge.S druge strane, fazni polinom p(x) je strukturalnojednostavniji od ψ(x).Uvodimo sljedece pokrate:

ω = eιx , ωk = eιxk = e2kπι

N ,

P(ω) = β0 + β1ω + · · ·+ βN−1ωN−1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Buduci da je

ωj 6= ωk , za j 6= k , 0 ≤ j , k ≤ N − 1,

polazni problem smo sveli na standardnu polinomijalnuinterpolaciju:

Nadi kompleksan algebarski polinom P stupnja manjegod N uz uvjet

P(ωk ) = fk , k = 0,1, . . . ,N − 1.

Iz jedinstvenosti polinomijalne interpolacije, odmahdobivamo sljedeci teorem.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


TeoremZa izbor interpolacijskih tocaka (xk , fk ), k = 0, . . . ,N − 1,gdje je fk ∈ C i xk = 2πk/N, postoji jedinstveni fazni polinom

p(x) = β0 + β1eιx + β2e2ιx + · · ·+ βN−1e(N−1)ιx

za koji jep(xk ) = fk

za k = 0,1, . . . ,N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Sada želimo naci eksplicitne izraze za βj za što ce namtrebati sljedeci rezultati.Najprije, primijetimo da je za 0 ≤ j ,h ≤ N − 1

ωjh = ωh

j , ω−jh = ωj

h.

TeoremZa 0 ≤ j ,h ≤ N − 1 vrijedi

N−1∑k=0

ωjkω−hk =

N, za j = h,0, za j 6= h.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz.Prvo, zbog prethodnih primjedbi vrijedi sljedece

N−1∑k=0

ωjkω−hk =

N−1∑k=0

ωj−hk =

N−1∑k=0

ωkj−h.

Za 0 ≤ j ,h ≤ N − 1 je −(N − 1) ≤ j − h ≤ N − 1.

ωj−h = e2(j−h)πι

N je onda N-ti korijen jedinice, jer je

ωNj−h =e

2N(j−h)πιN = e2(j−h)πι

= cos(2(j − h)π) + ι sin(2(j − h)π) = 1.

ωj−h je stoga korijen polinoma

ωN − 1 = (ω − 1)(ωN−1 + ωN−2 + · · ·+ ω + 1).

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).Odavde slijedi da je(a) ili ωj−h = 1 za j = h, pa je

N−1∑k=0

ωjkω−hk =

N−1∑k=0

1k = N,

(b) ili za j 6= h

ωN−1j−h + ωN−2

j−h + · · ·+ ωj−h + 1 = 0,

pa jeN−1∑k=0

ωjkω−hk =

N−1∑k=0

ωkj−h = 0.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Korolar

Za trigonometrijske funkcije, na mreži tocaka xk = 2πkN , za

k = 0, . . . ,N − 1 vrijede sljedece relacije ortogonalnosti

N−1∑k=0

sin(jxk ) sin(hxk ) =

0, za j 6= h i j = h = 0,N2 , za j = h 6= 0,

N−1∑k=0

cos(jxk ) cos(hxk ) =

0, za j 6= h,N2 , za j = h 6= 0,N, za j = h = 0,

N−1∑k=0

sin(jxk ) cos(hxk ) =0,

uz uvjet da je j + h ≤ N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz.Kako je

ωk =eιxk = cos(xk ) + ι sin(xk ),

ωjk =eιjxk = cos(jxk ) + ι sin(jxk ),

onda slijediN−1∑k=0

ωjkω−hk =

N−1∑k=0

(cos(jxk ) + ι sin(jxk ))(cos(hxk )− ι sin(hxk ))

=N−1∑k=0

(cos(jxk ) cos(hxk ) + sin(jxk ) sin(hxk ))+

+ ι

N−1∑k=0

(sin(jxk ) cos(hxk )− cos(jxk ) sin(hxk ))

=

N, za j = h,0, za j 6= h.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

Dakle, izjednacavanjem realnih i imaginarnih djelovaprethodne jednakosti možemo zakljuciti

N−1∑k=0

(cos(jxk ) cos(hxk ) + sin(jxk ) sin(hxk )) =

N, za j=h,

0, za j 6=h,

N−1∑k=0

(sin(jxk ) cos(hxk )− cos(jxk ) sin(hxk )) =0.

Dalje, iz adicionih formula slijediN−1∑k=0

cos((j − h)xk ) =N−1∑k=0

cos(`xk ) =

N, za j=h, `=0

0, za j 6=h, ` 6=0,

N−1∑k=0

sin((j − h)xk ) =N−1∑k=0

sin(`xk ) = 0,

za −(N − 1) ≤ ` ≤ N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).Sada redom možemo pokazati:

N−1∑k=0

sin(jxk ) sin(hxk ) =12

(N−1∑k=0

cos((j − h)xk )−N−1∑k=0

cos((j + h)xk )

)

=

12 (N − N) = 0, za j = h = 0,12 (N − 0) = N

2 , za j = h 6= 0,12 (0− 0) = 0, za j 6= h,

N−1∑k=0

cos(jxk ) cos(hxk ) =12

(N−1∑k=0

cos((j − h)xk ) +N−1∑k=0

cos((j + h)xk )

)

=

12 (N + N) = N, za j = h = 0,12 (N + 0) = N

2 , za j = h 6= 0,12 (0 + 0) = 0, za j 6= h,

N−1∑k=0

sin(jxk ) cos(hxk ) =12

(N−1∑k=0

sin((j − h)xk ) +N−1∑k=0

sin((j + h)xk )

)

=12

(0 + 0) = 0.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Ovim korolarom smo pokazali da trigonometrijskefunkcije cos(hx), sin(hx) predstavljaju realnuortogonalnu familiju funkcija, sa posebnim diskretnimskalarnim produktom definiranim na mreži xk.Sada cemo se ponovo vratiti na kompleksan problemzadan faznim polinomom.Ako u vektorskom prostoru CN svih N-torkiu = (u0,u1, . . . ,uN−1), uk ∈ C , k = 0, . . . ,N − 1koristimo standardni skalarni produkt

〈u, v〉 =N−1∑k=0

uk vk ,

tada prethodni teorem tvrdi da posebni N-vektori

w (h) = (1, ωh1 , . . . , ω

hN−1), h = 0, . . . ,N − 1,

cine ortogonalnu bazu za CN , takvu da je

Numerickemetode


Nela Bosner

MATLAB








Zadaci


〈w (j),w (h)〉 =

N, za j = h,0, za j 6= h.

Primijetimo da ovi vektori imaju duljinu

‖w (h)‖2 =√〈w (h),w (h)〉 =

√N.

Iz ortogonalnosti vektora w (h) slijedi sljedeci teorem.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Teorem

Fazni polinom p(x) =∑N−1

j=0 βjejιx zadovoljava

p(xk ) = fk , k = 0, . . . ,N − 1,

za kompleksne brojeve fk i xk = 2πkN ako i samo ako

βj =1N

N−1∑k=0

fkω−jk =

1N

N−1∑k=0

fke−2πιjk

N , j = 0, . . . ,N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz.Buduci da je fk = pk , N-vektor f = (f0, f1, . . . , fN−1)zadovoljava

f =N−1∑j=0

βjw (j),

tako da je

N−1∑k=0

fkω−hk = 〈f ,w (h)〉 =

N−1∑j=0

βj〈w (j),w (h)〉 = Nβh.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


KorolarTrigonometrijski polinomi

ψ(x) =A0

2+

M∑h=1

(Ah cos(hx) + Bh sin(hx)),

ψ(x) =A0

2+

M−1∑h=1

(Ah cos(hx) + Bh sin(hx)) +AM

2cos(Mx),

gdje je N = 2M + 1 odnosno N = 2M, zadovoljavaju

ψ(xk ) = fk , k = 0,1, . . . ,N − 1,

za xk = 2πkN ako i samo ako su koeficijenti od ψ(x) dani sa

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Korolar (nastavak)

Ah =2N

N−1∑k=0

fk cos(hxk ) =2N

N−1∑k=0

fk cos(

2πhkN

),

Bh =2N

N−1∑k=0

fk sin(hxk ) =2N

N−1∑k=0

fk sin(

2πhkN

).

Dokaz.Ovaj korolar može se dokazati na dva nacina.

1 Preko izraza

Ah = βh + βN−h, Bh = ι(βh − βN−h),

i prethodnog teorema.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).2 Koristeci ortogonalnost trigonometrijskih funkcija.

N=2M+1 Za 0 ≤ h, j ≤ M, vrijedi (j + h) ≤ 2M < N, i

N−1∑k=0

fk cos(hxk ) =A0

2

N−1∑k=0

cos(hxk )+

+M∑

j=1

Aj

N−1∑k=0

cos(hxk ) cos(jxk )+

+M∑

j=1

Bj

N−1∑k=0

cos(hxk ) sin(jxk )

=

A02 · N, za h = 0,

Ah · N2 , za h 6= 0.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

N−1∑k=0

fk sin(hxk ) =A0

2

N−1∑k=0

sin(hxk )+

+M∑

j=1

Aj

N−1∑k=0

sin(hxk ) cos(jxk )+

+M∑

j=1

Bj

N−1∑k=0

sin(hxk ) sin(jxk )

=

0, za h = 0,Bh · N

2 , za h 6= 0.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).N=2M Za 0 ≤ h, j ≤ M − 1, vrijedi (j + h) ≤ 2M − 2 < N, i

N−1∑k=0

fk cos(hxk ) =A0

2

N−1∑k=0

cos(hxk )+

+M−1∑j=1

Aj

N−1∑k=0

cos(hxk ) cos(jxk )+

+M−1∑j=1

Bj

N−1∑k=0

cos(hxk ) sin(jxk )+

+AM

2

N−1∑k=0

cos(hxk ) cos(Mxk )

=

A02 · N, za h = 0,

Ah · N2 , za h 6= 0, h 6= M

AM2 · N, za h = M.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

Zadnja tvrdnja se vidi iz 2Mxk = N 2πkN = 2πk i iz

sljedeceg izraza:

N−1∑k=0

cos(Mxk ) cos(Mxk ) =12

N−1∑k=0

cos((M −M)xk )+

+12

N−1∑k=0

cos(2Mxk )

=12

(N−1∑k=0

cos(0) +N−1∑k=0

cos(2πk)

)

=12

(N + N) = N.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

N−1∑k=0

fk sin(hxk ) =A0

2

N−1∑k=0

sin(hxk )+

+M−1∑j=1

Aj

N−1∑k=0

sin(hxk ) cos(jxk )+

+M−1∑j=1

Bj

N−1∑k=0

sin(hxk ) sin(jxk )+

+AM

2

N−1∑k=0

sin(hxk ) cos(Mxk )

=

0, za h = 0,Bh · N

2 , za h 6= 0, h 6= M0, za h = M.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Definicija

Preslikavanje F : CN → CN definirano sa β = F(f ) kao

f = (f0, f1, . . . , fN−1) 7→ β = (β0, β1, . . . , βN−1),

pri cemu su βj j = 0, . . . ,N − 1 definirani kao uprethodnom teoremu, zove se diskretna Fourierovatransformacija (DFT).Njen inverz β 7→ f = F−1(β) zove se Fourierovasinteza, i predstavlja izvrednjavanje faznog polinomap(x) u ekvidistantnim tockama xk = 2πk

N ,k = 0, . . . ,N − 1,

fk =N−1∑j=0

βje2πιjk

N =N−1∑j=0

βjωjk .

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Buduci da je fk =∑N−1

j=0 βjω−jk , preslikavanje F−1 može

se izraziti preko F kao

f = F−1(β) = NF(β).

Zbog toga se algoritam za racunanje diskretneFourierove transformacije F može upotrijebiti i zaFourierovu sintezu.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Za fazne polinome q(x) reda s, gdje je s ≤ N − 1opcenito ne postoji mogucnost da svi reziduali

fk − q(xk ), k = 0, . . . ,N − 1,

budu jednaki 0, pa se stoga radi o problemunajmanjih kvadrata.U tu svrhu definiramo s-segmente

ps(x) = β0 + β1eιx + · · ·+ βs−1e(s−1)ιx ,

interpolacijskog polinoma p(x), koji ce predstavljatinajbolje aproksimacije.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Teorems-segment ps(x), 0 ≤ s < N, interpolacijskog faznogpolinoma p(x) minimizira sumu kvadrata

S(q) =N−1∑k=0

|fk − q(xk )|2

po svim faznim polinomima

q(x) = γ0 + γ1eιx + · · ·+ γs−1e(s−1)ιx .

Fazni polinom ps(x) je na jedinstveni nacin odreden ovimsvojstvom minimizacije

S(ps) = minq

S(q),

i predstavlja rješenje problema najmanjih kvadrata.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz.Definirajmo N-vektore

ps = (ps(x0), . . . ,ps(xN−1)), q = (q(x0), . . . ,q(xN−1)).

S(a) može biti napisan kao skalarni produkt

S(q) = 〈f − q, f − q〉.

Prema prethodnom teoremu je Nβj = 〈f ,w (j)〉 zaj = 0, . . . ,N − 1.Zbog toga je za j ≤ s − 1

〈f − ps,w (j)〉 = 〈f −s−1∑h=0

βhw (h),w (j)〉 = Nβj − Nβj = 0,

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).i

〈f − ps,ps − q〉 =s−1∑j=0

(βj − γj)〈f − ps,w (j)〉 = 0.

Sada možemo zakljuciti

S(q) =〈f − q, f − q〉=〈(f − ps) + (ps − q), (f − ps) + (ps − q)〉=〈f − ps, f − ps〉+ 〈ps − q,ps − q〉≥〈f − ps, f − ps〉 = S(ps).

Jednakost vrijedi samo ako je‖ps − q‖22 = 〈ps − q,ps − q〉 = 0, tj. ako je ps = q.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

Tada su fazni polinomi ps(x) i q(x) identicni premateoremu o jedinstvenosti interpolacijskog faznogpolinoma (za fk = 0, k = 0, . . . , s).

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Brza Fourierova transformacija (FFT)

Interpolacija tocaka (xk , fk ), k = 0,1, . . . ,N − 1, gdje jexk = 2πk

N , pomocu faznog polinomap(x) =

∑N−1j=0 βjejιx , vodi ka racunanju izraza

βj =1N

N−1∑k=0

fke−2πιjk

N , j = 0, . . . ,N − 1.

Izravno racunanje izraza za βj zahtijeva O(N2)množenja, što za veliki N predstavlja problem.Cooley i Tukey su 1965. godine otkrili brzi algoritam zaizvrednjavanje βj , koji zahtijeva samo O(N log N)množenja.Taj algoritam se naziva brza Fourierovatransformacija (fast Fourier transformation — FFT).FFT se bazira na cjelobrojnoj faktorizaciji broja N, pricemu se onda polazni problema razbija na manjepotprobleme nižeg stupnja.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Spomenute dekompozicije polaznog problema izvodese rekurzivno.Ovaj pristup najbolje funkcionira za

N = 2n, n ∈ N.

Od sada pa na dalje mi cemo pretpostavljati da jeN = 2n, iako se FFT algoritam može poopciti i zaN = N1N2 · · ·Nn, Ni ∈ N, i = 1, . . . ,n.Pretpostavimo da je N = 2M, i promotrimo dvainterpolacijska fazna polinoma q(x) i r(x) redaM = N/2, definirana sa

q(x2h) = f2h, r(x2h) = f2h+1, h = 0, . . . ,M − 1.

Fazni polinom q(x) interpolira sve tocke xk sa parnimindeksom.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Polinom

r(x) = r(

x − 2πN

)= r

(x − π

M

)interpolira sve tocke xk sa neparnim indeksom:

r(x2h+1) = r(

2π(2h + 1)

N− 2π

N

)= r

(2π(2h)

N

)= r(x2h) = f2h+1.

Buduci da vrijedi

eMixk = e2πιMK

N = eπιk =

+1, za k paran,−1, za k neparan.

interpolacijski polinom p(x) sada možemo izraziti prekofaznih polinoma nižeg reda q(x) i r(x) kao

p(x) = q(x)

(1 + eMιx

2

)+ r

(x − π

M

)(1− eMιx

2

).

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Zaista, p(x) je tada reda 2M = N i

p(x2h) =q(x2h)

(1 + 1

2

)+ r

(x2h −

π

M

)(1− 12

)=q(x2h) = f2h,

p(x2h+1) =q(x2h+1)

(1− 1

2

)+ r

(x2h+1 −

π

M

)(1 + 12

)= r(x2h) = f2h+1.

Ovime smo dobili osnovu za n-koracnu rekurziju.Za m ≤ n, neka je

M = 2m−1, i R = 2n−m.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


U koraku oznacenom sa m moramo odrediti R faznihpolinoma reda 2M = 2m

p(m)r = β

(m)r ,0 +β

(m)r ,1 eιx +· · ·+β(m)

r ,2M−1e(2M−1)ιx , r = 0, . . . ,R−1,

iz 2R faznih polinoma reda M p(m−1)r , r = 0, . . . ,2R − 1

pomocu rekurzije

2p(m)r (x) = p(m−1)

r (x)(1+eMιx )+p(m−1)R+r

(x − π

M

)(1−eMιx ).

Uvrstimo li u gornju jednakost izraze za p(m)r (x),

p(m−1)r (x) i p(m−1)

R+r

(x − π

M

)dobit cemo sljedece

2β(m)r,0 + 2β(m)

r,1 eιx + · · ·+ 2β(m)r,2M−1e(2M−1)ιx =

=(β

(m−1)r,0 + β

(m−1)r,1 eιx + · · ·+ β

(m−1)r,M−1e(M−1)ιx

)(1 + eMιx )+

+

(β

(m−1)R+r,0 + β

(m−1)R+r,1 eιx e−

2πι2M + · · ·+ β

(m−1)R+r,M−1e(M−1)ιx e−

(M−1)2πι2M

)·

· (1− eMιx )

Numerickemetode


Nela Bosner

MATLAB








Zadaci


2β(m)r,0 + 2β(m)

r,1 eιx + · · ·+ 2β(m)r,2M−1e(2M−1)ιx =

=(β

(m−1)r,0 + β

(m−1)R+r,0

)+(β

(m−1)r,1 + β

(m−1)R+r,1 e−

2πι2M

)eιx + · · ·+

+

(β

(m−1)r,M−1 + β

(m−1)R+r,M−1e−

(M−1)2πι2M

)e(M−1)ιx +

+(β

(m−1)r,0 − β(m−1)

R+r,0

)eMιx +

(β

(m−1)r,1 − β(m−1)

R+r,1 e−2πι2M

)e(M+1)ιx + · · ·+

+

(β

(m−1)r,M−1 − β

(m−1)R+r,M−1e−

(M−1)2πι2M

)e(2M−1)ιx

Iz prethodne jednakost možemo dobiti rekurziju zakoeficijente gornjih faznih polinoma:

2β(m)r ,j =β

(m−1)r ,j + β

(m−1)R+r ,j ε

jm

2β(m)r ,M+j =β

(m−1)r ,j − β(m−1)

R+r ,j εjm

r = 0, . . . ,R − 1, j = 0, . . . ,M − 1, m = 0, . . . ,n,

Numerickemetode


Nela Bosner

MATLAB








Zadaci


gdje jeεm = e−

2πι2m , m = 0, . . . ,n − 1.

Pocetna iteracija rekurzije je

β(0)k ,0 = fk , k = 0, . . . ,N − 1.

Rekurzija završava sa

βj = β(n)0,j , j = 0, . . . ,N − 1.

Pojavljuje se sada problem kako smjestiti parametreβ

(m)r ,j u jednodimenzionalno polje b.

Tražimo pogodno preslikavanje (m, r , j) 7→ κ(m, r , j), pricemu je κ(m, r , j) ∈ 0,1, . . . ,N − 1, takvo da je

b(κ(m, r , j)) = β(m)r ,j .

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Ako uzmemo najjednostavniji izbor

κ(m, r , j) = 2mr + j , m=0,...,n, r=0,...,2n−m−1, j=0,...,2m−1.

Prednost ovakvog preslikavanja je ta da je konacnirezultat automatski u pravilnom poretku.Nedostatak je što nam treba pomocno polje c zaspremanje β(m−1)

r ,j iz prethodne iteracije.Ako želimo uštediti na memoriji, onda preslikvanje κmoramo definirati tako da nam je dovoljno samo jednopolje i to b.To se može postici tako da svaki par parametara β(m)

r ,j ,

β(m)r ,M+j zauzme ista mjesta kao i par β(m−1)

r ,j , β(m−1)R+r ,j iz

kojeg se prethodni par i dobiva.U ovom slucaju ce se, medutim, komponente vektora bispermutirati i odgovarajuce preslikavanje nije više takojednostavno.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Neka je τ = τ(m, r , j) preslikavanje sa svojstvima

b(τ(m, r , j)) =β(m)r ,j ,

τ(m, r , j) =τ(m − 1, r , j),

τ(m, r , j + 2m−1) =τ(m − 1, r + 2n−m, j),

m = 1, . . . ,n, r = 0, . . . ,2n−m − 1, j = 0, . . . ,2m−1 − 1,

iτ(n,0, j) = j , j = 0, . . . ,N − 1.

Zadnji uvjet znaci da ce konacni rezultat sa βj biti upravilnom poretku, tj.

b(j) = βj .

Prethodni uvjeti definiraju preslikavanje τ rekurzivno, ipreostaje nam odrediti ga eksplicitno.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Najprije promotrimo sljedece: neka je

t = α0 + α1 · 2 + · · ·+ αn−1 · 2n−1, αj ∈ 0,1,

binarni zapis prirodnog broja t , 0 ≤ t < 2n.Tada preslikavanje

ρ(t) = αn−1 + αn−2 · 2 + · · ·+ α0 · 2n−1

definira permutaciju binarnih znamenki brojevat = 0, . . . ,2n−1, koja ureduje znamenke u obrnutomredoslijedu.Za ovo preslikavanje vrijedi ρ(ρ(t)) = t .

Numerickemetode


Nela Bosner

MATLAB








Zadaci


LemaEksplicitni izraz za preslikavanje τ glasi

τ(m, r , j) = ρ(r) + j ,

za sve m = 0, . . . ,n, r = 0, . . . ,2n−m − 1, j = 0, . . . ,2m − 1.

Dokaz.Ako je

t = α0 + α1 · 2 + · · ·+ αn−1 · 2n−1, αj ∈ 0,1,

tada iz uvjeta za preslikavanje τ slijedi

t = τ(n,0, t) =

τ(n − 1,0, t), ako je t < 2n−1,

τ(n − 1,1, t − 2n−1), ako je t ≥ 2n−1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

Odavde možemo zakljuciti

t = τ(n,0, t) =

τ(n − 1,0, t), ako je αn−1 = 0,τ(n − 1,1, t − 2n−1), ako je αn−1 = 1.

Dakle,

t =τ(n,0, t)

=τ(n − 1, αn−1, α0 + · · ·+ αn−2 · 2n−2).

Ovaj postupak možemo rekurzivno nastaviti i zam = n − 1,n − 2, . . . ,0, pa dobivamo

t =τ(n,0, t)

=τ(m, αn−1 + · · ·+ αm · 2n−m−1, α0 + · · ·+ αm−1 · 2m−1).

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

Iz prethodnih razmatranja možemo zakljuciti da je

t = τ(m, r , j),

gdje jer = αn−1 + · · ·+ αm · 2n−m−1,

ij = α0 + · · ·+ αm−1 · 2m−1.

S druge strane je

ρ(r) =ρ(αn−1 + · · ·+ αm · 2n−m−1 + 0 · 2n−m + · · ·+ 0 · 2n−1)

=0 + · · ·+ 0 · 2n−1−(n−m) + αm · 2n−1−(n−m−1) + · · ·+ αn−1 · 2n−1

=αm · 2m + · · ·+ αn−1 · 2n−1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Dokaz (nastavak).

Znaci da t = α0 + α1 · 2 + · · ·+ αn−1 · 2n−1 možemoizraziti kao

t =(α0 + · · ·+ αm−1 · 2m−1) + (αm · 2m + · · ·+ αn−1 · 2n−1)

=j + ρ(r).

Zbog svojstva da je ρ(ρ(r)) = r , ako definiramoq = ρ(r), tada je

q = αm·2m+· · ·+αn−1·2n−1 = 2m·(αm+· · ·+αn−1·2n−m−1),

odnosno q je višekratnik od 2m, i 0 ≤ q < 2n.Dakle,

τ(m, ρ(q), j) = q + j ,

gdje je 0 ≤ j < 2m.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Ako je 0 ≤ j < 2m−1 tada

t1 =τ(m, ρ(q), j) = τ(m − 1, ρ(q), j) = q + j ,

t2 =τ(m, ρ(q), j + 2m−1) = τ(m − 1, ρ(q) + 2n−m, j)

=q + j + 2m−1

oznacavaju pozicije unutar polja b parametara kojisudjeluju u FFT rekurziji.Ovu zadnju jednakost možemo potvrditi ako provjerimo

ρ(ρ(q) + 2n−m) =ρ(αn−1 + · · ·+ αm · 2n−m−1 + 2n−m)

=2n−1−(n−m) + αm · 2m + · · ·+ αn−1 · 2n−1

=2m−1 + q.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Ovime smo razradili osnovu rekurzivnog FFT algoritma.Polje b cemo inicijalizirati za m = 0 sa

b(τ(0, k ,0)) = b(ρ(k)) = fk , k = 0, . . . ,N − 1.

Ovu pocetnu permutaciju možemo izvesti i za j = ρ(k)pa je

b(j) = b(ρ(ρ(j))) = fρ(j),

tako da idemo redom po komponentama od polja b.Nadalje, izbrisat cemo faktor 2 koji se pojavljuje urekurziji za β(m)

r ,j zbog štednje u operacijama, zato nakraju moramo još izvršiti sljedecu operaciju

βj =1N

b(j), j = 0, . . . ,N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Algoritam (Cooley–Tukeyev FFT algoritam)

for j = 0 : 2n − 1b(j) = fρ(j);

endfor m = 1 : n

for j = 0 : 2m−1 − 1e = e−

2πjι2m ;

for q = 0 : 2m : 2n − 1u = b(q + j); v = b(q + j + 2m−1) · e;b(q + j) = u + v;b(q + j + 2m−1) = u − v;

endend

endfor j = 0 : 2n − 1

b(j) = b(j)/N;end

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Zadaci

ZadatakNapišite M-file funkciju rho() koja obrce znamenkebinarnog prikaza broja x. Funkcija neka ima ulazneparametre

broj xbroj binarnih znamenki u zapisu n

Koristite sljedece MATLAB-ove funkcijedec2bin() za prebacivanje prirodnog broja u string sa

binarnim zapisomfliplr() za obrtanje znakova u stringubin2dec() za prebacivanje stringa sa binarnim zapisom

u prirodni broj

Numerickemetode


Nela Bosner

MATLAB








Zadaci


ZadatakNapišite M-file funkciju FFT() koja implementira FFTalgoritam. Funkcija neka ima ulazne parametre

polje f duljine N = 2n koje sadrži interpolacijskevrijednosti fkbroj n

Funkcija neka vracapolje b duljine N koje sadrži koeficijente faznogpolinoma βj

Numerickemetode


Nela Bosner

MATLAB








Zadaci


ZadatakNapišite M-file funkciju trig_FFT() koja implementira FFTalgoritam i vraca koeficijente trigonometrijskog polinomaψ(x) za N = 2M. Funkcija neka ima ulazne parametre

polje f duljine N = 2n koje sadrži interpolacijskevrijednosti fkbroj n

Funkcija neka vracapolje A duljine M + 1 koje sadrži koeficijente Ah

polje B duljine M koje sadrži koeficijente Bh

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Napomena

Tocnost vašeg FFT algoritma možete provjeriti tako dadobiveni fazni polinom izvrijednite u tockama xk i usporeditesa fk . Izvrednjavanje faznog polinoma y = p(x) u tocci xmožete napraviti pomocu varijante Hornerove sheme:

Algoritam (Hornerova shema za fazni polinom)

ε = eιx ;y = βN−1;for j = N − 2 : −1 : 0

y = y · ε+ βj ;end

Numerickemetode


Nela Bosner

MATLAB








Zadaci


ZadatakNeka je

f (x) = e−x24 ,

i neka je n = 4, tako da je N = 16. Za xk = 2πk16 definiramo

fk = f (xk ).Primijenite svoj FFT algoritam na ovaj primjer, iizracunajte koeficijente interpolacijskog faznogpolinoma p(x).Izracunajte i koeficijente trigonometrijskog polinomaψ(x).Izvrijednite fazni polinom u tockama xk :

yk = p(xk )

pomocu Hornerove sheme.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


ZadatakIzracunajte maksimalnu grešku

e = maxk|fk − yk |.

Nacrtajte graf funkcije f na segmentu [0,6] u plavoj boji,i crveni kružicima nacrtajte tocke (xk , yk ),k = 0, . . .N − 1.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Domaca zadacaZadajte si neku funkciju f : [0,2π]→ R, i n ≥ 4. DefinirajteN = 2n, xk = 2kπ

N , i fk = f (xk ) za k = 0,1 . . . ,N − 1.1 Tocke (xk , fk ), k = 0,1 . . . ,N − 1 interpolirajte prirodnim

kubicnim splajnom. Na jednoj slici nacrtajte graffunkcije f i interpolacijskog splajna. Pravilno oznacitelegendu.

2 Tocke (xk , fk ), k = 0,1 . . . ,N − 1 aproksimirajte podijelovima linearnom funkcijom pomocu diskretnemetode najmanjih kvadrata, pri cemu cvorovetj , j = 0, . . . ,d, za d + 1 < N izaberite tako da matrica Aima puni stupcani rang. Na jednoj slici nacrtajte tocke(xk , fk ) i graf dobivene po dijelovima linearne funkcije.Pravilno oznacite legendu.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Domaca zadaca (nastavak)3 Funkciju f aproksimirajte po dijelovima linearnom

funkcijom pomocu neprekidne metode najmanjihkvadrata, pri cemu uzmite iste cvorove tj , j = 0, . . . ,dkao u prethodnom zadatku. Na jednoj slici nacrtajtegraf funkcije f i dobivene po dijelovima linearnefunkcije. Pravilno oznacite legendu.

4 Tocke (xk , fk ), k = 0,1 . . . ,N − 1 interpolirajte faznimpolinomom

p(x) = β0 + β1eιx + β2e2ιx + · · ·+ βN−1e(N−1)ιx ,

pri cemu koeficijente βj , j = 0, . . . ,N − 1 izracunajteFFT algoritmom. Na jednoj slici nacrtajte graf funkcije fi tocke (xk ,p(xk )). Pravilno oznacite legendu.

Numerickemetode


Nela Bosner

MATLAB








Zadaci


Domaca zadaca (nastavak)

Programski dio zadaceSvaki student mora sam napisati sve gore upotrebljenefunkcije, i mora ih znati objasniti nastavniku. Ukoliko seutvrdi da student nije sam napravio svoje zadatke necedobiti minimani broj bodova iz zadace!Pismeni dio zadaceSvaki student ce predati nastavniku isprintane slikekoje se traže u zadacima, zajedno sa podacima:

funkcija fbrojevi n ,N, dpolja [xk ], [fk ], [tj ]maksimalnu grešku u cvorovima kod interpolacija

Numerickemetode


Nela Bosner

MATLAB







NumerickorješavanjediferencijalnihjednadžbiNumerickorješavanjeparabolicke PDJ

Exsplicitna metodakonacnih razlika

Zadaci

Stabilnostexsplicitne metodekonacnih razlika

Potpuna implicitnametoda konacnihrazlika

Stabilnost potpuneimplicitne metodekonacnih razlika

Zadaci

Crank–Nicolsonovametoda

StabilnostCrank–Nicolsonovemetode

Zadaci

Numericko rješavanje diferencijalnih jednadžbi

PrimjerOpcija je:

pravo kupnje i prodaje riskantne imovine (najcešcedionice) za prije odredenu cijenu unutar odredenogperioda,financijski instrument koji dozvoljava “kladenje” da li cevrijednost te imovine rasti ili padati,sporazum izmedu dvije strane oko trgovine imovinom unekom odredenom trenutku u buducnosti.

Jedna strana (cesto banka) odreduje uvjete ugovora zaopciju i prodaje opciju.Druga strana kupuje opciju i placa njenu tržišnuvrijednost koja se naziva premija.

Problem je kako izracunati vrijednost opcije .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)

Opcija ima ograniceno vrijeme trajanja.Datum dospijeca T odreduje trenutak istjecanja opcije, inakon tog datuma opcija je bezvrijedna (t > T).Postoje dvije osnovne vrste opcija:

call opcija omogucuje drugoj strani da kupi imovinu zadogovorenu cijenu E datuma T ,put opcija omogucuje drugoj strani da proda imovinu zadogovorenu cijenu E datuma T .

Druga strana nije obavezna kupiti ili prodati imovinu uzadanom vremenu.U trenutku t ona može:

prodati opciju po trenutnoj vrijednosti za t < T ,zadržati opciju i ne uciniti ništa,kupiti ili prodati imovinu u trenutku dospijeca (t ≤ T),dozvoliti da opcija istekne i postane bezvrijedna (t ≥ T).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)Postoje još i podjela opcija po vremenu u kojem semože kupiti ili prodati imovina:

Kod Europskih opcija to se može uciniti jedino nadatum dospijeca T .Kod Americkih opcija to se može uciniti u bilo kojevrijeme do datuma dospijeca t ≤ T .

Vrijednost opcije V ovisi o:trenutnoj cijeni imovine S = S(t) = St ,o vremenu t, preciznije o preostalom vremenu dodospijeca T − t

Zbog toga vrijednost opcije oznacavamo kao funkcijuV (S, t).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)

Osim toga V (S, t) ovisi još i o:dogovorenoj cijeni E,datumu dospijeca T ,kamatnoj stopi r — primjenjuje sa na neriskantneinvesticije,volatilnosti σ cijene St (standardna devijacija fluktuacijeod St ) — mjeri nesigurnost imovine.

Pretpostavit cemo još:0 ≤ t ≤ T , gdje vrijeme t = 0 oznacava “danas”,cijena St je stohasticki proces,kamatna stopa r i volatilnost σ su konstantni za0 ≤ t ≤ T (iako na realnom tržištu variraju u vremenu).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)

Naš cilj je izracunati plohu

V (S, t), za S > 0, 0 ≤ t ≤ T .

Koristit cemo matematicki model koji aproksimira iidealizira kompleksnu realnost financijskog svijeta.V (S, t) cemo izracunati kao rješenjeBlack–Scholesove diferencijalne jednadžbe

∂V∂t

+12σ2S2∂

2V∂S2 + rS

∂V∂S− rV = 0

za koju još moramo definirati terminalni uvjet za t = T irubne uvjete za S = 0 i S →∞.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)terminalni uvjet

call opcija:

V (S,T ) = maxS − E ,0

put opcija:V (S,T ) = maxE − S,0

rubni uvjeticall opcija:

V (0, t) = 0,V (S, t)→ S za S →∞

put opcija:

V (0, t) = Ee−r(T−t),

V (S, t)→ 0 za S →∞

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)Radi jednostavnijeg rješavanja uvodimo transformacijevarijable

S =Eex

t =T − 2τσ2

q =2rσ2

Ovime dobivamo

V (S, t) = V(

Eex ,T − 2τσ2

)= v(x , τ).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)Dalje uvodimo još

v(x , τ) = Ee−12 (q−1)x− 1

4 (q+1)2τy(x , τ),

gdje se može pokazati da je y(x , τ) rješenje difuzijskejednadžbe

∂y∂τ

=∂2y∂x2 ,

za 0 ≤ τ ≤ 12σ

2T i x ∈ R.Terminalni uvjet sada prelazi u inicijalni uvjet

call opcija:y(x ,0) = maxe 1

2 (q+1)x − e12 (q−1)x ,0

put opcijay(x ,0) = maxe 1

2 (q−1)x − e12 (q+1)x ,0

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)I rubne uvjete moramo transformirati, i to tako da

rubni uvjet za S = 0 prelazi u rubni uvjet za x → −∞rubni uvjet za S →∞ prelazi u rubni uvjet za x →∞

Rubni uvjeti za y(x , τ) su sada oblikacall opcija:

y(x , τ) =0 za x → −∞,

y(x , τ) =e12 (q+1)x+ 1

4 (q+1)2τ za x →∞

put opcija:

y(x , τ) =e12 (q−1)x+ 1

4 (q−1)2τ za x → −∞,y(x , τ) =0 za x →∞

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)

Za difuzijsku jednadžbu postoji exsplicitno analitickorješenje dano sa

y(x , τ) =1

2√πτ

∫ ∞−∞

y0(s)e−(x−s)2

4τ ds,

gdje jey0(x) = y(x ,0),

inicijalni uvjet.Za call opciju tada ispada da je njena vrijednost danasa

V (S, t) =S√2π

∫ d1

−∞e−

s22 ds − Ee−r(T−t)

√2π

∫ d2

−∞e−

s22 ds,

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Primjer (nastavak)gdje su

d1 =log(

SE

)+(r + 1

2σ2) (T − t)

σ√

(T − t),

d2 =log(

SE

)+(r − 1

2σ2) (T − t)

σ√

(T − t),

a za put opciju je

V (S, t) =Ee−r(T−t)√

2π

∫ −d2

−∞e−

s22 ds − S√

2π

∫ −d1

−∞e−

s22 ds.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Numericko rješavanje parabolicke parcijalnediferencijalne jednadžbe

Black–Scholesova i difuzijska jednadžba spadaju uparabolicke parcijalne diferencijalne jednadžbe.Difuzijska jednadžba je jednostavnija za rješavanje pase najcešce najprije racuna njeno rješenje y(x , τ), aonda se iz njega transformacijom varijabli dobivarješanje Black–Scholesove jednadžbe V (S, t):

V (S, t) = E12 (q+1)S−

12 (q−1)e−

18 (q+1)2σ2(T−t)y

(log(

SE

),σ2

2(T − t)

),

gdje je q = 2rσ2 .

Za numericko rješavanje parcijalne diferencijalnejednadžbe koristit cemo metodu konacnih razlika kojaparcijalne derivacije aproksimira pomocu Taylorovogreda funkcije.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Metoda konacnih razlika

Parcijalnu derivaciju ∂y/∂τ možemo definirati kao

∂y∂τ

(x , τ) = limδτ→0

y(x , τ + δτ)− y(x , τ)

δτ.

Umjesto racunanja limesa kada δτ → 0, uzet cemoδτ > 0 koji je vrlo mali i dobit cemo aproksimaciju

∂y∂τ

(x , τ) =y(x , τ + δτ)− y(x , τ)

δτ+O(δτ).

Ovime smo dobili konacnu razliku od ∂y/∂τ , akonacnu razliku ovoga oblika posebno cemo još zvati ikonacna razlika unaprijed.Izraz O(δτ) dolazi iz Taylorovog reda, i što je δτ manjidobit cemo tocniju aproksimaciju.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Alternativno možemo definirati∂y∂τ


y(x , τ)− y(x , τ − δτ)

δτ,

tako da je aproksimacija dana sa∂y∂τ

(x , τ) =y(x , τ)− y(x , τ − δτ)

δτ+O(δτ).

Konacnu razliku ovoga oblika zovemo konacna razlikaunazad.Takoder možemo primijetiti da je

∂y∂τ


y(x , τ + δτ)− y(x , τ − δτ)

2δτ,

i definirati centralnu konacnu razliku∂y∂τ

(x , τ) =y(x , τ + δτ)− y(x , τ − δτ)

2δτ+O

((δτ)2

).

Vidimo da je centralna konacna razlika tocnija.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

-

6

t t

tu

τ − δτ τ τ + δτ

@@R

@@R

@@I

unazad

unaprijed

centralna

Slika: Konacna razlika unazad, unaprijed, i centralna.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Kada se primijenjuju na difuzijsku jednadžbu, konacnerazlike unaprijed i unazad koje aproksimiraju ∂y/∂τvode do eksplicitne odnosno implicitne metodekonacnih razlika.Centralna konacna razlika gornjeg oblika po varijabli τse ne koriste u praksi jer daje nestabilne metode.Centralna konacna razlika oblika

∂y∂τ

(x , τ) =y(x , τ + δτ/2)− y(x , τ − δτ/2)

δτ+O

((δτ)2

)pojavljuje se u Crank–Nicolsonovoj shemi zakonacne razlike.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Parcijalne derivacije po varijabli x možemo definirati naanalogan nacin:

konacna razlika unaprijed

∂y∂x

(x , τ) =y(x + δx , τ)− y(x , τ)

δx+O(δx)

konacna razlika unazad

∂y∂x

(x , τ) =y(x , τ)− y(x − δx , τ)

δx+O(δx)

centralna konacna razlika

∂y∂x

(x , τ) =y(x + δx , τ)− y(x − δx , τ)

2δx+O

((δx)2)

Za drugu parcijalnu derivaciju ∂2y/∂x2 možemodefinirati simetricnu konacnu razliku kao

konacnu razliku unaprijed od konacnih razlika unazadkonacnu razliku unazad od konacnih razlika unaprijed

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

U oba slucaja dobivamo simetricnu centralnukonacnu razliku

∂2y∂x2 (x , τ) =

y(x+δx ,τ)−y(x ,τ)δx − y(x ,τ)−y(x−δx ,τ)

δxδx

+O(

(δx)2)

=y(x + δx , τ)− 2y(x , τ) + y(x − δx , τ)

(δx)2 +

+O(

(δx)2).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Kako bismo mogli primijeniti metodu konacnih razlikana difuzijsku jednadžbu moramo podijeliti

x os na ekvidistantne cvorove sa razmakom od δxτ os na ekvidistantne cvorove sa razmakom od δτ

Ovime na (x , τ) ravnini definiramo mrežu, pri cemucvorovi mreže imaju oblik

(xi , τj) = (iδx , jδτ)

U tom slucaju racunat cemo aproksimativno rješenjesamo u cvorovima mreže, i pišemo

yi,j ≈ y(iδx , jδτ).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

-

6

-

6

?

τ

τj+1

τj

xi−1 xi xi+1 x

δx

δτ

Slika: Oznake na mreži.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Exsplicitna metoda konacnih razlika

Razmatramo opci oblik transformiranogBlack–Scholesovog modela za Europsku opciju,odnosno difuzijsku jednadžbu

∂y∂τ

=∂2y∂x2 ,

sa rubnim i inicijalnim uvjetima

limx→−∞

y(x , τ) =y−∞(x , τ),

limx→∞

y(x , τ) =y∞(x , τ),

y(x ,0) =y0(x).

Želimo naci aproksimaciju rješenja u cvorovima mrežekoristeci

konacnu razliku unaprijed za ∂y/∂τ ,simetricnu centralnu konacnu razliku za ∂2y/∂x2.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Pri tome se difuzijska jednadžba transformira u

yi,j+1 − yi,j

δτ+O(δτ) =

yi+1,j − 2yi,j + yi−1,j

(δx)2 +O(

(δx)2).

Zanemarujuci izraze O(δτ) i O((δx)2) dobivamo

diferencijsku jednadžbu

yi,j+1 = λyi−1,j + (1− 2λ)yi,j + λyi+1,j ,

gdje je

λ =δτ

(δx)2 .

Ako u vremenskom koraku j znamo yi,j za svevrijednosti od i , tada yi,j+1 možemo izracunatieksplicitno.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

-

6τ

τj+1

τj

xi−1 xi xi+1 x

t t tt

Slika: yi,j+1 ovisi samo o yi−1,j , yi,j i yi+1,j .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Ako izaberemo ekviditsnatne tocke xi , ne možemoriješiti problem za sve −∞ < xi <∞ bez da izvršimobeskonacno mnogo koraka.Zbog toga uzimamo konacan i dovoljno velik brojkoraka po x-u.Riješit cemo problem za

nminδx = xnmin ≤ xi ≤ xnmax = nmaxδx ,

gdje su −nmin i nmax veliki prirodni brojevi.Dalje, segment

[0, σ

2T2

]dijelimo na m jednaka

podintervala, tako da je

δτ =σ2T2m

Sada možemo riješiti diferencijsku jednadžbu za

nmin < i < nmax , 0 < j ≤ m.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Rubne uvjete koristimo za odredivanje ynmin,j i ynmax ,j :

ynmin,j =y−∞(nminδx , jδτ), 0 < j ≤ m,ynmax ,j =y∞(nmaxδx , jδτ), 0 < j ≤ m.

Za pokretanje ove iterativne metode koristimo inicijalniuvjet

yi,0 = y0(iδx), nmin ≤ i ≤ nmax .

Iterativna metoda završava za j = m i rješenjem

yi,m, nmin ≤ i ≤ nmax ,

što predstavlja aproksimaciju rješenja za y(iδx , σ2T2 ),

nmin ≤ i ≤ nmax .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Transformacijom varijabli dobivamo mrežu na Skoordinati

Si = Eeiδx , nmin ≤ i ≤ nmax ,

i transformacijom yi,m u Vi,m dobivamo aproksimativnorješenje za V (Si ,0), jer je za τ = σ2T

2 , t = T − 2τσ2 = 0.

Ovimo smo dobili današnju aproksimativnu vrijednostopcije za diskretne vrijednosti cijene imovine.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Algoritam (Eksplicitna metoda konacnih razlika za difuzijsku jednadžbu)

λ = δτ(δx)2 ;

for i = nmin : nmaxystari(i) = y0(i · δx);

endfor j = 1 : m

ynovi(nmin) = y−∞(nmin · δx , j · δτ);ynovi(nmax ) = y∞(nmax · δx , j · δτ);for i = (nmin + 1) : (nmax − 1)

ynovi(i) = λ · ystari(i − 1) + (1− 2 · λ) · ystari(i)++λ · ystari(i + 1);

endystari = ynovi ;

endy = ystari ;

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadaci

ZadatakNapišite M-file funkciju ex_mkr_difuzijska() kojaimplementira eksplicitnu metodu konacnih razlika zadifuzijsku jednadžbu. Funkcija neka ima ulazne parametre

korak δx po x koordinati i korak δτ po τ koordinatimaksimalan broj koraka m po τ koordinatiminimalan nmin i maksimalan nmax indeks cvorova po xkoordinatipokazivac na funkciju inicijalnog uvjeta y0

pokazivace na funkcije rubnih uvjeta y−∞ i y∞.Funkcija neka vraca

aproksimativno rješenje y u cvorovima sa xkoordinatama nminδx : δx : nmaxδx i τ koordinatomτ = mδτ = 1

2σ2T .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakSvoju funkciju ex_mkr_difuzijska() isprobajte nasljedecem primjeru.

∂y∂τ

=∂2y∂x2 ,

y(x ,0) = sin(πx), y(0, τ) = y(1, τ) = 0.

Egzaktno rješnje glasi

y(x , τ) = e−π2τ sin(πx).

Uzmite sljedece parametre:δx = 0.1nmin = 0 i nmax = 10

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Numericko rješenje pomocu eksplicitne metode konacnihrazlika nadite za dvije razlicite situacije:

1 kada je λ = 0.05δτ = 0.0005m = 1000

2 kada je λ = 1δτ = 0.01m = 50

U oba slucaja τm = 0.5. Dobivena rješenja usporedite saegzaktnim rješenjem. Što možete zakljuciti?

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakNapišite M-file funkciju ex_mkr_black_scholes() kojanumericki rješava Black–Scholesovu jednadžbu pomocueksplicitne metode konacnih razlika za difuzijsku jednadžbu.Funkcija neka ima ulazne parametre

dogovorenu cijenu E na datumu dospijecavrijeme do dospijeca T izraženo u godinamakamatnu stopu rvolatilnost σ cijene imovinemaksimalan broj koraka m po τ koordinati za rješavanjedifuzijske jednadžbeminimalan nmin i maksimalan nmax indeks cvorova po xkoordinati za rješavanje difuzijske jednadžbeparametar λ = δτ

(δx)2

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

string vrsta koji oznacava da li se radi o “call” ili o “put”opciji.

Funkcija treba odrediti

δτ =σ2T2m

, δx =

√δτ

λ.

Funkcija neka vracapolje V0 duljine nmax − nmin + 1 koje sadržiaproksimativna rješenja V (Si ,0)

polje S duljine nmax − nmin + 1 koje sadrži mrežuSi = Eeiδx , nmin ≤ i ≤ nmax .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakSvoju funkciju ex_mkr_black_scholes() isprobajte naprimjeru Black–Scholesovog modela za put opciju sasljedecim parametrima.

E = 10T = 0.5r = 0.05σ = 0.20m = 100nmin = −1000 i nmax = 1000

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Numericko rješenje pomocu eksplicitne metode konacnihrazlika za difuzijsku jednadžbu nadite za tri razlicitesituacije:

1 λ = 0.252 λ = 0.53 λ = 0.55

Dobivena rješenja usporedite sa rješenjem dobivenimMATLAB-ovom funkcijom blsprice(). Što možetezakljuciti?

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Stabilnost exsplicitne metode konacnih razlika

Stabilnost numericke metode je u bliskoj vezi sanumerickom greškom.Metoda konacnih razlika je stabilna ako greškaucinjena u jednom koraku metode ne utjece napovecanje greške u koracima koji slijede.Kod neutralno stabilne metode greška ostajekonstantna u svim koracima.Ako greške opadaju i po mogucnosti se prigušuju,kažemo da je numericka metoda stabilna.Ako, s druge strane, greška raste sa povecanjem brojakoraka, aproksimativno rješenje divergira, i kažemo daje numericka metoda nestabilna.Za probleme koji ovise o vremenu stabilnost garantirada ce numericka metoda dati ograniceno rješenje,kadgod je egzaktno rješenje diferencijalne jednadžbeograniceno.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Za daljnju analizu korisno je sve vrijednosti yi,j za fiksnivremenski korak j organizirati u vektor

y (j) = [ ynmin+1,j · · · ynmax−1,j ]T .

Za matricni oblik diferencijske jednadžbe definiramo(nmax − nmin − 1)× (nmax − nmin − 1) matricu A

A =

1− 2λ λ 0 · · · 0

λ 1− 2λ. . . . . .

...

0. . . . . . . . . 0

.... . . . . . . . . λ

0 · · · 0 λ 1− 2λ

.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Tada eksplicitnu metodu možemo zapisati kao

y (j+1) = Ay (j) + y (j)r ,

gdje je

y (j)r = λ[ ynmin,j 0 · · · 0 ynmax ,j ]T .

Pretpostavimo sada da našu numericku metoduizvršavamo na racunalu u aritmetici konacnepreciznosti.U tom slucaju cemo u svakom koraku j umjesto y (j+1)

izracunati aproksimativnu vrijednost y (j+1) koja sadrži igreške zaokruživanja.Neka je

y (j+1) = Ay (j) + y (j)r + f (j+1),

gdje f (j+1) sadrži greške zaokruživanja koje su sedogodile kod racunanja Ay (j) + y (j)

r .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Definirajmo ukupnu grešku

e(j) = y (j) − y (j), j ≥ 0.

Možemo zakljuciti da vrijedi sljedece:

e(j+1) = Ae(j) + (y (j)r − y (j)

r ) + f (j+1).

Usredotocimo se sada na utjecaj grešakazaokruživanja e(0) kod racunanja inicijalnog uvjeta (zaj = 0).Zbog jednostavnosti, pretpostavimo da su svi daljnjikoraci (j > 0) izracunati egzaktno, tj. da je

y (j)r = y (j)

r , f (j) = 0, j > 0.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Tada imamo

e(j+1) = Ae(j) = Aj+1e(0).

Da bi metoda bila stabilna, greška e(0) mora bitiprigušena, a za to treba biti

limj→∞

Aje(0) = 0,

što nam je poznata situacija iz iterativnih metoda zasustave linearnih jednadžbi.Od tamo znamo da ce metoda biti stabilna ako i samoako je

ρ(A) < 1,

gdje je ρ(A) spektralni radijus matrice A.Dakle, da bi metoda bila stabilna zahtijevamo da za svesvojstvene vrijednosti µ1(A), . . . , µnmax−nmin−1(A) od Avrijedi

|µk (A)| < 1, k = 1, . . . ,nmax − nmin − 1.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Slijedeci korak je racunanje svojstvenih vrijednosti od A.U tu svrhu, matricu pišemo kao

A = I − λ ·

2 −1 0

−1 2. . .

. . . . . . . . .. . . . . . −1

0 −1 2

︸︷︷︸

=G

.

Preostaje nam sada samo naci svojstvene vrijednostiµk (G) od matrice G, jer su tada

µk (A) = 1− λ · µk (G), k = 1, . . . ,nmax − nmin − 1.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Može se pokazati da su svojstvene vrijednosti matriceG dane sa

µk (G) =2− 2 cos(

kπnmax − nmin

)=4 sin2

(kπ

2(nmax − nmin)

), k = 1, . . . ,nmax − nmin − 1.

Dalje vrijedi

µk (A) = 1−4λ sin2(

kπ2(nmax − nmin)

), k = 1, . . . ,nmax−nmin−1.

Da bi uvjet stabilnosti |µk (A)| < 1 bio zadovoljen, moravrijediti∣∣∣∣1− 4λ sin2

(kπ

2(nmax − nmin)

)∣∣∣∣ < 1, k = 1, . . . ,nmax−nmin−1.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Buduci da je λ > 0 po definiciji slijedi da je uvijek1− 4λ sin2

(kπ

2(nmax−nmin)

)< 1.

S druge strane, uvjet

−1 < 1− 4λ sin2(

kπ2(nmax − nmin)

)se može pojednostavniti na

λ sin2(

kπ2(nmax − nmin)

)<

12.

Dakle, gornji uvjet stabilnosti ekvivalentan je dvijemajednadžbama

λ >0

λ sin2(

kπ2(nmax − nmin)

)<

12.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Najveci izraz sa sinusom je

sin(

(nmax − nmin − 1)π

2(nmax − nmin)

)< 1,

a ako povecavamo dimenziju matrice Ad = nmax − nmin − 1 tada vrijedi

limd→∞

sin(

dπ2(d + 1)

)= 1.

Ovime smo dobili konacan uvjet.

TeoremZa

0 < λ ≤ 12

eksplicitna metoda konacnih razlika za difuzijsku jednadžbuje stabilna.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Ovaj kriterij stabilnosti daje uvjet na velicinu koraka:

0 < δτ ≤ (δx)2

2.

Kao posljedica uvjeta stabilnosti, parametri m, nmin inmax ne mogu biti izabrani nezavisno jedan od drugoga.Ako moramo izracunati rješenje sa velikom tocnošcu,tada δx mora biti malen, što daje kvadratnu ogradu zaδτ koji mora biti još manji.Zato nam je prakticnije naci numericku metodu koja jebezuvjetno stabilna.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Potpuna implicitna metoda konacnih razlika

Implicitne metode se koriste kako bi se izbjeglaogranicenja vezana uz stabilnost eksplicitne metode.Ove metode nam omogucuju da koristimo mreže u xkoordinati sa velikim brojem cvorova, bez da moramouzeti jako mali δτ .Jedna od implicitnih metoda je i potpuna implicitnametoda konacnih razlika, koja racuna aproksimacijurješenja difuzijske jednadžbe u cvorovima mrežekoristeci

konacnu razliku unazad za ∂y/∂τ ,simetricnu centralnu konacnu razliku za ∂2y/∂x2.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Pri tome se difuzijska jednadžba transformira u

yi,j+1 − yi,j

δτ+O(δτ) =

yi+1,j+1 − 2yi,j+1 + yi−1,j+1

(δx)2 +O(

(δx)2).



−λyi−1,j+1 + (1 + 2λ)yi,j+1 − λyi+1,j+1 = yi,j ,

gdje je opet

λ =δτ

(δx)2 .

U potpunoj implicitnoj metodi yi−1,j+1, yi,j+1 i yi+1,j+1implicitno ovise o yi,j : nove vrijednosti se ne mogurazdvojiti i eksplicitno izracunati iz starih vrijednosti.Radi se o simultanom rješavanju jednadžbi, odnosno orješavanju sustava linearnih jednadžbi.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

-

6τ

τj+1

τj

xi−1 xi xi+1 x

t t tt

Slika: yi−1,j+1, yi,j+1 i yi+1,j+1 ovise o yi,j .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Kao i kod eksplicitne metode uzimamo konacan idovoljno velik broj koraka po x-u.Riješit cemo problem za


gdje su −nmin i nmax veliki prirodni brojevi.

Dalje, segment[0, σ

2T2



δτ =σ2T2m


nmin < i < nmax , 0 < j ≤ m.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci









Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

S obzirom da moramo rješavati sustave, sada nam i ufazi racunanja treba matricni oblik diferencijskejednadžbe.Definiramo (nmax − nmin − 1)× (nmax − nmin − 1)matricu A

A =

1 + 2λ −λ 0 · · · 0

−λ 1 + 2λ. . . . . .

...

0. . . . . . . . . 0

.... . . . . . . . . −λ

0 · · · 0 −λ 1 + 2λ

,

i vektor desne strane sustava

b = y (j) + y (j+1)r ,

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

gdje su

y (j) =[ ynmin+1,j · · · ynmax−1,j ]T ,

y (j+1)r =λ[ ynmin,j+1 0 · · · 0 ynmax ,j+1 ]T .

Sada potpunu implicitnu metodu možemo napisati umatricnom obliku kao

Ay (j+1) = y (j) + y (j+1)r = b(j).

Vektor y (j+1)r se pojavljuje zbog rubnih uvjeta, npr. iz

prve jednadžbe slijedi

(1 + 2λ)ynmin+1,j+1 − λynmin+2,j+1 = ynmin+1,j + λynmin,j+1.

Pokazat cemo da je matrica A regularna pa se korakimplicitne metode može napisati eksplicitno kao

y (j+1) = A−1(

y (j) + y (j+1)r

).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Algoritam (Potpuna implicitna metoda konacnih razlika za difuzijskujednadžbu)

definiraj rješavac s matricom A; λ = δτ(δx)2 ;

for i = nmin : nmaxy(i) = y0(i · δx);

endfor j = 1 : m

for i = (nmin + 1) : (nmax − 1)b(i) = y(i);

endy(nmin) = y−∞(nmin · δx , j · δτ);y(nmax ) = y∞(nmax · δx , j · δτ);b(nmin + 1) = b(nmin + 1) + λ · y(nmin);b(nmax − 1) = b(nmax − 1) + λ · y(nmax );riješi sustav Ay(nmin + 1 : nmax − 1) = b;

end

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Stabilnost potpune implicitne metode konacnihrazlika

Kao i kod eksplicitne metode pretpostavimo da našunumericku metodu izvršavamo na racunalu u aritmeticikonacne preciznosti.U tom slucaju cemo u svakom koraku j umjesto y (j+1)


y (j+1) = A−1(

y (j) + y (j+1)r

)+ f (j+1),

gdje f (j+1) sadrži greške zaokruživanja koje su sedogodile kod racunanja A−1

(y (j) + y (j+1)

r

).


e(j) = y (j) − y (j), j ≥ 0.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci


e(j+1) = A−1e(j) + A−1(y (j+1)r − y (j+1)

r ) + f (j+1).


y (j)r = y (j)

r , f (j) = 0, j > 0.

Tada imamo

e(j+1) = A−1e(j) = A−(j+1)e(0).


limj→∞

A−je(0) = 0.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Znamo da ce metoda biti stabilna ako i samo ako je

ρ(A−1) < 1,

Dakle, da bi metoda bila stabilna zahtijevamo da za svesvojstvene vrijednosti µ1(A−1), . . . , µnmax−nmin−1(A−1) odA−1 vrijedi

|µk (A−1)| < 1, k = 1, . . . ,nmax − nmin − 1.

Dalje vrijedi da je µk (A−1) = (µk (A))−1, a svojstvenevrijednosti matrice A dobit cemo iz rastava

A = I + λ ·

2 −1 0

−1 2. . .

. . .. . .

. . .. . .

. . . −10 −1 2

︸︷︷︸

=G

.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Buduci da znamo svojstvene vrijednosti µk (G) odmatrice G, tada je

µk (A−1) =1

1 + λ · µk (G), k = 1, . . . ,nmax − nmin − 1.

Kako je

µk (G) = 4 sin2(

kπ2(nmax − nmin)

), k = 1, . . . ,nmax −nmin−1,

imamo

µk (A) = 1+4λ sin2(

kπ2(nmax − nmin)

), k = 1, . . . ,nmax−nmin−1.

Jer je λ > 0, a sin(

kπ2(nmax−nmin)

)6= 0 za

k = 1, . . . ,nmax − nmin − 1, onda je

µk (A) >1

0 < µk (A−1) <1, k = 1, . . . ,nmax − nmin − 1.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Dakle, za bilo koji λ > 0 je 0 < µk (A−1) < 1, što znacida je potpuna implicitna metoda konacnih razlikabezuvjetno stabilna.S druge strane, vidimo da su sve svojstvene vrijednostimatrice A pozitivne, što znaci da je matrica pozitivnodefinitna.Zbog toga za rješavanje sustava Ay (j+1) = b(j) možemokoristiti metode

faktorizaciju CholeskogGauss–Seidelovu i SOR metodumetodu konjugiranih gradijenata

koje su specijalno prilagodene za tridijagonalnumatricu.Kod efikasno implementirane eksplicitne i implicitnemetode broj operacija je istog reda velicine, parješavanje sustava kod implicitne metode ne predstavljapreveliki dodatni trošak u odnosu na eksplicitnu.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadaci

ZadatakNapišite M-file funkciju im_mkr_difuzijska() kojaimplementira potpunu metodu konacnih razlika za difuzijskujednadžbu. Funkcija neka ima ulazne parametre




2σ2T .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Za rješavanje sustava Ay (j+1) = b(j) napišite posebnufunkciju koja implementira Gauss–Seidelovu metoduposebno napravljenu za tridijagonalnu matricu A.

Kao kriterij zaustavljanja uzmite

‖y (j+1,k) − y (j+1,k−1)‖2 ≤ 10−8,

gdje je y (j+1,k) aproksimacija rješenja sustava u k-tomkoraku Gauss–Seidelove metode.Za pocetnu iteraciju Gauss–Seidelove metode uzmite

y (j+1,0) = y (j).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakSvoju funkciju im_mkr_difuzijska() isprobajte nasljedecem primjeru.

∂y∂τ

=∂2y∂x2 ,

y(x ,0) = sin(πx), y(0, τ) = y(1, τ) = 0.




Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Numericko rješenje pomocu potpune implicitne metodekonacnih razlika nadite za dvije razlicite situacije:

1 kada je λ = 0.05δτ = 0.0005m = 1000

2 kada je λ = 1δτ = 0.01m = 50


Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakNapišite M-file funkciju im_mkr_black_scholes() kojanumericki rješava Black–Scholesovu jednadžbu pomocupotpune implicitne metode konacnih razlika za difuzijskujednadžbu. Funkcija neka ima ulazne parametre


(δx)2

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)



δτ =σ2T2m

, δx =

√δτ

λ.



Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakSvoju funkciju im_mkr_black_scholes() isprobajte naprimjeru Black–Scholesovog modela za put opciju sasljedecim parametrima.

E = 10T = 0.5r = 0.05σ = 0.20m = 100nmin = −1000 i nmax = 1000

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Numericko rješenje pomocu potpune implicitne metodekonacnih razlika za difuzijsku jednadžbu nadite za trirazlicite situacije:

1 λ = 0.252 λ = 0.53 λ = 0.55


Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Crank–Nicolsonova metoda

Crank–Nicolsonova metoda je takoder implicitnametoda koja nema problema sa stabilnošcu, ali imagrešku diskretizacije derivacije ∂y/∂τ reda velicineO((δτ)2).

Crank–Nicolsonova metoda racuna aproksimacijurješenja difuzijske jednadžbe u cvorovima mreže takoda uzima srednju vrijednost diferencijskih jednadžbieksplicitne i potpuno implicitne metode.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Dakle, ako koristimo konacu razliku unaprijed za ∂y/∂τdobivamo eksplicitnu metoduyi,j+1 − yi,j

δτ+O(δτ) =

yi+1,j − 2yi,j + yi−1,j

(δx)2 +O(

(δx)2),

a ako koristimo konacu razliku unazad za ∂y/∂τdobivamo potpunu implicitnu metodu

yi,j+1 − yi,j

δτ+O(δτ) =

yi+1,j+1 − 2yi,j+1 + yi−1,j+1

(δx)2 +O(

(δx)2).

Srednja vrijednost tih dviju jednadžbi jeyi,j+1 − yi,j

δτ+O(δτ) =

=12

(yi+1,j − 2yi,j + yi−1,j

(δx)2 +yi+1,j+1 − 2yi,j+1 + yi−1,j+1

(δx)2

)+

+O(

(δx)2).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zapravo, može se pokazati da su izrazi u gornjojjednadžbi tocni do na O

((δτ)2).



−λ2

yi−1,j+1 + (1 + λ)yi,j+1 −λ

2yi+1,j+1 =

=λ

2yi−1,j + (1− λ)yi,j +

λ

2yi+1,j ,

gdje je opet

λ =δτ

(δx)2 .

U Crank–Nicolsonovoj metodi yi−1,j+1, yi,j+1 i yi+1,j+1implicitno ovise o yi−1,j , yi,j i yi+1,j .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

-

6τ

τj+1

τj

xi−1 xi xi+1 x

t t tt t t

Slika: yi−1,j+1, yi,j+1 i yi+1,j+1 ovise o yi−1,j , yi,j i yi+1,j .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Ponovo cemo riješiti problem za


gdje su −nmin i nmax veliki prirodni brojevi.

Dalje, segment[0, σ

2T2



δτ =σ2T2m


nmin < i < nmax , 0 < j ≤ m.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci









Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Takoder cemo i ovdje morati rješavati sustave, pa namopet treba matricni oblik diferencijske jednadžbe.Definiramo (nmax − nmin − 1)× (nmax − nmin − 1)matricu A

A =

1 + λ −λ2 0 · · · 0

−λ2 1 + λ. . .

. . ....

0. . .

. . .. . . 0

.... . .

. . .. . . −λ2

0 · · · 0 −λ2 1 + λ

,

i (nmax − nmin − 1)× (nmax − nmin − 1) matricu B

B =

1− λ λ2 0 · · · 0

λ2 1− λ

. . .. . .

...

0. . .

. . .. . . 0

.... . .

. . .. . . λ

20 · · · 0 λ

2 1− λ

.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Isto tako nam još trebaju vektori

y (j) =[ ynmin+1,j · · · ynmax−1,j ]T ,

y (j)r =λ[ ynmin,j 0 · · · 0 ynmax ,j ]T .

Tada Crank–Nicolsonovu metodu možemo napisati umatricnom obliku kao

Ay (j+1) = By (j) +12

y (j)r +

12

y (j+1)r = b(j).

Pokazat cemo da je matrica A regularna pa se korakCrank–Nicolsonove metode može napisati eksplicitnokao

y (j+1) = A−1(

By (j) +12

y (j)r +

12

y (j+1)r

).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Algoritam (Crank-Nicolsonova metoda za difuzijsku jednadžbu)

definiraj rješavac s matricom A; λ = δτ(δx)2 ;

for i = nmin : nmaxy(i) = y0(i · δx);

endfor j = 1 : m

for i = (nmin + 1) : (nmax − 1)

b(i) = λ2 y(i − 1) + (1− λ)y(i) + λ

2 y(i + 1);endy(nmin) = y−∞(nmin · δx , j · δτ);y(nmax ) = y∞(nmax · δx , j · δτ);b(nmin + 1) = b(nmin + 1) + λ

2 · y(nmin);b(nmax − 1) = b(nmax − 1) + λ

2 · y(nmax );riješi sustav Ay(nmin + 1 : nmax − 1) = b;

end

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Teorem

Pretpostavimo da je y ∈ C4. Tada je red Crank–Nicolsonovemetode jednak O

((δτ)2)+O

((δx)2) .

Dokaz.Preko Taylorovog reda.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Stabilnost Crank–Nicolsonove metode

Kao i do sada pretpostavimo da našu numerickumetodu izvršavamo na racunalu u aritmetici konacnepreciznosti.U tom slucaju cemo u svakom koraku j umjesto y (j+1)


y (j+1) = A−1(

By (j) +12

y (j)r +

12

y (j+1)r

)+ f (j+1),

gdje f (j+1) sadrži greške zaokruživanja koje su sedogodile kod racunanja A−1

(By (j) + 1

2 y (j)r + 1

2 y (j+1)r

).


e(j) = y (j) − y (j), j ≥ 0.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci


e(j+1) = A−1Be(j) +12

A−1(y (j)r −y (j)

r + y (j+1)r −y (j+1)

r ) + f (j+1).


y (j)r = y (j)

r , f (j) = 0, j > 0.

Tada imamo

e(j+1) = A−1Be(j) = (A−1B)j+1e(0).


limj→∞

(A−1B)je(0) = 0.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Znamo da ce metoda biti stabilna ako i samo ako je

ρ(A−1B) < 1,

Dakle, da bi metoda bila stabilna zahtijevamo da za svesvojstvene vrijednostiµ1(A−1B), . . . , µnmax−nmin−1(A−1B) od A−1B vrijedi

|µk (A−1B)| < 1, k = 1, . . . ,nmax − nmin − 1.Tražene svojstvene vrijednosti dobit cemo iz rastavamatrica A i B

A = I +λ

2·

2 −1 0

−1 2. . .

. . .. . .

. . .. . .

. . . −10 −1 2

︸︷︷︸

=G

.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

B = I − λ

2·

2 −1 0

−1 2. . .

. . .. . .

. . .. . .

. . . −10 −1 2

︸︷︷︸

=G

.

Sada jednakost Ae(j+1) = Be(j) možemo napisati kao(I +

λ

2G)

e(j+1) =

(I − λ

2G)

e(j)

(2I + λG) e(j+1) = (2I − λG) e(j)

=(4I − (2I + λG))e(j).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Ako definiramo C = 2I + λG, tada je

Ce(j+1) = (4I − C)e(j),

Odnosnoe(j+1) = (4C−1 − I)e(j).

Buduci da znamo svojstvene vrijednosti µk (G) odmatrice G, tada je

µk (C) = 2 + λµk (G), k = 1, . . . ,nmax − nmin − 1,

i

µk (4C−1−I) =4

2 + λµk (G)−1, k = 1, . . . ,nmax−nmin−1.

Kako je

µk (G) = 4 sin2(

kπ2(nmax − nmin)

), k = 1, . . . ,nmax −nmin−1,

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

zbog toga što je λ > 0, i sin2(

kπ2(nmax−nmin)

)> 0 za

k = 1, . . . ,nmax − nmin − 1, vrijedi da je

µk (G) >0,µk (C) = 2 + λµk (G) >2,

0 <4

µk (C)=

42 + λµk (G)

<2,

−1 < µk (4C−1 − I) <1, k = 1, . . . ,nmax − nmin − 1.

Dakle, za bilo koji λ > 0 je |µk (4C−1 − I)| < 1, što znacida je Crank–Nicolsonova metoda bezuvjetno stabilna.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Kao i kod potpuno implicitne metode, može se vidjeti dasu sve svojstvene vrijednosti matrice A pozitivne, štoznaci da je matrica pozitivno definitna.Zbog toga za rješavanje sustava Ay (j+1) = b(j) možemokoristiti metode

faktorizaciju CholeskogGauss–Seidelovu i SOR metodumetodu konjugiranih gradijenata

koje su specijalno prilagodene za tridijagonalnumatricu.

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadaci

ZadatakNapišite M-file funkciju cn_mkr_difuzijska() kojaimplementira Crank–Nicolsonovu metodu za difuzijskujednadžbu. Funkcija neka ima ulazne parametre




2σ2T .

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Za rješavanje sustava Ay (j+1) = b(j) napišite posebnufunkciju koja implementira Gauss–Seidelovu metoduposebno napravljenu za tridijagonalnu matricu A.

Kao kriterij zaustavljanja uzmite

‖y (j+1,k) − y (j+1,k−1)‖2 ≤ 10−8,

gdje je y (j+1,k) aproksimacija rješenja sustava u k-tomkoraku Gauss–Seidelove metode.Za pocetnu iteraciju Gauss–Seidelove metode uzmite

y (j+1,0) = y (j).

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakSvoju funkciju cn_mkr_difuzijska() isprobajte nasljedecem primjeru.

∂y∂τ

=∂2y∂x2 ,

y(x ,0) = sin(πx), y(0, τ) = y(1, τ) = 0.




Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Numericko rješenje pomocu Crank–Nicolsonove metodenadite za dvije razlicite situacije:

1 kada je λ = 0.05δτ = 0.0005m = 1000

2 kada je λ = 1δτ = 0.01m = 50


Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakNapišite M-file funkciju cn_mkr_black_scholes() kojanumericki rješava Black–Scholesovu jednadžbu pomocuCrank–Nicolsonove metode za difuzijsku jednadžbu.Funkcija neka ima ulazne parametre


(δx)2

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)



δτ =σ2T2m

, δx =

√δτ

λ.



Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

ZadatakSvoju funkciju cn_mkr_black_scholes() isprobajte naprimjeru Black–Scholesovog modela za put opciju sasljedecim parametrima.

E = 10T = 0.5r = 0.05σ = 0.20m = 100nmin = −1000 i nmax = 1000

Numerickemetode


Nela Bosner

MATLAB









Zadaci




Zadaci



Zadaci

Zadatak (nastavak)

Numericko rješenje pomocu Crank–Nicolsonove metode zadifuzijsku jednadžbu nadite za tri razlicite situacije:

1 λ = 0.252 λ = 0.53 λ = 0.55


Documents

Nela Bosner Numericke metode ﬁnancijske matematikeˇnela/nmfmpredavanja/nmfm_predavanja.pdf · Interpolacija i aproksimacija splajnovima Diskretna Fourierova transformacija Numeriˇcko