Bor Plestenjak

Iterativne numerične metode v linearni algebri

skripta vaj

1. februar 2018

O skripti

Skripta vaj je namenjena predmetu Iterativne numerične metode v linearni algebri, ki se predavana drugi stopnji smeri Matematika in Finančna matematika na Fakulteti za matematiko in fizikoUniverze v Ljubljani.

Skripta je nastala ob izvajanju predmeta v letu 2017/18. V njej so zaenkrat v glavnemteoretične naloge, ki smo jih to leto delali na vajah, in še nekaj dodatnih nalog. Poleg tega smodokazali tudi nekaj rezultatov, ki so že vsebovani v skripti predavanj, teh nisem pisal še enkrat.Naloge so zbrane iz različnih koncev, nekaj jih je sposojenih iz zbirke, ki jo je pripravil AndrejMuhič, ko je izvajal vaje pri predmetu v letu 2013/14. Skripta se bo skozi posodabljala.

Še nasvet, če želite od reševanja nalog odnesti čim več, ne preklopite takoj na strani z rešitvami!

prof. dr. Bor Plestenjak

Kazalo

1 Klasične iterativne metode 2

2 Metode podprostorov Krilova 3

3 Računanje lastnih vrednosti 6

4 Rešitve 10

1

1 Klasične iterativne metode

1. Pokaži: Jacobijeva metoda za matriko A konvergira natanko tedaj, ko konvergira za AT .

2. Gauss-Seidelovo metodo dobimo iz Jacobijeve tako, da komponente x (r+1) računamo izenačb po vrsti od prve do zadnje in pri tem upoštevamo nove izračunane komponentevektorja x (r+1). Če namesto tega uporabimo vrstni red od zadnje do prve enačbe dobimometodo, ki ji lahko rečemo obrnjena Gauss-Seidelova metoda. Zapiši njeno iteracijskomatriko in pokaži, da v primeru, ko je A strogo diagonalno dominantna po vrsticah,konvergira za vsak začetni približek.

3. Naj bo matrika A strogo diagonalno dominantna po stolpcih. Pokaži, da tako Jacobijevakot tudi Gauss-Seidelova metoda konvergirata za poljuben začetni približek.

4. Naj velja ‖R‖< 1. Izpelji naslednje ocene za iteracijo x (r+1) = Rx (r)+ c, kjer je bx = Rbx + c.

(a) ‖x (r+1) − x (r)‖ ≤ ‖R‖‖x (r) − x (r−1)‖,

(b) ‖x (r) − bx‖ ≤‖R‖

1− ‖R‖‖x (r) − x (r−1)‖,

(c) ‖x (r) − bx‖ ≤‖R‖r

1− ‖R‖‖x (1) − x (0)‖.

5. Izračunaj prva dva približka sistema

10x1 − 2x2 + 4x3 = 8−x1 + 8x2 + 2x3 = 8x1 − 3x2 + 10x3 = 5

po Jacobijevi in Gauss-Seidelovi metodi iz x (0) =�

0 0 0�T

. Oceni število potrebnihkorakov, da bo x (k) − bx‖∞ < 10−5, kjer je bx točna rešitev.

6. Pri Richardsonovi metodi sistem Ax = b rešujemo z iteracijo xk+1 = xk+α(b−Axk), kjer jeα izbrani skalar. Denimo, da so lastne vrednosti A vse realne in urejene kot λn ≤ · · · ≤ λ1.

(a) Pokaži, da v primeru λn < 0< λ1 metoda ne konvergira za nobeno izbiro α.

(b) Pokaži, da v primeru 0 < λn ≤ λ1 lahko poiščemo tak α, da metoda konvergira.Poišči dopustne vrednosti za α in ugotovi optimalno vrednost.

7. Pokaži, da za polinome Čebiševa velja ocena Tm(1+ ε)≥ 1+m2ε za ε > 0.

8. Pokaži, da pri skalarnem produktu

〈 f , g〉 :=∫ 1

−1f (x)g(x)

d xp

1− x2

polinomi Čebiševa tvorijo ortogonalni sistem na [−1,1].

9. Za dana števila α < β ≤ γ poišči polinom p, ki ima najmanjšo neskončno normo naintervalu [α,β] med vsem polinomi stopnje n za katere velja p(γ) = 1.

10. Pokaži:

2

(a) Za polinome Čebiševe velja

Tk(x) =zk + z−k

2, kjer je x =

z + z−1

2.

(b) Naj bo z = eα+iβ , kjer je α > 0 in β ∈ (−π,π). Pokaži, da je potem

Tk(x) = cosh(kα) cos(kβ) + i sinh(kα) sin(kβ).

11. Pokaži, da za x > 1 obstaja tak ρ > 1, da je Tk(x)≥12ρ

k.

12. Pokaži, da ima tridiagonalna matrika n× n matrika oblike

A=

a b

c a. . .

. . . . . . bc a

lastne vrednosti

λk = a+ 2p

bc cos

kπn+ 1

, k = 1, . . . , n.

Nasvet: Nastavi enačbo Ax = λx in reši diferenčno enačbo za elemente lastnega vek-torja.

2 Metode podprostorov Krilova

13. Pokaži, da je K k(αI + βA, b) =Kk(A, b) za poljuben α in poljuben β 6= 0.

14. Naj bo A ∈ Rn×n taka matrika, da je AT = p(A) za nek polinom p stopnje m. Pokaži, dapotem za zgornjo Hessenbergovo matriko Hk, ki jo dobimo pri Arnoldijevem algoritmu,velja, da ima pasovno obliko širine m+ 1 oziroma hi j = 0 za j − i > m.

15. Naj bo A simetrična pozitivno definitna matrika, bx točna rešitev sistema Ax = b in xkrešitev, ki jo dobimo po k korakih metode konjugiranih gradientov iz začetnega približkax0. Izpelji oceno

‖b− Axk‖2‖b− Ax0‖2

≤Æ

κ2(A)‖bx − xk‖A‖bx − x0‖A

.

16. Z začetnim približkom x0 = 0 izvedi dva koraka metode konjugiranih gradientov za sis-tem Ax = b, kjer je

A=

2 −1−1 2 −1

−1 2 −1−1 2 −1

−1 1

, b =

10000

.

3

17. Z začetnim približkom x0 = 0 izvedemo k < n korakov metode konjugiranih gradientovza sistem Ax = b, kjer je A matrika velikosti n × n oblike A = tridiag(−1,2,−1) − eneTnin b = e1. Izpelji splošne formule za vektorje pk, rk, xk in skalarje αk,βk iz algoritma.Pomagaj si z nalogo 16, v kateri nastopa matrika za primer n= 5.

18. Naj bo A simetrična pozitivno definitna matrika, katere lastne vrednosti ležijo na inter-valu [1,4], in x točna rešitev sistema Ax = b.

a) Oceni, koliko največ korakov k potrebuje metoda konjugiranih gradientov, da borazmerje ‖xk − x‖A/‖x0 − x‖A padlo pod 10−10.

b) Ali lahko dobiš natančnejšo oceno, če veš, da razen dveh lastnih vrednosti, vse pre-ostale ležijo na intervalu [1, 1.5]?

19. Pokaži, da je za študij konvergence metode konjugiranih gradientov dovolj obravnavatiprimer, ko je matrika A diagonalna.

20. Naj bo A simetrična pozitivno definitna matrika. Izrazi diagonalne in obdiagonalne ele-mente matrike Tk, ki jo dobimo, če na matriki A poženemo Lanczosevo metodo, s koefi-cienti αi in βi iz metode konjugiranih gradientov.

21. Iz predavanj vemo, da je v primeru, ko je A simetrična pozitivno definitna, reševanjesistema Ax = b ekvivalentno minimiziranju funkcije ϕ(x) = 12 x

T Ax − bT x . Pokaži to šetako, da z odvajanjem pokažeš, kje ima funkcija ϕ ekstrem.

22. Če je A simetrična pozitivno definitna, je reševanje sistema Ax = b ekvivalentno minimi-ziranju funkcije ϕ(x) = 12 x

T Ax − x T b.

(a) Denimo, da imamo približek xk, sedaj pa bi radi dobili še boljši približek tako, dase iz xk premaknemo v dani smeri pk. Poišči vrednost skalarja ck, kjer ϕ(xk + ckpk)zavzame najmanjšo vrednost.

(b) Zapiši algoritem za gradientno metodo, kjer začnemo v x0, potem pa se v vsakemkoraku premaknemo v smeri gradienta in poiščemo minimum v tej smeri.

23. Če je A simetrična pozitivno definitna matrika, je reševanje sistema Ax = b ekvivalentnoiskanju minimuma funkcije

ϕ(x) =12

x T Ax − bT x .

Pri metodi cikličnega koordinatnega spusta izberemo x0 in nato po vrsti delamo popravkex i = x i−1+αiei v smereh enotskih vektorjev e1, . . . , en, kjer vsakič v izbrani smeri minimi-ziramo ϕ(x i−1+αiei). Pokaži, da se xn ujema z vektorjem, ki ga dobimo, če za reševanjesistema Ax = b izvedemo en korak Gauss–Seidelove metode z začetnim približkom x0.

24. Pokaži: Če kot približek za rešitev sistema Ax = b izberemo tak xk ∈ x0 +Kk(A, r0), kjerje r0 = b − Ax0, da je ostanek rk = b − Axk pravokoten na AKk(A, r0), potem dobimo istipribližek kot pri metodi GMRES.

25. Z Arnoldijevim algoritmom in metodama GMRES in FOM izračunaj približek za rešitevsistema Ax = b, kjer je

A=

1 −2 1 21 0 1 00 −1 −1 21 −1 0 0

, b =

1111

.

4

Uporabi x0 = 0 in podprostor Krilova dimenzije 2.

26. Denimo, da ima A obliko

A=

�

I YI

�

,

kjer je Y kvadratna matrika. Če za reševanje sistema Ax = b uporabimo GMRES, kolikokorakov bomo največ potrebovali?

27. Naj bo A simetrična pozitivno definitna matrika in x0 začetni približek za rešitev sistemaAx = b. Zapiši zaključeno formulo za x1, v kateri nastopajo le izrazi A, x0 in začetniostanek r0 = b− Ax0, če x1 dobiš tako, da

(a) uporabiš GMRES(1),

(b) uporabiš FOM(1),

(c) narediš en korak gradientne metode.

Opomba. Pri gradientni metodi iščemo minimum ϕ(x) := 12 xT Ax − bT x . V enem koraku

se iz približka xk premaknemo v smeri negativnega gradienta ϕ v točki xk tako, da xk+1v tej smeri minimizira ϕ.

28. Naj bo A nesingularna matrika. Približek za rešitev sistema Ax = b bi radi dobili z metodoFOM z začetnim približkom x0 = 0. Denimo, da se Arnoldijev algoritem za izračun bazezaKk(A, b) izvede brez težav (to pomeni h j+1, j 6= 0 za j = 1, . . . , k. Ali je rešitev po metodiFOM, ki jo dobimo izKk(A, b), vedno dobro definirana? Dokaži ali pa poišči protiprimer.Kaj pa, če namesto metode FOM uporabimo GMRES?

29. Naj bo A taka nesingularna normalna matrika, da za vse njene lastne vrednosti velja|Re(λ)|> |Im(λ)|. Pokaži, da potem GMRES(2) konvergira za vsak začetni približek.

30. Pokaži: Metoda GMRES(k) za Ax = b konvergira za poljuben začetni vektor natankotedaj, ko za vsak z ∈ Cn, ‖z‖= 1, velja:

zHAzzHA2z

...zHAkz

6=

00...0

31. Naj bo A taka nesingularna normalna matrika, da za vse njene lastne vredosti velja|Re(λ)| > |Im(λ)|. Pokaži, da potem GMRES(2) konvergira za vsak začetni približek. Pridokazu uporabi nalogo 30.

32. Za vsako nesingularno matriko A lahko reševanje Ax = b z uporabo normalnega sistemaprevedemo na reševanje sistema s simetrično pozitivno definitno matriko in uporabimometodo konjugiranih gradientov (CG). To lahko naredimo na dva načina. Za vsakegapoišči, kaj minimiziramo in v katerem podprostoru. Za začetni približek v obeh primerihvzamemo x0 = 0.

(a) Pri metodi CGNR z metodo CG rešujemo sistem AT Ax = AT b.

(b) Pri metodi CGNE z metodo CG rešujemo sistem AAT y = b, kjer je x = AT y.

5

33. Naj se da matriko A diagonalizirati in naj vse njene lastne vrednosti ležijo v krogu ssrediščem c ∈ C in radijem ρ < |c|. Pokaži, da v tem primeru za metodo GMRES veljaocena

‖rk‖2‖r0‖2

≤ αβ k,

kjer je β < 1. Kaj lahko vzamemo za α in β?

34. Denimo, da se da matriko A diagonalizirati kot A= V DV−1, kjer je κ2(V ) = 100. Vse njenelastne vrednosti so enostavne in ležijo na naslednjem območju.

(a) Poišči vrednosti za α > 0 in β < 1, da velja ocena

‖rk‖2‖r0‖2

≤ αβ k.

Pomagaj si z nalogo 33.

(b) Popravi oceno, če ima matrika A poleg lastnih vrednosti na zgornji sliki še lastnivrednosti 12 ± i.

35. Rešiti moramo ogromen sistem linearnih enačb, kjer je matrika A simetrična pozitivnodefinitna. Množenje matrike z vektorjem traja eno uro, skalarni produkt dveh vektorjev20 minut, računanje vsote linearne kombinacije dveh vektorjev pa 10 minut. Za konver-genco metode GMRES in metode konjugiranih gradientov vemo, da se napaka v vsakemkoraku zmanjša za faktor 10. Koliko časa bo potrebovala vsaka izmed metod, da bomopri računanju v dvojni natančnosti dosegli polno natančnost?

3 Računanje lastnih vrednosti

36. Za matriko

A=

−1 1 −21 1 11 0 1

izračunaj podprostor Krilova dimenzija 2, ki se začne z vektorjem v1 =�

0 1 0�T

inizračunaj

6

(a) Ritzevi vrednosti,

(b) harmonični Ritzevi vrednosti.

37. Naj se τ razlikuje od vseh lastnih vrednosti matrike A. Pokaži:

(a) (λ, x) je lastni par za matriko A natanko tedaj, ko je� 1λ−τ , x

�

lastni par za (A−τI)−1.

(b) σ je približek za lastno vrednost (A− τI)−1 natanko tedaj, ko je 1σ + τ približek zalastno vrednost A.

38. Naj se τ razlikuje od vseh lastnih vrednosti matrike A. Pokaži:

(a) Če stolpci Vk tvorijo bazo za Vk, potem za vsak u ∈ U := (A−τI)Vk obstaja natankoen y ∈ Ck, da je u= (A−τI)Vk y.

(b) Če je θ harmonična Ritzeva vrednost za A s tarčo τ za Vk, potem je

V Hk (A−τI)H(A−τI)Vk y = (θ −τ)V Hk (A−τI)

H Vk y.

(c) Točka (b) je ekvivalentna temu, da obstaja u ∈ U , u 6= 0, da je (A−τI)−1u−(θ−τ)−1upravokoten na U .

39. Za matriko A in isti podprostorKk(A, v1) bi radi izračunali harmonične Ritzeve vrednostiza več danih tarč τ1, . . . ,τm . Kako naj se tega lotimo, da bo dela čim manj?

40. Naj bo Ax = λx lastni par za matriko A in ‖x‖2 = 1. Denimo, da znotraj podprostoraKrilova Kk(A, v1) obstaja tak vektor z ∈Kk(A, v1), da je ‖x − z‖2 = "� 1.

(a) Denimo, da smo z Arnoldijevo metodo zgenerirali matriko Vk z ortonormiranimistolpci za bazo Kk(A, b) in matriko Hk, da je AVk = VkHk + hk+1,kvk+1eTk . Pokaži, daobstaja enoličen vektor y ∈ Ck, da je z = Vk y in da zanj velja

‖Hk y −λy‖2‖y‖2

≤‖Az −λz‖2‖z‖2

.

(b) Pokaži, da je ‖Az −λz‖2 ≤ 2‖A‖2".(c) Kaj lahko zaključiš iz zgornjih ocen?

41. Naj bo Ax = λx lastni par za matriko A in ‖x‖2 = 1. Denimo, da znotraj podprostoraKrilova Kk(A, v1) obstaja tak vektor z ∈ Kk(A, v1), da je ‖x − z‖2 = " � 1. Naj stolpcimatrike Vk, ki niso nujno ortonormirani, tvorijo bazo za Kk(A, b).

(a) Pokaži, da obstaja enoličen vektor y ∈ Ck, da je z = Vk y in poišči formulo zanj.(b) Pokaži, da so Ritzeve vrednosti lastne vrednosti matrike ÒHk := (V Hk Vk)

−1(V Hk AVk).

(c) Izpelji oceno

‖ÒHk y −λy‖2‖y‖2

≤ κ2(Vk)‖Az −λz‖2‖z‖2

≤ κ2(Vk)2‖A‖2‖z‖2

".

42. Na bo A normalna matrika z realnimi lastnimi vrednostmi λ1 > λ2 ≥ · · · ≥ λn, pri čemervelja tudi λ2 > λn.

7

(a) Pokaži, da transformacija

ω= 1− 2x −λ2λn −λ2

preslika interval [λn,λ2] na [−1,1].

(b) Naj bo qk(x) = Tk(ω) = Tk

1− 2 x−λ2λn−λ2

. Pokaži, da je |qk(λi)| ≤ 1 za i = 2, . . . , n in

|qk(λ1)| ≥12ρ

k, kjer je ρ ≥ 1+ 2λ1−λ2λ2−λn > 1.(c) Naj bodo x1, . . . , xn linearno neodvisni lastni vektorji za λ1, . . . ,λn in naj za v1 velja

v1 =∑n

i=1αi x i, kjer je α1 6= 0. Sedaj definiramo

eqk(x) =qk(x)α1qk(λ1)

in wk = eqk(A)v1 ∈ Kk(A, v1). Pokaži, da obstaja taka konstanta C , da je ‖wk − x1‖2 ≤Cρ−k, kjer je ρ isti kot v točki (b).

S tem pokažemo, da za dovolj velik k podprostorKk(A, v1) vsebuje dovolj dober približekza lastni vektor x1.

43. Imamo ogromno razpršeno simetrično matriko, ki je tako velika, da v spominu nimamohkrati prostora za več kot le nekaj vektorjev te velikosti. Pokaži, kako bi lahko v temprimeru z več zagoni Lanczoseve metode prišli do dobrih približkov za lastne vrednostiin vektorje.

44. Naj se premik σ razlikuje od vseh lastnih vrednosti simetrične matrike A. Naj bodoµ1, . . . ,µk Ritzeve vrednosti A za podprostor Kk(A, v1) in θ1, . . . ,θk harmonične Ritzevevrednosti A s premikom σ za Kk(A, v1). Lanczosev algoritem naj vrne AVk = VkTk +βkvk+1e

Tk . Pokaži:

(a) Harmonične Ritzeve vrednosti so rešitve posplošenega problema lastnih vrednosti�

(Tk −σI)2 + β2k ekeTk

�

y = (θ −σ)(Tk −σI)y.

(b) Lastne vrednosti (k+ 1)× (k+ 1) matrike

Mk :=

�

Tk −σI βkekβke

Tk β

2k e

Tk (Tk −σI)

−1ek

�

so 0 in θ1 −σ, . . . ,θk −σ.(c) Če Ritzeve in harmonične Ritzeve vrednosti preuredimo glede na σ, se za nek r

prepletajo kot

θ−r < µ−r < θ−r+1 < · · ·< θ−1 < µ−1 < σ < µ1 < θ1 < · · ·< µk−r < θk−r .

45. Matrika A ima obliko A = CB, kjer je C simetrična in B simetrična pozitivno definitnamatrika, obe pa sta veliki in razpršeni. Kako lahko z Lanczosevo metodo izračunamopribližke za lastne vrednosti matrike A?

Nasvet: Spomni se na enostransko predpogojevanje metode konjugiranih gradientov.

8

46. Naj bo U unitarna matrika in τ ∈ C, |τ| = 1, taka točka na enotski sferi, da se razlikujeod vseh lastnih vrednosti matrike U . Definiramo

A= i(U +τI)(U −τI)−1.

Pokaži:

(a) Vse lastne vrednosti matrike A so realne.

(b) Lastna vrednost matrike U , ki je najbližja τ, se preslika v dominantno lastno vre-dnost A.

(c) Matrika A je hermitska.

47. Za posplošen problem lastnih vrednosti Ax = λBx in tako tarčo σ1, da je matrika A−σ1Bnesingularna, iščemo lastne vrednosti C = (A−σ1B)−1B z Arnoldijevo metodo. Denimo,da smo dobili Vk+1 in eHk, da velja

(A−σ1B)−1BVk = Vk+1 eHk. (1)

Sedaj izberemo premik σ2 6= σ1 in iščemo enostavno konstrukcijo matrike Wk+1 z orto-normiranimi stolpci in zgornje Hessenbergove matrike eGk, da velja

(A−σ2B)−1BWk =Wk+1 eGk.

(a) Pokaži, da iz (1) sledi

BVk+1(Ik+1,k + (σ1 −σ2) eHk) = (A−σ2B)BVk+1 eHk,

kjer je Ik+1,k matrika velikosti (k + 1)× k, ki ustreza identiteti velikosti k z dodanoničelno vrstico.

(b) Razvij algoritem, s katerim učinkovito za matriko eSk velikosti (k+1)× k poiščeš or-

togonalno matriko Qk velikosti k× k, da ima�

Qk1

�T

eSkQk zgornjo Hessenbergovo

obliko.

(c) Uporabi QR razcep matrike Ik+1,k + (σ1 − σ2) eHk in algoritem iz točke (b) za kon-strukcijo Wk+1 in eGk.

9

4 Rešitve

1. Vemo, da je RJ (A) = −D−1(L+U), kjer je A= L+D+U , L spodnja trikotna matrika z ničlamina diagonali, D diagonalna matrika in U zgornja trikotna matrika z ničlami na diagonali.

Iteracijska matrika za AT je potem RJ (AT ) = −D−1(LT + U T ) = −D−1RJ (A)T D, kar pomeni,da je matrika RJ (AT ) podobna matriki RJ (A)T , ta pa ima iste lastne vrednosti kot matrikaRJ (A). Torej je ρ(RJ (AT )) = ρ(RJ (A)T ) = ρ(RJ (A))< 1.

2. Naj bo A= L+D+U , kjer je L spodnja trikotna matrika z ničlami na diagonali, D diagonalnamatrika in U zgornja trikotna matrika z ničlami na diagonali. Ustrezna iteracijska matrikaje potem ROGS(A) = −(U + D)−1 L.V primeru, ko je A strogo diagonalno dominantna po vrsticah, dokažemo ρ(ROGS(A))< 1 nazelo podoben način, kot smo to pokazali za Gauss-Seidelovo metodo. Naj bo (λ, x) lastnipar za ROGS, torej ROGS x = λx in x 6= 0. Od tod sledi Lx = −λ(D+ U)x oziroma

−i−1∑

j=1

ai j x j = λn∑

j=i

ai j x j

in

−λaii x i =i−1∑

j=1

ai j x j +λn∑

j=i+1

ai j x j .

Vzemimo indeks k, pri katerem je |xk|= ‖x‖∞. Sedaj ocenimo

|λ||akk| ≤k−1∑

j=1

|ak j||x j||xk|

+ |λ|n∑

j=k+1

|ak j||x j||xk|

≤k−1∑

j=1

|ak j|+ |λ|n∑

j=k+1

|ak j|.

Sledi

|λ| ≤

∑k−1j=1 |ak j|

|akk| −∑n

j=k+1 |ak j|< 1,

saj je

|akk|>k−1∑

j=1

|ak j|+n∑

j=k+1

|ak j|.

3. Za Jacobijevo metodo bodisi pokažemo, da je ‖R j‖1 < 1 ali pa uporabimo nalogo 1 inupoštevamo, da je AT strogo diagonalno dominantna po vrsticah.

Pri Gauss-Seidelovi metodi si pomagamo z nalogo 2. Naj bo A = L + D + U , kjer je Lspodnja trikotna matrika z ničlami na diagonali, D diagonalna matrika in U zgornja triko-tna matrika z ničlami na diagonali. Ker je matrika AT strogo diagonalno dominantna povrsticah, obrnjena Gauss-Seidelova metoda za AT konvergira. Ustrezna iteracijska matrikaje ROGS(AT ) = −(LT +D)−1U T . Iz RGS(A) = −(L+D)−1U dobimo RGS(A) = U−1ROGS(AT )

T U ,torej je

ρ(RGS(A)) = ρ

ROGS(AT )T

= ρ�

ROGS(AT )�

< 1.

10

4. (a) Od x (r+1) = Rx (r)+c odštejemo x (r) = Rx (r−1)+c, dobimo x (r+1)−x (r) = R(x (r)−x (r−1))in od tod oceno ‖x (r+1) − x (r)‖ ≤ ‖R‖‖x (r) − x (r−1)‖.

(b) Pomagamo si s točko (a) in ocenimo

‖x (r) − bx‖= ‖x (r) − x (r+1) + x (r+1) − x (r+2) + x (r+2) + · · · − bx‖

≤ ‖x (r) − x (r+1)‖+ ‖x (r+1) − x (r+2)‖+ · · ·

≤ (‖R‖+ ‖R‖2 + ‖R‖3 + · · · )‖x (r) − x (r+1)‖

=‖R‖

1− ‖R‖‖x (r) − x (r−1)‖.

(c) Sledi iz (b) in ‖x (r) − x (r−1)‖ ≤ ‖R‖r−1‖x (1) − x (0)‖.

5. Točna rešitev sistema je bx =�

0.700980 0.911764 0.703431�T

. Pri Jacobijevi metodidobimo naslednje približke

x (1) =�

0.8 1 0.5�T

x (2) =�

0.8 0.975 0.72�T

x (3) =�

0.707 0.92 0.7125�T

.

Iteracijska matrika je

RJ = −

108

10

−1

0 −2 4−1 0 21 −3 0

=

0 0.2 −0.40.125 0 0.25−0.1 0.3 0

in ‖RJ‖∞ = 0.6. Za oceno števila potrebnih korakov uporabimo oceno (c) iz naloge 4. Izrazlike ‖x (3) − x (2)‖∞ lahko ocenimo, da bo

‖RJ‖k−2∞ ‖x(3) − x (2)‖∞

1− ‖RJ‖∞≤ 10−5

za k ≥ 21.68. V resnici zadošča že 9 iteracij.Pri Gauss-Seidelovi metodi dobimo

x (1) =�

0.8 1.1 0.75�T

x (2) =�

0.72 0.9025 0.69875�T

x (3) =�

0.701 0.9129375 0.70378125�T

.

Iteracijska matrika je

RGS = −

10−1 81 −3 10

−1

0 −2 40 2

0

=

0 0.2 −0.40 0.025 −0.30 −0.125 −0.05

in ‖RGS‖∞ = 0.6. Iz razlike ‖x (3) − x (2)‖∞ lahko ocenimo, da bo

‖RJ‖k−2∞ ‖x(3) − x (2)‖∞

1− ‖RJ‖∞≤ 10−5

za k ≥ 17.77. V resnici zadošča že 5 iteracij.

11

6. Iz xk+1 = xk+α(b−Axk) lahko razberemo, da ima iteracijska matrika obliko R= I −αA, karpomeni, da so lastne vrednosti R enake 1−αλi za i = 1, . . . , n.

(a) V primeru λn < 0 < λ1 bo za vsak α 6= 0 bodisi 1− αλn > 0 ali pa 1− αλ1 > 0, torejmetoda ne konvergira.

(b) Izbrati moramo tak α, da bo |1−αλi|< 1 za vse i = 1, . . . , n. Torej mora biti α > 0 innavzgor omejen z α < 2/λ1, metoda konvergira za vsak α ∈ (0,2/λ1).Pri optimalnem α bo ρ(R) =maxi=1,...,n |1−αλi| minimalen. Ugotovimo lahko, da stapomembni le lastni vrednosti λ1 in λn, saj je ρ(R) = max{|1 − αλ1|, |1 − αλn|}. Čepogledamo spodnji graf funkcij |1−αλ1| in |1−αλn|

vidimo, da bo optimalni α dosežen pri −1+αλ1 = 1−αλn, od koder dobimo

α=2

λ1 +λn, ρ(R(α)) =

λ1 −λnλ1 +λn

.

7. Za |x |> 1 velja Tm(x) = cosh(m arccoshx). Ker je arccoshx = ln�

x +p

x2 − 1�

, dobimo

Tm(x) =12

h

x +p

x2 − 1m+

x +p

x2 − 1−mi

.

Če vstavimo x = 1+ ε dobimo

x +p

x2 − 1= 1+ ε+p

1+ 2ε+ ε2 − 1= 1+ ε+p

2ε+ ε2.

Definiramo a = ε+p

2ε+ ε2 in lahko pišemo Tm(1+ ε) =12

�

(1+ a)m + (1+ a)−m�

. Sedajuporabimo razvoj v vrsto in dobimo

Tm(1+ ε) =12

1+ma+m(m+ 1)

2a2 +O (a3) + 1−ma+

m(m− 1)2

a2 +O (a3)

= 1+m2

2a2 +O (a3).

Ker je a2 = ε2 + 2ε+ ε2 + 2εp

2ε+ ε2, je očitno a2 ≥ 2ε in imamo iskano oceno.

12

8. Upoštevamo, da za |x | ≤ 1 velja Tm(x) = cos(m arccos x). S susbstitucijo x = cosϕ seskalarni produkt spremeni v 〈 f , g〉=

∫ π

0 f (cosϕ)g(cosϕ)dϕ. Tako za n 6= m dobimo

〈Tn, Tm〉=∫ π

0

cos(nϕ) cos(mϕ)dϕ =12

∫ π

0

�

cos((n+m)ϕ) + cos((n−m)ϕ)�

dϕ

=12

sin((n+m)ϕ)n+m

+sin((n−m)ϕ)

n−m

�

�

�

�

π

0

= 0.

Po drugi strani za n= m 6= 0 dobimo

〈Tn, Tn〉=∫ π

0

cos2(nϕ)dϕ =12

∫ π

0

(1+ cos(2nϕ))dϕ =π

2,

pri n= m= 0 pa 〈T0, T0〉=∫ ϕ

0 dϕ = π.

9. Rešitev je polinom Čebiševa Tn, ki ga z intervala [−1, 1] s substitucijo preslikamo na interval[α,β] in s skaliranjem poskrbimo, da ima v točki γ vrednost 1. Formula je

p(x) =Tn

2x − (a+ b)b− a

Tn

2γ− (a+ b)b− a

.

10. (a) Za k = 0 in k = 1 lahko hitro preverimo, da res velja T0(x) = 1 in T1(x) = x . Denimo,da formulo velja za indekse manjše ali enake k za k ≥ 1. Potem velja

2x Tk(x) = 2

�

z + z−1

2

��

zk + z−k

2

�

=12

�

zk+1 + z−k−1 + zk−1 + z−k+1�

= Tk+1(x) + Tk−1(x)

in polinomi očitno zadoščajo rekurzivni formuli za polinome Čebiševa.(b) Uporabimo točko (a) in dobimo

Tk(x) =12

�

ek(α+iβ) + e−k(α+iβ)�

= cosh(kα) cos(kβ) + i sinh(kα) sin(kβ).

11. Uporabimo zvezo Tk(x) = cosh(karccoshx). Če je α= arccoshx , potem je

cosh(kα) =ekα + e−kα

2.

Za ρ lahko vzamemo ρ = eα > 1. Sedaj velja

cosh(kα) =12(ρk +ρ−k)≥

12ρk.

13

12. Naj bo Ax = λx . Potem elemente lastnega vektorja x povezujejo naslednje enačbe

(a−λ)x1 + bx2 = 0cxk−1 + (a−λ)xk + bxk+1 = 0, k = 2, . . . , n− 1,

cxn−1 + (a−λ)xn = 0.

Če dodamo še x0 = xn+1 = 0 imamo zvezo cxk−1+(a−λ)xk + bxk+1 = 0 za k = 1, . . . , n. Izrekurzivne enačbe sledi xk = βξk1 + γξ

k2, kjer sta ξ1 in ξ2 rešitvi karakteristične enačbe

c + (a−λ)ξ+ bξ2 = 0.

Za rešitvi mora veljatiξ1ξ2 =

cb

. (2)

Iz x0 = xn+1 = 0 sledi β +γ= 0 in βξn+11 +γξn+12 = 0, od tod

ξ1ξ2

n+1= 1= e2πki in dobimo

ξ1ξ2= e

2πkn+1 i , k = 1, . . . , n. (3)

Iz (2) in (3) sledi ξ21 =cb e

2πkn+1 i in

ξ1 =s

cb

eπkn+1 i , ξ2 =

s

cb

e−πkn+1 i .

Ker mora za rešitvi karakteristične enačbe veljati tudi ξ1 + ξ2 =λ−a

b , tako dobimo

λk = a+ b(ξ1 + ξ2) = a+ 2p

bc coskπ

n+ 1, k = 1, . . . , n.

Lastni vektor ima obliko

x j =

pbc sin kπn+1pbc sin 2kπn+1

...p

bc sin nkπn+1

.

13. Uporabimo indukcijo. Za k = 1 je očitno K1(αI + βA, b) =K1(A, b) = Lin(b). Denimo, datrditev velja za k in pokažimo, da potem velja tudi za k+ 1. Vemo, da je

Kk(αI + βA, b) = Lin(b, (αI + βA)b, . . . , (αI + βA)k−1 b),

Kk(A, b) = Lin(b, Ab, . . . , Ak−1 b).

Ker Kk(αI + βA, b) razširimo v Kk+1(αI + βA, b) z vektorjem

(αI + βA)k b =k∑

j=0

kj

α jβ k− jAk− j b ∈Kk+1(A, b),

je Kk+1(αI+βA, b) ⊂Kk+1(A, b). Za dokaz v drugo smer vzamemo eA= αI+βB in zapišemoA= 1α eA−

αβ I . Tako pokažemo še Kk+1(A, b) ⊂Kk+1(αI + βA, b), torej sta prostora enaka.

14

14. Spomnimo se, kako zgleda Arnoldijev algoritem:

v1 = r0/‖r0‖j = 1, . . . , k

z = Av ji = 1, . . . , j

hi j = vTi zz = z − hi j vi

h j+1, j = ‖z‖če je h j+1, j = 0, potem prekini računanjev j+1 = z/h j+1, j

Za izračun elementa hi j velja

hi j = vTi z = v

Ti Av j = v

Tj A

T vi ,

pri čemer smo za zadnjo enakost upoštevali, da so vektorji vi in matrika A realni. Sedaj AT

izrazimo kot AT = p(A), kjer je p polinom stopnje m. To pomeni, da je AT vi = p(A)vi in,ker je p polinom stopnje m, je vektor p(A)vi linearna kombinacija vektorjev vi , vi+1, . . . , vi+m.Od tod v primeru j− i > m sledi hi j = vTj p(A)vi = 0, saj so vektorji v1, . . . , v j ortonormirani.

Alternativna rešitev: Iz Hk = V Tk AVk sledi

HTk = VT

k AT Vk = V

Tk p(A)Vk = V

Tk

�

p(A)v1 p(A)v2 · · · p(A)vk�

.

Če je p(A) stopnje m, je vTi p(A)v j = 0 za i − j > m, zato je matrika HTk taka, da ima pod

diagonalo le m diagonal, torej je Hk res pasovna matrika.

Tu moramo paziti, čeprav zgleda mamljiva, enakost V Tk p(A)Vk = p(Hk) ne velja, saj v primeruk < n matrika Vk ni obrnljiva.

15. Najprej pokažimo, da za vsak vektor z velja ocenaÆ

λn‖z‖A ≤ ‖Az‖2 ≤Æ

λ1‖z‖A,

kjer so 0 < λn ≤ · · · ≤ λ1 lastne vrednosti matrike A. Matriko A diagonaliziramo kotA= U DU T , kjer je U ortogonalna matrika in D = diag(λ1, . . . ,λn) ter z razvijemo po lastnihvektorjih kot z =

∑ni=1αiui. Uporabimo zvezo

‖z‖2A = zT Az = (A1/2z)T (A1/2z) = ‖A1/2z‖22

in ocenimo

‖Az‖22 =n∑

i=1

α2i λ2i ≤ λ1

n∑

i=1

λiα2i = λ1‖A

1/2z‖22 = λ1‖z‖2A

oziroma

‖Az‖22 =n∑

i=1

α2i λ2i ≥ λn

n∑

i=1

λiα2i = λn‖A

1/2z‖22 = λn‖z‖2A.

Vemo, da je ‖b − Axk‖2 = ‖A(bx − xk)‖2 in podobno ‖b − Ax0‖2 = ‖A(bx − x0)‖2. Iz zgornjihocen sledi ‖b−Axk‖2 ≤

p

λ1‖bx− xk‖A in ‖b−Ax0‖2 ≤p

λn‖bx− x0‖A, kar združimo v oceno,ki jo je potrebno dokazati.

15

16. Z algoritmom za metodo konjugiranih gradientov

r0 = b− Ax0, p1 = r0j = 1,2, . . . , k

α j =‖r j−1‖2

pTj Ap jx j = x j−1 +α j p jr j = r j−1 −α jAp j

β j =‖r j‖2

‖r j−1‖2p j+1 = r j + β j p j

po vrsti dobimo

p1 = r0 =�

1 0 0 0 0 0�T

α1 = 1/2

x1 =�

1/2 0 0 0 0 0�T

r1 =�

0 1/2 0 0 0 0�T

β1 = 1/4

p2 =�

1/4 1/2 0 0 0 0�T

α2 = 2/3

x2 =�

2/3 1/3 0 0 0 0�T

r2 =�

0 0 1/3 0 0 0�T

β2 = 4/9

p3 =�

1/9 2/9 3/9 0 0 0�T

.

17. Rešitev ima obliko αk =k

k+1 , βk = α2k =

k2

(k+1)2 , rk =1

k+1 ek,

xk =�

kk+1

k−1k+1 · · ·

1k+1 0 · · · 0

�T

pk =�

1k2

2k2 · · ·

kk2 0 · · · 0

�T.

Da so formule točne preverimo tako, da naredimo korak iz k v k+ 1 in preverimo račune.

18. Za točko a) uporabimo oceno

‖x − x j‖A ≤ 2pκ− 1pκ+ 1

j

‖x − x0‖A,

kjer je

κ=λ1λn≤ 4

spektralna občutljivost matrike A. Sledi

‖x − x j‖A ≤ 2

13

j

‖x − x0‖A

16

in napaka bo padla za 10−10, ko bo 3− j ≤ 1210−10, kar se zgodi pri j = 22.

b) Ker vse lastne vrednosti razen λ1 in λ2 ležijo na [1, 1.5], lahko uporabimo oceno

‖x − x j‖A ≤ ‖x − x0‖A infpk∈Pk , pk(0)=1

maxλ∈σ(A)

|pk(λ)|.

Iščemo torej polinom stopnje k, ki zavzame na [1,1.5] čim manjše vrednosti, ima ničli v λ1in λ2, ter v točki 0 vrednost 1. Vzamemo

pk(x) =

1−xλ1

1−xλ2

qk−2(x),

kjer je qk−2 optimalni polinom, ki bi ga sicer dobili, če bi imeli vse lastne vrednosti na [1, 1.5].Zato je

maxλ∈σ(A)

|pk(λ)| ≤ maxλ∈[1,1.5]

|pk(λ)| ≤

34

2

2

�pκ1 − 1pκ1 + 1

�k−2

,

kjer je

κ1 =λ3λn≤ 1.5.

Pri oceni je dovolj gledati le interval [1,1.5], saj za lastni vrednosti λ1 in λ2, ki sta izvenintervala, velja pk(λ1) = pk(λ2) = 0. Sedaj iščemo najmanjši k, da je

�p1.5− 1p

1.5+ 1

�k−2

≤

12

43

2

10−10,

kar je izpolnjeno že pri k = 12.

19. Ker je A s.p.d., je A= QDQT , kjer je Q ortogonalna in D diagonalna s.p.d. Sistem Ax = blahko potem pišemo kot QDQT x = b, torej DQT x = QT b. Če primerjamo, kaj vrne metodakonjugiranih gradientov za začetne podatke A, b, x0 ali za eA= D,eb =QT b, ex0 =QT x0, lahkohitro preverimo, da veljajo zveze er j = QT r j, ep j = QT p j, eα j = α j, eβ j = β j in ex j = QT x j, kjerso s tildo označene količine iz metode konjugiranih gradientov za eA,eb, ex0.

20. Čeprav elemente matrike Tk pri Lanczosevem algoritmu tudi standardno označujemo z αi inβi, se ne ujemajo z enako označenimi koeficienti pri metodi konjugiranih gradientov. Zatobomo pri Lanczosevi metodi označili

Tk =

γ1 δ1

δ1 γ2. . .. . . δk−1δk−1 γk

.

Algoritem za konjugirane gradiente je:r0 = b− Ax0, p1 = r0j = 1,2, . . . , k

α j =‖r j−1‖22pTj Ap j

x j = x j−1 +α j p jr j = r j−1 −α jAp j

17

β j =‖r j‖22‖r j−1‖22

p j+1 = r j + β j p j

Pri Lanczosu imamo AVk = VkTk +δkvk+1eTk , kjer je

γi = vTi Avi , δi = v

Ti Avi+1 = v

Ti+1Avi , i = 1, . . . , k.

Vemo, da so vektorji vi in ri−1 kolinearni, torej je vi = ri−1/‖ri−1‖2 za i = 1, . . . , k. Tako izv1 = r0/‖r0‖2 dobimo

γ1 = vT1 Av1 =

rT0 Ar0‖r0‖22

=pT1 Ap1‖r0‖22

=1α1

.

Za višje indekse dobimo

γi+1 =rTi Ari‖ri‖22

=(pi+1 − βi pi)T A(pi+1 − βi pi)

‖ri‖22

=1

‖ri‖22

�

pTi+1Api+1 + β2i p

Ti Api

�

=pTi+1Api+1‖ri‖22

+‖ri‖22‖ri−1‖22

pTi Api‖ri−1‖22

=1αi+1

+βiαi

.

Za δi dobimo (vemo, da je δi > 0)

δi = vTi Avi+1 =

|rTi−1Ari|‖ri−1‖2‖ri‖2

.

Pri tem je (upoštevamo Ap j =1α j(r j−1 − r j))

rTi−1Ari = (pi − βi−1pi−1)T Ari = p

Ti Ari − βi−1p

Ti−1Ari

=1αi(ri−1 − ri)T ri −

βi−1αi−1

(ri−2 − ri−1)T ri =−‖ri‖22αi

.

Sledi

δi =‖ri‖2

αi‖ri−1‖2=

p

βi

αi.

21. Pogledati moramo, kako odvajamo vektorske funkcije. Najprej

∂ (x T b)∂ x i

=∂

∂ x i

n∑

j=1

x j b j

!

= bi ,

od tod sledi ∇(x T b) = b, kjer je ∇ f = grad f =

∂ f∂ x1

· · · ∂ f∂ xnT. Podobno

∂ (x T Ax)∂ x i

=∂

∂ x i

n∑

j=1

x j(aTj x)

!

= aTi x +n∑

j=1

x j∂

∂ x i(aTj x)

= aTi x +n∑

j=1

x ja ji = 2aTi x ,

18

torej ∇(x T Ax) = 2Ax . Skupaj dobimo ∇(ϕ(x)) = b− Ax , torej je minimum, (ki je dosežen,ko so vsi parcialni odvodi enaki 0), res dosežen pri Ax = b.

22. (a) Definirajmo g(ck) := ϕ(xk + ckpk). Izračunamo lahko

g(ck) =12(xk + ckpk)

T A(xk + ckpk)− (xk + ckpk)T b

= ϕ(xk) + ckpTk (Axk − b) +

12

c2k pTk Apk.

Če odvajamo g in označimo rk = b− Axk vidimo, da je minimum dosežen pri

ck =pTk rk

pTk Apk.

(b) Vemo, da je gradϕ(x) = b− Ax (glej nalogo 21). Algoritem je:

r0 = b− Ax0j = 1,2, . . .

α j =‖r j−1‖2

rTj−1Ar j−1x j = x j−1 +α j r j−1r j = r j−1 −α jAr j−1

23. Če iščemo popravek za x v smeri p, da bo vrednost ϕ(x + αp) minimalna, vemo, da jeminimum dosežen pri

α=pT r

pT Ap,

kjer je r = b− Ax . Sicer to lahko izpeljemo na več načinov, npr. tako, da izračunamo

φ(α) := ϕ(x +αp) =12

�

α2pT Ap+ 2αpT Ax + x T Ax − 2bT x − 2αpT b�

in iz odvoda poiščemo α, da bo φ′(α) = αpT Ap− pT (b− Ax) = 0.

Zato vemo, da je optimalni premik iz vektorja x ( j−1) v smeri e j dosežen pri izbiri

α j =eTj r j−1

eTj Ae j,

kjer je r j−1 = b− Ax ( j−1). To se poračuna v

α j =1

a j j

b j −n∑

i=1

a ji x( j−1)i

.

Iz x ( j) = x ( j−1) +α je j sledi x( j)i = x

( j−1)i za i 6= j in

x ( j)j =1

a j j

b j −j−1∑

i=1

a ji x( j−1)i −

n∑

i= j+1

a ji x( j−1)i

.

19

V j-tem koraku se spremeni le j-ta komponenta, njena posodobljena vrednost pa se potemv naslednjem koraku upošteva pri računanju ( j + 1)-ve komponente. Torej v n korakih, konaredimo en cikel metode koordinatnega spusta, naredimo ravno en korak Gauss–Seidelovemetode.

24. Z Arnoldijevim algoritmom dobimo AVk = Vk+1 eHk = VkHk + hk+1,kvk+1eTk . Vektor xk imaobliko xk = x0 + Vk yk, ostanek pa je potem enak rk = b − Ax0 − AVk yk = r0 − Vk+1 eHk. Kermora biti rk pravokoten na AKk(A, r0), mora biti (AVk)T rk = 0. Od tod dobimo

(AVk)T (r0 − Vk+1 eHk yk) = 0

ineHTk V

Tk+1r0 − eH

Tk V

Tk+1Vk+1 eHk yk = 0.

Tako dobimo eHTk eHk yk = eHk‖r0‖2e1, to pa je ravno normalni sistem za predoločeni sistemeHk yk yk = ‖r‖2e1, ki ga dobimo pri metodi GMRES.

25. Najprej izračunamo matriki eH2 in V2 z Arnoldijevo metodo. Po vrsti:

r0 = b− Ax0 =�

1 1 1 1�T

, v1 =r0‖r0‖2

=�1

212

12

12

�T,

z = Av1 =�

1 1 0 0�T

, h11 = vT1 z = 1,

ev2 = z − h11v1 =�1

212 −

12 −

12

�T, h21 = ‖ev2‖2 = 1, v2 = ev2,

z = Av2 =�

−2 0 −1 0�T

, h12 = vT1 z = −

32

, h22 = vT2 z = −

12

,

ev3 = z − h12v1 − h22v2 =�

−1 1 −1212

�T, h32 = ‖ev3‖2 =

√

√52

.

Tako pridemo do

eH2 =

1 −321 −120

q

52

, V2 =

12

12

12

12

12 −

12

12 −

12

.

(a) Pri metodi GMRES je rešitev x2 = x0 + V2 y2, kjer je y2 rešitev predoločenega sistemaeH2 y2 = ‖r0‖2e1. Ustrezni normalni sistem eHT2 eH2 y2 = eH

T2 ‖r0‖2e1 ima obliko

�

2 −2−2 5

��

y21y22

�

=

�

2−3

�

.

Rešitev je y21 =23 , y22 = −

13 in končno x2 = y21v1 + y22v2 =

�16

16

12

12

�T.

(b) Pri metodi FOM je rešitev x2 = x0 + V2 y2, kjer je y2 rešitev sistema H2 y2 = ‖r0‖2e1oziroma

�

1 −321 −12

��

y21y22

�

=

�

2

0

�

.

Rešitev je y21 = −1, y22 = −2 in končno x2 = y21v1 + y22v2 =�

−32 −32

12

12

�T.

20

26. Denimo, da ima začetni vektor v podprostoru Krilova bločno obliko

v1 =

�

u1w1

�

.

Iz

Av1 =

�

u1 + Y w1w1

�

, A2v1 =

�

u1 + 2Y w1w1

�

vidimo, da je A2v1 = v1 + 2(Av1 − v1). Vektorji torej niso linearno neodvisni in dimenzijapodprostora Krilova je največ 2. Zaradi tega metoda GMRES vrne točno rešitev najkasnejev dveh korakih.

27. (a) Iščemo x1 ∈ x0 +K1(A, r0), torej ima x1 obliko x1 = x0 + αr0. Pri metodi GMRES jeparameter α določen tako, da je ostanek ‖b− Ax1‖2 minimalen. Iz

‖b− Ax1‖2 = ‖r0 −αAr0‖2

vidimo, da je ostanek minimalen pri (Ar0)T r0 = α(Ar0)T Ar0, torej

α=rT0 Ar0rT0 A

2r0in x1 = x0 +

rT0 Ar0rT0 A

2r0r0.

(b) Tudi pri FOM ima x1 obliko x1 = x0+αr0, le da je sedaj α določen s pogojem, da morabiti ostanek b − Ax1 pravokoten na K1(A, r0), torej pravokoten na r0. Tako dobimorT0 r0 = αr

T0 Ar0, torej

α=rT0 r0rT0 Ar0

in x1 = x0 +rT0 r0rT0 Ar0

r0.

(c) Pri gradientni smeri se premaknemo v smeri negativnega gradienta ϕ(x0), ki je enakr0. Torej ima x1 obliko x1 = x0 + αr0, premik α pa je določen s pogojem, da v tejsmeri minimiziramo ϕ(x0 +αr0). Minimum je dosežen pri

α=rT0 r0

rT0 Ar0, torej x1 = x0 +

rT0 r0rT0 Ar0

r0.

Dobimo isti vektor kot pri točki b), kar je razumljivo. Vemo, da se v primeru simetričnepozitivno definitne matrike metoda FOM ujema z metodo konjugiranih gradientov, vprvem koraku pa v metodi konjugiranih gradientov izberemo isto smer kot pri gradientnimetodi.

28. Pri metodi FOM iščemo vektor xk ∈Kk(A, b), ki zadošča Ritz-Galerkinovemu pogoju, da jeostanek Axk − b pravokoten na Kk(A, b). To je ekvivalentno temu, da je xk = Vk y, kjer jey rešitev sistema Hk y = ‖b‖2e1. Do težave lahko pride, če je matrika Hk singularna. To ninemogoče, zgled je npr. matrika

A=

1 1

1. . . . . .. . . . . . 1

1 1

.

21

Če vzamemo b = e1, dobimo po dveh korakih V2 = [e1 e2] in H2 =�

1 11 1

�

, kar je singularna

matrika. Sistem H2 = e1 nima rešitve, torej znotraj K2(A, b) ne obstaja vektor, ki bi zadoščalRitz-Galerkinovemu pogoju.

Pri metodi GMRES se to ne more zgoditi. Matrika eHk je v primeru h j+1, j 6= 0 za j = 1, . . . , kvedno polnega ranga k, zato je rešitev predoločenega sistema eHk yk = ‖b‖2e1 vedno dobrodefinirana in enolična.

29. Ker pri GMRES(2) po vsakih dveh korakih naredimo ponovni zagon, moramo pokazati, daobstaja tak 0 ≤ m < 1, da po dveh korakih GMRES velja ‖r2‖2 ≤ m‖r0‖2 za vsak začetnipribližek x0.

Iz teorije vemo, da je

‖r2‖= minp2∈P2p2(0)=1

‖p2(A)r0‖2 ≤ minp2∈P2p2(0)=1

maxλ∈σ(A)

|p2(λ)|‖r0‖2,

kjer zadnja neenakost velja, ker je matrika A normalna in se da zato diagonalizirati v unitarnibazi. Nalogo lahko tako rešimo s tem, da pokažemo, da obstaja tak polinom p ∈ P2, da jep(0) = 1 in |p(λ)| ≤ m< 1 za vse λ ∈ σ(A).

Vemo, da obstajata konstanti 0 < c1 in c2 ≤ ‖A‖2, da vse lastne vrednosti A ležijo znotrajobmočja Ω= {z ∈ C : c1 ≤ |z| ≤ c2 in |Re(z)|> |Im(z)|}, ki je prikazano na naslednji sliki:

Ker mora veljati p(0) = 1, ima polinom obliko p(z) = 1+ az + bz2. Nadalje, ker je območjeΩ simetrično na y-os, naj bo tudi polinom simetričen, torej oblike p(z) = 1− αz2, kjer jeα > 0, saj hočemo, da bo |p(λ)| ≤ m< 1 za λ ∈ σ(A).

Naj bo λ= x + i y lastna vrednost matrike A. Potem je

p(λ) = 1−α(x + i y)2 = 1− a(x2 − y2)− 2ax yi

in

|p(λ)|2 = (1−α(x2 − y2))2 + 4a2 x2 y2

= 1+ a2(x2 + y2)2 − 2a(x2 − y2).

22

Vemo, da je x2 + y2 ≤ c2, po drugi strani pa lahko definiramo tudi

γ := minx+i y∈σ(A)

(x2 − y2)> 0.

Potem za vsako lastno vrednost matrike A velja |p(λ)|2 ≤ 1 + α2c2 − 2αγ =: q(α). Kerje q(0) = 1 in q′(0) = −2γ < 0, bo očitno za dovolj majhen α > 0 veljalo |q(α)| < 1 inGMRES(2) za to metodo konvergira.

Alternativno bi lahko nalogo rešili tako, da lastne vrednosti zapišemo v polarni obliki. Lastnevrednosti A so oblike λ = reiϕ, kjer je c1 ≤ r ≤ c2 in |ϕ| ≤ ϕ0 <

π4 . Dobili bi |p(λ)|

2 =1+α2r4 − 2αr2 cos(2ϕ), ocenili |p(λ)|2 ≤ 1+αc22 − 2αc

21 cos(2ϕ0) =: s(α) in pokazali, da je

s(0) = 1 in s′(0)< 1, torej obstaja α > 0, da je s(α)< 1.

30. Pogoj je ekvivalenten temu, da obstaja vsaj en j ∈ {1, . . . , k}, kjer je zHAjz 6= 0. Denimo,da pogoj ni izpolnjen. Potem lahko x0 izberemo tako, da bo vH1 A

j v1 = 0 za vse j = 1, . . . , k,kjer je v1 = r0/‖r0‖2 in r0 = b− Ax0.

Če pogledamo elemente matrike eHk, vidimo, da imajo elementi v prvi vrstici obliko h j1 =vH1 Av j za j = 1, . . . , k. Ker lahko Av j zapišemo kot Ap j−1(A)v1, kjer je p j−1 polinom stopnjej − 1, je potem h j1 = 0 za vse j = 1, . . . , k. Na koncu moramo rešiti predoločen sistemeHk yk = ‖r0‖2e1, ki ima obliko (za k = 3):

0 0 0× × ×× ××

y3 =

‖r0‖2000

.

Minimum je očitno dosežen pri yk = 0, kar pomeni, da je xk = x0. Po k korakih se takoostanek ne zmanjša in GMRES(k) ne konvergira.

To si lahko predstavljamo tudi z Givensovimi rotacijami. Če ima prva vrstica eHk same ničle,bomo pri QR razcepu z Givensovimi rotacijami ves čas za rotacijo izbirali ck = 0 in |sk|= 1.Po k rotacijah bomo tako dobili (spet za k = 3):

RT34RT23R

T12

0 0 0× × ×× ××

=

× × ×× ××

, RT34R

T23R

T12

‖r0‖2000

=

000

s1s2s3‖r0‖2

.

Končni ostanek bo potem enak

‖rk‖2 = |s1s2 · · · sk|‖r0‖2 = ‖r0‖2

in ni konvergence.

Za konvergenco mora torej veljati, da je vsaj pri eni Givensovi rotaciji |s j| < 1, to pa jeekvivalentno temu, da prva vrstica eHk nima samih 0.

31. To nalogo smo že rešili (glej nalogo 29), a jo lahko zdaj s pomočjo naloge 30 rešimo šeenostavneje. Iz naloge 30 sledi, da GMRES(2) ne konvergira, če obstaja tak ‖y‖2 = 1, daje yHAy = yHA2 y = 0.

23

Ker je matrika A normalna, jo lahko diagonaliziramo v unitarni bazi kot A= U DUH , kjer jeAui = λiui za i = 1, . . . , n. Vektor y razvijemo po bazi lastnih vektorjev kot y =

∑ni=1αiui.

Potem velja

yH y =n∑

i=1

|αi|2, yHAy =n∑

i=1

|αi|2λi , yHA2 y =n∑

i=1

|αi|2λ2i .

Denimo, da torej velja

n∑

i=1

|αi|2 = 1,n∑

i=1

|αi|2λi = 0,n∑

i=1

|αi|2λ2i = 0.

Toda, λ2i = Re(λi)2−Im(λi)2+2iRe(λi)2Im(λi)2, in, ker je |Re(λi)|> |Im(λi)| za i = 1, . . . , n,

je Re�

yHA2 y�

> 0 in ni možno, da je yHA2 y = 0.

32. (a) Iz lastnosti metode CG vemo, da dobimo xk ∈Kk(AT A, AT b), ki minimizira ‖bx− xk‖AT A,kjer je bx točna rešitev sistema Ax = b. Ker je

‖bx − xk‖AT A = (bx − xk)T AT A(bx − xk) = ‖A(bx − xk)‖22 = ‖b− Axk‖= ‖rk‖22,

dobimo x ∈Kk(AT A, AT b), ki minimizira ‖rk‖2.(b) Iz lastnosti metode CG vemo, da dobimo yk ∈ Kk(AAT b, ), ki minimizira ‖by − yk‖AT A,

kjer je by točna rešitev sistema AAT y = b. Ker je

‖by − yk‖AAT = (by − yk)T AAT (by − yk) = ‖A(bx − xk)‖22 = ‖b− Axk‖22 = ‖rk‖

22,

dobimo x ∈ AKk(AAT , b), ki minimizira ‖rk‖2.

33. Iz predavanj vemo, da v primeru, ko se da matriko A diagonalizirati kot A= VΛV−1, lahkoocenimo

‖rk‖2‖r0‖2

≤ κ2(V ) minpk∈Pkpk(0)=1

maxλ∈σ(A)

|pk(λ)|.

V našem primeru lahko za polinom pk, iz katerega dobimo oceno, izberemo

pk(z) =�

1−zx

�k.

Zanj velja p(0) = 1 in |p(λ)| ≤ ρ/|c| za vsako lastno vrednost matrike A. Vzamemo lahkokar α= κ2(V ) in β = ρ/|c|< 1.

34. (a) Iz slike je razvidno, da vse lastne vrednosti A ležijo v uniji intervala med točkama 1 in 52in intervala med točkama 2− 12 i in 2+

12 i. Če obstaja krog K(c,ρ) = {z ∈ C : |z−c|< ρ},

ki vsebuje vse lastne vrednosti in ne vsebuje 0, lahko uporabimo oceno iz naloge 33.Tak krog je očitno K(2, 1), ki da oceno α= 100 in β = 12 . Najboljšo oceno pa dobimoiz kroga K(c,ρ), ki vsebuje vse točke, ne vsebuje 0 in ima najmanjše razmerje ρ/|c|.Tak krog je K(74 ,

34), iz katerega dobimo β =

37 .

(b) Upoštevamo, da velja

‖rk‖2‖r0‖2

≤ κ2(V ) minpk∈Pkpk(0)=1

maxλ∈σ(A)

|pk(λ)|.

24

Označimo lastne vrednosti matrike A tako, da je λ1 =12 − i in λ2 =

12 + i. Za polinom

p(z) =

1−zλ1

1−zλ2

�

1−zx

�k−2

stopnje k velja p(0) = 1. Poleg tega je p(λ1) = p(λ2) = 0. Če vzamemo z iz območja,na katerem ležijo preostale lastne vrednosti, lahko ocenimo

�

�

�

�

1−zλ1

1−zλ2

�

�

�

�

≤ 4 in�

�

�1−zx

�

�

�

k−2≤

37

k−2.

To je vrednost, ki jo dobimo pri z = 52 . To skupaj pomeni, da za zgoraj definiranipolinom p za vsako lastno vrednost λ matrike A velja

|p(λ)| ≤ 4

37

k−2= 4

37

−237

k

.

Ko to združimo s κ2(V ) vidimo, da lahko vzamemo α= 100 · 4(73)

2 ≈ 2178 in β = 37 .

35. Ker se napaka v vsakem koraku zmanjša za faktor 10, bomo za polno natančnost pri obehmetodah potrebovali 16 iteracij.

Pri konjugiranih gradientih potrebujemo v vsakem koraku eno množenje matrike z vektorjem,dva skalarna produkta in 3 linearne kombinacije vektorjev. Torej skupno 16 množenj matrikez vektorjem, 32 skalarnih produktov in 48 linearnih kombinacij, za kar porabimo 2080 minut(ostale operacije so zanemarljive).

Pri metodi GMRES potrebujemo v vsakem koraku eno množenje matrike z vektorjem. Vkoraku k moramo vektor ortogonalizirati na že izračunanih k−1 vektorjev, za kar potrebujemok − 1 skalarnih produktov in k − 1 linearnih kombinacij vektorjev. Za normiranje vektorjavk potrebujemo še en skalarni produkt in eno množenje vektorja s skalarjem, kar bomošteli kot linearno kombinacijo. Torej skupno 16 množenj matrike z vektorjem, 136 skalarnihproduktov in 136 linearnih kombinacij, za kar porabimo 5040 minut (ostale operacije sozanemarljive).

Torej je bolje uporabiti metodo konjugiranih gradientov, kar je na splošno vedno res, kadarje matrika simetrična pozitivno definitna.

36. Z Arnoldijevim algoritmom po vrsti dobimo dobimo z = Av1 =�

1 1 0�T , h11 = vT1 z = 1,

z = z−h11v1 =�

1 0 0�T , h21 = 1, v2 =

�

1 0 0�T , z = Av2 =

�

−1 1 1�

, h12 = vT1 z = 1,h22 = vT2 z = −1, z = z − h12v1 − h22v2 =

�

0 0 1�T , h32 = 1, v3 =

�

0 0 1�T .

(a) Ritzevi vrednosti sta lastni vrednosti H2 =�

1 11 −1

�

, torej σ1 =p

2 in σ2 = −p

2.

(b) Harmonične lastne vrednosti so enake lastnim vrednostim posplošenega problema la-stnih vrednosti eHT2 eH2 y = θH2 y. V našem primeru dobimo

�

23

�

y = θ

�

1 11 −1

�

y,

ustrezni lastni vrednosti sta θ1 = −2 in θ2 = 3/2.

25

37. (a) Ax = λx je ekvivalentno Ax − τx = λx − τx , kar je ekvivaletno (A− τI)x = (λ− τ)x ,to pa je ekvivalentno 1λ−τ x = (A−τI)

−1x.

(b) To je posledica točke (a). Če vstavimo λ= 1σ +τ, vidimo, da je to ekvivalentno temu,da je σ lastna vrednost (A−τI)−1.

38. (a) Ker τ ni lastna vrednost A, je matrika A−τI nesingularna. Zaradi tega A−τI bijektivnopreslika Vk na U in za vsak u ∈ U res obstaja natanko en y ∈ Ck, da je u= (A−τI)Vk y.

(b),(c) Vemo, da je θ harmonična Ritzeva vrednost za A in Vk natanko tedaj, ko je θ−1 Ritzevavrednost za A−1 in podprostor AVk.Če je θ harmonična Ritzeva vrednosti za A s tarčo τ in podprostor Vk, to pomeni, daje θ = σ+τ, kjer je σ harmonična Ritzeva vrednost za A−τI in podprostor Vk.To je torej ekvivalentno temu, da je (θ − τ)−1 Ritzeva vrednost za (A − τI)−1 zapodprostor (A− τI)Vk =U in naprej ekvivalentno temu, da obstaja u ∈ U , u 6= 0, daje vektor (A−τI)−1u− (θ −τ)−1u pravokoten na U , kar je ravno točka (c).Po točki (a) obstaja y ∈ Ck, da je u = (A− τI)Vk y. Točka (c) je tako ekvivalentnatemu, da je

Vk(A−τI)H�

(A−τI)−1(A−τI)Vk y − (θ −τ)−1(A−τI)Vk y�

= 0.

Če preuredimo zgornji izraz, dobimo ravno enačbo v točki (b).

39. Z Arnoldijevo metodo dobimo AVk = VkHk+hk+1,kvk+1eTk za Kk(A, v1). Vemo (glej točko (b)iz naloge 38), da je θ harmonična Ritzeva vrednost za A s tarčo τ za Kk(A, v1), če je

V Hk (A−τI)H(A−τI)Vk y = (θ −τ)V Hk (A−τI)

H Vk y.

Če označimo Wk = AVk, dobimo iz zgornje enačbe

(Wk −τVk)H(Wk −τVk)y = (θ −τ)(Wk −τVk)H Vk y

in�

W Hk Wk −τWHk Vk −τV

Hk Wk + |τ|

2 I�

y = (θ −τ)(W Hk Vk −τI)y.

Zadošča, da izračunamo le dve matriki velikosti k×k. Označimo Fk =W Hk Wk in Gk =WHk Vk.

Potem moramo za harmonične Ritzeve vrednosti za tarčo τi rešiti posplošeni problem lastnihvrednosti oblike

�

Fk −τiGk −τiGHk + |τi|2 I�

y = (θ −τi)(Gk −τi I)y.

Bistveno je, da potrebujemo le eno računanje baze podprostora Krilova in samo dve množenjimatrik velikosti k× n in n× k.

40. (a) Ker je Vk polnega ranga, obstaja enoličen y ∈ Ck, da je z = Vk y in velja y = V Hk z. Kerso stolpci Vk ortonormirani, je ‖y‖2 = ‖z‖2 = 1. Ocenimo lahko

‖Hk y −λy‖2 = ‖V Hk AVk y −λy‖2 = ‖VH

k Az −λVH

k z‖2= ‖V Hk (Az −λz)‖2 ≤ ‖V

Hk ‖2‖Az −λz‖2 ≤ ‖Az −λz‖2.

(b) Ocenimo (vrinemo −Ax + Ax = −Ax +λx)

‖Az −λz‖2 = ‖Az − Ax +λx −λz‖2 = ‖A(z − x)−λ(z − x)‖2= ‖(A−λI)(z − x)‖2 ≤ ‖A−λI‖2‖z − x‖2 ≤ 2‖A‖2",

pri čemer smo uporabili oceno ‖A−λI‖2 ≤ ‖A‖2 + |λ| ≤ 2‖A‖2.

26

(c) Iz ocen (a) in (b) lahko ugotovimo, da je (λ, y) lastni par malo zmotene matrike Hk,saj je ‖Hk y −λy‖2 ≤ 2‖A‖2". Če se da matrika Hk diagonalizirati in je matrika lastnihvektorjev dobro pogojeni, potem obstaja lastna vrednost Hk blizu λ. Torej, če imamov podprostoru Krilova zelo dober približek za lastni vektor x , potem bo zelo verjetnotudi ena izmed Ritzevih vrednosti blizu lastne vrednosti λ.

41. (a) Ker stolpci Vk tvorijo bazo, obstaja enoličen y ∈ Ck, da je z = Vk y. Velja y = V+k z,kjer je V+k = (V

Hk Vk)

−1V Hk psevdoinverz matrike Vk, za katerega velja V+k Vk = I .

(b) Ritz-Galerkinov pogoj je, da mora biti ostanek Az − θz pravokoten na Kk(A, v1). Čeupoštevamo z = Vk y, lahko ta pogoj zapišemo kot V Hk (AVk y − θVk y) = 0. DobimoV Hk AVk y = θV

Hk Vk y, iz česar sledi (V

Hk Vk)

−1(V Hk AVk)y = θ y, kar je ravno ÒHk y = θ y.

(c) Ocenimo

‖ÒHk y −λy‖2 = ‖(V Hk Vk)−1(V Hk AVk)y −λy‖2

= ‖V+k Az −λV+k z‖2 = ‖V

+k (Az −λz)‖2 ≤ ‖V

+k ‖2‖Az −λz‖2.

Velja pa tudi z = Vk y, torej ‖z‖2 ≤ ‖Vk‖2‖y‖2 in ‖y‖2 ≥ ‖z‖2/‖Vk‖2. Tako dobimo

‖ÒHk y −λy‖2‖y‖2

≤ ‖V+k ‖2‖Vk‖2‖Az −λz‖2‖z‖2

in (c) sledi iz κ2(Vk) = ‖V+k ‖2‖Vk‖2 ter točke (b) naloge 40.

42. (a) Če izraz preuredimo, dobimo ω= λn+λ2−2xλn−λ2 . Ker pri x = λn dobimo ω= −1, pri x = λ2pa ω= 1, vmes pa je to premica, točka (a) očitno velja.

(b) Pomagamo si z nalogama 10 in 11. Vemo, da je qk(λ1) = Tk(β), kjer je β = 1+2λ1−λ2λ2−λn

>

1. Potem velja Tk(β) =12(ρ

k + ρ−k), kjer je ρ = β +p

β2 − 1 > β > 1, torej jeqk(λ1)> ρk/2.

(c) Če izračunamo wk, dobimo

wk =qk(A)v1α1qk(λ1)

=1

α1qk(λ1)

n∑

i=1

αiqk(λi)vi .

Od tod sledi

‖wk − v1‖22 =1

qk(λi)2|α1|2

n∑

i=2

|αi|2qk(λi)2 ≤1

qk(λ1)2

n∑

i=2

|αi|2

|α21|

in po točki (b) obstaja tak C , da velja ‖wk − v1‖2 ≤ Cρ−k.

43. Za približke za lastno vrednost potrebujemo le matriko Tk iz zveze AVk = VkTk + βkvk+1eTk .To matriko lahko zgradimo tako, da sproti hranimo le zadnja vektorja iz V .

Denimo, da smo našli dober približek za lastni par, torej imamo Tk y = θ y, kjer je βk|eTk y|<". Približek za lastni vektor je potem z = Vk y, a tega vektorja ne moremo izračunati,saj nimamo shranjenih stolpcev matrike Vk. To težavo lahko rešimo tako, da še enkratpoženemo Lanczosevo metodo za računanje ON baze za podprostor Krilova, začnemo zz = 0 in v vsakem koraku popravimo z = z + y j v j za j = 1, . . . , k. Tako imamo na koncu v zvektor z = Vk y.

27

44. (a) Vemo, da je θ harmonična Ritzeva vrednost za premik σ in Kk(A, v1) natanko takrat,ko je (θ −σ)−1 Ritzeva vrednost matrike (A−σI)−1 za (A−σI)Kk(A, v1). To pomeni,da za nek y ∈ Rk velja

V Tk (A−σI)

(A−σI)−1(A−σI)Vk y −1

θ −σ(A−σI)Vk y

= 0.

Dobimo(θ −σ)V Tk (A−σI)Vk y − V

Tk (A−σI)

2Vk y = 0.

Upoštevamo, da iz AVk = VkTk + βkvk+1eTk sledi (A−σI)Vk = Vk(Tk −σI) + βkvk+1eTk ,

to vstavimo v zgornjo enakost in dobimo

(θ −σ)(Tk −σI)y =�

(Tk −σI)2 + βkekeTk�

y.

(b) Denimo, da velja�

Tk −σI βkekβke

Tk β

2k e

Tk (Tk −σI)

−1ek

��

xξ

�

= λ

�

xξ

�

,

kjer x ∈ Rk in ξ ∈ R nista oba hkrati enaka 0. Od tod dobimo

(Tk −σI)x + βkekξ= λx (4)

βkeTk x + β

2k e

Tk (Tk −σI)

−1ekξ= λξ. (5)

Če enakost (4) z leve pomnožimo z βkeTk (Tk −σI)−1, kjer dobimo

βkeTk x + β

2k e

Tk (Tk −σI)

−1ekξ= λβkeTk (Tk −σI)

−1 x ,

in to odštejemo od enakosti (5), dobimo

λξ= λβkeTk (Tk −σI)

−1 x .

Če predpostavimo λ 6= 0, sledi ξ= βkeTk (Tk −σI)−1 x , kar vstavimo v (4). Dobimo

(Tk −σI)x + β2k ekeTk (Tk −σI)

−1 x = λx .

Uporabimo substitucijo x = (Tk −σI)y in dobimo�

(Tk −σI)2 + β2k ekeTk

�

y = λ(Tk −σI)y.

Iz točke (a) sledi, da so θ1 −σ, . . . ,θk −σ res lastne vrednosti matrike iz točke (b).Obravnavati moramo še možnost λ= 0. Vidimo, da je tudi to lastna vrednost Mk, sajje

�

Tk −σI βkekβke

Tk β

2k e

Tk (Tk −σI)

−1ek

��

βk(Tk −σI)−1ek−1

�

= 0.

(c) Prepletanje sledi iz Cauchyjevega izreka o prepletanju lastnih vrednosti, saj se lastnevrednosti Tk −σI , ki so µ1 −σ, . . . ,µk −σ, prepletajo z lastnimi vrednosti Mk, ki so 0in θ1 −σ, . . . ,θk −σ.

45. Matrika A ni simetrična, zato ne moremo direktno uporabiti Lanczoseve metode. Imamo paveč možnosti, kako lahko to vseeno naredimo.

28

(a) Če se da ekonomično izračunati razcep Choleskega B = V V T za matriko B (kar pomeni,da V v primerjavi z B nima bistveno več neničelnih elementov), potem je Ax = λxekvivalentno V T CV y = λy, kjer je V T x = y. Matrika V T CV je podobna matrikiA in ima iste lastne vrednosti, hkrati pa je simetrična, zato zanjo lahko uporabimoLanczosevo metodo.

(b) Če razcepa Choleskega ne moremo učinkovito izračunati, lahko kot pri konjugiranihgradientih s predpogojevanjem uporabimo drugačen skalarni produkt. Definiramo

〈x , y〉B := 〈x , B y〉,

kjer je 〈x , y〉= y T x standardni skalarni produkt. V skalarnem produktu 〈., .〉B je matrikaA sebiadjungirana, saj velja

〈Ax , y〉B = 〈Ax , B y〉= 〈CBx , B y〉= 〈x , BCB y〉= 〈CBx , B y〉= 〈x , BAy〉= 〈x , Ay〉B.

Torej se A v tem skalarnem produktu obnaša kot simetrična matrika in lahko uporabimostandardni Lanczosev algoritem, kjer vse skalarne produkte zamenjamo z 〈., .〉B. Stolpcimatrike Vk bodo tako B-ortonormirani, približke za lastne vrednosti pa dobimo iz lastnihvrednosti tridiagonalne matrike Tk. Algoritem je:

v1 = v1/‖v1‖B, kjer je ‖v1‖B = (vT1 Bv1)1/2

β = 0, v0 = 0j = 1, . . . , k

z = Av jα j = zT Bv jz = z −α j v j − β j−1v j−1β j = ‖z‖Bv j+1 =

1β j

z j

46. (a) Če je λ lastna vrednost U , potem je |λ|= 1. Potem je θ = i λ+τλ−τ lastna vrednost A. Zaizraz λ+τλ−τ lahko pokažemo, da je strogo imaginaren. Velja namreč

λ+τλ−τ

=(λ+τ)(λ−τ)|λ−τ|2

=|λ|2 +τλ−λτ− |τ|2

|λ−τ|2=τλ−λτ|λ−τ|2

,

izraz v števcu pa je očitno imaginaren. Od tod sledi, da je θ ∈ R.(b) Pri tej točki lahko brez škode za splošnost predpostavimo, da je τ= 1. V nasprotnem

primeru bi matriko A in τ zarotirali za ustrezen kot, da se τ premakne v 1. Pri tem serazdalje med τ in lastnimi vrednostmi U ne spremenijo.Pišemo lahko λ= eiϕ. Potem je

θ = ieiϕ + 1eiϕ − 1

= icosϕ + 1+ i sinϕcosϕ − 1+ i sinϕ

= i(cosϕ + 1+ i sinϕ)(cosϕ − 1+ i sinϕ)

(cosϕ − 1)2 + sin2ϕ

= icos2ϕ − 1+ sin2ϕ − 2i sinϕ

2− 2cosϕ=

sinϕ1− cosϕ

.

Zgornji izraz ima očitno maksimalno absolutno vrednost pri tisti lastni vrednosti matrikeU , ki je najbližja 1. V limiti, ko gre ϕ proti 0, gre izraz po absolutni vrednosti protineskončno, tako da se res najbližja lastna vrednost matrike U preslika v dominantnolastno vrednost matrike A.

29

(c) Iz A= i(U +τI)(U −τI)−1 dobimo

AH = −i(U −τI)−H(U +τI)H = −i(UH −τI)−1(UH −τI).

Pokažimo sedaj, da je res A= AH . Očitno je A= AH natanko tedaj, ko je

i(U +τI)(U −τI)−1 = −i(UH −τI)−1(UH −τI).

To bo res natanko tedaj (z leve množimo z UH −τI , z desne pa z UH +τI), ko je

i(UH −τI)(U +τI) = −i(UH −τI)−1(U −τI).

To je res natanko tedaj, ko je (zmnožimo člene na levi in desni strani):

i(UH U +τUH −τU − I) = −i(UH U +τU −τUH − I),

kar pa je očitno vedno res.

47. (a) V (1) levo in desno stran pomnožimo z A−σ1B in dobimo

BVk = (A−σ1B)Vk+1 eHk = (A−σ2B)Vk+1 eHk − (σ1 −σ2)BVk+1 eHk.

Od tod slediBVk + (σ1 −σ2)BVk+1 eHk = (A−σ2B)Vk+1 eHk.

Izraz na levi strani lahko zapišemo kot

BVk + (σ1 −σ2)BVk+1 eHk = BVk+1�

Ik+1,k + (σ1 −σ2) eHk�

.

in tako dokažemo točko (a).

(b) Tak algoritem lahko sestavimo iz ustrezno izbranih Householderjevih zrcaljenj ali Gi-vensovih rotacij. Če bi npr. imeli matriko velikosti 4× 3, bi lahko z Givensovo rotacijo

R23 z desne najprej uničili element na mestu (4,2), pri množenju z�

R231

�

z leve se

potem ta ničla ne pokvari. Nadaljevali bi na podoben način z rotacijo R13, s katero biuničili element na mestu (4,1) in na koncu še z rotacijo R12 uničili element (3,1). Zasplošno matriko bi uničevali element po vrsticah od spodnje navzgor.

(c) Naj bo eMk = Ik+1,k + (σ1 − σ2) eHk matrika iz točke (a). Zanjo izračunamo QR raz-

cep eMk = Qk+1

�

Rk0

�

, kjer je Rk zgornja trikotna matrika, Qk+1 pa ima ortonormirane

stolpce. Ko to vstavimo v izraz iz točke (a), dobimo

(A−σ2B)−1BVk+1Qk+1

�

Rk0

�

= Vk+1 eHk,

kar je ekvivalentno(A−σ2B)−1BVk+1Qk+1,kRk = Vk+1 eHk,

kjer je Qk+1,k prvih k vrstic matrike Qk+1. Sledi

(A−σ2B)−1BVk+1Qk+1,k = Vk+1 eHkR−1k .

30

Na desni strani vrinemo Qk+1QHk+1 in dobimo

(A−σ2B)−1BVk+1Qk+1,k = Vk+1Qk+1QHk+1 eHkR−1k .

Označimo eSk := QHk+1 eHkR−1k . To je matrika velikosti (k + 1)× k in po točki (b) lahko

poiščemo tako ortogonalno matriko Pk velikosti k× k, da je

eSk =

�

Pk1

�

eGkPHk ,

kjer je Gk zgornja Hessenbergova matrika velikosti (k+1)×k. Ko vse skupaj združimo,dobimo

(A−σ2B)−1BVk+1Qk+1,kPk = Vk+1Qk+1

�

Pk1

�

eGk.

Sedaj za matriko Wk+1 vzamemo Wk+1 = Vk+1Qk+1

�

Pk1

�

, kar ustreza Wk = Vk+1Qk+1,kPk

in imamo iskani razcep.

31