Saad Y., Iterative Methods for Sparse Linear Systems

  • View
    223

  • Download
    3

Embed Size (px)

Text of Saad Y., Iterative Methods for Sparse Linear Systems

Iterative Methods

for Sparse Linear Systems

Yousef Saad6

15

12

4

9

5

11

14

8

2

10

3

13

7

1

Copyright c 2000 by Yousef Saad.S ECOND EDITION WITH CORRECTIONS . JANUARY 3 RD , 2000.

PREFACEAcknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Suggestions for Teaching . . . . . . . . . . . . . . . . . . . . . . . . .

1

BACKGROUND IN LINEAR ALGEBRA1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 Matrices . . . . . . . . . . . . . . . . . . . Square Matrices and Eigenvalues . . . . . . Types of Matrices . . . . . . . . . . . . . . Vector Inner Products and Norms . . . . . . Matrix Norms . . . . . . . . . . . . . . . . Subspaces, Range, and Kernel . . . . . . . . Orthogonal Vectors and Subspaces . . . . . Canonical Forms of Matrices . . . . . . . . 1.8.1 Reduction to the Diagonal Form . . 1.8.2 The Jordan Canonical Form . . . . . 1.8.3 The Schur Canonical Form . . . . . 1.8.4 Application to Powers of Matrices . 1.9 Normal and Hermitian Matrices . . . . . . . 1.9.1 Normal Matrices . . . . . . . . . . 1.9.2 Hermitian Matrices . . . . . . . . . 1.10 Nonnegative Matrices, M-Matrices . . . . . 1.11 Positive-Denite Matrices . . . . . . . . . . 1.12 Projection Operators . . . . . . . . . . . . . 1.12.1 Range and Null Space of a Projector 1.12.2 Matrix Representations . . . . . . . 1.12.3 Orthogonal and Oblique Projectors . 1.12.4 Properties of Orthogonal Projectors . 1.13 Basic Concepts in Linear Systems . . . . . . 1.13.1 Existence of a Solution . . . . . . . 1.13.2 Perturbation Analysis . . . . . . . . Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

DISCRETIZATION OF PDES2.1 Partial Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 2.1.1 Elliptic Operators . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2 The Convection Diffusion Equation . . . . . . . . . . . . . . .

xiiixiv xv

11 3 4 6 8 9 10 15 15 16 17 19 21 21 24 26 30 33 33 35 35 37 38 38 39 41

4444 45 47

2.2

Finite Difference Methods . . . . . . . . . . . . . . . . 2.2.1 Basic Approximations . . . . . . . . . . . . . . 2.2.2 Difference Schemes for the Laplacean Operator 2.2.3 Finite Differences for 1-D Problems . . . . . . 2.2.4 Upwind Schemes . . . . . . . . . . . . . . . . 2.2.5 Finite Differences for 2-D Problems . . . . . . 2.3 The Finite Element Method . . . . . . . . . . . . . . . 2.4 Mesh Generation and Renement . . . . . . . . . . . . 2.5 Finite Volume Method . . . . . . . . . . . . . . . . . . Exercises and Notes . . . . . . . . . . . . . . . . . . . . . .

3

SPARSE MATRICES3.1 3.2 Introduction . . . . . . . . . . . . . . . . . Graph Representations . . . . . . . . . . . . 3.2.1 Graphs and Adjacency Graphs . . . 3.2.2 Graphs of PDE Matrices . . . . . . 3.3 Permutations and Reorderings . . . . . . . . 3.3.1 Basic Concepts . . . . . . . . . . . 3.3.2 Relations with the Adjacency Graph 3.3.3 Common Reorderings . . . . . . . . 3.3.4 Irreducibility . . . . . . . . . . . . 3.4 Storage Schemes . . . . . . . . . . . . . . . 3.5 Basic Sparse Matrix Operations . . . . . . . 3.6 Sparse Direct Solution Methods . . . . . . . 3.7 Test Problems . . . . . . . . . . . . . . . . Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

BASIC ITERATIVE METHODS4.1 Jacobi, Gauss-Seidel, and SOR . . . . . . . . 4.1.1 Block Relaxation Schemes . . . . . . 4.1.2 Iteration Matrices and Preconditioning 4.2 Convergence . . . . . . . . . . . . . . . . . . 4.2.1 General Convergence Result . . . . . 4.2.2 Regular Splittings . . . . . . . . . . . 4.2.3 Diagonally Dominant Matrices . . . . 4.2.4 Symmetric Positive Denite Matrices 4.2.5 Property A and Consistent Orderings . 4.3 Alternating Direction Methods . . . . . . . . Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

PROJECTION METHODS5.1 Basic Denitions and Algorithms . . 5.1.1 General Projection Methods 5.1.2 Matrix Representation . . . . General Theory . . . . . . . . . . . 5.2.1 Two Optimality Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.2

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 48 49 51 51 54 55 61 63 66

6868 70 70 72 72 72 75 75 83 84 87 88 88 91

9595 98 102 104 104 107 108 112 112 116 119

122122 123 124 126 126

5.2.2 Interpretation in Terms of Projectors 5.2.3 General Error Bound . . . . . . . . 5.3 One-Dimensional Projection Processes . . . 5.3.1 Steepest Descent . . . . . . . . . . 5.3.2 Minimal Residual (MR) Iteration . . 5.3.3 Residual Norm Steepest Descent . . 5.4 Additive and Multiplicative Processes . . . . Exercises and Notes . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

127 129 131 132 134 136 136 139

6

KRYLOV SUBSPACE METHODS PART I6.1 6.2 6.3 Introduction . . . . . . . . . . . . . . . . . . . . . . . Krylov Subspaces . . . . . . . . . . . . . . . . . . . . Arnoldis Method . . . . . . . . . . . . . . . . . . . . 6.3.1 The Basic Algorithm . . . . . . . . . . . . . . 6.3.2 Practical Implementations . . . . . . . . . . . . 6.4 Arnoldis Method for Linear Systems (FOM) . . . . . . 6.4.1 Variation 1: Restarted FOM . . . . . . . . . . . 6.4.2 Variation 2: IOM and DIOM . . . . . . . . . . 6.5 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . 6.5.1 The Basic GMRES Algorithm . . . . . . . . . 6.5.2 The Householder Version . . . . . . . . . . . . 6.5.3 Practical Implementation Issues . . . . . . . . 6.5.4 Breakdown of GMRES . . . . . . . . . . . . . 6.5.5 Relations between FOM and GMRES . . . . . 6.5.6 Variation 1: Restarting . . . . . . . . . . . . . 6.5.7 Variation 2: Truncated GMRES Versions . . . . 6.6 The Symmetric Lanczos Algorithm . . . . . . . . . . . 6.6.1 The Algorithm . . . . . . . . . . . . . . . . . . 6.6.2 Relation with Orthogonal Polynomials . . . . . 6.7 The Conjugate Gradient Algorithm . . . . . . . . . . . 6.7.1 Derivation and Theory . . . . . . . . . . . . . 6.7.2 Alternative Formulations . . . . . . . . . . . . 6.7.3 Eigenvalue Estimates from the CG Coefcients 6.8 The Conjugate Residual Method . . . . . . . . . . . . 6.9 GCR, ORTHOMIN, and ORTHODIR . . . . . . . . . . 6.10 The Faber-Manteuffel Theorem . . . . . . . . . . . . . 6.11 Convergence Analysis . . . . . . . . . . . . . . . . . . 6.11.1 Real Chebyshev Polynomials . . . . . . . . . . 6.11.2 Complex Chebyshev Polynomials . . . . . . . 6.11.3 Convergence of the CG Algorithm . . . . . . . 6.11.4 Convergence of GMRES . . . . . . . . . . . . 6.12 Block Krylov Methods . . . . . . . . . . . . . . . . . Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

144144 145 147 147 149 152 154 155 158 158 159 161 165 165 168 169 174 174 175 176 176 180 181 183 183 186 188 188 189 193 194 197 202

7

KRYLOV SUBSPACE METHODS PART II7.1

205

Lanczos Biorthogonalization . . . . . . . . . . . . . . . . . . . . . . . 205

7.1.1 The Algorithm . . . . . . . . . . . . 7.1.2 Practical Implementations . . . . . . 7.2 The Lanczos Algorithm for Linear Systems . 7.3 The BCG and QMR Algorithms . . . . . . . 7.3.1 The Biconjugate Gradient Algori

Recommended

View more >