Iterative Methods for Sparse Linear Systems - ??3.6 Sparse Direct Solution Methods ... Iterative methods for solving ... direct solution methods were often preferred to iterative methods

  • View
    247

  • Download
    4

Embed Size (px)

Text of Iterative Methods for Sparse Linear Systems - ??3.6 Sparse Direct Solution Methods ... Iterative...

  • Iterative Methodsfor Sparse

    Linear Systems

    Yousef Saad

    1

    2 3

    4 5

    6

    7

    8

    9

    10

    11

    12

    13

    14

    15

    Copyright c2000 by Yousef Saad.

    SECOND EDITION WITH CORRECTIONS. JANUARY 3RD, 2000.

  • CONTENTS

    PREFACE xiiiAcknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xivSuggestions for Teaching . . . . . . . . . . . . . . . . . . . . . . . . . xv

    1 BACKGROUND IN LINEAR ALGEBRA 11.1 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Square Matrices and Eigenvalues . . . . . . . . . . . . . . . . . . . . . 31.3 Types of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41.4 Vector Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . 61.5 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.6 Subspaces, Range, and Kernel . . . . . . . . . . . . . . . . . . . . . . . 91.7 Orthogonal Vectors and Subspaces . . . . . . . . . . . . . . . . . . . . 101.8 Canonical Forms of Matrices . . . . . . . . . . . . . . . . . . . . . . . 15

    1.8.1 Reduction to the Diagonal Form . . . . . . . . . . . . . . . . . 151.8.2 The Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . 161.8.3 The Schur Canonical Form . . . . . . . . . . . . . . . . . . . . 171.8.4 Application to Powers of Matrices . . . . . . . . . . . . . . . . 19

    1.9 Normal and Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . 211.9.1 Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 211.9.2 Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . 24

    1.10 Nonnegative Matrices, M-Matrices . . . . . . . . . . . . . . . . . . . . 261.11 Positive-Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 301.12 Projection Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

    1.12.1 Range and Null Space of a Projector . . . . . . . . . . . . . . . 331.12.2 Matrix Representations . . . . . . . . . . . . . . . . . . . . . . 351.12.3 Orthogonal and Oblique Projectors . . . . . . . . . . . . . . . . 351.12.4 Properties of Orthogonal Projectors . . . . . . . . . . . . . . . . 37

    1.13 Basic Concepts in Linear Systems . . . . . . . . . . . . . . . . . . . . . 381.13.1 Existence of a Solution . . . . . . . . . . . . . . . . . . . . . . 381.13.2 Perturbation Analysis . . . . . . . . . . . . . . . . . . . . . . . 39

    Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

    2 DISCRETIZATION OF PDES 442.1 Partial Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 44

    2.1.1 Elliptic Operators . . . . . . . . . . . . . . . . . . . . . . . . . 452.1.2 The Convection Diffusion Equation . . . . . . . . . . . . . . . 47

    v

  • vi CONTENTS

    2.2 Finite Difference Methods . . . . . . . . . . . . . . . . . . . . . . . . . 472.2.1 Basic Approximations . . . . . . . . . . . . . . . . . . . . . . . 482.2.2 Difference Schemes for the Laplacean Operator . . . . . . . . . 492.2.3 Finite Differences for 1-D Problems . . . . . . . . . . . . . . . 512.2.4 Upwind Schemes . . . . . . . . . . . . . . . . . . . . . . . . . 512.2.5 Finite Differences for 2-D Problems . . . . . . . . . . . . . . . 54

    2.3 The Finite Element Method . . . . . . . . . . . . . . . . . . . . . . . . 552.4 Mesh Generation and Refinement . . . . . . . . . . . . . . . . . . . . . 612.5 Finite Volume Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 63Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

    3 SPARSE MATRICES 683.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683.2 Graph Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

    3.2.1 Graphs and Adjacency Graphs . . . . . . . . . . . . . . . . . . 703.2.2 Graphs of PDE Matrices . . . . . . . . . . . . . . . . . . . . . 72

    3.3 Permutations and Reorderings . . . . . . . . . . . . . . . . . . . . . . . 723.3.1 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . 723.3.2 Relations with the Adjacency Graph . . . . . . . . . . . . . . . 753.3.3 Common Reorderings . . . . . . . . . . . . . . . . . . . . . . . 753.3.4 Irreducibility . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

    3.4 Storage Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 843.5 Basic Sparse Matrix Operations . . . . . . . . . . . . . . . . . . . . . . 873.6 Sparse Direct Solution Methods . . . . . . . . . . . . . . . . . . . . . . 883.7 Test Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

    4 BASIC ITERATIVE METHODS 954.1 Jacobi, Gauss-Seidel, and SOR . . . . . . . . . . . . . . . . . . . . . . 95

    4.1.1 Block Relaxation Schemes . . . . . . . . . . . . . . . . . . . . 984.1.2 Iteration Matrices and Preconditioning . . . . . . . . . . . . . . 102

    4.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1044.2.1 General Convergence Result . . . . . . . . . . . . . . . . . . . 1044.2.2 Regular Splittings . . . . . . . . . . . . . . . . . . . . . . . . . 1074.2.3 Diagonally Dominant Matrices . . . . . . . . . . . . . . . . . . 1084.2.4 Symmetric Positive Definite Matrices . . . . . . . . . . . . . . 1124.2.5 Property A and Consistent Orderings . . . . . . . . . . . . . . . 112

    4.3 Alternating Direction Methods . . . . . . . . . . . . . . . . . . . . . . 116Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

    5 PROJECTION METHODS 1225.1 Basic Definitions and Algorithms . . . . . . . . . . . . . . . . . . . . . 122

    5.1.1 General Projection Methods . . . . . . . . . . . . . . . . . . . 1235.1.2 Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . 124

    5.2 General Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1265.2.1 Two Optimality Results . . . . . . . . . . . . . . . . . . . . . . 126

  • CONTENTS vii

    5.2.2 Interpretation in Terms of Projectors . . . . . . . . . . . . . . . 1275.2.3 General Error Bound . . . . . . . . . . . . . . . . . . . . . . . 129

    5.3 One-Dimensional Projection Processes . . . . . . . . . . . . . . . . . . 1315.3.1 Steepest Descent . . . . . . . . . . . . . . . . . . . . . . . . . 1325.3.2 Minimal Residual (MR) Iteration . . . . . . . . . . . . . . . . . 1345.3.3 Residual Norm Steepest Descent . . . . . . . . . . . . . . . . . 136

    5.4 Additive and Multiplicative Processes . . . . . . . . . . . . . . . . . . . 136Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

    6 KRYLOV SUBSPACE METHODS PART I 1446.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1446.2 Krylov Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1456.3 Arnoldis Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

    6.3.1 The Basic Algorithm . . . . . . . . . . . . . . . . . . . . . . . 1476.3.2 Practical Implementations . . . . . . . . . . . . . . . . . . . . . 149

    6.4 Arnoldis Method for Linear Systems (FOM) . . . . . . . . . . . . . . . 1526.4.1 Variation 1: Restarted FOM . . . . . . . . . . . . . . . . . . . . 1546.4.2 Variation 2: IOM and DIOM . . . . . . . . . . . . . . . . . . . 155

    6.5 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1586.5.1 The Basic GMRES Algorithm . . . . . . . . . . . . . . . . . . 1586.5.2 The Householder Version . . . . . . . . . . . . . . . . . . . . . 1596.5.3 Practical Implementation Issues . . . . . . . . . . . . . . . . . 1616.5.4 Breakdown of GMRES . . . . . . . . . . . . . . . . . . . . . . 1656.5.5 Relations between FOM and GMRES . . . . . . . . . . . . . . 1656.5.6 Variation 1: Restarting . . . . . . . . . . . . . . . . . . . . . . 1686.5.7 Variation 2: Truncated GMRES Versions . . . . . . . . . . . . . 169

    6.6 The Symmetric Lanczos Algorithm . . . . . . . . . . . . . . . . . . . . 1746.6.1 The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 1746.6.2 Relation with Orthogonal Polynomials . . . . . . . . . . . . . . 175

    6.7 The Conjugate Gradient Algorithm . . . . . . . . . . . . . . . . . . . . 1766.7.1 Derivation and Theory . . . . . . . . . . . . . . . . . . . . . . 1766.7.2 Alternative Formulations . . . . . . . . . . . . . . . . . . . . . 1806.7.3 Eigenvalue Estimates from the CG Coefficients . . . . . . . . . 181

    6.8 The Conjugate Residual Method . . . . . . . . . . . . . . . . . . . . . 1836.9 GCR, ORTHOMIN, and ORTHODIR . . . . . . . . . . . . . . . . . . . 1836.10 The Faber-Manteuffel Theorem . . . . . . . . . . . . . . . . . . . . . . 1866.11 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

    6.11.1 Real Chebyshev Polynomials . . . . . . . . . . . . . . . . . . . 1886.11.2 Complex Chebyshev Polynomials . . . . . . . . . . . . . . . . 1896.11.3 Convergence of the CG Algorithm . . . . . . . . . . . . . . . . 1936.11.4 Convergence of GMRES . . . . . . . . . . . . . . . . . . . . . 194

    6.12 Block Krylov Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 197Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

    7 KRYLOV SUBSPACE METHODS PART II 2057.1 Lanczos Biorthogonalization . . . . . . . . . . . . . . . . . . . . . . . 205

  • viii CONTENTS

    7.1.1 The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 2057.1.2 Practical Implementations . . . . . . . . . . . . . . . . . . . . . 208

    7.2 The Lanczos Algorithm for Linear Systems . . . . . . . . . . . . . . . . 2107.3 The BCG and QMR Algorithms . . . . . . . . . . . . . . . . . . . . . . 210

    7.3.1 The Biconjugate

Recommended

View more >