Iterative Linear Solvers for Sparse ¢â‚¬› 14e ¢â‚¬› 05-Advanced ¢â‚¬› ¢  Iterative Linear Solvers

  • View
    2

  • Download
    0

Embed Size (px)

Text of Iterative Linear Solvers for Sparse ¢â‚¬› 14e...

  • Ite ra

    tiv e

    Li ne

    ar S

    ol ve

    rs fo

    r Sp

    ar se

    M at

    ric es

    K en

    go N

    ak aj

    im a

    In fo

    rm at

    io n

    Te ch

    no lo

    gy C

    en te

    r, Th

    e U

    ni ve

    rs ity

    o f T

    ok yo

    , J ap

    an

    20 13

    In te

    rn at

    io na

    l S um

    m er

    S ch

    oo lo

    n H

    PC C

    ha lle

    ng es

    in

    C om

    pu ta

    tio na

    l S ci

    en ce

    s N

    ew Y

    or k

    U ni

    ve rs

    ity , N

    ew Y

    or k,

    N Y

    Ju ne

    2 4-

    28 , 2

    01 3

  • • S

    pa rs

    e M

    at ric

    es •

    Ite ra

    tiv e

    Li ne

    ar S

    ol ve

    rs −

    P re

    co nd

    iti on

    in g

    − P

    ar al

    le l I

    te ra

    tiv e

    Li ne

    ar S

    ol ve

    rs −

    M ul

    tig rid

    M et

    ho d

    − R

    ec en

    t T ec

    hn ic

    al Is

    su es

    • E

    xa m

    pl e

    of P

    ar al

    le l M

    G C

    G •

    pp O

    pe n-

    H P

    C

    TO C

    2 IS

    S -2

    01 3

  • • S

    pa rs

    e M

    at ric

    es •

    Ite ra

    tiv e

    Li ne

    ar S

    ol ve

    rs −

    P re

    co nd

    iti on

    in g

    − P

    ar al

    le l I

    te ra

    tiv e

    Li ne

    ar S

    ol ve

    rs −

    M ul

    tig rid

    M et

    ho d

    − R

    ec en

    t T ec

    hn ic

    al Is

    su es

    • Ex

    am pl

    e of

    P ar

    al le

    l M G

    C G

    • pp

    O pe

    n- H

    P C

    TO C

    3 IS

    S -2

    01 3

  • 4

    • B

    ot h

    of c

    on ve

    rg en

    ce (r

    ob us

    tn es

    s) a

    nd e

    ffi ci

    en cy

    (s

    in gl

    e/ pa

    ra lle

    l) ar

    e im

    po rta

    nt •

    G lo

    ba l c

    om m

    un ic

    at io

    ns n

    ee de

    d –

    M at

    -V ec

    (P 2P

    c om

    m un

    ic at

    io ns

    , M P

    I_ Is

    en d/

    Ire cv

    /W ai

    ta ll)

    : L oc

    al

    D at

    a S

    tru ct

    ur e

    w ith

    H A

    LO 

    ef fe

    ct o

    f l at

    en cy

    – D

    ot -P

    ro du

    ct s

    (M P

    I_ A

    llr ed

    uc e)

    – P

    re co

    nd iti

    on in

    g (u

    p to

    a lg

    or ith

    m )

    • R

    em ed

    y fo

    r R ob

    us t P

    ar al

    le l I

    LU P

    re co

    nd iti

    on er

    – A

    dd iti

    ve S

    ch w

    ar tz

    D om

    ai n

    D ec

    om po

    si tio

    n –

    H ID

    (H ie

    ra rc

    hi ca

    l I nt

    er fa

    ce D

    ec om

    po si

    tio n,

    b as

    ed o

    n gl

    ob al

    ne

    st ed

    d is

    se ct

    io n)

    [H en

    on &

    S aa

    d 20

    07 ],

    ex t.

    H ID

    [K N

    2 01

    0] •

    P ar

    al le

    l “ D

    ire ct

    ” S ol

    ve rs

    (e .g

    . S up

    er LU

    , M U

    M P

    S e

    tc .)

    Pa ra

    lle l I

    te ra

    tiv e

    So lv

    er s

    IS S

    -2 01

    3

  • • S

    pa rs

    e M

    at ric

    es •

    Ite ra

    tiv e

    Li ne

    ar S

    ol ve

    rs −

    P re

    co nd

    iti on

    in g

    − P

    ar al

    le l I

    te ra

    tiv e

    Li ne

    ar S

    ol ve

    rs −

    M ul

    tig rid

    M et

    ho d

    − R

    ec en

    t T ec

    hn ic

    al Is

    su es

    • E

    xa m

    pl e

    of P

    ar al

    le l M

    G C

    G •

    pp O

    pe n-

    H P

    C

    5 IS

    S -2

    01 3

  • A ro

    un d

    th e

    m ul

    tig rid

    in a

    s in

    gl e

    sl id

    e •

    M ul

    tig rid

    is a

    s ca

    la bl

    e m

    et ho

    d fo

    r s ol

    vi ng

    li ne

    ar e

    qu at

    io ns

    . •

    R el

    ax at

    io n

    m et

    ho ds

    (s m

    oo th

    er /s

    m oo

    th in

    g op

    er at

    or in

    M G

    w

    or ld

    ) s uc

    h as

    G au

    ss -S

    ei de

    l e ffi

    ci en

    tly d

    am p

    hi gh

    - fre

    qu en

    cy e

    rr or

    b ut

    d o

    no t e

    lim in

    at e

    lo w

    -fr eq

    ue nc

    y er

    ro r.

    • Th

    e m

    ul tig

    rid ap

    pr oa

    ch w

    as d

    ev el

    op ed

    in re

    co gn

    iti on

    th at

    th

    is lo

    w -fr

    eq ue

    nc y

    er ro

    r c an

    b e

    ac cu

    ra te

    ly a

    nd e

    ffi ci

    en tly

    so

    lv ed

    o n

    a co

    ar se

    r g rid

    . •

    M ul

    tig rid

    m et

    ho d

    un ifo

    rm ly

    d am

    ps a

    ll fre

    qu en

    ci es

    o f e

    rr or

    co

    m po

    ne nt

    s w

    ith a

    c om

    pu ta

    tio na

    l c os

    t t ha

    t d ep

    en ds

    o nl

    y lin

    ea rly

    o n

    th e

    pr ob

    le m

    s iz

    e (=

    sc al

    ab le

    ). –

    G oo

    d fo

    r l ar

    ge -s

    ca le

    c om

    pu ta

    tio ns

    • M

    ul tig

    rid is

    a ls

    o a

    go od

    p re

    co nd

    iti on

    in g

    al go

    rit hm

    fo r K

    ry lo

    v ite

    ra tiv

    e so

    lv er

    s.

    6 IS

    S -2

    01 3

  • C on

    ve rg

    en ce

    o f G

    au ss

    -S ei

    de l &

    S O

    R

    IT ER

    AT IO

    N #

    RESIDUAL R

    ap id

    C on

    ve rg

    en ce

    (h ig

    h- fre

    qu en

    cy e

    rr or

    : sh

    or t w

    av e

    le ng

    th )

    7 IS

    S -2

    01 3

  • C on

    ve rg

    en ce

    o f G

    au ss

    -S ei

    de l &

    S O

    R

    IT ER

    AT IO

    N #

    RESIDUAL

    S lo

    w C

    on ve

    rg en

    ce (lo

    w -fr

    eq ue

    nc y

    er ro

    r: lo

    ng w

    av e

    le ng

    th )

    8 IS

    S -2

    01 3

  • A ro

    un d

    th e

    m ul

    tig rid

    in a

    s in

    gl e

    sl id

    e •

    M ul

    tig rid

    is a

    s ca

    la bl

    e m

    et ho

    d fo

    r s ol

    vi ng

    li ne

    ar e

    qu at

    io ns

    . •

    R el

    ax at

    io n

    m et

    ho ds

    (s m

    oo th

    er /s

    m oo

    th in

    g op

    er at

    or in

    M G

    w

    or ld

    ) s uc

    h as

    G au

    ss -S

    ei de

    l e ffi

    ci en

    tly d

    am p

    hi gh

    - fre

    qu en

    cy e

    rr or

    b ut

    d o

    no t e

    lim in

    at e

    lo w

    -fr eq

    ue nc

    y er

    ro r.

    • Th

    e m

    ul tig

    rid a

    pp ro

    ac h

    w as

    d ev

    el op

    ed in

    re co

    gn iti

    on th

    at

    th is

    lo w

    -fr eq

    ue nc

    y er

    ro r c

    an b

    e ac

    cu ra

    te ly

    a nd

    e ffi

    ci en

    tly

    so lv

    ed o

    n a

    co ar

    se r g

    rid .

    • M

    ul tig

    rid m

    et ho

    d un

    ifo rm

    ly d

    am ps

    a ll

    fre qu

    en ci

    es o

    f e rr

    or

    co m

    po ne

    nt s

    w ith

    a c

    om pu

    ta tio

    na l c