COMBINATORIAL REDUCTIONS BETWEEN GRAPH ... COMBINATORIAL REDUCTIONS BETWEEN GRAPH PARTITIONING BY VERTEX

  • View
    0

  • Download
    0

Embed Size (px)

Text of COMBINATORIAL REDUCTIONS BETWEEN GRAPH ... COMBINATORIAL REDUCTIONS BETWEEN GRAPH PARTITIONING BY...

  • COMBINATORIAL REDUCTIONS BETWEEN GRAPH PARTITIONING BY VERTEX SEPARATOR AND HYPERGRAPH PARTITIONING PROBLEMS FOR PARALLEL AND SCIENTIFIC COMPUTING

    APPLICATIONS

    A THESIS

    SUBMITTED TO THE DEPARTMENT OF COMPUTER ENGINEERING

    AND THE INSTITUTE OF ENGINEERING AND SCIENCE

    OF BILKENT UNIVERSITY

    IN PARTIAL FULFILLMENT OF THE REQUIREMENTS

    FOR THE DEGREE OF

    MASTER OF SCIENCE

    By

    Enver Kayaaslan

    August, 2009

  • ABSTRACT

    COMBINATORIAL REDUCTIONS BETWEEN GRAPH PARTITIONING BY VERTEX SEPARATOR AND

    HYPERGRAPH PARTITIONING PROBLEMS FOR PARALLEL AND SCIENTIFIC COMPUTING

    APPLICATIONS

    Enver Kayaaslan M.S. in Computer Engineering

    Supervisor: Prof. Dr. Cevdet Aykanat August, 2009

    Hypergraph Partitioning (HP) and Graph Partitioning by Vertex Separator (GPVS) problems are very well known problems which are used in scientific and parallel com- puting effectively. A typical problem in parallel computing is to partition the data/tasks into several processors such that the overall performance of the computation gets more qualified in terms of time and/or memory. Besides, GPVS is generally used for fill- reducing ordering of sparse matrices for solving sparse linear systems efficiently which lies in the area of scientific computing. In this thesis, the relation between these two problems, HP and GPVS problems, are investigated. Two combinatorial reductions, from HP Problem to GPVS Problem and from GPVS Problem to HP Problem are dis- closed along with their theoretical bases. In practice, the nontrivial part of HP Problem to GPVS Problem reduction is the input transformation, that is, converting a graph to a hypergraph such that the reduction holds. The nontrivial part of the reduction from GPVS Problem to HP Problem is the output transformation, that is, decoding a vertex separator of the corresponding graph to a partition for the hypergraph. In this part, some useful impossibility results are derived. These nontrivial parts are investigated deeply and effective and efficient algorithms and methods are proposed.

    Furthermore, “oPaToH”, an HP-based fill-reducing ordering tool based on PaToH, is enhanced along with implementation of input transformations. Besides, based on fill-reducing ordering tool onmetis, a GPVS-based HP tool “hpmetis” is derived and a Dantzig-Wolfe decomposition tool for efficient parallelizm of linear programming problem solutions is constructed, which is called as “dwmetis”. The fill-reducing or- dering results obtained with enhanced oPaToH produced more qualified ordering re- sults such as up to %20 improvements for operation count compared to state-of-the

    ii

  • iii

    art ordering tools such as onmetis. Note that decreasing operation count relates to performing sparse linear equation solutions faster. The Dantzig-Wolfe decomposition results with dwmetis produced results around 5 times faster than the state-of-the art hypergraph partitioning tool PaToH with comparable quality for net balancing. This is also valuable because the preprocessing overhead is also considered inside the total execution time, generally. As a result, in this work it is showed that parallel and sci- entific computing applications can be performed faster by exploiting the combinatorial reductions between HP problem and GPVS problem.

    Keywords: hypergraph partitioning, graph partitioning by vertex separator, combina- torial scientific computing, parallel computing, combinatorial reduction, fill reducing ordering, Dantzig-Wolfe decomposition, singly-bordered block diagonal form.

  • ÖZET

    PARALEL VE BİLİMSEL HESAPLAMA UYGULAMALARI İÇİN HİPERÇİZGE BÖLÜMLEME

    VE DÜĞÜM AYIRACI İLE ÇİZGE BÖLÜMLEME PROBLEMLERİNİN BİRBİRİNE KOMBİNATORİYAL

    DÖNÜŞTÜRÜMÜ

    Enver Kayaaslan Bilgisayar Mühendisliği, Yüksek Lisans Tez Yöneticisi: Prof. Dr. Cevdet Aykanat

    Ağustos, 2009

    Hiperçizge Bölümleme (HB) ve Düğüm Ayıracı ile Çizge Bölümleme (DACB) prob- lemleri literatürde gayet bilinen, koşut ve bilimsel hesaplamada etkin biçimde kul- lanılan problemlerdir. Koşut hesaplamalarda tipik bir problem, verilerin ve görevlerin değişik sayıda işlemciye öyle şekilde dağıtılmasıdır ki hesaplamanın çalışma per- formansı zaman ve yer gereksinimleri açısından hızlı ve verimli olsun. Bunun yanında, DACB problemi seyrek doğrusal sistemlerin verimli çözülebilmesi için doluluk azaltan sıralama yapmak için etkin biçimde kullanılmaktadır. Bu da bil- imsel hesaplamanın konu sahası içine girmektedir. Bu tez calışmasında, HB ve DACB problemleri arasındaki ilişki incelenmektedir. Bu bağlamda, iki kombi- natoriyal dönüştürüm açığa çıkarılmıştır. Birinci dönüştürme, HB probleminden DACB problemine, ikincisi ise DACB probleminden HB probleminedir. HB prob- leminden DACB problemine dönüştürmede girdi dönüşümü kolay olmamaktadır. Girdi dönüşümünden kasıt, verilen bir çizgeyi, problem dönüştürümü uygun ola- cak şekilde bir hiperçizgeye dönüştürmektir. DACB probleminden HB problemine dönüştürümde ise çıktı dönüsümü kolay olmamaktadır. Burada da kasıt, verilen bir çizge bölümlemeyi asıl problemimiz olan hiperçizge bölümlemeye dönüştürmektir. Bu kısımda önemli ve faydalı imkansızlık sonuçları türetilmiştir. Bu kolay olmayan kısımlar derinliğince incelenmiş, etkili ve verimli çözümler ve yöntemler önerilmiştir.

    Bu çalışma çerçevesinde, bir HB tabanlı doluluk azaltan sıralama aracı olan oPaToH, gelişmiş girdi dönüşümleri ile genişletilmiştir. Bunun yanında, başka bir doluluk azaltan sıralama aracı olan onmetis kullanılarak DACB tabanlı bir HB

    iv

  • v

    aracı olan “hpmetis” üretilmiştir. Ayrıca, yine onmetis kullanılarak bir Dantzig- Wolfe ayrıştırma aracı olan “dwmetis” üretilmiştir. Dantzig-Wolfe ayrıştırma ise do- grusal problemlerin etkin koşutlanmasinda kullanılmaktadır. Deneysel sonuçlarımız gösterdi ki, genişletilen oPaToH, seyrek doğrusal sistem çözümünde hali hazırdaki iyi yöntemlere göre %20’lere varan iyileşme göstermiştir. Üretilen Dantzig-Wolfe ayrıştırma aracı dwmetis ise hali hazırda kullanılan HB tabanlı yöntemlere göre makul kalite farklılıklarında 5 kata kadar hızlı sonuç üretebilmiştir. Bu sonuç da gayet değerlidir, çünkü toplam performans ölçülürken önçalışma zamanı da değer taşımaktadır. Sonuç olarak, bu çalışmada gösterildi ki koşut ve bilimsel hesaplama işlemlerinin, HB ve DACB problemlerini birbirlerine dönüştürümü kullanılarak daha hızlı çalışmaları sağlanabilmektedir.

    Anahtar sözcükler: hiperçizge bölümleme, düğüm ayıracı ile çizge bölümleme, kom- binatoriyal bilimsel hesaplama, koşut hesaplama, kombinatoriyal dönüştürüm, doluluk azaltan sıralama, Dantzig-Wolfe ayrıştırma.

  • Acknowledgement

    I would like to express my highest gratitude to my supervisor Prof. Dr. Cevdet

    Aykanat for his guidance, suggestions, and encouragement to my research as being at

    the beginning steps of my academic life.

    I would also like to thank Ümit Çatalyürek for his valuable contributions and tools

    at the development of the thesis. I also want to thank B. Barla Cambazoğlu for his

    hospitality in Barcelona and academic discussions on some other research. Finally, I

    also want to thank Bora Uçar for his valuable contributions on some other research.

    I am thankful to valuable professors, Asst. Prof. Dr. Ali Aydın Selçuk, who is

    also in my thesis committee, and Prof. Dr. Yavuz Oruç for their lovely encourge-

    ment to me. I am also grateful to Assoc. Prof. Dr. Emre Alper Yıldırım for reading

    and commenting on the thesis and giving a very enjoyable lecture on Approximation

    Algorithms.

    I am grateful to my friends and my relatives for their infinite moral support, es-

    pecially to my research group members: Kadir Akbudak, A.Aylin Tokuç, Ata Türk,

    Tayfun Küçükyılmaz, Volkan Yazıcı and Reha Oğuz Selvitopi.

    I want also thank to the koaches Fatih Deniz, Erkay Uzun and Yunus Emre Aslan

    for their extraordinary encourgements along with the other koaches. I owe special

    thanks to my friends Abdullah Bülbül and Erkan Okuyan for sharing their rooms and

    infinite hospitalities with me in different times.

    Finally, I thank TÜBİTAK for its support troughout my master program.

    vi

  • Anneme, Babama ve Abime...

    vii

  • Contents

    1 Introduction and Related Work 1

    2 Preliminaries 4

    2.1 Graph Partitioning by Vertex Separator (GPVS) . . . . . . . . . . . . 4

    2.1.1 GPVS Problem . . . . . . . . . . . . . . . . . . . . . . . . . 4

    2.1.2 Matrix-Theoretic View for GPVS . . . . . . . . . . . . . . . 6

    2.2 Hypergraph Partitioning (HP) . . . . . . . . . . . . . . . . . . . . . . 7

    2.2.1 HP Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    2.2.2 Matrix-Theoretic View for HP . . . . . . . . . . . . . . . . . 9

    2.3 Net Intersection Graph (NIG) of Hypergraph . . . . . . . . . . . . . . 11

    2.3.1 NIG Representation . . . . . . . . . . . . . . . . . . . . . . 11

    2.3.2 Matrix-T