VLSI Architectures for Compressive Sensing and Sparse Signal

Embed Size (px)

Text of VLSI Architectures for Compressive Sensing and Sparse Signal

  • Research Collection

    Doctoral Thesis

    VLSI architectures for compressive sensing and sparse signalrecovery

    Author(s): Mchler, Patrick

    Publication Date: 2012

    Permanent Link: https://doi.org/10.3929/ethz-a-007619661

    Rights / License: In Copyright - Non-Commercial Use Permitted

    This page was generated automatically upon download from the ETH Zurich Research Collection. For moreinformation please consult the Terms of use.

    ETH Library

    https://doi.org/10.3929/ethz-a-007619661http://rightsstatements.org/page/InC-NC/1.0/https://www.research-collection.ethz.chhttps://www.research-collection.ethz.ch/terms-of-use

  • Diss. ETH No. 20927

    VLSI Architectures forCompressive Sensing andSparse Signal Recovery

    A dissertation submitted toETH ZURICH

    for the degree ofDoctor of Sciences

    presented byPATRICK MACHLER

    Dipl. El.-Ing. ETHborn September 11th, 1984

    citizen of Erlenbach ZH, Switzerland

    accepted on the recommendation ofProf. Dr. Hubert Kaeslin, examiner

    Prof. Dr. Helmut Bolcskei, co-examinerProf. Dr. Andreas Burg, co-examiner

    2012

  • Acknowledgments

    First, I would like to thank Prof. Hubert Kaeslin for readily stepping inas my supervisor, supporting my research, and guiding me through mythesis. I am also very grateful for the advice and the many interestingdiscussions with Prof. Andreas Burg. Without his visions and insights,this thesis would not have been possible. Further, I would like to thankProf. Helmut Bolcskei for acting as a co-examiner of my thesis. Aspecial thank goes to Christoph Studer for his inputs and the fruitfulcollaboration. I very much appreciated the help of Norbert Felber asmy group leader and his dedication to the work with students.

    Only the exceptional support of the microelectronics design centerby Frank Gurkaynak and Beat Muheim made the design of our ASICspossible. I also very much appreciated the collaboration with thecommunication theory group of ETH, especially with Graeme Popeand Michael Lerjen, which led to many interesting projects.

    Thanks to all the colleagues at the digital design group, we alwayshad a pleasant atmosphere in our lab. For their support in ourcommon student projects I would like to thank Pit Greisen, ChristophKeller, Michael Muhlberghuber, Christian Senning, and Markus Wenk.I am also grateful to the many students which contributed to thisthesis, which includes David Bellasi, Lin Bai, Fabian Huber, JoschaMarkle-Huss, Benjamin Sporrer, and Sebastian Steiner. I would alsolike to thank all the IIS staff for making our life at the institutemuch easier, especially Christine Haller for her administrative sup-port, Hansjorg Gisler for fixing every problem, and Christoph Wickifor his IT competence.

    v

  • vi

    At last but not at least, I would like to thank my parents andfamily for supporting me during all the years of working on my thesisand my girlfriend for giving me new motivation every day.

  • Abstract

    The introduction of compressive sensing (CS) led to a new paradigmin signal processing. Traditionally, signals are sampled above theirNyquist rate. Using CS, the same information is acquired with muchfewer measurements, provided a sparse representation of the signalexists. This makes CS a very promising technology with a largenumber of potential applications.

    While the acquisition of measurements is simplified, the recon-struction of the original signal becomes more involved. Sparse sig-nal recovery algorithms solve the corresponding systems of under-determined linear equations and have proven very efficient for variousapplications. Examples include de-noising, the restoration of cor-rupted signals, signal separation, super-resolution, and in-painting.All applications are based on the observation that many natural andman-made signals have sparse representations in some suitable bases.

    In the last few years, impressive progress has been made in thedevelopment and characterization of fast recovery algorithms. How-ever, the computational effort for successful signal recovery remainshigh, even for problems of moderate size. Reconstruction becomesespecially challenging for real-time applications with stringent powerconstraints, e.g., on mobile devices. Such applications require efficienthardware implementations of sparse signal recovery algorithms, whichwe develop in this thesis. We present different architectures of greedyalgorithms for a number of selected applications.

    The first example is the estimation of sparse channels in broad-band wireless communication. The use of sparse recovery algorithmsefficiently reduces noise and, thus, increases estimation quality. Ar-chitectures for three algorithms are developed and their realizations

    vii

  • viii ABSTRACT

    in application-specific integrated circuits (ASICs) are compared. Weshow that approximative algorithms deliver good results at low hard-ware complexity.

    The second application is the recovery of signals corrupted bystructured noise. Using the example of audio restoration from cor-ruptions by clicks and pops, fast realizations of the approximate mes-sage passing algorithm are designed. Two fundamentally differentarchitectures one relying on fast transforms, the other relying onparallel processing power are developed and compared. Large gainsin terms of throughput and circuit complexity are realized by applyingfast transforms in the context of CS recovery. The choice of the mostattractive algorithms and architectures depends on the sparsity, thenumber of measurements, and the basis in which the samples aretaken. In general, approximate message passing is found to be verywell suited for hardware recovery of moderately sparse signals whileserial greedy pursuits are better suited for very sparse signals.

    Further, a new application of CS in localization is explored. Weshow how sparse recovery increases the detection accuracy in passiveradar systems based on WiFi signals.

    Finally, also a new sensing device, acquiring measurements withvery low hardware complexity, is introduced. This modified analog-to-digital converter samples at non-uniformly distributed points, whichallows the reconstruction of Fourier-sparse signals from very few mea-surements. All the presented examples and hardware implementationsbring CS one step closer to practical applications.

  • Zusammenfassung

    Die Einfuhrung von Compressive Sensing (CS) offnete neue Perspek-tiven in der Signalabtastung. Anstelle der herkommlichen Abtastungoberhalb der Nyquist Rate erlaubt CS die Erfassung eines Signals miterheblich weniger Messungen. Dies ist jedoch nur unter der Voraus-setzung moglich, dass das Signal in einer bestimmten Basis mit nurwenigen signifikanten Koeffizienten dargestellt werden kann.

    Wahrend CS die Messungen oft stark vereinfacht, wird die Rekon-struktion des ursprunglichen Signals jedoch erschwert. Dazu werdenspezielle Rekonstruktions-Algorithmen verwendet, welche fahig sind,unterbestimmte lineare Gleichungssysteme zu losen. Da relativ vieleSignale komprimierbar sind und eine Darstellung mit wenigen Koeffizi-enten erlauben, ergibt sich eine Vielzahl potenzieller Anwendungen furbesagte Algorithmen. Neben der Reduktion von Messungen sind auchRauschunterdruckung, die Elimination von Storungen, die Trennungvon Signalquellen, die Erhohung der Auflosung sowie das Auffullenvon Lucken mogliche Einsatzbereiche.

    Auch wenn die letzten Jahre einen starken Fortschritt in der Ent-wicklung von Rekonstruktions-Algorithmen brachten, bleibt der er-forderliche Rechenaufwand hoch. Dies gilt insbesondere fur Echtzeit-Anwendungen mit stark begrenztem Energieverbrauch, wie zum Bei-spiel bei mobilen Geraten. Fur solche Anwendungen ist die Entwick-lung dedizierter integrierter Schaltungen unentbehrlich. Wir prasen-tieren deshalb in dieser Arbeit eine Reihe von Implementationen fureine Auswahl von praktisch relevanten Anwendungen.

    ix

  • x ZUSAMMENFASSUNG

    Als erstes Beispiel wurde die Kanalschatzung in drahtlosen Kom-munikationssystemen gewahlt. Wir haben drei ASICs mit unterschied-lichen Algorithmen fabriziert, welche zu einer Verringerung des Rausch-anteils in der Kanalschatzung fuhrten. Wir zeigen, dass Algorithmen,welche die Rekonstruktion naherungsweise losen, in diesem Fall sehrgute Resultate bei kleiner Hardware-Komplexitat erreichen.

    Als zweite Anwendung wurde die Wiederherstellung von gestortenAudio-Signalen betrachtet. Dabei konnten Knack-Gerausche mittelsApproximate Message Passing erfolgreich entfernt werden. Dazuwurden zwei grundsatzlich verschiedene Architekturen implementiertund verglichen. Die eine basiert auf schnellen Transformationen, dieandere auf paralleler Rechenkraft. Die effizienteste Architektur richtetsich nach Anzahl und Art der Messungen sowie nach der Anzahl dersignifikanten Koeffizienten. Die entsprechenden Abwagungen werdenanhand verschiedener Hardware-Implementationen diskutiert. Dabeihat sich gezeigt, dass sich sogenannte Serial Greedy Pursuits spezi-ell fur Probleme mit sehr wenigen signifikanten Koeffizienten eignet,wahrend Approximate Message Passing besonders attraktiv fur dieRekonstruktion von Signalen mir mehr signifikanten Koeffizienten ist.

    Des Weiteren wird eine neue Anwendungen im Bereich der Loka-lisation diskutiert. Wir zeigen, wie CS Rekonstruktions-Algorithmendie Genauigkeit von passivem Radar, basierend auf WiFi-Signalen,verbessern konnen.

    Zuletzt wird auch noch ein neuer Analog-digital-Wandler mit sehrtiefen Anforderungen an die Hardware vorgestellt. Diese Schaltungtastet ein Signal zu unregelmassigen Zeitpunkten ab und erlaubt somiteine effiziente Schatzung von aktiven Frequenzen mittels CS. Mit allden prasentierten Beispielen und Hardware-Architekturen soll ein Bei-trag geleistet werden, um die Kluft zwischen Theorie und