Interactions between Compressed sensing Random matrices ... Chapter 2 is devoted to compressed sensing

  • View
    0

  • Download
    0

Embed Size (px)

Text of Interactions between Compressed sensing Random matrices ... Chapter 2 is devoted to compressed...

  • Djalil Chafäı

    Olivier Guédon

    Guillaume Lecué

    Alain Pajor

    INTERACTIONS BETWEEN COMPRESSED SENSING RANDOM MATRICES AND HIGH DIMENSIONAL GEOMETRY

  • Djalil Chafäı

    Laboratoire d’Analyse et de Mathématiques Appliquées, UMR CNRS 8050, 5 boulevard Descartes, Champs-sur-Marne, F-77454 Marne-la-Vallée, Cedex 2, France.

    E-mail : djalil.chafai(at)univ-mlv.fr

    Url : http://perso-math.univ-mlv.fr/users/chafai.djalil/

    Olivier Guédon

    Laboratoire d’Analyse et de Mathématiques Appliquées, UMR CNRS 8050, 5 boulevard Descartes, Champs-sur-Marne, F-77454 Marne-la-Vallée, Cedex 2, France.

    E-mail : olivier.guedon(at)univ-mlv.fr

    Url : http://perso-math.univ-mlv.fr/users/guedon.olivier/

    Guillaume Lecué

    Laboratoire d’Analyse et de Mathématiques Appliquées, UMR CNRS 8050, 5 boulevard Descartes, Champs-sur-Marne, F-77454 Marne-la-Vallée, Cedex 2, France.

    E-mail : guillaume.lecue(at)univ-mlv.fr

    Url : http://perso-math.univ-mlv.fr/users/lecue.guillaume/

    Alain Pajor

    Laboratoire d’Analyse et de Mathématiques Appliquées, UMR CNRS 8050, 5 boulevard Descartes, Champs-sur-Marne, F-77454 Marne-la-Vallée, Cedex 2, France.

    E-mail : Alain.Pajor(at)univ-mlv.fr

    Url : http://perso-math.univ-mlv.fr/users/pajor.alain/

    16–20 November 2009 Compiled June 21, 2012

  • INTERACTIONS BETWEEN COMPRESSED SENSING

    RANDOM MATRICES AND HIGH DIMENSIONAL GEOMETRY

    Djalil Chafäı, Olivier Guédon, Guillaume Lecué, Alain Pajor

    Abstract. — This book is based on a series of lectures given at Université Paris- Est Marne-la-Vallée in fall 2009, by Djalil Chafäı, Olivier Guédon, Guillaume Lecué, Shahar Mendelson, and Alain Pajor.

  • CONTENTS

    Contents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

    Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    1. Empirical methods and high dimensional geometry. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    1.1. Orlicz spaces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    1.2. Linear combination of Psi-alpha random variables. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.3. A geometric application: the Johnson-Lindenstrauss lemma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

    1.4. Complexity and covering numbers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 1.5. Notes and comments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

    2. Compressed sensing and Gelfand widths. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 2.1. A short introduction to compressed sensing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

    2.2. The exact reconstruction problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

    2.3. The restricted isometry property. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 2.4. The geometry of the null space. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

    2.5. Gelfand widths. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

    2.6. Gaussian random matrices satisfy a RIP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 2.7. RIP for other “simple” subsets: almost sparse vectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

    2.8. An other complexity measure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.9. Notes and comments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

    3. Introduction to chaining methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 3.1. The chaining method. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

    3.2. An example of a more sophisticated chaining argument. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

    3.3. Application to Compressed Sensing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 3.4. Notes and comments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

    4. Singular values and Wishart matrices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.1. The notion of singular values. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

    4.2. Basic properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 4.3. Relationships between eigenvalues and singular values. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

    4.4. Relation with rows distances. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 4.5. Gaussian random matrices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 4.6. The Marchenko–Pastur theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

    4.7. Proof of the Marchenko–Pastur theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

  • 6 CONTENTS

    4.8. The Bai–Yin theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

    4.9. Notes and comments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

    5. Empirical methods and selection of characters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

    5.1. Selection of characters and the reconstruction property.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 5.2. A way to construct a random data compression matrix. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

    5.3. Empirical processes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 5.4. Reconstruction property. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

    5.5. Random selection of characters within a coordinate subspace. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

    5.6. Notes and comments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

    Notations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

    Bibliography. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

    Index. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

  • INTRODUCTION

    Compressed sensing, also referred to in the literature as compressive sensing or compressive sampling, is a framework that enables one to recover approximate or exact reconstruction of sparse signals from incomplete measurements. The existence of efficient algorithms for this reconstruction, such as the `1-minimization algorithm, and the potential for applications in signal processing and imaging, led to a rapid and extensive development of the theory after the seminal articles by D. Donoho [Don06], E. Candes, J. Romberg and T. Tao [CRT06] and E. Candes and T. Tao [CT06].

    The principles underlying the discoveries of these phenomena in high dimensions are related to more general problems and their solutions in Approximation Theory. One significant example of such a relation is the study of Gelfand and Kolmogorov widths of classical Banach spaces. There is already a huge literature on both the