スパース性に基づく機械学習 3.2 L1ノルム正則化

スパース性に基づく機械学習~3.2　l1ノルム正則化~

@gen_goose_gen

自己紹介と注意

● @gen_goose_gen● 某高専電気系学科卒業

● 関西の某国立大の情報系学科に編入（作成時B3）

● 情報・機械学習ともに初学者– 間違えている可能性があるので疑問がある場合は上記の

ツイッターアカウントまでご一報ください

発表スタンス

● テキストの式について追っていきます

● テキストが間違えていそうなところがあるのでそこは随時皆様と確認していきます

● 参考文献に投げている部分は認めるものとして発表します（全部探して読む時間なんてありませんでした…）

● 実装系は実行できてないです…

スライドで用いる表記

● スカラー：ローマン体

● ベクトル：小文字のボールド体

● 行列：大文字のボールド体

● 集合：カリグラフィー文字

（特に断らない場合列ベクトルとする）

導入◯2.1：スパース性を導入

→同程度の誤差を持つものならその中でパラメータ数　が少ないものが嬉しい

→同程度のパラメータ数をもつならその中で誤差が小　さいものが嬉しい

導入◯2.1：スパース性を導入

→同程度の誤差を持つものならその中でパラメータ数　が少ないものが嬉しい

→同程度のパラメータ数をもつならその中で誤差が小　さいものが嬉しい

　探索にかかる計算量が膨大　（組み合わせ爆発）

→代わりの方法が必要

l1ノルム

→非ゼロ要素の数を表現する指標としてl1ノルムを導入

パラメータベクトルの非ゼロ要素数をカウント

カウントと同じ性質：非ゼロ要素数が増えるほど大きくなる

カウントと違う性質：非ゼロ要素の大きさも加味して評価　（ベクトルの長さに比例する）

l1ノルム正則化付き学習

　　　が凸関数→凸最適化問題へ

:正則化パラメータ

凸関数の条件：

l1ノルム正則化の効果の例~パラメータが1次元の場合~

青：誤差関数

緑：正則化項

赤：誤差関数と正則化項の和の1階（劣）微分（勾配）

λ＝0 λ：小 λ：大


誤差関数と正則化項の和が最小になる点（求めたいパラメータの値）




λ＞０の時、誤差関数の軸上では勾配は一意に定まらない（範囲幅が２λの集合値を取る）

λ＞０の時、誤差関数の軸上では勾配は一意に定まらない（範囲幅が２λの集合値を取る）



大きくするに連れて軸に近づく

ある大きさ以上のλになるとそれ以上大きくしても誤差関数と正規化項の和を最小にするパラメータの値がゼロになる

正規化パラメータを大きくすることによってl1ノルムでスパースな解が得られる


楕円：誤差関数の等高線

破線：各λに対するl1ノルムの制約集合（ノルムサイズを決めた時の軌跡）


大きくなるほどある方向へ近づく

ある1つのパラメータがゼロになった

正規化パラメータを大きくすることによってl1ノルムでスパースな解が得られる

ありがとうございました！

Data & Analytics

スパース性に基づく機械学習 3.2 L1ノルム正則化