Upload
ai-makabi
View
483
Download
0
Embed Size (px)
Citation preview
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
順伝播型ネットワーク• 層状に並べたユニット • 隣接層間のみで結合した構造 • 情報が入力側から出力側の一方向にのみ伝播
u� z� z�
x1�x2�x3�x4�
w:重み (weight) b:バイアス (bias) f:活性化関数
順伝播型ネットワーク• ユニットが層状に並べられ,層間でのみ結合 左の層のユニットの出力が右の層のユニットの入力になる
第1層:i = 1, …, I 第2層:j = 1, …, Ju1� z1� z1�
u2� z2�
u3� z3�
z2�
z3�x4��
x3��
x2��
x1��
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
活性化関数• 通常,単調増加する非線形関数が用いられる • よく使われるのはロジスティックシグモイド関数 (logistic sigmoid function)
• 双曲線正接関数を使うこともある
これらはシグモイド関数 (sigmoid function) と総称される
活性化関数• 近年は,正規化線形関数 (rectified linear function) がよく利用される • 単純で計算量が小さい • シグモイド関数よりも学習がより速く進む • 最終的にもよりよい結果が得られる
※8章で改めて説明があるよう
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
多層ネットワーク
y1�
y2�
x1��
x1��
x1��
x1��
l&=&1�
l&=&2�
l&=&3�
z(1)�z(2)�
z(3)�
入力層 中間層 (隠れ層)
出力層最終出力をyとおく
各層で異なる 活性化関数 f を 利用して良い
※一般的に出力層は違う関数が選ばれる
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
学習の枠組み• 順伝播型ネットワークの肝はパラメータ w w を調整することで入出力ペアを再現したい
X = {x1, …, xN}:訓練データ (training data) D = {d1, …, dN}:x に対応する望ましい出力
ネットワークの出力がDに近づくように学習 誤差関数 (error function) を最小化する
学習の枠組み問題の種別 出力層の活性化関数 誤差関数
回帰 恒等写像 二乗誤差 式 (2.6) ※後述
二値分類 ロジスティック関数 式 (2.8) ※後述
多クラス分類 ソフトマックス関数 交差エントロピー 式 (2.11) ※後述
※具体的な学習方法については3章?
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
回帰 (regression)• 出力が連続値の場合ネットワーク出力層の活性化関数は,値域に応じて決める • 値域 [-1:1] - 正接双曲線関数 • 値域 任意の実数 - 恒等写像
• 誤差関数には二乗誤差を利用
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
二値分類• 最尤推定 (maximum likelihood estimation) で 尤度 (likelihood) を最大にする w を求める
• 上記を誤差関数として書き換えると以下の通り (最大化ではなく最小化を考えている)
• 2.1 ユニットの出力
• 2.2 活性化関数
• 2.3 多層ネットワーク
• 2.4 出力層の設計と誤差関数
• 2.4.1 学習の枠組み
• 2.4.2 回帰
• 2.4.3 二値分類
• 2.4.4 多クラス分類
多クラス分類• 入力 x を内容に応じて有限個のクラスに分類k 個のクラスがあったとき,出力層の k 番目のユニットの出力はソフトマック関数 (softmax function) で書ける
※各クラスに属する事後確率として表現できる ※確率なので総和は1