Embed Size (px)
Citation preview
Komachi Lab
M1 宮崎亮輔
2015/08/16
前期サーベイまとめ
小町研究室
Komachi Lab
これまで✤ 先行研究のサーベイ
（主に分散表現と深層ニューラルネットワーク (DNN)）!
- 分散表現の学習!
- 分散表現の構成性!
- 分散表現を用いた極性解析!
- RecursiveNN, RecurrentNN, etc.（後に説明）
2
Komachi Lab
サーベイまとめ・報告
3
Komachi Lab
研究背景
4
自然言語処理における意味の表現ベースとなる考え：ベクトル表現・分散表現
例
犬 = (0.8 0.1 0.0 0.7 0.7)!
猫 = (0.9 0.2 0.0 0.6 0.8) 似てる？
King - Man + Woman Queenになる？
・分散表現による単語の表現（類似単語が近いベクトルに）
・分散表現による意味の構成性（加法構成性という特徴）
分散表現の良さを測るタスクも上２つが多い（類似性，類推性）
Komachi Lab
分散表現の動向
5
キーポイントは恐らく４つ
- 共起頻度にもとづく ( Count )
分布仮説 (Harris 1954)!似た文脈に出現する単語は似た意味を持つ
・ベクトル表現の作成Count, Predict, Fine tuning, Composition
単語の共起行列に重み付けや次元削減を行うPPMIなど SVD, NMFなど
ペット 学校 研究 楽しい 飼う犬 80 5 0 70 83猫 90 10 0 65 88
(Schütze 1993)共起頻度行列の例
考え方の根幹となる仮説
Komachi Lab
分散表現の動向
6
キーポイントは恐らく４つ
分布仮説 Harris 1954!似た文脈に出現する単語は似た意味を持つ
・ベクトル表現の作成（学習）Count, Predict, Fine tuning, Composition
・入力単語から周辺の単語を予測
- 予測問題の学習に基づく ( Predict )
(Mikolov et al. 2013a, b)
・周辺単語から中央の単語を予測
word2vecという名前で流行
Komachi Lab
分散表現の動向
7
キーポイントは恐らく４つ
・ベクトル表現の作成（調整）Count, Predict, Fine tuning, Composition
例）極性分析のタスク（文や句の極性を分析する）- 解きたいタスクで微調整 ( Fine tuning )
(Socher et al. 2013)
CountやPredictで作成した単語ベクトル
Recursive Neural Networkで入力ベクトルまで再学習
FeedForwardでないネットワーク構造が増えてきている木構造をネットワーク構造として考えている
入力:
誤差逆伝播法
出力: very good, good, neutral, bad, very bad
（後に詳しく説明）
Komachi Lab
分散表現の動向
8
キーポイントは恐らく４つCount, Predict, Fine tuning, Composition
- 意味の構成性 ( Composition )・ベクトル表現の利用
単語より長い単位（句や文）の意味をどう表現するか→ 構成してる単語のベクトルから文や句のベクトルを計算
計算方法 入力 出力 演算 referenceAdditive 単語A, 単語B 句(AB) V(A) + V(B) Mitchell et al. 2008
Multiplicative 単語A, 単語B 句(AB) V(A) ○ V(B) Mitchell et al. 2008Vector-Matrix 形容詞A, 名詞B 名詞句(AB) M(A)V(B) Baroni et al. 2010
etc.※V(単語)：単語のベクトル表現, M(単語)：単語の行列表現, ○：アダマール積このように利用することを前提にベクトル表現を学習することも (Tsubaki et al. 2013)
Komachi Lab
分散表現とDNNの関係
9
しかし、入力が文だと = 入力長が一意でないと
分散表現はDNNへの入力値として親和性が高い(0~1の実数値のベクトルなので)
一般的なFeedForward型ネットワークへ入力できない
可変長の入力に対応したネットワーク構造が必要
例）この場合は４単語構成の文のみしか入力できない
forward step の方向
Komachi Lab
分散表現とDNNの関係
10
可変長の入力に対応したネットワーク構造RecursiveNNRecurrentNN
単語と一つ前の隠れ層を入力繰り返すことで系列を入力可能に
系列が長いと情報を保持しきれない
木構造のように組み上げる
RecurrentNNの順序考慮ver
（各重み行列は共有）
Komachi Lab
Long ShortTerm Memory
11
長い系列の重要な情報を記憶できる隠れ層を持つ
LSTMReccurentNNの系列が長いと情報を保持しきれない問題を解決
３つのゲートで隠れ層を制御input: 隠れ層への入力を選択的に入力forget: 隠れ層の状態を選択的に忘れる
output: 隠れ層からの出力を選択的に出力
重要な情報はゲートが開き、ノイズはゲートが閉じる
どのような入力のときにゲートを開け閉めするべきかも学習する
Komachi Lab
極性分析
12
分散表現・DNNを用いた方法が次々提案特にSentiment Tree BankができてからRecursive NNに注目
部分木（句）毎に正解ラベルの振られた木構造のデータセット
Socher et al. 2013特に良い成果を納めてるのがLSTMを利用したRNN
Le et al. 2013
Komachi Lab
極性分析におけるLSTM
13
phraseによる移動極性を表す特徴語の分布
(Wan et al. 2015)上：初期値(Glove)!
下：RNN(LSTM)でチューニング
Komachi Lab
まとめ✤ 分散表現・DNNのキーポイント!
- Count!
- Predict!
- Composition!
- Fine Tuning !
• Sentiment → RecursiveNN, LSTM
14
分布仮説
Komachi Lab
Reference✤ Schütze (1993)
Word Space!
✤ Mikolov et al. 2013a Efficient Estimation of Word Representations in Vector Space!
✤ Mikolov et al. 2013b Distributed Representations of Words and Phrases and their Compositionality!
✤ Harris 1954 Distributional structure!
✤ Socher et al. 2013 Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank!
✤ Mitchell et al. 2008 Vector-based Models of Semantic Composition!
✤ Baroni et al. 2010 Nouns are vectors, adjectives are matrices: Representing adjective-noun constructions in semantic space!
✤ Tsubaki et al. 2013 Modeling and Learning Semantic Co-Compositionality through Prototype Projections and Neural Networks!
✤ Le et al. 2015 Compositional Distributional Semantics with Long Short Term Memory
15
