Two/Too  Simple  Adapta0ons  of  Word2vec  for  Syntax  Problems  

 Wang  Ling,  Chris  Dyer,  Alan  W  Black,  Isabel  Trancoso  

NAACL2015,  1142,  pp,1299-­‐1304,  2015

 プレゼンテーション  関沢祐樹  

2015/08/10 1

概要

•  初期のWord2vec  – 語順を考慮しない  – 意味表現は可能  – 文法的タスクには弱い  

•  提案するWord2vec  – 文法にも対応できる  – 品詞タグ付け、係り受け解析で良い成果

2015/08/10 2

従来のWord2vec

2015/08/10 3

提案手法１：Structured  Skip-­‐gram  

単語w0周辺の  単語を予測する    出力層の  行列Oは  単語の位置ごとに  違っている

2015/08/10 4

提案手法２：ConMnuous  Window

周辺単語から  １つの単語を予測    予測層では  各ベクトルを足さず  独立に計算、予測  単語の位置ごとに  違っている

2015/08/10 5

実験１：品詞タグ付け

2015/08/10 6

実験２：係り受け解析

2015/08/10 7

おわりに

•  初期のCBOW  – 文法的要素に弱い  

•  提案したCBOW  – 語の位置を考慮できる仕組み  – 初期のものよりも文法的意味を保持可能

2015/08/10 8