Embed Size (px)
Citation preview
Unity で音声認識
9/7 金沢 Unity 勉強会
自己紹介
Twitterはまやん @hamayanhamayan
目指すのは…
転載元： http://www.jp.playstation.com/software/title/scps15039.html
リオ
音声のみで指示を出す
良いところ
＜ 歩け
＜ 歩け
分かったわ ＞
＜ 行け
＜ 行け
行けってどこに行けばいいの？
＞
＜ 机に行け
＜ 机に行け
分かったわ ＞
＜ 机に行け
分かったわ ＞
ちょっとした文もいける
目標は
短い文を使った音声認識ゲーム
Julius-Client-For-Unityhttps://github.com/SavantCat/Julius-Client-for-Unity
音声認識ライブラリ（ソフトウェア）
Juliusを Unity 向けにラップしたスクリプト
Julius-Client-For-Unity
Julius-Client-For-Unityを使うには
GitHub より
https://github.com/SavantCat/Julius-Client-for-Unity
これを
実行する
Assets↓
Julius↓
Scene↓
julius.unity
サンプルは
「した」と発音すると
「したうえ」と発音すると
Assets → Julius →辞書は
Core↓
model↓
lang_m↓
commnd.htkdic
<s> [] silB</s> [ 。 ] silEコマンド + 名詞 [ コマンド ] k o m a N d oシンクロ + 名詞 [ シンクロ ] sh i N k u r oシンクロスタート [ シンクロスタート ] sh i N k u r o s u t a: t oスタート + 名詞 [ スタート ] s u t a: t oおはよう + 感動詞 [ おはよう ] o h a y o:こんにちは + 感動詞 [ こんにちは ] k o N n i ch i w aさようなら + 感動詞 [ さようなら ] s a y o: n a r a右 + 名詞 [ 右 ] m i g i左 + 名詞 [ 左 ] h i d a r i上 + 名詞 [ 上 ] u e下 + 名詞 [ 下 ] sh i t a前 + 名詞 [ 前 ] m a e後ろ + 名詞 [ 後ろ ] u sh i r o
commnd
13 単語が登録されている
書式
単語表記 [ 出力文字列 ] 音素列
参考 :http://shower.human.waseda.ac.jp/~m-kouki/pukiwiki_public/24.html
commnd ファイルと同じフォルダの
bccwj.60k.htkdic
bccwj.60k.htkdic
約 64,000 単語
「かんどう」と発音すると
「じゅうどう」と発音すると
30 回やって、すべて失敗
「柔道」と表示させたい
「授業」「重度」
「ジュドー」
よく出てきたのが…
これを commnd から消す
「じゅうどう」と発音すると
ヒット率を上げるためには
発音が似ているのは避けて作る
実際にゲームを作るとどうなるか
主人公はもちろん…
Unity ちゃん無料で使えるキャラクター
http://unity-chan.com/
ゲームジャンルは「脱出系」
「脱出系」とは
閉じ込められた主人公が部屋を脱出するために、
家具や装置などを調べて、脱出のカギとなるものを探したり
時には謎解きをしたりするもの
「脱出系」の理由
昔は FLASH今はスマホ
で流行っているゲーム体系
「脱出系」の理由
脱出系は謎解きがメイン
音声認識は
無限のコマンドを用意できる
例えば
＜ イスに何かできそう…
＜「イスを押せ」
＜ 「イスの下」
音声認識は
無限のコマンドを用意できる
＜ 山手線ゲーム
＜ 山手線ゲーム
やりましょう ＞
＜ シャワーを浴びろ
＜ シャワーを浴びろ
親切で言ってるとは思えないんだけど ＞
＜ シャワーを浴びろ
親切で言ってるとは思えないんだけど ＞
こういうレスポンスにより
没入感が上がり感動を与える
ゲームの操作
Space ：カメラ切替音声 ：指示
Space キーでカメラ変更
「赤い椅子」と指示
「探せ」と指示
「真ん中の椅子」と指示
「押せ」と指示
本当は…
鍵を 3 つ取ってゴールする
本当は…
「探せ・押せ」のアニメーション
http://artist-3d.com/free_3d_models/dnm/model_disp.php?uid=455&count=count
使用モデル
http://www.sharecg.com/v/66203/view/5/3D-Model/Skeleton-Keys
使用モデル
まとめ
音声認識を組み込むのは簡単
まとめ
無理やりではなく音声認識メインのゲームもアリ
究極には
Unity ちゃんと会話したい！
