Prosody Tuner 2015 User s Manual - 筑波大学matsuzaki.hiroshi.fp/pg/Prosody...Prosody Tuner 2015 に組み込まれています) 2 Prosody Tuner 2015 の構成 2.1 概要 Prosody

Prosody Tuner 2015

User’s Manual 株式会社アドバンスト・メディア

第 1.04版

（2016 年 1 月 22 日）

CONFIDENTIAL

©2015Advanced Media, Inc. Page 2 of 22

目次

1 はじめに ............................................................................................................................................................................ 4

1.1 使用許諾について ................................................................................................................................................ 4

1.2 動作環境 ................................................................................................................................................................ 4

2 Prosody Tuner 2015 の構成 ................................................................................................................................... 4

2.1 概要 ......................................................................................................................................................................... 4

2.2 機能 ......................................................................................................................................................................... 5

2.2.1 学習者作成、選択機能 ............................................................................................................................ 5

2.2.2 発話文カテゴリ選択機能 ................................................................................................................................ 5

2.2.3 発話文選択機能 .............................................................................................................................................. 5

2.2.4 発話文ルビ表示機能 ...................................................................................................................................... 5

2.2.5 モデル音声のプロソディグラフ表示機能 ....................................................................................................... 5

2.2.6 学習者音声のプロソディグラフ表示機能 .................................................................................................... 5

2.2.7 プロソディグラフおそ下がり表示機能 ............................................................................................................. 5

2.2.8 学習者音声のプロソディグラフ操作機能 .................................................................................................... 5

2.2.9 プロソディグラフ表示粒度変更機能 ............................................................................................................. 5

2.2.10 音声認識機能 ................................................................................................................................................ 6

2.2.11 モデル音声性別選択機能 ........................................................................................................................... 6

2.2.12 モデル音声再生機能..................................................................................................................................... 6

2.2.13 学習者音声再生機能.................................................................................................................................. 6

2.2.14 発話リスト保存、選択、削除、並び替え機能 ....................................................................................... 6

2.2.15 学習者音声の変換・再生機能 ................................................................................................................. 6

2.2.16 学習者音声の一発変換、再生機能 ....................................................................................................... 7

2.2.17 プロソディグラフ評価機能 .............................................................................................................................. 7

2.2.18 プロソディグラフ評価基準設定機能 .......................................................................................................... 7

2.2.19 設定機能 .......................................................................................................................................................... 7

3 Prosody Tuner 2015 の使い方 ............................................................................................................................... 8

3.1 ログイン画面 ......................................................................................................................................................... 10

3.2 プロソディチューナー画面 ................................................................................................................................... 11

3.2.1 文 .................................................................................................................................................................... 11

3.2.2 発話 ............................................................................................................................................................... 12

3.2.3 プロソディグラフ ............................................................................................................................................. 12

3.2.4 再生 ............................................................................................................................................................... 12

CONFIDENTIAL


3.2.5 変換再生 ..................................................................................................................................................... 12

3.2.6 一発変換再生 ............................................................................................................................................ 12

3.2.7 発話リスト ..................................................................................................................................................... 13

3.2.8 設定 ............................................................................................................................................................... 13

3.3 設定画面 .............................................................................................................................................................. 14

3.3.1 ピッチ範囲 ..................................................................................................................................................... 14

3.3.2 パワー範囲.................................................................................................................................................... 15

3.3.3 プロソディ係数 .............................................................................................................................................. 15

3.3.4 評価設定値 ................................................................................................................................................. 15

3.3.5 検証及び、設定値の保存 ....................................................................................................................... 15

3.4 使い方（基本操作） ........................................................................................................................................... 15

3.5 文 ............................................................................................................................................................................ 18

3.5.1 全体の構成 ...................................................................................................................................................... 18

3.5.2 行の構成 ........................................................................................................................................................... 19

3.6 ファイル構成 .......................................................................................................................................................... 20

４ Prosody Tuner 2015 のセットアップ ...................................................................................................................... 21

５ FAQ ............................................................................................................................................................................... 21

CONFIDENTIAL


1 はじめに

1.1 使用許諾について

Prosody Tuner 2015 は、筑波大学人文社会系松崎寛の許諾の下、2018 年 3 月末までの期限付き

で教育・研究に使用することができます。

使用を希望する人は、「使用許諾書」を松崎までメール添付(該当箇所の本文コピー&ペーストでも可)で

提出してください。

メール：[email protected]

1.2 動作環境

Prosody Tuner 2015 を動作させるコンピューターには、以下の環境が必要です。

OS Microsoft Windows 7

Microsoft Windows 8

その他マイク入力端子

ヘッドセット

Prosody Tuner 2015 は、Microsoft .NETFramework4 を使用します。

音声認識エンジンは、(株)アドバンスト・メディア社の AmiVoice を使用します。

(AmiVoice は、Prosody Tuner 2015 に組み込まれています)

2 Prosody Tuner 2015 の構成

2.1 概要

Prosody Tuner 2015 は、発話された日本語の音声をプロソディグラフ化して、視覚的に発話の状態を確認、

操作することができるアプリケーションです。

学習者の音声は、モデル音声のプロソディに合わせ、1 ボタンで変換し、再生させることが可能です。

また、プロソディの全体評価の他に、拍ごとの評価も行い、結果を表示します。

評価基準は、設定により変更可能です。

CONFIDENTIAL


2.2 機能

Prosody Tuner 2015 は、以下の機能を提供します。

2.2.1 学習者作成、選択機能

Prosody Tuner 2015 を使用する学習者を作成することができます。

登録は、ログイン画面の話者表示欄に直接学習者名を入力することで登録することができます。

既存の学習者を選択する場合は、学習者表示欄のプルダウンメニューから選択します。

2.2.2 発話文カテゴリ選択機能

発話する文を、カテゴリ欄のプルダウンメニューから選択することができます。

2.2.3 発話文選択機能

2.2.2 で選択したカテゴリに属する文が文欄に表示されます。

発話する文を、文欄のプルダウンメニューから選択して表示します。

2.2.4 発話文ルビ表示機能

発話する文は、ルビ付きの表示です。

2.2.5 モデル音声のプロソディグラフ表示機能

発話する文は、そのモデル音声を自動的に音声認識し、プロソディグラフへ変換し、表示します。

モデル音声のプロソディグラフは、操作できません。

2.2.6 学習者音声のプロソディグラフ表示機能

学習者音声を音声認識し、プロソディグラフへ変換し、表示します。

学習者音声のプロソディグラフは、操作可能です。

2.2.7 プロソディグラフおそ下がり表示機能

モデル音声、学習者音声のプロソディグラフは、実音声情報に対し、おそ下がり（実音声の高さ変化が聴覚

印象よりも遅れて生じるように感じられる現象）処理を経由して、聴覚印象に近い値へ変換し、表示します。

2.2.8 学習者音声のプロソディグラフ操作機能

学習者音声のプロソディグラフは、丸い部分をドラッグすることで、上下へ操作することができます。

操作結果は、表示されている間のみ保持されます。

2.2.9 プロソディグラフ表示粒度変更機能

モデル音声、学習者音声のプロソディグラフは、基本的にプロソディ値(0 から 1)の範囲で表示されます。

CONFIDENTIAL


小さい声、低い声は差異が小さく表示されるため、プロソディ値の上限を操作することで、拡大表示し直すこ

とができます。

2.2.10 音声認識機能

学習者は、「発話」ボタンをクリックしたのち、ヘッドセットを利用して発話します。

発話された音声は、音声認識処理の結果、正しく発話されたと判断された場合、音声データとプロソディ情

報は保存されます。

また、モデル音声と同様に、プロソディグラフ化され、表示されます。

2.2.11 モデル音声性別選択機能

モデル音声の性別を選択できます。

初期設定は男性です。

2.2.12 モデル音声再生機能

モデル音声を再生することができます。

再生する音声は、2.2.11 で設定した性別です。

2.2.13 学習者音声再生機能

発話された学習者音声を再生することができます。

2.2.14 発話リスト保存、選択、削除、並び替え機能

学習者の発話が正しく音声認識された場合、音声データとプロソディ情報が発話リストとして保存されます。

保存された発話リストは、発話文毎に画面下部に一覧表として表示されます。

表中のリストをクリックすることで、その音声を再生することができ、また、プロソディグラフを確認することができ

ます。

不要になった発話リストを削除する場合は、クリックした状態で、「選択音声削除」ボタンをクリックすると削除

できます。

発話リストは、新しい順に表示されていますが、各項目について並び替えさせることができます。

ただし、発話した音声が、新しく発話リストに追加された際の表示は、初期の並び順で表示されます。

2.2.15 学習者音声の変換・再生機能

学習者音声のプロソディグラフを上下に操作した後、音声変換ボタンをクリックすると、変化に対応した変換

処理が行われます。

変換された音声は、変換再生ボタンをクリックすることで再生します。

CONFIDENTIAL


2.2.16 学習者音声の一発変換、再生機能

学習者音声に対し、一発変換ボタンをクリックすると、モデル音声に似せた変換処理が行われます。

変換対象は、全ての学習音声に対し行う事が可能です。

2.2.17 プロソディグラフ評価機能

学習者音声のプロソディグラフと、モデル音声のプロソディグラフを比較し、素点を拍ごとに算出します。

その素点の合計から評価結果を表示します。

2.2.18 拍ごとの評価機能

拍ごとに、学習者音声と、モデル音声を比較し、評価を算出します。

2.2.19 プロソディグラフ評価基準設定機能

2.2.17、2.2.18 の評価基準値を設定します。

2.2.20 設定機能

プロソディグラフの表示を決定する設定値を設定します。

「設定」ボタンをクリックすると、設定画面が表示されます。

各種設定値を変更後、「プロソディグラフに適用」ボタンをクリックすることで、その設定値による変換結果を

確認することができます。

設定値はファイルに保存することができ、次回以降その設定ファイルを読み込むことで同じ設定で動作させる

ことが可能です。

設定値は保存しない限り、設定画面を閉じた時点で元の値に戻ります。

CONFIDENTIAL


3 Prosody Tuner 2015 の使い方

Prosody Tuner 2015 の操作は、以下の通りです。

プロソディチューナー画面

ログイン画面

ログイン画面で、話者の作成、または選択

初期学習者は「guest」が選択されています。

文の選択

初期は、最初のカテゴリーの 1 番目の文が選択されています。

モデル音声の再生、モデル音声のプロソディグラフの確認

発話

「発話」ボタンをクリックして発話します。

評価の確認

学習者音声のプロソディの評価が画面下部に表示されます。

プロソディグラフの比較、操作

モデル音声のプロソディグラフと、学習者音声のプロソディグラフの比較を行

います。

必要に応じて、プロソディグラフを操作します。

音声再生

学習者音声を再生し、モデル音声と比較を行います。

プロソディグラフを操作した場合、変換した音声を再生し、比較します。

一発変換を行った場合、学習者音声がモデル音声に似せた変換が行わ

れ再生されます。

CONFIDENTIAL


図 1．Prosody tuner2015 の操作フロー

プロソディチューナー画面

発話リストの操作

必要に応じて、過去の発話リストをクリックし、話者音声とプロソディグラフを

確認します。

また、不要な発話リストの削除も行うことができます。

設定画面

設定値の変更、保存

プロソディグラフの描画、評価に関する設定値を変更して、適切な値を定

めます。

CONFIDENTIAL


3.1 ログイン画面

Prosody Tuner 2015 を動作させると、ログイン画面が表示されます。

初期学習者は「guest」に設定されています。

図 2．ログイン画面

新規に学習者を登録する場合、guestと表示されている箇所に、学習者名をキー入力し、「ログイン」ボタン

をクリックすると登録できます。

新規学習者の作成を確認しますので、「はい」ボタンをクリック後、作成されます。

図 3．学習者作成画面

既存の学習者を選択する場合は、学習者名を表示するプルダウンメニューから選択します。

「ログイン」ボタンをクリックすることで、Prosody Tuner 画面へ移動します。

学習者の作成、選択

プロソディチューナー画面へ

終了します

学習者を作

学習者を作成せず、ログイン画面へ戻る

CONFIDENTIAL


3.2 プロソディチューナー画面

この画面上で、いろいろな操作を行うことができます。

図 4．プロソディチューナー画面

3.2.1 文

発話する文は、カテゴリー分けされた文の中から選択します。

文は、同じカテゴリー内の中で、「戻る」、「進む」ボタンをクリックすることで変更することができます。

また、文のプルダウンメニューから直接指定することもできます。

カテゴリーを変更すると、文リストもそのカテゴリーに応じた内容に変更されます。

発話文表示

モデル音声の PG 表示

学習者音声の PG 表示

発話リスト表示

文選択

発話開始

モデル音声の性別選択

再生

話者音声変換再生一発変換

設定画面へ

ログイン画面へ

選択された音声を削除

マイクボリュームゲージ

文送り

評価結果表示

PG の表示粒度スライダー

発話結果：あるいてろのぐらいかかりますか「だ行」が「ら行」になっています。「ろのぐらい」プロソディ評価は C ( C D C C C C C C C D C D D D D D ) です。

CONFIDENTIAL


3.2.2 発話

「発話」ボタンをクリックすると、マイク入力を受け付けます。

マイクを受け付けている間、ボリュームゲージが動作します。小さすぎたり、大きすぎたりしないように注意しな

がら発話してください。

正しく発話すると、音声認識が行われ、話者のプロソディグラフが表示されます。

また、発話リストにも追加されます。

3.2.3 プロソディグラフ

プロソディグラフの表示は、モデル音声、学習者音声それぞれ独立して、表示粒度を設定可能です。

小さい声、低い声の場合や、差異を拡大して表示させたいときなどに適宜使用します。ただし，リアルタイム

で高さを変化させることはできません。「表示粒度スライダー」を上下し、次の文を表示したときに高さが変わ

ります。当該文の表示を変えたいときは、スライダー操作後、「戻る／進む」ボタンを使って元の文を再表示

すると良いでしょう。

学習者音声のプロソディグラフは○印をドラッグして上下に操作可能です。高さの変換再生に用いる機能で

すが、プロソディグラフを印刷するとき，理想とする高さに近づけることにも利用できます。

3.2.4 再生

モデル音声の「再生」ボタンをクリックすると、モデル音声を再生します。

モデル音声の性別を変更する場合は、「再生」ボタン横の性別をクリックすることで変更できます。

学習者音声は、発話リストに情報が表示されている場合、「再生」ボタンをクリックして、再生することができ

ます。

再生される音声は、発話リストで選択されているものになります。

3.2.5 変換再生

学習者音声のプロソディグラフを操作した後、「変換」ボタンをクリックすると、操作した結果に対応した音声

へ変換されます。

変換が行われると、「変換再生」ボタンがクリック可能になります。

変換音声データは保存されません。

3.2.6 一発変換再生

「一発変換」ボタンをクリックすると、学習者音声をモデル音声に似せた変換を自動的に行い、再生します。

CONFIDENTIAL


変換音声データは保存されません。

3.2.7 発話リスト

過去の発話された結果が発話リストとして表示されています。

発話リストは、文毎に表示されるので、文を変えると、発話リストの内容も変わります。

また、発話リストの表示の並べ替えを行うことができます。

表のヘッダ部分の項目をクリックするとそれぞれの項目で並べ替え(昇順、降順)を行うことができます。

対象の発話リストを削除する場合は、対象を選択後、「選択音声削除」ボタンをクリックします。

削除は、発話リストの他、音声ファイルも削除します。

一度削除したデータは元に戻すことはできません。

3.2.8 設定

「設定」ボタンをクリックすると、設定画面を開くことができます。

設定画面では、プロソディグラフを表示するための設定値を変更することができます。

CONFIDENTIAL


3.3 設定画面

設定画面では、以下の設定値を変更できます。

図 5．設定画面

3.3.1 ピッチ範囲

発話された音声データをプロソディグラフへ変換する際に、変換処理に使用する基本周波数(以下、ピッチ)

の範囲を指定します。

HighPass に指定された値は、その値を上回るピッチを有効値とします。

LowPass に指定された値は、その値を下回るピッチを有効値とします。

有効範囲は、最大 75Hz から 500Hz の間とします。

設定ファイル選択

ピッチ範囲指定値

パワー範囲指定値

プロソディ係数値

検証ボタン

保存ボタン

設定画面を閉じる

評価設定値

CONFIDENTIAL


3.3.2 パワー範囲

発話された音声データをプロソディグラフへ変換する際に、変換処理に使用する音量(以下、パワー)の範囲

を指定します。

数値は、音声認識で使用するために変換された値です。

HighPass に指定された値は、その値を上回るパワーを有効値とします。

LowPass に指定された値は、その値を下回るパワーを有効値とします。

有効範囲は、最大 0dB から 10dB の間とします。

3.3.3 プロソディ係数

ピッチとパワーにより算出されるプロソディデータの係数を指定します。

PitchWeight はピッチに、PowerWeight はパワーに対しての重みとなります。

PitchWeight は 0 から 2 の間とします。

PowerWeight は 0 から 20 の間とします。

3.3.4 評価設定値

学習者音声のプロソディ値とモデル音声のプロソディ値を比較し、拍ごとに算出した合計値に対して、評価

基準の閾値を設定します。

プロソディ全体の評価と、拍ごとの評価の基準値となります。

基準値は 0.00 から 1.00 の間で設定可能で、値が大きくなるほど厳しい評価基準となります。

3.3.5 検証及び、設定値の保存

ピッチ範囲、パワー範囲、プロソディ係数の値が適当かどうかを確認します。

「プロソディグラフに適用」ボタンをクリックすると、プロソディチューナー画面のプロソディグラフが、設定値を使用

して再描画されるので、値を変更して何度も確認をすることができます。

設定値は、保存しない限り、設定画面を閉じると失われます。

保存すると、保存ダイアログが表示されます。

新規にファイル名をすると、新規設定ファイルを作成します。

既存のファイルを指定すると上書き保存されます。

3.4 使い方（基本操作）

CONFIDENTIAL


1．ログイン画面で学習者作成/学習者選択を行います。

2．ログインします。

図 6．使い方 1

3．カテゴリを選択します。

4．文を選択します。

5．発話ボタンをクリックして、発話します。

1．学習者作成/選択

2．ログイン

CONFIDENTIAL


図 7．使い方 2

6．発話を正しく音声認識できた場合、「認識成功」/「認識失敗」と表示されます。

7．認識結果とプロソディ評価が表示されます。

3．カテゴリ選択

4．文選択

5．発話

CONFIDENTIAL


図 8．使い方 3

3．カテゴリ選択~7．認識結果/プロソディ評価を繰り返します。

3.5 文

Prosody Tuner 2015 で使用する文は、utterancelist.txt に記述されています。

文詳細は、5 補足を参照して下さい。

文のカテゴリーを変更する場合や、プロソディグラフのマーカーの属性を変更する場合に、以下の変更をする

必要があります。

utterancelist.txt は、tresult フォルダにあります。

utterancelist.txt の構成は以下のとおりです。

3.5.1 全体の構成

# これで始まる行は、カテゴリー名を記述する記号。

6．認識成功/失敗

7．認識結果/プロソディ評価

CONFIDENTIAL


次の#が始まるまでの文が、そのカテゴリーに属する。

数字数字で始まる文は、発話対象の文を表す記号。

記述してある数字は、音声認識データと関係しているため、この数字は変更しないでください。

3.5.2 行の構成

行中の各項目は、「タブ」で区切られています。

以下の説明では、「タブ」を便宜上<タブ>と表記します。

#で始まる行については以下の通りです。

#<タブ>カテゴリー名

例：#<タブ>基礎

数字で始まる行については以下の通りです。

数字<タブ>漢字仮名混じり文<タブ>振り仮名つき文<タブ>プロソディグラフ用表記

例：あのお願いします<タブ>あのお<ruby><rb>願<rt>ねが</ruby>いします<タブ>あ|のお|ね|がい|:し|ます

CONFIDENTIAL


3.6 ファイル構成

Prosody Tuner 2015 をセットアップすると以下のようなファイル構成になります。

図 9．ファイル構成

ProsodyTuner.exe をダブルクリックすると、Prosody Tuner 2015 を起動することができます。

3.5 文で説明した utterancelist.txt は、tresult フォルダ内にあります。

また、発話した音声ファイルは、audio フォルダに、ユーザー名\日付\フォルダを作成して保存していきます。

CONFIDENTIAL


４ Prosody Tuner 2015のセットアップ

音声の合成には「Python2.7」か 3.3 が必要です。ダウンロードして，

http://www.python.org/download/

http://www.pythonweb.jp/install/setup/index1.html

のとおりに設定して path を通してください。Python のインストール後、環境変数の Path に Python のインストー

ルフォルダを追加する設定が正しくできているか、ご確認ください。

１．コマンドプロンプトを起動します。

２．プロンプトにて「path」と入力します。

Path が通っていれば、表示がつらつらと出てきて、その中に python のインストールフォルダの表示が出てれば

OK です。

なお，PC に Microsoft .NET Framework 4 がインストールされている必要があります。ない場合は，MS のサイ

トよりダウンロードしてください。

５ＦＡＱ

Ｑ：動作しません。

Ａ：上記の方法通りにやってみてだめな場合，「prosodytuner2015」のフォルダごと「Python」のフォルダに入れて

起動してみてください。動く場合があります。

Ｑ：音が小さくて認識しません。

Ａ：(1)Windows の録音の設定を変えてみてください。 (2)マイクを変えてみてください。

Ｑ：一番上の「文章」の文字が大きすぎて，枠から下にはみ出てしまいます。

Ａ：Windows8 の場合，高 DPI 設定にしたときに発生することがあるようです。「prosodytuner」のプロパティ→互

換性の「高DPI設定では画面のスケーリングを無効にする」にチェックを入れ，表示設定を変えることで改善され

ることがあります。

Ｑ：声が高いためか，ＰＧの上が切れてしまいます。

Ａ：スライダーを動かして粒度を変更してください。ただし高さ変更は，当該画面には適用されません。次の例文

から高さがかわります（3.2.3 参照）。

Ｑ：自分の声の高さ表示がおかしいのですが。

CONFIDENTIAL


Ａ：アクセント等が理想的な型通りの高低で表示されないことには，いくつかの理由が考えられます。

(1)単語アクセントの高低は，文として組み合わせられたり，感情がこもった発話になると，変化することがありま

す。

(2)物理的な基本周波数と，アクセント辞書等に載っている高低は，一致しないことがあります。

(3)１つの音だけが２倍あるいは半分の高さで表示されたり，高さがゼロになったりすることがまれにあります。録音

しなおすと解決します。

(4)「3.3 設定画面」にあります，ピッチ範囲，パワー範囲，プロソディ係数の数値の組み合わせを変えることで，

妥当な表示となる可能性があります。

Ｑ：「プロソディ評価」の結果が常に C や D になります。

Ａ：これは現在開発途中の技術で，申し訳ありませんが精度にはまだ問題があります。「3.3.4 評価設定値」に

ある評価基準の閾値を設定しなおすことで，妥当な評価結果になる可能性があります。色々と数値を変えて

みてください。

Ｑ：語句を変えたり新しい文を自分で登録したりすることはできますか。

Ａ：できません。

Ｑ：「utterancelist」を編集して，漢字表記や拍の長さ，区切りを修正することができますか。

A:できません。ただし，カテゴリー名の変更は可能です。また，「utterancelist」掲載の文を行ごと移動して，文の

カテゴリーを変えたり，文を削除したりすることは可能です。

Documents

Prosody Tuner 2015 User s Manual - 筑波大学matsuzaki.hiroshi.fp/pg/Prosody...Prosody Tuner 2015 に組み込まれています) 2 Prosody Tuner 2015 の構成 2.1 概要 Prosody