Upload
yamagata-europe
View
594
Download
0
Embed Size (px)
DESCRIPTION
Japanese presentation on how we evaluate machine translation output.
Citation preview
2013年11月27日
第23回JTF翻訳祭
トラック3 セッション4 (16:30~18:00)Tomoko Kaji ‐ Heidi Van Hiel
MT/ツール開発チームマネージャheidi.van.hiel@yamagata‐europe.com
Yamagata EuropeのMT 品質メトリックス
2種類のカスタマイズ品質測定システム
2
Yamagata Corporationの支社
ヨーロッパでは2箇所:• ベルギー
• スロバキア
完全なドキュメンテーションサイクル:• 制作 & レイアウト
• 翻訳
• 品質管理
• 印刷 & 納品
Yamagata Europeのご紹介
www.yamagata‐europe.com
3
品質に重点:• 欧州のアプローチ、日本の品質管理
• QA Distiller開発
• SnellSpell開発
MTの導入:• 2009年• Systran Enterprise Server/Moses/KantanMT• 2つの使い道:生産性向上と新規事業
Yamagata Europeのご紹介
www.yamagata‐europe.com
4
•出発点: • 全MTプロジェクトに共通の品質メトリックスはあるのか?
• 異なる品質要件
‐顧客‐プロジェクトタイプ‐エンドユーザー
•メトリックス• 既存のメトリックス:BLEU、TER、NISTなど
• 顧客にとっての重要性
• ポストエディターにとっての重要性
• ROI 上の重要性
MT 品質メトリックス
www.yamagata‐europe.com
5
MT プロジェクトプラン:• ステップ 1
翻訳品質の定義:• 「ヒューマン・クオリティ」 VS「分りやすさ(理解可能) 」
MT 品質メトリックス
www.yamagata‐europe.com
• ステップ 2顧客が求める品質レベルの設定 / 改善詳細:• スタートする閾値 (許容される最低品質レベル)• 最終レベルの閾値 (理想的かつ現実的な品質レベル)
• ステップ 3値向上サイクルの定義:• 品質コントロール (メカニズム / メトリックス)• ポストエディターとの密な協力
• 顧客からのフィードバック・メカニズム
6
2つのプロジェクト:• プロジェクト :サービスマニュアル翻訳
• プロジェクト :オンライン多言語チャット
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
7
プロジェクト : サービスマニュアル翻訳
• 品質要件:ヒューマン・クオリティ
• 人によるポストエディットを実施
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
• 適用メトリックス:• FTRレート
= First Time Right segment rate(最初から正しいセグメントの%)= 完璧なMT アウトプット= ポストエディターのチェックで修正不要
• PE スコア= Post‐Editing score= PEセグメント内での修正の数 (%)(WERに類似)= PE作業率を表示: PE スコアが高い = PE作業率が高い
8
• 実運用の基本メトリックス:
• FTRレート: 20% (最小値)• PE スコア:35% (最大値)
メトリックスシステムのカスタマイズ@ YEU
9
• FTRレート向上のサイクル
• PE 前後を比較:‐ PE 修正による用語集のアップデート‐自動ポストエディット機能EN: To save the file, press the button [SAVE]. MT: ファイルを保存するには、ボタン[SAVE]を押してください。
PE : ファイルを保存するには、 [SAVE]ボタンを押してください。
•ポストエディターに品質アンケート:文法、スタイル、用語ミスについてのフィードバック
• 上限: 約 55% (言語により異なる)
メトリックスシステムのカスタマイズ@ YEU
プロジェクト毎にFTRデータを保存・エンジンアップデート
10
• PEスコア
• FTRレートが上限到達時、PE スコアにフォーカスシフト
• PE スコアが高い
= PE 作業率が高い
= PEの代わりに最初から翻訳し直す
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
• PE スコア改善のサイクル
• 用語集のファインチューニング
• PEの自動化
• 下限: +/‐ 10%
11
• FTRレートとPEスコアの進化:
サービスマニュアル翻訳プロジェクト
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
0
10
20
30
40
50
60
Jan Feb Mar Apr June July
FTR and PE score evolution (German; 6 months)
FTR
PE score
12
プロジェクト : オンラインチャット
• 品質要件: 理解可能な翻訳
• 用語が重要
• 文法、スタイル面の重要度は低い
• 即時納品
• 人的作業の介入不可 (=no PE)
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
• 実運用のメトリックス:
• お客様の判断による(平均85%)
※プロジェクト①との条件の違い
• 参考翻訳なし
• FTRレートとPE スコアの関連なし(不可)
13
シンプルなスコア定義:• 人による評価
• 4‐レベル評価:4. 完璧に理解可能即理解でき、文法的にも正しい例: JA: お客様はドアの取っ手が壊れているクレームを出しました。
EN: Customer complained about broken door handle.3. 充分理解可能文法にミスがあるが、少し考えれば理解可能例: JA:お客様はドアの取っ手が壊れているクレームを出しました。
EN: Customer complained door handle broken.
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
14
2. かろうじて理解可能全体の意味が不明、理解する為の努力が必要例: JA:お客様はドアの取っ手が壊れているクレームを出しました。
EN: Customer complained door handle corrupt.
1. 理解不可能意味をなさず、明らかに良くない例: JA:お客様はドアの取っ手が壊れているクレームを出しました。
EN: Handle customer complained door corrupt.
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
15
• スコア向上のサイクル
• ヒューマン翻訳ボタン
• 顧客フィードバック・メカニズム
• 顧客の求めるサービスレベルに応じた、頻度の高いエンジンのアップデート
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com
0
10
20
30
40
50
60
70
80
90
Nov. 2011 Nov. 2012 Nov. 2013
Online chat: evaluation for Russian
Quality1
Quality2
Quality3
Quality4
16
ご清聴ありがとうございました!
メトリックスシステムのカスタマイズ@ YEU
www.yamagata‐europe.com