Machine Translation Quality Metrics

2013年11月27日

第23回JTF翻訳祭

トラック3 セッション4 (16:30～18:00)Tomoko Kaji ‐ Heidi Van Hiel

MT／ツール開発チームマネージャheidi.van.hiel@yamagata‐europe.com

Yamagata EuropeのMT 品質メトリックス

２種類のカスタマイズ品質測定システム

2

Yamagata Corporationの支社

ヨーロッパでは2箇所:• ベルギー

• スロバキア

完全なドキュメンテーションサイクル:• 制作 & レイアウト

• 翻訳

• 品質管理

• 印刷 & 納品

Yamagata Europeのご紹介

www.yamagata‐europe.com

3

品質に重点:• 欧州のアプローチ、日本の品質管理

• QA Distiller開発

• SnellSpell開発

ＭＴの導入:• 2009年• Systran Enterprise Server/Moses/KantanMT• 2つの使い道：生産性向上と新規事業

Yamagata Europeのご紹介


4

•出発点: • 全MTプロジェクトに共通の品質メトリックスはあるのか？

• 異なる品質要件

‐顧客‐プロジェクトタイプ‐エンドユーザー

•メトリックス• 既存のメトリックス：BLEU、TER、NISTなど

• 顧客にとっての重要性

• ポストエディターにとっての重要性

• ROI 上の重要性

MT 品質メトリックス


5

MT プロジェクトプラン：• ステップ 1

翻訳品質の定義:• 「ヒューマン・クオリティ」 VS「分りやすさ(理解可能) 」

MT 品質メトリックス


• ステップ 2顧客が求める品質レベルの設定 / 改善詳細:• スタートする閾値 (許容される最低品質レベル)• 最終レベルの閾値 (理想的かつ現実的な品質レベル)

• ステップ 3値向上サイクルの定義:• 品質コントロール (メカニズム / メトリックス)• ポストエディターとの密な協力

• 顧客からのフィードバック・メカニズム

6

2つのプロジェクト:• プロジェクト：サービスマニュアル翻訳

• プロジェクト：オンライン多言語チャット

メトリックスシステムのカスタマイズ@ YEU


7

プロジェクト : サービスマニュアル翻訳

• 品質要件：ヒューマン・クオリティ

• 人によるポストエディットを実施



• 適用メトリックス：• FTRレート

= First Time Right segment rate（最初から正しいセグメントの%）= 完璧なMT アウトプット= ポストエディターのチェックで修正不要

• PE スコア= Post‐Editing score= PEセグメント内での修正の数 (%)（WERに類似）= PE作業率を表示: PE スコアが高い = PE作業率が高い

8

• 実運用の基本メトリックス：

• FTRレート： 20% (最小値)• PE スコア：35% (最大値)


9

• FTRレート向上のサイクル

• PE 前後を比較：‐ PE 修正による用語集のアップデート‐自動ポストエディット機能EN: To save the file, press the button [SAVE]. MT: ファイルを保存するには、ボタン[SAVE]を押してください。

PE : ファイルを保存するには、 [SAVE]ボタンを押してください。

•ポストエディターに品質アンケート：文法、スタイル、用語ミスについてのフィードバック

• 上限: 約 55% (言語により異なる)


プロジェクト毎にFTRデータを保存・エンジンアップデート

10

• PEスコア

• FTRレートが上限到達時、PE スコアにフォーカスシフト

• PE スコアが高い

= PE 作業率が高い

= PEの代わりに最初から翻訳し直す



• PE スコア改善のサイクル

• 用語集のファインチューニング

• PEの自動化

• 下限: +/‐ 10%

11

• FTRレートとPEスコアの進化：

サービスマニュアル翻訳プロジェクト



0

10

20

30

40

50

60

Jan Feb Mar Apr June July

FTR and PE score evolution (German; 6 months)

FTR

PE score

12

プロジェクト : オンラインチャット

• 品質要件: 理解可能な翻訳

• 用語が重要

• 文法、スタイル面の重要度は低い

• 即時納品

• 人的作業の介入不可 (=no PE)



• 実運用のメトリックス：

• お客様の判断による(平均85％)

※プロジェクト①との条件の違い

• 参考翻訳なし

• FTRレートとPE スコアの関連なし(不可)

13

シンプルなスコア定義:• 人による評価

• 4‐レベル評価:4. 完璧に理解可能即理解でき、文法的にも正しい例: JA: お客様はドアの取っ手が壊れているクレームを出しました。

EN: Customer complained about broken door handle.3. 充分理解可能文法にミスがあるが、少し考えれば理解可能例: JA:お客様はドアの取っ手が壊れているクレームを出しました。

EN: Customer complained door handle broken.



14

2. かろうじて理解可能全体の意味が不明、理解する為の努力が必要例: JA:お客様はドアの取っ手が壊れているクレームを出しました。

EN: Customer complained door handle corrupt.

1. 理解不可能意味をなさず、明らかに良くない例: JA:お客様はドアの取っ手が壊れているクレームを出しました。

EN: Handle customer complained door corrupt.



15

• スコア向上のサイクル

• ヒューマン翻訳ボタン

• 顧客フィードバック・メカニズム

• 顧客の求めるサービスレベルに応じた、頻度の高いエンジンのアップデート



0

10

20

30

40

50

60

70

80

90

Nov. 2011 Nov. 2012 Nov. 2013

Online chat: evaluation for Russian

Quality1

Quality2

Quality3

Quality4

16

ご清聴ありがとうございました!



Technology

Machine Translation Quality Metrics