京都フリー翻訳タスク (KFTT)

by Graham NEUBIG (苗字 at gmail.com)

English

京都フリー翻訳タスク(KFTT)は、日英機械翻訳システムのための評価タスクです。タスクはフリー、簡単、再現性のある、進化型の機械翻訳タスクを目指して設立されました。

• 基本概念
• データセット
• 入手・使用法
• データ＋システム学習
• データのみ
• アライメントデータ
• トラック(順位表)
• 参考文献
• バージョン歴

• フリーはオープンソースソフトと同じく、「無料」と「自由」の二つの意味があります。このタスクはデータを無料で配布しており、所属や期間に関わらず誰でも自由に参加でき、既存手法より高い精度を挙げた場合、公式ページに載ることができます。
• 簡単な評価タスクは、すぐに研究を始めることができるという意味です。現在の機械翻訳システムは複雑であり、ソフトの様々な設定を調整しないとベースラインシステムさえ作れません。本タスクではデコーダなどのソフトのインストール以外は全て１つのスクリプトでデータの整理からベースラインシステムの学習と評価まで可能にします。
• 再現性のある研究は、コードを公開し、他の研究者でも同じ結果が再現できることを保証します。本タスクでは、２トラックがあり、「オープン」トラックに参加するチームはすべてのコードを公開し、第３者によって確認されます。諸事情によってコードを公開できないチームは「クローズ」トラックに参加していただけます。
• 進化することは「巨人の肩に立つ」という格言の通り、研究の核心です。しかし、機械翻訳の評価は多くの場合、10年前の手法を利用しており、最新の研究とフェアな比較だとなかなか言えません。本タスクでは、「ベースライン」をオープントラックの最も精度の高いシステムにします。これにより、最新の技術を利用して、評価を行い、技術の積み重ねによる精度向上を目指すことができます。

京都フリー翻訳タスクは京都関連のWikipedia記事を対象とした翻訳タスクです。情報通信研究機構(NICT)により製作された「Wikipedia日英京都関連文書対訳コーパス」を利用させていただいています。データの特徴として以下のものがあります：

• 日英翻訳のデータであり、翻訳と添削はプロの翻訳者により作成されています。日英翻訳は言語間の文法等の違いにより特に難しいと言われています。
• 専門分野の百科事典であり、翻字や英語に存在しない概念の意訳など、今までのタスクにあまり現れない現象がたくさん含まれています。
• Creative Commons Attribution-Share-Alike License 3.0に基づいて再配布可能です。フリーで公開して頂いたNICTに感謝しています。

データ加工

このデータを機械翻訳に利用しやすくするために、いくつかの加工を行いました。

1. 機械翻訳システムが利用できる形式への抽出。
2. 機械翻訳システムMosesのスクリプトを用いた英語のトークン化、KyTeaを用いた日本語の単語分割。KyTeaのモデルは京都文書に軽く分野適応されており、データと一緒に配布されています。
3. データを学習(train)・重み学習(tune)・開発テスト(dev)・本番テスト(test)の4セットの作成。基本的には学習データはモデルのパラメータの学習に利用し、重み学習でパラメータのチューニングを行い、開発テストを開発時の評価に利用し、本番テストを最終的なスコアを報告するために利用します。
4. さらに、学習データから0単語の文や非常に長い(40単語以上)の文を除き、整理済みの学習データを作成しました。

データの整理が終わってから、データのサイズは以下の通りです(ver. 1.0)：

現在のベースラインはKFTT Moses Baseline, v. 1.4とKFTT lader, v. 1.0です。前者は通常のMosesによるフレーズベース翻訳、後者は前並べ替え器laderを導入したものです。laderを使った方が高い精度が実現できるが、計算量を要します。

過去のバージョン：Baseline v. 1.3 Baseline v. 1.2, Baseline v. 1.1, Baseline v. 1.0

このデータはCreative Commons Attribution-Share-Alike License 3.0に基づいて再配布可能です。次は、ベースラインシステムの作成に利用するソフトをインストールします。

• GIZA++：単語アライメントのツール。
• Moses：フレーズベース翻訳のデコーダ。
• SRILM：言語モデルのツールキット。
• KyTea：日本語の単語分割ツール。
• MT helper scripts機械翻訳に利用するスクリプト。

さらに、２つの環境変数を設定します：

• SCRIPTS_ROOTDIRはMosesのスクリプトをインストールした場所に設定します（参照）。
• MT_SCRIPTSはMT helper scriptsをインストールした場所に設定します。

以上のソフトがインストールし終わったら、KFTTの.tar.gzファイルを解凍し、process.shを実行します。また、以上のソフトを普段と違う場所にインストールしていれば、process.shの先頭にある変数を変更し、ソフトの場所を指定する必要があるかもしれません。データの抽出とベースラインシステムの学習は計算時間とメモリを多く費やします(それぞれ約20時間と数GB）ので、ご注意ください。

$ tar -xzf kfft-XXX.tar.gz
$ cd kfft-XXX
$ nohup ./process.sh &> process.log &

スクリプトの処理が終わったら、process.logの最後にベースラインシステムのBLEUスコアが表示され、本ページに載っているスコアに合っていることを確認してください。スクリプトの実行がうまくいかない場合はご連絡ください。

Kyoto Free Translation Task (Data Only v. 1.0)

Kyoto Free Translation Task - 日英単語アライメントデータ

@misc{neubig11kftt,
	author = {Graham Neubig},
	title = {The {Kyoto} Free Translation Task},
	howpublished = {http://www.phontron.com/kftt},
	year = {2011}
}

XMLから抽出される学習データに長さゼロの文を除外するパッチ。(パッチを送ってくださった木曽鉄男氏に感謝します)

KFTT lader バージョン 1.0 (2012-9-2)

laderで実装されたNeubig et al. (2012)の並べ替え手法を導入したシステム。

Mosesベースライン バージョン 1.3 (2012-4-9)

日英翻訳のBLEUスコアは以前、大文字小文字の区別あり、トークン化されていないテキストを利用していたが、これによりスコアが低すぎて句読点の僅かな変更に対して頑健ではないというフィードバックをいただきました。ですので、今は日英ともに、トークン化と小文字化されたテキストで評価することにしました。

Mosesベースライン バージョン 1.2 (2012-2-4)

KyTea 0.4.0以降との互換性を保つために更新しました。

Mosesベースライン バージョン 1.1 (2011-5-16)

Mosesベースラインのv. 1.0はKyTea 0.3.0以降で動かなかったのでモデルを更新しました（ご指摘いただいた藤田篤氏に感謝します）。

バージョン 1.0 (2011-2-18)

タスクの初期リリース。