Reliable Measures for Aligning Japanese-English News Articles and Sentences.

要旨

大規模な日英対訳コーパスを作ることを目的として, 1989年から2001年までの読売新聞とThe Daily Yomiuriとから日英記事対応と文対応とを得た. そのときの方法は, まず, 内容が対応する日本語記事と英語記事とを言語横断検索により得て, 次に, その対応付けられた日英記事中にある日本語文と英語文とをDPマッチングにより対応付けるというものである. しかし, それにより対応付けられた記事対応や文対応には, 間違った対応 (ノイズ) が多く含まれる. そのため, 我々は, 本稿において, そのようなノイズを避けて, 正しい対応のみを得るための信頼性の高い尺度を提案し, その信頼性の評価をした. 実験の結果, 我々の提案した尺度を用いることにより, 良質な記事対応や文対応が得られることがわかった. また, その数は, 良質な記事対応は約4万7千であり, 文対応は, 1対1対応が約15万, 1対1対応以外が約3万8千であった. これらは, 現時点で一般に利用できる日英2言語コーパスとしては最大のものである.

主題