Neural Machine Translation with CKY-based Convolutional Attention

要旨

本論文では，ニューラル機械翻訳 (NMT) の性能を改善するため，CKY アルゴリズムから着想を得た，畳み込みニューラルネットワーク (CNN) に基づく新しいアテンション構造を提案する．提案のアテンション構造は，CKY テーブルを模倣した CNN を使って，原言語文中の隣接する単語／句の全ての可能な組み合わせを表現する．提案のアテンション構造を組み込んだ NMT は，CKY テーブルの各セルに対応する CNN の隠れ状態に対するアテンションスコア（言い換えると，原言語文中の単語の組み合わせに対するアテンションスコア）に基づき目的言語の文を生成する．従来の文構造に基づく NMT は予め構文解析器で解析した文構造を活用するが，提案のアテンション構造を用いる NMT は，原言語文の構文解析を予め行うことなく，原言語の文に潜む構造に対するアライメントを考慮した翻訳を行うことができる．Asian Scientific Paper Excerpt Corpus (ASPEC) 英日翻訳タスクの評価実験により，提案のアテンション構造を用いることで，従来のアテンション構造付きのエンコーダデコーダモデルと比較して，1.43 ポイント BLEU スコアが上昇することを示す．さらに，FBIS コーパスにおける中英翻訳タスクにおいて，提案手法は，従来のアテンション構造付きのエンコーダデコーダモデルと同等かそれ以上の精度を達成できることを示す．

主題