Grammatical Error Correction with Pre-trained Model and Multilingual Learner Corpus for Cross-lingual Transfer Learning

要旨

本稿では，文法誤り訂正における言語間での転移学習について研究を行う．近年，機械翻訳などのタスクで多言語の訓練データを用いた研究がなされ，言語を越えた知識の活用が行われている一方で，文法誤り訂正では多言語の知識を用いる研究はほとんど行われておらず，文法知識が言語を越えて転移可能であるかは未知の問題である．一方で，類似した言語間には共通の文法項目が存在していることが広く知られており，そのような言語間で共通した文法項目については言語間で転移が可能なのではないかと考えられる．そこで我々は事前学習モデルと多言語の学習者データを用いて文法誤り訂正の学習を行い，言語間での転移学習が文法誤り訂正において可能であるかを調査する．実験の結果，文法誤り訂正において言語間で文法知識の転移が可能であることを示した．また，分析の結果，事前学習モデルの構造が文法知識の転移に対して大きな影響を与えていること，より類似した言語間で共通の文法項目の転移が行われていること，転移元の言語と転移先の言語のデータのサイズに関わらず文法知識の転移が起きていることを確認した．

主題