簡易小型化 BERT による日本語構文解析

要旨

BERT は fine-tuning することで様々な NLP タスクに対して高性能な結果を出した事前学習済みモデルであるが，多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．本論文では日本語構文解析に対して，BERT の一部の層を削除した簡易小型化 BERT の利用を提案する．実験では，京都大学ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の BERT とそこから構築した簡易小型化 BERT の正解率と処理時間を比較した．提案する簡易小型化 BERT では，京大版の BERT からの正解率の劣化をウェブコーパスで 0.87 ポイント，テキストコーパスで 0.91 ポイントに押さえながら，学習時間は 83%，推論時間はウェブコーパスで 65%，テキストコーパスで 85%まで削減することができた．

主題