BERT を用いた日本語の意味変化の分析

要旨

<p>単語が持つ意味や用法は時代とともに変わっていく．BERT から獲得した単語ベクトルをグルーピングし，時期ごとの使用率を算出することで意味変化を分析する方法がある．英語の意味変化分析では既にいくつかこの類の手法が導入されているが，日本語への適用はまだない．また，英語での分析では手法ごとの比較が行われていない．そのため，日本語に適用した際の性能や各手法がどのような条件で有効か明らかになっていない．そこで本研究では日本語を対象に，以下の実験を行なった．現代語で事前訓練された BERT の文脈依存ベクトルに，辞書を使った教師ありのグルーピング手法とクラスタリングを使った教師なしのグルーピング手法を適用し比較した．また BERT を通時的なコーパスで fine-tuning し， BERT の文脈依存ベクトルが捉える通時的な特徴を分析した．比較と分析の結果，充実した辞書がない場合，クラスタリングを使った手法が意味変化を捉えるのに適していることが分かった．さらに，現代語 BERT を通時的なコーパスで fine-tuning することで古い時期特有の表現により適した意味変化の分析が可能になることが分かった．一方で，古い時期に出現しない現代特有の用法がある場合には，意味変化を捉えられないケースも存在した．</p>

主題