アスペクトを考慮した日本語時間推論データセットの構築

要旨

時間に関する自然言語推論である時間推論は，テンス・アスペクトなどの様々な時間に関する言語現象が複雑に作用し合うため，挑戦的なタスクである．言語モデルの時間推論能力を評価するためにこれまで様々なデータセットが構築されてきたが，既存の時間推論データセットは主に英語であり，また，一部の言語現象のみに焦点を当てている．そのため，日本語言語モデルが，多様な時間推論に対する汎化能力をどの程度有しているかは非自明である．そこで本研究では，様々な時間推論パターンを含む日本語時間推論ベンチマークJamp_sp (Controlled Japanese Temporal Inference Dataset Considering Aspect) を構築する．Jamp_sp の学習データとテストデータは時間推論パターンや時間表現の形式といった問題の属性に基づいて制御できるため，言語モデルの汎化能力についての詳細な分析が可能になる．実験では，分割前の学習データや分割後の学習データの一部を用いて言語モデルを学習し，テストデータ上で評価することで，言語モデルの汎化能力を評価する．実験の結果，識別系言語モデルだけでなく，GPT-4 といった最新の生成系言語モデルにとってもJamp_sp は挑戦的なデータセットであり，それらのモデルの汎化能力に改善の余地があることが示された．

主題