論文 ·日本語 ·未確認
JGLUE: Japanese General Language Understanding Evaluation
Kentaro Kurihara ・ Daisuke Kawahara ・ Tomohide Shibata
- 刊行年
- 2023-01-01
- 収録
- 『Journal of Natural Language Processing』 30(1) pp. 63-87
- 言語
- 英語
- openalex
- W4324266101
- doi
- 10.5715/jnlp.30.63
- issn
- 1340-7619
- URL
- https://www.jstage.jst.go.jp/article/jnlp/30/1/30_63/_pdf
要旨
高性能な言語理解モデルを開発するためには，言語理解の能力を様々な観点から評価し分析するためのベンチマークが必要である．英語においては，GLUE (Wang et al. 2018) が先駆けとして構築されており，中国語版のCLUE (Xu et al. 2020) やフランス語版のFLUE (Le et al. 2020) など，各言語におけるベンチマーク構築も進んでいるが，日本語においては GLUE のようなベンチマークは存在せず，日本語自然言語処理において大きな問題となっている．本研究では，一般的な日本語言語理解能力を測ることを目的として，翻訳を介することなく，日本語で一から言語理解ベンチマーク JGLUE を構築する．JGLUE は文章分類，文ペア分類，QA の 3 種類のタスクから構成される．本ベンチマークによって日本語における言語理解研究が活性化することを期待する．
主題
この書誌の出所
- openalex— W4324266101（2026-08-12取得）
引用キー: Kurihara2023JGLUE