Evaluating ChatGPT’s Ability to Generate Japanese

要旨

本研究では，系列変換タスクにおいて ChatGPT の日本語生成能力を評価する．ChatGPT は対話形式で様々な自然言語処理タスクに対処可能な大規模言語モデルであり，その言語生成能力の高さは英語では様々なタスクにおいて定量的に評価されている．しかし，日本語における ChatGPT の性能はまだ充分に評価されていない．本論文では，代表的な系列変換タスクである機械翻訳・自動要約・テキスト平易化の各タスクにおいて，既存の教師あり手法と比較しつつ ChatGPT の日本語生成能力を評価した結果を報告する．実験の結果，ChatGPT はいずれのタスクにおいても自動評価では既存の教師ありモデルの性能を下回ったものの，人手評価では既存の教師ありモデルの性能を上回る傾向にあった．また，出力文を詳細に分析したところ，ChatGPT は全体に高品質な日本語文を出力しているが，各タスクの詳細な要請に一部応えられていないという課題が明らかになった．

主題