代表性を有する現代日本語書籍コーパスの構築

要旨

本研究では、今後の日本語研究にとって利用価値の高い、大規模な書籍コーパスを構築した。この書籍コーパスは、以下の特徴を持つ日本で最初の本格的な書き言葉コーパスである。(1)ランダムサンプリングによって母集団を過不足なく代表すること。(2)短単位・長単位の2種類の言語単位による形態論情報が付与されていること。(3)XMLにより文書構造、形態論情報、文字情報等が記述されていること。(4)可能な限りすべてのサンプルの著者に連絡をとり著作権処理を施したこと。書籍コーパスは『現代日本語書き言葉均衡コーパス』の主要な部分を占め、2011年中に一般に公開する。

主題