異なる文体の混在するテキストに対する複数辞書切り替えによる解析手法の提案

要旨

国立国語研究所では現在,形態論情報を付与した『太陽コーパス』を構築している.文語から口語への文体移行期に刊行された総合雑誌『太陽』には,文語と口語という性質の大きく異なる複数の文体が混在する文章が多く含まれるため,文語文用解析辞書と旧仮名遣いの口語文用解析辞書のいずれかを指定して用いる従来の形態素解析手法では,精度を保つことが困難である.そこで,本コーパスの構築にあたっては,テキストが有する文体情報を利用し,複数の辞書を切り替えて,部分ごとに適応する辞書によって解析する手法を試みた.この手法の有用性を確認するため,評価用のデータを作成し,従来手法との解析精度を比較した結果,提案する複数辞書切り替え手法によって,解析精度が向上することを確認できた. The National Institute for Japanese Language and Linguistics is presently constructing the morphologically annotated ‘Taiyo Corpus’. In contrast with many other historical Japanese corpora, this corpus includes many texts mixing two different writing styles: classical and colloquial. For the construction of this corpus we propose a new morphological analysis method using multiple dictionaries. By the proposed method, we select and apply the dictionary appropriate to the writing style in every text block. Comparison shows that the precision of the proposed analysis exceeds that of previous analyses.

主題