論文 ·日本語 ·未確認
3 種類の辞書による自動単語分割の精度向上
森 信介 ・ 小田 裕樹 ・ Shinsuke Mori ・ Hiroki Oda
- 刊行年
- 2011
- 収録
- 『自然言語処理』 18(2) pp. 139-152
- 言語
- 日本語・英語
- doi
- 10.5715/jnlp.18.139
- issn
- 1340-7619
- jstage_journal
- jnlp
- openalex
- W2333498481
- mag
- 2333498481
- URL
- https://www.jstage.jst.go.jp/article/jnlp/18/2/18_2_139/_article/-char/ja/
要旨
本論文では，日本語の文の自動単語分割をある分野に適用する現実的な状況において，精度向上を図るための新しい方法を提案する．提案手法の最大の特徴は，複合語を参照することが可能な点である．複合語とは，内部の単語境界情報がなく，その両端も自動分割器の学習コーパスの作成に用いられた単語分割基準と必ずしも合致しない文字列である．このような複合語は，自然言語処理をある分野に適用する多くの場合に，利用可能な数少ない言語資源である．提案する自動単語分割器は，複合語に加えて単語や単語列を参照することも可能である．これにより，少ない人的コストでさらなる精度向上を図ることが可能である．実験では，これらの辞書を参照する自動単語分割システムを最大エントロピー法を用いて構築し，それぞれの辞書を参照する場合の自動単語分割の精度を比較した．実験の結果，本論文で提案する自動単語分割器は，複合語や単語列を参照することにより，対象分野においてより高い分割精度を実現することが確認された．
主題
この書誌の出所
- jstage— 10.5715/jnlp.18.139（2026-08-12取得）
- openalex— W2333498481（2026-08-12取得）
引用キー: 森20113種類の辞書による自