文書間類似度について

要旨

文書間類似度は，内容の類似度と表現の類似度の二つの側面を持っている．自動要約や機械翻訳ではシステム出力の内容評価を行うために参照要約（翻訳）との類似度を評価する尺度が提案されている．一方，表現を対照比較するための手段として，形態素（列）を特徴量とする空間上の計量が用いられる．本稿では，さまざまな文書間類似度について，距離・類似度・カーネル・順序尺度・相関係数の観点から，計量間の関係や同値性を論じた．さらに内容の同一性保持を目標として構築したコーパスを用いて，内容の差異と表現の差異それぞれに対する各計量のふるまいを調査し，文書間類似度に基づく自動評価の不安定さを明らかにした．

主題