Visualization of Environmental Sounds using Onomatopoeia and Effective Fonts

要旨

我々は身の回りの環境音を通じて，周りの状況を把握し，危険や異常を感じている．さらに我々は，これらの環境音擬音語を用いて表現することで，他人にその場の状況や様子を伝えている．特に日本語では，擬音語の表現が多様であり，コミュニケーションにおいて非常に重要な役割を担っている．コンピュータが環境音を認識できるようになれば，マンマシンインタラクションはより自然なものとなる． 従来の研究では，擬音語や記号による検索や音色の類似度による表示など，環境音の検索を容易にすることが行われてきたが，環境音を視覚的に認識可能にするという研究はなかった．環境音の視覚的な認識は，耳の不自由な人間だけでなく，新しいコンテンツの創出や，環境音の視覚的な検索も可能となる． そこで本論文では，環境音を擬音語へと変換し，さらに音の大きさや高さといった音響特徴をその書体へ反映させることで，本来，聴覚的に知覚される環境音を視覚的に認識可能にすることを目的とする．環境音は音声と発音原理が異なり，既存の音声認識手法ではうまく認識できない．そのため，擬音語への変換は，環境音のスペクトルの包絡を素性としたサポートベクタマシンと環境音の残響音の長さを用いて行う．提案手法を用いることで，50 種類以上の一音節の擬音語を創りだすことができ，さらにこれらの擬音語の組み合わせで，より多様な擬音語も創りだすことができる．また，明朝体やゴシック体などのフォントだけでなく，斜体，太字，文字の大きさや色の濃淡を組み合わせることで，環境音の特徴を表現する． 環境音と提案手法による表現の結びつけを行う実験の結果，全体で89%の正答率となり，提案手法により，環境音を適切な擬音語へと変換できるだけでなく，音響特徴を書体へ反映できていることが確かめられた．

主題