A Multi-Modal Conducting Simulator

要旨

近年, 音楽へのソフトコンピューティング応用例が増えている.柔らかい処理が音楽情報処理に適していると考えられる.本稿ではマルチモーダル指揮シミュレータ試作への応用を報告する.人の指揮を認識し実時間にオーケストラのように振る舞う.指揮動作の特徴や時間構造は前後の脈絡や人により揺らぐ.それを吸収して指揮の意図を抽出する為にHMM(隠れマルコフモデル)とファジィによる柔らかい処理を導入し, 拍認識処理を人の認識に倣って構築した.右手指揮動作を加速度センサで, 視点を視線検出器で, 呼吸を呼吸センサで検出する.狭義の動作認識にHMMを適用.楽員(オーケストラ奏者)や指揮者へのインタビューで得た知見に基づき, 曲の知識や演奏情報の活用をファジィ推論で実現した.指揮法に則った普遍性ある重要な要素, 即ち, 曲の演奏開始(出, 予備動作)や停止, 目によるアインザッツ(Einsatz, 奏者へのcue=出の指示), 拍タイミング(アゴーギク=テンポ変動を含む), 何番目の拍か, フェルマータ(任意の長さに音符や休符を延ばす), デュナーミク(音の強弱), 一部のアーティキュレーション(奏法), 呼吸法を認識する.これに基づき実時間に音楽演奏を制御する.正しい呼吸法や指揮者の重要な仕事の1つであるアインザッツに対するオーケストラの反応, 発音時間遅れや自律性もシミュレートした.自律度最大では指揮入力を無視して曲のテンポデータに基づいて演奏し, 自律度最低では指揮に密着して動作停止と同時に演奏停止し, 次の動作入力まで待ち続ける.

主題