MusicFactorizer: 音楽音響信号をノート単位で編集できるインタフェースに向けて

This research was carried out by Hirokazu Kameoka.

詳細は こちら をご覧下さい。

Abstract:

本研究は,音楽音響信号をノート単位で編集できるインタフェースの実現を目的 としています。音楽音響信号を個々のノートに対応する音響信号に分離する問題 に対し,スペクトログラムを階層的なパーツベース表現により構成する階層的スパース 表現の概念に基づく新しい解法を考案しました。具体的には,音楽のスペクトロ グラムを,I 個の振幅スペクトルパーツとJ 個の時間エンベロープパーツで構成 されるものと仮定してスペクトログラムをモデル化し,このモデルと観測信号の スペクトログラムが最も近くなるようにそれぞれのパーツを最適推定します。 これによって求まった各々のスペクトルパーツやエンベロープパーツの操作を通して, 音響信号を思いのままに加工することができるようになります。以下では以上の 手法をもとに作成したインタフェース“MusicFactorizer”のデモンストレーション を紹介します。


System overview:


Demonstrations:

MusicFactorizerを用いた楽曲の加工例を以下にいくつか示します。

References:

  1. D.W. Griffin, and J.S. Lim, "Signal estimation from modified short-time Fourier transform," IEEE Trans. ASSP, 32(2), pp.236-243, 1984.
  2. D.J. Hermes, "Measurement of pitch by subharmonic summation," Journal of Acoustic of Society of America, Vol.83, pp.257-264, 1988.
  3. http://staff.aist.go.jp/m.goto/RWC-MDB/index-j.html
  4. 亀岡弘和, ルルー・ジョナトン, 大石康智, 柏野邦夫, "Music Factorizer: 音楽音響信号をノート単位で編集できるインタフェース," 情報処理学会研究報告, 2009-MUS-81-9, 2009.