音声調波時間構造化による雑音中の単一や複数話者のF0推定

ルルー・ジョナトン

亀岡弘和

小野順貴

Alain de Cheveigné

嵯峨山茂樹

音声調波時間構造化 - 音声の有声分のパラメトリック表現

【動機】様々な音が混在する中で目的音の情報を計算機にうまく分離推定させることは、 ロボット聴覚、音声認識や自動採譜などの様々な魅力的なアプリケーションを実 現する上で工学的に重要な要素技術である一方で、数理的には大変難しい問題で ある。しかし、我々人間は、そのような環境の中でも容易に特定の音だけを選択 的に聴取することができることから、聴覚は能動的に外界を把握するための優れ た機能をもつと考えられている。CASAにおけ る多くの従来手法の間で共通するのは、各時刻で独立に調波成分を見つけ出すた めの処理(周波数方向の群化)と、抽出された調波成分特徴量の時系列を時間方向 にスムージングする処理(時間方向の群化)を多段処理的に行っている点である。 しかしながら、周波数方向と時間方向の群化を順次行うことが群化プロセスの最 適な実践方法であるとは必ずしも言えない。なぜなら、周波数方向の群化の精度 は隣接する時刻間での成分の連続性を考慮することではるかに向上されうるし、 時間方向の群化の精度もまた周波数方向の群化が高精度であればあるほど高くな るはずであることから、まさに両者は、以上の意味で鶏と卵の関係にあるからで ある。

【着眼】我々は以上の問題意識のもと、より良い群化プロセスの実践のためには、 個々の音源の時間周波数全域に渡ったスペクトル構造を一挙に推定できる方法論 が不可欠であると考え、この観点から問題の定式化を目指した。本稿では、調波 時間構造化クラスタリングと呼ぶCASAのための新しいアプローチを音声に適用し、 新しいピッチ推定手法を提案する。

【手法】音声スペクトルを共通のスプライン曲線のピッチ軌跡を持ったスペクトルのク ラスタ列としてモデル化する。そのクラスタはEMアルゴリズムの新しい定式化に よる教師なしの2D時間周波数クラスタリングの下で得られる。共通のピッチ軌跡 は同時に推定される。有声部分を連結した文章の全体にいたる滑らかなピッチ軌 跡が得られる。非調波的の背景雑音が音声の調波部分のク ラスタリングを邪魔しないように雑音モデルを導入する。

【特徴】提案手法は時間方向と周波数方向の分析を同時に行い、従来 手法よりもさらにロバストなであることを期待できる。雑音モデルの導入により、 雑音中のピッチ推定も可能になる。単ピッチ推定だけでなく、混合音声信号のピッチ推 定にも利用できる。

キーワード: 音響情景分析、EMアルゴリズム、調波時間構造化クラスタリン グ、多重音ピッチ推定、雑音中音声、Splineピッチ軌跡

関連文献

[LeRoux2006ASJ03] にて初めてこの手法と予備的な実験結果を発表しました。 実験結果と定式化の概念を加えたものとして [LeRoux2007ICASSP04] と、 実験結果と定式化の詳細を加えた [LeRoux2007IEEETrans05] を発表しました。

• [LeRoux2007IEEETrans05]
  Jonathan Le Roux, Hirokazu Kameoka, Nobutaka Ono, Alain de Cheveigné, Shigeki Sagayama, "Single and Multiple F0 Contour Estimation through Parametric Spectrogram Modeling of Speech in Noisy Environments," In IEEE Transactions on Audio, Speech and Language Processing, to be published in May 2007.
• [LeRoux2007ICASSP04]
  Jonathan Le Roux, Hirokazu Kameoka, Nobutaka Ono, Alain de Cheveigné, Shigeki Sagayama, "Harmonic-Temporal Clustering of Speech for Single and Multiple F0 Contour Estimation in Noisy Environments," In Proc. ICASSP 2007 International Conference on Acoustics, Speech, and Signal Processing.
• [LeRoux2006ASJ03]
  ルルー・ジョナトン, 亀岡 弘和, 小野 順貴, 嵯峨山 茂樹, "調波時間構造化クラスタリングによる音声分析," in 日本音響学会2006年春季研究発表会 講演論文集, 2-11-3, pp.307-308, Mar. 2006. [PDF file (178kB)]

F0推定実験結果

• 提案法のピッチ推定精度を表化するため、４つのタスクで評価実験を行っ た。単一話者音声のピッチ周波数の推定、白色雑音やピンクノイズ と混合した音声信号の単ピッチ推定、多種の干渉と混合した有声音声信 号の単ピッチ推定、そして混合音声信号のピッチ推 定それぞれの精度を評価 した。
• 単ピッチ推定の推定精度は、推定ピッチ周波数と正解ピッチ周波数を照らし合せ、正 解からの誤差が20\%以内だったものを正解として算出した。表１に、雑音無しの 単ピッチ推定での現在最先端のピッチ周波数推定手法である YINやそれ以外の手法との誤り率の比較を示す。YIN以外の略称が指す 手法名については文献 [LeRoux2007IEEETrans05] に詳しく示されている。 表２に、 白色雑音やピンクノイズとの混合音声信号の単ピッチ推定の、CASAの 最先端の手法の1つであるWu らの手法(以後、WWB法)とYIN法との比較を示す。 表３と４に、種々の干渉と混合した有声音声信号のピッチ推定のWWB法とYIN法との 比較を示す。表５に、2話者(男性と女性、男性同士、女性同士)の音声を平均パワーが等しく なるように混合した150個の混合音声信号を対象とし、混合音声信号のピッチ推 定精度のWWB法と比較を示す。ここでは、正解と見 なす許容誤差を10%以内と20%以内とした場合の両者の精度を評価した。
• 単ピッチ推定に特化 した表１に示された従来手法とHTCの性能が遜色がないことは特筆すべき結果と言える。 白色雑音やピンクノイズや干渉中の単ピッチ推定や混合音声信号のピッチ推定い ずれにおいても、HTCがYIN法やWWB法を上回る成績を得た。

表 1. 単ピッチ推定精度の種々の従来手法との比較	表 2. 白色雑音やピンクノイズとの混合 音声信号の単ピッチ推定のWWB法とYIN法との 比較	表 3 と 4. 干渉信号のカテゴリと多種の 干渉との混合有声音声信号のピッチ推定のWWB法とYIN法との 比較	表 5. 混合音声信号のピッチ推定精度のWWB法との比較

関連内容として、 [LeRoux2007ICASSP04] の解説記事や各論文のPDFファイルもご覧ください。