•深い青を基にメタル調の雰囲気をだしてみました。
•基調の青と真逆のオレンジ文字は強調したい部分に使用できます。
•タイトルフォントはりょうゴシック PlusN H、本文はDFP華康ゴシック体W5, Bold
• Presentation title: 32pt りょうゴシック PlusN H
• Presentation title: 28pt orange DFP華康ゴシック体W5
歌声F0系列からの楽譜逸脱成分の抽出
- 動特性モデルに基づく楽譜との時間的対応付け -
大石康智(NTT), 亀岡弘和(東大/NTT),
持橋大地(統数研),永野秀尚,柏野邦夫(NTT)
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
2人の歌声を聴いてください
楽譜
2
歌唱者A 歌唱者B
は
4 #
4 れ た る あ お ぞ ら た だ よ う く も よ
基本周波数(F0)
時間
周波数
基本周波数(F0)
時間
発声器官の物理的制約による成分
(オーバーシュートやプレパレーション,微細変動成分)
意図的表現に起因する成分
(特定の音符における,ビブラートやポルタメント)
⇒ 人間らしさ・自然性
⇒ 巧拙感・習熟度
喜びの歌(第九)
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
本研究の目的
3
F0系列からの楽譜逸脱成分の特徴抽出による
歌い方,個性の学習フレームワークの構築
関連研究:VocaListener[Nakano2009],HMM歌声合成[大浦2010]
歌唱者A
F0系列
提案法
・・・
音符並び
音符①
逸脱成分
音符②
逸脱成分
歌唱者Aの歌い方・個性表
音高 音長 物理制約 意図表現
A4
A4
A#4
100ms
500ms
パターンA パターン3
パターン1 パターンC
パターン2 パターンB 50ms
・・・
・・・
・・・
・・・
ポイント:F0生成のための物理モデルの利用
− 藤崎モデル[Fujisaki1988],歌声のF0制御モデル[Saitou2005]
− 歌声のF0動特性のモデル化とそのパラメータ推定[Ohishi2010]
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
3つの成分で歌声のF0を記述する
逸脱成分抽出のためのF0生成モデル
4
ノート指令
対数周波数
表現指令
対数周波数
F0系列
2次系
臨界制動系
微細変動成分
ノート成分
表現成分
楽譜の音符の並び
矩形な指令信号
オーバーシュートなどの
物理的制約による逸脱成分
ビブラートなど意図的
表現による逸脱成分
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
3つの成分で歌声のF0を記述する
逸脱成分抽出のためのF0生成モデル
5
ノート指令
対数周波数
表現指令
対数周波数
F0系列
2次系
臨界制動系
微細変動成分
ノート成分
表現成分
楽譜の音符の並び
矩形な指令信号
オーバーシュートなどの
物理的制約による逸脱成分
ビブラートなど意図的
表現による逸脱成分
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
本発表のアウトライン
提案モデルに基づいて,楽譜逸脱成分を特徴抽出するための,統計的手法を駆使したパラメータ推定法
① 後退差分による連続時間F0生成モデルの離散時間表現
② 楽譜既知の下でノート指令信号の確率モデル化
③ F0の確率密度関数とパラメータ推定アルゴリズムの導出
6
ノート指令
F0系列
微細変動成分 表現指令
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
本発表のアウトライン
提案モデルに基づいて,楽譜逸脱成分を特徴抽出するための,統計的手法を駆使したパラメータ推定法
① 後退差分による連続時間F0生成モデルの離散時間表現
② 楽譜既知の下でノート指令信号の確率モデル化
③ F0の確率密度関数とパラメータ推定アルゴリズムの導出
7
ノート指令
F0系列
微細変動成分 表現指令
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
連続時間系から離散時間系への変換
− ノート制御系の伝達関数
−後退差分近似
− z領域の伝達関数
① 歌声のF0の離散時間表現
8
ノート指令
対数周波数
2次系
ノート成分
離散時間表現のサンプリング周期
減衰率
固有周波数
ノート制御系
全極モデル
ノート制御パラメータ
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
連続時間系から離散時間系への変換
− ノート制御系の伝達関数
−後退差分近似
− z領域の伝達関数
① 歌声のF0の離散時間表現
9
ノート指令
対数周波数
2次系
ノート成分
離散時間表現のサンプリング周期
減衰率
固有周波数
ノート制御系
オーバーシュートなどの
物理的制約による逸脱成分
全極モデル
ノート制御パラメータ
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
本発表のアウトライン
提案モデルに基づいて,楽譜逸脱成分を特徴抽出するための,統計的手法を駆使したパラメータ推定法
① 後退差分による連続時間F0生成モデルの離散時間表現
② 楽譜既知の下でノート指令信号の確率モデル化
③ F0の確率密度関数とパラメータ推定アルゴリズムの導出
10
ノート指令
F0系列
微細変動成分 表現指令
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
② ノート指令の確率モデル化(楽譜既知)
11
1番目の音符
S1,1
S1,3
S1,2
S1,J
i 番目の音符 I 番目の音符
・・・
簡単のため,
遷移確率は定数とする
音符の音高からの ズレ(キーシフト)
楽譜の音符の音高
(固定)
ノート指令のパラメータ
状態系列 分散パラメータ
・・・
状態遷移に伴う平均 の時間軌跡
対数周波数
状態出力分布
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
本発表のアウトライン
提案モデルに基づいて,楽譜逸脱成分を特徴抽出するための,統計的手法を駆使したパラメータ推定法
① 後退差分による連続時間F0生成モデルの離散時間表現
② 楽譜既知の下でノート指令信号の確率モデル化
③ F0の確率密度関数とパラメータ推定アルゴリズムの導出
12
ノート指令
F0系列
微細変動成分 表現指令
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
③ F0の確率密度関数の導出 ノート成分
− 全極モデル
− ノート指令の確率モデル
表現成分+微細変動成分
歌声のF0
13
i 番目のノートを制御する
パラメータ
で構成される部分行列
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
③ パラメータ推定アルゴリズムの導出 ノート成分
− 全極モデル
− ノート指令の確率モデル
表現成分+微細変動成分
歌声のF0
14
i 番目のノートを制御する
パラメータ
で構成される部分行列
パラメータの最大事後確率推定
パラメータ:
• 状態系列
• キーシフト(音高ズレ)パラメータ
• ノート制御パラメータ
• 分散パラメータ
⇒ EM法の利用 (藤崎モデルの統計的パラメータ推定法 [Kameoka2010])
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
人工データからのノート指令と成分の推定
歌声F0制御モデルから生成されるF0 [Saitou2005]
15
メロディ(ノート指令)
4400
4800
5200
5600
6000
[cen
t] (
Log F
req.)
+ビブラート,プレパレーション
4400
4800
5200
5600
6000
[cent]
(Log F
req.)
0 1 2 3 4 5 [sec.]
+オーバーシュート(ノート成分)
+微細変動成分(F0)
0 1 2 3 4 5 [sec.]
サザンオールスターズ
「TSUNAMI」より
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
人工データからのノート指令と成分の推定
人工データを利用した推定の様子
− 予稿には定量的な実験結果の記載
16
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
観測データからのノート指令と成分の推定
実際の観測データを利用した推定の様子
− 無声音のためF0が推定されない区間 ⇒ 欠損データ
17
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
その他の成分について
ガウス性白色雑音(表現成分と微細変動成分に相当)
18
歌唱者A 歌唱者B 歌唱者C
音符1
0.5
[cent] 200
0
-200
音符2
音符3
200
0
-200 200
0
-200 1.0 [sec.] 0.5 1.0 0.5 1.0
表現指令
臨界制動系
表現成分
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
まとめと今後の展開
F0系列からの楽譜逸脱成分の特徴抽出による
歌い方,個性の学習フレームワークの構築
− 歌声のF0生成モデルとそのパラメータ推定法の提案
F0系列 ⇒ ノート成分,表現成分,微細変動成分
− 人工データ,観測データを利用した推定実験
表現指令,表現成分の推定
聴取実験によるモデルの妥当性の評価
大規模データに適用し,歌唱者の“個性表”の学習
ボーカル抽出,抑圧のための事前分布への利用
19
• Slide heading: 32pt, orange りょうゴシック PlusN H Bold
• Slide body: 24pt, Bold 20pt, 18pt, Regular DFP華康ゴシック体W5
Optional slide number:
10pt Arial Bold, white
ありがとうございました
20