法政大学大学院 情報科学研究科 ○小泉 悠馬, 伊藤 克亘

意図表現における 非周期擦弦振動を考慮した楽音合成手法の検討

2012/09/20

日本音響学会 2012年秋季研究発表会

擦弦楽器の表現のバリエーション 音色変化による多彩な表現

奏法の変化により音色をコントロールし意図表現を実現

(はっきりと) (やわらかく) (荒々しく) (軽やかに) (情熱的に)

・弦を擦る位置 ・弦を擦る速度 ・弦にかける重さ

発想記号と対応した 独特な特殊奏法 ・スピッカート : leggiero ・マルテラート: marcato ・フラウタート : dolce, etc.. など…

意図表現による音色の変化を合成音に反映させたい

擦弦振動を制御する楽音合成手法 物理モデルによる楽音合成 [Young, 2003], [Demoucron, 2008]. 他多数. . .

調波成分に関する奏法のスペクトルモデル(分析合成) [Koizumi, et.al., 2012]

奏法パラメータの制御

固定端から擦弦位置までの位置の比で頂点が決定する三角波

奏法により調波構造が変化

カオス性に起因する非周期的な波形の伸縮 [K.pop, et.al., 1990]

発音時の不安定なslip現象による不規則な弦振動 [Guettler, 2002]

擦弦振動

時間

振幅

時間

振幅

時間

振幅

Dolce(やわらかく) Feroce（荒々しく）

時間

振幅

非周期擦弦振動と意図表現 音色に迫力やアクセントを付与する際に用いられる [Guettler, 1997]

Dolce（やわらかく） Feroce（荒々しく）

発音時の非周期擦弦振動：弓圧と加速度の不釣り合いにより発生

擦弦楽器の発音区間における非調波成分の分析合成法を検討

非周期成分を含まないferoceの合成音

発音時の非周期振動の発生原因

弓圧と加速度の変化による弦振動の 微分値(slip運動)の変化[Guettler, 2002]

feroceなどの、非周期擦弦振動

① Slip位置のずれ ② 二重周期性

dolceなどの、周期擦弦振動

0 10 20 30 40

-0.4

-0.2

0

0 10 20 30 40

-0.4

-0.2

0

Time (ms)

0 10 20 30 40-1

-0.5

0

0.5

1

0 10 20 30 40-1

-0.5

0

0.5

1

Time (ms)

弦振動の微分値 弦振動 周期が 伸縮した 三角波

周期的な 三角波

0 1 2 3 4

-20

0

20

0 1 2 3 4

-40

-20

0

20

Frequency (kHz)

スペクトル

周期の伸縮により スペクトルピークが混在する

非周期擦弦振動スペクトルモデル

𝜙𝑗 =1

2𝜋𝜎𝑗exp −

𝑓 − 𝜇𝑗2

2𝜎𝑗2

周波数

パ ワ ｜

周波数

尤 度

周波数

パ ワ ｜

周波数

パ ワ ｜

調波ガウス分布群

𝜇𝑗 , 𝜎𝑗を

更新

観測スペクトルから ピークを検出

周波数

尤 度

奏法によって変化した ガウス分布群

周波数

パ ワ ｜

周波数

パ ワ ｜

Analysis

Synthesis 合成スペクトル 窓関数の畳み込み

非周期なし 非周期あり

非調波擦弦振動スペクトルモデルの問題点 聴覚的には、演奏音とほぼ等価な非周期擦弦振動が合成可能

問題点 周波数ビンのずれが、ガウス分布に従うという保証はない

𝐹0付近のスペクトルピークを細かく観測できない (STFTの周波数分解能の問題)

⇒低域のパワーが弱くなる

カオス時系列解析に基づく非周期擦弦振動の分析合成実験

決定論的カオス

系は決定論的な規則に従うが、出力は確率系と等価に複雑

擦弦振動との関係性

Stick-slip運動の二重周期性やslip位置のずれと関係

信号の予測不能性を示す指標：最大リアプノフ指数

発音部: 0.3352, 持続部: 0.3 × 10−5, 周期的な三角波: 0

発音部の時間波形から力学系(奏法)の特徴を推定し、

時系列信号を非線形予測（合成）

0 200 400 600 800 10000

0.2

0.4

0.6

0.8

1

0 200 400 600 800 10000

0.2

0.4

0.6

0.8

1𝑥𝑡 = 4𝑥𝑡−1(1 − 𝑥𝑡−1) 白色雑音

𝑡 𝑡

𝑥 𝑡 𝑥 𝑡

観測座標系から、時間遅れ座標へ変換し、アトラクタを再構成

時間遅れ座標系への変換

𝒗 𝑡 = 𝑦 𝑡 , 𝑦 𝑡 + 𝜏 , 𝑦 𝑡 + 2𝜏 ,… , 𝑦 𝑡 + 𝑚 − 1 𝜏𝑇

アトラクタは、擦弦振動の場合、奏法（意図表現）と関係

奏法の特徴と信号の非線形予測

𝑡

𝑦(𝑡)

𝑦(𝑡) 𝑦(𝑡 + 𝜏)

𝑦(𝑡 + 2𝜏)

時間波形 時間遅れ空間

発音区間の非周期成分の分析合成

200 400 600 800 1000 1200-0.4

-0.2

0

0.2

0.4

200 400 600 800 1000 1200-0.4

-0.2

0

0.2

0.4

1024点 分析あり予測

振 幅

時間 (離散時間点) 時間 (離散時間点)

1024点を用いてアトラクタを再構成し、軌道の特徴を分析

分析した軌道の特徴を用いて分析合成(非線形予測)

アトラクタ軌道を分析した区間では、再合成可能

アトラクタ軌道を分析していない区間は、不安定な軌道

分析なし予測

非周期成分を考慮していない合成音 非周期成分を考慮した合成音

演奏音 合成音

まとめと今後の課題

発音区間の非周期擦弦振動の分析合成方式を検討

スパース化した発音スペクトルから、非調波スペクトルモデル生成

聴覚的には、演奏音とほぼ等価な非周期擦弦振動が合成可能

決定論的カオスの立場から、アトラクタ軌道特徴を用いて非線形合成

奏法を分析した区間では、実音声と遜色ない合成が可能

今後の課題

アトラクタ軌道と奏法パラメータの関係が不明瞭

アトラクタから、奏法パラメータを推定

奏法パラメータから、アトラクタ軌道を合成

調波モデルとの統一的な分析合成法の検討

調波制御モデルと組み合わせたパラメータ推定

予備スライド

アトラクタ軌道特徴を用いた楽音の合成

時間遅れ座標系への変換

𝒗 𝑡 = 𝑦 𝑡 , 𝑦 𝑡 + 𝜏 , 𝑦 𝑡 + 2𝜏 ,… , 𝑦 𝑡 + 𝑚 − 1 𝜏𝑇

⇒適切な時間遅れ値 𝜏 と再構成次元 𝑚 の設定が必要

時間遅れ値：正規化自己相関関数が最初に1/𝑒となる時刻

再構成次元：誤り近傍法(FNN)による推定

𝒗(𝑡)の軌道の特徴（奏法による波形変化の特徴）の推定

⇒アトラクタ軌道のヤコビ行列を推定

ヤコビ行列推定法[Farmer, et.al., 1987]による楽音再合成

⇒ヤコビ行列から、別のアトラクタ軌道を合成

⇒合成されたアトラクタの１次元目の成分が時間波形

アトラクタ軌道上の一点

𝒗(𝑡)

ヤコビ行列推定法による楽音の非線形再合成

𝒗(𝑡 + 𝑠)

𝒗(𝑘𝑖 + 𝑠)

時間の経過

𝒗(𝑘𝑖)

時間の経過により 近傍点までの距離が変化

𝒂𝑖 𝒃𝑖

𝒗 𝑡 を 中心とする超球

𝒃𝑖 = 𝑱 𝑡 𝒂𝑖 (𝑖 = 1,2, … , 𝑁) 力学系における𝑦 𝑡 の ヤコビ行列の近似となる

⇒奏法によるアトラクタ軌道の特徴

𝒗 (𝑡) 𝒗 (𝑡 + 𝑠)

𝒗(𝑘 + 𝑠)

時間の経過

𝒗(𝑘)

𝒗 𝑘 の𝑠点先とヤコビ行列から𝒗 (𝑡 + 𝑠)を推定

𝒂𝒌 𝒃𝑘

初期値𝒗 𝑡 の 最近傍点𝒗(𝑘𝑖)の探索

𝒃𝑘 = 𝑱 𝑘 𝒂𝑘 𝒗 𝑡 + 𝑠 = 𝒗 𝑘 + 𝑠 + 𝒃𝑘

⇒繰り返しにより 合成アトラクタの軌道を推定

Analysis

Synthesis

𝒗(𝑡)

ヤコビ行列推定法による楽音の非線形再合成

𝒗(𝑡 + 𝑠)

𝒗(𝑘𝑖 + 𝑠)

時間の経過

𝒗(𝑘𝑖)

時間の経過により 近傍点までの距離が変化

𝒂𝑖 𝒃𝑖

𝒗 𝑡 を 中心とする超球

𝒃𝑖 = 𝑱 𝑡 𝒂𝑖 (𝑖 = 1,2, … , 𝑁) 力学系における𝑦 𝑡 の ヤコビ行列の近似となる

⇒奏法によるアトラクタ軌道の特徴

𝒗 (𝑡) 𝒗 (𝑡 + 𝑠)

𝒗(𝑘 + 𝑠)

時間の経過

𝒗(𝑘)

𝒗 𝑘 の𝑠点先とヤコビ行列から𝒗 (𝑡 + 𝑠)を推定

𝒂𝒌 𝒃𝑘

初期値𝒗 𝑡 の 最近傍点𝒗(𝑘𝑖)の探索

𝒃𝑘 = 𝑱 𝑘 𝒂𝑘 𝒗 𝑡 + 𝑠 = 𝒗 𝑘 + 𝑠 + 𝒃𝑘

⇒繰り返しにより 合成アトラクタの軌道を推定

Analysis

Synthesis

𝒗 3(𝑡)

𝒗 2(𝑡) 𝒗 1(𝑡)

𝒗 1(𝑡)

評価実験

観測波形と、予測された波形の実相関係数

アトラクタ軌道の特徴を分析している区間では、十分な性能

分析を行っていない区間では、時間の経過により相関がなくなる

⇒奏法（力学系）自体の変化は予測不可能

⇒セグメント分割し、奏法自体の変化を考慮する必要

1100 1200 1300 1400 1500 1600 1700-0.2

0

0.2

0.4

0.6

0.8

1

200 400 600 800 1000-0.2

0

0.2

0.4

0.6

0.8

1

相関係数

時間 (離散時間点) 時間 (離散時間点)

分析あり予測区間 分析なし予測区間

擦弦楽器の楽音生成過程とそのモデル化

演奏音 楽器共鳴 擦弦振動 奏者の イメージ

楽譜を翻訳し、 イメージを奏法に変換

擦弦楽器の楽音生成過程とそのモデル化 演奏音 楽器共鳴 擦弦振動 奏者の イメージ

楽譜を翻訳し、 イメージを奏法に変換

周波数

振幅

周波数

振幅

調波成分

理想状態の弦振動 奏法モデル(伝達特性)

周波数

振幅

擦弦振動スペクトル

分解