16
対話型自動作曲システムに関する研究 -Aメロ、Bメロ、サビで異なる印象を感じさせる楽曲生成- 梶原智之、合田昇平、加藤茂(新居浜工業高等専門学校) 畦原宗之(長岡技術科学大学)

対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

Embed Size (px)

Citation preview

Page 1: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

対話型自動作曲システムに関する研究

-Aメロ、Bメロ、サビで異なる印象を感じさせる楽曲生成-

梶原智之、合田昇平、加藤茂(新居浜工業高等専門学校)

畦原宗之(長岡技術科学大学)

Page 2: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

はじめに

初心者には難しい 専門的行為

作曲 音楽的 知識

音楽的 経験

音楽理論をサポートし、 音楽的知識や音楽的経験の 少ないユーザでも簡単に作曲

Page 3: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

IGA:対話型遺伝的アルゴリズム

環境に適応する生物の進化

生物

生殖行動

生存能力

対話型遺伝的アルゴリズム

遺伝子(4小節の楽曲)

進化

評価

システムが行う ユーザが行う

システムとユーザの対話

ユーザ個人の嗜好を 反映した作曲ができる

Page 4: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

遺伝的アルゴリズム

遺伝子の生成

評 価

遺伝的操作

遺伝子 : 解の候補

評価 : 各遺伝子の適応度を決める

   選択 : 生物の自然淘汰をモデル化     適応度に基づき遺伝子を増やしたり削除したりする    交叉 : 生物が交配によって子孫を残すことをモデル化     遺伝子の一部を入れ替える 突然変異 : 生物の遺伝子の突然変異をモデル化 遺伝子の一部を変化させる

コンピュータが評価 → 遺伝的アルゴリズム 人間が評価 → 対話型遺伝的アルゴリズム

Page 5: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

曲の構成

表現型(メロディ)

Aメロ Bメロ サビ

A A’ B B’ C C’

ポピュラー音楽で一般的な大楽節3つ から構成される3部形式の楽曲を作曲

大楽節(8小節)

遺伝子=小楽節(4小節)

5 4 4 0 2 4 8 6 2

高さ

音高

音長

遺伝子型(データ)

Page 6: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

システムの構成

明るい 暗い

激しい 穏やか

Page 7: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

システムの構成 ピアノ チェンバロ ストリングス バイオリン ブラス トランペット トロンボーン ホルン サックス フルート ピッコロ オーボエ クラリネット 尺八 三味線 琴    など

Page 8: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

システムの構成

対話型遺伝的アルゴリズム

遺伝子(4小節の楽曲)

進化(システムによる 評価を含む遺伝的操作)

ユーザの評価

Page 9: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

システムの構成

対話型遺伝的アルゴリズム

遺伝子(4小節の楽曲)

進化(システムによる 評価を含む遺伝的操作)

ユーザの評価

Page 10: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

感性的印象の表現 -明るさ-

 明るい ハ長調のコード進行 高音域を高く評価

 暗い イ短調のコード進行 低音域を高く評価

Page 11: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

感性的印象の表現 -激しさ-

 激しい 16ビートのリズムパターン ベースパートを8分音符で刻む 4分音符より短い音符を高く評価

 穏やか 8ビートのリズムパターン ベースパートを4分音符で刻む 4分音符より長い音符を高く評価

Page 12: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

作曲例

異なる印象を持つ 楽曲の生成に成功

明るい・激しい

明るい・穏やか

暗い・激しい

暗い・穏やか

Page 13: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

システム評価 -高専生-

第1世代 第2世代 第3世代 第4世代 第5世代 第5世代

十分好み 1 0 0 0 0 1 好み 2 0 0 0 0 3 好みではない 2 0 0 0 0 1 わからない 0 0 0 0 0 0 かなり近づいた 0 0 1 1 0 0 近づいた 0 2 2 1 1 0 わずかに近づいた 0 2 1 2 3 0 遠ざかった 0 1 0 0 0 0 変わっていない 0 0 1 1 1 0

1 1 1 1

2 1

2 3

2

2 1

1 1 1

2 1

2 3

1 1

0

1

2

3

4

5

黄・緑 : 高評価 赤・青 : 低評価

Page 14: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

システム評価 -小中学生-

第1世代 第2世代 第3世代 第4世代 第5世代 第5世代

十分好み 1 0 0 0 0 3 好み 4 0 0 0 0 3 好みではない 1 0 0 0 0 1 わからない 1 0 0 0 0 0 かなり近づいた 0 1 4 3 2 0 近づいた 0 3 1 1 2 0 わずかに近づいた 0 3 1 2 2 0 遠ざかった 0 0 0 1 0 0 変わっていない 0 0 1 0 1 0

1 3 1

2 2

3

1 1

2

1

4 3

2

1 1

1

4

3

1 3

0 1 2 3 4 5 6 7

黄・緑 : 高評価 赤・青 : 低評価

ユーザの嗜好を反映して楽曲を進化できた ユーザの好みの楽曲が短時間で作曲できた

Page 15: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

作品例

印象の設定が同じでも ユーザ毎に異なる楽曲

user1

user2

  Aメロ         Bメロ          サビ 暗い・穏やか → 明るい・穏やか → 明るい・激しい

Page 16: 対話型自動作曲システムに関する研究 -Aメロ, Bメロ, サビで異なる印象を感じさせる楽曲生成-

おわりに

初心者でも簡単に作曲

短時間で好みの楽曲を作曲

ユーザ毎に変わる多様な作曲

本システムを通して多くのユーザが新しい音楽体験をし、 音楽愛好家の底辺の拡大に寄与できることを期待している。