Studio di musica- 音楽学習におけるインターフェースの提案 -

Presenter: B1 markunAdvisor : chacha tacky

2

背景

・西洋音楽という最も原始的で制約の厳しい音楽ジャンルを専門に勉強している

・モバイル端末の普及により，音楽学習環境向上したが，未だコンピュータと人間のインターフェースが未熟なために，コンピュータを学習に有効活用できずにいる

・前期はアプリケーションの中身部分をやったので今期はインタフェース部分を勉強したい

3

音楽学習の STEP

分析模倣

・自己の演奏の分析・師の演奏との比較

・師の演奏を模倣

昇華

・師の演奏を自己の表現として吸収・個有な表現の追求

4

音楽学習の STEP

分析模倣

・自己の演奏の分析・師の演奏との比較

・師の演奏を模倣

昇華

・師の演奏を自己の表現として吸収・個有な表現の追求

5

問題意識 1: 模倣過程の現状

・練習中両手が　塞がっている

・巻き戻し・再生

移動楽器を置いて・・・

問題意識 2: 分析過程の現状

6

・巻き戻しするときに巻き戻したい場所からジャストで再生されない

・再生バーを移動させるのが面倒

機能要件

ジェスチャーで遠隔操作できること

無数のループポイントを設置でき，微細な単位で ループ可能であること

7

8

目的

・音楽学習における効率的なインターフェースを追求する

ジェスチャー認識モジュール

具体的なジェスチャーモデル

9

ループポイントモジュール

10

・ループポイントにピンを設置し，その間を自由にループできるようにする

11

Studio di musica Demonstration

音楽再生

ループポイント

速度変換

録音

システム構成図

ループポイントモジュール

ID3 タグ管理モジュール

再生管理モジュール

LeapmotionMp ３ファイル

ジェスチャ認識　モジュール

再生データ

データ

今期の実装

13

ループポイントモジュールの実装– ループポイント設置インターフェース– ループポイント間の再生・繰り返し

ジェスチャー認識モジュールの実装– 指数認識による操作– 指の平行移動による操作

14

Studio di musica Demonstration

LoopPointer

ID3tagReader

評価方法

15

慶應義塾ワグネル・ソサエティ・オーケストラの団員 5 人 ( トロンボーン 2 人，トランペット 1 人 , ホルン 2 人 ) に実際に利用してもらう

評価観点– ループポイントシステムの利便性– 楽器ごとに適したジェスチャーに関して口頭アン

ケート

リピートシステムの評価

16

リピートポイントの設置箇所– 曲番号 (A.B) にそってポイントを設置する人が多

かった– 長いメロディーに関してはフレーズごとにポイン

トを打つ傾向がある

リピートシステムの評価– １時間の曲の場合，聞きたいところを探すのに時

間がかかるため，曲番号間で再生できることはとても評価できる

ジェスチャーシステムの評価

17

楽器ごとに最適なジェスチャーがある

仮説

複数のジェスチャーを提示した結果，どのジェスチャーがどの操作に対応しているのか忘れる

楽器ごとの適したジェスチャーよりも，再生や繰り返しをアフォードするようなジェスチャーの方が好ましい

結果

考察

18

センサ精度によりジェスチャーの誤作動が多かったため，工夫が必要である

リピートポイントの約 0.5~1秒の微妙なズレの改善

今後の課題

19

UBI研究会に向けての論文の執筆

Kinect でも検証してみる

Leapmotion における操作感が認識できるモジュールの実装

まとめ

20

音楽学習における音楽プレイヤーの効率的なインターフェースの提案ならびに，アプリケーションの実装を行った

評価において，仮説とは異なるユーザーの新しいニーズを発見できた