Embed Size (px)
Citation preview
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
研究ノート
音楽創作アプリMUCCAの開発と活用DEVELOPMENT AND UTILIZATION OF MUCCA:A MOBILE APPLICATION FOR MUSIC CREATION
濵野峻行Takayuki Hamano東京芸術大学
Tokyo University of the Arts
川村剛Tsuyoshi Kawamura
TAJIソフト開発TAJISOFT Dev.
古川聖Kiyoshi Furukawa東京芸術大学
Tokyo University of the Arts
概要
本発表では、タブレット端末用音楽創作アプリ
“MUCCA”の開発とワークショップでの活用について説明する。本アプリはネイティブアプリ作成プラット
フォームである Cordova と音やアニメーション生成のための様々なマルチメディアライブラリを用い、iOS及び Android タブレット用アプリとして開発したものである。このアプリはお絵描きや写真から視覚的素材を
作りそれに対して音や動きを対応付けることで、小学校
児童でも直感的に音楽の生成と演奏を行うことができ
るものである。また別途開発したワークショップシス
テムとの併用により、アプリで作成した制作物を投稿し
て他者と共有したり、インタラクティブに合奏したりす
ることができる。本アプリの狙いは、(1)ユーザが視覚的素材に音楽生成のルールを設定する方法で経験的に
音楽表現を探求するツールとなることと、(2)会場に設営したワークショップシステムとの併用で他の参加者
と合奏し、音楽演奏を通したコミュニケーションの場を
形成することである。ぎふメディアコスモス（岐阜県岐
阜市）で小中学生を対象として実施したワークショッ
プ、コンサート、及び体験型展示の模様も紹介する。
In this paper, we describe the development of a mobileapplication (app) for music creation known as MUCCAand its utilization in a workshop event. The app is devel-oped for iOS and Android tablet devices that employ Cor-dova, an application platform for native mobile applica-tions, and various other multimedia libraries for generat-ing sound and animation. Using this app, even schoolchil-dren can create and play music intuitively by associatingsound and motion with visual materials made from draw-ings and photo images. Additionally, the app allows usersto submit their own work to a workshop system to shareit with other people and play music interactively in con-
cert by using the app together with a workshop systemthat we developed separately. The aims of the app in-clude the following: (1) it is a tool that enables users tolearn musical expressions empirically by assigning rulesrelated to music generation for visual materials, and (2)it provides a venue for communicating and playing mu-sic with other participants using a workshop system. Wealso introduce an event held at Gifu Media Cosmos (GifuCity, Gifu Prefecture) that included workshops, concerts,and interactive exhibitions for elementary and junior highschool students.
1. はじめに：開発までの経緯
本プロジェクトは、視聴覚一体となった音楽体験の創
成にアートの文脈からアプローチするものである。
古川らは、視聴覚表現のインタラクティブアートの可
能性に興味を持ち研究を続けてきた。例えば近代に録音
技術が現れる以前は、音や音現象には必ず物理的事象が
付随していた。ボールが壁にぶつかると音が鳴り、勢い
よくぶつかると強い音がする。当たり前のことだが、視
覚を通した現象の認知と音との間には明白な関係性があ
る。以前古川らはこの点に着目し、マルチメディア作品
“Small Fish” [1] を制作した。Small Fish では画面上の視覚的なオブジェクトの動きと音楽の構造が対応してお
り、ユーザはオブジェクトを操作することで視覚と聴覚
が結びついた演奏行為を体験できる。
筆者らは、このような視聴覚体験を更に発展させたか
たちの創成に取り組んだ。Small Fishにあったような認知的直感性を踏襲した上で、体験者が自ら能動的に視覚
的な事象や構造をデザインすることで音や音楽を作り出
せれば、より広がりのある視聴覚体験になり得るだろう
と考えた。また Small Fish で数多く実施されてきたようなワークショップは体験を共有できる一種のコミュニ
ケーションの場と言える [2]が、そのような場の形成を
– 10–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
テクノロジーによって促進する方法も併せて検討した。
これはツールにより作られたもののみをアート作品と
見なすのではなく、ツールから生まれる様々な体験もま
た、新しいアート、或いはアートの形式を予感するもの
であると筆者らが考えていることによる。
以上の経緯により、筆者らは “MUCCA”1という音楽
創作のためのタブレット端末用モバイルアプリケーショ
ン（以下、アプリ）を開発した。以下、 2章では開発したアプリについて、 3章ではアプリをワークショップイベントで使うためのシステムの開発について、 4章では実際にアプリを使って実施したイベントの模様を紹介す
る。 5章では課題と今後の展望について述べる。
2. 音楽創作アプリMUCCA
2.1. アプリの概要と特徴
MUCCA は iOS 及び Android を OS とするタブレット端末対応のアプリである。MUCCA の開発作業は濵野と川村が行った。 MUCCA というアプリのタイトルは、“Music and Communication Arts”というキーワードが元になっている。MUCCA の対象年齢は小学校低学年以上を想定している。また MUCCA のユーザインタフェースは多言語対応しており、日本語のほか、英語、
中国語に多言語対応している。
本アプリMUCCAには、以下二つの特徴がある。
特徴１：視覚的素材と音楽構造の結合
特徴の一つ目は、ユーザが視覚的素材に音楽生成の
ルールを設定する方法により音楽を生成し、経験を重ね
ながら音楽表現を探求することができる点である。そこ
では物理現象は視覚的な形象とその動きに抽象化され、
音楽の構造と結びつけられる。視聴覚の素材にはユーザ
の意匠や感性、或いは生活、体験から成る様々なものが
込められ、それらが組み合わされることで新たな意味や
観念、感情が表現される。
特徴２：コミュニケーションの場の形成
もう一つの特徴は次章で詳述するが、会場に設営した
システムとアプリを併用することで他の参加者と合奏
し、音楽演奏を通したコミュニケーションの場を形成で
きることである。この点はタブレット端末の機能的特
性により実現可能になった部分であるが、本システムの
中でタブレット端末は個人制作の道具でありながら、コ
ミュニケーションのツールとしても使われる。すなわち
ユーザはシステムとの関わり合いの中で自分自身の感性
と出会いその体験をデザインするだけでなく、体験デザ
1 MUCCA http://mucca.town/
インの交換、交感、交流を含めたコミュニケーション体
験をより容易に得られるようになる。
2.2. アプリの開発
2.2.1. 内部の全体構成本アプリの作成には Apache Cordova2（以下、
Cordova）を使用した。Cordova は HTML、CSS 及びJavaScriptによりモバイルデバイス用ネイティブアプリを作成できるプラットフォームである。Cordovaはウェブアプリケーションのプロジェクトをネイティブアプ
リとしてラップし、各 OSのWebViewをアプリに内蔵する形で動作する。これはすなわち、一般的なウェブ開
発技術やライブラリを存分に活用してアプリを作成で
きるということである。更に Cordova には多数のプラグインがあり、これによりデバイスのネイティブな機能
を使用することができる3。本アプリでもカメラやマイ
クロフォン、ファイルシステムへのアクセスなどの機能
のために多数のプラグインを使用した。
上記のとおり、本アプリでは一般的なウェブ開発技術
をベースとして、マルチメディアや通信のライブラリ
を多数使用している。ライブラリはパッケージマネー
ジャ Bower4で管理し、Grunt5によりソースコードの結合や圧縮などの作業を自動化している。グラフィカル
ユーザーインターフェースのフレームワークには OnsenUI6を採用し、jQuery7と AngularJS8により DOM操作や Model-View-Controller(MVC) に基づくコンポーネント間の連携を図っている。アニメーション部分の
描画には WebGL での高速な描画が可能なライブラリPixi.js9を使用した。
2.2.2. 輪郭抽出と衝突判定MUCCA ではオブジェクトの動きを利用して音楽生成を行うが、そのためには各オブジェクトの輪郭抽出と
衝突判定の処理が必須となる。
輪郭抽出は独自のアルゴリズムを実装して行った。こ
れにより輪郭データは頂点の配列として得られるが、現
在のタブレット端末の CPUではすべての点を用いると衝突判定の処理時間が掛かり過ぎる。そのため多数の頂
点から特徴的な 12個の点を抽出するようにした。衝突判定にはサードパーティ製の物理エンジンを採用
した。JavaScriptの物理エンジンには何種類もの実装が
2 Apache Cordova https://cordova.apache.org/3 Cordova Plugin Registry http://plugins.cordova.io/4 Bower http://bower.io/5 Grunt http://gruntjs.com/6 Onsen UI http://onsen.io/7 jQuery https://jquery.com/8 AngularJS https://angularjs.org/9 Pixi.js http://www.pixijs.com/
– 11–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
存在するが、本件では p2.js10を採用した。その主たる
理由は、p2.js では凹型の図形の輪郭を凸型の図形に自動で細分し、衝突判定処理が容易になるからである。
2.2.3. デバイスでの音生成アプリの開発で困難であった事のひとつは、タブレッ
トデバイスから音を鳴らすことである。Cordovaを利用して音を鳴らすには、WebAudioや Cordovaのネイティブプラグインなどの方法がある。しかしブラウザのフ
ロントエンド技術へのサポート状況を掲載するサイト
によれば、WebAudioは Android Browserの 4.4までのバージョンには対応していない [3]。またネイティブプラグインにも別の問題があり、システムサウンドとして
鳴らすためデバイスのボリュームコントローラによる
再生音量の調整ができない。そのため、苦肉の策として
iOSではWebAudioを採用し、Androidでは Cordovaで提供されているネイティブプラグインをもとにしなが
ら MediaPlayer の代わりに SoundPool を使うよう独自に全面的に書きなおしたものを使用することとなった。
楽器音の生成は、フリーライセンスのサウンドフォン
トから生成した各音色／各ノートナンバーのサンプル
ファイルを MP3形式で用意して再生する方法を採っている。この方法はメモリリソースを多く消費しクラッ
シュの危険性を孕んでいるため、将来的にはネイティブ
のMIDIシンセサイザを利用する方式への切り替えを検討している。
2.2.4. アプリのリリース最終的にアプリはテストユーザによるテストを行い、
その結果を基にデバッグ作業を行った。テストはさまざ
まなデバイスや OS上で、約 300のテスト項目を確認した。またテストユーザに一定期間自由に操作をしてもら
い、問題点や改善点を列挙してもらった。
問題点について修正を行った後に各配布機関の審査
を経て、古川を中心とする芸術と科学の研究グループ
.pf 11を開発・発行元として本アプリMUCCAをリリースした。
2.3. MUCCAを用いた音楽創作の方法
開発の結果、ユーザは MUCCA を用いて直感的に音楽生成を行えるようになった。図 1にスクリーンショットを示した。以下はスクラッチから音楽生成するまでの
手順の概略である。
1. オブジェクトの作成 ... ユーザは視覚オブジェクトを作成し、画面空間の中に配置する。オブジェ
10 p2.js https://schteppe.github.io/p2.js/11 .pf (dot-pf) http://dot-pf.net/
カテゴリ ルール
音楽：生成 うごくとなる、かべにあたるとな
る、ものにあたるとなる、ちょう
をかえる、おとをけす
音楽：スピード おそいはやさ、ふつうのはやさ、は
やいはやさ
音楽：音階 ちょうちょう、たんちょう、よう
おんかい、いんおんかい、ぜんお
んおんかい、はんおんかい、ブルー
スおんかい
音楽：楽器 チェレスタ、クラリネット、フルー
ト、ギター、ハープ、ピアノ、トラ
ンペット、ヴィオラ、ろくおん
動き まっすぐ、かいてんする、いった
りきたり、ぐるぐる、ドミノ、じゅ
うりょく、ふりょく、おいかける
表 1. オブジェクトに割り当て可能なルールの一覧
クトの作成は、指で絵を描いたりカメラで写真を
撮って使う部分を選択したりすることで行う。ま
た既に撮った写真や、プリセットとしてアプリに
予め登録されているイラストレーションから選択
することもできる。作成したオブジェクトは、ス
ワイプすることにより一定速度で動かし続けるこ
とができる。
2. ルールの設定 ... オブジェクトに対して動きや音楽生成に関するルールを設定する。例えば、オブ
ジェクトに対し「ものにあたるとなる」を設定す
ると、他のオブジェクトと接触した時に音を生成
する。或いは「うごくとなる」を設定すると、オ
ブジェクトが動いてるあいだ音を生成する。音高
は現在のところオブジェクトの縦方向の位置に
対応して変化するようになっている。音楽生成の
ルールには、音生成のタイミング、音階、音色、
音域などの設定項目がある。一つのオブジェクト
に複数のルールを組み合わせて設定することもで
きる。表 1にルールの詳細を掲載した。3. その他の機能 ... 音色は組み込みの楽器音のほか、デバイスのマイクロフォンから音を録音して使用
することもできる。
以上の手順により、オブジェクトの形や動き特性を利
用しつつ音楽生成の法則を試行錯誤しながら割り当て
ていくことで、自動音楽生成作品の創作ができるものと
なった。作成した作品は、アプリ内に保存して復元する
ことができる。
– 12–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
図 1. MUCCA動作中のスクリーンショット
3. アプリを応用したワークショップシステム
3.1. ワークショップの計画
アプリ開発の次に筆者らが考えたのは、MUCCA を応用したコミュニケーションの場の形成である。このア
イデアに至ったのは、個人で表現を探求することも勿論
教育的に意味のあることであるが、制作したものを他者
と共有したり議論したりすることも表現についての教
育という意味で重要だと考えたからである。もし個人の
制作物を他者に提示し、且つ他者の制作物とインタラク
ションを取るような形態ができれば、コミュニケーショ
ンの場としては興味深いものになるだろう。そこで筆者
らは MUCCA の機能を拡張し、ユーザ間でのコミュニケーションを生む方法を検討した。
筆者らが考えた制作物を共有する具体的なケースを
図 2で説明する。今回の計画に盛り込まれた仕様は、(1)ユーザが MUCCA で作成したオブジェクトを様々な場所から投稿できるようにすること、(2)ワークショップでは投稿したオブジェクトを会場のスクリーンに登場さ
せることができるようにすること、(3)会場で登場させたオブジェクトはその場でタブレット端末から無線でコ
ントロールして演奏できるようにすることの、以上 3点である。そしてこれらを基本とし、ワークショップと併
せて体験型展示やコンサートの実施も想定している。
3.2. ワークショップシステムの設計
上記の計画を実現すべくワークショップシステムの設
計を行った。図 3 はシステムの内部構造を簡略化したダイアグラムである。
ワークショップシステムはMUCCAアプリに加えて、インターネット上に設置されるグローバルサーバと会
場に設置されるローカルサーバから成る。なおワーク
ショップシステムの開発は、濵野が行った。
(1) 投稿（自宅から）
MUCCA MUCCA
(1) 投稿（会場で）
MUCCA
スクリーン
(3) コントロール（指で演奏）
(2) オブジェクト登場
ワークショップ会場
図 2. アプリの制作物をワークショップで共有する流れ
3.2.1. グローバルサーバの機能グローバルサーバが担う機能は、MUCCA から投稿されるオブジェクトの管理とローカルサーバの認証管理
である。
ユーザから MUCCA アプリを通じて投稿されるオブジェクトのデータは、グローバルサーバのサーバプロセ
スが常時受け付けてデータベースに保管する。このデー
タにはオブジェクトの画像、音声、属性などが含まれ
る。投稿の際にユーザは投稿先となる会場（＝ローカル
サーバ）を指定する。もし指定されたローカルサーバが
投稿時に稼働中であれば、グローバルサーバはローカル
サーバに新しいオブジェクトの情報を通知する。
各会場のサーバ管理と認証もグローバルサーバの重要
な役割のひとつである。このシステムは将来的には世界
的な展開を見据えているため、一箇所ではなく多数の会
場でワークショップが同時に行われることを想定して
いる。ローカルサーバは会場に設置されるが、セキュリ
ティの観点から各ローカルサーバはシステム管理者（＝
現在は筆者ら）が承認した環境でのみ動作させる必要が
ある。そこでローカルサーバとして登録するマシンに
固有の情報をもとにハッシュ関数により自動生成した
キーをグローバルサーバに事前に登録しておき、ローカ
ルサーバを起動する度にキーを照合して認証を行うよう
にしている。認証が失敗した場合はグローバルサーバか
ら一切の情報のダウンロードが許可されないので、実質
的にローカルサーバを動作させることはできない。
なおグローバルサーバは Node.js12と Express ウェブフレームワーク13をベースに開発されており、デー
12 Node.js https://nodejs.org/13 Express http://expressjs.com/
– 13–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
ワークショップ会場
ローカルサーバグローバルサーバ
ホストプロセス(Node.js, Express)
輪郭抽出プロセス(Node.js)
MUCCA（一般ユーザ）
シーンコントローラ
ピッチ検出プロセス（SuperCollider）
MIDIシンセサイザ（fluidsynth）
サーバプロセス(Node.js, Express)
インターネット
データベース（MongoDB）
表示プロセス(NW.js)
HTTP
HTTP
HTTPWebSocket HTTP WebSocket
パイプ
パイプ MIDI
凡例 プロセス名(使用したフレームワーク等) ・・・通信プロトコル
Scene AScene BScene C
.
.
.
図 3. ワークショップシステムの内部構造
タベースはスキーマレスで柔軟な設計が可能な Mon-goDB14を使用している。グローバルサーバに対して必
要な操作は、すべてウェブ上で行うことができる。
3.2.2. ローカルサーバの機能一方ローカルサーバは MUCCA アプリと基本的に同等の表示や再生の機能を持ち、投稿されたオブジェクト
をダウンロードして画面に投影したり、MUCCA からの演奏コントロール信号を受け取り のオブジェクトに
反映させたりすることができる。
ローカルサーバの特徴的な点は、多数のユーザから
の通信を非同期的に滞り無く処理するために、機能毎
にプロセスを分割しているところである。Node.js とExpressウェブフレームワークで動作するホストプロセスが通信の中核的役割を担う。オブジェクトの表示プ
ロセスでは、Node.jsとブラウザのレンダリングエンジンを組み合わせてスタンドアロンアプリケーションを
作成できる NW.js15を使用した。輪郭抽出プロセスはオ
ブジェクトの画像からより精度の高い輪郭を得るため
に再計算するものである。音合成は MUCCA アプリとは異なり、より高い音質を得るために単独のソフトウェ
アMIDIシンセサイザを使用している。また後述するアコースティック楽器とのインタラクションを実現するた
めに、SuperCollider で実装したピッチ検出プロセスにより楽器音からリアルタイムにピッチを検出する。
14 MongoDB https://www.mongodb.org/15 NW.js http://nwjs.io/
3.2.3. アプリの機能追加以上の変更に対応するため、MUCCA アプリ本体にオブジェクトのアップロード機能と演奏コントロール
信号の送信機能を追加実装した。先述の通り MUCCAは Cordova をベースに開発されているが、実はこれが大いに役立つこととなった。Cordovaは様々なウェブ技術を利用でき、現在多くのウェブブラウザに搭載されて
いる多様な通信機能と同様のものをアプリでも利用可能
であるからである。本件では Ajaxによる非同期通信とWebSocketによるリアルタイム通信を使用した。
3.3. 展示モードとパフォーマンスモード
本ワークショップシステムは、体験型展示やコンサー
トなど様々なシーンで使うことを念頭に置いて開発され
ている。これを実現するために、ローカルサーバに展示
モードとパフォーマンスモードという二つのモードを持
たせ、モードによってオブジェクトの管理方法を切り替
えるようにした。
展示モードは、ユーザの投稿したオブジェクトを
次々と画面へ自動展示するものである。オブジェクト
は一定間隔で画面に現れては消えていく。展示会場で
MUCCA から投稿した場合はオブジェクトのコントロールができ、その場でタブレットを指でタッチすると
会場の画面に映し出された自分のオブジェクトが動く。
一方パフォーマンスモードは、事前に投稿されたオブ
ジェクトの中から主催者が選択してシーンを作り、画面
– 14–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
に投影させるものである。このためにローカルサーバか
ら提供されるのが、図 4のシーンコントローラの機能である。シーンコントローラはタブレット端末のブラウザ
から操作できるため、会場を動きまわって参加者と話し
合いながらシーンを作成していくことも可能である。
図 4. シーンコントローラの画面
シーンコントローラには投稿されたオブジェクトの一
覧が表示される。主催者はこのコントローラを使って
シーンを作成し、シーンごとにどのオブジェクトを登場
させるか指定する。シーンと各オブジェクトには、表 2に挙げた属性を与えることが可能である。またシーン
にはカスタムスクリプトを設定することができ、各オブ
ジェクトの作成時や描画時、トリガー受信時にスクリプ
トを実行することができる。これにより、例えばあるオ
ブジェクトだけ楽器音に強く反応したり、オブジェクト
の関係性に応じて動きを変化させたりと、各オブジェク
トに例外的な処理を設定することができ、結果として音
楽の自動生成に起こりがちな単調なパターンを回避して
豊かな変化を生み出すことができる。これは自動生成の
処理と手動の処理を同一システム内で不用意に混在させ
ることなく共存させる試みであり、筆者らはこの点にこ
そ作品の質を高める要があると考えている。
属性名 機能
touch ユーザによるタッチコントロール
（演奏）許可
trigger/signal 楽器などによるコントロール許可
fixed オブジェクト位置固定
x <小数値> 開始時の X座標指定y <小数値> 開始時の Y座標指定
表 2. シーンのオブジェクトに設定可能な属性
3.4. 楽器とのインタラクション
ワークショップシステムを使ったコンサートでは、ア
コースティック楽器の演奏者による即興演奏を伴うこと
がある。その場合に、楽器音に応じてシステムを変化さ
せることができれば、ワークショップ参加者と演奏者の
間に関係が生まれるのではないかと考えた。
そこで楽器音のピッチをリアルタイムに検出し、音高
に応じてオブジェクトを動かすということを考えた。例
えば、ドの音であればオブジェクトを横一列に整列させ
るとか、レの音であれば外側に向かって一斉に拡散する
とかいう具合である。場合によっては楽器の音がユーザ
のコントロールに影響を与えることも可能であり、シス
テムを通じた参加者と楽器演奏者とのインタラクション
が形成されるものとなる。
4. ワークショップ・コンサート・展示での活用
ここでは 2015 年 7 月 19、20 日に岐阜県岐阜市で実施したイベント“音の宇宙 ∼つくる、みせる、あわせる∼”の模様を紹介する。このイベントは、岐阜市の公共施設である“ぎふメディアコスモス”の開館記念事業、“みんなのアート”の一貫として企画された16。会場はぎ
ふメディアコスモス内の約 200席規模の“みんなのホール”で行った。表 3は一日のタイムテーブルであり、両日とも同じスケジュールで行われた。
時間 イベント
10:00 - 11:45 体験型展示「不思議の音の森」
11:30 - 13:00 ワークショップ「音楽の森を作ろ
う」グループ A13:00 - 14:30 ワークショップ「音楽の森を作ろ
う」グループ B14:30 - 16:00 体験型展示「不思議の音の森」
16:00 - 17:00 コンサートのための公開リハーサ
ル
17:00 - 18:00 コンサート「コスモス・メディア
コンサート」
18:00 - 21:00 体験型展示「不思議の音の森」
表 3. ワークショップイベントのタイムテーブル
このイベントには、ワークショップ、コンサート、及
び体験型展示の三つの形式のイベントが含まれている。
これらは各々独立したものではなく、互いに関わりあう
ものとなっている。以下それぞれについて、参加者から
見た体験の全容を説明する。
16 開館に向けて（イベント等）/ぎふメディアコスモス開設準備課/岐阜市公式ホームページ http://www.city.gifu.lg.jp/19132.htm
– 15–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
4.1. ワークショップ
ワークショップでは、参加者が MUCCA の使い方をファシリテータと共に学び、各々が作品制作を行って成
果を発表した。各回の参加者は地元の小中学生を中心に
約 15名が集まり、一回あたりの時間は 1時間半であった。最初にファシリテータが MUCCA の使用方法を説明し、参加者はその後スタッフのサポートを受けながら
自由に制作を行った。ワークショップ後半では参加者に
よる成果発表として、グループごとにオブジェクトを投
稿して会場のスクリーンに投影した。
このワークショップは、後に行うコンサートの準備の
側面も持つ。ワークショップ内ではコンサートの予告と
して、MUCCA の演奏と楽器演奏者による即興演奏のアンサンブルをデモンストレーションした。そしてコン
サートに MUCCA 演奏者として参加してもらう参加者をその場で募った。
4.2. コンサート
コンサートは、ワークショップ参加者の成果をアコー
スティック楽器演奏者とともに音楽作品として統合し、
発表する場である。各発表作品は 5分程度で、MUCCAアプリによるコントロール演奏のみのパターンや楽器
の伴奏付きのパターンなど、数種類の組み合わせで行っ
た。MUCCA アプリの演奏は、参加者の中の希望者に実施してもらった。大人数が MUCCA アプリを用いて演奏操作する場合には、古川が指揮を行い音楽的構成を
考慮しながら参加者に演奏の指示を出した。
今回即興演奏に使用した楽器は、アコーディオン、
サックス、ピアノなどである。楽器音は先述の通りピッ
チを検出し、投影されたオブジェクトを操作できるよう
にした（図 5）。
図 5. コンサートの様子
4.3. 体験型展示
体験型展示では、参加者がイベント開催前に投稿した
オブジェクトや会場で投稿したオブジェクトが次々と
スクリーンに現れる。会場ではタブレット端末からスク
リーンのオブジェクトを動かして演奏ができる。従っ
て参加者は、事前投稿、会場投稿、コントロールによる
演奏などの形で参加することができる。勿論、ワーク
ショップ参加者の作品もこの自動展示に含まれる。なお
事前投稿の場合、投稿に使用したタブレット端末を会場
に持参してコントロール要求を行えば、自分の作成した
オブジェクトを呼び出すことができる。
4.4. イベント参加者の反応
本イベントにはワークショップ参加者とそのご家族や
保護者の方、またコンサートと展示への来場者など様々
な方に来て頂いたが、参加者や来場者からの評価は概ね
好評であったと捉えている。
多くの参加者は体験を通して三種類の喜びを感じてい
たように見える。一つ目は指導に従いアプリを操作して
思い通りに動作したことに対する満足感、二つ目は会場
のスクリーンで他者と交流するときの高揚感、三つ目は
成果物を家族や友人に見せて議論するときの表現欲求
に対する充足感である。特に三番目については、ファシ
リテータが指示せずとも自然とあちらこちらで議論が
起こっていたのは興味深いことであった。また、自分の
作ったものに対して意味を見出し、思い入れを持って他
者に伝えようとする参加者の姿も印象深かった。
5. 課題・考察と展望
5.1. 表現の探求の促進
今回のイベントを通して筆者らが最も気になった問題
点は、参加者がアートとしての音楽表現の探求をするま
でには至らなかったことである。実際のイベントは参加
者は、ひと通りの操作を理解して表面的に遊ぶ段階まで
しか到達できなかった。これには様々な原因が考えら
れるが、一因にはワークショップの時間が一時間半と短
かったことがある。また別の要因として、視覚的要素の
面白さに参加者の興味が強く向けられてしまい、音楽は
二の次になっていたということもある。
この点を改善して成果物の音楽的性質の違いにまで注
意を向けさせるには、深く表現を探求できるだけの十分
な時間を取ることと、ファシリテータが適切に参加者の
関心を誘導することが対策として挙げられる。特に、成
果物を顧みて質を高めるという経験の蓄積を体験させる
ためには、一回だけではなく数回に分けてワークショッ
– 16–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
プを実施できればより望ましい。また音楽を構成する
一つ一つの概念や構成要素に着目できるよう、ファシリ
テータが参加者に適切な試行錯誤を促すことが必要であ
る。ワークショップではグループ単位での合奏による音
楽的指導も有効であり、それに付随して一般的な音楽教
育指導の知見を取り入れることも多分に可能である。
5.2. ワークショップの評価と知見の蓄積
また今回のイベントの実施により、開発したアプリや
システムを活用してワークショップを成立させられるこ
とまでは言えるが、そこで参加者が具体的に何をどのよ
うに学んだかを詳しく明らかにするには至っていない。
中橋（2006）は、メディア・リテラシー研究における一つの課題として、表現能力に関する研究について実践に
応用できるような理論的知見の蓄積の必要性を説いてい
る [4]。一方で高木（2012）はワークショップの客観評価の困難さについて「『プロセスの活性化・創発の重視』
『短期完結』というワークショップの一般的な特性は、
（中略）実践の評価を困難なものにしてきた」と指摘し、
いくつかの客観評価手法について提案をしている [5]。今後ワークショップを実施する際には、ドキュメンテー
ションや評価の方法も検討することが重要課題となる。
5.3. 創作表現体験モデルの世界的な展開
今後の展望としては、ワークショップを様々な場所で
実施し広く活動を展開していくことが挙げられる。本稿
で述べたアプリ及びワークショップシステムは元々この
点を想定に入れており、システムの操作性を高めるよう
努力している。これからワークショップシステムを何ら
かの形でパッケージ化し、筆者ら以外の誰もが簡便な操
作で使えるようにする予定である。これによって様々な
教育機関や施設等が本システムを利用したワークショッ
プを独立して行うことができるようになる。
また、オンラインの作品投稿フォーラムを作ることも
検討している。例えば作品ごとにオンラインフォーラム
に投稿し、ソーシャルメディアで自分の作品を再生でき
るページヘのリンクを掲載したり、他者の作品を自分の
MUCCAに取り込んだりするようなことが考え得る。以上の二点を併せて行うことで、全世界的な創作表現
体験モデルの展開が可能になることを期待している。
6. まとめ
本稿では、タブレット端末用音楽創作アプリ
“MUCCA”とそれを用いたワークショップについて説明した。視聴覚体験を通じて音楽表現を探求するツール
として設計を始め、更にコミュニケーションの場を形成
する方法も検討して開発を行った。結果としてワーク
ショップ・コンサート・展示という複数の形態で創作体
験ができるものとなった。実際の参加者からも好評を
頂いたことは、一定の評価ができると考えている。一方
で今後の課題となるのは、参加者がより深い創作体験を
できる工夫をすること、ワークショップの客観的評価方
法を考えること、そして本稿で説明した仕組みを創作表
現体験モデルとして広く展開していくことである。こ
れらを踏まえながら、より価値のある体験を生み出せる
よう努力していくつもりである。
7. 謝辞
本稿の執筆に至るまでに、アプリ開発やワークショッ
プの実施で沢山の方々のご協力を賜りました。ワーク
ショップ運営と美術面でご協力いただいた中川隆氏と肥
後沙結美氏、楽器演奏者の西井夕紀子氏と三浦穣氏、ア
プリ開発テストに参加頂いた方々、並びに岐阜メディア
コスモスの堤正男氏をはじめスタッフの皆様方には、こ
の場を借りて厚く御礼申し上げます。
8. 参考文献
[1] Volker Grassmuck, Kiyoshi Furukawa, Masaki Fu-jihata and Wolfgang Münch (2005) Zkm Digital ArtEdition 3: Kiyoshi Furukawa, Masaki Fujihata andWolfgang Munch, Hatje Cantz Verlag.
[2] 苅宿俊文・佐伯胖・高木光太郎編 (2012) 『ワークショップと学び 2 (場づくりとしてのまなび)』, 東京大学出版会.
[3] Alexis Deveria (2015) 「Can I use... Support tablesfor HTML5, CSS3, etc」, <http://caniuse.com/> 2015年 8月 1日アクセス.
[4] 中橋雄 (2006)「日本におけるメディア・リテラシー研究の概観とこれからの研究課題」,『教育メディア研究』12(1), 71-85, 2006-01-30, 日本教育メディア学会.
[5] 苅宿俊文・佐伯胖・高木光太郎編 (2012) 『ワークショップと学び 3 (ワークショップと学び)』, 東京大学出版会.
9. 著者プロフィール
濵野峻行 (Takayuki Hamano)
国立音楽大学にて作曲、コンピュータ音楽、画像生成
処理を学ぶ。オランダ王立音楽院ソノロジー研究所にて
修士課程修了。音楽と映像を融合したインタラクティブ
なパフォーマンス作品、インスタレーション作品等を制
作。2014 年まで、科学技術振興機構 ERATO 岡ノ谷情動情報プロジェクト研究員（理化学研究所脳科学総合研
– 17–
先端芸術音楽創作学会会報 Vol.7 No.2 pp.10–18
究センター客員研究員と兼任）。玉川大学、国立音楽大
学、東京芸術大学などで非常勤講師を務める。現在、東
京芸術大学大学院美術研究科後期博士課程在籍。
川村剛 (Tsuyoshi Kawamura)
2005年より東京工科大学にてプログラミングを学び、2008年にリアルタイム授業支援システムを開発。2009年より音声情報処理を大野澄雄教授に師事、日中間の音
声による感情認識の違いについて研究（FIT（情報科学技術フォーラム）、情報処理学会、PACLING で発表）、修士課程修了。2013 年より 科学技術振興機構 ERATO岡ノ谷情動情報プロジェクト客員技師。現在、東京工科
大学で非常勤講師を務める。また個人事業主としてシス
テム開発およびシニア向けの ICTサポート事業で独立。
古川聖 (Kiyoshi Furukawa)
1959 年東京生まれ。入野義郎氏に師事、ベルリン芸術大学、ハンブルク音楽大学でイサン・ユン、ジェルジ・
リゲティのもとで作曲を学ぶ。1991 年に米国のスタンフォード大学で客員作曲家。ドイツのカールスルーエの
ZKMでアーティスト・イン・レジデンス。作品は、新しいメディアと音楽の接点において成立するものが多
く、1997 年の ZKM の新館のオープニングでは委嘱をうけて、マルチメディアオペラ『まだ生まれぬ神々へ』
を制作・作曲。2000 年より東京芸術大学・先端芸術表現科教授。
– 18–
