平成 27年度地域課題解決プログラム

Vuforiaを用いた複数の ARマーカーの連携による 徳丹城西門表示アプリの開発

今野研究室 横田 裕紀、今野晃市

１．緒言 徳丹城とは、現在の岩手県紫波郡矢巾町徳田にあった日本の古代城柵である。現在は図 1のように建物跡や門跡を示す平面表示がされているのみとなっている。そのため、実際に徳丹城跡を訪れた人に徳丹城の情報が伝わりにくい状態となっている。 そこで、本研究では ARによって徳丹城を表示できるようなスマートフォンアプリの開発を行う。AR を用いることで、現地に遺跡を復元するための多額な費用をかけることなくリアルな情報提示を行うことが可能である。また、スマートフォンは一般に広く普及しているものであるため、手軽に利用できる。 従来手法として、徳丹城西門表示アプリ ver1(図 2)が挙げられる。これは、徳丹城西門付近にある案内板をマーカーとして実際に建物があった位置に 3Dモデルを表示するというアプリである。この手法の課題として、特定の地点からしか遺跡の 3Dモデルを見ることができないという点がある。この課題を解決するためには、アプリ使用者の立ち位置を制限することなくAR表示を行えるようなシステムであることが必要である。本研究ではその解決方法として一定間隔で複数のマーカーを設置する手法を提案する。常にいずれかのマーカーがカメラに認識されていれば歩きながらでのAR表示が実現できる。

図 1 現在の徳丹城 図 2 徳丹城西門表示アプリ ver.1 ２．実験方法 動作実験として、読み込んだマーカーによってその視点から見たモデルが正しく表示されているか検証した。AR 表示に用いるマーカーは現地には設置されていないため、A4サイズの紙に印刷したマーカーを複数用いて室内で 3Dモデルを表示させた。図 3のように 1m程度の間隔で 4つのマーカーを設置し、実際に動きながら認識させることで正しく表示されるか検証した。 現地には立て看板のようにしてマーカーを設置することを想定しているため、本実験で使用するマーカーは椅子の背に張り付けることで、同様の条件になるようにした。

平成 27年度地域課題解決プログラム

図 3 実験におけるマーカー設置図

３．結果及び考察 実験の結果、一定の間隔で置いた複数のマーカーを認識することで異なる視点から西門を見られることが確認できた。マーカーは前後左右に 1mほど間隔をあけて設置しており、ユーザーの移動によってマーカーを切り替えて表示されていた。また手ぶれの状況下でもマーカーを追跡して 3Dモデルが表示されていた。 本研究における実験では正しく AR表示されることが分かったが、実際に現地に設置して実験を行うことが必要である。そのためにはマーカーの大きさや間隔を定め、表示する 3Dモデルの位置を現地の地形に合わせて調整する必要がある。また、西門だけではなく徳丹城全体のモデルを表示できるようにしたり、表示されている建物に関する情報が画面に表示されるようにすることも課題として挙げられる。 参考文献 松村佳祐 “タブレットを用いた ARによる徳丹城西門表示アプリの開発” 岩手大学 卒業論文,2016

1

文化財施設の活用方法拡大を目的としたデジタルコンテンツの実装

プロジェクションマッピングによる装束の再現

王 梓

２０１７.３.１７

研究背景と目的

国指定史跡 徳丹城現在の岩手県紫波郡矢巾町徳田にあった日本の古代城柵。1969年（昭和44年）8月5日に国の史跡に指定されている。

目的白装束を着た人物に様々な衣装の映像を投影するプロジェクションマッピングにおいて，人物が実際にその衣装を着ているかのように見せる着衣シミュレーション

初めに

プロジェクションマッピングとは

ビデオやCGなどの映像を，プロジェクタによってスクリーンのような平面に投影ず，建造物・自然物などを含めた立体物に投影する新しい空間表現手法

一般的なプロジェクションマッピングの制作手順

・投影対象のモデリング・映像制作・映像投影

立体物

プロジェクター

ＰＣ

研究計画

衣装へのプロジェクションマッピングの前例を収集し，まとめる

動的物体へのプロジェクションマッピング技術の開発

動的物体の位置、姿勢の認識方法の検討動的物体への投影方法、位置あわせの方法の検討

白装束（古代衣装）へのプロジェクションマッピングを試行

2

研究成果

衣装へのプロジェクションマッピングの前例について

動的物体へのプロジェクションマッピング技術の開発について

白装束（古代衣装）へのプロジェクションマッピングの試行について

いままでの前例について

衣装へのプロジェクションマッピング

・固定するマネキン，モデルへの投影

・練習した動作をする人への投影

・手持ちプロジェクターで投影

静止状態のマネキンや人物への投影

French fashion designer Franck

Sorbier

Collection of haute couture for

the Fall/Winter 2012-2013

決められた動作をする人物への投影

Projection Mapping Fashion Show in Seacon Bangkae Launching Event at Plaza

Athenee, 7 July 2011

3

手持ちプロジェクターによる投影

PrickImage studio

WalkAbout Projection

a wearable structure that

extends the projection

surface to the whole body

Alejandro Rolandi

The University of

Technology (Sydney)

そのほか

perfume at Cannes Lions International Festival of Creativity 2013,7

まとめ

リアルタイムトラッキングが応用した例が少ない

投影対象の衣装はほどんど固い布で縫製して、リアルタイムのクロスシミュレーションが試してない

参加型の作品が少なく、インタラクティブ性が欠けている

ダイナミックPMの技術の開発方法について

使用するフリーツール

映像制作にBlender

映像投影にVPT

BlenderとKinectの連結に（Motion capture）NI mate

4

技術の実現（Motion Capture)

OPEN NI>IN mate>Pythone>

白装束へのPMの試行について

制作手順

・簡単に着付けできる白い狩衣を制作

・古代衣装の３DモデルをBlenderで生成、クロスシミュレーション

・服装のテクスチャ、アニメーションをデザインする

・人の動きをKinectでトラッキングし、Blenderと連動させ

・人の位置とマッチングさせて投影

白装束を着る来場者

プロジェクター

kinect

古代衣装の３Dモデル

衣装調査

狩衣

平安時代以降の公家の普段着。もともとは狩の時に着用したのでこの名前がついたが、活動的であることから次第に普段着として定着した。その後、時代を経るに従って公服としての色彩を増し、武家の礼服ともなった。現在では、神職の常装となっている。

構成下着を着て指貫（あるいは差袴）をはき、狩衣を着るだけである。また、立烏帽子をかぶる。

普段着という性質上、狩衣の色目・紋様は全くの自由である。ただし、禁色は避けられた。

狩衣の制作

狩衣の装束図 展開図

単 展開図

狩衣の型紙

縫製した単

5

クロスシミュレーションについて

クロスシミュレーションの手順

•クロスと衝突するモデル（人）を作成

•メッシュオブジェクト（狩衣）の初期形状を作成

•狩衣に物理演算のクロスを設定

•人のモデルに物理演算のコリジョンを設定

•モデルに沿ったアーマチュアを作成

•モデルにアーマチュアモディファイアを設定

•kinectでトラッキングしたリアルタイム3Dモデルを

NImateでアーマチュアと位置づけ

クロスシミュレーションの実験

クロスシミュレーション実験の問題点

画像クオリティーと演算スピードの関係／バランス

リアルタイムでの演算の可能性

ピン留めの活用

布のしわや衝突などの要素の調節

コンテンツ制作

6

静止状態の投影試行 投影試行の問題点

静止状態下の位置あわせ

場所や光源による影響

トラッキングに与える影響

今後の課題

クロスシミュレーションの問題点の解決

リアルタイムトラッキングの実験

投影試行の問題点の解決

作品の完成に向けてコンテンツ制作

ご清聴ありがとうございます