Embed Size (px)
Citation preview
2016年 4月 19日
日本電信電話株式会社
NTT、ニコニコ超会議 2016と Japan KABUKI Festival in Las Vegas 2016にて、歌舞伎
と最新の ICT技術の融合を実現
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下 NTT）
は、株式会社ドワンゴ（本社：東京都中央区、代表取締役社長：荒木隆司、以下 ドワンゴ）
が運営する日本最大級の動画サービス「niconico」の、4月 29日・30日に幕張メッセで開
催する超巨大イベント「ニコニコ超会議 2016」内で上演される「超歌舞伎」と、松竹株式
会社（本社：東京都中央区、代表取締役社長：迫本淳一、以下 松竹）が 5月 3日～7日に
米国ラスベガスで開催する「Japan KABUKI Festival in Las Vegas 2016」にて上演される
「KABUKI LION 獅子王」の２つのイベントにおいて、歌舞伎と最新の ICT技術のコラボレ
ーションによる、全く新しい歌舞伎の実現にチャレンジします。
「超歌舞伎」では、NTTの研究所が開発したイマーシブテレプレゼンス技術「Kirari!」（※
1）を使用することで、出演者が観覧者の目の前であっと驚く映像・音響演出を実現するほ
か、新しい情報提示技術を用いて、歌舞伎の楽しみ方を広げる新たな「おもてなし」を提
供していきます。（別紙１）
「KABUKI LION 獅子王」では、NTTと松竹が進める新たな歌舞伎鑑賞の提案を目指し
た共同実験の第一弾として、5月 7日に羽田空港国際線旅客ターミナルにて、ラスベガス本
公演の模様を Kirari!等の最新技術を使用して高臨場で遠隔に届ける 3つの実験を行います。
また、ラスベガス本公演内でも、止まった画像にリアルな動きの印象を与える光投影技術
「変幻灯」による斬新な演出を行うほか、ラスベガスの劇場外において好きな隈取をかざ
すと自分の顔と合成されてサイネージに表示するアトラクションを設置するなど、会場内
外で歌舞伎演出を広げる取り組みを行います。（別紙２）
これら 2つのイベントを契機として、NTTの研究所は、ICT技術を用いた次世代の歌舞
伎の実現に向けた研究開発に引き続き取り組んでいくとともに、本取り組みで得られたエ
ンターテイメント分野における表現の知見を、2020 年に向けた深い感動、新しい体験を提
供するおもてなしの取り組みにフィードバックしてまいります。
※1 http://www.ntt.co.jp/news2016/1602/160216b.html
＜本件に関するお問い合わせ先＞
日本電信電話株式会社
研究企画部門 R&D推進担当
03-6838-5328
（別紙１）ニコニコ超会議 2016「超歌舞伎」
NTT の研究所は、2014 年に開かれた「ニコニコ超会議３」に「NTT 超未来研究所」を
初出展し、「ニコニコ超会議 2015」も、規模を拡大した「NTT 超未来研究所 Z」を出展し
てまいりました。
「ニコニコ超会議 2016」では、NTTが超特別協賛する「超歌舞伎」に関して、最新技術
の提供によって、従来とは全く異なる歌舞伎演出や、歌舞伎の楽しみ方を広げる取り組み
を実現していきます。
（１）新たな歌舞伎演出へのチャレンジ
NTT が研究開発を進めてきた、あたかも競技場にいるかのような体験をあらゆる場所で
感じることができる世界を目指すイマーシブテレプレゼンス技術「Kirari!」の以下の研究
開発成果を用いて、全く異なる歌舞伎演出にチャレンジします。
①「被写体抽出技術」を用いた歌舞伎俳優と擬似 3D虚像との共演
新しい被写体抽出アルゴリズムを用い、被写体の背景に特別な加工を施す必要なく、自
然体の映像から被写体部分のみリアルタイムかつ精緻に抽出します。また、抽出した映像
を、被写体が演じている場所とは異なる場所に擬似 3D 虚像によって立体的に投影します。
これにより、従来実現しえなかった、リアルな歌舞伎俳優と擬似 3D虚像との共演を実現し
ます。
②「バーチャルスピーカ技術」によるバーチャル・シンガー 初音ミクの自然な存在感の
実現
スピーカを配置できない映像中の被写体そのものに音像を定位させるとともに、被写体
の左右移動に追従して音像位置を制御することができる「バーチャルスピーカ技術」を用
いて、初音ミクの口元から声が観客へ直接届くような存在感の高い音響演出を実現します。
（２）歌舞伎の楽しみ方を広げる取り組み
2020年に向けて開発を進めてきた、革新的なUI・メディア技術を応用した新しい情報提
示技術、並びにエヌ・ティ・ティ・コムウェア株式会社（本社：東京都港区、代表取締役
社長：海野 忍、以下 NTT コムウェア）が開発を進めてきた情報配信技術を用いて、歌舞
伎の楽しみ方を広げる新たな「おもてなし」を提供していきます。
①「Kirari! for Mobile」による立体映像コンテンツの視聴体験
NTT が新たに開発した、スマートフォンと組み合わせて手軽に 3D 映像を視聴できるデ
バイス「Kirari! for Mobile」の箱型ペーパークラフトを用いて、超歌舞伎に来場された方
に初音ミクの立体映像コンテンツを期間限定で視聴いただけます。箱の中に浮かび上がる
初音ミクを掌で鑑賞しながら超歌舞伎の余韻を味わうといったことが可能となります。
② 「スマホ画面同期配信システム」による舞台の進行に合わせた自動解説表示
NTTコムウェアの情報配信技術（※2）を用いて、来場者のスマートフォンのブラウザで
あらすじをガイドするシステムを提供します。ブラウザのみで動くため専用アプリのダウ
ンロードが不要であり、個人のスマートフォンでも気軽にご利用頂けます。
利用者は予め指定されたURLへアクセスすることにより、公演開始前は、自由に歌舞伎
に関する解説を読むことができます。公演開始後は舞台の進行に合わせた解説に自動的に
切り替わります。歌舞伎が初心者の方でも、場面に合わせた解説により理解が深まり、楽
しみが更に広がります。
※2 https://www.nttcom.co.jp/news/pr15082401.html
■超歌舞伎 Supported by NTT 開催概要
演目名 ： 今昔饗宴千本桜（読み：はなくらべせんぼんざくら）
出演者 ： 中村獅童、初音ミク、ほか
脚本 ： 松岡亮
演出・振り付け ： 藤間勘十郎
原作 ： ・小説「千本桜」シリーズ
（原作：黒うさ P／WhiteFlame、著・イラスト 一斗まる、
発行：株式会社 KADOKAWA アスキー・メディアワークス）
・歌舞伎「義経千本桜」 （作：竹田出雲、三好松洛、並木千柳）
観覧 ： 無料 ※ニコニコ超会議の入場料のみでご覧いただけます。
日程 ： 4月 29日（金・祝）12時の部、14時の部、16時の部
4月 30日（土） 13時の部、15時の部（２日間計 5回上演）
場所 ： 幕張メッセ イベントホール
主催 ： ニコニコ超会議実行委員会
製作 ： 松竹株式会社／株式会社ドワンゴ
制作協力 ： クリプトン・フューチャー・メディア株式会社
超特別協賛／技術協力 ： NTT
「初音ミク」とは
http://piapro.net
クリプトン・フューチャー・メディア株式会社が開発した、歌詞とメロディーを入力して誰でも歌を歌わせることがで
きる「ソフトウェア」です。大勢のクリエイターが「初音ミク」で音楽を作り、インターネット上に投稿したことで一
躍ムーブメントとなりました。「キャラクター」としても注目を集め、今ではバーチャル・シンガーとしてグッズ展開や
ライブを行うなど多方面で活躍するようになり、人気は世界に拡がっています。
（別紙２）KABUKI LION 獅子王
「KABUKI LION 獅子王」は、松竹が 5月 3日～7日に米国ラスベガスで開催する「Japan
KABUKI Festival in Las Vegas 2016」にて上演される、市川染五郎丈を中心とした華や
かな顔触れにより、歌舞伎の魅力と先端のテクノロジーを融合させた“全く新しい新作
歌舞伎”です。
本イベントを通じて、NTT と松竹は、次世代の歌舞伎の実現に向けた以下の共同実験を
行います。
（１）本公演模様の遠隔ライブ伝送トライアルの実施
NTT の研究所の研究用ネットワーク GEMnet2 と米国の研究教育用ネットワーク
Internet2を組み合わせて日米間の映像伝送ネットワークを構築し、ラスベガスで行われて
いる本公演を遠隔でライブ体験できるような 3つの実験を、5月 7日に羽田空港国際線旅客
ターミナルで行います。本取り組みを通じて、これまで専用劇場で実施していた歌舞伎が、
遠隔でも高臨場な視聴が可能となることにより、歌舞伎ファンの裾野が国内外に広がり、
日本への観光客の増加、および歌舞伎劇場へのリアル観劇者の増加につながることが期待
されます。
具体的な実験内容は以下のとおりです。
① 世界初！Kirari! を使った擬似 3Dによる遠隔舞台挨拶
Kirari!の被写体抽出技術を用いて、現地にて行われる市川染五郎丈の舞台挨拶をリアル
タイムに伝送し、市川染五郎丈が羽田空港の会場に居るかのような体験を実現します。
また、羽田空港の会場にいるマスコミ関係者との質疑応答も実施します。遠隔国際伝送
で擬似 3D表示を実現するのは世界初の取り組みとなります。
② 世界初！4Kマルチ画面を用いた空間再現（全天周ルーム）
ラスベガスの歌舞伎公演会場に設置した 9 台の高精細カメラの映像を、従来の
H.264/AVC に比較して圧縮性能が 2 倍に向上した H.265/HEVC（※3）ハードウェアエン
コード技術により符号化、IP を含む多様なネットワーク間、及び複数の映像・音声といっ
たメディア間の柔軟な同期と誤り訂正（FireFort®-LDGM FEC（※4））によるロバストな
伝送が可能となるトランスポート規格 MMT（※5）を用いて、世界で初めて国際伝送しま
す。正面舞台（180インチ/面×3面）に加えて、舞台花道（下手側 1面と、背面 3面）、及
び、天井（上方 2面）の全天周に 4Kマルチ映像として同期提示することで、歌舞伎役者の
縦横無尽な演技を再現し、観客は実際の舞台前・花道に囲まれた座席に居るような感覚を
体験できます。
※3 H.265/HEVC（High Efficiency Video Coding）
国際標準化団体である ITU-T及び ISO／IECによって規格化された、最先端の映像圧縮方式。2014
年 4月に規格化された。
※4 FireFort®-LDGM FEC
LDGM（Low Density Generator Matrix）符号に基づくパケット伝送用誤り訂正符号の一つで、
演算負荷が少なく強力な誤り訂正能力が特長。
※5 MMT（MPEG Media Transport）
国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEG で制定するメディアトランスポート
規格。
③世界初！4K全天球映像のモバイル端末での高画質なライブ配信
ラスベガスの歌舞伎公演会場に設置した 360 度全天球カメラの映像から、視聴者がヘッ
ドマウントディスプレイ（HMD）を通して、好きな方向を自由に見渡すことのできるライ
ブ視聴を実現します。
今回、見ている方向の映像を高品質に選択配信する「全天球映像向けインタラクティブ
配信技術」を、新たに 4K品質の全天球映像のライブ配信にも対応させることで、スマート
フォンの様な通信帯域の限られたモバイル環境でも、あたかもその場にいるかのような臨
場感あふれる映像をリアルタイムに体験することが世界で初めて可能となります
なお、本遠隔ライブ伝送トライアルの開催概要は（別紙３）のとおりです。
（２）ラスベガス本公演における変幻灯を用いた斬新な演出の実現
NTT の研究所が開発した、止まった画像にリアルな動きの印象を与える光投影技術「変
幻灯」（※6）を、歌舞伎演出に応用します。今回新たに大型化と位置ずれの自動補正技術
を取り込むことで、10m 程度もの背景画にリアルな動きを与えることに成功しました。歌
舞伎で従来用いられる背景画や小物がそのまま動き出すような錯覚をあたえることができ
るため、高輝度のプロジェクタによる映像の重畳とはまた違った、歌舞伎の伝統の世界に
入り込んだ演出が可能となります。
※6 http://www.ntt.co.jp/news2015/1502/150217a.html
（３）KABUKI LION Interactive Showcase - Henshin Kabuki 変身歌舞伎 -
ラスベガスの劇場前にて、歌舞伎独特の化粧法である隈取をモチーフに、NTT の研究所
の先端技術を組み合わせた展示実験を行い、日本が誇る”文化と技術”が織りなす不思議な世
界観を体験いただくとともに、さまざまな形態のインタラクティブ展示の可能性を検証し
てまいります。
まず、体験者が好みの隈取お面を手に取り大型モニターの前に立つと、お面の種類が「ア
ングルフリー物体検索技術」によりお面の向きや傾きによらず高精度に自動認識され、そ
の隈取模様が、体験者の顔に AR重畳表示（変身歌舞伎）されます。AR重畳表示では、「エ
ッジコンピューティング技術」により遠隔に設置したサーバ側で画像処理を行った場合で
も高速追従が可能となり顔を激しく動かしてもぶれにくい重畳表示が実現できます。
また、巨大な立体顔面オブジェクトに歌舞伎特有の間や表情といったダイナミックな演
出と共にプロジェクションマッピングし、その際の体験者の体感を評価します。これによ
り、演出等における重要形成要素（キーポイント）を抽出して現実以上に際立たせる
「Amplified Experience(AX)」というコンセプトと、その実現に必要な「キーポイント抽
出・強調技術」の確立に向けた検証を行います。
加えて、壁面に掛けられた 50個もの動くはずのない隈取お面が、公演で用いられている
「変幻灯」技術によって、笑ったり、怒ったり、多彩な表情を自在に加えることができま
す。
KABUKI LION Interactive Showcase - Henshin Kabuki 変身歌舞伎 –の全体イメージ
アングルフリー物体検索技術でお面の種類を分析 分析結果の隈取が AR重畳された様子
■Japan KABUKI Festival in Las Vegas 2016の概要
主催・製作：松竹株式会社
後援：
サンフランシスコ総領事館（Consulate-General of Japan in San Francisco）
独立行政法人日本貿易振興機構（JETRO:Japan External Trade Organization)
国際交流基金（Japan Foundation, Los Angeles）
日本政府観光局（JNTO：Japan National Tourism Organization)
北加日本商工会議所(JCCNC:Japanese Chamber of Commerce of Northern California)
JLOP(Japan Localization and Promotion）
特別協賛・技術協力：パナソニック株式会社
技術提供：日本電信電話株式会社
協賛：株式会社 D.A.G、八海醸造株式会社、セコム株式会社、セイコーウオッチ株式会社
空間創造：ネイキッド（劇場公演） 映像制作：チームラボ（Water Screen Digital Show）
協力：MGM RESORTS INTERNATIONAL
（別紙３）遠隔ライブ伝送トライアルの開催概要
日時：5月 7日（土）8:00～21:30
場所：東京国際空港ターミナルビル株式会社（TIAT） SKY HALL
（羽田空港国際線旅客ターミナル 4階）
実験参加方法：
「③世界初！4K全天球映像のモバイル端末での高画質なライブ配信」は、当日整理券
方式による参加を受け付けます。SKY HALL前の受付までお越しください。より多く
の方に体感いただくため、視聴時間は上限を設けさせていただく予定です。整理券が
なくなり次第、配布終了とさせていただきます。
【整理券配布時間】
7:30より、8:00～10:00に行われるライブ配信の整理券を配布します。
（先着順、タイミングの指定はできません）
11:30より 12:00～14:00に行われる録画ダイジェスト配信の整理券を配布します。
16:30より 17:00～19:00に行われる録画ダイジェスト配信の整理券を配布します。
19:00より 19:30～21:30に行われる録画ダイジェスト配信の整理券を配布します。
※「①Kirari! を使った擬似 3D による遠隔舞台挨拶」「②世界初！4K マルチ画面を
用いた空間再現（全天周ルーム）」は、訪日外国人を中心としたモニターによる実
験を予定しております。
※スケジュールは予告なく変更する場合がございますので予めご了承ください。
