10月号2017No.151

NHKは、9月14日から19日にオランダのアムステルダムで開催されたIBC*1 2017において、8Kスーパーハイビジョンやインターネット活用技術など、最新の研究開発成果を展示しました。IBCは、世界中の国と地域から5万人以上が参加する欧州最大の放送機器展です。

NHKは、広大な会場の中の“Future Zone*2”にブースを開設し、「8Kリビングルーム」を中心に展示しました。130インチの8Kシート型有機ELディスプレーと22.2マルチチャンネルの三次元音響システムが置かれたリビングルームでは、7月に開催されたFIFAコンフェデレーションズカップ ロシア2017決勝戦など、最新の8Kコンテンツを上映。来場者の方々に2020年代を想定した「8Kのある生活」をイメージしていただきました。また、シート型ディスプレーの要素技術や120Hz制作機器、8K3板式カメラや8K伝送技術など、8Kに関連した技術を併せて展示しました。

さらに、ボールの軌跡を実写映像にリアルタイムでCG合成して表示する「スポーツグラフィックスシステム」や、テレビとスマホ・IoT機器との連携サービスである「Hybridcast Connect X」なども紹介し、最新の放送技術を幅広く展示しました。

来場者からは、「8Kリビングルームを見て、家庭での8K視聴がすぐそこまで来ていることを実感できた」「スポーツグラフィックスシステムは、撮影から表示までの遅れが少ないことがすばらしい」「Hybridcast Connect Xは、スマホ起点でテレビを見てもらうアプローチとして有効だ」など、多くの期待の声を頂きました。

展示と併せて開催された会議では、視覚障害者のための解説音声を自動で生成する音声ガイドや、8K信号を撮影現場から放送局に伝送するFPU（可搬型無線伝送装置）に関する講演を行ったほか、ITU-R*3で検討されている将来の放送についても紹介しました。

技研では、2020年の東京オリンピック・パラリンピック、そしてその先を見据え、より高品質で高機能な放送サービスの実現に向けて、これからも先導的な研究開発を推進していきます。

*1 IBC (International Broadcasting Convention): 国際放送機器展*2 Future Zone: 世界の放送関係の研究機関や大学が最新のプロジェクトや開発機器を展示するゾーン*3 ITU-R (International Telecommunication Union Radiocommunication Sector): 国際電気通信連合 無線通信部門

IBC2017でNHKの最新技術を展示

NHKブースの外観

8Kリビングルーム

スポーツグラフィックスシステム

技研では、複数のロボットカメラを連動制御することで、被写体の位置と動きに応じた多視点映像を撮影できる「多視点ロボットカメラ」の研究開発を進めています。多視点映像とは、異なる場所に配置された複数のカメラで被写体を撮影した映像です。多視点映像を切り替えて表示することにより、時間を止めた状態で被写体の周囲を回り込んで見ているかのような映像表現「ぐるっとビジョン」を実現することができます。

7月17日に放送された「NHK学生ロボコン2017」では、16台のロボットカメラを使って競技の模様を撮影しました。今年のロボコンでは、ロボットがフィールド上の7つのスポットにディスクを投げて乗せる競技が行われ、ディスクを投げるシーンで視点を切り替えて、その動きをより分かりやすく表現しました。そのほか、ディスクの軌跡を分かりやすく表示する技術「2.5次元マルチモーション」も、会場の観客向け映像として活用しました。

今後も、多視点映像の撮影技術に関する研究開発に取り組み、スポーツやドラマなどさまざまな番組での活用を進めていきます。

研究成果を番組で活用 〜 NHK学生ロボコン2017 〜

多視点ロボットカメラ

夏休みに子供向けイベントを開催

技研では、8月に子供向けのイベントを2つ開催しました。8月21日・22日には、NHK放送研修センターの協力のもと「夏のNEWSなアニメ—ション in NHK技研」を実施。実写のコマ撮りアニメの制作とそのアニメを素材としたニュース番組を制作するという課題に、夏休み中の小学校4年生から中学生まで50人が熱心に取り組みました。

8月27日には、技研講堂で「NHK技研コンサート 夏休み親子で楽しむ演奏会」を開催。“ ０歳からの世界音楽探検の旅！”と題して、ヴァイオリニストの益子侑さん率いるエレクトリック・ステラ・オーケストラに、世界中の様々な国の名曲を演奏していただきました。すべての楽曲を電子楽器で演奏するという初の試みでしたが、その素敵な演奏に小さなお子さんから保護者の方まで楽しいひとときをお過ごしいただきました。今後も、地域のみなさまに参加いただけるさまざまなイベントを企画していきます。

会場での撮影風景 （白丸がロボットカメラ）

「ぐるっとビジョン」による映像の一例

視点A 視点B 視点C

ニュース番組の制作体験 親子で楽しむ演奏会

家族や友人と一緒にテレビを見ることは、番組に関連したコミュニケーションを生むなど、一人で視聴する時とは異なる楽しみが期待できます。技研では、ロボットと一緒にテレビを視聴することで、一人の時でも複数人で視聴しているようにテレビを楽しめる「テレビ視聴ロボット」の開発を進めています。今回、ロボットがテレビを視聴するために必要な基本機能として、ロボット周囲のテレビや人を検出する技術と、番組に関連した発話文を生成する技術を開発し、これらの動作を制御する機能と合わせて市販のロボットに搭載しました（図1）。開発した機能により、ロボットがテレビや人に向かって身ぶり手ぶりを交えて自発的に発話することができます。（図2）。

■テレビと人を検出する環境センシング技術ロボットはカメラとマイクを搭載しています。ロボットの周囲を撮影した映像と、テレビの枠の特徴を利用する

ことで、テレビ位置を検出します。また、画像の中の人物の顔を検出するとともに、複数のマイクで人の声の方向を推定することにより、人の位置を検出します。

■番組に関連した発話生成技術視聴している番組の字幕から関連したキーワードを抽出し、あらかじめ用意したテンプレートに当てはめること

で発話文を生成します。過去の字幕をもとに、「〜を食べたい」や「〜へ行きたい」といったテンプレートを作成することで、番組内容に沿った発話文を生成できます。

■放送番組に合わせたロボットの発話と動作上記の技術をもとに、ロボットがテレビや人の方を向きながら、生成した発話文に合わせて番組を楽しむふる

まいをしたり、人に話しかけたりします。

今後は各技術の性能を改善し、さまざまなロボットへ展開できるソフトウエアを開発するとともに、ロボットが人のテレビ視聴に与える効果についても研究を進めていきます。

ロボット 視聴者 テレビ

出力デバイス

テレビ検出差分画像、エッジ画像を利用

顔画像検出、音源定位を利用

・テレビと人の検出

人検出

環境センシング技術

動作制御

・モーター・スピーカー・赤外線ＬＥＤ

音声合成

音声認識

入力データ・番組情報・字幕情報

入力デバイス・カメラ・マイクロホンアレー

キーワード抽出番組ジャンルに関連した抽出

感情表現文のテンプレート

・「Ａ子さんきれいだな。」・「東北に行ってみたいね。」

発話テンプレート

発話生成技術

図１：テレビ視聴ロボットの全体構成

テレビ視聴ロボット 〜テレビ番組を一緒に楽しむパートナー〜ネットサービス基盤研究部 星 祐太

図２：テレビ視聴（上）と発話動作（下）

技研だより 第151号 2017/10NHK放送技術研究所 〒157-8510 東京都世田谷区砧 1-10-11 Tel： 03-3465-1111（NHK代表）

インターネット活用技術（全5回）

タブレットやスマートフォンなどのさまざまなデバイスの普及や、インターネットの高速化によって、動画コンテンツの視聴方法が多様化しています。放送局もVOD（Video on Demand）サービスや見逃し配信サービスに取り組むなど、インターネットで放送番組を視聴することが身近になってきました。

一方、視聴方法が多様化するとともに、その利用方法は複雑化しています。視聴デバイス（端末）や配信サービスによって、利用するアプリケーションや操作方法が異なります。例えば、ある番組をインターネット経由で見る場合、ユーザーは視聴するメディアや方法を選択する必要があります。しかし、その場で利用できるデバイスの機能や通信環境、配信サービスの提供時間など、さまざまな情報から適切な方法を探して選択することは難しいものです。結果として、視聴できるはずの番組を見逃したり、高画質の動画が見られるにもかかわらず低画質で見ることになる場合もあります。

技研では、ユーザーが放送や通信の配信メディアや視聴機器ごとに、異なるアプリの選択や操作を行うことなく、容易にコンテンツを視聴できる「メディア統合プラットフォーム」の実現に向けた研究を進めています。

メディア統合プラットフォームは、各メディアにおけるコンテンツの配信状況を管理するサーバーと、放送や通信で提供されるコンテンツを統合して取り扱うデバイス上の処理エンジンを組み合わせたシステムです。

管理サーバーのコンテンツ配信状況と処理エンジンで取得されるユーザー状況から、放送とネットの適切な使い分けを自動的に行い、配信メディアによらず同じ使い勝手を提供します。ユーザーはどのデバイス上でも同じリンクをクリックするだけで、状況に合わせた手段で動画コンテンツを視聴できます。

今後も、進化を続ける動画配信サービスやメディア環境に合わせて、インターネットを活用した新たなコンテンツ視聴の実現に向けた研究開発を進めていきます。

インターネットは、私たちの生活の中でますます便利で身近になり、放送サービスにおいてもインターネットの活用は不可欠なものとなってきました。この連載では、視聴者のみなさまの生活の中で、便利でかつ安全安心な放送サービスを実現するための「インターネット活用技術」について紹介します。

最終回 メディア統合技術 〜放送とネットを適切に使い分けるコンテンツ視聴〜

ネットサービス基盤研究部 遠藤 大礎

全体のシステム構成と流れ

2. リンクをクリック

ユーザーインタフェース

5. 状況に応じて 視聴方法を決定

メディア統合エンジン

配信状況管理サーバー

1. 配信方法の登録

4. 配信方法一覧

3. 配信方法の問い合わせ

ユーザー デバイス 配信者

6. 番組取得・再生！

メディア統合プラットフォームの概要

メディア統合 プラットフォーム

同じ使い勝手 自動で適切な使い分け

コンテンツを示すURL

コンテンツを示すリンクによって 配信メディアに依存せずにコンテンツ視聴

ユーザ状況とコンテンツ配信状況から放送とネットを適切に使い分け

BS/CSフルセグワンセグ

VOD1VOD2VOD3

インターネット同時配信ホームネットワーク転送

ネット接続テレビ

スマホ

PC