Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
映像機器 コンピュータエンターテインメント
の
最新技術トレンド トライゼット西川善司
2014.5.24
こんにちは、西川善司です テクニカル・ジャーナリストをしています
元々は某大手電機メーカープログラマでした
雑誌やネットメディアなどで記事を書いています
製品開発に関わるコンサルティングをすることもあります
マイクロソフトMVPアワード10年連続受賞
2014年度も頂きました!
最近特にフォーカスしているテーマ
ゲーム開発技術
3Dグラフィックス技術
映像デバイス
PC関連技術
“西川善司”を検索すると…
結構色々出てきます
本日、お話する内容
ここ数年内に発表された映像技術やコンピュータエンターテインメント技術の総括
既に詳細は西川善司記名での記事化をしております
スライド中のURLをご参照ください
※スライドは下記のURLでダウンロード出来ます
http://z-z-z.jp/zenji/bornzenji.pdf
CG技術の最新動向
GPU技術の最新動向 CPU-GPU間、GPU-GPU間の超高速バスI/F
NVIDIA NVLINK
GPGPU用途に必須技術
3Dメモリ技術
2016年に実用化が開始される。
メモリ帯域が4倍以上に向上
DirectX12 GDC2014で発表された
2015年登場予定
パフォーマンス重視のアーキテクチャ大幅改変
Windows7,8へ供給
[GDC 2014]DirectX 12,ついに発表。その特徴に迫る http://www.4gamer.net/games/033/G003329/20140321013/
MANTLE パフォーマンス重視のグラフィックスAPI
AMDが2013年後期に発表
AMD RADEON HD7000系(GCNコア世代)以降に対応
Windows以外のLinux,Mac,Mobile機器への展開も予告される
BATTLEFIELD4など、対応ゲームも出始めた
Frostbite 3エンジンの凄腕開発者が語る「Mantle」の可能性。Windows以外でもサポートできる? http://www.4gamer.net/games/234/G023477/20131116002/
MANTLE対DirectX12 MANTLEやDirectX12が登場した時代背景
GPUのアーキテクチャが似通ってきた
プログラマブルシェーダアーキテクチャ
統合型シェーダアーキテクチャ
GPGPU対応
極薄抽象化レイヤー化へ
マルチコアCPUの積極活用
GPUプログラミングのボトルネックがCPU側で発生している現実を無視出来なくなってきた
パフォーマンス向上
家庭用ゲーム機のGPUプログラミング作法に学ぶ
新しいレンダリングメソッドの開拓も可能に?
レイトレーシング技術復権の兆し?(1) Imagination TechnologiesがPowerVR Wizardを発表
PowerVR6に交叉判定ユニット(Ratracing Unit)を統合
既存のグラフィックスレンダリングとレイトレーシングが共存できる設計
従来のラスタライズレンダリングに対し部分的にレイトレーシングを取り入れるようなハイブリッドレンダリングが可能に
プログラマブルレイトレーシングプラットフォーム「OpenRL」も提供 [GDC 2014]PowerVRがついにリアルタイムレイトレーシングエンジンを統合。ゲームグラフィックスはハイブリッド時代へ
http://www.4gamer.net/games/144/G014402/20140324062/
レイトレーシング技術復権の兆し?(2)
ピクサーがGPGPUベースのレイトレーシングエンジンOptiXを採用
OptiXとは?
NVIDIA製GPUのGPGPUプラットフォーム「CUDA」ベースのプログラマブルレイトレーシングエンジン
照明設計に採用
最終レンダリングは未だにCPUベースのレイトレーシングで実践(笑) [GTC 2014]職人芸集団のPixar,NVIDIAのGPUとゲームグラフィックス技術でCG制作環境のリアルタイム化を目指す
http://www.4gamer.net/games/999/G999902/20140402083/
物理ベースレンダリング(1) 物理ベースレンダリングエンジンの主流化
PS4,Xbox One世代の主流メソッドに
Forza Motorsport5、Infamous:Second Son、Ryse:Son of Rome(CryEngine)、MetalGearSolid V(FOX Engine)、Killzone:Shadow Fall、Unreal Engine4、Luminous Studio、Panta Rhei、シリコンスタジオ新レンダラーなどなど
物理ベースレンダリングとは?
エネルギー保存の法則を意識したレンダリングシステム
BRDF,BSSRDFに対し入射光の総和と出射光のの総和が一致すること
それ以前は「拡散反射項」と「鏡面反射項」を個別に感覚的に調整していた
本来は、拡散反射項を強くしたら、その分、鏡面反射項は弱くなるのに、そうした相関を無視して調整していた
物理ベースレンダリング(2) 物理ベースレンダリングの主流実装方式
拡散反射項
Forza Motorsport5,Unreal Engine4 Lambert法
PantaRhei Oren-Nayar法
鏡面反射項
Forza Motorsport5,Panta Rhei Blinn-Phong法
Killzone:Shadow Fall Cook-Torrance法
Unreal Engine4 Trowbridge-Reitz(GGX)法
動的光源の無制限化①
スケーラブルかつ無制限に動的光源を配置できるようになるレンダリングメソッドが主流に
現在、以下の2つのレンダリングメソッドが有望視されている
Deferred系メソッド
Deferred Shading(Deferred Rendering)
Deferred Lighting(Light Pre-Pass Rendering)
Forward+ Rendering
動的光源の無制限化②
Deferred系
先行してジオメトリをレンダリング
その際に後段に必要な中間パラメータをMRT(Multi
Render Target)にて複数バッファに出力
これをG-Bufferという
後段でこの中間パラメータを参照しながらライティングやシェーディングを行う
画面座標系で光源をレンダリングするようなイメージ
「KILLZEON2」(SCE,2009)
動的光源の無制限化③ Forward+
Zバッファレンダリングをおこなう(Z先だし)
G-Bufferなし
画面を画面座標系でタイルに分割
そのシーンに存在する動的光源が画面内のどこに存在して、そのフレームのレンダリング関わるか否かをComputeShader(GPGPU)にて判断
結果を有効光源リストとして出力
通常のForwardレンダリングを実施
その際に光源リストを参照しながらライティング、シェーディングを行う
動的光源の無制限化④
Deferred系の特徴(長所・短所) 遠くの光源からのスペキュラが反映されるアリティと美しさ
MSAAとの相性が悪い スクリーンスペースのアンチエイリアスで対処できる?
半透明との相性が悪い Order Independent Transparency(OIT)の概念の導入の必要性
Forwardパスを追加すればいいだけ?
1個のシェーダでなくてもパスを分ければ色んなライティング表現、シェーディング表現、マテリアル表現が出来る 方向情報を持ったライトマップの応用や球面調和関数の活用
マテリアル表現のバリエーションが頭打ちになりやすい G-Bufferの1つにマテリアルidをレンダリングすれば対策は可能
G-Bufferがメモリを食う 次世代機では無視出来る問題なのかも?
マテリアルの情報は別のテクスチャに焼いておいてルックアップすれば対処可能
• Forward+の特徴(長所・短所) – Forwardのメリットが全て享受できてDeferredのよいと
ころも取り入れられる • MSAA-OK、半透明-OK
– 多彩なマテリアル表現と無数の動的光源の両立
– テッセレーションを考えると、二度負荷の高いジオメトリレンダリングが入るので無駄が多い
• Light Cullingの際にはテッセレーションしないといった対策案も
– 影生成が付いてこない
– フォグ、アンビエントオクルージョンはどうすればいい?
– リアルタイムグローバルイルミネーションはVirtual Point Lightでやるしかない
– Deferredで出来ること以上のForward+の旨味を出すためにはハイスペックなGPUパワーは必要
結局、Deferred Rendering優勢?
PS4,Xbox One世代向けゲームグラフィックスにはDeferred Rendering採用ケースが目立つ
UNREAL ENGINE4、CRY ENGINE、FOXエンジン、シリコンスタジオの新レンダラ、Panta Rhei、Luminous Studioなど
PantaRheiはForward+にも対応を表明
結局、大局照明技術はどうなった?(1) 一世を風靡したリアルタイムGI技術の「Sparse Voxel Octree
Global Illumination」(SVO-GI)法 NVIDIAが開発し、Unreal Engine4が採用
各所で実装が試みられるもののパフォーマンス的にゲームで使うのは難しい判断される
しかし「VOXEL CONE TRACING(VCT)は結構使える!!」という見解も生まれ、VCTの活用気運が高まる PantaRheiでは形状の定まらない流体のような発光体からの照明実践に
VCTを活用
diffuse
Specular
結局、大局照明技術はどうなった?(2)
結局現状では、IBL(Image Based Lighting)的アプローチが主流 固定グリッドや事前設置プローブから事前生成したキューブマップを光源として使う手法
局所的な相互反射はRealtime Local Reflection(RLR)法でカバー RLR:画面座標系で局所的なレイトレーシングを実践するポストエフェクト
CRYTEKがCRYSIS2で実装したことで広まったテクニック
NVIDIAはVCTを使った軽量版SVO-GIを発表 「PRACTICAL REAL-TIME VOXEL-BASED GLOBAL ILLUMINATION
FOR CURRENT GPUS」(Alexey Panteleev,NVIDIA,2014) http://on-demand.gputechconf.com/gtc/2014/presentations/S4552-rt-voxel-based-global-
illumination-gpus.pdf
CGとクラウド技術
クラウド技術がもたらすもの(1)
現在のクラウドゲーミングは…主に…
既存のサーバー側で動作させているバーチャルマシン上にゲームを起動し、これをネットワークの向こう側のユーザーにプレイさせるもの
G-Cluster他
クラウド技術がもたらすもの(2) クラウドゲーミングがメインストリームになる際にはさらに多様な展開が予測される
クラウド技術使用前提のゲームエンジンの台頭
スクウェアエニックスはクラウドゲーミングエンジン「Project Flare」の存在を発表
BRIGADE 3.0 (OTOY,2014年)
ゲームスタジオ自身がゲームプラットフォーマとなる
作りたいゲームに見合ったスペックのクラウドシステムを構成できる
ゲーム機のスペックに縛られないゲームが提供出来るようになる
BRIGADE 3.0
(OTOY,2014年)
クラウド技術がもたらすもの(3)
ハイブリッド型クラウドゲーミングエンジン http://www.4gamer.net/games/251/G025174/20140325038/
リアルタイム性が重視される処理系はクライアント側で処理する
プレイヤー操作入力処理
自キャラ描画
ゲージや近景の描画
複雑な処理系はクラウド側で処理する
大規模なシミュレーションやAI
プレイヤー操作を反映させたゲーム進行処理
(遠景等の)大規模グラフィックス描画
ゲーム機のライフタイム延長に貢献
PS4とXbox Oneは10年保たせるとメーカーが公言
クラウド技術がもたらすもの(4) グラフィックス描画にレイトレーシング等を採用したクラウドサービス
クラウドレンダリングサービス
IRAY VCA
Octane Render 2.0
ゲームエンジン
BRIGADE 3.0 (OTOY,2014年)
レンダリングにパストレーシングを採用
クラウド側にNVIDIAの「GRID VCA」を採用
クラウドサービス「Amazon Elastic Compute Cloud」
ディスプレイ技術
ボリューム3Dディスプレイ(1) True 3D Display(Burton・慶應義塾大学,2011年)
http://www.4gamer.net/games/038/G003884/20110825004/
Tensor Displays:Compressive Light Field Synthesis using
Multilayer Displays with Directional Backlighting(MIT Media
Lab,2012年)
http://www.4gamer.net/games/017/G001762/20121120002/
ボリューム3Dディスプレイ(2)
RayModeler(SIGGRAPH2010,SONY)
http://www.4gamer.net/games/116/G011649/20100728054/
VOLUMEN(MAXMALI)
http://maxmali.com/volumen/
裸眼で2D、メガネを掛けて3D立体視 2×3Dディスプレイ(神奈川工科大学 情報学部 情報メディア学科 白井暁彦,2012年)
裸眼で映像A、メガネを掛けて映像B ExPixel技術(神奈川工科大学 情報学部 情報メディア学科 白井暁彦,2014年) 神奈川工科大、裸眼とメガネ装着で全く異なる映像を見せられる「ExPixel」技術
http://av.watch.impress.co.jp/docs/news/20140502_646850.html
多重化隠蔽映像技術(1)
ゲームに応用するとかなり面白そう
裸眼でプレイヤー1映像、メガネを掛けてプレイヤー2映像
裸眼で見たときとメガネで見たときとで異なる映像体験を与えるのも楽しそう
多重化隠蔽映像技術(2)
VR対応HMD(1) Oculus Rift DK2(Oculus VR,2014年3月)
6軸自由度への対応
FacebookがOculus VR社を20億ドルで買収 http://www.4gamer.net/games/195/G019528/20130615005/
http://www.youtube.com/watch?feature=player_embedded&
v=fdU-f456N-E
VR対応HMD(2)
Project Morpheaus(ソニー、2014年3月)
ソニーがVRに参入
PS4対応。6軸自由度に対応 http://www.4gamer.net/games/251/G025118/20140319098/
http://www.4gamer.net/games/251/G025118/20140321014/
VR対応HMD(3)
Morpheaus Oculus Rift DK2 HMZ-T3W(参考)
映像パネル 5インチ液晶 5インチ有機EL 0.7インチ有機EL×2
映像パネルの解像度 1920×1080ドット 1920×1080ドット 1280×720ドット
一眼あたりの解像度 960×1080ドット 960×1080ドット 1280×720ドット
画角 水平90° 水平100°(目標値) 水平45°
拡大光学系による表示映像の歪み
あり。映像側で吸収 あり。映像側で吸収 なし
映像フレームレート 60Hz 最大75Hz(60Hz、72Hzも可) 60Hz
動き追従センサー 加速度センサー、ジャイロスコープ
加速度センサー、ジャイロスコープ、磁気センサー
N/A
動き追従頻度 1000Hz 1000Hz N/A
位置追従センサー フルカラー可視光LED(前面4、後面2)
赤外光LED(前面と側面に総計40)
N/A
位置追従頻度 60Hz 60Hz N/A
HMD部の重量 非公開 440g 320g
立体音響効果 対応 N/A 対応
VRは映像エンターテインメントの新しい形として今後強く訴求される可能性がある
ゲーム
訓練用シミュレータ
映画のようなパッシブコンテンツにおいてもVR
は有効
VR対応HMDのスペック比較
その他のHMD NVIDIAのHMD「Near-Eye Light Field Displays」
(NVIDIA,2013) http://www.4gamer.net/games/999/G999902/20130722041/
https://www.youtube.com/watch?v=uwCwtBxZM7g
Glyph(AVEGANT、2014年) 網膜投影型ディスプレイ。眼鏡不要
VR対応。1280×720ドット
http://www.avegant.com/
HUD(ARメガネ) SmartEye Glass(ソニー、2014年)
解像度は400×240ドット。レンズ部の厚みは約1mm
BT-200(エプソン、2014年)
解像度は960×540ドット。レンズ部の厚みは約10mm
共に小型プロジェクタをメガネの柄の部分に内蔵
3Dテレプレゼンス(1) Telenoid: Tele-Presence Android for Communication
(ATR知能ロボティクス研究所,2011年)
http://www.4gamer.net/games/017/G001762/20110812054/
Floating Avatar: Blimp-based Telepresence System for
Communication and Entertainment (ソニーコンピュータサイエンス研究所,2011年)
http://www.4gamer.net/games/017/G001762/20110818023/
TELESAR V: TELExistence Surrogate
Anthropomorphic Robot(慶應義塾大学・大学院メディアデザイン研究科・舘研究室,2012年)
http://www.4gamer.net/games/017/G001762/20121120001/
3Dテレプレゼンス(2)
PossessedHand(東京大学大学院情報学環 暦本研究室,2012年)
http://www.4gamer.net/games/017/G001762/20121120001/
http://vimeo.com/27044937
MREAL(キヤノンITソリューションズ)
http://www.4gamer.net/games/210/G021014/20130417006/
3Dインタラクション(1)
3Dインタラクション(2) AIREAL: Tactile Gaming Experiences in Free
Air(Rajinder Sodhi氏ほか,Disney Research
Pittsburgh、2013年)
http://www.4gamer.net/games/999/G999902/2013080
8083/
http://www.youtube.com/watch?v=xaFBjUJj00M
コンピュータビジョンと機械学習
コンピュータビジョン(1) 3Dマッピング
Google Project Tango
https://www.google.com/atap/projecttango/
マイクロソフト PhotoSynth
http://photosynth.net/
コンピュータビジョン(2) 自動車の自動運転
アウディやデンソーがGPGPUベースの自動運転技術を研究開発中
NVIDIA TEGRA K1 (192CUDA CORE,326GFLOPS)
[GTC 2014]デュアルGK110のTITAN Zから組み込み向けTegra K1まで,上へ下へとCUDAを広げるNVIDIAの戦略を読み解く
http://www.4gamer.net/games/076/G007660/20140328063/
機械学習(1) GPUをデータ並列コンピューティングに応用するGPGPU技術が台頭
世界のスパコンの性能TOP500の2位や6位をはじめとして、GPGPUベースのスパコンが増加しつつある
クラウドコンピューティング用のサーバーもGPGPUベースが増加中
コンピュータビジョンや機械学習の分野の研究が盛んに [GTC 2014]賢い人工知能はGPUで作る。NVIDIAが取り組むGPGPUの新たな活用分野「機械学習」とは何か?
http://www.4gamer.net/games/076/G007660/20140327039/
機械学習(2) 画像を検索キーにして、言葉や別の画像を検索することができる検索システムが実現可能に
ニューヨーク大学のclarifaiが試験稼働中
http://horatio.cs.nyu.edu/
将来的には検索エンジンの在り方が変わってくる可能性も 花に止まっている虫の写真をスマホで撮影して検索…とか
名前が思い出せない人物の写真を撮影して検索…とか
あるいは手書きで調べたいものの絵を描いて検索…とか
景色を撮影して、自分のおよその位置を検索(検出?)…とか
【おまけ】最近した取材
ギルティギアXrd-Sign- 3Dグラフィックスを使って作画アニメ調を目指した作品
UnrealEngine3採用
セルシェーディング
リミテッドアニメーション
わざとテレビアニメ調に毎秒15コマに
部位の移動と拡大縮小
ボーンの3軸拡大縮小回転
アップ用とバトル用の2モデル
エフェクト類も3Dグラフィック
3Dの醍醐味も融合
ダイナミックな視点移動。アニメの世界をカメラが移動する不思議感
近日中に4Gamerで記事掲載
おわり
BLOG「(善)力疾走」 http://www.z-z-z.jp/BLOG/
週刊ファミ通「西川善司のゲームのムズカシイ話」http://www.enterbrain.co.jp/weeklyfamitsu/
4gamer 西川善司 寄稿リストhttp://www.4gamer.net/words/000/W00064/
図解
次世代ディスプレイがわかる
商品番号:9784774136769
発売:技術評論社
ISBN:978-4-7741-3676-9
税込1,764円《税抜1,680円》 西川 善司 著
発売日:2008年12月05日
サイズ: A5判
ページ数: 192
ゲーム制作者になるための3Dグラフィックス技術 発売:インプレスジャパン
ISBNコード:978-4-8443-
2755-4
税込4,200円《税抜4,000円》 著者:西川 善司
発売日:2009年9月11日
サイズ・判型:B5変型判
ページ数:オールカラー304P
3Dゲームファンのための グラフィックス講座 発売:インプレスジャパン
ISBNコード:978-4-8443-2951-0
税込4,200円《税抜4,000円》 著者:西川 善司
発売日:2010年11月25日
サイズ・判型:B5変型判
ページ数:オールカラー344P