Gaussian Material Synthesis
Jee-Hyeok Park
2019.05.30
Computer Graphics @ Korea University
Zsolnai-Fehér, K (Vienna University of Technology) et al.
SIGGRAPH 2018
Copyright of figures and other materials in the paper belongs to original authors.
Jee-Hyeok Park | 2019-05-30 | # 2Computer Graphics @ Korea University
제목 분석
• Gaussian Material Synthesis
Gaussian
• 정규분포
Material
• 재질
Synthesis
• 합성
http://igorsklyar.com/main/development_description/26?locale=en
Jee-Hyeok Park | 2019-05-30 | # 3Computer Graphics @ Korea University
• Abstract
• Introduction
• Previous Work
Material Modeling
Neural Networks and Rendering
Gaussian Process Regression
• Overview
• Learning Algorithms for Material Synthesis
Material Learning and Recommendation
Neural Networks and Rendering
Latent Space Variant Generation
• Interactive Latent Space Exploration
GPLVM Color Coding
Real-Time Variant Generation
• Results
• Future Work
• Conclusions
• GMS Pseudocode
목차
Jee-Hyeok Park | 2019-05-30 | # 5Computer Graphics @ Korea University
씬 구성 – 기존 방식
• For Each Material 직접 Parameter를 조절해서
Material을 정함
Sample Material의 Rendering이끝나기를 기다림
조금 다른 효과를 원한다면Parameter를 조금 바꾸고다시 Rendering이 끝나기를 기다림
https://store.blender.org/product/cycles-encyclopedia/
Fig. 1.
Jee-Hyeok Park | 2019-05-30 | # 6Computer Graphics @ Korea University
씬 구성 – 제안한 방식
• Do Gallery에 여러 Sample Image가 주어짐
유저는 각 Sample Image에 점수를 매김
• While Material이 맘에 안 들면
• If Automatic Workflow 각 Sample Material이 자동으로 각 Object에 할당 됨
• Else 각 Sample Material의 Parameter를 Fine-Tuning 함
각 Sample Material을 Object에 할당
Jee-Hyeok Park | 2019-05-30 | # 8Computer Graphics @ Korea University
• 3 AI Algorithm Material Learning and Recommendation
• 빠르게 대략적으로 원하는 Material을 찾아 주는 것
Real Time Visualization
• 빠르게 Material이 입혀진 예시를 보는 것
Real Time Fine Tuning
• 쉽게 Material의 parameter를 바꿔보는 것
제안한 방식의 단계별 과정
Jee-Hyeok Park | 2019-05-30 | # 9Computer Graphics @ Korea University
• A framework for mass-scale material learning and recommendation that works with any high-dimensional principled shader
• A Convolutional Neural Network to enable the visualization of the recommended materials in real time
• A latent space variant generation technique that helps the user to intuitively fine-tune the recommended materials in real time
• A novel way to combine all three learning algorithms to provide color coding for efficient latent-space exploration and real-timepreviews
제안한 방식의 Contribution
Jee-Hyeok Park | 2019-05-30 | # 11Computer Graphics @ Korea University
Material Modeling
• Physically-Based Shading at Disney
[Brent Burley (Walt Disney Animation Studios) et al. / 2012]
Jee-Hyeok Park | 2019-05-30 | # 12Computer Graphics @ Korea University
Material Modeling
• Reflectance Modeling by Neural Texture Synthesis
[Miika Aittala (Aalto University) et al. / SIGGRAPH 2016]
• 실제 이미지로부터 texture를 만들어 내는 것
Jee-Hyeok Park | 2019-05-30 | # 13Computer Graphics @ Korea University
Material Modeling
• Magic Decorator: Automatic Material Suggestion for Indoor Digital Scenes
[Kang Chen (TNList, Tsinghua University, Beijing) et al. / SIGGRAPH 2015]
• 특정 규칙에 맞는 texture들을 추천해 줌
Jee-Hyeok Park | 2019-05-30 | # 14Computer Graphics @ Korea University
Neural Networks and Rendering
• Deep Shading: Convolutional Neural Networks for Screen Space Shading
[O. Nalbach (Max Planck Institute for Informatics, Germany) et al. / Eurographics 2017]
Jee-Hyeok Park | 2019-05-30 | # 15Computer Graphics @ Korea University
Neural Networks and Rendering
• A Machine Learning Approach for Filtering Monte Carlo Noise
[Nima Khademi Kalantari (University of California, Santa Barbara) et al. / SIGGRAPH 2015]
Jee-Hyeok Park | 2019-05-30 | # 16Computer Graphics @ Korea University
• Gaussian Process Regression에 대해 알기 위해선
Distributions
Univariate Gaussian
Multivariate Gaussian
• Conditional Distribution
Regression
Gaussian Process
Gaussian Process Regression
Jee-Hyeok Park | 2019-05-30 | # 18Computer Graphics @ Korea University
Distributions
성적/공부시간 0~9 10~19 20~30 총합
80~100 5 17 10 32
60~79 13 4 8 25
40~59 15 9 4 28
20~39 9 6 0 15
총합 42 36 22 100
P(성적,공부시간)
P(성적)
P(공부시간)
P(공부시간|성적)
P(성적|공부시간)
marginal
marginal
joint
conditional
conditional P(성적, 공부시간) = P(공부시간)*P(성적|공부시간)
Jee-Hyeok Park | 2019-05-30 | # 20Computer Graphics @ Korea University
• 수학적으로 간단함
이 확률 변수는 평균적은 𝜇 값이고, 𝜎2 정도의 오차범위를 가지고 있음
• 많은 자연 현상을 모델링할 수 있음
e.g. 사람의 키
• 특정 확률 변수에 대해서 3가지 가정을 가지고 식을 세우면 아래와 같은식을 만들 수 있음
평균에 가까운 값이 나올 확률이 높음
평균과 동일한 차이가 있을 경우 좀더 넓은 범위에 값이 있을 확률이높음
같은 크기의 범위와 평균과 동일한 차이가 있을 경우 확률은 같음
• Univariate Normal Distributions
𝑋~𝑁(𝜇, 𝜎2)
𝜙 𝑥 =1
2𝜋𝜎2exp −
𝑥−𝜇 2
2𝜎2
Univariate Normal Distribution
Jee-Hyeok Park | 2019-05-30 | # 22Computer Graphics @ Korea University
• 여러개의확률변수를모아서 Random Vector로만든것
𝑋~𝑁(𝝁, Σ)
𝜙 𝒙 =1
2𝜋
𝑃
2Σ −
1
2exp −1
2(𝒙 − 𝝁)𝑇Σ−1(𝒙 − 𝝁)
𝝁는 평균 벡터
𝑃는 𝒙의 Dimension
Multivariate Normal Distribution
Jee-Hyeok Park | 2019-05-30 | # 23Computer Graphics @ Korea University
• Σ는 공분산 Matrix
positive semi-definite, symmetric
Diagonal 항은 각 변수의 Variance를 뜻함
나머지는 각 변수 간의 Correlation을 뜻함
• 𝒙 = (𝑥1, 𝑥2)𝑇
• 𝑐𝑜𝑣 𝑥𝑖 , 𝑥𝑗 = 𝐸[(𝑥𝑖 − 𝜇𝑖)(𝑥𝑗 − 𝜇𝑗)]
• Σ =𝑐𝑜𝑣[𝑥1, 𝑥1] 𝑐𝑜𝑣[𝑥1, 𝑥2]𝑐𝑜𝑣[𝑥2, 𝑥1] 𝑐𝑜𝑣[𝑥2, 𝑥2]
Covariance Matrix
Jee-Hyeok Park | 2019-05-30 | # 24Computer Graphics @ Korea University
• 2차원 정규 분포 예시(Sample Data)
Covariance Matrix Example
x1
x2
평균이다름
x2 variance가 x1보다높음 x1과 x2 covariance가양수값을가짐(Correlated 됨)
x1
x2
x1
x2
x1
x2
Jee-Hyeok Park | 2019-05-30 | # 25Computer Graphics @ Korea University
• 𝜙 𝒙 =1
2𝜋
𝑃
2Σ −
1
2exp −1
2(𝒙 − 𝝁)𝑇Σ−1(𝒙 − 𝝁)
• (𝒙 − 𝝁)𝑇Σ−1(𝒙 − 𝝁) 값이 커질수록 𝜙 𝒙 값이 작아 짐
• (𝒙 − 𝝁)와 Σ−1(𝒙 − 𝝁)의 dot product
dot product의 결과는
• 두 vector의 길이가 짧을 수록
• 두 vector가 이루는 각이 클수록
작아 짐
Probability Distributions
Jee-Hyeok Park | 2019-05-30 | # 26Computer Graphics @ Korea University
• Each single variable has a univariate normal distribution 각 변수가 univariate normal distribution을 따른다 e.g. 2차원 사격에서 한 차원으로 투영한 것
• Any subset of the variables also has a multivariate normal distribution 변수의 부분집합이 multivariate normal distribution을 따른다 e.g. 3차원 푸딩-건포도 예제에서 한 평면으로 투영한 것
• Any linear combination of the variables has a univariate normal distribution 각 변수의 linear combination이 univariate normal distribution을따른다
• Any conditional distribution for a subset of the variables conditional on known values for another subset of variables is a multivariate distribution 변수의 부분집합과 변수의 나머지 부분집합의 조건부 분포가
multivariate normal distribution을 따른다 e.g. 3차원 푸딩-건포도 예제에서 한 평면을 자른 것
Properties
Jee-Hyeok Park | 2019-05-30 | # 28Computer Graphics @ Korea University
Regression
• 종속 변수와 독립 변수의 관계를 규명하는 것
Simple Regression (종속 변수 1개, 독립 변수 1개)
Multiple Regression (종속 변수 1개, 독립 변수 여러 개)
Linear Regression (종속 변수의 선형 조합으로 독립 변수 예측)
Nonlinear Regression
Parametric Regression
None Parametric Regression (독립 변수 예측에 필요한parameter가 없음)
Jee-Hyeok Park | 2019-05-30 | # 29Computer Graphics @ Korea University
Linear Regression
키(x)
몸무게(y)Model: 𝛼𝑥 + 𝛽 = 𝑦𝛼, 𝛽가Model Parameter
데이터를바탕으로최적의 𝛼, 𝛽를구함구해진 𝛼, 𝛽를이용하여값추정
Jee-Hyeok Park | 2019-05-30 | # 30Computer Graphics @ Korea University
• 𝑝 𝑎 𝑏 =𝑝 𝑏 𝑎 𝑝 𝑎
𝑝(𝑏)
• 𝑎: 병이있는지없는지를뜻하는확률변수, 1이면병이있음, 0이면없음
• 𝑏: 기계를이용해측정했을때병이있는지없는지판단하는확률변수, 1이면병이있다고측정, 0이면병이없다고측정
• P(a=0)=0.999
• P(a=1)=0.001
• P(b=1|a=0)=0.01
• P(b=1|a=1)=0.99
• 𝑝 𝑎 = 1 𝑏 = 1 =𝑝 𝑏 = 1 𝑎 = 1 𝑝 𝑎=1
𝑝(𝑏=1)=
𝑝 𝑏 = 1 𝑎 = 1 𝑝 𝑎=1
𝑝 𝑏=1|𝑎=0 𝑝 𝑎=0 +𝑝 𝑏=1|𝑎=1 𝑝(𝑎=1)
Bayesian Theorem
Jee-Hyeok Park | 2019-05-30 | # 31Computer Graphics @ Korea University
• 일반적인 Regression의 경우 Data로부터만 정보를 얻어서Parameter 값을 결정
• Bayesian Regression은 hypothesis 값과 Parameter가 특정 분포로부터 만들어진 것이라 가정
• Bayesian Regression의 장점은
선입견을넣을수있음, 적은데이터만으로도측정이가능. 데이터가많아지면선입견의비중이줄어듦
hypothesis에대한 uncertainty를측정할수있음
• 𝑃 𝜃|𝑦, 𝑋 =𝑃 𝑦|𝜃,𝑋 ∗𝑃 𝜃|𝑋
𝑃(𝑦|𝑋)
• 𝑃𝑜𝑠𝑡𝑒𝑟𝑖𝑜𝑟 =𝐿𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑∗𝑃𝑟𝑖𝑜𝑟
𝑁𝑜𝑟𝑚𝑎𝑙𝑖𝑧𝑎𝑡𝑖𝑜𝑛
Bayesian Regression
Jee-Hyeok Park | 2019-05-30 | # 33Computer Graphics @ Korea University
• 시간적인 변수 t에 대해 확률변수를 돌려주는 함수를 확률과정이라고 생각할 수 있음
• 예를 들어 이산 확률 변수 𝑥 = 1가 비가 옴, 𝑥 = 0가 비가 안 옴을뜻함
• 𝑥0 = 1, 𝑥1 = 0, 𝑥2 = 1, 𝑥3 = 1 등의 변수 집합을 확률 과정이라고 함
• 확률 과정이 특정 Distribution을 따름 이라고 말할 수 있음
오늘의 몸무게, 내일의 몸무게, 2일 후의 몸무게…
Stochastic Process
Jee-Hyeok Park | 2019-05-30 | # 34Computer Graphics @ Korea University
• Stochastic Process의 일종으로 확률 변수의 부분 집합이Multivariate Gaussian Distribution을 따른다 생각하는 것
• 확률 변수의 부분 집합이 확률 공간을 잘 표현하고 있다면 해당Multivariate Gaussian Distribution을 이용해 무한한 차원의 확률변수를 표현할 수 있음
Gaussian Process
Jee-Hyeok Park | 2019-05-30 | # 35Computer Graphics @ Korea University
• 모델의 결과 값이 확률 변수
• 같은 데이터에 대해서는 여러 모델이 예측해도 결과값이 정규 분포를따를 것이라는 믿음
• 모델을 찾을 때 모델들이 같은 데이터에 대해서는 비슷하게 예측해야하고
• 비슷한 데이터에 대해서도 비슷하게 예측하도록 해야 함, 즉 비슷한데이터에 대해서는 모델들의 예측 값이 Correlation을 가져야 함
• 사용자가 사전에 추가한 Data Set의 종속 변수 값을각 Data Set의 종속 변수 축에 대한 평균값으로 생각하는 것
• 예시로 봤던 Data Set의 독립 변수와 비슷한 독립 변수가 왔다면제대로 예측할 수 있을 것
두 독립 변수에 의한 종속 변수 축이 Correlation이 높으므로
Gaussian Process Regression
Jee-Hyeok Park | 2019-05-30 | # 36Computer Graphics @ Korea University
Gaussian Process Regression
𝒇(𝒙𝟏)
𝒇(𝒙𝟐)
• X1과 X2는 비슷한 데이터라면 model들이 비슷하게 예측해야 함
Jee-Hyeok Park | 2019-05-30 | # 38Computer Graphics @ Korea University
씬 구성 – 제안한 방식 with Algorithm
• Do Gallery에 여러 Sample Image가 주어짐
유저는 각 Sample Image에 점수를 매김
• While Material이 맘에 안 들면
• If Automatic Workflow 각 Sample Material이 자동으로 각 Object에 할당 됨
• Else 각 Sample Material의 Parameter를 Fine-Tuning 함
각 Sample Material을 Object에 할당
Neural RenderingRealtime visualization
Gaussian Process RegressionMaterial learning and recommendation
Gaussian Process Latent Variable ModelFine-tune, latent space exploration
Jee-Hyeok Park | 2019-05-30 | # 40Computer Graphics @ Korea University
Overview with Notation
Fig. 5.Table 1.
Jee-Hyeok Park | 2019-05-30 | # 42Computer Graphics @ Korea University
• 𝑼 = [𝑢 𝒙𝟏 , 𝑢 𝒙𝟐 , … , 𝑢 𝒙𝒏 ]𝑇 (GPR Training Set)
• 𝒙𝒊 ∈ 𝑅𝑚
• 𝑚 = 19 or 38 (BSDF Parameter)
Learning Algorithm for Material Synthesis
Material Learning and Recommendation
(1)
Jee-Hyeok Park | 2019-05-30 | # 43Computer Graphics @ Korea University
• 𝑘 𝒙, 𝒙′ = 𝜎𝑓2 exp −
𝒙−𝒙′2
2𝑙2+ 𝛽−1𝛿𝒙𝒙′
• 𝛿𝒙𝒙′는 𝒙와 𝒙′가같으면 1 다르면 0인값(나중에 covariance matrix를만들때 positive definite를만들기위해사용)
• 𝑘 𝒙, 𝒙′ 은 𝒙 − 𝒙′ 가 작을 때 값이 크고𝒙 − 𝒙′ 가 클 때 값이 작은 함수
Learning Algorithm for Material Synthesis
Material Learning and Recommendation
(1)
Equation (1)
Jee-Hyeok Park | 2019-05-30 | # 44Computer Graphics @ Korea University
• K =
𝑘(𝒙𝟏, 𝒙𝟏) 𝑘(𝒙𝟏, 𝒙𝟐) … 𝑘(𝒙𝟏, 𝒙𝒏)𝑘(𝒙𝟐, 𝒙𝟏) 𝑘(𝒙𝟐, 𝒙𝟐) … 𝑘(𝒙𝟐, 𝒙𝒏)
… … … …𝑘(𝒙𝒏, 𝒙𝟏) 𝑘(𝒙𝒏, 𝒙𝟐) … 𝑘(𝒙𝒏, 𝒙𝒏)
• K에 대한 정보를 알고 있는 상태
• 𝐤∗ = 𝑘 𝒙∗, 𝒙𝟏 , 𝑘 𝒙∗, 𝒙𝟐 , … , 𝑘 𝒙∗, 𝒙𝒏𝑇
• 𝑘∗∗ = 𝑘(𝒙∗, 𝒙∗)
• 랜덤으로 𝒙∗를 뽑아 𝐤∗와 𝑘∗∗를 구함
Learning Algorithm for Material Synthesis
Material Learning and Recommendation
Equation (2)
Equation (3)
Jee-Hyeok Park | 2019-05-30 | # 45Computer Graphics @ Korea University
•𝑈
𝑢(𝒙∗)~𝑁 0,
K 𝐤∗𝐓
𝐤∗ 𝑘∗∗
• 𝑃(𝑢(𝒙∗)|𝑼)가 Gaussian distribution을따른다는가정으로𝑢(𝒙∗)을구함
• 𝑢 𝒙∗ = 𝐤∗𝐓K−1𝑼
Learning Algorithm for Material Synthesis
Material Learning and Recommendation
Equation (4)
Equation (5)
Jee-Hyeok Park | 2019-05-30 | # 46Computer Graphics @ Korea University
• 초기 parameter 𝜃 = {𝜎𝑓2, 𝑙}을잘구해야 over- or underfitting을피할수
있음
• Maximize log-likelihood를함으로써초기 parameter를구함
• 𝑃 𝑼 𝒙, 𝜃 = 𝑈~𝑁(0, 𝐾)
• log𝑃(𝑼|𝒙, 𝜃) = −1
2𝑼𝑻K−1𝑼−
1
2log K −
𝑛
2log 2𝜋
•𝜕
𝜕𝜃𝑗log 𝑃(𝑼|𝒙, 𝜃) = −
1
2𝑡𝑟 𝛼𝛼𝑇K−1 𝜕K
𝜕𝜃𝑗
• Gradient-based optimization techniques을 이용해 적절한parameter 값을 찾을 수 있음
Learning Algorithm for Material Synthesis
Material Learning and Recommendation
Equation (6)
Equation (7)
Jee-Hyeok Park | 2019-05-30 | # 47Computer Graphics @ Korea University
• Material Recommendation, Rejection-Sampling
High threshold: high-quality, decreased variety
Low threshold: larger variety
Threshold: Higher quality(70%), More variety(40%)
Learning Algorithm for Material Synthesis
Material Learning and Recommendation
Fig. 3.
Jee-Hyeok Park | 2019-05-30 | # 48Computer Graphics @ Korea University
• Neural Rendering BSDF parameter가주어졌을때 Image 생성
∅:𝑅𝑚 → 𝑅𝑝, ∅(𝒙∗)
m = 19 or 38 (Input BSDF dimensionality)
p = 410 x 410 x 3
Learning Algorithm for Material Synthesis
Neural Networks and Rendering
Fig. 6.
Jee-Hyeok Park | 2019-05-30 | # 49Computer Graphics @ Korea University
• Training Set
45000장 이미지
410x410 해상도
250 sample per pixel(Path Tracing)
4 weeks with a NVIDIA GeForce GTX TITAN X GPU
3 to 4 milliseconds inference time
Learning Algorithm for Material Synthesis
Neural Networks and Rendering
Fig. 7.
Jee-Hyeok Park | 2019-05-30 | # 50Computer Graphics @ Korea University
• Denoising하는 효과가 있음
• 1500 sample per pixel을 하지 않고250 sample per pixel을 해도 무방
• 24 weeks to 4 weeks
Learning Algorithm for Material Synthesis
Neural Networks and Rendering
Jee-Hyeok Park | 2019-05-30 | # 51Computer Graphics @ Korea University
• 목표: Visualization 뿐만 아니라 Exploration을 해야 함
• 제약조건: 수 십 개의 샘플만으로 만들어야 함
• Gaussian Process Latent Variable Model을 사용
non-linear dimensionality reduction technique
𝑋 = […𝒙𝒊…]𝑇 with 𝒙𝒊 ∈ 𝑅𝑚에서
𝐿 = [… l𝒊…]𝑇 with l𝒊 ∈ 𝑅𝑙로 바꾸는 것
BSDF Parameter 개수 𝑚 = 19
Latent Space Variable 개수 𝑙 = 2
Learning Algorithm for Material Synthesis
Latent Space Variant Generation
Jee-Hyeok Park | 2019-05-30 | # 52Computer Graphics @ Korea University
• 𝑃 𝑋 𝐿, 𝜃 = ς𝑖=1𝑍 𝑁(𝑋𝑖|0, K
′ + 𝛽−1𝐼)
• 𝐿∗, 𝜃∗ = 𝑎𝑟𝑔𝑚𝑎𝑥𝐿,𝜃 log[𝑃(𝑋|𝐿, 𝜃)]
•𝑋𝒙∗
~𝑁 0,K′ 𝐤∗
′𝑻
𝐤∗′ k∗∗
′
• 𝜓 𝒍∗ = 𝐤∗′𝐓K′−1𝑋
Learning Algorithm for Material Synthesis
Latent Space Variant Generation
Equation (8)
Equation (9)
Equation (10)
Equation (11)
Jee-Hyeok Park | 2019-05-30 | # 54Computer Graphics @ Korea University
• GPR을 이용해 Preference map을 만들 수 있고
• Distance Metric을 이용해 Similarity map을 만들 수 있음
• 두 map을 곱하여 similar 및 preferred한 variants를 만들 수 있음
Interactive Latent Space Exploration
GPLVM Color Coding
Fig. 8.
Jee-Hyeok Park | 2019-05-30 | # 55Computer Graphics @ Korea University
• Dimensionality increase (l = 2) -> (m = 19) -> (p = 410x410x3)
• Parameter를 CNN 입력으로 하여 Rendering
Interactive Latent Space Exploration
Real-Time Variant Generation
Jee-Hyeok Park | 2019-05-30 | # 57Computer Graphics @ Korea University
• 𝐽𝑆𝐷(𝑢(𝒙)| 𝑢∗ 𝒙 =1
2∞−+∞
𝑢 𝒙 log𝑢 𝒙
𝑚 𝒙𝑑𝒙 +
1
2∞−+∞
𝑢∗ 𝒙 log𝑢∗ 𝒙
𝑚 𝒙𝑑𝒙
• 𝑚 𝒙 =1
2(𝑢 𝒙 + 𝑢∗(𝒙))
• 이미 알고있는 data에 대해예측 분포와 실제 분포의 차이
• Equation (7)을 이용해 최적의Parameter를 찾을 때3가지 Method를 사용함
Learning material spaces
Table 2.
Equation (12)
Jee-Hyeok Park | 2019-05-30 | # 58Computer Graphics @ Korea University
• Size
GPR, GPLVM: training sample
Recommendation: recommended sample
CNN, Preference coding, Similarity coding: image resolution
Modeling and execution time
Table 3.
300개를추천하는데 17.4초소요됨
250개의 Material에점수를매김
16개의높은점수의 Material을이용함
Jee-Hyeok Park | 2019-05-30 | # 59Computer Graphics @ Korea University
Experiment Results
Fig. 11.
Fig. 12.
• Target material이 주어진 상황
• 사전에 몇 분 정도 principled shader를이용해 실험을 해봄
Jee-Hyeok Park | 2019-05-30 | # 60Computer Graphics @ Korea University
Results
• BSDF Parameter에 대한 지식이 없이도 material을 수정할 수 있음
Fig. 9.
Jee-Hyeok Park | 2019-05-30 | # 62Computer Graphics @ Korea University
• Material Recommendation
Learned intermediate distribution을 이용해 recommendation
• CNN
해상도가 더 큰 이미지 생성
카메라와, 빛의 움직임을 줄 수 있도록 학습
Future Work
Jee-Hyeok Park | 2019-05-30 | # 64Computer Graphics @ Korea University
• Mass-scale material synthesis system을 제안
3개의 learning algorithms을 이용함
• 미래를 보장(Future-Proof)하는 알고리즘
임의의 BSDF(bidirectional scattering distribution function) Model에 사용 가능함
Material learning and recommendation이 procedural texture에도적용 가능함
Conclusions
http://www.upvector.com/?section=Tutorials&subsection=Intro%20to%20Procedural%20Textures
Jee-Hyeok Park | 2019-05-30 | # 66Computer Graphics @ Korea University
GMS Pseudocode
Gaussian Material Synthesis
1-4: Random으로데이터를만들어서, 각 BSDF x와선호도 u, pair를U에저장
5: 특정선호도이상인데이터 pair만X에저장
10-11: Fine tuning을위해 Recommendation 중에서 x* 하나를고르고CNN을이용해 Rendering
6-9: X를이용해새로운데이터x의선호도를예측하고 Recommendation을추가
Jee-Hyeok Park | 2019-05-30 | # 67Computer Graphics @ Korea University
GMS Pseudocode
Gaussian Material Synthesis
14: X가모두mapping이가능한 Latent Space를만들고해당 grid position에서의 x’를구함
15: x*와 x’를이용해각각 Rendering하고 L2 Norm을구함
16: U를이용해해당 grid position의파라미터의선호도를예측
17-18: 선호도와 similarity를곱해서저장하고특정규칙에따라색을할당
16: 마우스움직임에따라 𝛿를구하고 Rendering 함
Jee-Hyeok Park | 2019-05-30 | # 68Computer Graphics @ Korea University
GMS Pseudocode
Scoring a new BSDF
새로운 BSDF Parameter에대한 Preference 예측
Jee-Hyeok Park | 2019-05-30 | # 69Computer Graphics @ Korea University
GMS Pseudocode
Latent Space Mapping
Latent space에서의 data가주어졌을때 observed space에서의 data를리턴