Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
戦略分野3
有限要素法を用いた地震動シミュレーションの大規模化・高速化
堀 宗朗
東京大学地震研究所
第1回「京」を中核とするHPCIシステム利用研究課題成果報告会
コクヨホール,品川,東京
2014年10月31日(金)
HPCI Strategic Program for Innovative Research Field 3
DEVELOPMENT OF LARGE SCALE AND FAST FINITE ELEMENT
METHOD FOR SEISMIC GROUND MOTION SIMULATION
M. HORI (ERI, UTokyo)
戦略分野3
防災・減災に資する地球変動予測
地震・津波の予測精度高度化に関する研究
都市全域の地震等自然災害シミュレーションに関する研究
構造物の地震応答シミュレーション
都市の地震応答シミュレーション
地震動シミュレーション
地盤内での地震波の増幅過程(増幅は10倍に至る場合もある)
構造物・都市の地震応答シミュレーションの入力(地震工学の最重要要素)
地震動シミュレーションの数値解析
非線形波動方程式
𝒖(𝒙, 𝑡): ρ𝒖 = 𝛻 ∙ 𝒄(𝛻𝒖): 𝛻𝒖
幾何形状の効果:変位関数の勾配が特異
非線形性:正定値性を失う微分オペレータ
有限要素法:非構造格子
課題
高速解法 CG法の大規模化・高速化
モデル構築 自動化,品質保証
FEMの改良
前処理付CG法の大規模化・高速化
幾何マルチグリッド (geometric multi-grid)
可変精度前処理 (mixed precision arithmetic)
その他
EBE (element-by-element for efficient storage)
圧縮列格納 (compressed row storage)
高次の予測子の利用 (predictor of higher order)
所与の周波数領域までの,数値計算の収束確認(計算品質の保証)
• 数値計算の収束確認は大規模数値計算では本質的に重要
• 数値解の対象は,変位,加速度・速度(時間微分)とひずみ(空間微分)
PRE-CONDITIONED CG
CG
{
𝒙(0)= 𝟎, 𝒑(0) = 𝒃, 𝒓(0) = 𝒃
do i = 0, 1, 2, 3, …
𝛼(𝑖) = (𝒓(𝑖) ∙ 𝒙 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )
𝒙 𝑖+1 = 𝒙 𝑖 + 𝛼(𝑖)𝒑(𝑖)
𝒓(𝑖+1) = 𝒓(𝑖) − 𝛼(𝑖)𝑨𝒑(𝑖)
𝛽(𝑖) = −(𝒓(𝑖+1) ∙ 𝑨𝒑 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )
𝒑 𝑖+1 = 𝒓 𝑖+1 + 𝛽(𝑖)𝒑(𝑖) enddo
}
CG
{
𝒙(0)= 𝟎, 𝒑(0) = 𝒃, 𝒓(0) = 𝒃
do i = 0, 1, 2, 3, …
𝛼(𝑖) = (𝒓(𝑖) ∙ 𝒙 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )
𝒙 𝑖+1 = 𝒙 𝑖 + 𝛼(𝑖)𝒑(𝑖)
𝒓(𝑖+1) = 𝒓(𝑖) − 𝛼 𝑖 𝑨𝒑 𝑖 𝒛(𝑖+1) = 𝑴𝒓(𝑖+1) (preconditioner) 𝛽(𝑖) = −(𝒛(𝑖+1) ∙ 𝑨𝒑 𝑖 )/(𝒑(𝑖) ∙ 𝑨𝒑 𝑖 )
𝒑 𝑖+1 = 𝒛 𝑖+1 + 𝛽(𝑖)𝒑(𝑖) enddo
}
Conjugate Gradient Method (CG) is a standard solver in large scale FEM
• iterative (not direct)
• efficient (O(Log N N), rather than O(N2))
• development of pre-conditioning
standard CG pre-conditioned CG
Layer 1
Layer 2
Bedrock
N
U
E
TARGET DOMAIN
Part of Tokyo
• domain of 1,250 x 1,250 m
• 3 layers
complicated configuration
high impedance contrast and non-
linear soil properties
• 4,066 buildings
surface bedrock interface between layer 1 & 2
elevation (m)
DETIALS OF TARGET DOMAIN
non-linear constitutive relation
• Ramberg-Osgood model with
Masing rule
• more sophisticated constitutive
relation
• underground water coupling
Layer 1
Layer 2
Bedrock
N U
E
ANALYSIS MODEL
• 15 Hz: minimum element dimension 1.0 m
DOF 1,022,630,349
Node 340,876,783
Element 252,737,051
• numerical convergence in 5 ~ 15 Hz
cf. large simulation in practice
DOF Order of 1,000,000
3D linear analysis/2D non-linear analysis
WEAK SCALING
GAMERA:unstructured 3-D finite-element-based MPI-
OpenMP hybrid seismic wave amplification simulation code
EBE:Element-By-Element
STRONG SCALING
Trade-off between inner loop and outer loop
• Inner preconditioner
• Outer solver
STRONG SCALING
Improvement from GAERA to GAMERAEBE4
• Total scalable up to 294,912 cores
• Computation scalable up to 294,912 cores
GROUND MOTION
Surface Ground Motion Induced by Uniform Bedrock Input: horizontal norm of SI
236 [cm/s]
113
STRUCTURE RESPONSE
Surface Ground Motion
(horizontal norm of SI)
Structure Response
(max. drift angle)
0.02 [rad.]
0.0
236 [cm/s]
113
1D VS 3D
Point A Point B
Interface between layer 1 & 2
Interface between layer 2 & bedrock
Surface topography
Point A
Point B
3D analysis 1D analysis 3D analysis - 1D analysis
Ho
rizo
nta
l mag
nit
ud
e o
f SI
val
ues
M
axim
um
sto
ry d
rift
an
gle
- =
- =
0.0 -9.88 37.9 [cm/s] 236 [cm/s] 113
0.0 -0.003 0.003 [rad.] 0.02 [rad.] 0.0
1D VS 3D Comparison of practical 1D analysis and advanced 3D analysis that uses HPC
STOCHASTIC MODEL
10,000 analysis models are generated for each building in a target ward
• uncertainties in model parameters
• capability computing based on capacity computing
quantitative evaluation of uncertainty in structure response in terms of probability
メッシュ生成方法の改良
•バックグランド格子を使ったメッシュ生成 •格子毎に独立してメッシュ生成が可能なため、並列化可能 •節点は整合していても、要素面は整合しない可能性
要素が重なる
隙間があく
形状修正前 形状修正後
近似を無くすよう,節点を上に移動
隙間なし 隙間あり
メッシュの整合性の確保 バックグラウンド格子を三角柱に分割し,Delaunay分割
従来方法(まとめてDelaunay分割)
改善した方法(三角柱に分割してからDelaunay分割)
上下の面の要素の向きはそろわないことがある →上下に積み重ねると要素面の整合性が失われる
上下の面の要素の向きがそろう →上下に積み重ねても要素面は整合する →節点を上下に動かしても隙間や要素の重なりは生じない
形状修正
形状修正前 形状修正後
形状近似による凹凸
2次要素の場合,上下方向の要素面は整合するが,水平方向の要素面は整合しない可能性
ANOTHER EXAMPLE: VALLEY PLANE
x
y z
1,728 m
1,952 m
70 m
1st layer
2nd layer
Valley Plane Problem
• valley plane: deep sediment layer on old valley (geological terminology)
• known as place of ground motion concentration due to complicated geometry
• need to evaluate degree of concentration
valley plane
surface bedrock interface between layer 1 & 2
elevation (m)
VALEY PLANE ANALYSIS: MODEL
Vp (m/s) Vs (m/s) r (kg/m3) hmax gr
1st layer 700 100 1,500 0.23 0.007
2nd layer 1,400 300 1,800 0.23 0.0001
bedrock 2,100 700 2,100 0.01 ∞
51.5 s 51.3 s 51.4 s
norm of horizontal displacement (m)
VALLEY PLANE ANALYSIS: RESULTS
frequency 5.0 Hz
element size 2.0 m
DOF 282,415,392
Node 94,128,464
element 69,120,819
2nd-order tetra-element
Success in quantitative evaluation of degree of
ground motion concentration
• Temporal derivative (velocity, acceleration)
• Spatial derivative (strain)
まとめ
構造物・都市の地震応答解析の基盤となる,地震動シミュレーションの大規模化・高速化が実現
1,000,000,000 DOF
非線形
大規模高速有限要素法の開発
前処理付きCG法
その他の工夫
地震動シミュレーション以外への応用も期待